Spark UniversalでSpark-submitスクリプト接続パラメーターを定義

Spark-submitスクリプトモードでは、HPE Ezmeral Data Fabric v9.1.xクラスターを活用してSparkバッチジョブを実行できます。

HPE Data Fabricの詳細は、ドキュメンテーションをご覧ください。

このモードはHPE Data Fabric以外のクラスターでも使用できます。Sparkのドキュメンテーションのcluster managersで説明されているとおり、これはSparkがサポートしているどのクラスタマネージャーで動作するようSpark-submitスクリプトがデザインされているためです。

手順

デザインワークスペースの下にある[Run] (実行)ビューをクリックした後に、[Spark configuration] (Spark設定)ビューをクリックします。
[Property type] (プロパティタイプ)ドロップダウンリストから[Built-in] (組み込み)を選択します。
Hadoop接続を一元管理で説明されているとおり、既に[Repository] (リポジトリー)で接続パラメーターが設定されている場合は簡単に再利用できます。再利用するためには、[Property type] (プロパティタイプ)ドロップダウンリストから[Repository] (リポジトリー)を選択し、[...]ボタンをクリックし、[Repository Content] (リポジトリーコンテンツ)ダイアログボックスを開いて、使用するHadoop接続を選択します。
情報メモヒント: [Repository] (リポジトリー)で接続を設定すると、ジョブの[Spark configuration] (Spark設定)ビューで必要になるたびにその接続を設定しなくても済みます。フィールドが自動的に入力されます。
[Distribution] (ディストリビューション)ドロップダウンリストからUniversalを、[Version] (バージョン)ドロップダウンリストからSparkバージョンを、[Runtime mode/environment] (ランタイムモード/環境)ドロップダウンリストから[Spark-submit scripts] (Spark-submitスクリプト)をそれぞれ選択します。
Spark-submitスクリプトが保存されているクラスターのディレクトリーへのパス(/opt/mapr/spark/spark-3.3.2など)を指定します。
WindowsからSparkジョブを起動する必要がある場合は、使用されるwinutils.exeプログラムの保管場所を指定します。
- 使用するwinutils.exeファイルの保管場所がわかっている場合、[Define the Hadoop home directory] (Hadoopホームディレクトリーの指定)チェックボックスをオンにし、winutils.exeが保存されているディレクトリーを入力します。
- 逆に、[Define the Hadoop home directory] (Hadoopホームディレクトリーの指定)チェックボックスをオフにすると、Talend Studioによってディレクトリーが作成され、このジョブで自動的に使用されます。

設定の基本情報を入力します:

パラメーター	使用方法
[Use local timezone] (ローカルタイムゾーンを使用)	このチェックボックスを選択すると、Sparkはシステムで指定されているローカルタイムゾーンを使用します。このチェックボックスをオフにすると、SparkはUTCタイムゾーンを使用します。コンポーネントによっては[Use local timezone for date] (日付にローカルタイムゾーンを使用)チェックボックスもあります。コンポーネントのチェックボックスをオフにすると、Spark設定からのタイムゾーンが継承されます。
[Use dataset API in migrated components] (移行したコンポーネントでデータセットAPIを使用)	このチェックボックスを選択し、コンポーネントにResilient Distribued Dataset (RDD) APIの代わりにDataset (DS) APIを使用させます: チェックボックスを選択する場合は、ジョブ内のコンポーネントは、DSで実行されて、パフォーマンスが向上します。チェックボックスをオフにする場合は、ジョブ内のコンポーネントはRDDで実行されて、変更されていない状態のままです。これにより、下位互換性が保証されます。このチェックボックスはデフォルトで選択されていますが、7.3以降のジョブをインポートした場合、これらのジョブはRDDで実行されるため、チェックボックスはクリアされます。情報メモ重要: ジョブにtDeltaLakeInputコンポーネントとtDeltaLakeOutputコンポーネントが含まれている場合は、このチェックボックスを選択する必要があります。
[Use timestamp for dataset components] (データセットコンポーネントにタイムスタンプを使用)	このチェックボックスを選択すると、日付でjava.sql.Timestamp使われます。このチェックボックスをオフのままにしておくと、パターンに応じてjava.sql.Timestampかjava.sql.Dateが使われます。
[Parallelize output files writing] (出力ファイルの書き込みを並列化)	このチェックボックスを選択すると、Sparkバッチジョブが出力ファイルの書き込み時に複数のスレッドを並行して実行できるようになります。このオプションによって実行時間のパフォーマンスが改善されます。このチェックボックスがオフのままになっていると、出力ファイルは1つのスレッド内で順次書き込まれます。サブジョブレベルでは、各サブジョブが順次処理されます。サブジョブ内の出力ファイルのみが並列化されます。このオプションは、次の出力コンポーネントが含まれているSparkバッチジョブでのみ使用できます: tAvroOutput tFileOutputDelimited ([Use dataset API in migrated components] (移行したコンポーネントでデータセットAPIを使用)チェックボックスが選択されている場合のみ) tFileOutputParquet 情報メモ重要: ジョブ実行中のメモリに関する問題を避けるため、このパラメーターを使用する前に、書き込まれるファイルのサイズと実行環境の容量を考慮する必要があります。

ユーザー名を指定して認証情報を入力します。[Use Kerberos authentication] (Kerberos認証を使用)チェックボックスを選択してKerberos認証を使用することもできます。

オプション: MapR Ticketを使用して認証する場合は、[Use MapR Ticket authentication] (MapRチケット認証を使用)チェックボックスを選択し、以下の情報を入力します:

パラメーター	使用方法
[Password] (パスワード)	パスワードを入力してMapRチケットを認証します。
[Cluster name] (クラスター名)	使用したいクラスターの名前を入力します。
[Ticket duration] (チケットの有効期間)	チケットの有効期間を秒単位で入力します。例: 86400L(Lは長整数に相当)
[Set the MapR home directory] (MapRホームディレクトリーを設定)	このチェックボックスを選択して、MapRホームディレクトリーのパスを入力します。
[Specify the Hadoop login configuration] (Hadoopログイン設定を指定)	このチェックボックスを選択して、Hadoopログインを入力します。

[Spark "scratch" directory] (Spark "scratch"ディレクトリー)フィールドに、Talend Studioが一時ファイル(転送するjarファイルなど)をローカルシステムに保存するディレクトリーを入力します。Windowsでジョブを起動する場合、デフォルトのディスクはC:です。このフィールドを/tmpのままにすると、このディレクトリーはC:/tmpになります。
ジョブを耐障害性にする必要がある場合は、[Activate checkpointing] (チェックポイントを有効化)チェックボックスをオンにしてSparkチェックポイントオペレーションを有効にします。
[Checkpoint directory] (チェックポイントディレクトリー)フィールドのクラスターのファイルシステム内に、Sparkが保存するディレクトリー、計算のコンテキストデータ(メタデータやなど)、その計算から生成されたRDDを入力します。
[Advanced properties] (詳細プロパティ)テーブルに、Talend Studioによって使用されるデフォルトのプロパティをオーバーライドするために必要なSparkプロパティを追加します。
[Use Atlas] (Atlasを使用)チェックボックスを選択すると、Atlasを利用して特定のデータフローの来歴をトレースし、そのジョブで使われているコンポーネントとコンポーネント間のスキーマの変更を含め、そのデータがSparkジョブによってどう生成されたかを確認できます。
このオプションはSpark Universal 3.3.xでのみ使用可能です。
このオプションを有効にしたら、以下のパラメーターを設定する必要があります。
- Atlas URL: Atlasの接続先を入力します。http://name_of_your_atlas_node:portとなる場合がほとんどです。
- [Username] (ユーザー名)および[Password] (パスワード)フィールドに、Atlasにアクセスするための認証情報を入力します。
- Atlas設定フォルダーの設定: AtlasクラスターにSSLや読み取りタイムアウトなどのカスタムプロパティが含まれている場合は、このチェックボックスを選択し、表示されるフィールドにローカルマシンのディレクトリーを入力し、このディレクトリーにAtlasのatlas-application.propertiesファイルを入れます。こうすることでジョブが有効になり、これらのカスタムプロパティを利用できるようになります。
  
  この設定ファイルは、クラスターの管理者に尋ねる必要があります。このファイルの詳細は、[Atlas configuration] (Atlas設定)のクライアント設定セクションをご覧ください。
- [Die on error] (エラー発生時に強制終了): Atlasへの接続の問題など、Atlas関連の問題が発生した場合にジョブの実行を停止する場合は、このチェックボックスを選択します。それ以外の場合は、解除してジョブが実行を継続できるようにしてください。

タスクの結果

これで接続詳細が完全なものになったので、Sparkジョブの実行をスケジュールしたり、すぐに実行したりできます。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください