# Spark UniversalでDatabricks接続パラメーターを定義 ## このタスクについて Talend StudioはDatabricksの汎用クラスターに接続し、そのクラスターからジョブを実行します。 ## 手順 1. デザインワークスペースの下にある[Run] (実行)ビューをクリックした後に、[Spark configuration] (Spark設定)ビューをクリックします。 2. [Property type] (プロパティタイプ)ドロップダウンリストから[Built-in] (組み込み)を選択します。 [Hadoop接続を一元管理](https://help.qlik.com/talend/ja-JP/studio-user-guide/8.0-R2025-05/Hadoop接続を一元管理/talend/ja-JP/studio-user-guide/8.0/centralizing-hadoop-connection)で説明されているとおり、既に[Repository] (リポジトリー)で接続パラメーターが設定されている場合は簡単に再利用できます。再利用するためには、[Property type] (プロパティタイプ)ドロップダウンリストから[Repository] (リポジトリー)を選択し、[...]ボタンをクリックし、[Repository Content] (リポジトリーコンテンツ)ダイアログボックスを開いて、使用するHadoop接続を選択します。 情報メモヒント: [Repository] (リポジトリー)で接続を設定すると、ジョブの[Spark configuration] (Spark設定)ビューで必要になるたびにその接続を設定しなくても済みます。フィールドが自動的に入力されます。 3. [Distribution] (ディストリビューション)ドロップダウンリストからUniversalを、[Version] (バージョン)ドロップダウンリストからSparkバージョンを、[Runtime mode/environment] (ランタイムモード/環境)ドロップダウンリストからDatabricksをそれぞれ選択します。 4. 設定の基本情報を入力します: | パラメーター | 使用方法 | | --- | --- | | [Use local timezone] (ローカルタイムゾーンを使用) | このチェックボックスをオンにすると、Sparkはシステムで指定されているローカルタイムゾーンを使用します。

情報メモ注:

| | [Use dataset API in migrated components] (移行したコンポーネントでデータセットAPIを使用) | このチェックボックスをオンにし、コンポーネントにResilient Distribued Dataset (RDD) APIの代わりにDataset (DS) APIを使用させます:



このチェックボックスはデフォルトで選択されていますが、7.3以降のジョブをインポートした場合、これらのジョブはRDDで実行されるため、チェックボックスはクリアされます。

情報メモ重要: ジョブにtDeltaLakeInputコンポーネントとtDeltaLakeOutputコンポーネントが含まれている場合は、このチェックボックスを選択する必要があります。 | | [Use timestamp for dataset components] (データセットコンポーネントにタイムスタンプを使用) | このチェックボックスをオンにすると、日付でjava.sql.Timestamp使われます。

情報メモ注: このチェックボックスをオフのままにしておくと、パターンに応じてjava.sql.Timestampかjava.sql.Dateが使われます。 | | [Parallelize output files writing] (出力ファイルの書き込みを並列化) | このチェックボックスをオンにすると、Sparkバッチジョブが出力ファイルの書き込み時に複数のスレッドを並行して実行できるようになります。このオプションによって実行時間のパフォーマンスが改善されます。

このチェックボックスがオフのままになっていると、出力ファイルは1つのスレッド内で順次書き込まれます。

サブジョブレベルでは、各サブジョブが順次処理されます。サブジョブ内の出力ファイルのみが並列化されます。

このオプションは、次の出力コンポーネントが含まれているSparkバッチジョブでのみ使用できます:



情報メモ重要: ジョブ実行中のメモリに関する問題を避けるため、このパラメーターを使用する前に、書き込まれるファイルのサイズと実行環境の容量を考慮する必要があります。 | 5. [Databricks configuration] (Databricks設定)のパラメーターを完成させます: | パラメーター | 使用方法 | | --- | --- | | [Cloud provider] (クラウドプロバイダー) | 使用するクラウドプロバイダーとして、AWS、Azure、GCPのいずれかを選択します。 | | [Run mode] (実行モード) | Talend Studioでジョブを実行する際に、Databricksクラスターでのジョブの実行に使いたいモードを選択します。[Create and run now] (今すぐ作成して実行)では、Databricksで新しいジョブが作成されてすぐに実行されます。[Runs submit] (実行を送信)では、Databricksでジョブを作成せずに1回限りの実行が送信されます。 | | [Enable Unity Catalog] (Unity Catalogを有効化) | Unity Catalogを活用する場合は、このチェックボックスをオンにします。次に、Catalogパラメーター、Schemaパラメーター、VolumeパラメーターでUnity Catalog関連の情報を指定する必要があります。

情報メモ重要: Talend Studioで使用する前に、認証された全ユーザーに対して許可された権限でパラメーターをすべてDatabricksに作成する必要があります。 | | [Use pool] (プールを使用) | Databricksプールを活用する場合はこのチェックボックスをオンにします。チェックボックスをオンにした場合は、[Cluster ID] (クラスターID)ではなく[Pool ID] (プールID)を指定する必要があります。また、[Cluster type] (クラスタータイプ)ドロップダウンリストで[Job clusters] (ジョブクラスター)を選択する必要があります。 | | [Endpoint] (エンドポイント) | お使いのワークスペースのURLアドレスを入力します。 | | [Cluster ID] (クラスターID) | 使用するDatabricksクラスターのIDを入力します。このIDは、Sparkクラスターのspark.databricks.clusterUsageTags.clusterIdプロパティの値です。このプロパティは、クラスターの[Spark UI]ビューの[Environment] (環境)タブのプロパティリストにあります。 | | [Authentication mode] (認証モード) | ドロップダウンリストで、認証に使用する方法を選択します:

| | [Authentication token] (認証トークン) | Databricksユーザーアカウント用に生成された認証トークンです。 | | [Dependencies folder] (依存項目フォルダー) | 実行時にジョブ関連の依存項目をDatabricksファイルシステムへ保存するために使うディレクトリーを入力します。このディレクトリーの最後にはスラッシュ( / )を付けます。たとえば、/jars/と入力して、依存項目をjarsという名前のフォルダーに保管します。このフォルダーが存在しない場合、ここで作成されます。

Databricks 15.4 LTSより、デフォルトのライブラリーの場所がDBFSではんくWORKSPACEとなりました。 | | [Project ID] (プロジェクトID) | Databricksプロジェクトが存在するGoogle PlatformプロジェクトのIDを入力します。

このフィールドは、[Cloud provider] (クラウドプロバイダー)ドロップダウンリストからGCPを選択している場合のみ利用できます。 | | [Bucket] (バケット) | Google PlatformのDatabricksに使用するバケット名を入力します。

このフィールドは、[Cloud provider] (クラウドプロバイダー)ドロップダウンリストからGCPを選択している場合のみ利用できます。 | | [Workspace ID] (ワークスペースID) | databricks-workspaceidの形式に従って、Google PlatformワークスペースのIDを入力します。

このフィールドは、[Cloud provider] (クラウドプロバイダー)ドロップダウンリストからGCPを選択している場合のみ利用できます。 | | [Google credentials] (Googleクレデンシャル) | サービスアカウントキーが含まれているJSONファイルを保存するTalend JobServerマシン内のディレクトリーを入力します。

このフィールドは、[Cloud provider] (クラウドプロバイダー)ドロップダウンリストからGCPを選択している場合のみ利用できます。 | | [Poll interval when retrieving Job status (in ms)] (ジョブステータスを取得する時のポーリング間隔(ミリ秒)) | Talend StudioがジョブのステータスをSparkに要求する時間間隔(ミリ秒)を引用符なしで入力します。 | | [Cluster type] (クラスタータイプ) | ドロップダウンリストで、使用したいクラスターのタイプを選択します。詳細は、[Databricksクラスターについて](https://help.qlik.com/talend/ja-JP/components/8.0/databricks/about-databricks-clusters)をご覧ください。

情報メモ注: Java17と共にTalend Studioを使ってジョブを実行する場合は、JNAME=zulu17-ca-amd64環境変数を設定する必要があります:



DBFSは、[Init Scripts] (Initスクリプト)の場所としてはサポートされなくなりました。Databricksの全バージョンで、WORKSPACEに置き換えられます。 | | [Do not restart the cluster when submitting] (送信時にクラスターを再起動しない) | このオプションは、[Cluster type] (クラスタータイプ)が[All-purpose clusters] (汎用クラスター)に設定されている場合に利用可能です。

Talend Studioがジョブを送信する時にTalend Studioがクラスターを再起動しないようにするには、このチェックボックスをオンにします。ただしジョブで変更を行う場合は、このチェックボックスをオフにし、Talend Studioがクラスターを再起動してその変更が反映されるようにします。 | 6. [Spark "scratch" directory] (Spark "scratch"ディレクトリー)フィールドに、jarファイルを転送するなどTalend Studioがローカルシステムに一時ファイルを保存するディレクトリーを入力します。Windowsでジョブを起動する場合、デフォルトのディスクは*C:*です。このフィールドを*/tmp*のままにすると、このディレクトリーは*C:/tmp*になります。 7. ジョブを耐障害性にする必要がある場合は、**[Activate checkpointing] (チェックポイントを有効化)**チェックボックスをオンにしてSparkチェックポイントオペレーションを有効にします。[Checkpoint directory] (チェックポイントディレクトリー)フィールドのクラスターのファイルシステム内に、Sparkが保存するディレクトリー、計算のコンテキストデータ(メタデータやなど)、その計算から生成されたRDDを入力します。 8. [Advanced properties] (詳細プロパティ)テーブルに、Talend Studioによって使用されるデフォルトのプロパティを上書きするために必要なSparkプロパティを追加します。 9. [Use Atlas] (Atlasを使用)チェックボックスをオンにすると、Atlasを利用して特定のデータフローの来歴をトレースし、そのジョブで使われているコンポーネントとコンポーネント間のスキーマの変更を含め、そのデータがSparkジョブによってどう生成されたかを確認できます。 このオプションはSpark Universal 3.3.xでのみ使用可能です。 このオプションを有効にしたら、以下のパラメーターを設定する必要があります。 * Atlas URL: Atlasの接続先を入力します。*http://name\_of\_your\_atlas\_node:port*となる場合がほとんどです。 * [Username] (ユーザー名)および[Password] (パスワード)フィールドに、Atlasにアクセスするための認証情報を入力します。 * Atlas設定フォルダーの設定: AtlasクラスターにSSLや読み取りタイムアウトなどのカスタムプロパティが含まれている場合は、このチェックボックスをオンにし、表示されるフィールドにローカルマシンのディレクトリーを入力し、このディレクトリーにAtlasの*atlas-application.properties*ファイルを入れます。こうすることでジョブが有効になり、これらのカスタムプロパティを利用できるようになります。 この設定ファイルは、クラスターの管理者に尋ねる必要があります。このファイルの詳細は、[\[Atlas configuration\] (Atlas設定)](https://atlas.apache.org/0.8.2/Configuration.html) (英語のみ)のクライアント設定セクションをご覧ください。 * [Die on error] (エラー発生時に強制終了): Atlasへの接続の問題など、Atlas関連の問題が発生した場合にジョブの実行を停止する場合は、このチェックボックスをオンにします。それ以外の場合は、解除してジョブが実行を継続できるようにしてください。 ## タスクの結果 これでDatabricksクラスターへの接続詳細が完全なものになったので、ジョブの実行をスケジュールしたり、クラスターからすぐに実行できます。