# Spark UniversalでDatabricksサーバーレス接続パラメーターを定義

Availability-note[Beta](https://help.talend.com/r/en-US/Cloud/labels-on-talend-help-center/availability-beta)

ベータ版コンテンツ

## このタスクについて

Talend StudioはDatabricksサーバーレスコンピュートに接続し、Sparkバッチジョブを実行します。サーバーレスコンピュートはDatabricksによって完全に管理されており、クラスターの設定は必要ありません。

作業を始める前に、次の要件が満たされていることを確認してください。

* DatabricksワークスペースでUnity Catalogが有効になっています。
* そのワークスペースは、サーバーレスコンピュートをサポートするリージョンにあります。詳細については、Databricksドキュメントの[サーバーレスコンピュート](https://learn.microsoft.com/en-US/azure/databricks/compute/serverless/) (英語のみ)を参照してください。
* ワークスペースでPCI-DSSコンプライアンスプロファイルが有効になっていません。

情報メモ重要: Databricks Serverlessは、AWSおよびAzureのクラウドプロバイダーでのみ利用できます。

## 手順

1. デザインワークスペースの下にある[実行]ビューをクリックした後に、[Spark設定]ビューをクリックします。
2. [Property type] (プロパティタイプ)ドロップダウンリストから[Built-in] (組み込み)を選択します。

   [Hadoop接続を一元管理](https://help.qlik.com/talend/ja-JP/studio-user-guide/8.0-R2026-08/Hadoop接続を一元管理/talend/ja-JP/studio-user-guide/8.0/centralizing-hadoop-connection)で説明されているとおり、既に[Repository] (リポジトリー)で接続パラメーターが設定されている場合は簡単に再利用できます。再利用するためには、[Property type] (プロパティタイプ)ドロップダウンリストから[Repository] (リポジトリー)を選択し、[...]をクリックし、[Repository Content] (リポジトリーコンテンツ)ダイアログボックスを開いて、使用するHadoop接続を選択します。

   情報メモヒント: [Repository] (リポジトリー)で接続を設定すると、ジョブの[Spark configuration] (Spark設定)ビューで必要になるたびにその接続を設定しなくても済みます。フィールドが自動的に入力されます。
3. [Distribution] (ディストリビューション)ドロップダウンリストからUniversalを、[Version] (バージョン)ドロップダウンリストからSparkバージョンを、[Runtime mode/environment] (ランタイムモード/環境)ドロップダウンリストからDatabricksサーバーレスをそれぞれ選択します。
4. 設定の基本情報を入力します:
   | パラメーター | 使用方法 |
   | --- | --- |
   | [Parallelize output files writing] (出力ファイルの書き込みを並列化) | このチェックボックスを選択すると、Sparkバッチジョブが出力ファイルの書き込み時に複数のスレッドを並行して実行できるようになります。このオプションによって実行時間のパフォーマンスが改善されます。<br><br>このチェックボックスがオフのままになっていると、出力ファイルは1つのスレッド内で順次書き込まれます。<br><br>サブジョブレベルでは、各サブジョブが順次処理されます。サブジョブ内の出力ファイルのみが並列化されます。<br><br>このオプションは、次の出力コンポーネントが含まれているSparkバッチジョブでのみ使用できます:<br><br><ul> <li>tAvroOutput</li> <li>tFileOutputDelimited (<span>[Use dataset API in migrated components] (移行したコンポーネントでデータセットAPIを使用)</span>チェックボックスが選択されている場合のみ)</li> <li>tファイルOutputParquet </li> </ul><br><br>情報メモ重要: ジョブ実行中のメモリに関する問題を避けるため、このパラメーターを使用する前に、書き込まれるファイルのサイズと実行環境の容量を考慮する必要があります。 |
5. [Databricks configuration] (Databricks設定)のパラメーターを完成させます:
   | パラメーター | 使用方法 |
   | --- | --- |
   | カタログ | Unity Catalogのカタログ名を入力します。Databricksサーバーレスでは、Unity Catalogが必須です。 |
   | スキーマ | Unity Catalogのカタログ内で、スキーマ名を入力します。 |
   | ボリューム | 実行時にジョブの依存関係を格納するために使用するUnity Catalogボリューム名を入力します。 |
   | エンドポイント | お使いのDatabricksワークスペースのURLアドレスを入力します。 |
   | 認証モード | Databricksの認証方法を選択します。<br><br><ul> <li><span>[Personal access token] (パーソナルアクセストークン)</span>: パーソナルアクセストークン(PAT)で認証を行います。[<span>トークン認証</span>]に、Databricksユーザーアカウント用に生成されたトークンを入力します。</li> <li><span>OAuth2</span>: OAuth2で認証します。[<span>クライアントID</span>]と[<span>シークレットID</span>]に、Databricksサービスプリンシパル用に生成されたOAuthクライアント認証情報を入力します。</li> </ul> |
   | [Dependencies folder] (依存項目フォルダー) | 実行時にジョブ関連の依存関係を格納するために使用するディレクトリを、末尾にスラッシュを付けて入力します。例: /jars/。 |
   | [Poll interval when retrieving Job status (in ms)] (ジョブステータスを取得する時のポーリング間隔(ミリ秒)) | Talend StudioがDatabricksに対してジョブのステータスをポーリングする間隔を、ミリ秒単位で入力します。 |
   | ジョブタイムアウト(ms) | ジョブが終了させられるまでに許容される最大実行時間を、ミリ秒単位で入力します。0に設定すると、タイムアウトを無効になります。 |
   | 結合/集計の並列化 | 結合および集計に使用するパーティション数を入力します。Databricksに最適な値を自動的に決定させるには、autoを使用します。 |
   | ファイル読み取りのための最大パーティションサイズ | ファイルの読み込み時における、パーティションの最大サイズをバイト単位で入力します。 |
   | 実行後にドライバーログをフェッチ | ジョブの実行完了後にDatabricksからSparkドライバーログを取得するには、このチェックボックスをオンにします。 |
   | ジョブキューイングを有効にする | サーバーレスコンピュートリソースが即座に利用できない場合にジョブをキューに登録できるようにするには、このチェックボックスをオンにします。 |
   | 予算ポリシーを設定 | サーバーレスワークロードのコストを制御するためにDatabricksの予算ポリシーを適用するには、このチェックボックスをオンにします。選択したら、表示されるフィールドにポリシーIDを入力します。 |
   | ACLを有効化 | ワークスペースまたはアカウントレベルのオブジェクトに対する権限を、アクセス制御リスト(ACL)を使用して構成する場合は、このチェックボックスをオンにします。 |
   | 環境名 | ジョブに使用するサーバーレス環境の名前を入力します。 |
   | 環境バージョン | サーバーレス環境のバージョンを入力します。サポートされているバージョンは4と5です。 |

## タスクの結果

Databricksサーバーレスへの接続設定が完了しました。サーバーレスコンピュートからSparkバッチジョブを実行する準備が整いました。