# Spark UniversalでDatabricks接続パラメーターを定義 Availability-note[Beta](https://help.talend.com/r/en-US/Cloud/labels-on-talend-help-center/availability-beta) ベータ版コンテンツ ## このタスクについて Talend StudioはDatabricksサーバーレスコンピュートに接続し、Sparkバッチジョブを実行します。サーバーレスコンピュートはDatabricksによって完全に管理されており、クラスターの設定は必要ありません。 作業を始める前に、次の要件が満たされていることを確認してください。 * DatabricksワークスペースでUnity Catalogが有効になっています。 * そのワークスペースは、サーバーレスコンピュートをサポートするリージョンにあります。詳細については、Databricksドキュメントの[Serverless compute](https://learn.microsoft.com/en-US/azure/databricks/compute/serverless/) (英語のみ)を参照してください。 * ワークスペースでPCI-DSSコンプライアンスプロファイルが有効になっていません。 情報メモ重要: Databricks Serverless is available on AWS and Azure cloud providers only. ## 手順 1. デザインワークスペースの下にある[実行]ビューをクリックした後に、[Spark設定]ビューをクリックします。 2. [Property type] (プロパティタイプ)ドロップダウンリストから[Built-in] (組み込み)を選択します。 [Hadoop接続を一元管理](https://help.qlik.com/talend/ja-JP/studio-user-guide/8.0-R2026-09/Hadoop接続を一元管理/talend/en-US/studio-user-guide/8.0/centralizing-hadoop-connection)で説明されているとおり、既に[Repository] (リポジトリー)で接続パラメーターが設定されている場合は簡単に再利用できます。再利用するためには、[Property type] (プロパティタイプ)ドロップダウンリストから[Repository] (リポジトリー)を選択し、[...]をクリックし、[Repository Content] (リポジトリーコンテンツ)ダイアログボックスを開いて、使用するHadoop接続を選択します。 情報メモヒント: Setting up the connection in the Repository allows you to avoid configuring that connection each time you need it in the Spark configuration view of your Jobs. The fields are automatically filled. 3. [Distribution] (ディストリビューション)ドロップダウンリストからUniversalを、[Version] (バージョン)ドロップダウンリストからSparkバージョンを、[Runtime mode/environment] (ランタイムモード/環境)ドロップダウンリストからDatabricksサーバーレスをそれぞれ選択します。 4. 設定の基本情報を入力します: | パラメーター | 使用 | | --- | --- | | [Parallelize output files writing] (出力ファイルの書き込みを並列化) | このチェックボックスを選択すると、Sparkバッチジョブが出力ファイルの書き込み時に複数のスレッドを並行して実行できるようになります。このオプションによって実行時間のパフォーマンスが改善されます。

このチェックボックスがオフのままになっていると、出力ファイルは1つのスレッド内で順次書き込まれます。

サブジョブレベルでは、各サブジョブが順次処理されます。サブジョブ内の出力ファイルのみが並列化されます。

このオプションは、次の出力コンポーネントが含まれているSparkバッチジョブでのみ使用できます:



情報メモ重要: ジョブ実行中のメモリに関する問題を避けるため、このパラメーターを使用する前に、書き込まれるファイルのサイズと実行環境の容量を考慮する必要があります。 | 5. [Databricks configuration] (Databricks設定)のパラメーターを完成させます: | パラメーター | 使用 | | --- | --- | | カタログ | Unity Catalogのカタログ名を入力します。Databricksサーバーレスでは、Unity Catalogが必須です。 | | スキーマ | Unity Catalogのカタログ内で、スキーマ名を入力します。 | | ボリューム | 実行時にジョブの依存関係を格納するために使用するUnity Catalogボリューム名を入力します。 | | エンドポイント | お使いのワークスペースのURLアドレスを入力します。 | | 認証モード | Databricksの認証方法を選択します。

| | [Dependencies folder] (依存項目フォルダー) | 実行時にジョブ関連の依存関係を格納するために使用するディレクトリを、末尾にスラッシュを付けて入力します。 例: /jars/。 | | [Poll interval when retrieving Job status (in ms)] (ジョブステータスを取得する時のポーリング間隔(ミリ秒)) | Talend StudioがジョブのステータスをSparkに要求する時間間隔(ミリ秒)を引用符なしで入力します。 | | ジョブタイムアウト(ms) | ジョブが終了させられるまでに許容される最大実行時間を、ミリ秒単位で入力します。0に設定すると、タイムアウトが無効になります。 | | 結合/集計の並列化 | 結合および集計に使用するパーティション数を入力します。Databricksに最適な値を自動的に決定させるには、autoを使用します。 | | ファイル読み取りのための最大パーティションサイズ | ファイルの読み込み時における、パーティションの最大サイズをバイト単位で入力します。 | | 実行後にドライバーログをフェッチ | ジョブの実行完了後にDatabricksからSparkドライバーログを取得するには、このチェックボックスをオンにします。 | | ジョブキューイングを有効にする | サーバーレスコンピュートリソースが即座に利用できない場合にジョブをキューに登録できるようにするには、このチェックボックスをオンにします。 | | 予算ポリシーを設定 | サーバーレスワークロードのコストを制御するためにDatabricksの予算ポリシーを適用するには、このチェックボックスをオンにします。選択したら、表示されるフィールドにポリシーIDを入力します。 | | ACLを有効化 | このチェックボックスをオンにすると、アクセス制御リスト(ACL)を使って、ワークスペースやアカウントレベルのオブジェクトへのアクセス権限を設定できます。

[ACL permission] (ACL権限)では、CAN\_MANAGE、CAN\_MANAGE\_RUN、IS\_OWNER、CAN\_VIEWのいずれかを使って、ワークスペースオブジェクトへのアクセス権限を設定できます。

[ACL type] (ACLタイプ)では、[User] (ユーザー)、[Group] (グループ)、[Service Principal] (サービスプリンシパル)のいずれかを使って、アカウントレベルのオブジェクトの使用権限を設定できます。

[Name] (名前)には、管理者から付与された名前を入力します。 | | 環境名 | ジョブに使用するサーバーレス環境の名前を入力します。 | | 環境バージョン | サーバーレス環境のバージョンを入力します。サポートされるバージョンは、4と5です。 | ## タスクの結果 Databricksサーバーレスへの接続設定が完了しました。サーバーレスコンピュートからSparkバッチジョブを実行する準備が整いました。