Spark Structured StreamingでDatabricks接続パラメーターを定義

Spark Structured StreamingジョブにDatabricks接続を設定します。

1. デザインワークスペースの下にある[実行]ビューをクリックした後に、[Spark Structured Streaming]ビューをクリックします。
2. [Property Type] (プロパティタイプ)リストから[Built-In] (組み込み)を選択します。
3. [Distribution] (ディストリビューション)ドロップダウンリストからUniversalを、[Runtime mode/environment] (ランタイムモード/環境)ドロップダウンリストからDatabricksをそれぞれ選択します。
4. [Databricks configuration] (Databricks設定)のパラメーターを完成させます。

   パラメーター	使用
   [Cloud provider] (クラウドプロバイダー)	使用するクラウドプロバイダーとして、AWS、Azure、GCPのいずれかを選択します。
   [Run mode] (実行モード)	Talend Studioでジョブを実行する際に、Databricksクラスターでのジョブの実行に使いたいモードを選択します。[Create and run now] (今すぐ作成して実行)では、Databricksで新しいジョブが作成されてすぐに実行されます。[Runs submit] (実行を送信)では、Databricksでジョブを作成せずに1回限りの実行が送信されます。
   [Enable Unity Catalog] (Unity Catalogを有効化)	Unity Catalogを活用する場合は、このチェックボックスをオンにします。次に、Catalogパラメーター、Schemaパラメーター、VolumeパラメーターでUnity Catalog関連の情報を指定する必要があります。 情報メモ重要: All the parameters have to be created on Databricks with granted permissions for all authorized users before using them in Talend Studio.
   [Use pool] (プールを使用)	Databricksプールを活用する場合はこのチェックボックスをオンにします。チェックボックスをオンにした場合は、[Cluster ID] (クラスターID)ではなく[Pool ID] (プールID)を指定する必要があります。また、[Cluster type] (クラスタータイプ)ドロップダウンリストで[Job clusters] (ジョブクラスター)を選択する必要があります。
   エンドポイント	お使いのワークスペースのURLアドレスを入力します。
   [Cluster ID] (クラスターID)	使用するDatabricksクラスターのIDを入力します。このIDは、Sparkクラスターのspark.databricks.clusterUsageTags.clusterIdプロパティの値です。このプロパティは、クラスターの[Spark UI]ビューの[Environment] (環境)タブのプロパティリストにあります。
   認証モード	ドロップダウンリストで、Databricksへの認証方法を選択します。 [Personal access token] (パーソナルアクセストークン): パーソナルアクセストークン(PAT)で認証を行います。詳細は、DatabricksのドキュメンテーションでDatabricks personal access token authentication (英語のみ)をご覧ください。 [認証トークン] に、Databricksユーザーアカウント用に生成された認証トークンを入力します。 OAuth2: OAuth2で認証します。詳細は、DatabricksのドキュメンテーションでAuthenticate access to Databricks using OAuth token federation (英語のみ)をご覧ください。 [クライアントID]と[シークレットID]に、Databricksサービスプリンシパル用に生成されたOAuthクライアント認証情報を入力します。
   [Dependencies folder] (依存項目フォルダー)	実行時にジョブ関連の依存項目をDatabricksファイルシステムへ保存するために使うディレクトリーを入力します。このディレクトリーの最後にはスラッシュ( / )を付けます。たとえば、/jars/と入力して、依存項目をjarsという名前のフォルダーに保管します。このフォルダーが存在しない場合、ここで作成されます。 Databricks 15.4 LTSより、デフォルトのライブラリーの場所がDBFSではんくWORKSPACEとなりました。
   [Project ID] (プロジェクトID)	Databricksプロジェクトが存在するGoogle PlatformプロジェクトのIDを入力します。 このフィールドは、[Cloud provider] (クラウドプロバイダー)ドロップダウンリストからGCPを選択している場合のみ利用できます。
   [Bucket] (バケット)	Google PlatformのDatabricksに使用するバケット名を入力します。 このフィールドは、[Cloud provider] (クラウドプロバイダー)ドロップダウンリストからGCPを選択している場合のみ利用できます。
   [Workspace ID] (ワークスペースID)	databricks-workspaceidの形式に従って、Google PlatformワークスペースのIDを入力します。 このフィールドは、[Cloud provider] (クラウドプロバイダー)ドロップダウンリストからGCPを選択している場合のみ利用できます。
   [Google credentials] (Googleクレデンシャル)	サービスアカウントキーが含まれているJSONファイルを保存するTalend JobServerマシン内のディレクトリーを入力します。 このフィールドは、[Cloud provider] (クラウドプロバイダー)ドロップダウンリストからGCPを選択している場合のみ利用できます。
   [Poll interval when retrieving Job status (in ms)] (ジョブステータスを取得する時のポーリング間隔(ミリ秒))	Talend StudioがジョブのステータスをSparkに要求する時間間隔(ミリ秒)を引用符なしで入力します。
   [Cluster type] (クラスタータイプ)	ドロップダウンリストで、使用したいクラスターのタイプを選択します。詳細は、Databricksクラスターについてをご覧ください。 情報メモ注: When you run the Job using Talend Studio with Java 17, you need to set the JNAME=zulu17-ca-amd64 environment variable: on Databricks side for job clusters in Init scripts using the set_java17_dbr.sh script on S3 for all-purpose clusters DBFSは、[Init Scripts] (Initスクリプト)の場所としてはサポートされなくなりました。Databricksの全バージョンで、WORKSPACEに置き換えられます。
   [Use policy] (ポリシーを使用)	このチェックボックスをオンにして、ジョブクラスターで使用するポリシーの名前を入力します。ポリシーを使用して、ルールのセットに基づいてクラスターを設定する機能を制限できます。 クラスターポリシーの詳細は、Databricksの公式ドキュメントでManage cluster policies (英語のみ)をご覧ください。
   DBFSを使って依存項目をアップロード	このチェックボックスをオンにすると、DBFSへの依存項目がアップロードされます。
   ACLを有効化	このチェックボックスをオンにすると、アクセス制御リスト(ACL)を使って、ワークスペースやアカウントレベルのオブジェクトへのアクセス権限を設定できます。 [ACL permission] (ACL権限)では、CAN_MANAGE、CAN_MANAGE_RUN、IS_OWNER、CAN_VIEWのいずれかを使って、ワークスペースオブジェクトへのアクセス権限を設定できます。 [ACL type] (ACLタイプ)では、[User] (ユーザー)、[Group] (グループ)、[Service Principal] (サービスプリンシパル)のいずれかを使って、アカウントレベルのオブジェクトの使用権限を設定できます。 [Name] (名前)には、管理者から付与された名前を入力します。 このオプションは、[Cluster type] (クラスタータイプ)が[Job clusters] (ジョブクラスター)に設定されている場合に利用可能です。詳細は、Databricksのドキュメンテーション (英語のみ)をご覧ください。
   [Autoscale] (自動スケーリング)	このチェックボックスをオンまたはオフにして、ジョブクラスターで使用するワーカーの数を定義します。このチェックボックスをオンにすると、自動スケーリングが有効になります。次に、[Min workers] (最小ワーカー)にワーカーの最小数、[Max workers] (最大ワーカー)に最大ワーカー数を定義します。ジョブクラスターは、ワークロードに基づいてこのスコープでスケールアップおよびスケールダウンされます。 このチェックボックスをオンにすると、自動スケーリングが有効になります。次に、[Min workers] (最小ワーカー)にワーカーの最小数、[Max workers] (最大ワーカー)に最大ワーカー数を定義します。ジョブクラスターは、ワークロードに基づいてこのスコープでスケールアップおよびスケールダウンされます。 Databricksのドキュメンテーションによると、自動スケーリングはDatabricksランタイムバージョン3.0以降で最適に機能します。 このチェックボックスをオフにすると、自動スケーリングは無効になります。次に、ジョブクラスターに必要なワーカーの数を定義します。この数には、Sparkドライバーノードは含まれません。
   [Node type] (ノードタイプ)と[Driver node type] (ドライバーノードタイプ)	ワーカーノードとSparkドライバーノードのノードタイプを選択します。これらのタイプは、ノードの容量とDatabricksによる価格設定を決定します。 これらのノードタイプと使用するDatabricksユニットの詳細は、DatabricksドキュメンテーションでSupported Instance Types (サポートされるインスタンスタイプ) (英語のみ)をご覧ください。
   [Enable credentials passthrough] (認証情報のパススルーを有効化)	このチェックボックスをオンにすると、Databricks Universalへの接続時にユーザー認証情報のパススルーが無効になります。このオプションが選択されている場合、データソースへの認証ではユーザーの個別の認証情報が使用されません。
   [Configure cluster logs] (クラスターログの設定)	このチェックボックスをオンにすると、Sparkログを長期間保存する場所を定義できます。
   [Custom tags] (カスタムタグ)	このチェックボックスをオンにすると、カスタムタグをキーと値のペアとしてDatabricksリソースに追加できます。
   [Init Scripts] (Initスクリプト)	DBFSは、[Init Scripts] (Initスクリプト)の場所としてはサポートされなくなりました。Databricksの全バージョンで、WORKSPACEに置き換えられました。
   [Do not restart the cluster when submitting] (送信時にクラスターを再起動しない)	Talend Studioがジョブを送信する時にTalend Studioがクラスターを再起動しないようにするには、このチェックボックスをオンにします。ただしジョブで変更を行う場合は、このチェックボックスをオフにし、Talend Studioがクラスターを再起動してその変更が反映されるようにします。