Spark設定ビューでSpark Universal接続詳細を定義
ジョブの[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、Spark Universal接続設定を完成させます。この設定はジョブごとに有効です。
| モードまたは環境 | 説明 |
|---|---|
| Cloudera Data Engineering | Talend Studioがジョブを送信し、Cloudera Data Engineeringサービスからそのジョブの実行情報を収集します。 詳細については、Spark UniversalでCloudera Data Engineering接続パラメーターを定義をご覧ください。 |
| Cloudera Private Cloud | Talend Studioがジョブを送信し、Cloudera Private Cloudからそのジョブの実行情報を収集します。 詳細については、Spark Universalを使用してCloudera Private Cloudの接続パラメーターを定義するを参照してください。 |
| Cloudera Public Cloud | Talend Studioがジョブを送信し、Cloudera Public Cloudからそのジョブの実行情報を収集します。 詳細については、Spark Universalを使用してCloudera Public Cloudの接続パラメーターを定義するを参照してください。 |
| Databricks | Talend Studioがジョブを送信し、Databricksからそのジョブの実行情報を収集します。Sparkドライバーは、Databricksのジョブクラスター、およびGCP、AWS、AzureでのDatabricksの汎用クラスターで動作します。 詳細については、Spark UniversalでDatabricks接続パラメーターを定義をご覧ください。 |
| Dataproc | Talend Studioがジョブを送信し、Dataprocからそのジョブの実行情報を収集します。 詳細については、Spark UniversalでDataproc接続パラメーターを定義をご覧ください。 |
| EMR | Talend Studioがジョブを送信し、EMRサービスからそのジョブの実行情報を収集します。 詳細は、Spark UniversalでEMR接続パラメーターを定義をご覧ください。 |
| EMR Serverless | Talend Studioがジョブを送信し、EMR Serverlessサービスからそのジョブの実行情報を収集します。 詳細は、Spark UniversalでEMR Serverless接続パラメーターを定義をご覧ください。 |
| HDInsight | Talend Studioがジョブを送信し、HDInsightからそのジョブの実行情報を収集します。 詳細は、Spark UniversalでHDInsight接続パラメーターを定義をご覧ください。 |
| Kubernetes | Talend Studioがジョブを送信し、Kubernetesからそのジョブの実行情報を収集します。SparkドライバーがKubernetesによって管理されるクラスター上で実行され、Talend Studioから独立して実行できます。 詳細については、Spark UniversalでKubernetes接続パラメーターを定義をご覧ください。 |
| Livy Knox | Talend Studioがジョブを送信し、Livy Knoxからそのジョブの実行情報を収集します。 詳細は、Spark UniversalでLivy Knox接続パラメーターを定義をご覧ください。 |
| [Local] (ローカル) | Talend Studioは実行時にSpark環境自体をビルドし、Talend Studio内でジョブをローカルに実行します。このモードでは、ローカルマシンの各プロセッサーがSparkワーカーとして使用されて計算を行います。 詳細については、Spark Universalでローカル接続パラメーターを定義をご覧ください。 |
| Spark-submitスクリプト | Talend Studioがジョブを送信し、お使いのクラスター(通常はHRE Data Fabricクラスター)のYarnおよびApplicationMasterからそのジョブの実行情報を収集します。Sparkドライバーがクラスター上で実行され、Talend Studioから独立して実行できます。 詳細は、Spark UniversalでSpark-submitスクリプト接続パラメーターを定義をご覧ください。 |
| [Standalone] (スタンドアロン) | Talend StudioはSparkが有効になったクラスターに接続し、そのクラスターからジョブを実行します。 詳細については、Spark Universalでスタンドアロン接続パラメーターを定義をご覧ください。 |
| Synapse | Talend Studioがジョブを送信し、Azure Synapse Analyticsからそのジョブの実行情報を収集します。 詳細は、Spark UniversalでAzure Synapse Analytics接続パラメーターを定義をご覧ください。 |
| [Yarn cluster] (Yarnクラスター) | Talend Studioがジョブを送信し、YarnおよびApplicationMasterからそのジョブの実行情報を収集します。Sparkドライバーがクラスター上で実行され、Talend Studioから独立して実行できます。 詳細については、Spark UniversalでYarnクラスター接続パラメーターを定義をご覧ください。 |