こちらにフィードバックをお寄せください
Spark UniversalでKubernetes接続パラメーターを定義
最終更新日時: 2026/10/27手順
- デザインワークスペースの下にある[Run] (実行)ビューをクリックした後に、[Spark configuration] (Spark設定)ビューをクリックします。
-
[Property type] (プロパティタイプ)ドロップダウンリストから[Built-in] (組み込み)を選択します。
Hadoop接続を一元管理で説明されているとおり、既に[Repository] (リポジトリー)で接続パラメーターが設定されている場合は簡単に再利用できます。そのためには、[Property type] (プロパティタイプ)ドロップダウンリストから[Repository] (リポジトリー)を選択し、[...]ボタンをクリックし、[Repository Content] (リポジトリーコンテンツ)ダイアログボックスを開いて、使用するHadoop接続を選択します。情報メモヒント: Setting up the connection in the Repository allows you to avoid configuring that connection each time you need it in the Spark configuration view of your Jobs. The fields are automatically filled.
- [Distribution] (ディストリビューション)ドロップダウンリストからUniversalを、[Version] (バージョン)ドロップダウンリストからSparkバージョンを、[Runtime mode/environment] (ランタイムモード/環境)ドロップダウンリストからKubernetesをそれぞれ選択します。
-
[Kubernetes configuration] (Kubernetes設定)のパラメーターを完成させます:
パラメーター 使用 [Kubernetes submit mode] (Kubernetes送信モード) KubernetesクラスターでのSparkジョブの実行で、Spark-submitを使って直接送信するか、Livy REST API経由で送信するか、Kubernetesの送信モードのタイプを選択します。 [Kubernetes master] (Kubernetesマスター) APIサーバーアドレスをk8s://https://<k8s-apiserver-host>:<k8s-apiserver-port>という形式で入力します。コマンドラインインターフェイスでkubectl config view --minifyコマンドを使って、取得できます。 [Number of executor instances] (エグゼキューターインスタンスの数) ジョブ実行に使用するエグゼキューターの数を入力します。 [Use registry secret] (レジストリーシークレットを使用) 必要であれば、パスワードを入力してDockerイメージにアクセスします。 [Docker image] (Dockerイメージ) 実行に使用するDockerイメージの名前を入力します。 [Namespace] (ネームスペース) Dockerクラスターのネームスペースを入力します。 [Service account] (サービスアカウント) 使用するサービスアカウントの名前を入力します。サービスアカウントは、Kubernetesクラスターで十分な権限がある必要があります。 [Cloud storage] (クラウドストレージ) ドロップダウンリストから使いたいクラウドプロバイダーを選択して、対応するフィールドに情報と認証情報を入力します。 [Cloud storage] (クラウドストレージ) > S3 S3へ接続するよう、次のパラメーターを設定します: - [Bucket] (バケット)
- [Path to folder] (フォルダーへのパス)
- [Credentials type] (認証情報のタイプ)
- [Access key] (アクセスキー)
- [Secret key] (シークレットキー)
[Cloud storage] (クラウドストレージ) > Blob Azure Blob Storageへ接続するよう、次のパラメーターを設定します: - [Path to folder] (フォルダーへのパス)
- [Storage account] (ストレージアカウント)
- [Container name] (コンテナー名)
- [Secret key] (シークレットキー)
[Cloud storage] (クラウドストレージ) > Adls gen 2 ADLS Gen 2へ接続するよう、次のパラメーターを設定します: - [Path to folder] (フォルダーへのパス)
- [Storage account] (ストレージアカウント)
- [Credentials type] (認証情報のタイプ)
- [Container name] (コンテナー名)
- [Secret key] (シークレットキー)
[Cloud storage] (クラウドストレージ) > HDFS HDFSに接続する場合は、次のパラメーターを設定します: - [Use Kerberos] (Kerberosを使用)
- [HDFS address] (HDFSアドレス)
- [User] (ユーザー)
- [Path to folder] (フォルダーへのパス)
-
[Configuration] (設定)の基本情報を入力します:
パラメーター 使用 [Parallelize output files writing] (出力ファイルの書き込みを並列化) このチェックボックスを選択すると、Sparkバッチジョブが出力ファイルの書き込み時に複数のスレッドを並行して実行できるようになります。このオプションによって実行時間のパフォーマンスが改善されます。 このチェックボックスがオフのままになっていると、出力ファイルは1つのスレッド内で順次書き込まれます。
サブジョブレベルでは、各サブジョブが順次処理されます。サブジョブ内の出力ファイルのみが並列化されます。
このオプションは、次の出力コンポーネントが含まれているSparkバッチジョブでのみ使用できます:- tAvroOutput
- tFileOutputDelimited ([Use dataset API in migrated components] (移行したコンポーネントでデータセットAPIを使用)チェックボックスが選択されている場合のみ)
- tファイルOutputParquet
情報メモ重要: ジョブ実行中のメモリに関する問題を避けるため、このパラメーターを使用する前に、書き込まれるファイルのサイズと実行環境の容量を考慮する必要があります。