# Spark UniversalでKubernetes接続パラメーターを定義 利用対象... * Big Data * Big Data Platform * Cloud Big Data * Cloud Big Data Platform * Cloud Data Fabric * Data Fabric * Real-Time Big Data Platform ## 手順 1. デザインワークスペースの下にある[Run] (実行)ビューをクリックした後に、[Spark configuration] (Spark設定)ビューをクリックします。 2. [Property type] (プロパティタイプ)ドロップダウンリストから[Built-in] (組み込み)を選択します。 [Hadoop接続を一元管理](https://help.qlik.com/talend/ja-JP/studio-user-guide/8.0-R2024-05/Hadoop接続を一元管理https://help.talend.com/ja-JP/studio-user-guide/8.0/centralizing-hadoop-connection)で説明されているとおり、既に[Repository] (リポジトリー)で接続パラメーターが設定されている場合は簡単に再利用できます。再利用するためには、[Property type] (プロパティタイプ)ドロップダウンリストから[Repository] (リポジトリー)を選択し、[...]ボタンをクリックし、[Repository Content] (リポジトリーコンテンツ)ダイアログボックスを開いて、使用するHadoop接続を選択します。 情報メモヒント: [Repository] (リポジトリー)で接続を設定すると、ジョブの[Spark configuration] (Spark設定)ビューで必要になるたびにその接続を設定しなくても済みます。フィールドが自動的に入力されます。 3. [Distribution] (ディストリビューション)ドロップダウンリストからUniversalを、[Version] (バージョン)ドロップダウンリストからSparkバージョンを、[Runtime mode/environment] (ランタイムモード/環境)ドロップダウンリストからKubernetesをそれぞれ選択します。 4. [Kubernetes configuration] (Kubernetes設定)のパラメーターを完成させます: | パラメーター | 使用方法 | | --- | --- | | [Kubernetes master] (Kubernetesマスター) | APIサーバーアドレスをk8s://https://<k8s-apiserver-host>:<k8s-apiserver-port>という形式で入力します。コマンドラインインターフェイスでkubectl config view --minifyコマンドを使って、取得できます。 | | [Number of executor instances] (エグゼキューターインスタンスの数) | ジョブ実行に使用するエグゼキューターの数を入力します。 | | [Use registry secret] (レジストリーシークレットを使用) | 必要であれば、パスワードを入力してDockerイメージにアクセスします。 | | [Docker image] (Dockerイメージ) | 実行に使用するDockerイメージの名前を入力します。 | | ネームスペース | Dockerクラスターのネームスペースを入力します。 | | [Service account] (サービスアカウント) | 使用するサービスアカウントの名前を入力します。サービスアカウントは、Kubernetesクラスターで十分な権限がある必要があります。 | | [Cloud storage] (クラウドストレージ) | ドロップダウンリストから使いたいクラウドプロバイダーを選択して、対応するフィールドに情報と認証情報を入力します。 | | [Cloud storage] (クラウドストレージ) > S3 | S3へ接続するよう、次のパラメーターを設定します:

| | [Cloud storage] (クラウドストレージ) > Blob | Azure Blob Storageへ接続するよう、次のパラメーターを設定します:

| | [Cloud storage] (クラウドストレージ) > Adls gen 2 | ADLS Gen 2へ接続するよう、次のパラメーターを設定します:

| 5. [Configuration] (設定)の基本情報を入力します: | パラメーター | 使用方法 | | --- | --- | | [Use local timezone] (ローカルタイムゾーンを使用) | このチェックボックスをオンにすると、Sparkはシステムで指定されているローカルタイムゾーンを使用します。

情報メモ注:

| | [Use dataset API in migrated components] (移行したコンポーネントでデータセットAPIを使用) | このチェックボックスをオンにし、コンポーネントにResilient Distribued Dataset (RDD) APIの代わりにDataset (DS) APIを使用させます:



このチェックボックスはデフォルトで選択されていますが、7.3以降のジョブをインポートした場合、これらのジョブはRDDで実行されるため、チェックボックスはクリアされます。

情報メモ重要: ジョブにtDeltaLakeInputコンポーネントとtDeltaLakeOutputコンポーネントが含まれている場合は、このチェックボックスを選択する必要があります。 | | [Use timestamp for dataset components] (データセットコンポーネントにタイムスタンプを使用) | このチェックボックスをオンにすると、日付でjava.sql.Timestamp使われます。

情報メモ注: このチェックボックスをオフのままにしておくと、パターンに応じてjava.sql.Timestampかjava.sql.Dateが使われます。 | 6. [Advanced properties] (詳細プロパティ)テーブルに、Talend Studioによって使用されるデフォルトのプロパティを上書きするために必要なSparkプロパティを追加します。 ## タスクの結果 これでKubernetesクラスターへの接続詳細が完全なものになったので、ジョブの実行をスケジュールしたり、クラスターからすぐに実行できます。