Dynamic Engineを使用するための前提条件
Talend Management ConsoleとDynamic Engineへのアクセス権限
- インフラストラクチャー管理者(TMC_CLUSTER_MANAGEMENT権限を含む)ロールを持っており、Talend Management ConsoleのDynamic Engineにアクセスできること。
- 環境管理者(TMC_ENVIRONMENT_MANAGEMENT権限を含む)ロールを持っており、[Dynamic Engine Environments] (環境)にアクセスできること。
Kubernetesの仕様
- Kubernetesクラスターがまだない場合は、ローカルか、クラウドプラットフォーム(AWSやAzureなど)に作成します。
- Kubernetesワーカーノードは、linux_x86_64アーキテクチャー、つまりLinuxオペレーティングシステムで動作するx86-64 (64ビット) CPUアーキテクチャーで動作することが必要です。この要件は次のことを意味します:
- ARMベースのプロセッサーアーキテクチャはサポートされていません。
- Windows Serverはサポートされていません。Linuxシステムとは互換性がありません。
- Kubernetesワーカーノードは、linux_x86_64アーキテクチャー、つまりLinuxオペレーティングシステムで動作するx86-64 (64ビット) CPUアーキテクチャーで動作することが必要です。この要件は次のことを意味します:
- Kubernetesクラスターのバージョンはv1.27〜v1.30であることが必要です。
- Kubernetesクラスターの管理者であること。これにより、このクラスターでDynamic Engineをデプロイして管理するために十分な権限と権限が確保されます。
- Kubernetesクラスターの最小要件:
- インスタンスサイズ: 16GBのメモリと4つのvCPU
- ノード数: 3
- ディスクサイズ: 20GB (エンジン実行用に最小2GB、およびデプロイされたジョブアーティファクト用のスペースを含む)
これには、CSIプロバイダーが利用できること、そして対応するストレージクラスが設定されていることが必要です。このCSIプロバイダーとストレージクラスにより、Kubernetesクラスターはどのノードからもアクセス可能な恒久的ストレージを持つことができます。
サポートされているCSIストレージプロバイダーは以下のとおりです:
- Amazon EFS。この恒久的ストレージのマウンティングに関する詳細は、Amazon EFS CSI Driverをご覧ください。
- Azure Files。詳細は、Create and use a volume with Azure Files in Azure Kubernetes Service (AKS)をご覧ください。
- 上記のいずれのプロバイダーも使用できない場合は、Kubernetes用の分散ブロックストレージシステムであるLonghornをクラスターにインストールします。Longhornの場合、必要な最小ディスクサイズは100GBです。Longhornのインストールの詳細は、(オプション) KubernetesクラスターにLonghornストレージソリューションをセットアップをご覧ください。
どのCSIストレージプロバイダーでも、ストレージクラスの設定時に、次の注釈を追加する必要があります:この注釈によって、設定されたストレージクラスがKubernetesクラスターのデフォルトとして設定されることが保証されます。その結果、ストレージクラスを指定せずに永続的なボリュームが要求されると、Kubernetesは自動的にこのデフォルトストレージクラスを使用するようになります。apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: annotations: storageclass.kubernetes.io/is-default-class: "true"
情報メモヒント: 公式にはサポートされていませんが、他のパブリッククラウドプロバイダー(Google Cloud、Digital Ocean、Open Shiftなど)も、標準的なKubernetesディストリビューションを使用している限り、サポートされているものと同様に動作します。
プロキシやファイアウォールの許可リストに追加するDNS URL
リージョン: AWSアジアパシフィックデータセンター
これらのURLのポート値は443です。そのURLのトラフィックはアウトバウンドです。
URL 使用元 目的 要件レベル https://api.ap.cloud.talend.com/processing/runtimes/dynamic-engines Dynamic Engine 接続性のステータス 必須の有無 https://pair.ap.cloud.talend.com Dynamic Engine 最初のペアリングリクエストとハートビートを送信
必須の有無 https://engine.ap.cloud.talend.comまたはwss://engine.ap.cloud.talend.com
Dynamic Engine パイプラインタスクの実行 必須の有無 https://vault-gateway.ap.cloud.talend.com Dynamic Engine パイプラインタスクの実行で使用されるシークレットを解読 必須の有無 https://msg.ap.cloud.talend.com Dynamic Engine データ統合ジョブタスクの実行 必須の有無 https://minio-artifacts.ap.cloud.talend.com Dynamic Engine データ統合ジョブタスクの実行 必須の有無 https://minio-customerlogs.ap.cloud.talend.com Dynamic Engine データ統合ジョブタスクの実行 必須の有無 ghcr.io
そして
docker.io
Dynamic Engine Dockerイメージを入力 必須の有無 *.talend.github.io
Dynamic Engine Helm図を提供 必須の有無 リージョン: AWSオーストラリアデータセンター
これらのURLのポート値は443です。そのURLのトラフィックはアウトバウンドです。
URL 使用元 目的 要件レベル https://api.au.cloud.talend.com/processing/runtimes/dynamic-engines Dynamic Engine 接続性のステータス 必須の有無 https://pair.au.cloud.talend.com Dynamic Engine 最初のペアリングリクエストとハートビートを送信
必須の有無 https://engine.au.cloud.talend.comまたはwss://engine.au.cloud.talend.com
Dynamic Engine パイプラインタスクの実行 必須の有無 https://vault-gateway.au.cloud.talend.com Dynamic Engine パイプラインタスクの実行で使用されるシークレットを解読 必須の有無 https://msg.au.cloud.talend.com Dynamic Engine データ統合ジョブタスクの実行 必須の有無 https://minio-artifacts.au.cloud.talend.com Dynamic Engine データ統合ジョブタスクの実行 必須の有無 https://minio-customerlogs.au.cloud.talend.com Dynamic Engine データ統合ジョブタスクの実行 必須の有無 ghcr.io
そして
docker.io
Dynamic Engine Dockerイメージを入力 必須の有無 *.talend.github.io
Dynamic Engine Helm図を提供 必須の有無 リージョン: AWS欧州データセンター
これらのURLのポート値は443です。そのURLのトラフィックはアウトバウンドです。
URL 使用元 目的 要件レベル https://api.eu.cloud.talend.com/processing/runtimes/dynamic-engines Dynamic Engine 接続性のステータス 必須の有無 https://pair.eu.cloud.talend.com Dynamic Engine 最初のペアリングリクエストとハートビートを送信
必須の有無 https://engine.eu.cloud.talend.comまたはwss://engine.eu.cloud.talend.com
Dynamic Engine パイプラインタスクの実行 必須の有無 https://vault-gateway.eu.cloud.talend.com Dynamic Engine パイプラインタスクの実行で使用されるシークレットを解読 必須の有無 https://msg.eu.cloud.talend.com Dynamic Engine データ統合ジョブタスクの実行 必須の有無 https://minio-artifacts.eu.cloud.talend.com Dynamic Engine データ統合ジョブタスクの実行 必須の有無 https://minio-customerlogs.eu.cloud.talend.com Dynamic Engine データ統合ジョブタスクの実行 必須の有無 ghcr.io
そして
docker.io
Dynamic Engine Dockerイメージを入力 必須の有無 *.talend.github.io
Dynamic Engine Helm図を提供 必須の有無 リージョン: AWS米国データセンター
これらのURLのポート値は443です。そのURLのトラフィックはアウトバウンドです。
URL 使用元 目的 要件レベル https://api.us.cloud.talend.com/processing/runtimes/dynamic-engines Dynamic Engine 接続性のステータス 必須の有無 https://pair.us.cloud.talend.com Dynamic Engine 最初のペアリングリクエストとハートビートを送信
必須の有無 https://engine.us.cloud.talend.comまたはwss://engine.us.cloud.talend.com
Dynamic Engine パイプラインタスクの実行 必須の有無 https://vault-gateway.us.cloud.talend.com Dynamic Engine パイプラインタスクの実行で使用されるシークレットを解読 必須の有無 https://msg.us.cloud.talend.com Dynamic Engine データ統合ジョブタスクの実行 必須の有無 https://minio-artifacts.us.cloud.talend.com Dynamic Engine データ統合ジョブタスクの実行 必須の有無 https://minio-customerlogs.us.cloud.talend.com Dynamic Engine データ統合ジョブタスクの実行 必須の有無 ghcr.io
そして
docker.io
Dynamic Engine Dockerイメージを入力 必須の有無 *.talend.github.io
Dynamic Engine Helm図を提供 必須の有無 - リージョン: Azure米国西部データセンター
これらのURLのポート値は443です。そのURLのトラフィックはアウトバウンドです。
URL 使用元 目的 要件レベル https://api.us-west.cloud.talend.com/processing/runtimes/dynamic-engines Dynamic Engine 接続性のステータス 必須の有無 https://pair.us-west.cloud.talend.com Dynamic Engine 最初のペアリングリクエストとハートビートを送信
必須の有無 https://engine.us-west.cloud.talend.com
または
wss://engine.us-west.cloud.talend.com
Dynamic Engine パイプラインタスクの実行 必須の有無 https://vault-gateway.us-west.cloud.talend.com Dynamic Engine パイプラインタスクの実行で使用されるシークレットを解読 必須の有無 https://msg.us-west.cloud.talend.com Dynamic Engine データ統合ジョブタスクの実行 必須の有無 https://minio-artifacts.us-west.cloud.talend.com Dynamic Engine データ統合ジョブタスクの実行 必須の有無 https://minio-customerlogs.us-west.cloud.talend.com Dynamic Engine データ統合ジョブタスクの実行 必須の有無 ghcr.io
そして
docker.io
Dynamic Engine Dockerイメージを入力 必須の有無 *.talend.github.io
Dynamic Engine Helm図を提供 必須の有無