Dynamic Engineを使用するための前提条件
Talend Management ConsoleとDynamic Engineへのアクセス権限
- インフラストラクチャー管理者(TMC_CLUSTER_MANAGEMENT権限を含む)ロールを持っており、Talend Management ConsoleのDynamic Engineにアクセスできること。
- 環境管理者(TMC_ENVIRONMENT_MANAGEMENT権限を含む)ロールを持っており、[Dynamic Engine Environments] (環境)にアクセスできること。
Kubernetesのバージョン互換性
次の表は、Dynamic EngineがサポートするKubernetesのバージョンを示しています。
| Kubernetesのバージョン | 互換性があるDynamic Engineバージョン |
|---|---|
| 1.30 | 0.24.x, 1.0.x, 1.1.x |
| 1.31 | 0.24.x, 1.0.x, 1.1.x |
| 1.32 | 0.24.x, 1.0.x, 1.1.x |
| 1.33 | 0.24.x, 1.0.x, 1.1.x |
| 1.34 | 0.24.x, 1.0.x, 1.1.x |
サポートされているオペレーティングシステムとアーキテクチャ
Kubernetesのワーカーノードは、次のいずれかのサポートされているCPUアーキテクチャを備えたLinuxオペレーティングシステム上で動作する必要があります。
- Linux x86-64 (linux/amd64)
- Linux ARM64 (linux/arm64)
Windows Serverはサポートされていません。Linuxシステムとは互換性がありません。
Kubernetesクラスターがまだない場合は、ローカル環境、またはAWS、Google Cloud、Azureなどのクラウドプラットフォーム上にクラスターを作成します。公式にはサポートされていませんが、Digital OceanやOpenShiftなどの他のパブリッククラウドプロバイダーも、標準的なKubernetesディストリビューションを使用している限り、同様に動作します。
クラスター管理者権限と最小要件
このクラスターにDynamic Engineをデプロイおよび管理するには、Kubernetesクラスターの管理者である必要があります。
Kubernetesクラスターが、次の最小要件を満たしている必要があります。
- インスタンスサイズ: 16GBのメモリと4つのvCPU
- ノード数: 3
- ディスクサイズ: 20GB (エンジン実行用に最小2GB、およびデプロイされたジョブアーティファクト用のスペースを含む)
- CSI(コンテナストレージインターフェイス)プロバイダーによる永続ストレージが必要です。ストレージはどのノードからもアクセス可能である必要があります(KubernetesのReadWriteManyモード)。詳細については、以下の「サポートされているクラウドプラットフォームとストレージプロバイダー」のセクションを参照してください。
サポートされているクラウドプラットフォームとストレージプロバイダー
次の表は、サポートされているクラウドプラットフォーム、Kubernetesディストリビューション、対応するストレージプロバイダーに関するクイックリファレンスです。
| クラウドプラットフォーム | Kubernetesディストリビューション | プライマリストレージプロバイダー |
|---|---|---|
| Amazon Web Services (AWS) | Amazon Elastic Kubernetes Service (EKS) | Amazon EFS |
| Microsoft Azure | Azure Kubernetes Service (AKS) | Azure Files |
| Google Cloud | Google Kubernetes Engine (GKE) | Filestore CSI Driver |
各ストレージプロバイダーの詳細については、次を参照してください。
- Amazon EFS: マウントおよび設定手順については、Amazon EFS CSI Driverを参照してください。
- Azure Files: 設定の詳細については、Create and use a volume with Azure Files in Azure Kubernetes Service (AKS)を参照してください。
- Filestore: 詳細については、Filestore CSI Driverを参照してください。Dynamic Engine v1.0.0以降はGKEで正式にサポートされています。Dynamic Engineインスタンスとその環境をGKEにデプロイする例については、GKEクラスターにDynamic Engineをデプロイするを参照してください。
- Longhornは、Kubernetes向けの分散型ブロックストレージシステムです。Longhornを使用するには、次の最小ディスク容量が必要です。
- デプロイされたDynamic Engine環境1つで100GB
- 環境2つで150GB
- 環境3つで200GB
インストールおよび設定の手順については、(オプション) KubernetesクラスターにLonghornストレージソリューションをセットアップを参照してください。
minikube上でのローカル開発およびテストには、Local Path Provisionerを使用できます。
Dynamic Engineサービス向けの永続ストレージ構成
上記の表に示されているように、Dynamic Engineサービスが動作するためには永続ストレージが必要です。Kubernetesでは、永続ストレージはストレージクラスを通じて提供されます。ストレージクラスは、サービスから要求があった際に、ディスク容量をどのように、どこに動的に割り当てるかを定義します。
CSIストレージプロバイダーのストレージクラスを設定する際には、デフォルトのKubernetesストレージクラスを使用することも、Dynamic Engine専用のストレージクラスを使用することもできます。
- デフォルトのストレージクラスを使用する場合: 次のアノテーションを追加して、クラスターのデフォルトとして設定してください。
apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: annotations: storageclass.kubernetes.io/is-default-class: "true"このアノテーションにより、ストレージクラスを指定せずに永続的なボリュームが要求された場合、Kubernetesは自動的にこのデフォルトのストレージクラスを使用するようになります。
- Dynamic Engine専用のストレージクラスを使用する場合: Dynamic Engine環境サービス専用のストレージクラスをプロビジョニングを参照してください。
高度な機能の要件
メトリクスサーバー: データサービスとルートタスクの自動スケーリングを設定する場合は、Kubernetesクラスターにメトリクスサーバーがインストールされている必要があります。
メトリクスサーバーがすでにインストールされているかどうかを確認するには、次のコマンドを実行します。
kubectl top pod「エラー: メトリクス API を利用できません」などのエラーが発生した場合は、自動スケーリングを設定する前にメトリクスサーバーをインストールしてください。
自動スケーリングの設定の詳細については、データサービスとルートの自動スケーリングを設定を参照してください。
プロキシやファイアウォールの許可リストに追加するDNS URL
地域固有の詳細なURLリストについては、「プロキシとファイアウォールの許可リストにURLを追加」を参照してください。