Talend Management ConsoleとDynamic Engineについて
Talend Management Console (TMC)とDynamic Engineは、顧客が管理するインフラストラクチャーを使用しながらSaaS体験を提供します。このソリューションは、パブリッククラウド環境でのデータ処理を禁止する厳しいポリシーを持つ企業や連邦政府組織向けにカスタマイズされています。
Dynamic Engineは柔軟性に優れており、Kubernetes環境と深く統合します。仮想マシンや物理サーバーにデプロイされ、Talendタスクをリモートで実行する従来のTalend Remote Engineインスタンスとは異なり、Dynamic EngineインスタンスはKubernetesのオーケストレーション、スケーラビリティ、回復力を活用します。このインスタンスは、このような機能を完全に利用するために構築されています。
Dynamic Engineとは
Dynamic Engineインスタンスは、Talend Management Consoleで作成された論理エンティティと、Kubernetesクラスターでプロビジョニングされた物理エンティティで構成されます。物理エンティティは、割り当てられたDynamic Engine環境ネームスペースでポッドのセットとして動作し、Talendタスクの実行に必要なサービスをすべて統合します。Talend Management ConsoleとそのAPIサービスは、ユーザー、タスク、Dynamic Engineをはじめとする関連のエコシステムを管理します。
Dynamic Engine と Talend Remote Engineの相違点
従来のTalend Remote Engineは、オンプレミスのインフラストラクチャーやプライベートクラウドの仮想マシンにデプロイされた分離環境を提供します。これらの環境は、インフラストラクチャーが比較的静的で、自動スケーリングの必要性が最小限である従来のデプロイメントに適しています。ただしこのような環境では、特にスケーリングやタスクの分配に手作業が必要になることが多いため、リソース管理が複雑化する可能性があります。
対照的に、Dynamic Engineは自動化とコンテナー管理にKubernetesを活用し、データ処理により現代的で柔軟なアプローチを提供します。このソリューションでは、インフラ管理の多くをKubernetesにオフロードすることで運用のオーバーヘッドを削減し、最小限の手作業でパフォーマンスを最適化できます。Dynamic Engineはさらに、データ主権と厳格な規制要件へのコンプライアンスが保証されるSaaSデプロイメントモデルをサポートしています。将来的にDynamic EngineはTalend Cloudサービス全体でさらに緊密な統合を進め、単一かつ統一されたフレームワークで処理業務を簡素化するよう位置付けられています。
Dynamic Engineインスタンスは、関連するDynamic Engine環境にデプロイされたサービスを使用してタスクを実行します。プロセスの簡素化と効率の向上を目的としてデザインされた各Dynamic Engine環境は、18000トークンを必要とし、データ統合とビッグデータジョブのタスクのみをサポートします。
Talend Management Consoleによる管理
前述のとおり、Talend Management Consoleは、APIサービスと共にDynamic Engineインスタンスと環境をシームレスに管理します。Talend Management Consoleを使用すれば、Dynamic Engineインスタンスとその環境のライフサイクルをリアルタイムで簡単にデプロイ、監視、管理でき、Kubernetesの自動化とスケーラビリティ機能を活用してさまざまなワークロードの需要に効率的に対応できるようになります。
Dynamic Engineのアーキテクチャー
次の図は、Dynamic Engineソリューションのアーキテクチャーの説明です。
- Talend Management Consoleは、Dynamic Engineエンティティの作成、デプロイ後のステータスの監視、作業負荷の割り当てを行うためのUI機能とAPIサービスを提供します。
- 認可されたKubernetesクラスターユーザーは、Talend Management Consoleから自動的に生成されたマニフェストファイルを通じてDynamic Engineインスタンスとそのランタイム環境をプロビジョニングします。
- 複数の通信チャネルはそれぞれ、Talend Management ConsoleインスタンスとDynamic Engineインスタンス間の相互作用を進め、潜在的な問題を分離しながら特定の機能(ヘルスチェック、タスクスケジューリング、その他の操作)に特化しています。
- 各Dynamic Engine環境に割り当てられたネームスペースで、データ統合ジョブが個別のKubernetesジョブとして実行されます。
- さまざまな機能のため、Kubernetesクラスターには以下のサービスがデプロイされます:
- engine-operatorサービスは、Dynamic Engineインスタンスのコアサービスとして動作し、Dynamic Engineリソースを提供して、エンジンの状態を監視します。
- 各Dynamic Engine環境のネームスペースは、次のサービスをホストします:
- engine-agentサービスとengine-clientサービスは、環境とDynamic Engineインスタンス間のペアリングを管理します。
- di-job-deployerサービス、job-controllerサービス、job-restore-orphansサービスは、ジョブタスクの実行と管理を処理します。