Dynamic Engineの既知の制限事項
Dynamic Engineソリューションには、次の既知の制限事項があります:
- デザイン上、Kubernetesクラスターはそれぞれ1つのDynamic Engineしか持つことができません。Dynamic Engineは、タスクとプランの実行のためのコアインフラストラクチャーサービスを提供します。
- Kubernetesクラスターに複数のDynamic Engineをデプロイしないようにするメカニズムはありません。これを行うと、Talend 管理コンソール、Dynamic Engine、Dynamic Engineの環境で予期しない接続性やパフォーマンスの問題が発生することがあります。
- Dynamic Engine および Dynamic Engine 環境をデプロイするには、Talend 管理コンソール によって生成されたデプロイメント ファイルを使用する必要があります。カスタムのデプロイメント ファイルはサポートされていません。
- Dynamic Engine がデプロイされる Kubernetes クラスターは、パブリックインターネットにアクセスできることが必要です。
- データ統合ジョブの以下のタスク実行機能はサポートされていません:
- Dynamic Engineでのデータ統合ジョブのリモートデバッギング
- 実行ユーザー化
- tSystemコンポーネントはサポートされていません。
Dynamic Engine環境におけるローカルストレージと永続データ
ローカルファイルシステムコンポーネント(tFileInputDelimitedやtFileOutputDelimitedなど)は、ジョブ実行をまたいでデータを保持し、ジョブ間で共有するために永続ストレージを必要とします。ただし、Kubernetesコンテナはデフォルトでは一時的なものであり、タスク完了後にデータは破棄されます。この課題に対応するために、次の2つの方法があります。
- Kubernetesリソースをマウントする。
タスクコンテナにKubernetesリソースをマウントし、ローカルファイルコンポーネントがマウントされたパスからデータを読み書きするように設定できます。これにより、外部のクラウドサービスに依存せずに、Dynamic Engine環境内に永続ストレージを提供できます。
詳細は、Dynamic Engine環境でのカスタムKubernetesリソースのマウントをご覧ください。
- クラウドストレージコンポーネントを使用する(S3、Azure など)。
クラウドストレージコンポーネント(Amazon S3、Azure Data Lake Storage、Azure Blob Storage など)を使用すると、Dynamic Engineを外部ストレージソリューションに接続し、クラスターの外でデータを永続的に管理できます。
ジョブでクラウドストレージコンポーネントを使用する方法の詳細については、次を参照してください。
情報メモヒント: Talend StudioではS3やAzureに対するネイティブサポートが提供されています。データの永続化や統合要件に応じて、どちらか一方の方法を使用することも、両方を組み合わせて使用することもできます。