Dynamic Engineの既知の制限事項
Dynamic Engineソリューションには、次の既知の制限事項があります:
- Dynamic Engineでサポートされているのは、データ統合ジョブタスクとビッグデータジョブのみです。ルートとデータサービスのジョブはサポートされていません。
- デザイン上、Kubernetesクラスターはそれぞれ1つのDynamic Engineしか持つことができません。Dynamic Engineは、タスクとプランの実行のためのコアインフラストラクチャーサービスを提供します。
- Kubernetesクラスターに複数のDynamic Engineをデプロイしないようにするメカニズムはありません。これを行うと、Talend Management Console、Dynamic Engine、Dynamic Engineの環境で予期しない接続性やパフォーマンスの問題が発生することがあります。
- Dynamic Engine および Dynamic Engine 環境をデプロイするには、Talend Management Console によって生成されたデプロイメント ファイルを使用する必要があります。カスタムのデプロイメント ファイルはサポートされていません。
- Dynamic Engine がデプロイされる Kubernetes クラスターは、パブリックインターネットにアクセスできることが必要です。
- データ統合ジョブの以下のタスク実行機能はサポートされていません:
- Dynamic Engineでのデータ統合ジョブのリモートデバッギング
- 実行ユーザー化
- カスタム署名チェック
- tSystemコンポーネントはサポートされていません。
Dynamic Engine環境でのローカルストレージに関する制限事項
ローカルファイルのシステムコンポーネント(tFileInputDelimitedやtFileOutputDelimitedなど)を使えば、1つのジョブ内で一時的にデータにアクセスできます。ただし、Dynamic Engine環境によって使われるKubernetesコンテナーの一時的性質により、これらのコンポーネントは永続的なストレージやジョブ間の共有では使用できません。タスク完了後、コンテナーデータは破棄されます。
その結果、Dynamic Engine環境におけるデータの取り扱いで、S3やAzureのようなクラウドストレージコンポーネントが不可欠となります。S3またはAzureストレージソリューションに接続し、外部ストレージとタスク実行コンテナー間でデータを転送すれば、永続的ストレージが実現し、ジョブ間でのデータ共有が可能になります。
ジョブでS3またはAzureコンポーネントを使用する方法の詳細は、以下をご覧ください:
- Amazon S3のコンポーネント
- Azure Data Lake Storage Gen2
- Azure Storage Blob
- Azure Storage Queue
- Azure Storage Table
情報メモヒント: Talend StudioはS3とAzureをネイティブでサポートしていますが、他の選択肢もあります。データを永続的に保存し、ジョブ間で共有するためのクラウドソリューションは、自由に選択できます。