Talend Cloudでの実行エンジン

Talend Management Consoleでタスクやプランを実行するために使用できるエンジンのタイプは次のとおりです。

Cloud Engine

Cloud Engineは、タスクを実行するクラウド内のTalendによって管理される計算リソースのことです。実行予定の同時実行タスク数に比例するよう、Cloud Engineを環境に割り当てます。

デフォルトのCloud Engineは自動的に利用可能となります。特定の環境に割り当てることができないため、このデフォルトのCloud Engineは常に未割り当てのエンジンです。
そのため、このエンジンは[Environment details] (環境詳細)ブレードには表示されません。
未割り当てのCloud Engineはすべての環境で使用できます。ただし、Cloud Engineが環境に割り当てられていない場合は、他のタスクがCloud Engineをすべて占有するため、一部のタスクを実行できないことがあります。
デフォルト環境で使用できるのは割り当てられていないCloud Engineのみです。
このデフォルトのCloud Engineをはじめ、各Cloud Engineは実行のために45000個のエンジントークンを必要とし、3タスクまで並列実行できます。このエンジンがシャットダウンされると45000個のエンジントークンは解放されます。

[Cloud Exclusive]でタスクを実行する場合、そのCloud Engineでは他のタスクは実行されません。Cloud Exclusiveエンジンを使用できるのは、Cloud Engineが割り当てられていない環境のみです。

あるCloud Engineで3つの異なるタスクや同じタスクが既に実行中である場合、タスクの実行のために別のエンジンが選択されます。

Cloud Engineで実行中のジョブには次のシステムリソース制限が適用されます。
- vCPU: 2
- ディスク使用量: 200GB
- メモリ使用量: 8GB
- スループット: 1時間に225GB
より多くのリソースを必要とするジョブでは、Talend Remote Engineをターゲットランタイムとして使用することを検討してください。
実行中のCloud Engineは1時間ごとに使用状況が検証されます。1時間の間にタスクの実行が見つからなかった場合、このCloud Engineは自動的にシャットダウンされます。見つかった場合は引き続き実行され、その1時間後に再度シャットダウンの検証が行われます。これはCloud Engineの一般的なライフサイクルです。
ただし、ウォームアップイベント(このCloud Engineにタスク実行スケジュールが設定されているなど)が発生すると、進行中のシャットダウンスケジュールはキャンセルされ、シャットダウン検証は別の1時間の最後に再設定されます。

ライセンスがコミュニティレベルであれば、Talend Cloudへのユーザーログインはウォームアップイベントであるとも考えられます。この場合は、デフォルトのCloud Engineがユーザーログイン時に起動します。

Cloud Engineの起動には常にかなり時間がかかりますが、このシャットダウン検証メカニズムを使えばCloud Engineを頻繁にシャットダウンせずに済むようになります。

Dynamic Engine

Dynamic Engineはスケーラビリティと高度なデータ処理のためにデザインされたクラウドネイティブな実行プラットフォームで、リソースのオーケストレーションとスケーリングにKubernetesを活用します。これはTalend Management Consoleを通じて管理されます。それによってバージョンアップが簡素化され、監視のための組み込みの通知が提供されます。

Dynamic Engine環境の各稼働には、18,000エンジントークンが必要です。

現在のところ、Dynamic EngineはAWS EKS、Azure AKS、オンプレミスのKubernetesクラスターをサポートしており、今後さらに対応プラットフォームを拡大する予定です。セットアップと管理方法の詳細は、Talend Management ConsoleとDynamic Engineについてをご覧ください。

Talend Remote Engine

Remote Engineによって、オンプレミスのアプリケーションやデータベースを使用するジョブ、ルート、データサービスタスクを実行できるようになります。デフォルトではタスクを3つまで同じエンジンで並行して実行できます。Remote Engineを使って同一のタスクを同時に実行する場合、Remote Engineはv2.12.0以降であることが必要です。

データがステージングされないため、Talend Management ConsoleとTalend Remote Engineの間のアウトバウンド通信は完全に保護されます。

データサービスとルートタスクをデプロイできるのはRemote Engineのみです。OSGiタイプのデプロイメントでは、 Talend Runtime 7.1.1以降のバージョンをTalend Remote Engineと同じマシンにインストールして実行している必要があります。マイクロサービスがルートとRESTデータサービスのデプロイメントで必要とするアプリケーションは、Remote Engine内のData Service Runnerモジュール以外にはありません。データサービスタスクを実行できるのは、マイクロサービスまたは Talend Runtime (OSGi用)の実行プロファイルが設定されているエンジンに限られます。

Remote Engineはグルーピングしてクラスターにできます。クラスターは環境内にいくつでも作成可能です。ただし、クラスターに追加したRemote Engineを使ってTalend Studioから直接タスクを実行することはできません。

Remote Engineが実行可能となるためには9000エンジントークンが必要です。

Talend Remote Engineと、Talend Studioアーティファクトにリンクされた実行プロファイルの詳細は、ジョブ実行プロファイルを設定をご覧ください。

Cloud Engine for Design

Cloud Engine for Designは、処理エンジンをセットアップしなくてもパイプラインを簡単にデザインできる組み込みランナーです。リソースの割り当てが異なるパイプラインをCloud Engine for Designで実行できます。

Cloud Engine for Designで実行中のパイプラインには次のリソース制限が適用されます。

メモリ使用量: 8GB
2つのパイプラインの並列実行が可能

データの高度な処理のためには、セキュアなRemote Engine Gen2をインストールすることをお勧めします。

Remote Engine Gen2

Remote Engine Gen2はパイプラインを安全に実行できるセキュアな実行エンジンです。このエンジンを使用すれば、Talendにはパイプラインのデータやリソースへのアクセスを持たないため、安全かつセキュアな環境でのデータ処理が可能です。独自の環境(仮想プライベートクラウドまたはオンプレミス)でエンジンを作成して設定できるので、実行環境とリソースの制御が自在です。このエンジンはまた、大量のデータを移動させて計算するのではなくデータの局所性を高めることで、最適なパフォーマンスを実現します。

実行プロファイルを使えば、リソースの割り当てが異なるパイプラインをRemote Engine Gen2で実行できます。

Remote Engine Gen2の詳細は、Talend Remote Engine Gen2クイックスタートガイドをご覧ください。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください