Talendマネージド型 / カスタマーマネージド型のデシジョンツリーとユースケース
プラットフォームでビルドしたTalend アーティファクトのデプロイと実行方法を選択するための2つの主なアプローチ(Talendマネージド型/カスタマーマネージド型)については、Talendマネージド型/サーバーレス 対 カスタマーマネージド型で説明されています。
デシジョンツリーとユースケースのセクションを以下に示しますので、お客様の具体的な要件に合わせてご参照ください。
下の図は、Talendマネージド型アプローチとカスタマーマネージド型アプローチのどちらがお客様のニーズに最も適しているかを判断するための主な決定ポイントを説明したものです。このような原則は、数多い他の微細な環境のバリエーションにも適用できます。
バッチETL処理とイベントドリブン処理
バッチ処理は限られた時間内に大量のデータを定期的に取り込む必要がある場合は有効ですが、複雑なバッチジョブを処理するために仮想マシンのクラスターを構成してスケーリングする場合は管理が困難になることがあります。そのため、プッシュダウン処理(データベースのELTやビッグデータクラスターでのジョブ実行など)を行う傾向がますます強まっています。
イベントドリブンの概念では、データはイベントの発生時(ファイルの到着やデータのアップデートなど)に処理されます。この処理は、Eコマースのサイトが顧客の注文を下流のアプリケーションで処理したり、金融機関が取引先の取引ファイルを処理したりといった場面でよく利用されます。たとえばある金融期間がAWS S3でDatalakeをホストしており、それによってパートナー企業はその場所に取引ファイルをアップロードでき、そのパートナー企業のファイルは下流のデータ統合ETLプロセスで処理され、金融企業自身のERPシステムをアップデートする、という例を考えてみましょう。このプロセスは、イベントドリブンのフレームワークで即座に実行することも、スケジュールベースのバッチパターンで実行することも可能で、すべては金融期間の業務要件と規制要件に依存します。
- 運用の効率化:Talendネイティブのマネージドサービスやフィーチャー(監視、スケジューリング、デプロイメントなど)を使い、バッチプロセスにネイティブに適合させます。
- タイムトゥバリュー: 環境と開発のツールを迅速にセットアップします。
- メンテナンスコストの削減:Talend Cloudネイティブサービス(TMCインターフェイスなど)のインストールやサポートには費用がかかりません。
- 垂直方向のスケーラビリティ: 1つのジョブに対してより多くの容量が必要な場合は、Remote Engineマシンのサイズを大きくすることができます。
- 水平方向のスケーラビリティ(複数のジョブ): 複数のエンジンを使い、「仮想サーバー」の概念を利用してラウンドロビン方式で割り当てます。
- ネイティブな水平方向のスケーラビリティ:Talend ETLジョブでは一般的に、その実行インスタンスが常に1つ実行されます。ただし、ユースケースによっては同じジョブの複数のインスタンスを並行して実行することもできます。もちろん、複数のジョブを実行し、時間ごとに異なる負荷を計算インフラストラクチャーにかけることもできます。
- ゼロTalendサーバーアプリケーション: ジョブ実行のためにTalendサーバーアプリケーションをホストする必要はありません。
詳細は、次の記事をご覧ください。
プッシュダウンETLとビッグデータジョブ
ビッグデータプラットフォーム(AWS EMRなど)やクラウドデータウェアハウス(Snowflakeなど)を活用するお客様向けに、Talendは生成されたネイティブSparkコードやELTコードによる実行プッシュダウン機能を提供しています。Remote Engineで実行されるTalend ETLジョブのように、データを書き込む前に抽出または変換するのではなく、このメカニズムによって、ターゲットプラットフォームで重いデータ処理を実行できるようになります。Talendで生成された実行ファイル(ELTまたはビッグデータジョブ)は、まずターゲットプラットフォーム(データウェアハウスやビッグデータプラットフォーム)にコピーされた後、その場で処理されます。そのため、Talendマネージド型かカスタマーマネージド型のいずれかのアプローチでプッシュダウン処理を実行するよう選択できます。ただし、プッシュダウンシナリオでは、Talendジョブ、データサービス、ルートによる計算が行われないため、他の目的で既に活用されていない限り、「カスタマーマネージド型」アプローチの複雑さを高めることは避けるべきです。
REST/SOAPデータサービスとメディエーションルート
リアルタイムアプリケーションのインテグレーションについて、Talendはデータサービスジョブ(RESTfulおよびSOAP)とメディエーションルートの両方の開発をサポートしており、これらはネイティブオプションとしてTalendマネージド型プラットフォームにデプロイできます。Talendはさらに、RESTfulデータサービスジョブやメディエーションルートを自己完結型のマイクロサービス(Spring boot)として生成する機能も提供しています。これらはインフラストラクチャーアプリケーション( Talend Runtimeなど)に依存することなく、カスタマーマネージド型のコンテナー/サーバーレスプラットフォームにデプロイできます。TalendはSOAPデータサービスをマイクロサービスとして直接公開することはサポートしていませんが、メディエーションルートを使ってビルドされたSOAPサービスは許可されています。SOAPはRESTfulよりも厳格なメッセージングパターンのセットであり、SOAPにあるルールは、それなしではいかなるレベルの標準化を達成できないことから重要です。SOAPデータサービスは、より多くのインフラストラクチャーサービス(セキュリティ、認可、認証、Service Registryなど)を関与させる必要もあり、そのようなサービスは通常、外部のAPIゲートウェイによって処理されますが、このドキュメントでは対象外です。
Talendマネージド型アプローチの利点:
- 運用の効率化:Talendネイティブのマネージドサービス(監視、スケジューリング、デプロイメントなど)を使用します。
- タイムトゥバリュー: 環境(ランタイムまたはマイクロサービス＋Remote Engineというペア)と開発ツール(Talend Studio)の迅速な設定。
- メンテナンスコストの削減:Talend Cloudネイティブサービス(TMCインターフェイスなど)のインストールやサポートには費用がかかりません。
カスタマーマネージド型アプローチの利点:
- より高い需要に対応するネイティブな水平スケーラビリティ: コンテナーオーケストレーション/サーバーレスプラットフォームは、より高いAPI需要に直面した時にマイクロサービスをスケールアウトします。たとえばオンラインショッピング企業であれば、Webサービスアプリケーションのために安定したスケーラブルな環境をデザインする必要があります。特に、販売イベント時(ブラックフライデーやボクシングデーなど)には100％利用可能であることが求められます。
- ゼロTalendサーバーアプリケーション: WebサービスやリアルタイムメディエーションルートでTalendサーバーアプリケーションをホストする必要はありません。
どちらのアプローチでも十分なエンジントークンが必要となります。ライセンスに関するご質問は、お客様のアカウントチームがサポートします。