Talend Real-Time Big Data Platformのアーキテクチャー
動作原理はそれぞれ異なる機能ブロックに分離できます。次の図は、ブロックの種類とその相互運用性を説明したものです。
ビルドと運用
CLIENTS(クライアント)のブロックには、同一または異なるマシンに存在しうるTalend Studio APIとWebブラウザーが1つ(または複数)含まれています。
Talend Studio APIから、エンドユーザーは次の技術的プロセスを実行できます: データ統合またはデータサービスプロセス、メディエーションルートおよびサービス、アーティファクトリポジトリーでのそれらの公開、データボリュームやプロセスの複雑性を問わないデータプロファイルの分析およびレポート。
Talend Studioでは、ユーザーは権限を持つすべてのプロジェクトで作業できます。詳細は、プロジェクトを作成をご覧ください。
エンドユーザーは、WebブラウザーからセキュアなHTTPプロトコルを介してリモートベースのTalend Administration Centerに接続します。ここで説明するエンドユーザーのカテゴリーには、開発者、プロジェクトマネージャー、管理者のほか、データフロー、Web、REST、データサービス、メディエーションルートの構築に関わるその他の担当者が含まれます。
それぞれのエンドユーザーは、会社のポリシーに応じて、Talend StudioまたはTalend Administration Center、あるいはその両方を使用します。
さらに、WebブラウザーからTalend Data Preparation Webアプリケーションにアクセスします。ここでは、ローカルファイルやその他のソースからデータをインポートし、このデータに新しいプレパレーションを作成することによって、クレンジングやエンリッチを行います。また、Talend Data Stewardship Webアプリケーションにアクセスすることもできます。ここでは、キャンペーン所有者およびデータスチュワードがキャンペーンおよびタスクを管理します。オプションとして、Talend Dictionary Serviceサーバーにアクセスし、Webアプリケーションのデータで使われているセマンティックタイプを追加、削除、編集することもできます。
[TALEND SERVERS] (TALENDサーバー)ブロック、[DATABASES] (データベース)ブロック、[Git]のグレーの円には、2つの共有リポジトリーに接続したWebベースのTalend Administration Center(アプリケーションサーバー)が含まれています: 1つはGitサーバーに基づき、もう1つはデータベースサーバー([Admin] (管理))に基づいています。
Talend Administration Centerによって、すべてのプロジェクトを管理できます。エンドユーザー間で簡単に共有できるよう、管理メタデータ(ユーザーアカウント、アクセス権、プロジェクト認証など)はデータベースサーバーに保管され、プロジェクトメタデータ(ジョブ、ルーチン、ルート、サービスなど)はGitサーバーに保管されます。
Talend Administration Centerでは、ジョブの実行やトリガーを処理するタスクを設定することもできます。また、ジョブの生成と実行サーバーへのデプロイメントもサポートします。詳細は、Getting started with Talend Administration Centerをご覧ください。
Talend Administration Centerには、TalendのWebアプリケーション(Talend Data PreparationとTalend Data Stewardship)、およびTalend Dictionary Serviceによって使われるサーバーも含まれています。Talend Identity and Access Managementサーバーは、これらのアプリケーション間でシングルサインオンを有効にするために使用されます。
さらに、Talend Administration CenterではTalend Studioから作成され、[Artifact Repository] (アーティファクトリポジトリー)に公開されたルートとサービスにアクセスして管理し、 Talend Runtimeへのデプロイメントと実行を設定して監視できます。詳細は、Executing Services, Routes, and data service Jobs, and applying Profiles from ESB Conductorをご覧ください。
デプロイと実行
- ダウンロードが可能なソフトウェアアップデート
- Talend Studioから公開され、いつでも Talend Runtimeでデプロイおよび実行できるルートとサービス
- 情報システム内でデプロイしている1つまたは複数のTalend Runtimes (実行コンテナー)。 Talend Runtimeでは、Talend Administration Center Webアプリケーションで定義されたセットアップに従って、技術的プロセスをデプロイおよび実行します。これらのプロセスはTalend Studioでビルドされたジョブで、Gitサーバー、およびアーティファクトリポジトリーから取得されたルートとサービスで一元管理されます。
サービスやルートアーティファクトをデプロイする Talend Runtimeが複数ある場合は、必要に応じて負荷を分散できます。 Talend RuntimeのどのインスタンスもService Locatorを通じて相互に通信し合い、Talend Administration Centerでデプロイメントが設定されたアーティファクトをデプロイ、または実行すると思われるインスタンスを識別します。デプロイメント用に選ばれた Talend Runtimeは、アーティファクトリポジトリーからデプロイおよび実行するアーティファクトを要求します。一方のアーティファクトリポジトリーは、要求されたアーティファクト、およびその実行で必要となる全依存項目をデプロイおよび実行先の Talend Runtimeに送信します。
- 情報システム内でデプロイされているTalend JobServerによって、Talend Administration Center Webアプリケーションで設定された日時やイベントのスケジュールに従って技術的プロセス(ジョブ)が実行されます。
エンドユーザーは、Talend Studioから技術的プロセスをリモート実行サーバーに直接転送できます(遠隔実行)。
情報メモ重要:Qlikで配信されるTalend JobServerファイル(「エージェント」)は、各実行サーバーにインストールして、操作可能にする必要があります。
監視
Monitoring(モニタリング)の円は、モニタリング:Talend Activity Monitoring ConsoleおよびService Activity Monitoringを表します。
Talend Activity Monitoring Consoleにより、エンドユーザーは技術プロセスの実施を監視できます。収集されたログ情報の統合、基になるデータフロー間の相互作用の理解、予期せず発生しうる障害の防止、システム管理決定のサポートに使用できる詳細な監視機能を提供します。Talend Activity Monitoring Consoleの詳細は、Talend Activity Monitoring Console User Guideをご覧ください。
Service Activity Monitoringにより、エンドユーザーはサービスの呼び出しを監視できます。イベントを構成する基になる要求と応答を理解するために使用できる監視および統合イベント情報を提供し、予期せず生成される可能性のある障害を監視し、システム管理の決定をサポートします。Service Activity Monitoringの詳細は、Accessing Service Activity Monitoringをご覧ください。