Amazon S3のTalend 管理コンソールとの使用

Amazon S3

Amazon Simple Storage Service (S3) は、インターネットのためのストレージです。開発者によるWebスケールのコンピューティングがさらに簡単になるよう設計されています。Amazon S3のシンプルなWebサービスインターフェイスによって、Webのどのような場所からでも、あらゆる量のオブジェクトデータでもいつでも保存および取得できます。これによって開発者は、スケーラビリティ、安定性、スピード、経済性に優れ、Amazonが自社のWebサイトのグローバルネットワークの稼働に使用しているものと同じデータ保存インフラにアクセスできるようになります。このサービスは、スケーリングの恩恵を最大化して開発者へ与えることを目的としています。

Amazon S3はデータをオブジェクト(ファイル)として保存します。これはデータベース保存レイヤーではありません。また、Amazon Glacierはアーカイブ用にAmazon S3データソースインフラを活用します。

Talend StudioでのAmazon S3のコンポーネント

Talendでは、コンポーネントパレットで次のようなコンポーネントを利用できます。これらのコンポーネントはAmazon S3が公開している操作について構築されたものです。

画面キャプチャーにあるように、該当する操作は次のとおりです:

• S3バケットとして作成
• S3バケットとして削除
• S3バケットの存在をチェック
• すべてのS3バケットをリスト表示
• ファイルをS3バケットに挿入
• S3バケットからファイルを取得
• S3バケットのファイルをリスト表示
• S3バケットのファイルを削除

下に説明されているように、これらのコンポーネントはTalend 管理コンソールタスク内で使用されます。

Amazon S3接続

次の手順に従い、Talend Studioで接続を作成します。[Context] (コンテキスト)を右クリックし、[Create context] (コンテキストを作成)をクリックします。

aws_contextをグループとして与え、String型の変数を3つ(aws_access_key、aws_secret_key、aws_bucket)作成します。

Talend StudioジョブとTalend 管理コンソールではこのコンテキストグループを使用してください。

S3ネイティブであるこれらの接続を活用するタスクが、Talend 管理コンソールエンジンで実行されます。よってTalend AWS InfrastructureからS3へのアクセスは、アクセスキーとシークレットキーを使う方法が最善です。アクセスキーに関する詳細は、「Managing Access Keys for your AWS Account」(AWSアカウントのアクセスキー管理)を参照してください。

Amazon S3ファイルのリスト

このジョブによって、Amazon S3に保存されているファイルのリストが返されます。次のジョブで示されているように、Amazon S3への接続を作成し、ファイルのリストを取得してフィルターを適宜実行し、各ファイルのファイル名をフローに設定します。

コンテキストパラメーター

S3接続(上記を参照):

• aws_access_key: 使用されるAmazon S3アカウントのアクセスキーIDです。
• aws_access_key: 使用されるAmazon S3アカウントのシークレットアクセスキーIDです。

一般:

• [Bucket] (バケット) ファイルが保存されているソースバケットの名前です。
• フォルダー内にあります。リスト表示されるソースファイルへのパスです。
• [File type] (ファイルタイプ): リスト表示されるファイルのタイプです。フォルダーからファイルを取得するには、ファイルタイプで*という記号を使います。

出力スキーマ:

• ファイルが保存されているバケットの名前です。
• ダウンロードされるファイルへのパスです。
• ダウンロードされるファイルのコンテンツです。

Amazon S3ファイルのアップロード

このジョブによって、ファイルがAmazon S3にアップロードされます。下の画面キャプチャーに示されている設計:

コンテキストパラメーター

[Connection] (接続)

• aws_access_key: 使用されるAmazon S3アカウントのアクセスキーIDです。
• aws_access_key: 使用されるAmazon S3アカウントのシークレットアクセスキーIDです。

一般

• ファイルが保存されるターゲットバケットの名前です。
• アップロードされるターゲットファイルへのパスです。

Amazon S3ファイルの移動

このコンポーネントによってAmazon S3にあるファイルが移動されます。使用するには一部のパラメーターに入力が必要です。

コンテキストパラメーター

[Connection] (接続)

• aws_access_key: 使用されるAmazon S3アカウントのアクセスキーIDです。
• aws_access_key: 使用されるAmazon S3アカウントのシークレットアクセスキーIDです。

一般:

• ファイルが保存されているソースバケットの名前です。
• コピーされるソースファイルへのパスです。
• ターゲットファイルの名前です。
• ターゲットファイルへのパスです。

Amazon S3ファイルのダウンロード

このジョブによって、Amazon S3に保存されているファイルがCloud Engineの一時ディレクトリーにダウンロードされます。ファイルは後でタスクによって処理され、一時ディレクトリーから削除されます。

コンテキストパラメーター

[Connection] (接続)

• aws_access_key: 使用されるAmazon S3アカウントのアクセスキーIDです。
• aws_access_key: 使用されるAmazon S3アカウントのシークレットアクセスキーIDです。

一般:

• ファイルが保存されているソースバケットの名前です。
• ダウンロードされるソースファイルへのパスです。

出力スキーマ:

• ファイルが保存されているソースバケットの名前です。
• ダウンロードされるソースファイルへのパスです。
• ダウンロードされるファイルのコンテンツです。

Amazon S3ファイルの削除

このジョブによって、Amazon S3に保存されているファイルが削除されます。

コンテキストパラメーター

[Connection] (接続)

• aws_access_key: 使用されるAmazon S3アカウントのアクセスキーIDです。
• aws_access_key: 使用されるAmazon S3アカウントのシークレットアクセスキーIDです。

一般:

• ファイルが保存されているソースバケットの名前です。
• 削除するソースファイルへのパスです。

クラウドでの公開と実行

1. これらのジョブをクラウドに公開するには、Talend Studioでジョブを右クリックし、[Publish to Cloud] (クラウドに公開)を選択します。

   

2. 公開するジョブ用にスペースを選択し、[Finish] (完了)をクリックします。

   

3. ジョブがクラウドに公開されると、ステータスメッセージが表示されます。

   

4. Talend 管理コンソールにログインしてタスクを確認します。

   

5. [Advanced Parameters] (詳細パラメーター)を展開し、コンテキスト値を検証します。

   

6. [Run Now] (今すぐ実行)をクリックしてタスクをテストします。
7. [View Logs] (ログを表示)をクリックし、タスクログを検証します。