メイン コンテンツをスキップする 補完的コンテンツへスキップ

クラウドファイルストレージ(S3)にデータを書き込む

始める前に

  • ユーザーまたはユーザーグループにAmazon S3リソースにアクセスするための適切なアクセス権限が付与されていることを確認します。

    アクセス権限がない場合は、以下のオプションのいずれかを試すことができます。
    1. (推奨) Amazonアカウントを管理する管理者に問い合わせ、ユーザーに正しいS3アクセス権限を付与してもらいます。
    2. 権限が付与されている場合は、Amazonのドキュメンテーションに従ってアクセスポリシーを設定してください。
    3. (非推奨) IAMコンソールを使用して、AmazonS3FullAccessポリシーをグループ/ユーザーにアタッチします。これにより、特定のバケットに対して無制限にS3リソースを読み書きできるようになります。ただし、これは緊急処置であり、Talendでは推奨されていません。
    情報メモ注: 十分なアクセス権限のないS3リソースにアクセスしようとした時に表示されるデフォルトエラーは、[Bad Gateway] (不正ゲートウェイ)になります。

  • financial_transactions.avroファイルをダウンロードします。

  • Talend Management ConsoleからRemote Engine Gen2とその実行プロファイルを作成します。

    ユーザーがアプリをすばやく開始できるよう、Talend Management ConsoleにはCloud Engine for Designとそれに対応する実行プロファイルがデフォルトで組み込まれていますが、データの高度な処理のためにはセキュアなRemote Engine Gen2をインストールすることをお勧めします。

手順

  1. Amazon S3のドキュメンテーションの説明に従って、financial_transactions.avroファイルをAmazon S3バケットにアップロードします。
  2. Talend Cloud Pipeline Designerのホームページで[Connections] (接続) > [Add connection] (接続を追加)をクリックします。
  3. 開いたパネルでAmazon S3を選択し、[Next] (次へ)をクリックします。
  4. [Engine] (エンジン)リストで自分のRemote Engine Gen2を選択します。
    情報メモ重要: Remote Engine Gen2のステータスが稼働中を意味する[AVAILABLE] (利用可能)でない場合は、リストで[Connection type] (接続タイプ)を選択することも、新しい接続を保存することもできません。使用可能な接続タイプのリストは、選択したエンジンによって異なります。
  5. 認証情報を入力し、接続をチェックして[Next] (次へ)をクリックします。
  6. 接続に名前(たとえばS3 connection)を付け、[Validate] (検証)をクリックします。
  7. [Add dataset] (データセットを追加)をクリックし、前にS3バケットにアップロードしたファイルをポイントします。
  8. [Add a new dataset] (新しいデータセットを追加)パネルで、S3バケットの接続情報を入力します。
    1. たとえば、データセットの名前はfinancial data on S3のようにします。
    2. [AWS bucket name] (AWSバケット名)フィールドで、S3バケットの名前を選択するか入力します。
    3. [Object name] (オブジェクト名)フィールドに、S3バケットに以前にアップロードしたfinancial_transactions.avroファイルのパスを入力します。
    4. [Format] (フォーマット)リストで、[Auto decet] (自動検出)をクリックしてフォーマットを自動的に検出し、リストでAvroを選択します。
  9. [View sample] (サンプルを表示)をクリックして、データが有効かつプレビュー可能であることを確認します。
    [Add a new dataset] (データセットを追加)ウィザード。
  10. [Validate] (検証)をクリックしてデータセットを保存します。

タスクの結果

[Datasets] (データセット)ページで、最新のデータセットがリストに追加され、次のユースケースを再現できるようになります: 以前作成した財務データを処理するパイプラインを作成
キャンバスのパイプライン。
このパイプラインを実行する前に、S3で既存のデータを上書きするか、デスティネーションデータセット設定タブでマージするかを選択します。
S3デスティネーションの[Configuration] (設定)タブに、選択された「上書き」データが表示されます。

パイプラインが実行されると、更新されたデータがAmazon S3にあるファイルで表示されます。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください