メイン コンテンツをスキップする 補完的コンテンツへスキップ

クラウドデータスウェアハウス(Snowflake)にデータを書き込む

始める前に

  • financial_transactions.avroファイルをダウンロードしてAmazon S3バケットにアップロード済みであること。

  • クラウドストレージ(S3)にデータを書き込むの説明に従ってパイプラインを再現および複製済みであること。作業は、複製されたそのパイプラインで行われます。
  • Talend Management ConsoleからRemote Engine Gen2とその実行プロファイルを作成済みであること。

    ユーザーがアプリをすばやく開始できるよう、Talend Management ConsoleにはCloud Engine for Designとそれに対応する実行プロファイルがデフォルトで組み込まれていますが、データの高度な処理のためにはセキュアなRemote Engine Gen2をインストールすることをお勧めします。

手順

  1. Talend Cloud Pipeline Designerのホームページで[Connections] (接続) > [Add connection] (接続を追加)をクリックします。
  2. 開いたパネルでSnowflakeを選択し、[Next] (次へ)をクリックします。
  3. [Engine] (エンジン)リストで自分のRemote Engine Gen2を選択します。
  4. データベースJDBC URLと認証情報を入力します。
  5. 必要に応じて接続をチェックし、[Next] (次へ)をクリックします。
  6. 接続に名前(この例ではSnowflake connection)を付け、[Validate] (検証)をクリックします。
  7. [Add dataset] (データセットを追加)をクリックし、Snowflakeテーブルへの接続情報を入力します:
    1. データセットに表示名(financial data on Snowflakeなど)を付けます。
    2. [Type] (タイプ)リストで、[Table or view name] (テーブル名またはビュー名)を選択します。
    3. [Table name] (テーブル名)リストで、Snowflakeテーブルの名前を選択または入力します。
    4. [Column selection] (カラム選択)フィールドで、取得したい特定のテーブルカラムを選択するか、[Select all] (すべて選択)をクリックして既存のカラムをすべて取得します。この例では、transaction_amountフィールドとtransaction_codeフィールドが選択されています。
  8. [View sample] (サンプルを表示)をクリックして、データが有効かつプレビュー可能であることを確認します。
    Snowflakeデータサンプルのプレビュー。
  9. [Validate] (検証)をクリックしてデータセットを保存します。[Datasets] (データセット)ページに新しいデータセットがリストに追加されます。これはパイプラインでデスティネーションデータセットとして使用できます。
    S3ソース、Python 3プロセッサー、Filterプロセッサー、Aggregateプロセッサー、Snowflakeデスティネーションを伴うパイプライン。
  10. このパイプラインを実行する前に、Snowflakeデータセットの設定タブで[Upsert] (アップサート)を選択し、Snowflakeテーブルに新しいデータをアップデートして挿入します。transaction_amountフィールドを操作キーとして定義します。
    Snowflakeデスティネーション設定パネルでアップサートアクションが選択されている状態。
  11. Talend Cloud Pipeline Designerの上部ツールバーで[Run] (実行)ボタンをクリックするとパネルが開き、実行プロファイルを選択できるようになります。
  12. リストで実行プロファイルを選択し(詳細は実行プロファイルをご覧ください)、[Run] (実行)をクリックしてパイプラインを実行します。

タスクの結果

パイプラインが実行されると、アップデートされたデータがSnowflakeデータベーステーブルに表示されるようになります。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください