メイン コンテンツをスキップする 補完的コンテンツへスキップ

Azure Synapseテーブルの処理とAzure Blob Storageへのロード

このシナリオは、パイプラインでコネクターを簡単にセットアップして使用できるようにすることを目的としています。お使いの環境とユースケースに適応させてください。

以下の手順で作成されるパイプラインの例。

手順

  1. [Connections] (接続) > [Add connection] (接続を追加)をクリックします。
  2. 開いたパネルで、作成する接続のタイプを選択します。

    例

    Synapse
  3. [Engine] (エンジン)リストでエンジンを選択します。
    情報メモ注:
    • データの高度処理の場合は、Cloud Engine for DesignではなくRemote Engine Gen2を使用することをお勧めします。
    • Talend Management Consoleから作成されたRemote Engine Gen2がないか、存在していても稼働中ではないステータスの場合は、リストで接続の[Connection type] (接続タイプ)を選択することも、新しい接続を保存することもできません。
    • 使用可能な接続タイプのリストは、選択したエンジンによって異なります。
  4. 作成する接続のタイプを選択します。
    ここでは、[Database] (データベース)を選択します。
  5. Azure Synapseプロパティの説明に従って、接続のプロパティを入力し、Azure Synapseデータベースにアクセスし、接続をチェックして、[Add dataset] (データセットを追加)をクリックします。
  6. [Add a new dataset] (新しいデータセットを追加)パネルで、データセットに名前を付けます。この例では、タクシーの位置に関するデータがテーブルに含まれています。

    例

    [Azure Synapse geography table] (Azure Synapse地理テーブル)
  7. 必要なプロパティを入力してデータベースにあるテーブルにアクセスし、[View sample] (サンプルを表示)をクリックしてデータセットサンプルのプレビューを表示します。
    新しいAzure Synapseデータセットの設定。
  8. [Validate] (検証)をクリックしてデータセットを保存します。
  9. 同じようにして、パイプラインでデスティネーションとして使用されるAzure Blobコンテナーを追加します。 Azure Blob Storageプロパティの説明に従って、接続のプロパティを入力します。
    新しいAzure Blobデータセットの設定。
    この例では、タクシーの位置に関するデータが含まれており、talend-blobという名前のAzure Blobコンテナーのtalend dirフォルダーにあるCSVファイルがパイプラインデスティネーションとして使用されます。自分のコンテナーディレクトリーは、お持ちのAzure Storageアカウントの[ストレージエクスプローラー]ページで表示できます。
    [Storage Explorer] (ストレージエクスプローラー)ページにあるCSVファイル。
  10. [Pipelines] (パイプライン)ページで[Add pipeline] (パイプラインを追加)をクリックします。新しいパイプラインが開きます。
  11. パイプラインに意味のある名前を付けます。

    例

    Azure SynapseテーブルからAzure Blobへ - テーブルのロード
  12. [ADD SOURCE] (ソースを追加)をクリックし、パネルが開いたら、ソースデータセット、[Azure Synapse geography table] (Azure Synapse地理テーブル)を選択します。
  13. [Add Processor] (プロセッサーを追加)をクリックし、パイプラインにプロセッサーを追加します。たとえば、Field selectorを特定のフィールドに追加して意味のある名前を付けたり、Aggregateプロセッサーを追加してレコードのリスト表示やグルーピングを行ったりします。
  14. パイプラインで[ADD DESTINATION] (デスティネーションを追加)アイテムをクリックしてパネルを開き、出力データのロード先となるAzure Blobファイルを選択します。
  15. デスティネーションにload in Azure Blob Storageなど、意味のある名前を付けます。
  16. デスティネーションの[Configuration] (運用設定)タブで[Advanced] (詳細)をクリックし、パイプラインの実行時に作成されるBlobの名前にプレフィックスを入力します。
  17. [Save] (保存)をクリックして設定を保存します。
  18. オプションとして、最後のプロセッサーをクリックし、処理データをプレビューします。
  19. Talend Cloud Pipeline Designerの上部ツールバーで[Run] (実行)ボタンをクリックするとパネルが開き、実行プロファイルを選択できるようになります。
  20. リストで実行プロファイルを選択し(詳細は実行プロファイルをご覧ください)、[Run] (実行)をクリックしてパイプラインを実行します。

タスクの結果

パイプラインは実行中となり、Azure Synapseに保存されていたタクシーの位置情報は都市別に集計され、出力フローは定義したAzure Blobターゲットファイルに送信されます。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください