メイン コンテンツをスキップする 補完的コンテンツへスキップ

Azure Cosmos DBテーブル内にフィルターされたデータを挿入

このシナリオは、パイプラインでコネクターを簡単にセットアップして使用できるようにすることを目的としています。お使いの環境とユースケースに適応させてください。

以下の手順で作成されるパイプラインの例。

始める前に

手順

  1. [Connections] (接続) > [Add connection] (接続を追加)をクリックします。
  2. 開いたパネルで、作成する接続のタイプを選択します。

    例

    Cosmos DB
  3. [Engine] (エンジン)リストでエンジンを選択します。
    情報メモ注:
    • データの高度処理の場合は、Cloud Engine for DesignではなくRemote Engine Gen2を使用することをお勧めします。
    • Talend Management Consoleから作成されたRemote Engine Gen2がないか、存在していても稼働中ではないステータスの場合は、リストで接続の[Connection type] (接続タイプ)を選択することも、新しい接続を保存することもできません。
    • 使用可能な接続タイプのリストは、選択したエンジンによって異なります。
  4. 作成する接続のタイプを選択します。
    ここでは、[CosmosDB]を選択します。
  5. Azure Cosmos DBプロパティの説明に従って、接続のプロパティを入力し、Azure Cosmos DBデータベースにアクセスし、接続をチェックして、[Add dataset] (データセットを追加)をクリックします。
    新しいAzure Cosmos DB接続の設定。
  6. [Add a new dataset] (新しいデータセットを追加)パネルで、データセットに名前を付けます。この例では、リードに関する処理されたデータの保持にCosmos DBコレクションが使用されます。

    例

    leads
  7. AzureアカウントにあるCosmos DBコレクションに対応する必須であるプロパティを入力します。
  8. [Validate] (検証)をクリックしてデータセットを保存します。
  9. 同じようにして、テスト接続、およびパイプライン内でソースとして使用するデータセットを追加し、CRMに実装します。
    この例では、bank marketing dataという名前のデータセットが次のCSVスキーマで使用されます:
    CSV Schema:
age;job;marital;education;default;balance;housing;loan;contact;day;month;duration;campaign;pdays;previous;poutcome;y
  10. [Pipelines] (パイプライン)ページで[Add pipeline] (パイプラインを追加)をクリックします。新しいパイプラインが開きます。
  11. パイプラインに意味のある名前を付けます。

    例

    Inserting bank marketing data into a CosmosDB table
  12. [ADD SOURCE] (ソースを追加)をクリックし、パネルが開いたら、bank marketing dataというソースデータセットを選択します。
  13. [Add Processor] (プロセッサーを追加)をクリックし、パイプラインにプロセッサーを追加します。たとえば、Type converterプロセッサーを使って、口座残高に関するデータをString型からDouble型に変換します。
    [Output data] (出力データ)プレビューで、Balance Data型がDouble型になっています。
  14. [Add Processor] (プロセッサーを追加)をクリックしてFilterプロセッサーを追加し、30歳以上のマネージャーで、2000ドルを超える口座残高を持つリードをフィルタリングします。
    [Output data] (出力データ)プレビューで、4件のレコードがすべての基準にマッチしています。
  15. パイプラインで[ADD DESTINATION] (デスティネーションを追加)アイテムをクリックしてパネルを開き、自分の出力データの挿入先となるCosmos DBデータセットを選択します。
  16. デスティネーションの[Configuration] (設定)タブで、[Main] (メイン)をクリックしてから:
    1. [Create collection if not exists] (コレクションが存在しない場合は作成)オプションと[Auto ID generation] (自動ID生成)オプションの両方を有効化し、データが挿入されるパイプラインの実行時に、データベースコレクションとIDを作成できるようにします。
    2. [Main] (メイン)をクリックし、[Data action] (データアクション)リスト内の[Insert] (挿入)を選択して、パイプラインの実行時に既存のデータセットにデータを挿入します。
      デスティネーション項目の設定。
  17. [Save] (保存)をクリックして設定を保存します。
  18. Talend Cloud Pipeline Designerの上部ツールバーで[Run] (実行)ボタンをクリックするとパネルが開き、実行プロファイルを選択できるようになります。
  19. リストで実行プロファイルを選択し(詳細は実行プロファイルをご覧ください)、[Run] (実行)をクリックしてパイプラインを実行します。

タスクの結果

パイプラインは実行中となり、データは処理およびフィルターされ、出力フローは定義したAzure Cosmos DBテーブル内に挿入されます。

パイプラインのログをチェックして、Azure Cosmos DBに送信されるデータ量に関する詳細を確認できます。
Azure Cosmos DBに送信されたデータ量のログが強調表示されている状態。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください