メイン コンテンツをスキップする 補完的コンテンツへスキップ

Google Pub/Subトピックからストリーミングメッセージを読み取り

このシナリオは、パイプラインでコネクターを簡単にセットアップして使用できるようにすることを目的としています。お使いの環境とユースケースに適応させてください。

以下の手順で作成されるパイプラインの例。

このタスクについて

このシナリオでは、Google Pub/Subトピックに公開されたブックに関するJSONメッセージを処理します。

手順

  1. [Connections] (接続) > [Add connection] (接続を追加)をクリックします。
  2. 開いたパネルで、作成する接続のタイプを選択します。

    例

    Google Pub/Sub
  3. [Engine] (エンジン)リストでエンジンを選択します。
    情報メモ注:
    • データの高度処理の場合は、Cloud Engine for DesignではなくRemote Engine Gen2を使用することをお勧めします。
    • Talend Management Consoleから作成されたRemote Engine Gen2がないか、存在していても稼働中ではないステータスの場合は、リストで接続の[Connection type] (接続タイプ)を選択することも、新しい接続を保存することもできません。
    • 使用可能な接続タイプのリストは、選択したエンジンによって異なります。
  4. 作成する接続のタイプを選択します。
    ここではGoogle Pub/Subを選択します。
  5. Google Pub/Subプロパティの説明に従って、Googleプロジェクトへのアクセスに使う接続のプロパティ(プロジェクト名やJSON認証情報など)を入力し、目的の接続にチェックを入れて[Add dataset] (データセットを追加)をクリックします。
  6. [Add a new dataset] (新しいデータセットを追加)パネルで、データセットにbook pricesという名前を付けます。
  7. 接続リストでGoogle Pub/Subを選択します。
  8. 必要なプロパティ(トピック名、サブスクリプション名、データ型)を入力してPub/Subトピックにあるファイルにアクセスし、[View sample] (サンプルを表示)をクリックしてデータセットサンプルのプレビューを表示します。
    新しいGoogle Pub/Subデータセットの設定。
  9. [Validate] (検証)をクリックしてデータセットを保存します。
  10. 同じようにして、パイプラインでデスティネーションとして使うテスト接続とデータセットを追加します。
  11. [Pipelines] (パイプライン)ページで[Add pipeline] (パイプラインを追加)をクリックします。新しいパイプラインが開きます。
  12. [ADD SOURCE] (ソースを追加)をクリックしてパネルを開くと、ソースデータ(ここではPub/Subに公開されたJSONメッセージ)を選択できます。
  13. データセットを選択し、[Select] (選択)をクリックしてパイプラインに追加できるようにします。
    必要であれば名前を変更します。
  14. [Add Processor] (プロセッサーを追加)をクリックし、パイプラインにWindowプロセッサーを追加します。設定パネルが開きます。
  15. プロセッサーに意味のある名前を付けます。

    例

    5sec window
  16. [Configuration] (運用設定)タブで:
    1. [Use Window session] (ウィンドウセッションを使用)トグルを有効にします。
    2. ウィンドウ継続時間として5000を入力し、5秒ごとにデータをキャプチャーできるようにします。
  17. [Save] (保存)をクリックして設定を保存します。
  18. [ADD DESTINATION] (デスティネーションを追加)をクリックし、再編成済みのデータを保存するテストデータセットを選択します。
    必要であれば名前を変更します。
  19. 出力ログを保存する場合は、[Configuration] (運用設定)エリアで、[Log records to STDOUT] (レコードをSTDOUTに記録)の切り替えを有効にします。
  20. [Save] (保存)をクリックして設定を保存します。
  21. Talend Cloud Pipeline Designerの上部ツールバーで[Run] (実行)ボタンをクリックするとパネルが開き、実行プロファイルを選択できるようになります。
  22. リストで実行プロファイルを選択し(詳細は実行プロファイルをご覧ください)、[Run] (実行)をクリックしてパイプラインを実行します。

タスクの結果

パイプラインは実行中となり、Pub/Subトピックに公開されたメッセージは5秒ごとに取得されて出力ログに表示されます。[Pipeline Details] (パイプラインの詳細)の[Metrics] (メトリクス)ビューを更新すれば、増分アップデート中であるレコードの数を確認できます。
256バイトのメトリクスに対して6レコードが生成された出力ログ。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください