Azure Event Hubインスタンスへのメッセージの公開

このシナリオは、パイプラインでコネクターを簡単にセットアップして使用できるようにすることを目的としています。お使いの環境とユースケースに適応させてください。

始める前に

このシナリオを再現する場合は、 local_file-to-azure_event_hubs.zip ファイルをダウンロードして抽出します。

手順

[Datasets] (データセット) > [Drop a file or browse] (ファイルをドロップするか参照)をクリックします。
local_file-to-azure_event_hubs.csvファイルをご参照選択します。
名前を変更(Baltimore restaurantsなど)します。
[Connections] (接続) > [Add connection] (接続を追加)をクリックします。
開いたパネルで、作成する接続のタイプを選択します。
例
Azure EventHubs
[Engine] (エンジン)リストでエンジンを選択します。
情報メモ注:
- データの高度処理の場合は、Cloud Engine for DesignではなくRemote Engine Gen2を使用することをお勧めします。
- Talend Management Consoleから作成されたRemote Engine Gen2がないか、存在していても稼働中ではないステータスの場合は、リストで接続の[Connection type] (接続タイプ)を選択することも、新しい接続を保存することもできません。
- 使用可能な接続タイプのリストは、選択したエンジンによって異なります。
作成する接続のタイプを選択します。
ここではAzure Event Hubsを選択します。
Azure Event Hubsプロパティの説明に従って、Azureサービスリソース(エンドポイント、Shared Access Signatureキー)に安全にアクセスできる接続のプロパティを入力し、目的の接続にチェックを入れ、[Add dataset] (データセットを追加)をクリックします。
[Add a new dataset] (新しいデータセットを追加)パネルで、データセットに名前を付けます。この例では、今のところは空であるbaltimore-restaurants Event Hubを使ってボルチモアのレストランに関するデータを公開します。
例
データセットにRestaurant Event Hubといった名前を付けます。
[Validate] (検証)をクリックしてデータセットを保存します。
[Pipelines] (パイプライン)ページで[Add pipeline] (パイプラインを追加)をクリックします。新しいパイプラインが開きます。
パイプラインに意味のある名前を付けます。
例
ローカルファイルからAzure Event Hubsへ - イベントの公開
[ADD SOURCE] (ソースを追加)をクリックし、パネルが開いたら、Baltimore restaurantsというソースデータセットを選択します。
をクリックしてStringsプロセッサーをパイプラインに追加し、一部のレコードの大文字と小文字を変更できるようにします。設定パネルが開きます。
プロセッサーに意味のある名前を付けます。
例
警察管轄区域の大文字と小文字を変更
プロセッサーを設定します。
1. すべて大文字のレコードを先頭文字だけ大文字に変更する場合は、[Function name] (関数名)リストで[Change to title case] (単語の先頭文字を大文字に変更)を選択します。
2. 特定のレコードの値に同じ変更を適用する場合は、[Fields to process] (処理するフィールド)リストで.police_disctrictを選択します。
[Save] (保存)をクリックして設定を保存します。
オプションとして、プロセッサーのプレビューを表示し、計算操作後のデータを確認します。
パイプラインで[ADD DESTINATION] (デスティネーションを追加)アイテムをクリックしてパネルを開き、自分の出力データのロード先となるAzure Event HubであるRestaurant Event Hubを選択します。
デスティネーションの[Configuration] (設定)タブでは、総当たりモデルがイベントの公開時に使用されるデフォルトのパーティションタイプですが、状況に応じてパーティションキーやパーティションIDを指定することもできます。
Talend Cloud Pipeline Designerの上部ツールバーで[Run] (実行)ボタンをクリックするとパネルが開き、実行プロファイルを選択できるようになります。
リストで実行プロファイルを選択し(詳細は実行プロファイルをご覧ください)、[Run] (実行)をクリックしてパイプラインを実行します。

タスクの結果

パイプラインは実行中となり、ボルチモアのレストランに関するローカルファイルからのデータは処理され、出力フローは定義したbaltimore-restaurantsというAzure Event Hubに送信されます。

Azure Event Hubでは直近1時間に300件のメッセージが受信され、これは25.78キロバイトの受信に相当します。

次のタスク

イベントが公開された後は、別のパイプラインでメッセージを消費してAzure Event Hubソースとして使用できます。

ソースが前のデスティネーションパイプラインからのレストランメッセージデータである新しいパイプライン。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください