データをKafkaトピックに送信

このシナリオは、パイプラインでコネクターを簡単にセットアップして使用できるようにすることを目的としています。お使いの環境とユースケースに適応させてください。

始める前に

このシナリオを再現する場合は、 test-file-to-kafka.zip ファイルをダウンロードして抽出します。

手順

[Connections] (接続) > [Add connection] (接続を追加)をクリックします。
テスト接続を追加して[Add dataset] (データセットを追加)をクリックします。
[Engine] (エンジン)リストでエンジンを選択します。
情報メモ注:
- データの高度処理の場合は、Cloud Engine for DesignではなくRemote Engine Gen2を使用することをお勧めします。
- Talend Management Consoleから作成されたRemote Engine Gen2がないか、存在していても稼働中ではないステータスの場合は、リストで接続の[Connection type] (接続タイプ)を選択することも、新しい接続を保存することもできません。
- 使用可能な接続タイプのリストは、選択したエンジンによって異なります。
[Value format] (値の形式)リストでJSONを選択し、[Values] (値)フィールドにtest-file-to-kafka.jsonファイルのコンテンツを貼り付けます。
名前(action moviesなど)を付けて保存します。
同じようにしてKafkaサーバーに接続を追加します。
1. [Connections] (接続) > [Add connection] (接続を追加)をクリックします。
2. 表示されたパネルで、接続に名前を付け、必要に応じて説明を入力します。
  例
  Kafka
3. 作成する接続のタイプを選択します。
  ここではKafkaを選択します。
4. Kafkaプロパティの説明に従って、接続のプロパティを入力してKafkaサーバーに安全にアクセスし、接続をチェックして、[Add dataset] (データセットを追加)をクリックします。
[Add a new dataset] (新しいデータセットを追加)パネルで、データセットに名前を付けます。この例では、collette_movies_jsonトピックを使って映画に関するデータを公開します。
例
データセットに名前(Collette kafka topicなど)を付けます。
[Validate] (検証)をクリックしてデータセットを保存します。
[Pipelines] (パイプライン)ページで[Add pipeline] (パイプラインを追加)をクリックします。新しいパイプラインが開きます。
パイプラインに意味のある名前を付けます。
例
From Test to Kafka - send to Kafka topic
[ADD SOURCE] (ソースを追加)をクリックし、パネルが開いたら、action moviesというソースデータセットを選択します。
をクリックしてSplitプロセッサーをパイプラインに追加し、俳優のファーストネームとラストネームの両方が含まれているレコードを分割できるようにします。設定パネルが開きます。
プロセッサーに意味のある名前を付けます。
例
split actor names
プロセッサーを設定します。
1. 名前レコードに応じて値を分割する場合は、[Function name] (関数名)リストで[Split text in parts] (テキストを複数の部分に分割)を選択します。
2. 特定のレコードの値に同じ変更を適用する場合は、[Fields to process] (処理するフィールド)リストで.detail.starringを選択します。
3. 特定レコードの値を2つの部分に分割する場合は、[Parts] (分割数)リストに2と入力します。
4. これらのレコードではファーストネームとラストネームがスペースで区切られているので、[Separator] (区切り)リストで[Space] (スペース)を選択します。
[Save] (保存)をクリックして設定を保存します。
オプションとして、プロセッサーのプレビューを表示し、分割操作後のデータを確認します。
をクリックし、パイプラインにFilterプロセッサーを追加します。設定パネルが開きます。
プロセッサーに意味のある名前を付けます。
例
filter on movies with actor Collette
プロセッサーを設定します。
1. データセットにリスト表示されている俳優のラストネームでフィルタリングする場合は、新しいエレメントを追加し、[Input] (入力)リストで.detail.starring_split_2を選択します。
2. [Optionally select a function to apply] (適用する関数をオプションとして選択)リストで[None] (なし)を選択します。
3. [Operator] (オペレーター)リストで==を選択します。
4. Colletteという名前が含まれているデータをフィルタリングする場合は、[Value] (値)フィールドに1と入力します。
5. [Save] (保存)をクリックして設定を保存します。
オプションとして、Filterプロセッサーのプレビューを表示し、フィルタリング操作後のデータサンプルを確認します。
例
パイプラインで[ADD DESTINATION] (デスティネーションを追加)アイテムをクリックしてパネルを開き、自分の出力データのロード先となるApache Kafkaトピック(Collette Kafka topic)を選択します。
デスティネーションの[Configuration] (設定)タブでは、イベントの公開時に使用されるデフォルトのパーティションタイプは総当たりモデルですが、状況に応じてパーティションキーを指定することもできます。
Talend Cloud Pipeline Designerの上部ツールバーで[Run] (実行)ボタンをクリックするとパネルが開き、実行プロファイルを選択できるようになります。
リストで実行プロファイルを選択し(詳細は実行プロファイルをご覧ください)、[Run] (実行)をクリックしてパイプラインを実行します。