メイン コンテンツをスキップする 補完的コンテンツへスキップ

特定のKafkaトピックからメッセージを読み取る

手順

  1. tKafkaInputをダブルクリックして、その[Component] (コンポーネント)ビューを開きます。
    tKafkaInputの基本設定ビュー。
  2. [Broker list] (ブローカーリスト)フィールドに、使うKafkaクラスターのブローカーのロケーションを入力します。ロケーションはコンマ(,)で区切ります。この例では、ブローカーは1つだけ存在し、そのロケーションはlocalhost:9092です。
  3. [Starting offset] (開始オフセット)ドロップダウンリストから、トピックのメッセージが消費される開始点を選択します。このシナリオでは[From latest] (最新から)を選択します。これは、同じコンシューマーグループによって消費され、オフセットがコミットされた最新のメッセージから開始することを意味します。
  4. [Topic name] (トピック名)フィールドに、このジョブがTwitterストリームを消費するトピックの名前を入力します。このシナリオでのトピックはtwitter_liveです。
    このトピックは、Kafkaシステムに存在している必要があります。Kafkaトピックの作成方法については、Apache Kafkaのドキュメントを参照するか、tKafkaCreateTopicコンポーネントを使ってください。ただし、tKafkaCreateTopicはSparkジョブでは使えません。
  5. [Set number of records per second to read from each Kafka partition] (Kafkaの各パーティションから読み取る1秒あたりのレコード数を設定する)チェックボックスをオンにします。これにより、処理のために送信される各マイクロバッチのサイズが制限されます。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください