Apache Spark StreamingのtKafkaCommitプロパティ
これらのプロパティは、Spark Streamingジョブのフレームワークで実行されているtKafkaCommitを設定するために使われます。
Spark StreamingのtKafkaCommitコンポーネントは、メッセージングファミリーに属しています。
このコンポーネントはTalend Real-Time Big Data PlatformとTalend Data Fabricで利用できます。
情報メモ重要: Spark Streamingジョブの場合、Talend StudioはKafkaの特定のバージョンをサポートしておらず、Sparkが提供するKafkaブローカーのバージョン互換性に依存しています。サポートされているKafkaブローカーのバージョンは、使用するSparkのバージョンによって異なります。Sparkの各バージョンについて、Talend Studioは、Sparkが提供するKafkaブローカーのターゲットバージョンをサポートしています。現在のところ、Talend StudioはSparkとの互換性声明に依存しているため、Kafkaブローカーのバージョン0.10.0以降をサポートしています。詳細は、Sparkの公式ドキュメンテーションでSpark Streaming + Kafka Integration Guideをご覧ください。
基本設定
|
[Commit offsets from] (次からオフセットをコミット:) |
消費されたメッセージがコミットされるtKafkaInputコンポーネントを選択します。 |
使用方法
|
使用ルール |
tKafkaCommitを使用するには、tKafkaInputコンポーネントの[Basic settings] (基本設定)ビューで、[Auto-commit offests] (自動コミットオフセット)チェックボックスをオフにする必要があります。 このコンポーネントは、ローカルSparkモードのSpark v2.0以降でサポートされています。通常、オフセットのバッチをコミットするためにスタンドアロンで使用されます。 このコンポーネントは、所属するSpark Streamingのコンポーネントのパレットと共に、Spark Streamingジョブを作成している場合にだけ表示されます。 |