Apache Spark StreamingのtKafkaCommitプロパティ
これらのプロパティは、Spark Streamingジョブのフレームワークで実行されているtKafkaCommitを設定するために使われます。
Spark StreamingのtKafkaCommitコンポーネントは、メッセージングファミリーに属しています。
このコンポーネントはTalend Real-Time Big Data PlatformとTalend Data Fabricで利用できます。
基本設定
|
[Commit offsets from] (次からオフセットをコミット:) |
消費されたメッセージがコミットされるtKafkaInputコンポーネントを選択します。 |
使用方法
|
使用ルール |
tKafkaCommitを使用するには、tKafkaInputコンポーネントの[Basic settings] (基本設定)ビューで、[Auto-commit offests] (自動コミットオフセット)チェックボックスをオフにする必要があります。 このコンポーネントは、ローカルSparkモードのSpark v2.0以降でサポートされています。通常、オフセットのバッチをコミットするためにスタンドアロンで使用されます。 このコンポーネントは、所属するSpark Streamingのコンポーネントのパレットと共に、Spark Streamingジョブを作成している場合にだけ表示されます。 |