Accéder au contenu principal Passer au contenu complémentaire

Propriétés du tKafkaCommit pour Apache Spark Streaming

Ces propriétés sont utilisées pour configurer le tKafkaCommit s'exécutant dans le framework de Jobs Spark Streaming.

Le composant tKafkaCommit Spark Streaming appartient à la famille Messaging.

Ce composant est disponible dans Talend Real-Time Big Data Platform et dans Talend Data Fabric.

Note InformationsImportant : Pour les Jobs Spark Streaming, le Studio Talend ne supporte pas de version spécifique de Kafka mais repose sur une compatibilité des versions du broker Kafka fournie par Spark. La version du broker Kafka supportée dépend de la version Spark que vous utilisez. Pour chaque version de Spark, le Studio Talend supporte la version du broker Kafka cible fournie par Spark. Aujourd'hui, le Studio Talend repose sur les compatibilité de Spark et supporte donc les versions 0.10.0 et supérieures du broker Kafka. Pour plus d'informations, consultez Spark Streaming + Kafka Integration Guide dans la documentation officielle de Spark (en anglais).

Basic settings

Commit offsets from

Sélectionnez le composant tKafkaInput duquel les messages consommés sont commités.

Utilisation

Règle d'utilisation

Pour utiliser le tKafkaCommit, la case Auto-commit offests de la vue Basic settings du tKafkaInput doit être décochée.

Ce composant est supporté avec Spark v2.0 et ultérieures, en mode Spark Local. Il est généralement utilisé en standalone pour commiter un lot d'offsets.

Ce composant, ainsi que les composants Spark Streaming de la Palette à laquelle il appartient, s'affichent uniquement lorsque vous créez un Job Spark Streaming.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici