Kafka et AVRO dans un Job

Dans un Job Talend, les composants Kafka (les composants classiques Kafka) et les composants Kafka pour AVRO gèrent les données AVRO différemment, comme reflété dans les approches qu'AVRO fournit pour (dé)sérialiser les données au format AVRO.

Les composants Kafka classiques lisent et écrivent le format JSON uniquement. Donc, si votre Kafka produit ou consomme des données AVRO et que pour une raison ou pour une autre, les composants Kafka pour AVRO ne sont pas disponibles, vous devez utiliser une bibliothèque d'outils AVRO pour convertir vos données entre AVRO et JSON à l'extérieur de votre Job.
Par exemple,
```
java -jar C:\2_Prod\Avro\avro-tools-1.8.2.jar tojson out.avro
```
Vous pouvez télécharger la bibliothèque avro-tools-1.8.2.jar utilisée dans cet exemple, à partir de MVN Repository (uniquement en anglais). Cette commande convertit le fichier out.avro en JSON.
Ou :
```
java -jar avro-tools-1.8.2.jar fromjson --schema-file twitter.avsc twitter.json > twitter.avro
```
Cette commande convertit le fichier twitter.json en twitter.avro à l'aide d'un schéma de twitter.avsc.
Les composants Kafka pour AVRO sont disponibles dans l'infrastructure Spark uniquement : ils gèrent les données directement dans le format AVRO. Si votre cluster Kafka produit et consomme des données AVRO, utilisez tKafkaInputAvro pour lire les données directement de Kafka et tWriteAvroFields pour envoyer des données AVRO à tKafkaOutput.
Cependant, ces composants ne gèrent pas les données AVRO créées par une bibliothèque d'outils AVRO, car les bibliothèques d'outils AVRO et les composants pour AVRO n'utilisent pas la même approche fournie par AVRO.

Les deux approches qu'AVRO fournit pour (dé)sérialiser les données du format AVRO sont les suivantes :

Les fichiers AVRO sont générés avec le schéma AVRO embarqué dans chaque fichier (via org.apache.avro.file.{DataFileWriter/DataFileReader}). Les bibliothèques d'outils AVRO utilise cette approche.
Les enregistrements AVRO sont générés sans embarquer le schéma dans chaque enregistrement (via org.apache.avro.io.{BinaryEncoder/BinaryDecoder}). Les composants Kafka pour AVRO utilisent cette approche.
Cette approche est fortement recommandée et privilégiée lorsque les messages AVRO d'encodage sont constamment écrits dans un topic Kafka, parce que dans cette approche, aucune charge engagée pour rembarquer le schéma AVRO dans chacun des messages. C'est un avantage important par rapport aux autres approches quand Spark Streaming est utilisé pour lire des données depuis ou écrire des données dans Kafka. Étant donné que les enregistrements (messages) sont généralement petits alors que la taille du schéma AVRO est relativement importante, le fait d'embarquer le schéma de chaque message n'est pas coûteux.

Les sorties des deux approches ne peuvent pas être mélangées dans le même processus en lecture seule.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici