Big Data : problèmes et limitations connus

Limitation	Description	Disponible dans
Hive	Hive n'est pas supporté en mode Spark Local.	Tous les produits Talend avec Big Data nécessitant souscription
Java 11	Java 11 n'est pas supportée dans les Jobs Standard ou dans le référentiel des métadonnées lorsqu'ils impliquent des distributions Big Data. Java 11 n'est pas supporté dans les Jobs Spark. Cette limitation est liée aux contraintes du support de Java 11 dans les distributions Big Data. Pour exécuter vos Jobs Spark et Standard, ou pour travailler avec un référentiel de métadonnées utilisant des distributions Big Data, vous devez installer Java 8 sur votre ordinateur. Dans le Studio Talend, personnalisez le chemin d'accès dans Preferences > Talend > Java interpreter, en parcourant votre système jusqu’à l'emplacement de la JDK 8, dans Preferences > Java > Installed JREs.	Tous les produits Talend avec Big Data nécessitant souscription

Limitation

Description

Disponible dans

Hive

Hive n'est pas supporté en mode Spark Local.

Tous les produits Talend avec Big Data nécessitant souscription

Java 11

Java 11 n'est pas supportée dans les Jobs Standard ou dans le référentiel des métadonnées lorsqu'ils impliquent des distributions Big Data.
Java 11 n'est pas supporté dans les Jobs Spark.

Cette limitation est liée aux contraintes du support de Java 11 dans les distributions Big Data.

Pour exécuter vos Jobs Spark et Standard, ou pour travailler avec un référentiel de métadonnées utilisant des distributions Big Data, vous devez installer Java 8 sur votre ordinateur. Dans le Studio Talend, personnalisez le chemin d'accès dans Preferences > Talend > Java interpreter, en parcourant votre système jusqu’à l'emplacement de la JDK 8, dans Preferences > Java > Installed JREs.

Tous les produits Talend avec Big Data nécessitant souscription

Problème	Solution de contournement	Disponible dans
Lorsque vous exécutez des Jobs Spark avec des distributions Dataproc 2.x, Azure Synapse et HDInsight 4.0, l'erreur suivante peut être retournée : java.lang.NoSuchMethodError: org.apache.log4j.helpers.	Relativement au problème de sécurité Log4j 2 (CVE-2021-44228), assurez-vous de désactiver tous les loggers Log4j lorsque vous exécutez des Jobs Spark Batch et Spark Streaming avec les distributions Dataproc 2.x, Azure Synapse et HDInsight 4.0. Pour éviter tout échec de Job, décochez la case Activate log4j in components dans la vue Log4j dans File > Edit Project Properties > Project Settings ou décochez la case log4jLevel dans la vue Advanced settings de votre Job Spark.	Tous les produits Talend avec Big Data nécessitant souscription
Lorsque vous exécutez un Job Spark Batch avec des composants MapRDB ayant des colonnes de type Date dans leur schéma, l'erreur de compilation suivante s'affiche : "The method toBytes(ByteBuffer) in the type Bytes is not applicable for the arguments (Date)".	Les colonnes de type Date dans le schéma ne peuvent être utilisées lorsque vous exécutez un Job Spark Batch avec des composants MapRDB.	Tous les produits Talend avec Big Data nécessitant souscription
HBase ne fonctionne pas avec un cluster CDP 7.1.x utilisant Kerberos en mode YARN Client et retourne l'erreur suivante : hbase.pb.AuthenticationService.GetAuthenticationTokenorg.apache.hadoop.hbase.HBaseIOException: com.google.protobuf.ServiceException: Error calling method hbase.pb.AuthenticationService.GetAuthenticationToken.	Si vous souhaitez utiliser Kerberos lors de l'utilisation de HBase avec un cluster CDP 7.1.x, il est recommandé d'utiliser le mode YARN Cluster au lieu du mode YARN Client.	Tous les produits Talend avec Big Data nécessitant souscription

Problème

Solution de contournement

Disponible dans

Lorsque vous exécutez des Jobs Spark avec des distributions Dataproc 2.x, Azure Synapse et HDInsight 4.0, l'erreur suivante peut être retournée : java.lang.NoSuchMethodError: org.apache.log4j.helpers.

Relativement au problème de sécurité Log4j 2 (CVE-2021-44228), assurez-vous de désactiver tous les loggers Log4j lorsque vous exécutez des Jobs Spark Batch et Spark Streaming avec les distributions Dataproc 2.x, Azure Synapse et HDInsight 4.0.

Pour éviter tout échec de Job, décochez la case Activate log4j in components dans la vue Log4j dans File > Edit Project Properties > Project Settings ou décochez la case log4jLevel dans la vue Advanced settings de votre Job Spark.

Tous les produits Talend avec Big Data nécessitant souscription

Lorsque vous exécutez un Job Spark Batch avec des composants MapRDB ayant des colonnes de type Date dans leur schéma, l'erreur de compilation suivante s'affiche :

"The method toBytes(ByteBuffer) in the type Bytes is not applicable for the arguments (Date)".

Les colonnes de type Date dans le schéma ne peuvent être utilisées lorsque vous exécutez un Job Spark Batch avec des composants MapRDB.

Tous les produits Talend avec Big Data nécessitant souscription

HBase ne fonctionne pas avec un cluster CDP 7.1.x utilisant Kerberos en mode YARN Client et retourne l'erreur suivante : hbase.pb.AuthenticationService.GetAuthenticationTokenorg.apache.hadoop.hbase.HBaseIOException: com.google.protobuf.ServiceException: Error calling method hbase.pb.AuthenticationService.GetAuthenticationToken.

Si vous souhaitez utiliser Kerberos lors de l'utilisation de HBase avec un cluster CDP 7.1.x, il est recommandé d'utiliser le mode YARN Cluster au lieu du mode YARN Client.

Tous les produits Talend avec Big Data nécessitant souscription

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici