Big Data : nouvelles fonctionnalités

Fonctionnalité	Description	Disponible dans
Support de Spark Universal	Vous pouvez à présent exécuter vos Jobs Spark à l'aide de Spark Universal avec Spark 2.4.x ou Spark 3.0.x, soit en mode Local, soit en mode Yarn cluster (Cluster YARN). Spark Universal est un mécanisme permettant au Studio Talend d'être compatible avec toutes les distributions Big Data disponibles pour une version de Spark donnée, via uniquement un fichier JAR de configuration Hadoop contenant toutes les informations nécessaires à l'établissement d'une connexion au cluster en mode Yarn cluster (Cluster YARN). Spark Universal renforce l'agilité en proposant de passer d'un mode Spark à l'autre, d'une distribution à l'autre ou d'un environnement à l'autre. Vous pouvez configurer votre connexion Spark Universal depuis la vue Spark configuration (Configuration de Spark) de votre Job ou depuis l'assistant de métadonnées Hadoop Cluster Connection (Connexion au cluster Hadoop), dans l'arborescence du référentiel (Repository) :	Tous les produits Talend avec Big Data nécessitant souscription
Support de Kubernetes avec Spark Universal 3.1.x	Vous pouvez à présent exécuter vos Jobs Spark à l'aide de Spark Universal avec Spark 3.1.x, en mode Kubernetes. Vous pouvez configurer votre connexion Spark Universal avec Kubernetes depuis la vue Spark configuration (Configuration de Spark) de votre Job ou depuis l'assistant de métadonnées Hadoop Cluster Connection (Connexion au cluster Hadoop), dans l'arborescence du référentiel (Repository) :	Tous les produits Talend avec Big Data nécessitant souscription
Support du schéma dynamique dans les composants Spark Batch	Vous pouvez à présent utiliser les schémas dynamiques dans vos Jobs Spark avec les composants suivants : tDeltaLakeInput tDeltaLakeOutput tFileInputParquet tFileOutputParquet tJDBCInput tJDBCOutput tLogRow tSqlRow	Tous les produits Talend avec Big Data nécessitant souscription

Fonctionnalité

Description

Disponible dans

Support de Spark Universal

Vous pouvez à présent exécuter vos Jobs Spark à l'aide de Spark Universal avec Spark 2.4.x ou Spark 3.0.x, soit en mode Local, soit en mode Yarn cluster (Cluster YARN).

Spark Universal est un mécanisme permettant au Studio Talend d'être compatible avec toutes les distributions Big Data disponibles pour une version de Spark donnée, via uniquement un fichier JAR de configuration Hadoop contenant toutes les informations nécessaires à l'établissement d'une connexion au cluster en mode Yarn cluster (Cluster YARN).

Spark Universal renforce l'agilité en proposant de passer d'un mode Spark à l'autre, d'une distribution à l'autre ou d'un environnement à l'autre.

Vous pouvez configurer votre connexion Spark Universal depuis la vue Spark configuration (Configuration de Spark) de votre Job ou depuis l'assistant de métadonnées Hadoop Cluster Connection (Connexion au cluster Hadoop), dans l'arborescence du référentiel (Repository) :

Tous les produits Talend avec Big Data nécessitant souscription

Support de Kubernetes avec Spark Universal 3.1.x

Vous pouvez à présent exécuter vos Jobs Spark à l'aide de Spark Universal avec Spark 3.1.x, en mode Kubernetes.

Vous pouvez configurer votre connexion Spark Universal avec Kubernetes depuis la vue Spark configuration (Configuration de Spark) de votre Job ou depuis l'assistant de métadonnées Hadoop Cluster Connection (Connexion au cluster Hadoop), dans l'arborescence du référentiel (Repository) :

Tous les produits Talend avec Big Data nécessitant souscription

Support du schéma dynamique dans les composants Spark Batch

Vous pouvez à présent utiliser les schémas dynamiques dans vos Jobs Spark avec les composants suivants :

tDeltaLakeInput
tDeltaLakeOutput
tFileInputParquet
tFileOutputParquet
tJDBCInput
tJDBCOutput
tLogRow
tSqlRow

Tous les produits Talend avec Big Data nécessitant souscription

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici