# Big Data : nouvelles fonctionnalités

## Améliorations apportées à la conception de Jobs Spark

| Fonctionnalité | Description | Disponible dans |
| --- | --- | --- |
| ADLS Gen2 | Azure Data Lake Storage Generation2 est à présent supporté avec les plateformes Big Data suivantes :<br><br><ul> <li>Databricks V5.5 LTS</li> <li>Cloudera CDH V6.1</li> <li>Hortonworks Data Platform V3.1</li> </ul> | <ul>Disponible dans:<li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Tous les produits Talend incluant Big Data |
| Snowflake | Les composants Snowflake pour Spark Batch sont à présent généralement disponibles. | <ul>Disponible dans:<li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Tous les produits Talend incluant Big Data |
| Jeux de données natifs | Dans les Jobs Spark Batch, le support des jeux de données Spark natifs a été ajouté à d'autres composants, afin d'obtenir de meilleures performances. Pour bénéficier de cette amélioration, les utilisateurs et utilisatrices doivent utiliser Spark V2.0 ou supérieure avec les composants suivants :<br><br><ul> <li>tFileInputParquet et tFileOutputParquet</li> <li>tFileInputDelimited et tFileOutputDelimited</li> <li>tFileInputFullRow</li> <li>tFileInputPositional et tFileInputRegex</li> <li>tSortRow, tExtractDelimitedFields, tExtractPositionalFields, tExtractRegexFields, tExtractXMLField, tExtractJSONFields, tNormalize, tReplace, tReplicate, tSample, tUnite et tSchemaComplianceCheck.</li> </ul><br><br>Les composants suivants nécessitent Spark V2.1 ou supérieure pour supporter les jeux de données Spark.<br><br><ul> <li>tAggregateRow</li> <li>Jointure Left Outer Join dans le tMap, en plus des fonctionnalités du tMap ayant le support des jeux de données depuis la version 7.2 du Studio <span>Talend</span>.</li> </ul> | <ul>Disponible dans:<li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Tous les produits Talend incluant Big Data |
| Delta Lake | Les composants tDeltaLakeInput et tDeltaLakeOutput sont à présent généralement disponibles.<br>![](https://help.qlik.com/talend/fr-FR/release-notes/Resources/images/delta_lake_job.png) | <ul>Disponible dans:<li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Tous les produits Talend incluant Big Data |
| Apache Spark V2.4 | Cette nouvelle version d'Aparch Spark est supportée avec plus de plateformes Big Data dans des Jobs Spark Batch et Spark Streaming. Les plateformes supportant Spark V2.4 sont :<br><br><ul> <li>Cloudera CDH6.1.1</li> <li>Databricks V5.5</li> <li>Google Cloud Dataproc V1.4</li> </ul> | <ul>Disponible dans:<li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Tous les produits Talend incluant Big Data |
| Statut du Job | Avec Databricks, les utilisateurs et utilisatrices peuvent configurer la fréquence à laquelle le Studio demande au cluster Spark le statut des Jobs. | <ul>Disponible dans:<li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Tous les produits Talend incluant Big Data |
| tS3Configuration | Avec Amazon EMR, les utilisateurs et utilisatrices peuvent appliquer une politique de bucket S3. | <ul>Disponible dans:<li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Tous les produits Talend incluant Big Data |
| tAggregateRow | Dans les Jobs Spark Batch, la fonction de compte distinct (Count) et la fonction Sample Standard Deviation Algorithm function ont été ajoutées. | <ul>Disponible dans:<li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Tous les produits Talend incluant Big Data |
| Nouvelles versions des pilotes | Le support des versions suivantes des pilotes a été ajouté dans les composants associés :<br><br><ul> <li>Pilote Redshift JDBC 1.23.7.1061</li> <li>Pilote MySQL V8.0.18</li> <li>Pilote Teradata JDBC 16.20.00.13</li> <li>Pilote JDBC MariaDB V2.5.3 dans les composants JDBC</li> <li>Pilote JDBC Snowflake 3.11.x</li> </ul> | <ul>Disponible dans:<li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Tous les produits Talend incluant Big Data |
| Nouveaux composants disponibles | Deux nouveaux composants sont disponibles : le tAzureAdlsGen2Input et le tAzureAdlsGen2Output. | <ul>Disponible dans:<li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Tous les produits Talend incluant Big Data |

## Support des plateformes Big Data

| Fonctionnalité | Description | Disponible dans |
| --- | --- | --- |
| Databricks | <ul> <li>Databricks V5.5 LTS est à présent supporté par les Jobs Spark.</li> <li>Le support des clusters transitoires Azure Databricks a été ajouté.</li> </ul> | <ul>Disponible dans:<li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Tous les produits Talend incluant Big Data |
| Hortonworks Data Platform | <ul> <li>Hortonworks Data Platform V3.1 est à présent supporté.</li> <li>Les versions V3.x d'Hortonworks Data Platform sont maintenant généralement disponibles parmi les distributions dynamiques.</li> </ul> | <ul>Disponible dans:<li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Tous les produits Talend incluant Big Data |
| Google Cloud Dataproc | <ul> <li>Google Cloud Dataproc V1.4 est supporté.</li> <li>Dans les Jobs Standard, le tGoogleDataprocManage supporte toutes les régions.</li> </ul> | <ul>Disponible dans:<li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Tous les produits Talend incluant Big Data |
| Configurations Hadoop personnalisées | Lorsqu'ils définissent des connexions à Cloudera ou Hortonworks dans le Repository, les utilisateurs et utilisatrices peuvent à présent spécifier un fichier Jar personnalisé fournissant les paramètres de connexion à l'environnement Hadoop à utiliser. | <ul>Disponible dans:<li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Tous les produits Talend incluant Big Data |

## Autres composants

| Fonctionnalité | Description | Disponible dans |
| --- | --- | --- |
| Kafka | Kafka V2.2.1 est à présent officiellement supporté avec :<br><br><ul> <li>Cloudera CDH V6.1</li> <li>Hortonworks Data Platform V3.1</li> <li>Les composants Kafka dans les Jobs Standard</li> </ul> | <ul>Disponible dans:<li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Tous les produits Talend incluant Big Data |
| Google BigQuery | <ul> <li>Dans le tBigQueryBulkExec, les utilisateurs et utilisatrices peuvent à présent déposer des tables avec un compte de service ou leurs identifiants OAuth 2.0.</li> <li>Les composants BigQuery supportent à présent l'API client Google Cloud 1.25.10.</li> </ul> | <ul>Disponible dans:<li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Tous les produits Talend incluant Big Data |
| Couchbase | <ul> <li>Le tCouchbaseOutput permet à présent aux utilisateurs et utilisatrices d'effectuer des requêtes N1QL avec des paramètres.</li> <li>Les documents non JSON sont supportés.</li> </ul> | <ul>Disponible dans:<li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Tous les produits Talend incluant Big Data |
| CXF | CXF V3.3.4 est à présent supporté dans les composants suivants :<br><br><ul> <li>tDBFSConnection, tDBFSGet, tDBFSPut</li> <li>tHCatalogInput, tHCatalogLoad, tHCatalogOperation, tHCatalogOutput</li> </ul> | <ul>Disponible dans:<li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Tous les produits Talend incluant Big Data |
| MongoDB | Le support de MongoDB V4.2.x a été ajouté aux composants MongoDB dans les Jobs Standard. | <ul>Disponible dans:<li>Big Data</li><li>Big Data Platform</li><li>Cloud Big Data</li><li>Cloud Big Data Platform</li><li>Cloud Data Fabric</li><li>Data Fabric</li><li>Real-Time Big Data Platform</li></ul><br><br>Tous les produits Talend incluant Big Data |