Accéder au contenu principal Passer au contenu complémentaire

Nouveautés de la version R2021-02

Big Data : nouvelles fonctionnalités

Fonctionnalité

Description

Disponible dans

Support de Spark 3.0 en mode local pour les Jobs Spark Talend supporte à présent Spark 3.0 en mode local lors de l'exécution de Jobs Spark dans le Studio Talend.

Note InformationsRemarque : Les éléments suivants ne supportent pas Spark 3.0 en mode local :
  • ADLS Gen2
  • tCassandraInput et tCassandraOutput
  • tElasticSearchInput et tElasticSearchOutput

Tous les produits Talend incluant Big Data

Availability-noteBeta
Support de Databricks 7.3 LTS avec les composants Spark 3.0
Vous pouvez à présent exécuter des Jobs Spark Batch et Spark Streaming sur la distribution Databricks 7.3 LTS, sur AWS et sur Azure pour des clusters interactifs et transitoires, avec Spark 3.0. Les composants suivants sont supportés :
  • tAvroInput et tAvroOutput
  • tAzureFSConfiguration
  • tFileInputDelimited et tFileOutputDelimited
  • tFileInputJSON et tFileOutputJSON
  • tFileInputParquet et tFileOutputParquet
  • tFileInputXML et tFileOutputXML
  • tFixedFlowInput
  • tLogRow
  • tS3Configuration
Note InformationsImportant : Comme cette fonctionnalité est disponible en fonctionnalité bêta uniquement, elle ne convient pas à des environnements de production.

Tous les produits Talend incluant Big Data

Nouvelles options disponibles pour les clusters transitoires Databricks Vous pouvez adapter votre configuration lorsque vous créez un cluster transitoire Databricks depuis la vue Spark configuration de votre Job Spark. Les propriétés suivantes sont à présent disponibles :
  • Enable credentials passthrough
  • Spot with fall back to On-demand
  • Availability zone (Zone de disponibilité)
  • Max spot price
  • EBS volume type
  • Custom tags
  • Init scripts

Tous les produits Talend incluant Big Data

L'option d'héritage des identifiants des rôles AWS est disponible pour les composants DynamoDB dans des Jobs Spark Batch Les composants DynamoDB suivants supportent à présent la possibilité d'obtenir des identifiants de sécurité AWS depuis les métadonnées de l'instance Amazon EC2, avec l'option Inherit credentials from AWS role :
  • tDynamoDBInput
  • tDynamoDBOutput
  • tDynamoDBConfiguration

Cela vous permet de ne pas spécifier de clé d'accès ou clé secrète dans le Studio Talend.

Tous les produits Talend incluant Big Data

Data Integration : nouvelles fonctionnalités

Fonctionnalité

Description

Disponible dans

Nouvelle amélioration du partage de bibliothèques

Le Studio Talend supporte à présent la configuration pour partager des bibliothèques de composants vers le référentiel de bibliothèques local au démarrage via la case Share libraries to artifact repository at startup dans la vue Talend > Artifact Repository > Libraries de la fenêtre des Preferences.

Tous les produits Talend incluant le Studio Talend

Support du mapping Databricks Delta Lake

Le support du mapping Databricks Delta Lake est fourni par les composants suivants.

  • tELTInput, tELTOutput, tELTMap
  • tSQLTemplate, tSQLTemplateMerge, tSQLTemplateAggregate, tSQLTemplateCommit, tSQLTemplateRollback, tSQLTemplateFilterRows, tSQLTemplateFilterColumns

Tous les produits Talend sauf Talend ESB

Nouvelles options pour les opérations Update (Mise à jour) et Delete (Suppression) fournies

L'option Use WHERE conditions table et le champ Where conditions table sont fournis dans la vue Basic settings. Cette modification améliore la productivité. Composants concernés :

  • tELTGreenplumOutput, tELTMSSqlOutput, tELTMysqlOutput, tELTNetezzaOutput, tELTOracleOutput, tELTOutput, tELTPostgresqlOutput, tELTSybaseOutput, tELTTeradataOutput, tELTVerticaOutput

Tous les produits Talend incluant le Studio Talend

tRedshiftBulkExec : nouveau type de fichier supporté

Le composant tRedshiftBulkExec peut à présent charger des données stockées dans des fichiers Apache Parquet.

Tous les produits Talend incluant le Studio Talend

tFileOutputExcel : nouvelle option fournie pour les fichiers Excel2007

Le composant tFileOutputExcel fournit l'option Truncate characters exceeding max cell length, qui empêche les échecs survenant lorsqu'une chaîne de caractères écrite dans une cellule Excel2007 dépasse la longueur maximale autorisée (32 767 caractères).

Tous les produits Talend incluant le Studio Talend

tChangeFileEncoding : taille de la mémoire tampon personnalisable

Le composant tChangeFileEncoding fournit le champ Buffer Size, vous permettant de spécifier la taille de la mémoire tampon pour modifier l'encodage du fichier.

Tous les produits Talend incluant le Studio Talend

Option Safety Switch disponible dans les composants tSalesforceBulkExec et tSalesforceOutputBulkExec

L'option Safety Switch est à présent fournie dans les composants tSalesforceBulkExec et tSalesforceOutputBulkExec pour empêcher une utilisation excessive de la mémoire. Lorsque la base de données contient des colonnes dont la longueur dépasse les 100 000 caractères, n'utilisez pas cette option.

Tous les produits Talend incluant le Studio Talend

Data Mapper : nouvelles fonctionnalités

Fonctionnalité

Description

Disponible dans

Nouvelles options pour les éléments décimaux Dans les propriétés de représentation CSV, Flat, JSON, Map et XML, deux nouvelles options ont été ajoutées pour gérer des éléments décimaux et corriger un problème relatif aux décimaux implicites :
  • L'option Enforce zero scale on output decimals? vous permet de supprimer les chiffres avec décimale, lorsque la propriété Decimal Places est configurée à 0.
  • L'option Decimal sign is implied on output vous permet de supprimer le séparateur décimal dans la sortie.

Tous les produits Talend Platform et Data Fabric

Data Quality : nouvelles fonctionnalités

Fonctionnalité

Description

Disponible dans

Support de Spark 3.0 en mode local Les composants Spark supportent Apache Spark 3.0 en mode local, sauf le tMatchIndex, le tMatchIndexPredict, le tNLPModel, le tNLPPredict et le tNLPPreprocessing.

Tous les produits Talend Platform et Data Fabric

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.