Application Talend Data Catalog

Fonctionnalité	Description
Nouvelle gestion des métamodèles	Avec la nouvelle fonctionnalité de gestion des métamodèles, vous pouvez définir des modèles personnalisés et étendre des modèles importés pour la gestion de données, comme les données de référence, la qualité de données, la sécurité des données, la gestion des problèmes de données, les règles et stratégies métier, la modélisation des processus métier et les améliorations ou la conformité aux règles. La fonctionnalité de métamodélisation est disponible à partir de la page Manage Metamodel (Gestion du métamodèle).
Nouveaux modèles métier personnalisés	Vous pouvez utiliser la nouvelle fonctionnalité de métamodélisation pour définir des modèles personnalisés, comme des modèles associés aux données de référence, stratégies métier et gestions des règles ou gestions des problèmes de données. Les modèles personnalisés sont des instanciations d'un type de modèle personnalisé défini dans la page Manage Metamodel (Gérer le métamodèle). Talend Data Catalog fournit une fonctionnalité de modélisation d'objet et une fonctionnalité d'édition graphique des diagrammes des classes UML pour ces modèles personnalisés. Talend Data Catalog fournit également des modèles métier standards et système et des extensions de modèles. Le package Standard comprend à présent le modèle de glossaire avec de nouveaux objets KPI (Indicateur clé de performance) et Acronym (Acronyme). Une fois défini, vous pouvez utiliser les fonctionnalités disponibles pour les modèles importés sur les modèles personnalisés, y compris les entrées de données, les analyses et les rapports, à l'aide de feuilles de travail et de dashboards. Vous pouvez utiliser le nouvel onglet Hierarchies (Hiérarchies) dans la page d'objet pour explorer les modèles de manière hiérarchique et faciliter l'entrée et le reporting de données. Vous pouvez activer et personnaliser les processus de workflow et de publication sur les modèles personnalisés afin de contrôler les modifications apportées aux classes d'objets dans l'onglet Workflow. Vous pouvez importer ou exporter des sous-jeux du métamodèle pour une édition et un reporting externes de masse à l'aide des packages de métamodèles. Cela vous permet de développer et fournir des packages tiers d'extension et de définir des connecteurs réels avec les outils et applications derrière les modèles personnalisés, par exemple JIRA pour un modèle relatif à un problème de gestion de données. Cette fonctionnalité est disponible depuis la page Manage Metamodel (Gérer le métamodèle).
Nouvelles extensions de modèles techniques importés	Vous pouvez utiliser la nouvelle fonctionnalité de métamodélisation pour étendre la documentation de données des modèles importés. Les modèles importés sont les modèles associés à un pont d'import et alimentés via le processus de collecte. Vous pouvez définir de nouveaux types d'objets importés depuis la page Manage Metamodel (Gérer le métamodèle). Cela vous permet de regrouper des objets de profils similaires dans des collections de types d'objets importés et d'appliquer des attributs personnalisés à ces collections, en même temps. Vous pouvez définir, appliquer et réutiliser des attributs personnalisés sur les objets importés et les objets personnalisés. Vous n'avez plus besoin de définir à nouveau le périmètre de chaque attribut personnalisé s'appliquant à des objets importés similaires. Vous pouvez définir des relations personnalisées à partir des objets importés, par exemple pour renforcer les règles et stratégies métier dans vos ressources de données. Des relations personnalisés peuvent également être configurées pour implication dans le flux sémantique. Par exemple, vous pouvez voir la définition d'un terme d'une colonne de table et les règles métier associées dans l'onglet Semantic Flow (Flux sémantique). Vous pouvez définir une nouvelle relation Is Defined By (Est défini par) pour implémenter le processus de documentation d'un terme. Cela vous permet d'adapter les processus aux modifications continues des technologies et architectures, par exemple pour réimporter la documentation de données dans une nouvelle implémentation après une migration Cloud.
Nouveau contrôle des accès basé sur les rôles avec rôles globaux et rôles d'objets	Talend Data Catalog fournit à présent un contrôle des accès basé sur les rôles. Les rôles globaux déterminent les responsabilités globales des utilisateur·trices sur toutes les ressources du catalogue. Vous pouvez gérer ces rôles depuis la nouvelle page Manage Global Roles (Gérer les rôles globaux). Les rôles d'objet déterminent les responsabilités des utilisateur·trices sur les ressources spécifiques du catalogue, comme les glossaires ou les modèles. Vous pouvez gérer ces rôles depuis la nouvelle page Manage Object Roles (Gérer les rôles d'objets). Vous pouvez attribuer les rôles d'objets depuis le nouvel onglet Responsibilities (Responsabilités) dans la configuration, le gestionnaire de référentiels ou depuis la page d'objet. Les rôles globaux et d'objets fournissent un ensemble de fonctionnalités prédéfinies définissant les actions que vous pouvez effectuer dans le catalogue, comme les fonctionnalités de gestion ou de modification. Les rôles d'objets et globaux sont disponibles et personnalisables pour répondre aux besoins spécifiques de votre entreprise. Les rôles prédéfinis ne sont plus codés en dur. Vous pouvez personnaliser les rôles d'objets et globaux et modifier l'attribution des fonctionnalités. Vous pouvez également créer des rôles de zéro ou en créer à partir de rôles existants. Lorsque vous associez des utilisateur·trices ou un groupe d'utilisateur·trices à des rôles d'objets ou globaux, cette association est une responsabilité.
Nouvelle classification de données	La classification de données vous permet de détecter, de comprendre et de classifier la nature et l'objectif des éléments contenus dans les sources de données importées dans votre catalogue. Les classes de données remplacent à présent les types sémantiques. Vous pouvez gérer les classes de données depuis la nouvelle page Manage Data Classes (Gérer les classes de données). Il y a plusieurs types de classes de données : Le type de données a été amélioré et vous permet de détecter la nature des données utilisant les fonctionnalités d'échantillonnage et de profiling de données en se basant sur les énumérations, modèles et expressions régulières. Vous pouvez à présent configurer des règles de rapprochement en utilisant les nouvelles fonctionnalités de seuil de rapprochement et de seuil d'unicité. Vous pouvez à présent utiliser la nouvelle exploration sémantique automatique en vous basant sur l'apprentissage automatique pour les modèles de données ou les énumérations, par exemple pour les nouvelles valeurs de code d'apprentissage automatique. Ce processus améliore les suggestions pour les mots-clés automatiques dans Talend Data Catalog. Vous pouvez à présent utiliser la fonctionnalité à la demande de re-classification côté serveur après avoir ajouté ou mis à jour les classes de données. Vous n'avez plus besoin de générer les opérations d'échantillonnage et de profiling de données pour propager les modifications. Le nouveau type de métadonnées détecte les classes selon leurs attributs de métadonnées. Cela vous permet de détecter les données sensibles ne pouvant être identifiées par les processus d'échantillonnage et de profiling de données. Cette fonctionnalité existe grâce au langage MQL (Metadata Query Language). Le type composé a été amélioré et se base sur plusieurs classes de données. Talend Data Catalog fournit de nouvelles classes de données sensibles de type Données, Métadonnées et Composé pour vous permettre d'identifier et masquer facilement les données sensibles.
Nouveaux libellés de sensibilité	Les nouveaux libellés de sensibilité vous permettent d'identifier les données sensibles. Vous pouvez voir une nouvelle icône Sensitivity Label (Libellé de sensibilité) en haut à droite des pages de détails de l'objet. Vous pouvez gérer et personnaliser ces libellés depuis la page Manage Sensitivity Labels (Gérer les libellés de sensibilité). Vous pouvez appliquer ces libellés en attribuant manuellement des mots-clés à chaque objet, en utilisant la fonctionnalité d'édition de masse dans les feuilles de travail, en utilisant la détection automatique de classification de données ou en utilisant les libellés de sensibilité déduits.
Nouveaux libellés conditionnels	Vous pouvez définir de nouveaux libellés conditionnels basés sur le langage MQL (Metadata Query Language), par exemple un libellé "Highly Commented" pour les objets ayant plus de cinq commentaires. Vous pouvez gérer et créer ces libellés depuis la page Manage Conditional Labels (Gérer les libellés conditionnels). Vous pouvez voir les libellés conditionnels dans la zone Conditional Labels (Libellés conditionnels) depuis l'onglet de vue d'ensemble des pages de détails des objets. Les libellés conditionnels peuvent être affichés dans des résultats de recherche, des feuilles de travail ou des diagrammes de lignage de flux de données.
Nouvelle gestion des libellés	Vous pouvez à présent vérifier ou supprimer l'attribution des libellés depuis la page Manage Labels (Gérer les libellés). Par défaut, vous pouvez voir tous les libellés dans le référentiel depuis la vue All Labels (Tous les libellés). Vous pouvez également voir les libellés attribués aux objets dans la configuration courante depuis la vue Configuration Labels (Libellés de configuration).
Nouveautés : observateur·trice d'objet et notifications par e-mail	Les nouvelles notifications des observateur·trices vous permettent d'informer les observateur·trices lorsque certains événements se produisent sur cet objet. Vous pouvez activer les notifications par e-mail pour les observateur·trices côté serveur depuis la page Manage Email (Gérer les e-mails). Vous pouvez configurer les fonctionnalités de modification et de gestion des observateur·trices via les rôles d'objets dans la page Manage Object Roles (Gérer les rôles d'objets). Vous pouvez configurer la fréquence de notification pour les observateur·trices à partir de la page Manage Users (Gestion des utilisateur·trices) ou User Profile (Profil utilisateur). Vous pouvez configurer une nouvelle icône d'observateur·trice en haut à droite des pages d'objets. Le menu vous permet de démarrer ou arrêter l'observation d'un objet, de voir le nombre d'observateur·trices ou de gérer les observateur·trices d'un objet. Cette fonctionnalité est disponible pour les modèles importés et les modèles personnalisés. Elle est disponible uniquement au niveau des modèles et des sous-modèles, si le modèle est un multimodèle. Si vous êtes un·e observateur·trice d'un modèle technique, vous recevez un e-mail par modèle et type d'activité si des modifications ont été apportées après un import ou pour toute modification, par exemple une nouvelle certification. Si vous êtes un·e observateur·trice d'un modèle métier, des données, d'un mapping sémantique ou d'un modèle de données physique, vous recevez un e-mail par modèle pour toute modification, à tout niveau. Vous pouvez recevoir un e-mail avec les statistiques résumées des modifications et un lien vers le rapport de comparaison de versions d'un modèle. Vous pouvez également recevoir des e-mails de notification selon votre rôle et vos attributions de fonctionnalités pour les transitions de workflows, les modifications de configurations ou les erreurs de serveur.
Nouvelle fonctionnalité de stockage des identifiants dans des gestionnaires de secrets (Secret Manager) Cloud	Vous pouvez à présent stocker les identifiants du pont, par exemple l'utilisateur, le mot de passe ou la clé privée dans un gestionnaire de secrets, en utilisant la nouvelle page Manage Secret Vaults (Chambres fortes de secrets). Talend Data Catalog supporte les gestionnaires de secrets suivants : Amazon AWS Secrets Manager Microsoft Azure Key Vault Google Secret Manager
Amélioration de l'automatisation et de la productivité de la documentation de données	La documentation de données vous permet de définir les données techniques en des termes métier compréhensibles par tout le monde. Il y a maintenant plusieurs catégories de documentation de données : La documentation métier fournit une documentation locale avec un nom et une description métier. Vous pouvez l'utiliser comme alternative à la documentation d'un terme. La documentation d'un terme (précédemment nommée classification d'un terme) permet de documenter un objet importé avec un ou plusieurs terme·s provenant d'un glossaire. Elle crée à présent une relation Is Defined By (Est défini par). La documentation mappée permet de documenter un objet importé connecté par un mapping sémantique avec un ou plusieurs terme·s de glossaire ou entités/attributs d'un modèle de données. La documentation déduite fournit une documentation de données sur un objet importé automatiquement généré à partir d'autres objets impliqués dans ce lignage et cet impact de flux de données. Cette fonctionnalité améliore la couverture de documentation de données automatique sur de nombreux data stores. Vous pouvez voir de nouveaux assistants de documentation métier, de terme, mappée ou déduite dans l'onglet Overview (Vue d'ensemble) de la page d'objet. Talend Data Catalog peut vous suggérer des noms métier basés sur les noms techniques, en utilisant les standards de nommage et les fonctionnalités d'apprentissage supervisé. Elle peut également suggérer une description métier depuis la documentation déduite. Vous pouvez créer de nouveaux widgets graphiques d'indicateurs clés de performance sur la couverture de la documentation de données en utilisant les nouveaux attributs `Term Documentation (Documentation de terme)` et `Inferred Documentation (Documentation déduite)`, disponibles dans les API REST, le MQL, les feuilles de travail et les dashboards.
Nouvelle fonctionnalité de tri des dates de mise à jour	Vous pouvez trier les résultats par date de mise à jour dans l'explorateur d'objets, les feuilles de travail ou vos recherches.
Amélioration de l'architecture du profiling et de l'échantillonnage de données	Les résultats de l'échantillonnage et du profiling de données collectés par les serveurs de collecte distants sont à présent sauvegardés côté serveur. Vous pouvez avoir une mise à jour automatique ou à la demande de l'échantillonnage ou du profiling de données, par exemple après la création d'une classe de données, sans avoir à retourner sur les serveurs de collecte distants.
Amélioration du reporting et des présentations des métadonnées	Vous pouvez à présent importer et exporter des présentations par défaut entre les serveurs à partir de la page Manage Default Presentations (Gérer les présentations par défaut). De nouveaux widgets graphiques sont disponibles pour les présentations des pages des détails des objets.
Amélioration des fonctionnalités d'API REST	Les nouvelles fonctionnalités sont disponibles dans l'API REST : nouveau paramètre `scope (périmètre)` pour les fonctions MQL Query nouvelles fonctionnalités d'import et d'export pour les packages de métamodèles dans le référentiel nouvelles fonctionnalités d'import et d'export pour les modèles importés et personnalisés dans le référentiel nouvelles fonctionnalités pour gérer les rôles globaux et d'objets dans les Rôles nouveau groupe Data Classes (Classes de données) pour gérer les classes de données et remplacer les types sémantiques nouveaux groupes de libellés de sensibilité pour utiliser les libellés de sensibilité Pour plus d'informations, cliquez sur le lien Consulter la documentation générale dans la page de documentation de l'API REST Talend Data Catalog.
Amélioration du langage MQL (Metadata Query Language)	Vous n'avez plus besoin d'utiliser la syntaxe des caractères spéciaux sur les attributs lors de l'utilisation du langage MQL dans vos rapports, dashboards ou feuilles de travail. La fonctionnalité de reporting dans les feuilles de travail et les dashboards a été améliorée : nouveaux objets système supportés relatifs à l'échantillonnage, au profiling, à la classification de données, aux rôles globaux et d'objets et aux actions de workflows. Vous pouvez consulter l'entrée New worksheet attributes (Nouveaux attributs de feuille de travail) ci-dessous pour voir les nouveaux attributs système disponibles pour les requêtes. Pour plus d'informations, cliquez sur le lien Consulter la documentation générale dans la page de documentation de l'API REST Talend Data Catalog.
Nouveaux attributs des feuilles de travail	De nouveaux attributs de lignage sont disponibles, notamment `Has Semantic Usage (A une utilisation sémantique)`, `Has Semantic Definition (A une définition sémantique)`, `Has Data Lineage (A un lignage de données)` et `Has Data Impact (A un impact de données)`, pour détecter les objets non utilisés. Ces attributs peuvent également être utilisés comme filtres. De nouveaux attributs de classification de données sont disponibles, notamment `Data Classifications (Classifications de données)`, `Data Classification Matched (Classification de données rapprochée)`, `Data Classification Rejected (Classification de données rejetée)` et `Data Classification Approved (Classification de données approuvée)`. De nouveaux attributs de documentation de données sont disponibles, notamment : `Term Documentation (Documentation de terme)` affiche la liste des termes (nom et description) documentant l'objet. `Mapped Documentation (Documentation mappée)` affiche la liste des objets mappés sémantiquement documentant l'objet. `Inferred Documentation (Documentation déduite)` affiche la liste des termes documentant indirectement les objets via le lignage/l'impact de données. `Documentation` affiche la documentation résumée de l'objet. La documentation résumée retourne la première documentation trouvée sur l'objet avec les priorités suivantes : Business Documentation (Documentation métier) > Term Documentation (Documentation de terme) > Mapped Documentation (Documentation mappée) > Inferred Documentation (Documentation déduite) > Importé·e (Documentation) > Recherché·e (Documentation). De nouveaux attributs de glossaire sont disponibles, notamment `Is Defined By (Est défini par)` pour afficher une liste de termes et de descriptions longues (`Long Description`). De nouveaux attributs de profiling de données sont disponibles, notamment `Data Profiling (Profiling de données)`, `Distinct`, `Duplicate (Doublon)`, `Empty (Vide)`, `Valid (Valide)`, `Invalid (Invalide)`, `Min`, `Max`, `Mean (Moyenne)`, `Variance`, `Median (Médiane)`, `Lower Quantile (Quantile inférieur)`, `Upper Quantile (Quantile supérieur)`, `Avg Length (Longueur moy)`, `Min Length (Longueur min)`, `Max Length (Longueur max)` et `Inferred Data Types (Types de données déduits)`. De nouveaux attributs relatifs à la conservation sociale sont disponibles, notamment `Certified By (Certifié par)`, `Endorsed By (Recommandé par)`, `Commented By (Commenté par)`, `Warned By (Avertissement par)`. De nouveaux attributs `Endorsement Count (Nombre de recommandations)`, `Comment Count (Nombre de commentaires)`, `Warning Count (Nombre d'avertissements)` ont été ajoutés à la liste des filtres possibles pour produire des feuilles de travail ou des dashboards avec des objets populaires. De nouveaux attributs de workflow sont disponibles, notamment `Workflow State (État du workflow)`, `Workflow Published (Workflow publié)` et `Workflow Deprecation Requested (Dépréciation du workflow demandée)` s'appliquant à tout objet impliqué dans un processus de workflow. Un nouvel attribut `Stewards` est disponible dans l'onglet Responsibilities (Responsabilités). Les attributs `Parent Object Name (Nom de l'objet parent)` et `Parent Object Type (Type de l'objet parent)` ont été ajoutés. Les rôles d'objets peuvent être utilisés comme colonnes ou filtres, par exemple `expandedMembersOfRole('Steward') = ANY('Business Users')` comme exemple de filtre ou `membersOfRole('Steward')` comme exemple de recherche. Les relations/enfants d'objets peuvent être utilisé·es comme colonnes.
Logiciel tiers et open source	Tous les logiciels tiers et open source ont été mis à niveau dans leur dernière version pour une meilleure sécurité et protection contre des vulnérabilités.
Amélioration de sécurité	Le chemin de collecte des métadonnées à parcourir n'est plus défini à * par défaut (permettant de parcourir tous les disques, répertoires et fichiers) pour des raisons de sécurité. Les Administrateur·trices doivent utiliser l'interface de configuration Setup ou une invite de commande pour définir le périmètre de navigation dans les fichiers. Les applications Web Tomcat comme MMDoc.war (aide de l'API REST REST) ne sont plus activées par défaut pour des raisons de sécurité (endpoints sensibles Swagger non authentifiés). Elles ont été déplacées de tomcat/webapps à tomcat/dev. Si nécessaire, elles peuvent être activées via l'interface de configuration Setup ou via une invite de commande, avec la commande `Setup.bat -we mmdoc`. Cela crée le contexte MMDoc.xml dans tomcat/MetaIntegration/localhost pour rendre disponible l'application Web et la démarrer.
Amélioration de la fonctionnalité d'export vers CSV	Les fichiers CSV exportés sont améliorés pour contenir l'indicateur d'ordre des octets (Byte Order Mark, BOM).

Nouvelle gestion des métamodèles

Avec la nouvelle fonctionnalité de gestion des métamodèles, vous pouvez définir des modèles personnalisés et étendre des modèles importés pour la gestion de données, comme les données de référence, la qualité de données, la sécurité des données, la gestion des problèmes de données, les règles et stratégies métier, la modélisation des processus métier et les améliorations ou la conformité aux règles.

La fonctionnalité de métamodélisation est disponible à partir de la page Manage Metamodel (Gestion du métamodèle).

Nouveaux modèles métier personnalisés

Vous pouvez utiliser la nouvelle fonctionnalité de métamodélisation pour définir des modèles personnalisés, comme des modèles associés aux données de référence, stratégies métier et gestions des règles ou gestions des problèmes de données.

Les modèles personnalisés sont des instanciations d'un type de modèle personnalisé défini dans la page Manage Metamodel (Gérer le métamodèle). Talend Data Catalog fournit une fonctionnalité de modélisation d'objet et une fonctionnalité d'édition graphique des diagrammes des classes UML pour ces modèles personnalisés.

Talend Data Catalog fournit également des modèles métier standards et système et des extensions de modèles. Le package Standard comprend à présent le modèle de glossaire avec de nouveaux objets KPI (Indicateur clé de performance) et Acronym (Acronyme).

Une fois défini, vous pouvez utiliser les fonctionnalités disponibles pour les modèles importés sur les modèles personnalisés, y compris les entrées de données, les analyses et les rapports, à l'aide de feuilles de travail et de dashboards.

Vous pouvez utiliser le nouvel onglet Hierarchies (Hiérarchies) dans la page d'objet pour explorer les modèles de manière hiérarchique et faciliter l'entrée et le reporting de données.
Vous pouvez activer et personnaliser les processus de workflow et de publication sur les modèles personnalisés afin de contrôler les modifications apportées aux classes d'objets dans l'onglet Workflow.
Vous pouvez importer ou exporter des sous-jeux du métamodèle pour une édition et un reporting externes de masse à l'aide des packages de métamodèles. Cela vous permet de développer et fournir des packages tiers d'extension et de définir des connecteurs réels avec les outils et applications derrière les modèles personnalisés, par exemple JIRA pour un modèle relatif à un problème de gestion de données. Cette fonctionnalité est disponible depuis la page Manage Metamodel (Gérer le métamodèle).

Nouvelles extensions de modèles techniques importés

Vous pouvez utiliser la nouvelle fonctionnalité de métamodélisation pour étendre la documentation de données des modèles importés.

Les modèles importés sont les modèles associés à un pont d'import et alimentés via le processus de collecte.

Vous pouvez définir de nouveaux types d'objets importés depuis la page Manage Metamodel (Gérer le métamodèle). Cela vous permet de regrouper des objets de profils similaires dans des collections de types d'objets importés et d'appliquer des attributs personnalisés à ces collections, en même temps.
Vous pouvez définir, appliquer et réutiliser des attributs personnalisés sur les objets importés et les objets personnalisés. Vous n'avez plus besoin de définir à nouveau le périmètre de chaque attribut personnalisé s'appliquant à des objets importés similaires.
Vous pouvez définir des relations personnalisées à partir des objets importés, par exemple pour renforcer les règles et stratégies métier dans vos ressources de données.

Des relations personnalisés peuvent également être configurées pour implication dans le flux sémantique. Par exemple, vous pouvez voir la définition d'un terme d'une colonne de table et les règles métier associées dans l'onglet Semantic Flow (Flux sémantique).
Vous pouvez définir une nouvelle relation Is Defined By (Est défini par) pour implémenter le processus de documentation d'un terme. Cela vous permet d'adapter les processus aux modifications continues des technologies et architectures, par exemple pour réimporter la documentation de données dans une nouvelle implémentation après une migration Cloud.

Nouveau contrôle des accès basé sur les rôles avec rôles globaux et rôles d'objets

Talend Data Catalog fournit à présent un contrôle des accès basé sur les rôles.

Les rôles globaux déterminent les responsabilités globales des utilisateur·trices sur toutes les ressources du catalogue. Vous pouvez gérer ces rôles depuis la nouvelle page Manage Global Roles (Gérer les rôles globaux).
Les rôles d'objet déterminent les responsabilités des utilisateur·trices sur les ressources spécifiques du catalogue, comme les glossaires ou les modèles. Vous pouvez gérer ces rôles depuis la nouvelle page Manage Object Roles (Gérer les rôles d'objets).

Vous pouvez attribuer les rôles d'objets depuis le nouvel onglet Responsibilities (Responsabilités) dans la configuration, le gestionnaire de référentiels ou depuis la page d'objet.
Les rôles globaux et d'objets fournissent un ensemble de fonctionnalités prédéfinies définissant les actions que vous pouvez effectuer dans le catalogue, comme les fonctionnalités de gestion ou de modification.
Les rôles d'objets et globaux sont disponibles et personnalisables pour répondre aux besoins spécifiques de votre entreprise. Les rôles prédéfinis ne sont plus codés en dur.
Vous pouvez personnaliser les rôles d'objets et globaux et modifier l'attribution des fonctionnalités. Vous pouvez également créer des rôles de zéro ou en créer à partir de rôles existants.
Lorsque vous associez des utilisateur·trices ou un groupe d'utilisateur·trices à des rôles d'objets ou globaux, cette association est une responsabilité.

Nouvelle classification de données

La classification de données vous permet de détecter, de comprendre et de classifier la nature et l'objectif des éléments contenus dans les sources de données importées dans votre catalogue. Les classes de données remplacent à présent les types sémantiques.

Vous pouvez gérer les classes de données depuis la nouvelle page Manage Data Classes (Gérer les classes de données).

Il y a plusieurs types de classes de données :

Le type de données a été amélioré et vous permet de détecter la nature des données utilisant les fonctionnalités d'échantillonnage et de profiling de données en se basant sur les énumérations, modèles et expressions régulières.
Vous pouvez à présent configurer des règles de rapprochement en utilisant les nouvelles fonctionnalités de seuil de rapprochement et de seuil d'unicité.

Vous pouvez à présent utiliser la nouvelle exploration sémantique automatique en vous basant sur l'apprentissage automatique pour les modèles de données ou les énumérations, par exemple pour les nouvelles valeurs de code d'apprentissage automatique. Ce processus améliore les suggestions pour les mots-clés automatiques dans Talend Data Catalog.

Vous pouvez à présent utiliser la fonctionnalité à la demande de re-classification côté serveur après avoir ajouté ou mis à jour les classes de données. Vous n'avez plus besoin de générer les opérations d'échantillonnage et de profiling de données pour propager les modifications.
Le nouveau type de métadonnées détecte les classes selon leurs attributs de métadonnées. Cela vous permet de détecter les données sensibles ne pouvant être identifiées par les processus d'échantillonnage et de profiling de données. Cette fonctionnalité existe grâce au langage MQL (Metadata Query Language).
Le type composé a été amélioré et se base sur plusieurs classes de données.

Talend Data Catalog fournit de nouvelles classes de données sensibles de type Données, Métadonnées et Composé pour vous permettre d'identifier et masquer facilement les données sensibles.

Nouveaux libellés de sensibilité

Les nouveaux libellés de sensibilité vous permettent d'identifier les données sensibles.

Vous pouvez voir une nouvelle icône Sensitivity Label (Libellé de sensibilité) en haut à droite des pages de détails de l'objet.

Vous pouvez gérer et personnaliser ces libellés depuis la page Manage Sensitivity Labels (Gérer les libellés de sensibilité).

Vous pouvez appliquer ces libellés en attribuant manuellement des mots-clés à chaque objet, en utilisant la fonctionnalité d'édition de masse dans les feuilles de travail, en utilisant la détection automatique de classification de données ou en utilisant les libellés de sensibilité déduits.

Nouveaux libellés conditionnels

Vous pouvez définir de nouveaux libellés conditionnels basés sur le langage MQL (Metadata Query Language), par exemple un libellé "Highly Commented" pour les objets ayant plus de cinq commentaires.

Vous pouvez gérer et créer ces libellés depuis la page Manage Conditional Labels (Gérer les libellés conditionnels).

Vous pouvez voir les libellés conditionnels dans la zone Conditional Labels (Libellés conditionnels) depuis l'onglet de vue d'ensemble des pages de détails des objets.

Les libellés conditionnels peuvent être affichés dans des résultats de recherche, des feuilles de travail ou des diagrammes de lignage de flux de données.

Nouvelle gestion des libellés

Vous pouvez à présent vérifier ou supprimer l'attribution des libellés depuis la page Manage Labels (Gérer les libellés).

Par défaut, vous pouvez voir tous les libellés dans le référentiel depuis la vue All Labels (Tous les libellés). Vous pouvez également voir les libellés attribués aux objets dans la configuration courante depuis la vue Configuration Labels (Libellés de configuration).

Nouveautés : observateur·trice d'objet et notifications par e-mail

Les nouvelles notifications des observateur·trices vous permettent d'informer les observateur·trices lorsque certains événements se produisent sur cet objet.

Vous pouvez activer les notifications par e-mail pour les observateur·trices côté serveur depuis la page Manage Email (Gérer les e-mails).

Vous pouvez configurer les fonctionnalités de modification et de gestion des observateur·trices via les rôles d'objets dans la page Manage Object Roles (Gérer les rôles d'objets).

Vous pouvez configurer la fréquence de notification pour les observateur·trices à partir de la page Manage Users (Gestion des utilisateur·trices) ou User Profile (Profil utilisateur).

Vous pouvez configurer une nouvelle icône d'observateur·trice en haut à droite des pages d'objets. Le menu vous permet de démarrer ou arrêter l'observation d'un objet, de voir le nombre d'observateur·trices ou de gérer les observateur·trices d'un objet.

Cette fonctionnalité est disponible pour les modèles importés et les modèles personnalisés. Elle est disponible uniquement au niveau des modèles et des sous-modèles, si le modèle est un multimodèle.

Si vous êtes un·e observateur·trice d'un modèle technique, vous recevez un e-mail par modèle et type d'activité si des modifications ont été apportées après un import ou pour toute modification, par exemple une nouvelle certification.
Si vous êtes un·e observateur·trice d'un modèle métier, des données, d'un mapping sémantique ou d'un modèle de données physique, vous recevez un e-mail par modèle pour toute modification, à tout niveau.

Vous pouvez recevoir un e-mail avec les statistiques résumées des modifications et un lien vers le rapport de comparaison de versions d'un modèle.

Vous pouvez également recevoir des e-mails de notification selon votre rôle et vos attributions de fonctionnalités pour les transitions de workflows, les modifications de configurations ou les erreurs de serveur.

Nouvelle fonctionnalité de stockage des identifiants dans des gestionnaires de secrets (Secret Manager) Cloud

Vous pouvez à présent stocker les identifiants du pont, par exemple l'utilisateur, le mot de passe ou la clé privée dans un gestionnaire de secrets, en utilisant la nouvelle page Manage Secret Vaults (Chambres fortes de secrets).

Talend Data Catalog supporte les gestionnaires de secrets suivants :

Amazon AWS Secrets Manager
Microsoft Azure Key Vault
Google Secret Manager

Amélioration de l'automatisation et de la productivité de la documentation de données

La documentation de données vous permet de définir les données techniques en des termes métier compréhensibles par tout le monde. Il y a maintenant plusieurs catégories de documentation de données :

La documentation métier fournit une documentation locale avec un nom et une description métier. Vous pouvez l'utiliser comme alternative à la documentation d'un terme.
La documentation d'un terme (précédemment nommée classification d'un terme) permet de documenter un objet importé avec un ou plusieurs terme·s provenant d'un glossaire. Elle crée à présent une relation Is Defined By (Est défini par).
La documentation mappée permet de documenter un objet importé connecté par un mapping sémantique avec un ou plusieurs terme·s de glossaire ou entités/attributs d'un modèle de données.
La documentation déduite fournit une documentation de données sur un objet importé automatiquement généré à partir d'autres objets impliqués dans ce lignage et cet impact de flux de données. Cette fonctionnalité améliore la couverture de documentation de données automatique sur de nombreux data stores.

Vous pouvez voir de nouveaux assistants de documentation métier, de terme, mappée ou déduite dans l'onglet Overview (Vue d'ensemble) de la page d'objet. Talend Data Catalog peut vous suggérer des noms métier basés sur les noms techniques, en utilisant les standards de nommage et les fonctionnalités d'apprentissage supervisé. Elle peut également suggérer une description métier depuis la documentation déduite.

Vous pouvez créer de nouveaux widgets graphiques d'indicateurs clés de performance sur la couverture de la documentation de données en utilisant les nouveaux attributs Term Documentation (Documentation de terme) et Inferred Documentation (Documentation déduite), disponibles dans les API REST, le MQL, les feuilles de travail et les dashboards.

Nouvelle fonctionnalité de tri des dates de mise à jour

Vous pouvez trier les résultats par date de mise à jour dans l'explorateur d'objets, les feuilles de travail ou vos recherches.

Amélioration de l'architecture du profiling et de l'échantillonnage de données

Les résultats de l'échantillonnage et du profiling de données collectés par les serveurs de collecte distants sont à présent sauvegardés côté serveur. Vous pouvez avoir une mise à jour automatique ou à la demande de l'échantillonnage ou du profiling de données, par exemple après la création d'une classe de données, sans avoir à retourner sur les serveurs de collecte distants.

Amélioration du reporting et des présentations des métadonnées

Vous pouvez à présent importer et exporter des présentations par défaut entre les serveurs à partir de la page Manage Default Presentations (Gérer les présentations par défaut).

De nouveaux widgets graphiques sont disponibles pour les présentations des pages des détails des objets.

Amélioration des fonctionnalités d'API REST

Les nouvelles fonctionnalités sont disponibles dans l'API REST :

nouveau paramètre scope (périmètre) pour les fonctions MQL Query
nouvelles fonctionnalités d'import et d'export pour les packages de métamodèles dans le référentiel
nouvelles fonctionnalités d'import et d'export pour les modèles importés et personnalisés dans le référentiel
nouvelles fonctionnalités pour gérer les rôles globaux et d'objets dans les Rôles
nouveau groupe Data Classes (Classes de données) pour gérer les classes de données et remplacer les types sémantiques
nouveaux groupes de libellés de sensibilité pour utiliser les libellés de sensibilité

Pour plus d'informations, cliquez sur le lien Consulter la documentation générale dans la page de documentation de l'API REST Talend Data Catalog.

Amélioration du langage MQL (Metadata Query Language)

Vous n'avez plus besoin d'utiliser la syntaxe des caractères spéciaux sur les attributs lors de l'utilisation du langage MQL dans vos rapports, dashboards ou feuilles de travail.

La fonctionnalité de reporting dans les feuilles de travail et les dashboards a été améliorée : nouveaux objets système supportés relatifs à l'échantillonnage, au profiling, à la classification de données, aux rôles globaux et d'objets et aux actions de workflows. Vous pouvez consulter l'entrée New worksheet attributes (Nouveaux attributs de feuille de travail) ci-dessous pour voir les nouveaux attributs système disponibles pour les requêtes.

Pour plus d'informations, cliquez sur le lien Consulter la documentation générale dans la page de documentation de l'API REST Talend Data Catalog.

Nouveaux attributs des feuilles de travail

De nouveaux attributs de lignage sont disponibles, notamment Has Semantic Usage (A une utilisation sémantique), Has Semantic Definition (A une définition sémantique), Has Data Lineage (A un lignage de données) et Has Data Impact (A un impact de données), pour détecter les objets non utilisés. Ces attributs peuvent également être utilisés comme filtres.
De nouveaux attributs de classification de données sont disponibles, notamment Data Classifications (Classifications de données), Data Classification Matched (Classification de données rapprochée), Data Classification Rejected (Classification de données rejetée) et Data Classification Approved (Classification de données approuvée).
De nouveaux attributs de documentation de données sont disponibles, notamment :
- Term Documentation (Documentation de terme) affiche la liste des termes (nom et description) documentant l'objet.
- Mapped Documentation (Documentation mappée) affiche la liste des objets mappés sémantiquement documentant l'objet.
- Inferred Documentation (Documentation déduite) affiche la liste des termes documentant indirectement les objets via le lignage/l'impact de données.
- Documentation affiche la documentation résumée de l'objet.
  La documentation résumée retourne la première documentation trouvée sur l'objet avec les priorités suivantes : Business Documentation (Documentation métier) > Term Documentation (Documentation de terme) > Mapped Documentation (Documentation mappée) > Inferred Documentation (Documentation déduite) > Importé·e (Documentation) > Recherché·e (Documentation).
De nouveaux attributs de glossaire sont disponibles, notamment Is Defined By (Est défini par) pour afficher une liste de termes et de descriptions longues (Long Description).
De nouveaux attributs de profiling de données sont disponibles, notamment Data Profiling (Profiling de données), Distinct, Duplicate (Doublon), Empty (Vide), Valid (Valide), Invalid (Invalide), Min, Max, Mean (Moyenne), Variance, Median (Médiane), Lower Quantile (Quantile inférieur), Upper Quantile (Quantile supérieur), Avg Length (Longueur moy), Min Length (Longueur min), Max Length (Longueur max) et Inferred Data Types (Types de données déduits).
De nouveaux attributs relatifs à la conservation sociale sont disponibles, notamment Certified By (Certifié par), Endorsed By (Recommandé par), Commented By (Commenté par), Warned By (Avertissement par).

De nouveaux attributs Endorsement Count (Nombre de recommandations), Comment Count (Nombre de commentaires), Warning Count (Nombre d'avertissements) ont été ajoutés à la liste des filtres possibles pour produire des feuilles de travail ou des dashboards avec des objets populaires.
De nouveaux attributs de workflow sont disponibles, notamment Workflow State (État du workflow), Workflow Published (Workflow publié) et Workflow Deprecation Requested (Dépréciation du workflow demandée) s'appliquant à tout objet impliqué dans un processus de workflow.
Un nouvel attribut Stewards est disponible dans l'onglet Responsibilities (Responsabilités).
Les attributs Parent Object Name (Nom de l'objet parent) et Parent Object Type (Type de l'objet parent) ont été ajoutés.
Les rôles d'objets peuvent être utilisés comme colonnes ou filtres, par exemple expandedMembersOfRole('Steward') = ANY('Business Users') comme exemple de filtre ou membersOfRole('Steward') comme exemple de recherche.
Les relations/enfants d'objets peuvent être utilisé·es comme colonnes.

Logiciel tiers et open source

Tous les logiciels tiers et open source ont été mis à niveau dans leur dernière version pour une meilleure sécurité et protection contre des vulnérabilités.

Amélioration de sécurité

Le chemin de collecte des métadonnées à parcourir n'est plus défini à * par défaut (permettant de parcourir tous les disques, répertoires et fichiers) pour des raisons de sécurité. Les Administrateur·trices doivent utiliser l'interface de configuration Setup ou une invite de commande pour définir le périmètre de navigation dans les fichiers.
Les applications Web Tomcat comme MMDoc.war (aide de l'API REST REST) ne sont plus activées par défaut pour des raisons de sécurité (endpoints sensibles Swagger non authentifiés). Elles ont été déplacées de tomcat/webapps à tomcat/dev.
Si nécessaire, elles peuvent être activées via l'interface de configuration Setup ou via une invite de commande, avec la commande Setup.bat -we mmdoc. Cela crée le contexte MMDoc.xml dans tomcat/MetaIntegration/localhost pour rendre disponible l'application Web et la démarrer.

Amélioration de la fonctionnalité d'export vers CSV

Les fichiers CSV exportés sont améliorés pour contenir l'indicateur d'ordre des octets (Byte Order Mark, BOM).

Cette page vous a-t-elle aidé ?