Collecter différents modèles à partir d'un répertoire de fichiers de métadonnées externes

AWS

Les entreprises ont généralement un grand nombre de fichiers de métadonnées externes mais n'utilisent pas de référentiel de métadonnées externes. Vous pouvez importer automatiquement les fichiers par lots, directement dans l'application de catalogue de données.

Dans ce cas, les fichiers sont stockés dans un répertoire de fichiers, accessible par le serveur d'applications Talend Data Catalog. Le script scanne le répertoire et ses sous-répertoires à la recherche de fichiers du type particulier de métadonnées externes et trouve les modèles correspondants dans un dossier de l'application. Le dossier du référentiel et la structure de modèle de Talend Data Catalog correspondent à la structure des fichiers et des répertoires dans le système de fichiers. Lorsque le modèle nécessaire n'existe pas, le script crée le modèle et importe le fichier. Lorsque le contenu est présent, le script le réimporte, si la version du fichier n'a pas été collectée.

Vous pouvez configurer Talend Data Catalog afin qu'il exécute le script de manière périodique, pour que, une fois les fichiers placés dans le répertoire, Talend Data Catalog les importe automatiquement. Cela fonctionne pour tous ponts basés sur des fichiers de modèles uniques.

Un modèle spécial, nommé Settings, doit également être défini pour pouvoir contrôler la manière dont les fichiers seront importés (quel outil source et quels paramètres de pont).

Un rôle d'objet ayant la fonctionnalité Metadata Management (Gestion des métadonnées) vous a été attribué.

Créer la configuration correspondant à vos besoins

Vous pouvez créer, collecter et analyser les métadonnées (contenu des modèles) à partir de l'arborescence MANAGE (GESTION) > Repository (Référentiel). Cependant, il vaut généralement mieux créer une configuration dans laquelle travailler (et définir le périmètre d'analyse et de recherche) puis aller dans MANAGE (GESTION) > Configuration pour la création et la collecte.

Créer un dossier

Cliquez sur MANAGE (GESTION) > Repository (Référentiel).
Cliquez-droit sur un dossier dans le référentiel, à l'endroit où vous souhaitez placer le dossier contenant les résultats de l'import et sélectionnez New (Nouveau) > Folder (Dossier).
Nommez le dossier comme vous le souhaitez.

Créer le fichiers Settings pour contrôler l'import des modèles

Cliquez-droit sur le nouveau dossier dans le référentiel et sélectionnez New (Nouveau) > Model (Modèle).
Saisissez Settings dans le champ Name (Nom).
Sélectionnez le serveur d'import dans la liste déroulante Import Server (Serveur d'import).
Sélectionnez le bon format source dans la liste déroulante Import Bridge (Pont d'import).
Cliquez sur OK.
Cliquez sur l'onglet Import Setup (Paramètres d'import).
Cliquez sur la ligne de chaque paramètre et renseignez les informations en fonction de la documentation affichée dans le panneau Help (Aide). Pour le paramètre File (Fichier), cliquez sur l'icône permettant de parcourir la structure du répertoire de votre système de fichiers jusqu'au fichier de votre choix.
Mettez à jour le paramètre File (Fichier) pour que le chemin d'accès fasse uniquement référence au niveau supérieur de la structure de répertoires du système de fichiers (par exemple, supprimez le nom du fichier et le nom de ses sous-répertoires).
Cliquez sur l'onglet Import Options (Options d'import).
Cochez la case Set new version as default (Configurer la nouvelle version comme version par défaut), si vous souhaitez configurer automatiquement toute nouvelle version importée comme la version par défaut.

Collecter les modèles à la demande

Cliquez-droit sur le nouveau dossier dans le panneau du référentiel et sélectionnez Operations (Opérations) > Import new model(s) from folder (Importer les nouveaux modèles à partir d'un dossier).
Cliquez sur le bouton Run operation (Exécuter l'opération).
Pour monitorer l'opération, cliquez sur l'icône de roue dentée dans la barre d'outil, ou cliquez sur MANAGE (GESTION) > Operations (Opérations).
Pour ouvrir le log, cliquez-droit sur l'opération, puis sélectionnez Show log (Afficher le log).
- Si le résultat est Operation succeeded (Opération réalisée avec succès), vous pouvez ouvrir le modèle.
- Si vous obtenez le résultat Operation Failed (Opération échouée), inspectez les messages de log et corrigez le problème dans le fichier du modèle source.
Assurez-vous d'inclure ces nouveaux modèles dans la configuration.

Vous pouvez à présent parcourir les modèles.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici