Crawling de jeux de données à l'aide de la sélection dynamique
Le mode dynamique du crawler vous permet de créer un filtre et de récupérer toutes les tables y correspondant à un moment donné.
L'avantage principal de ce mode est qu'il facilite la découverte des tables contenues dans votre base de données à l'aide de filtres et que vous pouvez exécuter régulièrement votre crawler pour mettre à jour la qualité de vos jeux de données ou en ajouter de nouveaux.
Prenons l'exemple d'une entreprise utilisant les deux derniers chiffres d'une année donnée dans le nom de ses jeux de données. Les tables contenant les données sont stockées dans une base de données Snowflake et contiennent des informations concernant les client·es, les ventes, les rapports, entre autres. L'entreprise souhaite ajouter toutes les tables contenant des données relatives à l'année 2021 dans Talend Cloud Data Inventory et pouvoir importer tout ajout ou actualiser les jeux de données existants, avec une nouvelle exécution.
La meilleure manière de procéder est de créer une connexion à Snowflake et de la crawler à l'aide du mode de sélection dynamique.
Avant de commencer
Procédure
-
Sélectionnez le mode Dynamic selection (Sélection dynamique).
Tout le contenu de votre connexion à Snowflake est détecté et listé.
-
Cliquez sur et saisissez _21.
L'aperçu de la sélection affiche uniquement les tables contenant des informations de 2021.
Note InformationsRemarque : Ne pas ajouter de filtre permet de sélectionner toutes les tables de la base de données Snowflake.
Résultats
Si une modification est apportée à la base de données Snowflake, par exemple une nouvelle table disponible avec des données de 2021, nommée _21 ou des mises à jour des données d'une table existante, vous pouvez sélectionner votre connexion à Snowflake dans la liste des connexions et exécuter à nouveau le crawler existant. Toute nouvellle table correspondant au filtre sur les noms _21 sera directement ajoutée à la sélection et tous les autres jeux de données seront mis à jour.