Monitoring de données continu

Pour suivre la qualité des données d'adresses initialement profilées, utilisez le Studio Talend pour générer un Job lançant le rapport d'évolution créé sur l'analyse de colonnes. Vous pouvez déployer ce Job dans Talend Administration Center et planifier son exécution de manière mensuelle, par exemple.

Ainsi, le rapport généré depuis le Studio Talend est lancé de manière distante depuis Talend Administration Center.

Prérequis au monitoring des données continu

Procedure

Créez un projet de qualité de données depuis votre application Web Talend Administration Center , dq_proj par exemple.

Pour plus d'informations concernant la création d'un projet dans l'application Web Talend Administration Center, consultez Ajouter un projet.

Note InformationsNote: Si vous n'avez pas les droits requis pour créer ou gérer un projet, contactez l'administrateur de votre application Web.
Établissez une connexion depuis le Studio Talend vers votre référentiel SVN distant stockant le projet susmentionné.

Pour plus d'informations concernant la manière de se connecter à un référentiel distant, consultez Accéder aux projets distants depuis le Studio Talend.
Lancez le Studio Talend avec cette nouvelle connexion et le nouveau projet de qualité de données.

Générer le Job pour exécuter le rapport

Dans cette section, vous allez apprendre à générer un Job prêt à l'emploi pour lancer le rapport créé sur l'analyse de colonnes.

Procedure

Dans la perspective Profiling du Studio Talend, cliquez-droit sur le rapport profile_customers sous le nœud Report et sélectionnez Generate Jobs > Launch a report.

Cela génère un Job lançant un rapport et l'ouvre dans la perspective Integration.

Le champ Report filenames pointe vers le chemin technique du rapport et le champ Output Folder pointe vers le dossier où sauvegarder le fichier de rapport.
Appuyez sur F6 pour exécuter le Job depuis le Studio Talend afin de le tester.

Results

La console du Studio Talend affiche les informations concernant le rapport, notamment l'identifiant du rapport, son nom et son heure d'exécution.

Exemple de rapport dans la console du Studio Talend.

Créer une tâche d'exécution et la planifier

Cette section vous explique comment créer une tâche d'exécution dans Talend Administration Center afin d'exécuter le Job lançant un rapport créé dans le Studio Talend. Elle décrit également comment définir un déclencheur afin de lancer la tâche d'exécution une fois par mois.

Procedure

Connectez-vous à l'application Web Talend Administration Center.
Dans la vue de menu de cette application Web, développez le nœud Conductor et cliquez sur Job Conductor pour afficher la liste des tâches d'exécution.
Dans la barre d'outils de la page Job Conductor, cliquez sur Add afin de vider le panneau de configuration Execution task.
Dans ce panneau de configuration, configurez les paramètres requis pour exécuter le Job lançant un rapport en procédant comme suit :
1. Dans le champ Label, saisissez le nom de la tâche.
2. Dans la liste Project, sélectionnez le projet de qualité de données dans lequel a été créé le Job lançant un rapport.
3. Dans la liste Branch, sélectionnez trunk comme branche du projet.
4. Dans la liste Name, sélectionnez le Job de lancement de rapport à utiliser.
5. Dans la liste Version, sélectionnez la version du Job version à lancer puis, dans la liste Context, sélectionnez le contexte avec lequel exécuter le Job.
6. Dans la liste Execution server, sélectionnez le serveur à utiliser pour exécuter cette tâche.
Cliquez sur Save pour valider la configuration de la tâche d'exécution.

La nouvelle tâche est affichée dans la page Job Conductor sous le projet de qualité de données.
Dans la liste des tâches, sélectionnez la tâche ajoutée, puis cliquez sur Triggers.
Cliquez sur Add trigger > Add CRON trigger.
Dans le panneau de configuration Cron Trigger, saisissez un nom pour le déclenchement et cliquez sur Open UI configurer.
Sélectionnez la minute, l'heure et la date auxquelles vous souhaitez exécuter la tâche, puis cliquez sur Apply modifications (Appliquer les modifications).

Les données sélectionnées s'affichent dans le panneau de configuration du déclenchement.

Ce déclenchement signifie que le rapport d'évolution sera généré à 15 h 15 le premier jour de chaque mois.
Cliquez sur Save (Enregistrer).

Déployer la tâche sur le serveur

Procedure

Sélectionnez la tâche dans la page Job Conductor et cliquez sur Generate dans la barre d'outils.
Une fois que le statut de cette tâche est Ready to send dans la liste des tâches, sélectionnez à nouveau la tâche et cliquez sur Deploy dans la barre d'outils.
Une fois que le statut de cette tâche est Ready to run dans la liste des tâches, sélectionnez à nouveau la tâche et cliquez sur Run dans la barre d'outils.

Cette tâche exécute automatiquement le Job lançant un rapport depuis l'application Web Talend Administration Center de manière mensuelle. L'analyse de colonnes listée dans le rapport d'évolution est exécutée et ses résultats sont sauvegardés dans le datamart de qualité de données. Le fichier de rapport est sauvegardé dans le dossier de sortie défini dans l'onglet Basic settings du composant tDqReportRun.

Générer ce rapport d'évolution de manière répétée permet de suivre les modifications de données dans les colonnes d'adresses initialement profilées. La ligne dans le rapport monte si les données sont propres et descend si les données sont moins précises et cohérentes.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici