Traiter une liste d'appareils d'utilisateurs et d'utilisatrices avec des requêtes

Un pipeline avec une source, un processeur Data Shaping Language, un processeur Filter et une destination.

Avant de commencer

Vous avez précédemment créé une connexion au système stockant vos données source.

Ici, une connexion de test.
Vous avez précédemment ajouté le jeu de données contenant vos données source.

Téléchargez et extrayez le fichier query_language-devices.zip. Il contient un fichier .json hiérarchique relatif à un sondage concernant les appareils des utilisateur·trices, notamment le type d'appareil, la date d'achat ou encore les adresses IP.
Vous avez créé la connexion et le jeu de données associé qui contiendra les données traitées.

Ici, un fichier stocké dans un bucket S3.

Procédure

Cliquez sur Add pipeline (Ajouter un pipeline) dans la page Pipelines. Votre nouveau pipeline s’ouvre.
Donnez-lui un nom significatif.
Exemple
Query and process a list of user devices
Cliquez sur ADD SOURCE (AJOUTER UNE SOURCE) pour ouvrir le panneau vous permettant de sélectionner vos données source, ici un sondage sur les appareils d'utilisateurs et d'utilisatrices avec des données hiérarchiques.
Exemple
Sélectionnez votre jeu de données et cliquez sur Select (Sélectionner) pour l'ajouter au pipeline.
Renommez-le si nécessaire.
Cliquez sur le bouton et ajoutez un processeur Data Shaping Language au pipeline. Le panneau de Configuration s’affiche.
Donnez un nom significatif au processeur, query recent devices par exemple.
Dans la zone Data Shaping Language, saisissez :
```
FROM devices AS dv
WHERE toDate(dv.purchase_date) > toDate("2015-01-01")
SELECT {
device_type = name,
purchase_date = dv.purchase_date,
ip_address = ip }
```
Ce code vous permet :
- de définir dv comme alias des enregistrements devices,
- de filtrer les appareils acquis après le 1er janvier 2015,
- de renommer et d'aplatir certains enregistrements : name devient device_type, ip devient ip_address.
Pour plus d'informations concernant la syntaxe du langage de requêtes, consultez le Guide de référence de Talend Data Shaping Language.
Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.

L'aperçu vous permet de visualiser la nouvelle structure : Maintenant que la structure est aplatie, un plus grand nombre d'enregistrements est écrit en sortie et seuls les appareils acquis après le 1er janvier 2015 s'affichent.
Cliquez sur le bouton et ajoutez un processeur Filter au pipeline. Le panneau de Configuration s’affiche.
Donnez un nom significatif au processeur, keep records about phones par exemple.
Dans la zone Filter :
1. Sélectionnez .device_type dans la liste Input, pour filtrer les clients en se basant sur cette valeur.
2. Sélectionnez None dans la liste Optionally select a function to apply, car vous ne souhaitez pas appliquer de fonction lors du filtre des enregistrements.
3. Sélectionnez == dans la liste Operator et saisissez phone dans le champ value, car vous souhaitez filtrer les utilisateurs et utilisatrices avec un téléphone.
4. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration. L'aperçu vous permet de visualiser les enregistrements correspondant aux critères de filtre (les utilisateurs et utilisatrices avec un téléphone).
Cliquez sur ADD DESTINATION (AJOUTER UNE DESTINATION) dans le pipeline pour ouvrir le panneau vous permettant de sélectionner le jeu de données qui contiendra vos données traitées.
Renommez-le si nécessaire.
Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, cliquez sur le bouton Run (Exécuter) pour ouvrir le panneau vous permettant de sélectionner votre profil d'exécution.
Sélectionnez dans la liste votre profil d'exécution (pour plus d'informations, consultez Profils d'exécution), puis cliquez sur Run (Exécuter) pour exécuter votre pipeline.

Résultats

Votre pipeline est en cours d’exécution. Les données sont traitées selon les conditions spécifiées à l'aide du langage de requête et la sortie est envoyée vers le système cible spécifié.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici