Accéder au contenu principal Passer au contenu complémentaire

Configurer la transformation de données

Le composant tMap est configuré pour effectuer une jointure sur les données relatives aux films et aux cinéastes.

Une fois les données chargées dans le Job, vous devez configurer le composant tMap pour qu'il effectue une jointure sur ces données, afin de produire la sortie attendue.

Procédure

  1. Double-cliquez sur le tMap pour ouvrir son éditeur Map Editor.
  2. Déposez les colonnes movieID, title, releaseYear et url de gauche dans les tables de sortie.

    Du côté de l'entrée (gauche) du Map Editor, chacune des deux tables représente l'un des flux d'entrée. La table supérieure représente le flux d'entrée principal et la table inférieure représente le flux de référence (Lookup).

    Du côté de la sortie (droite), les deux tables représentent les flux de sortie nommés out1 et reject lorsque vous avez lié le tMap aux deux fichiers du tFileOutputParquet dans Déposer et relier les composants Spark.

  3. Du côté de l'entrée, déposez la colonne directorID de la table du flux principal à la colonne Expr.key de la ligne ID, dans la table du flux de référence. Ainsi, la clé de jointure entre le flux principal et le flux de référence est définie.
  4. Déposez la colonne directorID du flux principal à la table reject de sortie, puis déposez la colonne Name de la table de référence à la table out1.

    Dans la vue Schema editor, dans la partie inférieure de l'éditeur, vous pouvez voir que les schémas des deux côtés ont été automatiquement renseignés.

  5. Dans la table de recherche, cliquez sur le bouton pour afficher le panneau des paramètres pour l'opération de jointure.
  6. Dans la ligne Join model, cliquez sur la colonne Value et sur le bouton [...] affiché.

    La fenêtre Options s'ouvre.

  7. Sélectionnez Inner join afin d'écrire en sortie uniquement les enregistrements contenant les clés de jointures existant dans le flux principal et dans le flux de référence.
  8. Sur la ligne Match Model, répétez les opérations afin de sélectionner All matches.
  9. Dans la table de sortie reject, cliquez sur le bouton pour ouvrir le panneau des paramètres.
  10. Dans la ligne Catch Lookup inner join reject, sélectionnez true pour écrire en sortie les enregistrements rejetés par la jointure Inner Join effectuée sur l'entrée.
  11. Cliquez sur Apply puis sur OK afin de valider ces modifications. Acceptez la propagation proposée par la boîte de dialogue.

Résultats

La transformation est configurée pour compléter les données des films par les noms des cinéastes et pour écrire les enregistrements de films ne contenant pas de données de réalisateur dans un flux de sortie séparé.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici