Lire des données depuis HDFS à l'aide des métadonnées

Grâce au composant tHDFSInput, vous pouvez lire des données depuis HDFS.

1. Dans le Repository, développez Metadata > Hadoop Cluster, puis la métadonnée du cluster Hadoop de votre choix.
   1. Glissez-déposez la métadonnée HDFS dans l'espace de modélisation graphique (Designer).
   2. Sélectionnez un composant tHDFSInput.
2. Double-cliquez sur le composant tHDFSInput.

   Le composant est déjà configuré avec les informations de connexion de la métadonnée HDFS.

3. Dans le champ File Name, renseignez le chemin d'accès et le nom du fichier de votre choix.
4. Cliquez sur le bouton [...] correspondant au champ Edit schema.

   

5. Cliquez sur le bouton [+] pour ajouter une colonne (Column).
   1. Dans le champ Column, saisissez un nom.

      Exemple

      1. CustomerID
      2. FirstName
      3. LastName
   2. Sélectionnez la colonne Types.

      Exemple

      1. Pour CustomerID, sélectionnez Integer dans la liste Type.
      2. Pour FirstName et LastName, sélectionnez String dans la liste Type.
   3. Cliquez sur OK.
6. Cliquez-droit sur le tRowGenerator.
   1. Sélectionnez Trigger > On Subjob OK.
   2. Cliquez sur le tHDFSInput pour relier les deux composants.
7. Ajoutez un composant tSortRow.
8. Cliquez-droit sur le composant tHDFSInput.
   1. Sélectionnez Row > Main.
   2. Cliquez sur le tSortRow pour relier les deux composants.
9. Double-cliquez sur le tSortRow.
   1. Cliquez sur Sync columns.
      Le composant tSortRow hérite du schéma du composant tHDFSInput.
10. Cliquez sur le bouton [+].
    La première colonne (column) du schéma de votre tHDFSInput s'affiche.
11. Ajoutez un composant tLogRow.
12. Cliquez-droit sur le tSortRow.
    1. Sélectionnez Row > Main.
    2. Cliquez sur le tLogRow pour relier les deux composants.
       Votre espace de modélisation graphique (Designer) doit ressembler à ceci.

       

13. Double-cliquez sur le tLogRow.
    1. Sélectionnez l'option Table (print values in cells of a table).
14. Dans la vue Run, cliquez sur le bouton Run pour exécuter votre Job.