Apprentissage du modèle d'arbre de décision

Cette section présente l'apprentissage de votre modèle d'arbre de décision et l'exécution du Job sur le cluster Hadoop.

1. Ajoutez un tDecisionTreeModel dans l'espace de modélisation graphique.
2. Reliez le tModelEncoder au tDecisionTreeModel à l'aide d'un lien Row Main.
3. Double-cliquez sur le tDecisionTreeModel pour ouvrir sa vue Basic settings.
4. Dans Storage, cochez la case Define a storage configuration component et sélectionnez le stockage HDFS.
5. Choisissez le schéma créé précédemment.
6. Dans la colonne Features Column, sélectionnez MyFeatures.
7. Dans la colonne Label Column, sélectionnez MyLabels.
8. Dans Model location, cochez la case Save the model on file system (only for Spark 1.4 or higher) et saisissez le chemin vers le système de fichiers HDFS.
   Dans cet exemple : /user/puccini/machinelearning/decisiontrees/marketing/decisiontree.model.
9. Laissez la valeur par défaut des autres paramètres.

   

   Voici la configuration du Job.

   

10. Cliquez sur l'onglet Run et allez dans Spark Configuration.
11. Cochez la case Use local mode.
12. Si vous souhaitez exécuter le Job sur le cluster Hadoop :
    1. Décochez la case Use local mode.
    2. Cliquez sur Spark Configuration.
    3. Ajoutez les propriétés avancées (Advanced properties) suivantes.

       Propriété	Value (Valeur)
       "spark.driver.extraJavaOptions"	"-Dhdp.version=2.4.0.0-169"
       "spark.yarn.am.extraJavaOptions"	"-Dhdp.version=2.4.0.0-169"

       La valeur est spécifique à la distribution et à la version de Hadoop. Ce tutoriel utilise Hortonworks 2.4 V3, la version 2.4.0.0-169. Votre entrée pour ce paramètre sera différente si vous n'utilisez pas Hortonworks 2.4 V3.

       Note InformationsImportant : Lorsque vous exécutez le code sur le cluster, il est crucial de vous assurer que l'accès est libre entre les deux systèmes. Dans cet exemple, assurez-vous que le cluster Hortonworks peut communiquer avec votre instance du Studio Talend. Cela est nécessaire car Spark, même s'il s'exécute sur le cluster, doit faire référence aux pilotes Spark fournis avec Talend. De plus, si vous déployez un Job Spark dans un environnement de production, il sera exécuté depuis un serveur de Jobs Talend (nœud de périphérie, edge node). Vous devez également vous assurer que la communication est libre entre lui et le cluster.

       Pour plus d'informations concernant les ports nécessaires à chaque service, consultez la documentation Spark Security (en anglais).

    4. Cliquez sur l'onglet Advanced settings.
    5. Cochez la case Use specific JVM arguments.
    6. Ajoutez un argument JVM indiquant la version d'Hadoop.
       Le nouvel argument JVM est la chaîne de caractères ajoutée dans Value, dans la vue Advanced settings : "-Dhdp.version=2.4.0.0-169".
    7. Cliquez sur l'onglet Basic Run, puis sur Run.
       Lorsque l'exécution est terminée, un message vous indique sa réussite dans la console.
    8. Naviguez jusqu'au répertoire HDFS, Ambari dans cet exemple, afin de vérifier que le modèle a été créé et persiste dans HDFS.