Définir les paramètres de connexion à Amazon EMR avec Spark Universal

Lorsque vous exécutez vos Jobs Spark sur un cluster YARN à l'aide d'une distribution Amazon EMR, vous devez distribuer les bibliothèques manuellement car Amazon EMR n'a pas le même classpath sur les nœuds principaux et subordonnés.

1. Chargez le fichier PEM dans le cluster :

   
   scp -i username_EC2.pem sanulich_EC2.pem hadoop@<mainNode>:/home/hadoop

2. Confirmez que le fichier PEM a les bonnes autorisations :

   ssh -i username_EC2.pem hadoop@<mainNode>
   ls -al

   Les autorisations doivent être les suivantes :

    -r--------  1 username username    1674 кві 11 16:26  username_EC2.pem

3. Facultatif : Si le fichier PEM n'a pas les bonnes autorisations, modifiez-les comme suit :

   chmod -rwx username_EC2.pem
   chmod  u+r username_EC2.pem

4. Allez dans votre instance Amazon EMR et trouvez le nom d'hôte des nœuds subordonnés.
5. Copiez les fichiers JAR des nœuds principaux aux nœuds subordonnés :

   scp -i /home/hadoop/username_EC2.pem  /usr/lib/spark/jars/*.jar hadoop@<slaveNode>:/home/hadoop

6. Connectez chaque nœud subordonné à un nœud principal :

   ssh -i /home/hadoop/username_EC2.pem hadoop@<slaveNode>

7. Déplacez le fichier JAR :

   sudo mv /home/hadoop/*.jar /usr/lib/spark/jars

   Note InformationsImportant : Si vous utilisez un moteur distant (Remote Engine), vous devez ajouter /usr/lib/spark/jars/* à la propriété yarn.application.classpath dans le fichier yarn-site.xml depuis le JAR de configuration Hadoopyarn-site.xml.
8. Ouvrez le Studio Talend et votre Job Spark.
9. Cliquez sur la vue Run sous l'espace de modélisation graphique, puis cliquez sur la vue Spark configuration.
10. Dans le tableau Advanced properties (Propriétés avancées), ajoutez la propriété "spark.hadoop.dfs.client.use.datanode.hostname" avec la valeur "true".