Définir les paramètres de connexion au cluster YARN avec Spark Structured Streaming

Configurez une connexion à un cluster YARN pour un Job Spark Structured Streaming.

1. Cliquez sur la vue Run (Exécuter) sous l'espace de modélisation graphique, puis sur la vue Structured Streaming configuration.
2. Sélectionnez Built-in (Intégré) dans la liste Property type (Type de propriété).
3. Sélectionnez Universal dans la liste Distribution, la version Spark de votre choix, puis Yarn cluster dans la liste Runtime mode/environment (Mode/environnement du Runtime).
4. Dans Path to custom Hadoop configuration jar (Chemin d'accès au fichier jar de configuration Hadoop personnalisée), saisissez le chemin d'accès au fichier JAR de configuration Hadoop de votre cluster.
5. Sélectionnez Use custom classpath (Utiliser un classpath personnalisé) pour spécifier des entrées de classpath supplémentaires pour le Job.
6. Dans Username (Nom d'utilisateur.trice), saisissez le nom d'utilisateur.trice requis par le cluster.