Quels sont les pipelines en cours d'exécution sur mon moteur ?

Vous souhaitez voir quels pipelines/quelles préparations s'exécutent sur votre Moteur distant Gen2.

Dépannage 1 : Mappez le port Livy 80 à un port externe pour accéder à l'interface Web de Livy

Procédure

Exécutez la commande suivante pour arrêter le Moteur distant Gen2 :
remote-engine.bat stop si vous utilisez un système Windows

./remote-engine.sh stop si vous utilisez un système Unix
Ouvrez le fichier suivant situé dans le répertoire du moteur :
default/docker-compose.yml si vous utilisez le moteur dans les régions AWS USA, AWS Europe, AWS Asie-Pacifique ou Azure.
eap/docker-compose.yml si vous utilisez le moteur au sein du programme Early Adopter Program.
Ajoutez ceci dans la section livy (8001 est utilisé en tant qu'exemple de port, vous pouvez utiliser tout port disponible) :
```
ports:
	- 8001:80/tcp
```
Sauvegardez vos modifications et redémarrez le moteur pour qu'elles soient prises en compte.
Accédez à l'interface d'utilisation de Livy avec votre navigateur : http://localhost:8001/ui

Vous devriez voir les pipelines/préparations (appelés sessions batch dans Livy) en cours d'exécution, ainsi que leurs exécutions précédentes avec leurs statuts de fin (succès, échec, arrêté·e) et leurs logs.
Exécutez la commande suivante pour voir les logs Livy relatifs aux pipelines/préparations exécuté·es en temps réel :
```
docker logs -f remote-engine_livy_1
```

Cause

Un port de réseau dynamique commençant par 4040 est assigné à chaque pipeline/préparation en cours d'exécution. En fonction du nombre d'exécutions concurrentes, une large variété de ports commençant par 4040 peut être exposée dans la section livy du fichier docker-compose.yml pour permettre l'accessibilité de l'interface Web de Spark depuis l'hôte en cours d'exécution.

Dépannage 2 : Exposez les ports de l'interface Web de Spark pour voir les plans d'exécution des Pipelines Spark exécutés sur le moteur

Procédure

Exécutez la commande suivante pour arrêter le Moteur distant Gen2 :
remote-engine.bat stop si vous utilisez un système Windows

./remote-engine.sh stop si vous utilisez un système Unix
Ouvrez le fichier docker-compose.yml et ajoutez ce qui suit à la section livy (exemple pour voir l'interface Spark de trois pipelines/préparations concurrent·es en cours d'exécution) :
```
ports:
	- 4040:4040/tcp
	- 4041:4041/tcp
	- 4042:4042/tcp
```

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici