Was wird zurzeit auf meiner Engine ausgeführt?

Sie möchten wissen, welche Pipelines/Datenaufbereitungen auf der Remote Engine Gen2 ausgeführt werden.

Fehlerbehebung 1: Ordnen Sie Livy-Port 80 einem externen Port zu, um auf die Livy-Web-Benutzeroberfläche zugreifen zu können.

Prozedur

Führen Sie den folgenden Befehl aus, um die Remote Engine Gen2 anzuhalten:
remote-engine.bat stop in einem Windows-System

./remote-engine.sh stop in einem Unix-System
Öffnen Sie die folgende Datei im Engine-Verzeichnis:
default/docker-compose.yml, wenn Sie die Engine in den Regionen AWS USA, AWS Europa, AWS Asien/Pazifik oder Azure einsetzen.
eap/docker-compose.yml, wenn Sie die Engine im Rahmen eines Early-Adopter-Programms verwenden.
Fügen Sie Folgendes in der Section livy hinzu (8001 dient lediglich als Beispiel für einen Port, d. h. Sie können jeden beliebigen verfügbaren Port verwenden):
```
ports:
	- 8001:80/tcp
```
Speichern Sie die vorgenommenen Änderungen und starten Sie die Engine neu, damit die Änderungen wirksam werden.
Greifen Sie über Ihren Browser auf die Livy-Benutzeroberfläche zu: http://localhost:8001/ui.

Dort sollten die zurzeit ausgeführten Pipelines/Datenaufbereitungen (in Livy als Batch-Sitzungen bezeichnet) sowie die vorhergehenden Ausführungen mit dem jeweiligen Abschlussstatus (erfolgreich, gescheitert, abgebrochen) und den zugehörigen Logs angezeigt werden.
Führen Sie den folgenden Befehl aus, um die Livy-Logs zu den ausgeführten Pipelines/Datenaufbereitungen in Echtzeit anzuzeigen:
```
docker logs -f remote-engine_livy_1
```

Ursache

Jeder ausgeführten Pipeline/Datenaufbereitung wird ein dynamischer Netzwerkport ab 4040 zugewiesen. Je nach Anzahl der simultanen Ausführungen muss ein ausreichend großer Bereich an Ports ab 4040 in der Section livy der Datei docker-compose.yml zur Verfügung stehen, damit über den laufenden Host auf die Spark-Web-Benutzeroberfläche zugegriffen werden kann.

Fehlerbehebung 2: Rufen Sie die Ports der Spark-Web-Benutzeroberfläche auf, um die auf der Engine ausgeführten Ausführungspläne der Spark-Pipelines zu ermitteln.

Prozedur

Führen Sie den folgenden Befehl aus, um die Remote Engine Gen2 anzuhalten:
remote-engine.bat stop in einem Windows-System

./remote-engine.sh stop in einem Unix-System
Öffnen Sie die Datei docker-compose.yml und fügen Sie in der Section livy Folgendes hinzu (beispielsweise um die Spark-Benutzeroberfläche von drei simultan ausgeführten Pipelines/Datenaufbereitungen anzuzeigen):
```
ports:
	- 4040:4040/tcp
	- 4041:4041/tcp
	- 4042:4042/tcp
```

Hat diese Seite Ihnen geholfen?

Wenn Sie ein Problem mit dieser Seite oder ihrem Inhalt feststellen, sei es ein Tippfehler, ein ausgelassener Schritt oder ein technischer Fehler, informieren Sie uns bitte!

Geben Sie hier Ihr Feedback ab