Konfigurieren des Engine-Speichers und der Anzahl der simultanen Ausführungen

Die Remote Engine Gen2 ist für einen Einsatz mit zugewiesenem 8G-Speicher konfiguriert. Das wirkt sich auf die Anzahl der Pipeline- und Datenaufbereitungsausführungen aus, die gleichzeitig auf der Engine ausgeführt werden können.

Ausführungsfehler

Wenn zu viele Ausführungsrequests von der Engine empfangen werden, nimmt sie voraussichtlich eine gewisse Anzahl an Pipeline-Ausführungen an und weist einige der letzten zurück. In diesem Fall eralten Sie folgenden Fehler:

Cannot submit pipeline <PIPELINE_NAME>, too many Livy sessions are used.

Hierbei gilt: <PIPELINE_NAME> ist der Name, den Sie Ihrer Pipeline gegeben haben.

Aus Sicherheitsgründen ist die Anzahl der simultanen Pipeline-Ausführungen begrenzt, dieser Grenzwert kann jedoch für die Remote Engine Gen2 konfiguriert werden.

Konfigurieren der Anzahl zulässiger simultaner Ausführungen

Öffnen Sie dazu die folgende Datei, um sie zu bearbeiten:

<engine_directory>/default/.env, wenn Sie die Engine in den Regionen AWS USA, AWS Europa, AWS Asien/Pazifik oder Azure einsetzen.
<engine_directory>/eap/.env, wenn Sie die Engine im Rahmen eines Early-Adopter-Programms verwenden.

Und prüfen Sie folgende Zeile:

LIVY_SERVER_SESSION_MAX_CREATION=<NB_SLOTS>

Je nach den Ressourcen, die auf dem Gerät verfügbar sind, auf dem die Engine ausgeführt wird, möchten Sie diesen Wert unter Umständen ändern. Der Wert entspricht der folgenden Formel. Dadurch wird sichergestellt, dass nur ein bestimmter Anteil des Speichers für ausgeführte Pipelines genutzt wird und der Rest weiterhin anderen Diensten der Engine zur Verfügung steht:

LIVY_SERVER_SESSION_MAX_CREATION=(memory - 4)/spark.driver.memory

Hierbei gilt: memory entspricht dem der Engine zugewiesenen Speicher, 4 den 4 GB Speicher, die für andere Dienste der Engine erforderlich sind, und spark.driver.memory dem jeder Pipeline-Ausführung zugewiesenen Speicher (standardmäßig 1 GB).

Der Standardwert für spark.driver.memory kann durch Hinzufügen des Parameters und Werts im Bereich Advanced configuration (Erweiterte Konfiguration) des Formulars Add run profile (Ausführungsprofil hinzufügen) in Talend Management Console angepasst werden.

Beispiel:

Sie haben die Engine in einer Docker-Umgebung mit 8 GB Speicher installiert und möchten dem Spark-Treiberspeicher 4 GB zuweisen. In diesem Fall lautet die Formel: (8-4)/4=1:

LIVY_SERVER_SESSION_MAX_CREATION=1

Hat diese Seite Ihnen geholfen?

Wenn Sie ein Problem mit dieser Seite oder ihrem Inhalt feststellen, sei es ein Tippfehler, ein ausgelassener Schritt oder ein technischer Fehler, informieren Sie uns bitte!

Geben Sie hier Ihr Feedback ab