Spark-Modus
Eine Methode, nach der ein Spark-Job ausgeführt wird. Ein Talend Spark-Job kann in folgenden Modi ausgeführt werden:
- „Lokal“: Talend Studio generiert zur Laufzeit intern die Spark-Umgebung, damit der Job lokal innerhalb von Talend Studio ausgeführt werden kann.
- „Standalone“: Talend Studio stellt eine Verbindung zu einem Spark-fähigen Cluster für die Ausführung des Jobs über dieses Cluster her.
- „YARN-Client“: Talend Studio führt den Spark-Treiber aus, um die Jobausführung zu orchestrieren und die Orchestrierung anschließend an den YARN-Dienst eines bestimmten Hadoop-Clusters zu senden, sodass der Ressourcen-Manager des YARN-Dienstes die entsprechenden Ausführungsressourcen anfordern kann.
- YARN-Cluster: Talend Studio übergibt Jobs an und ruft Ausführungsinformationen zu Ihrem Job von YARN und ApplicationMaster ab. Der Spark-Treiber wird im Cluster ausgeführt, wobei die Ausführung unabhängig von Talend Studio erfolgen kann.