Verarbeiten einer Azure Synapse-Tabelle und Laden der Tabelle in Azure Blob Storage

Dieses Szenario soll Sie bei der Einrichtung und Verwendung von Konnektoren in einer Pipeline unterstützen. Es wird empfohlen, dass Sie das Szenario an Ihre Umgebung und Ihren Anwendungsfall anpassen.

Beispiel einer Pipeline, die anhand der nachfolgenden Anleitungen erstellt wurde.

Prozedur

Klicken Sie auf Connections (Verbindungen) > Add connection (Verbindung hinzufügen).
Wählen Sie den Typ der zu erstellenden Verbindung im daraufhin geöffneten Fenster aus.
Example
Synapse
Wählen Sie in der Liste Engine Ihre Engine aus.
InformationshinweisAnmerkung:
- Es wird empfohlen, die Remote Engine Gen2 und nicht die Cloud Engine for Design für eine erweiterte Datenverarbeitung einzusetzen.
- Wenn keine Remote Engine Gen2 in Talend Management Console erstellt wurde bzw. diese vorhanden, aber als nicht verfügbar markiert ist, d. h. sie ist nicht aktiv und wird nicht ausgeführt, dann können Sie weder einen Connection type (Verbindungstyp) in der Liste auswählen noch die neue Verbindung speichern.
- Die Liste der verfügbaren Verbindungstypen richtet sich nach der ausgewählten Engine.
Wählen Sie den Typ der zu erstellenden Verbindung aus.
Wählen Sie in diesem Fall Database (Datenbank) aus.
Geben Sie die Verbindungseigenschaften für den Zugriff auf die Azure Synapse-Datenbank wie in Eigenschaften von Azure Synapse beschrieben ein, prüfen Sie die Verbindung und klicken Sie dann auf Add dataset (Datensatz hinzufügen).
Geben Sie im Fensterbereich Add a new dataset (Neuen Datensatz hinzufügen) einen Namen für Ihren Datensatz ein. In diesem Beispiel enthält die Tabelle Daten zu Taxistandorten.
Example
Azure Synapse geography table (Azure Synapse-Geografietabelle)
Geben Sie die erforderlichen Eigenschaften für den Zugriff auf die Tabelle in Ihrer Datenbank ein und klicken Sie dann auf View sample (Sample anzeigen), um eine Vorschau Ihres Datensatz-Samples anzuzeigen.
Klicken Sie auf Validate (Validieren), um den Datensatz zu speichern.
Gehen Sie genauso vor, um den Azure Blob-Container hinzuzufügen, der als Ziel in Ihrer Pipeline verwendet werden soll. Geben Sie die Verbindungseigenschaften gemäß der Beschreibung in Eigenschaften von Azure Blob Storage ein.

In diesem Fall wird eine CSV-Datei mit Daten zu Taxistandorten im Ordner talend dir eines Azure Blob-Containers mit der Bezeichnung talend-blob als Pipeline-Ziel verwendet. Sie können Ihre Container-Verzeichnisse auf der Seite des Storage Explorer Ihres Azure Storage-Kontos anzeigen.
Klicken Sie auf der Seite Pipelines auf Add pipeline (Pipeline hinzufügen). Ihre neue Pipeline wird geöffnet.
Legen Sie einen sinnvollen Namen für die Pipeline fest.
Example
From Azure Synapse table to Azure Blob - load table (Von Azure Synapse-Tabelle zu Azure Blob - Tabelle laden)
Klicken Sie auf ADD SOURCE (QUELLE HINZUFÜGEN) und wählen Sie Ihren Quelldatensatz, Azure Synapse geography table (Azure Synapse-Geografietabelle), im daraufhin geöffneten Fenster aus.
Klicken Sie auf , um Prozessoren zur Pipeline hinzuzufügen, z. B. einen Prozessor des Typs Field Selector (Feldauswahl), um spezifische Felder auszuwählen und ihnen einen aussagekräftigen Namen zu geben, oder einen Prozessor des Typs Aggregate (Aggregieren), um die Datensätze aufzulisten und zu gruppieren.
Klicken Sie auf das Element ADD DESTINATION (ZIEL HINZUFÜGEN) der Pipeline, um ein Fenster zu öffnen, in dem Sie die Azure Blob-Datei auswählen können, in die Ihre Ausgabedaten geladen werden sollen.
Legen Sie für das Ziel einen aussagekräftigen Namen fest, beispielsweise load in Azure Blob Storage (In Azure Blob Storage laden).
Klicken Sie auf der Registerkarte Configuration (Konfiguration) des Ziels auf Advanced (Erweitert) und geben Sie ein Präfix für den Blob-Namen ein, der bei der Ausführung der Pipeline erstellt werden soll.
Klicken Sie auf Save (Speichern), um die Konfiguration zu speichern.
(Optional) Klicken Sie auf den letzten Prozessor, um eine Vorschau der verarbeiteten Daten anzuzeigen.
Klicken Sie in der oberen Symbolleiste von Talend Cloud Pipeline Designer auf die Schaltfläche Run (Ausführen), um das Fenster zur Auswahl des Ausführungsprofils zu öffnen.
Wählen Sie Ihr Ausführungsprofil in der Liste aus (weitere Informationen finden Sie unter „Ausführungsprofile“) und klicken Sie dann auf Run (Ausführen), um die Pipeline auszuführen.

Ergebnisse

Ihre Pipeline wird ausgeführt, die in Azure Synapse gespeicherten Taxistandort-Informationen wurden nach Stadt aggregiert und der Ausgabe-Flow wird an die von Ihnen definierte Azure Blob-Zieldatei gesendet.

Hat diese Seite Ihnen geholfen?

Wenn Sie ein Problem mit dieser Seite oder ihrem Inhalt feststellen, sei es ein Tippfehler, ein ausgelassener Schritt oder ein technischer Fehler, informieren Sie uns bitte!

Geben Sie hier Ihr Feedback ab