Abfragen der Snowflake-API und Senden der Daten an Google Cloud Storage

Beispiel einer Pipeline, die anhand der nachfolgenden Anleitungen erstellt wurde.

Vorbereitungen

Sie haben eine ODATA-API für den Snowflake-Datensatz generiert und die Endpunktparameter kopiert.

Prozedur

Klicken Sie auf Connections (Verbindungen) > Add connection (Verbindung hinzufügen).
Wählen Sie den Typ der zu erstellenden Verbindung im daraufhin geöffneten Fenster aus.
Wählen Sie in diesem Beispiel HTTP Client (HTTP-Client) aus.
Wählen Sie in der Liste Engine Ihre Engine aus.
Geben Sie die Verbindungseigenschaften und die URL-Adresse der aufzurufenden API gemäß der Beschreibung in Eigenschaften von HTTP-Clients ein:
1. Base URL (Basis-URL): Kopieren Sie die in der Snowflake-API-Übersicht bereitgestellte Basis-URL und fügen Sie sie ein.
2. Authentication type (Authentifizierungstyp): Wählen Sie Basic (Basis) aus.
3. Geben Sie die für den Aufbau einer Verbindung zur API benötigten Anmeldedaten ein (username (Benutzername) und password (Passwort)).
4. Prüfen Sie die Verbindung und klicken Sie dann auf Next (Weiter).
Geben Sie eine Beschreibung (optional) und einen Anzeigenamen (obligatorisch) für die HTTP-Clientverbindung ein und klicken Sie auf Validate (Validieren).
Klicken Sie auf Add dataset (Datensatz hinzufügen), um den entsprechenden Datensatz zu erstellen.
Geben Sie im Fensterbereich Add a new dataset (Neuen Datensatz hinzufügen) einen Namen für Ihren Datensatz ein.
Konfigurieren Sie die Main (Haupt)-Parameter:
1. Type (Typ): Wählen Sie Batch aus, da der Dienst nur einmal aufgerufen werden soll.
2. HTTP method (HTTP-Methode): Wählen Sie GET aus.
3. Path (Pfad): Geben Sie den Entitätsnamen ein, den Sie zuvor bei der Erstellung der API festgelegt haben.
4. Deaktivieren Sie die Optionen Parameters (Parameter), Query parameters (Abfrageparameter), Request headers (Request-Header) und Request body (Request-Body).
5. Response body format (Format des Antwort-Bodys): Wählen Sie JSON aus.
6. Returned content (Zurückgegebener Inhalt): Wählen Sie Body aus.
Konfigurieren Sie die Advanced (Erweitert)-Parameter:
1. Aktivieren Sie die Option Accept redirections (Weiterleitungen akzeptieren) und stellen Sie die maximale Anzahl an Weiterleitungen auf 3 ein.
2. Aktivieren Sie die Option Pagination (Paginierung).
3. Preset (Voreinstellung): Wählen Sie ODATA aus und klicken Sie auf Load selected preset (Ausgewählte Voreinstellung laden).
4. Value of the offset (Wert des Offsets): Geben Sie 10 ein.
5. Value of the limit (Wert der Grenze): Geben Sie 5 ein.
6. Returned content (Zurückgegebener Inhalt): Wählen Sie Body aus.
Klicken Sie auf Validate (Validieren), um den Datensatz zu speichern.
Klicken Sie auf Connections (Verbindungen) > Add connection (Verbindung hinzufügen).
Wählen Sie den Typ der zu erstellenden Verbindung im daraufhin geöffneten Fenster aus.
Wählen Sie Google Cloud Storage aus.
Wählen Sie in der Liste Engine Ihre Engine aus.
Geben Sie die Verbindungseigenschaften (Google-Anmeldeinformationen) wie in Eigenschaften von Google Cloud Storage beschrieben ein, prüfen Sie die Verbindung und klicken Sie dann auf Next (Weiter).
Geben Sie eine Beschreibung (optional) und einen Anzeigenamen (obligatorisch) für die Google Cloud Storage-Verbindung ein und klicken Sie auf Validate (Validieren).
Klicken Sie auf Add dataset (Datensatz hinzufügen), um den entsprechenden Datensatz zu erstellen.
Geben Sie dem Datensatz einen Namen und geben Sie dann die erforderlichen Eigenschaften für die Erstellung eines Google Cloud Storage Blobs in Ihrem bereits vorhandenen Bucket ein:
1. Bucket name (Bucket-Name): Wählen Sie einen vorhandenen Bucket-Namen aus.
2. Blob name (Blob-Name): Geben Sie einen Namen ein, der noch nicht vorhanden ist.
3. Content type format (Format vom Typ Inhalt): Wählen Sie CSV format (CSV-Format) aus.
4. Line separator type (Typ des Zeilenbegrenzers): Wählen Sie Linux type (Linux-Typ) aus.
5. Encoding type (Codierungstyp): Wählen Sie UTF-8 aus.
6. Aktivieren Sie die Option Set header (Header festlegen) und geben Sie 1 für Number of lines (Anzahl Zeilen) und , für Field separator type (Typ des Feldbegrenzers) ein.
Klicken Sie auf Validate (Validieren), um den Datensatz zu speichern.
Klicken Sie auf der Seite Pipelines auf Add pipeline (Pipeline hinzufügen). Ihre neue Pipeline wird geöffnet.
Legen Sie einen sinnvollen Namen für die Pipeline fest.
Example
Query Snowflake API and load data to Google Cloud Storage (Snowflake-API abfragen und Daten an Google Cloud Storage senden)
Klicken Sie auf ADD SOURCE (QUELLE HINZUFÜGEN) und wählen Sie im daraufhin geöffneten Fenster Ihren Quelldatensatz aus, d. h. den HTTP-Client-Datensatz.
Klicken Sie auf das Element ADD DESTINATION (ZIEL HINZUFÜGEN) und wählen Sie den Zieldatensatz, d. h. den Google Cloud Storage-Datensatz, im daraufhin geöffneten Fenster aus.
Klicken Sie in der oberen Symbolleiste von Talend Cloud Pipeline Designer auf die Schaltfläche Run (Ausführen), um das Fenster zur Auswahl des Ausführungsprofils zu öffnen.
Wählen Sie Ihr Ausführungsprofil in der Liste aus (weitere Informationen finden Sie unter „Ausführungsprofile“) und klicken Sie dann auf Run (Ausführen), um die Pipeline auszuführen.

Ergebnisse

Die Pipeline wird ausgeführt. Alle Zeilen ab der 11. Zeile der Snowflake-Tabelle werden in eine Datei in Google Cloud Storage kopiert, und über die ODATA-API werden die Zeilen abgerufen, jeweils 5 Zeilen gleichzeitig.

Hat diese Seite Ihnen geholfen?

Wenn Sie ein Problem mit dieser Seite oder ihrem Inhalt feststellen, sei es ein Tippfehler, ein ausgelassener Schritt oder ein technischer Fehler, informieren Sie uns bitte!

Geben Sie hier Ihr Feedback ab