Eigenschaften von HTTP-Clients

Geben Sie die URL-Basisadresse ein, auf die Sie zugreifen möchten.

Beispiel: https://www.example.com/v1.0/

Der zweite Teil der URL muss im Parameter Path (Pfad) in der Konfiguration des HTTP-Client-Datensatzes festgelegt werden.

Sie können auch unter Verwendung der Syntax der Data-Shaping-Abfragesprache einen Platzhalter festlegen, um einige Teile dynamisch mit dem aus dem eingehenden Datensatz extrahierten Wert zu füllen. Beispiel:

Base URL (Basis-URL) = "https://{.input.job_url}" und Path (Pfad) = "{.input.job_url_path}"

• No authentication (Keine Authentifizierung): Für den Zugriff auf den Server wird keine Authentifizierung angefordert.
• Basic (Basis): Ein Benutzername und ein Passwort müssen eingegeben werden (siehe die entsprechende Dokumentation).
• Digest: Ein Benutzername und ein Passwort müssen eingegeben werden (siehe die entsprechende Dokumentation).
• Bearer Token: Ein rohes Zugriffstoken muss angegeben werden. Das Token wird folgendermaßen in den Header des HTTP-Requests aufgenommen: Authorization: Bearer <your token> (Autorisierung: Bearer <Ihr Token>).
• NTLM: Ein Benutzername (dieser muss einen Domänennamen enthalten) und ein Passwort müssen eingegeben werden (siehe die entsprechende Dokumentation).
• API Key (API-Key): Bietet Flexibilität bei der Übergabe eines API-Key-Tokens an den Server, d. h. Sie können festlegen, wie es übergeben werden soll, und können dazu den entsprechenden Namen sowie ein Präfix eingeben:
  • Destination (Ziel): Wählen Sie aus, wo das Token festgelegt werden soll: Entweder in einem HTTP-Header oder in einem HTTP-Abfrageparameter mit dem angegebenen Namen (Letzteres wird nicht empfohlen, da das Token in diesem Fall unter Umständen in den Logs angezeigt wird).
  • Name: Geben Sie den Namen des Headers oder Abfrageparameters ein.
  • Prefix (Präfix) (optional): Geben Sie das Präfix ein, das vor dem Token hinzugefügt werden soll (nur wenn Destination (Ziel) auf Request header (Request-Header) eingestellt ist).
  • Token: Geben Sie das Authentifizierungstoken ein.
• OAuth 2.0 verwaltet automatisch das Abrufen und Erneuern des Zugriffstokens auf dem OAuth-Server und übergibt dieses dann an den Zielendpunkt als Bearer Token:
  • Flow: Der OAuth-Flow, den Sie ausführen möchten. Zurzeit wird nur der Flow Client Credentials (Client-Anmeldedaten) unterstützt.
  • Authentication mode (Authentifizierungsmodus): Für alle unterstützten Authentifizierungsmodi werden die Parameter für Flow und Anwendungsbereich im Body im Format 'application/x-www-form-urlencoded' mit den Schlüsseln 'grant_type=xxx&scope=xxxx' festgelegt.
  • Token endpoint (Token-Endpunkt):
  • Geben Sie das Authentifizierungstoken im Format 'oauth2/mydomain.com/token' ein.
  • Client ID (Client-ID) und Client secret (Client Secret): Geben Sie die Client-ID und das Client Secret ein.
  • Additional parameters (Weitere Parameter): Geben Sie die weiteren Attribute ein, die hinzugefügt werden sollen, beispielsweise das Attribut scope.

Geben Sie die URL-Basisadresse ein, auf die Sie zugreifen möchten.

Beispiel: https://www.example.com/v1.0/

Der zweite Teil der URL muss im Parameter Path (Pfad) in der Konfiguration des HTTP-Client-Datensatzes festgelegt werden.

Aktivieren Sie diese Option, wenn die Verbindung zwischen Client und Server über einen HTTP- oder SOCKS-Proxy hergestellt werden soll:

• Proxy type (Proxy-Typ): Wählen Sie den Typ des Proxy aus, den Sie verwenden möchten. HTTP-Proxys unterstützen die Basisauthentifizierung (Basic Authentication).
• Proxy host (Proxy-Host) und Proxy port (Proxy-Port): Geben Sie Adresse und Port des Proxy ein.
• Proxy login (Proxy-Anmeldename) und Proxy password (Proxy-Passwort) (nur HTTP): Geben Sie die für eine Authentifizierung beim Proxy benötigten Anmeldedaten ein.

• Anfängliches Backoff (ms): Geben Sie die Wartedauer in Millisekunden vor dem ersten Wiederholungsversuch eines HTTP-Aufrufs ein.
• Backoff-Faktor: Wenn ein Versuch fehlschlägt, wird die Wartedauer mit diesem Faktor multipliziert, um die Verzögerung zwischen den einzelnen Aufrufen zu erhöhen. Wenn der Faktor 1 ist, sind alle Verzögerungen gleich.
• Max. Anzahl Wiederholungen: Geben Sie die maximale Anzahl Wiederholungsversuche für eine einzelne HTTP-Abfrage ein. Der anfängliche Aufruf wird bei dieser Anzahl nicht mitgezählt.

Beispiel für die folgende Konfiguration:

Anfängliches Backoff: 300 ms, Backoff-Faktor: 2 und Max. Anzahl Wiederholungen: 4

Der HTTP Client-Konnektor führt zunächst einen GET-Vorgang auf dem Server durch (erster Aufruf). Ein Fehler wegen Verbindungs-Timeout wird zurückgegeben, der Wiederholungsmechanismus wird aktiviert und der Konnektor wartet 300 Millisekunden. Dann wird ein zweiter Versuch unternommen (erste Wiederholung). Eine HTTP-Antwort 503 wird zurückgegeben, die Wartedauer wird mit 2 multipliziert, also wartet der Konnektor 600 Millisekunden lang. Ein dritter Versuch wird unternommen (zweite Wiederholung). Ein interner Serverfehler 500 wird zurückgegeben, die Wartedauer wird mit 2 multipliziert, also wartet der Konnektor 1200 Millisekunden lang. Ein vierter Versuch wird unternommen (dritte Wiederholung), und dieses Mal ist er erfolgreich. Es wird kein weiterer Versuch unternommen, und die Antwort wird zurückgegeben.

• Batch - wenn die HTTP-Abfrage einmal ausgeführt werden soll. Die Pipeline, die diesen Datensatz verwendet, muss eine Batch-Pipeline sein.
• Streaming - wenn die HTTP-Abfrage alle N Millisekunden in einer Streaming-Pipeline ausgeführt werden soll. Die Pipeline, die diesen Datensatz verwendet, muss eine Streaming-Pipeline sein. Darüber hinaus können Sie im Feld Min poll interval (ms) (Min. Abfrageintervall (ms)) des Quelldatensatzes das Abfrageintervall in Millisekunden festlegen.

Geben Sie den zweiten Teil der URL ein, die Sie zuvor in der Konfiguration der Verbindung festgelegt haben, für die der Datensatz erstellt werden soll. Die Verkettung beider Teile verweist dann auf die Ressource, die für den Datensatz als Ziel fungiert.

Die Werte von Base URL (Basis-URL) (Verbindung) und Path (Pfad) (Datensatz) werden miteinander verknüpft, nach Bedarf wird das Zeichen / hinzugefügt.

Sie können auch unter Verwendung der Syntax der Data-Shaping-Abfragesprache einen Platzhalter festlegen, um einige Teile dynamisch mit dem aus dem eingehenden Datensatz extrahierten Wert zu füllen. Beispiel:

Base URL (Basis-URL) = "https://{.input.job_url}" und Path (Pfad) = "{.input.job_url_path}"

Aktivieren Sie diese Option, um zusätzliche Parameter anzugeben, die zur Vervollständigung der Basis-URL bzw. des Pfads in Form von Name/Wert-Paaren erforderlich sind.

Beispielsweise können Sie mit der Basis-URL https://www.example.com und dem Pfad /{api_version} den Pfad festlegen, indem Sie einen Parameter in dieser Tabelle hinzufügen und Name auf api_version und Value (Wert) auf v1.0 festlegen.

• Name: Geben Sie den Namen des Parameters ein.
• Value (Wert): Geben Sie den Wert des Parameters ein. Dabei kann es sich um einen statischen Wert wie UUID-1234567, einen aus dem eingehenden Datensatz extrahierten Wert wie {.input.user.id} oder um eine Kombination aus beidem wie UUID-{.input.user.id} handeln.

Beispiel: Abfrageparametername = entityId und Abfrageparameterwert = UUID-1234567

• Name: Geben Sie den Namen des Headers ein.
• Value (Wert): Geben Sie den Wert des Headers ein. Dabei kann es sich um einen statischen Wert wie text/html; charset=utf-8, einen aus dem eingehenden Datensatz extrahierten Wert wie {.input.meta.content} oder um eine Kombination aus beidem wie text/{.input.document.format}; charset={.input.document.charset} handeln.
• Query (Abfrage): Wählen Sie die Abfrage aus, auf die diese Header-Konfiguration angewendet werden soll.

Beispiel: Kopfzeilenname = Content-Type und Kopfzeilenwert = text/html;charset=utf-8

• Text: Geben Sie den Body der Nachricht als einfachen Text in das Textfeld unter der Dropdown-Liste ein. Sie können unter Verwendung der Syntax der Data-Shaping-Abfragesprache einen Platzhalter festlegen, um einige Teile dynamisch mit dem aus dem eingehenden Datensatz extrahierten Wert zu füllen. Beispiel:

  id={.input.user.id}
  name={.input.user.name}  

• Text: Geben Sie den Body der Nachricht im JSON-Format in das Textfeld unter der Dropdown-Liste ein. Sie können unter Verwendung der Syntax der Data-Shaping-Abfragesprache einen Platzhalter festlegen, um einige Teile dynamisch mit dem aus dem eingehenden Datensatz extrahierten Wert zu füllen. Beispiel:

  {
   "id": "{.input.user.id}",
   "name": "{.input.user.name}",
   "age": "{.input.user.age}",
   }

• Text: Geben Sie den Body der Nachricht im XML-Format in das Textfeld unter der Dropdown-Liste ein. Sie können unter Verwendung der Syntax der Data-Shaping-Abfragesprache einen Platzhalter festlegen, um einige Teile dynamisch mit dem aus dem eingehenden Datensatz extrahierten Wert zu füllen. Beispiel:

  <user>
   <id>{.input.user.id}</id>
   <name>{.input.user.name}</name>
   <age>{.input.user.age}</age>
  </user>

• Form data (Formulardaten) und x_www_urlencoded: Erstellen Sie den Body als mehrteiliges Formular mit Namen-Wert-Paaren für das Attribut oder verwenden Sie ein URL-codiertes Formular mit Namen-Wert-Paaren für das Attribut. Geben Sie die Attributnamen und -werte in Zeilen der Tabelle unter der Dropdown-Liste ein. Sie können unter Verwendung der Syntax der Data-Shaping-Abfragesprache einen Platzhalter festlegen, um einige Teile dynamisch mit dem aus dem eingehenden Datensatz extrahierten Wert zu füllen.

• Binary (Binär): Wählen Sie diese Option aus, wenn Sie Datendateien, die größer als 500 MB sind, in Blöcken hochladen möchten. Nach der Auswahl wird das Feld File Path (Dateipfad) angezeigt, in dem Sie einen lokalen Upload-Ordner angeben können.

• Text: Wählen Sie dieses Format, um eine einfache Textnachricht zurückzugeben. In diesem Fall wird die Antwort-Payload nicht geparst und es können keine Teile daraus extrahiert werden.
• JSON: Wählen Sie dieses Format aus, wenn die empfangene Antwort das JSON-Format aufweisen soll. In diesem Fall wird die Payload in ordnungsgemäß geparste JSON-Datensätze umgewandelt.

Dieses Feld ist optional und muss leer bleiben, um die ganze JSON-Antwort abzurufen.

Ein Beispiel zur Verwendung finden Sie unter Zusätzliche Informationen zur Extraktion von Daten mit dem HTTP-Client.

• Body: Wenn Text in der Dropdown-Liste Response body format (Body-Format der Antwort) ausgewählt wird, wird ein Datensatz mit einem Zeichenfolgenattribut namens body generiert und die ganze Payload wird hineinkopiert; wenn JSON in der Dropdown-Liste Response body format (Body-Format der Antwort) ausgewählt wird, wird ein Datensatz generiert, der die hierarchische Struktur des geparsten Dokuments darstellt. Einschränkung: Wenn der Body-Teil im Hauptfluss 200 MB überschreitet, wird der Datensatz abgeschnitten und es wird eine Warnung ausgegeben.

• Status, headers and body (Status, Header und Body): Es wird ein Datensatz mit dem Attribut „status“ (vom Typ INT) generiert, das den HTTP-Statuscode enthält, mit dem Attribut headers, das einem Datensatz mit allen Antwort-Kopfzeilen in Form verschachtelter Attribute entspricht, und dem Attribut body, bei dem es sich entweder um eine einfache Zeichenfolge mit der gesamten Payload als Text handelt (wenn Text in der Dropdown-Liste Response body format (Body-Format der Antwort) ausgewählt wurde) oder um ein hierarchisches Objekt, das dem geparsten Dokument entspricht (wenn JSON in der Dropdown-Liste Response body format (Body-Format der Antwort) ausgewählt wurde). Einschränkung: Wenn der Body-Teil im Hauptfluss 200 MB überschreitet, wird der Datensatz abgeschnitten und es wird eine Warnung ausgegeben.
• Download file only (Nur Download-Datei): Wählen Sie diese Option aus, um den zurückgegebenen Inhalt im Hauptfluss zu beschränken und den HTTP-Antwort-Body nur als Datei oder in den Cache herunterzuladen, ohne einen Datensatz im Hauptfluss zum Speichern von Ressourcen zu erstellen. Diese Option ist zur Verwendung in der On-Premises-Komponente in Talend Studio vorgesehen und wird in Talend Cloud nicht empfohlen.

Der Wert kann aus der Komponenteneingabe oder aus der HTTP-Antwort stammen. Geben Sie "{.input.<dssl_path>}" in das Feld Value (Wert) ein, wenn der Wert aus der Komponenteneingabe stammt, bzw. "{.response.<dssl_path>}", wenn der Wert aus der HTTP-Antwort stammt.

Wenn Sie Daten von einem HTTP-Server abrufen, können Sie das Format und den Inhalt der abgerufenen Daten mithilfe des Schemas, der Schaltfläche Guess schema (Schema erraten), der Option Response body format (Body-Format der Antwort), der Option Returned content (Zurückgegebener Inhalt), der Option Extract a sub-part of the response(Teil der Antwort extrahieren) und der Option Output key/value pairs (Schlüssel/Wert-Paare der Ausgabe) angeben. Weitere Informationen finden Sie unter tHTTPClient: Konfiguration und Ausgabe.

Diese Option ist verfügbar, wenn Output key/value pairs (Schlüssel/Wert-Paare der Ausgabe) ausgewählt ist.

• Maximum number of redirects (Max. Anzahl Weiterleitungen): Legen Sie die maximale Anzahl der Weiterleitungen fest, die der Konnektor unterstützen soll. Wenn mehr Weiterleitungen als die konfigurierte Anzahl vorhanden sind, wird die letzte Weiterleitung als Ergebnis der Abfrage zurückgegeben.
• Redirect only on same host (Nur auf gleichem Host weiterleiten): Aktivieren Sie diese Option, wenn nur dann Weiterleitungen durchgeführt werden sollen, wenn derselbe Host verwendet wird.

Beachten Sie, dass Paginierung nur mit JSON-Payload kompatibel ist und sich die gewünschten Elemente in einem Array in der JSON-Payload befinden müssen.

Sie müssen die folgenden Optionen festlegen, damit die Paginierung ordnungsgemäß funktioniert.

• Pagination strategy (Paginierungsstrategie): Wählen Sie die zu verwendende Paginierungsstrategie aus:
  • Offset/limit: Mit dieser Strategie werden die Elemente ab einer bestimmten Position in Seiten einer bestimmten Größe abgerufen. Der Parameter offset gibt das Anfangselement als Offset vom ersten Element an; der Parameter limit gibt die maximale Größe einer Seite als Anzahl der Elemente an. Wenn diese Strategie angewendet wird, stoppt die Paginierung, nachdem der letzte Aufruf 0 Elemente zurückgegeben hat.
  • Marker: Diese Strategie verwendet einen „Marker“ (oft die ID des letzten abgerufenen Elements), um den nächsten Ergebnissatz abzurufen. Der Marker fungiert als Zeiger, um anzugeben, wo die nächste Datenseite beginnt. So kann die API die Ergebnisse zurückgeben, die auf den Marker folgen. Wenn diese Strategie angewendet wird, stoppt die Paginierung, wenn die Antwort das Marker-Element enthält.
  • Next link (Nächster Link): Mit dieser Strategie wird ein „nächster Link“ (oder eine URL) in der Antwort bereitgestellt, die der Client verwenden kann, um den nächsten Ergebnissatz abzurufen. Der „nächste Link“ umfasst ein Offset oder eine Seitenzahl, die der Client verwenden kann, um die nächste Seite abzurufen. Wenn diese Strategie angewendet wird, stoppt die Paginierung, wenn die Antwort das Element „nächster Link“ enthält.
• Location (Position): Geben Sie an, wie die Parameter „offset“ und „limit“ festgelegt werden (entweder Query parameters (Abfrageparameter) oder In headers (In Kopfzeilen).
• Name of the offset (Name des Offset): Legen Sie den Namen des Parameters fest, der als Offset verwendet werden soll.
• Value of the offset (Wert des Offsets): Legen Sie das Offset fest. Um ab dem ersten Element zu beginnen, legen Sie es auf 0 fest. Das Offset einer Abfrage finden Sie in den eingehenden Datensätzen mithilfe des DSSL-Ausdrucks '{.input.last_page_info.offset}'.
• Name of the limit (Name des Limits): Legen Sie den Namen des Parameters fest, der die maximale Anzahl der auf einer Seite zulässigen Elemente definiert.
• Value of the limit (Wert des Limits): Legen Sie das Limit fest, d. hl, die maximale Anzahl der Elemente, die auf einer Seite zurückgegeben werden können. Die Paginierung wird angehalten, sobald eine Seite mit 0 Elementen zurückgegeben wird.
• Path to elements (Pfad der Elemente): Definieren Sie den Pfad des JSON-Arrays, das die gewünschten Elemente enthält. Es muss sich um ein JSON-Array handeln. Wenn die Strategie offset/limit angewendet wird, wird das von diesem Parameter angegebene Element zur Root, unabhängig von der Einstellung der Option Extract a sub-part of the response (Teil der Antwort extrahieren). Wenn zum Beispiel JIRA im Feld Preset (Voreinstellung) angegeben ist, werden bei Festlegen von Path to elements (Pfad zu Elementen) auf .issue die Probleme abgerufen, selbst wenn Extract a sub-part of the response (Teil der Antwort abrufen) auf .key festgelegt ist (unter der Annahme, dass key ein Attribut der in den Problemen vorhandenen Elementen ist).
• Preset (Voreinstellung): Wählen Sie die Voreinstellungskonfiguration für den spezifischen Dienst aus, der die Paginierungsstratetgie unterstützt, indem Sie den entsprechenden Dienst auswählen. Klicken Sie auf die Schaltfläche [...] neben diesem Feld, um den Dienst auszuwählen. Sie können einen der folgenden Dienste auswählen.
  • BOX: siehe Offset-based Pagination (Offset-basierte Paginierung) für weitere Informationen.
  • JIRA: siehe JIRA Server platform REST API reference für weitere Informationen.
  • OData: siehe OData Version 4.01. Part 1: Protocol für weitere Informationen.
• Load selected preset (Ausgewählte Voreinstellung laden): Klicken Sie auf diese Schaltfläche, um die Voreinstellungskonfiguration zu laden, die im Feld Preset (Voreinstellung) ausgewählt wurde.

• Normalize attributes (Attribute normalisieren): Damit können Sie einen Wert in den erwarteten Datentyp konvertieren.
• Normalize arrays (Arrays normalisieren): Damit können Sie für einige Elemente eines JSON-Arrays einen Filter anwenden.

  Beispiel:

  Falls Sie die Komponente konfigurieren, um dieses JSON-Dokument abzurufen, werden diese JSON-Inkonsistenzen in der Jobausführungskonsole zurückgegeben:

  Some JSON inconsistencies has been identified:
                                      .users.*.addresses is not consistently present in all objects.
                                      .users.*.active is not consistently present in all objects.
                                      .users.*.email is not consistently present in all objects.
                                      .users.*.addresses is an array that contains items of several types: STRING, OBJECT.
                                      .users.*.addresses.*.country is not consistently present in all objects.
                                      .users.*.addresses.*.street is not consistently present in all objects.
                                      .users.*.addresses.*.zipcode is found with varying types: STRING, INT.
                                      Please, have a look to advanced settings JSON normalization to fix it.

  Um dies zu verhindern, können Sie beispielsweise die Option Normalize attributes (Attribute normalisieren), um das Attribut mit dem Pfad .users.*.addresses als ARRAY-Typ und das Attribut mit dem Pfad users.*.addresses.*.zipcode als INT-Typ zu übergeben, auch wenn einige zurückgegebene Werte den Typ String aufweisen. Sie könnten auch ein fehlendes Attribut wie beispielsweise .users.*.active hinzufügen (hier können Sie es als BOOLEAN übergeben, da es entweder 'wahr' oder 'falsch' zurückgibt).

  Sie könnten auch die Option Normalize arrays (Arrays normalisieren) verwenden, um nur die OBJECT-Elemente in .users.*.addresses zu behalten, auch wenn Adressen auch einige String-Typen enthalten.

Diese Option ist verfügbar, wenn JSON in der Option Response body format (Format des Antwort-Bodys) in den Basiseinstellungen (Basic settings) der Komponente ausgewählt wird.