Bereitstellungseinstellungen

Sie können Einstellungen für die Bereitstellungsdatenaufgabe konfigurieren.

• Öffnen Sie die Bereitstellungsaufgabe und klicken Sie in der Symbolleiste auf Einstellungen.

Das Dialogfeld Einstellungen: <Aufgaben-Name> wird geöffnet. Die verfügbaren Einstellungen werden unten beschrieben.

Allgemein

• Datenbank

  Datenbank, die im Ziel verwendet werden soll.

  InformationshinweisDiese Option ist nicht verfügbar, wenn Daten an Qlik Cloud (über Amazon S3) bereitgestellt werden.

• Aufgabenschema

  Sie können den Namen des Bereitstellungs-Datenaufgabenschemas ändern. Der Standardname lautet Bereitstellung.

  InformationshinweisDiese Option ist nicht verfügbar, wenn Daten an Qlik Cloud (über Amazon S3) bereitgestellt werden.

• Präfix für alle Tabellen und Ansichten

  Sie können ein Präfix für alle Tabellen und Ansichten festlegen, die mit dieser Aufgabe erstellt wurden.

  InformationshinweisDiese Option ist nicht verfügbar, wenn Daten an Qlik Cloud (über Amazon S3) bereitgestellt werden.
  InformationshinweisSie müssen ein eindeutiges Präfix verwenden, wenn Sie ein Datenbankschema in mehreren Datenaufgaben nutzen möchten.

• Aktualisierungsmethode

  Die Bereitstellungsaufgabe startet immer mit einem vollständigen Ladevorgang. Nach Abschluss des vollständigen Ladevorgangs können Sie die bereitgestellten Daten aktualisiert halten, indem Sie eine der folgenden Methoden verwenden:

  InformationshinweisDie Aktualisierungsmethode kann nicht mehr geändert werden, nachdem der Vorbereitungsvorgang für die Bereitstellungsdatenaufgabe abgeschlossen wurde.

  • Change Data Capture (CDC)

    Die bereitgestellten Daten werden mit der CDC-Technologie (Change Data Capture) aktualisiert gehalten. CDC wird möglicherweise nicht von allen Datenquellen unterstützt. CDC erfasst keine DDL-Operation wie beispielsweise das Umbenennen von Spalten oder Änderungen bei Metadaten.

    Wenn Ihre Daten auch Ansichten oder Tabellen enthalten, die CDC nicht unterstützen, werden zwei Daten-Pipelines erstellt. Eine Pipeline enthält alle Tabellen, die CDC unterstützen, und die andere Pipeline alle anderen Tabellen und Ansichten, die Neu laden und vergleichen als Aktualisierungsmethode verwenden.

  • Neu laden und vergleichen

    Alle bereitgestellten Daten werden aus der Quelle neu geladen. Das ist nützlich, wenn Ihre Quelle CDC nicht unterstützt, aber mit jeder unterstützten Datenquelle verwendet werden kann.

    Sie können die Ladevorgänge in regelmäßigen Abständen planen.

• In Bereitstellungsbereich zu verwendender Ordner

  Für Datenplattformen, die einen Bereitstellungsbereich erfordern (z. B. Databricks und Azure Synapse Analytics) können Sie beim Bereitstellen der Daten den zu verwendenden Ordner auswählen.

  • Standardordner

    Dadurch wird ein Ordner mit dem Standardnamen <projektname>/<datenaufgabenname> erstellt.

  • Stammordner

    Speichern Sie Daten im Stammordner des Speichers.

    InformationshinweisDiese Option ist nur verfügbar, wenn Daten für Qlik Cloud (über Amazon S3) bereitgestellt werden.

  • Ordner

    Geben Sie einen Ordnernamen an, der verwendet werden soll.

• Verarbeitungsintervall ändern

  Sie können das Intervall zwischen den Verarbeitungen von Änderungen an der Quelle festlegen.

  InformationshinweisDiese Option ist nur verfügbar, wenn Daten für Qlik Cloud (über Amazon S3) bereitgestellt werden.

• Proxy-Server, wenn Datenverschiebungs-Gateway verwendet wird

  InformationshinweisDiese Option ist nur verfügbar, wenn auf Ziele über Data Movement Gateway zugegriffen wird.

  Sie können wählen, einen Proxy-Server zu verwenden, wenn das Data Movement Gateway eine Verbindung zum Cloud Data Warehouse und zum Speicherbereich herstellt.

  Weitere Informationen zum Konfigurieren des Data Movement Gateways für die Verwendung eines Proxy-Servers finden Sie unter Festlegen des Qlik Cloud Mandanten und eines Proxy-Servers.

  • Proxy für Verbindung mit Cloud Data Warehouse verwenden

    InformationshinweisVerfügbar, wenn Snowflake, Google BigQuery und Databricks verwendet werden.

  • Proxy für Verbindung mit Speicher verwenden

    InformationshinweisVerfügbar, wenn Azure Synapse Analytics, Amazon Redshift und Databricks verwendet werden.

Daten hochladen

• Maximale Dateigröße (MB)

  Die maximale Größe, die eine Datei erreichen kann, bevor sie geschlossen wird. Kleinere Dateien könnten (abhängig vom Netzwerk) schneller hochgeladen werden und die Leistung verbessern, wenn diese Möglichkeit zusammen mit der parallelen Ausführungsoption verwendet wird. Generell wird aber davon abgeraten, die Datenbank mit kleinen Dateien zu überfüllen.

  InformationshinweisDiese Einstellung ist für alle Datenplattformen außer Qlik Cloud relevant.

• Komprimierung verwenden

  Wenn die Option ausgewählt wird, werden die CSV-Dateien (mit gzip) komprimiert, bevor sie an Google BigQuery hochgeladen werden.

  Informationshinweis

  • Diese Einstellung ist nur für Google BigQuery relevant.
  • Erfordert Data Movement Gateway 2023.5.16 oder höher.

Metadaten

LOB-Spalten

• LOB-Spalten einbeziehen und Spaltengröße beschränken auf (KB):

  Sie können sich entscheiden, LOB-Spalten in die Aufgabe einzuschließen, und die maximale LOB-Größe festlegen. LOBs, die die maximale Größe überschreiten, werden abgeschnitten.

  InformationshinweisBei Verwendung von Azure Synapse Analytics als Ziel kann die maximale LOB-Größe nicht über 7 MB liegen.

Kontrolltabellen

Wählen Sie die folgenden Kontrolltabellen aus, die in der Zielplattform erstellt werden sollen:

• Bereitstellungsstatus: Enthält Details über die aktuelle Bereitstellungsaufgabe, u. a. Aufgabenstatus, von der Aufgabe genutzte Arbeitsspeichermenge, Anzahl der noch nicht auf die Datenplattform angewendeten Änderungen und die Position im Quell-Endpunkt, aus dem das Data Movement Gateway derzeit liest.
• Ausgesetzte Tabellen: Stellt eine Liste der ausgesetzten Tabellen und den Grund für die Aussetzung bereit.
• Bereitstellungsverlauf: Stellt Informationen über den Aufgabenverlauf bereit, u.a. die Anzahl und das Volumen der während einer Bereitstellungsaufgabe verarbeiteten Datensätze, die Latenz am Ende einer CDC-Aufgabe und mehr.

• DDL-Verlauf: Enthält einen Verlauf aller unterstützten DDL-Änderungen, die während einer Aufgabe eingetreten sind.

  Informationshinweis

  Die Tabelle „DDL-Verlauf“ wird nur von den folgenden Zielplattformen unterstützt:

  • Databricks

  • Microsoft Fabric

Eine detaillierte Beschreibung der einzelnen Kontrolltabellen finden Sie unter Kontrolltabellen.

Vollständiges Laden

Leistungsfeinabstimmung

• Maximale Anzahl parallel zu ladender Tabellen: Geben Sie die maximale Anzahl Tabellen ein, die gleichzeitig in das Ziel geladen werden können. Der Standardwert ist 5.o

• Zeitüberschreitung für Transaktionseinheitlichkeit (Sekunden): Geben Sie die Anzahl der Sekunden ein, die auf den Abschluss von offenen Transaktionen gewartet werden soll, bevor mit dem vollständigen Ladevorgang begonnen wird. Der Standardwert ist 600 (10 Minuten). Das vollständige Laden beginnt, nachdem der Zeitüberschreitungswert erreicht ist, auch wenn noch offene Transaktionen vorhanden sind.

  InformationshinweisUm Transaktionen zu replizieren, die beim Starten des vollständigen Ladens geöffnet waren, für die aber erst nach Erreichen des Zeitüberschreitungswerts ein Commit durchgeführt wurde, müssen Sie die Zieltabellen neu laden.
• Commit-Rate beim vollständigen Laden: Die maximale Anzahl der Ereignisse, die gleichzeitig übertragen werden können. Der Standardwert ist 10000.

Nach Abschluss des vollständigen Ladens

Primärschlüssel oder eindeutigen Index erstellen: Wählen Sie diese Option aus, wenn Sie die Erstellung des Primärschlüssels oder des eindeutigen Index in der Datenplattform bis nach dem Abschluss des vollständigen Ladens aufschieben möchten.

Für den anfänglichen Ladevorgang

Beim Verschieben von Daten aus SaaS-Anwendungsdatenquellen können Sie festlegen, wie der anfängliche vollständige Ladevorgang durchgeführt werden soll.

Fehlerbearbeitung

Datenfehler

Für Datenabschneidefehler: Wählen Sie aus, was geschehen soll, wenn ein Abschneiden in einem oder mehreren spezifischen Datensätzen auftritt. Sie können eine der folgenden Optionen aus der Liste auswählen:

• Ignorieren: Die Aufgabe wird fortgesetzt und der Fehler wird ignoriert.
• Tabelle aussetzen: Die Aufgabe wird fortgesetzt, aber die Daten aus der Tabelle mit dem Fehlerdatensatz werden in einen Fehlerzustand verschoben, und ihre Daten werden nicht repliziert.
• Aufgabe anhalten: Die Aufgabe wird angehalten, und ein manueller Eingriff ist erforderlich.

Für andere Datenfehler: Wählen Sie aus, was geschehen soll, wenn ein Fehler in einem oder mehreren spezifischen Datensätzen auftritt. Sie können eine der folgenden Optionen aus der Liste auswählen:

• Ignorieren: Die Aufgabe wird fortgesetzt und der Fehler wird ignoriert.
• Tabelle aussetzen: Die Aufgabe wird fortgesetzt, aber die Daten aus der Tabelle mit dem Fehlerdatensatz werden in einen Fehlerzustand verschoben, und ihre Daten werden nicht repliziert.
• Aufgabe anhalten: Die Aufgabe wird angehalten, und ein manueller Eingriff ist erforderlich.

Fehlerbearbeitung eskalieren, wenn andere Datenfehler (pro Tabelle) die folgende Anzahl erreichen: Aktivieren Sie dieses Kontrollkästchen, um die Fehlerbearbeitung zu eskalieren, wenn die Anzahl der anderen Datenfehler (keine Datenabschneidung) pro Tabelle die angegebene Anzahl erreicht. Gültige Werte sind 1-10.000.

Eskalierungsaktion: Wählen Sie aus, was geschehen soll, wenn die Fehlerbearbeitung eskaliert wird. Beachten Sie, dass die verfügbaren Aktionen von der Aktion abhängen, die aus der oben beschriebenen Dropdown-Liste Für andere Datenfehler ausgewählt wurde.

• Tabelle aussetzen (Standard): Die Aufgabe wird fortgesetzt, aber die Daten aus der Tabelle mit dem Fehlerdatensatz werden in einen Fehlerzustand verschoben, und die Daten werden nicht landed.

• Aufgabe anhalten: Die Aufgabe wird angehalten, und ein manueller Eingriff ist erforderlich.

Tabellenfehler

Beim Auftreten eines Tabellenfehlers: Wählen Sie eine der folgenden Optionen aus der Liste aus:

• Tabelle aussetzen (Standard): Die Aufgabe wird fortgesetzt, aber die Daten aus der Tabelle mit dem Fehlerdatensatz werden in einen Fehlerzustand verschoben, und ihre Daten werden nicht repliziert.
• Aufgabe anhalten: Die Aufgabe wird angehalten, und ein manueller Eingriff ist erforderlich.

Fehlerbearbeitung eskalieren, wenn Tabellenfehler (pro Tabelle) die folgende Anzahl erreichen: Aktivieren Sie dieses Kontrollkästchen, um die Fehlerbearbeitung zu eskalieren, wenn die Anzahl der Tabellenfehler pro Tabelle die angegebene Anzahl erreicht. Gültige Werte sind 1-10.000.

Eskalierungsaktion: Die Eskalationsrichtlinie für Tabellenfehler ist auf Aufgabe anhalten festgelegt und kann nicht geändert werden.

Umgebungsbezogen

• Maximale Anzahl Wiederholungsversuche: Wählen Sie diese Option aus und geben Sie dann die maximale Anzahl der Male ein, für die eine Aufgabe wiederholt werden soll, wenn ein wiederherstellbarer umgebungsbezogener Fehler eintritt. Nachdem die angegebene Anzahl Male versucht wurde, die Aufgabe zu wiederholen, wird die Aufgabe angehalten, und ein manueller Eingriff ist erforderlich.

  Um eine Aufgabe nie zu wiederholen, deaktivieren Sie das Kontrollkästchen oder geben Sie „0“ an.

  Um eine Aufgabe eine unendliche Anzahl von Malen zu wiederholen, geben Sie „-1“ an.

  • Intervall zwischen Wiederholungsversuchen (Sekunden): Verwenden Sie den Zähler zur Auswahl oder geben Sie die Anzahl Sekunden an, für die das System zwischen den Wiederholungsversuchen für eine Aufgabe wartet.

    Gültige Werte sind 0-2.000.

• Wiederholungsintervall für lange Ausfälle erhöhen: Aktivieren Sie dieses Kontrollkästchen, um das Wiederholungsintervall für lange Ausfälle zu erhöhen. Wenn diese Option aktiviert ist, wird das Intervall zwischen den einzelnen Wiederholungsversuchen verdoppelt, bis das Maximale Wiederholungsintervall erreicht ist (und die Wiederholungsversuche werden entsprechend dem angegebenen maximalen Intervall fortgesetzt).
  • Maximales Wiederholungsintervall (Sekunden): Verwenden Sie den Zähler für die Auswahl oder geben Sie die Anzahl der Sekunden ein, die zwischen den Wiederholungsversuchen für eine Aufgabe gewartet werden soll, wenn die Option Wiederholungsintervall für lange Ausfälle erhöhen aktiviert ist. Gültige Werte sind 0-2.000.

Feinabstimmung der Änderungsverarbeitung

Anpassung der Transaktionsauslagerung

• Laufende Transaktionen an Festplatte auslagern, wenn:

  Transaktionsdaten werden in der Regel im Arbeitsspeicher aufbewahrt, bis der Commit-Vorgang an die Quelle bzw. an das Ziel abgeschlossen ist. Wenn die Transaktionen jedoch umfangreicher sind als der zugewiesene Arbeitsspeicher, oder wenn der Commit-Vorgang nicht innerhalb des angegebenen Zeitlimits abgeschlossen ist, werden sie auf die Festplatte ausgelagert.

  • Der Gesamtarbeitsspeicher für alle Transaktionen überschreitet (MB): Der maximale Platz, den alle Transaktionen im Arbeitsspeicher belegen können, bevor sie an die Festplatte ausgelagert werden. Der Standardwert ist 1024.
  • Transaktionsdauer überschreitet (Sekunden): Die maximale Zeit, die alle Transaktionen im Arbeitsspeicher bleiben können, bevor sie an die Festplatte ausgelagert werden. Die Dauer wird ab der Zeit berechnet, zu der das Qlik Talend Data Integration mit der Erfassung der Transaktion begann. Der Standardwert ist 60.

Stapeloptimierung

Einige der Einstellungen auf dieser Registerkarte

Einstellungen, die für alle Ziele außer Qlik Cloud relevant sind:

• Stapeländerungen in Intervallen anwenden:

• Mehr als: Die Mindestwartezeit zwischen den einzelnen Anwendungen von Stapeländerungen. Der Standardwert ist 1.

  Wenn Sie den Wert für Mehr als erhöhen, reduziert sich die Häufigkeit, mit der Änderungen auf das Ziel angewendet werden, während gleichzeitig die Stapelgröße zunimmt. Dies kann die Leistung verbessern, wenn Änderungen auf Zieldatenbanken angewendet werden, die für die Verarbeitung großer Stapel optimiert sind.

• Kleiner als: Die maximale Wartezeit zwischen den einzelnen Anwendungen von Stapeländerungen (bevor eine Zeitüberschreitung erklärt wird). Dies ist also die maximal akzeptable Latenz. Der Standardwert ist 30. Dieser Wert bestimmt die maximale Wartezeit vor dem Anwenden der Änderungen, nachdem der Wert Größer als erreicht wurde.

• Anwendung eines Satzes erzwingen, wenn Verarbeitungsspeicher größer ist als (MB):: Die maximale Arbeitsspeichermenge, die zur Vorverarbeitung verwendet werden kann. Der Standardwert ist 500 MB.

  Für die maximale Stapelgröße legen Sie diesen Wert auf die höchste Arbeitsspeichermenge fest, die Sie der Datenaufgabe zuweisen können. Dies kann die Leistung verbessern, wenn Änderungen auf Zieldatenbanken angewendet werden, die für die Verarbeitung großer Stapel optimiert sind.

• Stapeländerungen gleichzeitig auf mehrere Tabellen anwenden: Die Auswahl dieser Option sollte die Leistung verbessern, wenn Änderungen aus zahlreichen Quelltabellen angewendet werden.

  • Maximale Anzahl Tabellen: Die maximale Anzahl der Tabellen, auf die Stapeländerungen gleichzeitig angewendet werden. Der Standardwert ist 5.

  InformationshinweisDiese Option wird nicht unterstützt, wenn Sie Google BigQuery als Datenplattform verwenden.

• Anzahl der pro Änderungsverarbeitungsbefehl angewendeten Änderungen begrenzen auf: Wählen Sie diese Option, um die Anzahl der pro Änderungsverarbeitungsbefehl angewendeten Änderungen zu begrenzen. Der Standardwert ist 10.000.

  InformationshinweisDiese Option wird nur unterstützt, wenn Sie Google BigQuery als Datenplattform verwenden.

Einstellungen, die nur für Qlik Cloud relevant sind:

• Mindestanzahl Änderungen pro Transaktion: Die Mindestanzahl der Änderungen, die in jede Transaktion eingeschlossen werden sollen. Der Standardwert ist 1000.

  Informationshinweis

  Die Änderungen werden auf das Ziel angewendet, wenn entweder die Anzahl der Änderungen größer oder gleich dem Wert für Mindestanzahl Änderungen pro Transaktion ist, ODER wenn der unten beschriebene Wert Maximale Zeit für Stapeltransaktionen vor der Anwendung (Sekunden) erreicht ist, je nachdem, welcher Fall zuerst eintritt. Da die Häufigkeit der Änderungsanwendung auf das Ziel von diesen beiden Parametern gesteuert wird, sind Änderungen an den Quelldatensätzen möglicherweise nicht sofort in den Zieldatensätzen ersichtlich.

• Maximale Zeit für Stapeltransaktionen vor der Anwendung (Sekunden): Die maximale Zeit zum Erfassen von Transaktionen in Stapeln, bevor eine Zeitüberschreitung eintritt. Der Standardwert ist 1.

Intervall

• Änderungen alle (Minuten) lesen

  Legen Sie das Intervall zwischen dem Lesen von Änderungen aus der Quelle in Minuten fest. Der gültige Bereich ist 1 bis 1440.

  Informationshinweis

  Diese Option ist nur in folgenden Fällen verfügbar:

  • Verwenden von Data Movement Gateway
  • Bereitstellen aus SaaS-Anwendungsquellen
  • Die Aufgabe ist mit der Aktualisierungsmethode Change Data Capture (CDC) definiert

Verschiedene Einstellungen

• Anweisungs-Cache-Größe (Anzahl der Anweisungen): Die maximale Anzahl der vorbereiteten Anweisungen zum Speichern auf dem Server zur späteren Ausführung (wenn Änderungen auf das Ziel angewendet werden). Der Standardwert ist 50. Der Höchstwert ist 200.

• DELETE und INSERT beim Aktualisieren einer Primärschlüsselspalte: Für diese Option muss die vollständige ergänzende Protokollierung in der Quelldatenbank aktiviert sein.

Zeichenersetzung

Sie können Quellzeichen in der Zieldatenbank ersetzen oder löschen, bzw. Sie können Quellzeichen ersetzen oder löschen, die von einem ausgewählten Zeichensatz nicht unterstützt werden.

Ersetzen oder Löschen von Quellzeichen

Verwenden Sie die Tabelle Quellzeichen ersetzen oder löschen, um Ersetzungen für spezifische Quellzeichen zu definieren. Das kann beispielsweise nützlich sein, wenn die Unicode-Darstellung eines Zeichens in der Quell- und Zielplattform unterschiedlich ist. Zum Beispiel wird unter Linux das Minuszeichen im Shift_JIS-Zeichensatz als U+2212 dargestellt, unter Windows jedoch als U+FF0D.

Ersetzen oder Löschen von Quellzeichen, die vom ausgewählten Zeichensatz nicht unterstützt werden

Verwenden Sie die Tabelle Vom Zeichensatz nicht unterstützte Quellzeichen, um ein einzelnes Ersatzzeichen für alle vom ausgewählten Zeichensatz nicht unterstützte Zeichen zu definieren.

Weitere Optionen

Diese Optionen werden in der Benutzeroberfläche nicht angezeigt, da sie nur für bestimmte Versionen oder Umgebungen relevant sind. Daher sollten Sie diese Optionen nur festlegen, wenn Sie ausdrücklich vom Qlik-Support oder in der Produktdokumentation dazu angewiesen werden.

Um eine Option festzulegen, kopieren Sie einfach die Option in das Feld Feature-Namen hinzufügen und klicken Sie auf Hinzufügen. Legen Sie dann den Wert fest oder aktivieren Sie die Option, je nach den erhaltenen Anweisungen.

Planen von CDC-Aufgaben beim Arbeiten ohne Data Movement Gateway

Data Movement Gateway wird mit einem Qlik Talend Cloud Starter-Abonnement nicht unterstützt und ist für andere Abonnementstufen optional. Wenn Sie ohne Data Movement Gateway arbeiten, halten Sie die Zieldaten aktualisiert, indem Sie ein Planungsintervall festlegen. Der Zeitplan bestimmt, wie häufig die Zieldatensätze mit Änderungen an den Quelldatensätzen aktualisiert werden. Der Zeitplan bestimmt die Aktualisierungshäufigkeit, während der Datensatztyp die Aktualisierungsmethode bestimmt. Wenn die Quelldatensätze CDC (Change Data Capture) unterstützen, werden nur die Änderungen an den Quelldaten repliziert und auf die entsprechenden Zieltabellen angewendet. Wenn die Quelldatensätze CDC nicht unterstützen (z. B. Ansichten), werden die Änderungen angewendet, indem alle Quelldaten erneut in die entsprechenden Zieltabellen geladen werden. Wenn einige der Quelldatensätze CDC unterstützen und andere nicht, werden zwei getrennte Unteraufgaben erstellt: eine zum erneuten Laden der Datensätze, die CDC nicht unterstützen, und eine zum Erfassen der Änderungen für Datensätze, die CDC unterstützen. In diesem Fall wird zum Sicherstellen der Dateneinheitlichkeit dringend empfohlen, den gleichen Zeitplan für beide Unteraufgaben zu verwenden.

Weitere Informationen zu Mindestplanintervallen entsprechend dem Datenquellentyp und der Abonnementstufe finden Sie unter Zulässige Mindestintervalle für die Planung.

So ändern Sie den Zeitplan:

1. Öffnen Sie Ihr Datenprojekt und führen Sie einen der folgenden Schritte aus:

   • Klicken Sie in der Aufgabenansicht in der Datenaufgabe auf und wählen Sie Planung aus.
   • Klicken Sie in der Pipeline-Ansicht in der Datenaufgabe auf und wählen Sie Planung aus.
   • Öffnen Sie die Bereitstellungsaufgabe und klicken Sie auf die Symbolleistenschaltfläche Planung.
2. Ändern Sie die Planungseinstellungen nach Bedarf und klicken Sie auf OK.