Einstellungen für Cloud-Speicherziele

Sie können die Standardeinstellungen für die Bereitstellung in einem Data Lake nach Bedarf ändern.

Allgemein

Aktualisierungsmethode

Sie können Daten mit zwei unterschiedlichen Modi bereitstellen: Der Modus kann nicht mehr geändert werden, nachdem das Data Lake-Bereitstellungsaufgabe vorbereitet wurde.

• Änderungsdatenerfassung (CDC) mithilfe von Änderungstabellen: Data Lake-Bereitstellungsaufgaben starten mit einem vollständigen Ladevorgang (bei dem alle ausgewählten Tabellen in das Ziel geladen werden). Die Zieldaten werden dann mit der CDC-Technologie (Change Data Capture) aktualisiert gehalten.

  InformationshinweisCDC (Change Data Capture) von DDL-Vorgängen wird nicht unterstützt.

  Bei der Arbeit mit Data Movement Gateway, außer bei Verwendung einer SaaS-Anwendungsquelle, werden Änderungen von der Quelle nahezu in Echtzeit erfasst. Bei der Arbeit ohne Data Movement Gateway oder mit SaaS-Anwendungsquellen werden Änderungen entsprechend den Scheduler-Einstellungen erfasst. Weitere Informationen finden Sie unter Scheduling tasks.

• Neuladen: Führt einen vollständigen Ladevorgang der Daten aus den ausgewählten Quelltabellen in die Zielplattform durch und erstellt bei Bedarf die Zieltabellen. Vollständiges Laden findet automatisch statt, wenn die Aufgabe gestartet wird, kann aber bei Bedarf auch manuell durchgeführt werden oder in regelmäßigen Intervallen geplant werden.

  InformationshinweisDiese Einstellung ist für einen SaaS-Anwendungs-Konnektor nicht verfügbar.

Zu verwendender Ordner

Wählen Sie eine der folgenden Optionen aus, je nachdem, in welchen Bucket-Ordner die Dateien geschrieben werden sollen:

• Standardordner

  Das Standard-Ordnerformat lautet <ihr-projektname>/<ihr-aufgabenname>

• Stammordner

  Die Dateien werden in den Bucket-Stammordner geschrieben.

• Ordner

  Geben Sie einen Ordnernamen an. Wenn der Ordner noch nicht vorhanden ist, wird er während der Datenaufgabe erstellt.

  Informationshinweis Der Ordnername darf keine Sonderzeichen (@, #, ! usw.) enthalten.

Daten hochladen

Dateiattribute

Feldtrennzeichen

Das Trennzeichen, das zum Trennen von Feldern (Spalten) in den Zieldateien verwendet wird. Das Standardzeichen ist ein Komma.

Beispiel für die Verwendung eines Kommas als Trennzeichen:

"mike","male"

Trennzeichen können Standardzeichen oder Hexadezimalwerte (hex) sein. Beachten Sie, dass das Präfix „0x“ verwendet werden muss, um ein Hexadezimal-Trennzeichen zu kennzeichnen (z. B. 0x01 = SOH0x01 = SOH). In den Feldern Feldtrennzeichen, Datensatztrennzeichen und Null-Wert kann das Trennzeichen aus zusammengefassten Hex-Werten bestehen (z. B. 0x0102 = SOHSTX), während in den Feldern Anführungszeichen und Escape-Zeichen für Anführungszeichen nur ein einzelner Hex-Wert verwendet werden kann.

Die Hexadezimalzahl 0x00 wird nicht unterstützt (d. h. nur 0x01-0xFF werden unterstützt).

Null-Wert

Die Zeichenfolge, die zum Angeben eines Null-Werts in den Zieldateien verwendet wird.

Beispiel (wobei \n das Datensatztrennzeichen und @ der Null-Wert ist):

Datensatztrennzeichen

Das Trennzeichen, das zum Trennen von Datensätzen (Zeilen) in den Zieldateien verwendet wird. Der Standardwert ist „neue Zeile“ (\n).

Beispiel:

Anführungszeichen

Das Zeichen, das am Anfang und am Ende einer Textspalte verwendet wird. Der Standardwert sind gerade doppelte Anführungszeichen ("). Wenn eine Spalte, die Spaltentrennzeichen enthält, in doppelte Anführungszeichen eingeschlossen wird, werden die Spaltentrennzeichen als tatsächliche Daten und nicht als Spaltentrennzeichen interpretiert.

Beispiel (wobei @ das Anführungszeichen ist):

Escape-Zeichen für Anführungszeichen

Das Zeichen, das als Escape-Zeichen für ein Anführungszeichen in den tatsächlichen Daten verwendet wird. Der Standardwert sind gerade doppelte Anführungszeichen (").

Beispiel (wobei " das Anführungszeichen und \ das Escape-Zeichen ist):

Parquet-Version

Wählen Sie die von der Zielplattform unterstützte Version aus. Beachten Sie, dass Parquet Version 1.0 nur die Zeitstempeleinheit MICRO unterstützt, während Parquet Version 2.6 sowohl MICRO als auch NANO als Zeitstempeleinheit unterstützt.

Parquet-Zeitstempeleinheit

Wenn Parquet auf Version 2.6 festgelegt ist, wählen Sie MICRO oder NANO aus. Wenn Parquet auf Version 1.0 festgelegt ist, wird nur MICRO unterstützt.

Maximale LOB-Größe Parquet (KB)

Standardmäßig ist die maximale LOB-Größe 64 KB, und der maximale Wert, der in dieses Feld eingegeben werden kann, ist 10.000 KB. Für die Bearbeitung von LOB-Spalten werden mehr Ressourcen benötigt, was sich auf die Leistung auswirkt. Erhöhen Sie diesen Wert nur, wenn Sie LOB-Daten von mehr als 64 KB replizieren und alle LOB-Daten ins Ziel replizieren müssen.

Maximale Dateigröße

Die maximale Größe, die eine Datei erreichen kann, bevor sie geschlossen (und optional komprimiert) wird.

Die maximale Größe, die eine Datei erreichen kann, bevor sie geschlossen wird. Kleinere Dateien könnten (abhängig vom Netzwerk) schneller hochgeladen werden und die Leistung verbessern, wenn diese Möglichkeit zusammen mit der parallelen Ausführungsoption verwendet wird. Generell wird aber davon abgeraten, die Datenbank mit kleinen Dateien zu überfüllen.

Dateien komprimieren mit

Wählen Sie eine der Komprimierungsoptionen aus, um die Zieldateien zu komprimieren, bzw. KEINE (Standardoption), um die Dateien nicht zu komprimieren. Beachten Sie, dass die verfügbaren Komprimierungsoptionen vom ausgewählten Dateiformat abhängen.

Metadaten-Kopfzeile hinzufügen

Sie können optional eine Kopfzeilenzeile zu den Datendateien hinzufügen. Die Kopfzeilenzeile enthält die Quellspaltennamen und/oder die Zwischendatentypen (d. h. Qlik Talend Data Integration).

Beispiel für eine Zieldatei mit einer Kopfzeilenzeile, wenn sowohl Mit Spaltennamen als auch Mit Datentypen ausgewählt sind:

Position:DECIMAL(38,0),Color:VARCHAR(10)

1,"BLUE"

2,"BROWN"

3,"RED"

...

Änderungsverarbeitung

In diesem Abschnitt werden die Bedingungseinstellungen der Änderungsverarbeitung beschrieben.

Änderungen anwenden/speichern, wenn

• Dateigröße erreicht: Geben Sie die maximale Größe der Änderungsdaten an, die erfasst werden soll, bevor die Datei an das Ziel hochgeladen wird.
• Verstrichene Zeit erreicht: Die verstrichene Zeit erreicht x.

Metadatendateien

Wenn die Option Metadatendateien im Zielordner erstellen ausgewählt ist, wird für jede Datendatei eine entsprechende Metadatendatei mit der Dateierweiterung .dfm unter dem angegebenen Zielordner erstellt. Die Metadatendatei stellt zusätzliche Informationen über die Aufgabe/Daten bereit, z. B. den Quellkonnektortyp, den Quelltabellennamen, die Anzahl der Datensätze in der Datendatei usw.

Eine vollständige Beschreibung der Metadatendatei sowie der möglichen Verwendungen finden Sie unter Beschreibung der Metadatendatei .

Metadaten

LOB-Spalten

LOB-Spalten einbeziehen und Spaltengröße beschränken auf (KB)

Sie können sich entscheiden, LOB-Spalten in die Aufgabe einzuschließen, und die maximale LOB-Größe festlegen. LOBs, die die maximale Größe überschreiten, werden abgeschnitten.

JSON-Spaltenzuordnung

Kompatible JSON-Spalten der Quelle den JSON-Spalten auf dem Ziel zuordnen

Wenn diese Option aktiviert ist, werden JSON-Spalten in der Quelle automatisch JSON-Spalten im Ziel zugeordnet.

Der Status und die Anzeige dieser Option wird von folgenden Faktoren bestimmt:

• Neue Aufgaben: Diese Option ist standardmäßig aktiviert, wenn sowohl die Quelle als auch das Ziel den JSON-Datentyp unterstützen.

• Bestehende Aufgaben: Diese Option ist standardmäßig deaktiviert, selbst wenn sowohl die Quelle als auch das Ziel den JSON-Datentyp unterstützen. Hierdurch wird die Abwärtskompatibilität mit nachgelagerten Prozessen beibehalten, wie z. B. Transformationen, die erwarten, dass die Zieldaten im STRING-Format vorliegen (dies entspricht dem vorherigen Verhalten). Sie können die Option entweder deaktiviert lassen oder die nachgelagerten Prozesse so bearbeiten, dass sie mit dem JSON-Format kompatibel sind und dann diese Option aktivieren.

• Neue und bestehende Aufgaben: Wenn der JSON-Datentyp nur von der Quelle unterstützt wird, ist diese Option ausgeblendet. Wenn dem Ziel zu einem späteren Zeitpunkt JSON-Unterstützung hinzugefügt wird, wird die Option zwar angezeigt, bleibt aber deaktiviert. Hierdurch wird die Abwärtskompatibilität mit nachgelagerten Prozessen beibehalten, wie z. B. Transformationen, die erwarten, dass die Zieldaten im STRING-Format vorliegen (dies entspricht dem vorherigen Verhalten).

Kontrolltabellen

Wählen Sie die folgenden Kontrolltabellen aus, die in der Zielplattform erstellt werden sollen:

• Replikationsstatus: Enthält Details über die aktuelle Bereitstellungsaufgabe, u. a. Aufgabenstatus, von der Aufgabe genutzte Arbeitsspeichermenge, Anzahl der noch nicht auf die Datenplattform angewendeten Änderungen und die Position in der Datenquelle, aus der aktuell Daten gelesen wird.
• Ausgesetzte Tabellen: Stellt eine Liste der ausgesetzten Tabellen und den Grund für die Aussetzung bereit.
• Bereitstellungsverlauf: Stellt Informationen über den Aufgabenverlauf bereit, u.a. die Anzahl und das Volumen der während einer Bereitstellungsaufgabe verarbeiteten Datensätze, die Latenz am Ende einer CDC-Aufgabe und mehr.
• Datenpartitionen ändern: Stellt Datensätze von Partitionen bereit, die in der Zieldatenbank aufgrund von Änderungsdatenpartitionierung erstellt wurden. Sie können anhand dieser Informationen partitionierte Daten identifizieren, die noch weiter verarbeitet werden müssen.

Eine detaillierte Beschreibung der einzelnen Kontrolltabellen finden Sie unter Kontrolltabellen

Vollständiges Laden

Leistungsfeinabstimmung

• Maximale Anzahl parallel zu ladender Tabellen: Geben Sie die maximale Anzahl Tabellen ein, die gleichzeitig in das Ziel geladen werden können. Der Standardwert ist 5.o

• Zeitüberschreitung für Transaktionseinheitlichkeit (Sekunden): Geben Sie die Anzahl der Sekunden ein, die gewartet werden soll, bis offene Transaktionen abgeschlossen sind, bevor der vollständige Ladevorgang beginnt. Der Standardwert ist 600 (10 Minuten). Das vollständige Laden beginnt, nachdem der Zeitüberschreitungswert erreicht ist, auch wenn noch offene Transaktionen vorhanden sind.

  InformationshinweisUm Transaktionen zu replizieren, die beim Starten des vollständigen Ladens geöffnet waren, für die aber erst nach Erreichen des Zeitüberschreitungswerts ein Commit durchgeführt wurde, müssen Sie die Zieltabellen neu laden.
• Commit-Rate beim vollständigen Laden: Die maximale Anzahl der Ereignisse, die gleichzeitig übertragen werden können. Der Standardwert ist 10000.

Nach Abschluss des vollständigen Ladens

Primärschlüssel oder eindeutigen Index erstellen: Wählen Sie diese Option aus, wenn Sie die Erstellung des Primärschlüssels oder des eindeutigen Index in der Datenplattform bis nach dem Abschluss des vollständigen Ladens aufschieben möchten.

Für den anfänglichen Ladevorgang

Änderungen speichern

Wenn Sie die Aktualisierungsmethode Change Data Capture (CDC) auswählen, werden Aktualisierungen der Quelldaten in Änderungstabellen auf der Zielplattform gespeichert. Änderungstabellen erfassen alle Einfüge-, Aktualisierungs- und Löschvorgänge aus der Quelle, wodurch nachgeschaltete Anwendungen Änderungen inkrementell verarbeiten können.

Dieser Abschnitt beschreibt, wie die Optionen für Änderungstabellen konfiguriert werden: DDL-Verarbeitung, Speicherung von Update-Images und das Verhalten bei der Tabellenerstellung.

Weitere ausführliche Informationen zu Änderungstabellen finden Sie unter Verwenden von Änderungstabellen.

Grundeinstellungen

DDL-Optionen

DDL-Optionen (Data Definition Language) bestimmen, wie Schemaänderungen aus der Quelle in den Änderungstabellen gehandhabt werden.

• Auf Änderungstabelle anwenden: Wenn Sie diese Option auswählen, wendet das System DDL-Änderungen von den Quelltabellen (wie das Hinzufügen oder Entfernen von Spalten) automatisch auf die entsprechenden Änderungstabellen an. Verwenden Sie diese Option, wenn Ihre nachgeschalteten Anwendungen Änderungstabellen benötigen, die alle Schemaänderungen aus der Quelle widerspiegeln.

• Ignorieren: Das System ignoriert alle DDL-Änderungen an der Quelle. Die Struktur der Änderungstabelle bleibt unverändert. Verwenden Sie diese Option, wenn DDL-Änderungen in der Quelle die gespeicherten Änderungen nicht beeinflussen sollen oder wenn Ihr Zielsystem feste Tabellenschemata erfordert.

Erweiterte Einstellungen

Bei Aktualisierung

UPDATE-Einstellungen steuern, welche Daten erfasst werden, wenn ein Quelldatensatz aktualisiert wird.

Vor und nach Image speichern: Das System erfasst sowohl die Originaldaten (vor dem Update) als auch die geänderten Daten (nach dem Update). Diese Option erfordert mehr Speicherplatz, bietet aber vollständige Audit-Informationen, die nachgelagerten Systemen ermöglichen, alte und neue Werte zu vergleichen oder komplexe Änderungsanalysen durchzuführen. Verwenden Sie dies, wenn Ihre Anwendungen den vollständigen Änderungskontext benötigen.

Wenn diese Option deaktiviert ist, erfasst das System nur die geänderten Daten (nach dem Update), nicht die ursprünglichen Werte. Diese Option reduziert die Speicheranforderungen auf dem Ziel. Verwenden Sie dies, wenn Sie nur den aktuellen Zustand geänderter Datensätze benötigen und keine historischen Vorwerte erforderlich sind.

Änderungstabellenerstellung

Überschreiben des Standard-Änderungstabellen-Suffix und des Header-Spalten-Präfix

• Suffix: Geben Sie einen String an, der als Suffix für alle Änderungstabellen verwendet werden soll. Der Standardwert ist __ct. Die Namen der Änderungstabellen sind der Name der Zieltabelle mit angehängtem Suffix. Wenn Sie beispielsweise den Standardwert verwendet, lautet der Name der Änderungstabelle HR__ct.
• Präfix der Kopfzeilenspalte: Geben Sie einen String an, der als Präfix für alle Kopfzeilenspalten der Änderungstabellen verwendet werden soll. Der Standardwert ist header__. Beispiel: Wenn der Standardwert verwendet wird, lautet der Name der Kopfzeilenspalte stream_position header__stream_position.

Festlegen, wie vorhandene Änderungstabellen behandelt werden, wenn das vollständige Laden startet

Wenn ein vollständiges Laden startet, bestimmen diese Einstellungen, wie vorhandene Änderungstabellen auf dem Ziel behandelt werden. Wählen Sie die Option aus, die am besten zu Ihren Anforderungen an Datenwiederherstellung und Speicherung passt:

• LÖSCHEN und ERSTELLEN: Das System entfernt die vorhandene Änderungstabelle vollständig und erstellt eine neue leere. Alle zuvor gespeicherten Änderungen werden gelöscht. Verwenden Sie dies, wenn Sie mit jedem Zyklus des vollständigen Ladens einen Neuanfang möchten.

• Alte Änderungen löschen und neue Änderungen in der vorhandenen Änderungstabelle speichern: Das System entfernt alle Daten aus der vorhandenen Änderungstabelle, ohne deren Struktur oder Metadaten zu beeinflussen. Neue Änderungen werden in derselben Tabelle gespeichert. Verwenden Sie dies, wenn Sie die Tabellenstruktur beibehalten, aber vorherige Änderungen Löschen möchten.

• Alte Änderungen beibehalten und neue Änderungen in vorhandener Änderungstabelle speichern: Das System bewahrt alle vorhandenen Daten und Metadaten in der Änderungstabelle auf. Neue Änderungen werden zu den vorhandenen Daten hinzugefügt. Verwenden Sie dies, wenn Sie alle Änderungen über mehrere Zyklen des vollständigen Ladens ansammeln müssen.

Änderungsdatenpartitionierung

In einer Standard-Bereitstellungsaufgabe (ohne Change Data Partitioning) werden Änderungen ohne bestimmte Reihenfolge im Ziel bereitgestellt. Änderungsdatenpartitionierung ermöglicht das Verarbeiten von Änderungsdaten aus zahlreichen Tabellen auf einheitliche Weise. Sie können die Dauer der Partitionen und die Partitionierungs-Basiszeit definieren. Damit stellen Sie die Einheitlichkeit aller partitionierten Daten sicher (also keine teilweisen Transaktionen, keine Sortierkopfzeilen ohne Sortierzeilen usw.).

Informationen über die Partitionen werden in der Kontrolltabelle attrep_cdc_partitions in der Zieldatenbank aufgezeichnet. Anhand dieser Informationen können partitionierte Daten identifiziert werden, die noch weiter verarbeitet werden müssen.

Verstehen, wie die Partitionierung gemäß Quelltyp funktioniert

• Aus Datenbankquellen:

  In einer Standard-Bereitstellungsaufgabe (ohne Change Data Partitioning) werden Änderungen ohne bestimmte Reihenfolge im Ziel bereitgestellt. Änderungsdatenpartitionierung ermöglicht das Verarbeiten von Änderungsdaten aus zahlreichen Tabellen auf einheitliche Weise. Sie können die Dauer der Partitionen und die Partitionierungs-Basiszeit definieren. Damit stellen Sie die Einheitlichkeit aller partitionierten Daten sicher (also keine teilweisen Transaktionen, keine Sortierkopfzeilen ohne Sortierzeilen usw.).

  • Geplante CDC: Partitionen werden erstellt, wenn die geplante Aufgabeninstanz ausgeführt wird. Wenn also zum Beispiel eine Aufgabe so geplant ist, dass sie jeden Tag um Mitternacht ausgeführt wird, und Partition every auf 4 Stunden eingestellt ist, dann stellt die Anzahl der erstellten Partitionen die Zeit dar, zu der die Commits in den letzten 24 Stunden stattgefunden haben. Wenn Commits zwischen 01:00-03:00 und 16:15-18:00 aufgetreten sind und die Partitionierungsbasiszeit auf 0:00 eingestellt ist, dann werden zwei Partitionen erstellt: 0:00-04:00 und 16:00-20:00.

  • Kontinuierliche CDC: Wenn Partitionieren alle auf 4 Stunden eingestellt ist, erstellt Replicate alle 4 Stunden eine Partition, die alle Commits enthält, die während dieses Zeitraums aufgetreten sind. Wenn es in 4 Stunden keine Commits gab, dann wird für diesen Zeitraum keine Partition erstellt.

• Aus SaaS-Anwendungsquellen:

  Aufgaben, die Daten aus SaaS-Anwendungsquellen abrufen, werden immer geplant. Partitionen basieren auf der Datenextraktionszeit, da das Konzept von Commits in SaaS-Anwendungsquellen nicht existiert. Die Datenextraktion beginnt, wenn die geplante Aufgabeninstanz ausgeführt wird. Wenn beispielsweise eine Aufgabe so geplant ist, dass sie jeden Tag um Mitternacht ausgeführt wird, und Partition alle auf 4 Stunden eingestellt ist, dann repräsentiert die Anzahl der erstellten Partitionen die Dauer der Datenextraktion. Wenn die Datenextraktion weniger als zwei Stunden dauert, wird eine einzelne Partition erstellt. Aber wenn die Extraktion sechs Stunden dauert (zum Beispiel), werden zwei Partitionen erstellt.

Partitionierungsoptionen

• Partitionieren alle: Die Länge (in Stunden und Minuten) jeder Partition angeben.

  Informationshinweis

  Es wird empfohlen, eine Partitionslänge von mehr als einer Stunde anzugeben. Wenn Sie eine Partitionslänge von weniger als einer Stunde angeben, kann dies zwar die Latenz verbessern, aber die Erstellung zahlreicher Partitionen für ein Ziel kann in Systemen mit großen Änderungsmengen auch die (Ziel-)Leistung beeinträchtigen.

  Wenn Sie eine Aufgabe von VOR der Zeit der Erstellung der letzten Partition fortsetzen, schreibt die Data Lake-Bereitstellungsaufgabe in eine Partition, die bereits geschlossen wurde.

• Partitionierungsbasiszeit: Partitionen werden in 24-Stunden-Zeiträumen erstellt, die entsprechend der angegebenen „Partitionierungsbasiszeit“ der Quelldatenbank in UTC berechnet werden. Beispielsweise werden bei einem Partitionierungsintervall von 8 Stunden mit einer „Partitionierungsbasiszeit“ von 02:00 die folgenden Partitionen erstellt: 02:00-10:00, 10:00-18:00, 18:00-02:00, jedoch nicht unbedingt in dieser Reihenfolge. Wenn etwa eine Aufgabe um 01:00 startet, lautet der Zeitrahmen der ersten Partition 18:00-02:00. Wenn außerdem eine Aufgabe während einer Partition gestartet wird (z. B. um 04:00), werden ihre Änderungsdaten in die Partition 02:00-10:00 eingefügt, auch wenn vor 04:00 keine Änderungen erfasst wurden.

Tabellenkopfzeilenspalten

Die Änderungstabelle enthält System-Metadaten-Spalten mit einem konfigurierbaren Präfix. Standardmäßig werden diese Spalten mit header__ präfixiert (zum Beispiel header__stream_position, header__operation). Diese Spalten enthalten Informationen zu jedem Änderungsdatensatz, wie den Vorgangstyp (INSERT, UPDATE, DELETE) und die Reihenfolge, in der Änderungen aufgetreten sind.

Sie können bestimmte Kopfzeilenspalten aus der Änderungstabelle ausschließen, wenn Sie diese Metadaten nicht benötigen. Dadurch wird der Speicherbedarf auf der Zielplattform reduziert.

Fehlerbearbeitung

Datenfehler

Datenabschneidefehler

Für Datenabschneidefehler: Wählen Sie aus, was geschehen soll, wenn ein Abschneiden in einem oder mehreren spezifischen Datensätzen auftritt. Sie können eine der folgenden Optionen aus der Liste auswählen:

• Ignorieren: Die Aufgabe wird fortgesetzt und der Fehler wird ignoriert.
• Tabelle aussetzen: Die Aufgabe wird fortgesetzt, aber die Daten aus der Tabelle mit dem Fehlerdatensatz werden in einen Fehlerzustand verschoben, und ihre Daten werden nicht repliziert.
• Aufgabe anhalten: Die Aufgabe wird angehalten, und ein manueller Eingriff ist erforderlich.

Andere Datenfehler

Für andere Datenfehler: Wählen Sie aus, was geschehen soll, wenn ein Fehler in einem oder mehreren spezifischen Datensätzen auftritt. Sie können eine der folgenden Optionen aus der Liste auswählen:

• Ignorieren: Die Aufgabe wird fortgesetzt und der Fehler wird ignoriert.
• Tabelle aussetzen: Die Aufgabe wird fortgesetzt, aber die Daten aus der Tabelle mit dem Fehlerdatensatz werden in einen Fehlerzustand verschoben, und ihre Daten werden nicht repliziert.
• Aufgabe anhalten: Die Aufgabe wird angehalten, und ein manueller Eingriff ist erforderlich.

Eskalieren der Datenfehlerbearbeitung

Fehlerbearbeitung eskalieren, wenn andere Datenfehler (pro Tabelle) die folgende Anzahl erreichen: Aktivieren Sie dieses Kontrollkästchen, um die Fehlerbearbeitung zu eskalieren, wenn die Anzahl der anderen Datenfehler (keine Datenabschneidung) pro Tabelle die angegebene Anzahl erreicht. Gültige Werte sind 1-10.000.

Eskalierungsaktion: Wählen Sie aus, was geschehen soll, wenn die Fehlerbearbeitung eskaliert wird. Beachten Sie, dass die verfügbaren Aktionen von der Aktion abhängen, die aus der oben beschriebenen Dropdown-Liste Für andere Datenfehler ausgewählt wurde.

• Tabelle aussetzen (Standard): Die Aufgabe wird fortgesetzt, aber die Daten aus der Tabelle mit dem Fehlerdatensatz werden in einen Fehlerzustand verschoben, und die Daten werden nicht landed.

• Aufgabe anhalten: Die Aufgabe wird angehalten, und ein manueller Eingriff ist erforderlich.

Tabellenfehler

Bei Auftreten eines Tabellenfehlers: Wählen Sie eine der folgenden Optionen aus der Dropdown-Liste aus:

• Tabelle aussetzen (Standard): Die Aufgabe wird fortgesetzt, aber die Daten aus der Tabelle mit dem Fehlerdatensatz werden in einen Fehlerzustand verschoben, und ihre Daten werden nicht repliziert.
• Aufgabe anhalten: Die Aufgabe wird angehalten und ein manueller Eingriff ist erforderlich.

Fehlerbearbeitung eskalieren, wenn Tabellenfehler (pro Tabelle) die folgende Anzahl erreichen: Aktivieren Sie dieses Kontrollkästchen, um die Fehlerbearbeitung zu eskalieren, wenn die Anzahl der Tabellenfehler (pro Tabelle) die angegebene Anzahl erreicht. Gültige Werte sind 1-10.000.

Eskalierungsaktion: Die Eskalationsrichtlinie für Tabellenfehler ist auf Aufgabe anhalten festgelegt und kann nicht geändert werden.

Umgebungsbezogen

• Maximale Anzahl Wiederholungsversuche: Wählen Sie diese Option aus und geben Sie dann die maximale Anzahl der Male ein, für die eine Aufgabe wiederholt werden soll, wenn ein wiederherstellbarer umgebungsbezogener Fehler eintritt. Nachdem die angegebene Anzahl Male versucht wurde, die Aufgabe zu wiederholen, wird die Aufgabe angehalten, und ein manueller Eingriff ist erforderlich.

  Um eine Aufgabe nie zu wiederholen, deaktivieren Sie das Kontrollkästchen oder geben Sie „0“ an.

  Um eine Aufgabe eine unendliche Anzahl von Malen zu wiederholen, geben Sie „-1“ an.

  • Intervall zwischen Wiederholungsversuchen (Sekunden): Verwenden Sie den Zähler zur Auswahl oder geben Sie die Anzahl Sekunden an, für die das System zwischen den Wiederholungsversuchen für eine Aufgabe wartet.

    Gültige Werte sind 0-2.000.

• Wiederholungsintervall für lange Ausfälle erhöhen: Aktivieren Sie dieses Kontrollkästchen, um das Wiederholungsintervall für lange Ausfälle zu erhöhen. Wenn diese Option aktiviert ist, wird das Intervall zwischen den einzelnen Wiederholungsversuchen verdoppelt, bis das Maximale Wiederholungsintervall erreicht ist (und die Wiederholungsversuche werden entsprechend dem angegebenen maximalen Intervall fortgesetzt).
  • Maximales Wiederholungsintervall (Sekunden): Verwenden Sie den Zähler für die Auswahl oder geben Sie die Anzahl der Sekunden ein, die zwischen den Wiederholungsversuchen für eine Aufgabe gewartet werden soll, wenn die Option Wiederholungsintervall für lange Ausfälle erhöhen aktiviert ist. Gültige Werte sind 0-2.000.

Feinabstimmung der Änderungsverarbeitung

Anpassung der Transaktionsauslagerung

• Laufende Transaktionen an Festplatte auslagern, wenn:

  Transaktionsdaten werden in der Regel im Arbeitsspeicher aufbewahrt, bis der Commit-Vorgang an die Quelle bzw. an das Ziel abgeschlossen ist. Wenn die Transaktionen jedoch umfangreicher sind als der zugewiesene Arbeitsspeicher, oder wenn der Commit-Vorgang nicht innerhalb des angegebenen Zeitlimits abgeschlossen ist, werden sie auf die Festplatte ausgelagert.

  • Der Gesamtarbeitsspeicher für alle Transaktionen überschreitet (MB): Der maximale Platz, den alle Transaktionen im Arbeitsspeicher belegen können, bevor sie an die Festplatte ausgelagert werden. Der Standardwert ist 1024.
  • Transaktionsdauer überschreitet (Sekunden): Die maximale Zeit, die alle Transaktionen im Arbeitsspeicher bleiben können, bevor sie an die Festplatte ausgelagert werden. Die Dauer wird ab der Zeit berechnet, zu der das Qlik Talend Data Integration mit der Erfassung der Transaktion begann. Der Standardwert ist 60.

Stapeloptimierung

• Mindestanzahl Änderungen pro Transaktion: Die Mindestanzahl der Änderungen, die in jede Transaktion eingeschlossen werden sollen. Der Standardwert ist 1000.

  Informationshinweis

  Die Änderungen werden auf das Ziel angewendet, wenn entweder die Anzahl der Änderungen größer oder gleich dem Wert für Mindestanzahl Änderungen pro Transaktion ist, ODER wenn der unten beschriebene Wert Maximale Zeit für Stapeltransaktionen vor der Anwendung (Sekunden) erreicht ist, je nachdem, welcher Fall zuerst eintritt. Da die Häufigkeit der Änderungsanwendung auf das Ziel von diesen beiden Parametern gesteuert wird, sind Änderungen an den Quelldatensätzen möglicherweise nicht sofort in den Zieldatensätzen ersichtlich.

• Maximale Zeit für Stapeltransaktionen vor der Anwendung (Sekunden): Die maximale Zeit zum Erfassen von Transaktionen in Stapeln, bevor eine Zeitüberschreitung eintritt. Der Standardwert ist 1.

Interval

• Änderungen alle (Minuten) lesen

  Das Intervall zwischen dem Lesen von Änderungen aus der Quelle in Minuten. Der gültige Bereich ist 1 bis 1440.

  Informationshinweis

  Diese Option ist nur für Aufgaben, die Folgendes verwenden:

  • Data Movement Gateway
  • Mit der Aktualisierungsmethode Change Data Capture (CDC)

Nach Änderungen suchen

• Gemäß dem Delta-Extraktionsintervall: Wenn diese Option ausgewählt ist, prüft die Datenaufgabe auf Änderungen gemäß dem Delta-Extraktionsintervall.

  InformationshinweisDas Intervall beginnt nach jeder „Runde“. Eine Runde kann als die Zeit definiert werden, die die Datenaufgabe benötigt, um die Änderungen in den Quelltabellen zu lesen und sie an das Ziel zu senden (in einer einzigen Transaktion). Die Länge einer Runde variiert je nach Anzahl der Tabellen und Änderungen. Wenn Sie also ein Intervall von 10 Minuten angeben und eine Runde 4 Minuten dauert, dann beträgt die tatsächliche Zeit zwischen den Prüfungen auf Änderungen 14 Minuten.

  • Delta-Extraktionsintervall: Die Häufigkeit, mit der Deltas aus Ihrem System extrahiert werden. Der Standardwert ist alle 60 Sekunden.

• Wie geplant: Wenn diese Option ausgewählt ist, extrahiert die Datenaufgabe das Delta einmal und stoppt dann. Sie wird dann weiterhin wie geplant ausgeführt.

  InformationshinweisDiese Option ist nur relevant, wenn das Intervall zwischen den CDC-Zyklen 24 Stunden oder mehr beträgt.

  Informationen zur Planung:

  • „Daten in Data Lake bereitstellen“-Aufgaben in einem Replikationsprojekt: siehe Planen von CDC für Lake-Bereitstellungsaufgaben

Verschiedene Einstellungen

• Anweisungs-Cache-Größe (Anzahl der Anweisungen): Die maximale Anzahl vorbereiteter Anweisungen zum Speichern auf dem Server zur späteren Ausführung (wenn Änderungen auf das Ziel angewendet werden). Der Standardwert ist 50. Der Höchstwert ist 200.

• LÖSCHEN und EINFÜGEN beim Aktualisieren einer Primärschlüsselspalte: Für diese Option muss die vollständige ergänzende Protokollierung in der Quelldatenbank aktiviert sein.

  InformationshinweisDiese Einstellung ist nicht verfügbar für Aufgaben, die einen SaaS-Anwendungskonnektor verwenden, es sei denn, es ist ein Lite Konnektor.

Automatische Schemaentwicklung

Wählen Sie aus, wie die folgenden DDL-Änderungstypen im Schema behandelt werden sollen. Wenn Sie die Einstellungen für die Schemaentwicklung geändert haben, müssen Sie die Aufgabe erneut vorbereiten. In der folgenden Tabelle wird beschrieben, welche Aktionen für die unterstützten DDL-Änderungen verfügbar sind.

Zeichenersetzung

Sie können Quellzeichen in der Zieldatenbank ersetzen oder löschen, bzw. Sie können Quellzeichen ersetzen oder löschen, die von einem ausgewählten Zeichensatz nicht unterstützt werden.

Ersetzen oder Löschen von Quellzeichen

Verwenden Sie die Tabelle Quellzeichen ersetzen oder löschen, um Ersetzungen für spezifische Quellzeichen zu definieren. Das kann beispielsweise nützlich sein, wenn die Unicode-Darstellung eines Zeichens in der Quell- und Zielplattform unterschiedlich ist. Zum Beispiel wird unter Linux das Minuszeichen im Shift_JIS-Zeichensatz als U+2212 dargestellt, unter Windows jedoch als U+FF0D.

Ersetzen oder Löschen von Quellzeichen, die vom ausgewählten Zeichensatz nicht unterstützt werden

Verwenden Sie die Tabelle Vom Zeichensatz nicht unterstützte Quellzeichen, um ein einzelnes Ersatzzeichen für alle vom ausgewählten Zeichensatz nicht unterstützte Zeichen zu definieren.

Paralleles Laden von Datensatzsegmenten

Beim vollständigen Laden können Sie das Laden großer Datensätze beschleunigen, indem Sie den Datensatz in Segmente aufteilen, die dann parallel geladen werden. Tabellen können nach Datenbereichen, allen Partitionen, allen Unterpartitionen oder bestimmten Partitionen aufgeteilt werden.

Weitere Informationen finden Sie unter Paralleles Replizieren von Datensatzsegmenten.

Weitere Optionen

Diese Optionen werden in der Benutzeroberfläche nicht angezeigt, da sie nur für bestimmte Versionen oder Umgebungen relevant sind. Daher sollten Sie diese Optionen nur festlegen, wenn Sie ausdrücklich vom Qlik-Support oder in der Produktdokumentation dazu angewiesen werden.

Um eine Option festzulegen, kopieren Sie einfach die Option in das Feld Feature-Namen hinzufügen und klicken Sie auf Hinzufügen. Legen Sie dann den Wert fest oder aktivieren Sie die Option, je nach den erhaltenen Anweisungen.

Planen von CDC für Lake-Bereitstellungsaufgaben

In den folgenden Anwendungsfällen müssen Sie ein Zeitplanungsintervall festlegen, um die Zieldaten aktuell zu halten:

• Beim Zugreifen auf Datenquellen ohne Data Movement Gateway
• Verwenden eines SaaS-Anwendungskonnektors, der kein Lite-Konnektor ist.
• Beim Erfassen von Änderungen aus einer SAP OData-Quelle mithilfe der Nach Zeitplan Option.

Der Zeitplan bestimmt, wie häufig die Zieldatensätze mit Änderungen an den Quelldatensätzen aktualisiert werden. Der Zeitplan bestimmt die Aktualisierungshäufigkeit, während der Datensatztyp die Aktualisierungsmethode bestimmt. Wenn ein Dataset CDC unterstützt, werden nur die Änderungen an diesem Dataset abgerufen und an die entsprechende Zieltabelle weitergegeben. Wenn ein Dataset CDC nicht unterstützt (z. B. eine Ansicht), werden Änderungen durch Neuladen des gesamten Datasets übertragen. Mit SaaS-Anwendungskonnektoren wird eine einzelne Aufgabe erstellt, mit der Möglichkeit, CDC-Intervalle und Neuladeintervalle während des Onboardings und später in den Zeitplaneinstellungen der Aufgabe zu planen. Bei Verwendung anderer Konnektortypen (zum Beispiel Datenbanken) mit der CDC-Aktualisierungsmethode, wenn einige der ausgewählten Datensätze CDC unterstützen und andere nicht, werden zwei separate Unteraufgaben erstellt: eine zum Abrufen der Änderungen an den Datensätzen, die CDC unterstützen, und die andere zum erneuten Laden der Datensätze, die CDC nicht unterstützen.

So ändern Sie den Zeitplan:

1. Öffnen Sie Ihr Pipeline-Projekt und führen Sie einen der folgenden Schritte aus:

   • In der Aufgabenansicht, klicken Sie in einer Datenaufgabe und wählen Sie Planung aus.
   • In der Pipeline-Ansicht klicken Sie auf in einer Datenaufgabe und wählen Sie Planung aus.
   • Öffnen Sie die Replikationsaufgabe und klicken Sie auf die Symbolleistenschaltfläche Planung.
2. Ändern Sie die Planungseinstellungen nach Bedarf und klicken Sie auf OK.

Ausführen eines verpassten Laufs für eine Aufgabe basierend auf Data Movement Gateway

Manchmal kann ein Netzwerkproblem dazu führen, dass die Verbindung zu Data Movement Gateway unterbrochen wird. Wenn die Verbindung zu Data Movement Gateway nicht vor der nächsten geplanten Ausführung wiederhergestellt wird, kann die Datenaufgabe nicht wie geplant ausgeführt werden. In solchen Fällen können Sie wählen, ob eine Ausführung direkt nach der Wiederherstellung der Verbindung ausgeführt werden soll.

Die Standardeinstellungen für alle Data Movement Gateways sind im Administration Aktivitätscenter definiert. Sie können diese Einstellungen für einzelne Aufgaben wie unten beschrieben überschreiben.

Dazu

1. Öffnen Sie Ihr Projekt und führen Sie einen der folgenden Schritte aus:

   • In der Aufgabenansicht, klicken Sie in der Datenaufgabe und wählen Sie Planung aus.

   • In der Pipeline-Ansicht klicken Sie auf in der Datenaufgabe und wählen Sie Planung aus.

   • Öffnen Sie die Datenaufgabe und klicken Sie auf die Symbolleistenschaltfläche Planung.

   Das Dialogfeld Planung – <task> wird geöffnet.

2. Aktivieren Sie Benutzerdefinierte Einstellungen für diese Aufgabe verwenden.

3. Unten im Dialogfeld wählen Sie eine der folgenden Optionen für Verpasste geplante Aufgaben ausführen.

   • So schnell wie möglich und dann planmäßig, wenn die Aufgabe vor der nächsten geplanten Instanz ausgeführt werden muss

   • Wie geplant, um die Aufgabe zur nächsten geplanten Instanz auszuführen

4. Speichern Sie die Einstellungen.

Siehe auch: Ausführen einer Aufgabenausführung nach einem verpassten Zeitplantermin.