Erweiterte Ausführungsoptionen

Neben den Standardoptionen Ausführen, Anhalten und Fortsetzen stehen mehrere weitere Optionen für das Ausführen von Aufgaben zur Verfügung. Sie können das Dialogfeld Erweiterte Ausführungsoptionen mit den folgenden Schritten öffnen:

• Wählen Sie entweder in der Pipeline-Ansicht oder in der Kachelansicht im Menü der Replikationsaufgabe die Option Erweiterte Ausführungsoptionen aus.
• Öffnen Sie die Replikationsaufgabe und wählen Sie im Menü oben rechts die Option Erweiterte Ausführungsoptionen aus.

Verarbeiten von Änderungen

Wählen Sie im Dialogfeld Erweiterte Ausführungsoptionen die Option Änderungen verarbeiten aus. Folgende Optionen sind verfügbar:

• Die Tabellen sind bereits geladen. Änderungsverarbeitung beginnen ab:

  InformationshinweisMetadatenänderungen, die in Quelltabellen durchgeführt werden, während eine Aufgabe angehalten ist (z. B. DROP COLUMN) werden nicht erfasst, wenn die Aufgabe von einem früheren Zeitpunkt oder einer früheren Position fortgesetzt wird (SCN/LSN). In einem solchen Fall werden die Metadaten erfasst, die zum Zeitpunkt der Fortsetzung der Aufgabe vorhanden sind.

  • Datum und Uhrzeit: Legen Sie das Datum und die Uhrzeit fest, zu denen Sie mit der Erfassung von Änderungen beginnen möchten.

    Informationshinweis

    • Wenn Protokolle aus der Datenbank gelöscht werden (z. B. aufgrund einer Bereinigungsrichtlinie), ist möglicherweise kein Protokoll für das angegebene Datum und die Uhrzeit vorhanden. In diesem Fall setzt die Datenaufgabe die Aufgabe ab dem frühest möglichen Zeitpunkt nach dem angegebenen Datum und der Uhrzeit fort.
    • Mit dem Quellendpunkt IBM DB2 for LUW kann diese Option nicht verwendet werden, um Änderungsanwendungsaufgaben ab einem Zeitpunkt vor der ursprünglichen Startuhrzeit der Änderungsanwendungsaufgabe zu starten. Anders ausgedrückt, kann sie nur verwendet werden, um Aufgaben zu einem anderen Zeitpunkt nach der ursprünglichen Startuhrzeit der Änderungsanwendungsaufgabe zu starten.
    • Der Zeitstempel verwendet die Ortszeit des Browsercomputers.

  • Quelländerungsposition (SCN oder LSN): Geben Sie die Position im Protokoll an, an der die Änderungsverarbeitung fortgesetzt werden soll. Das Format der Quelländerungsposition ist je nach Datenquelle unterschiedlich. Weitere Informationen finden Sie unter Finden der Quelländerungsposition.

    Informationshinweis

    Die Option Quelländerungsposition wird nur für die folgenden Quellendpunkte unterstützt:

    • Oracle
    • Microsoft SQL Server
    • MySQL
    • PostgreSQL
    • IBM DB2 for z/OS
    • IBM DB2 for LUW

Wiederherstellen von Aufgaben

Wählen Sie im Dialogfeld Erweiterte Ausführungsoptionen die Option Wiederherstellen aus. Folgende Optionen sind verfügbar:

• Mithilfe von lokal gespeichertem Prüfpunkt wiederherstellen: Verwenden Sie diese Option, wenn eine Wiederherstellung mit den bereits geladenen Tabellen nicht möglich ist. Option „Änderungsverarbeitung beginnen ab“ (z. B. wegen beschädigter Auslagerungsdateien). Wenn diese Option ausgewählt ist, verwendet die Replikationsaufgabe die Prüfpunktdaten, die in <Data_Folder_Path>/data/tasks/<task_name>/StateManager gespeichert sind, um die Aufgabe wiederherzustellen.

  Informationshinweis

  Beachten Sie die folgenden Einschränkungen und Überlegungen, wenn Sie diese Option verwenden:

  • Wird nur im transaktionalen Modus „Änderungen anwenden“ unterstützt, und nur für Datenziele, die Transaktionen unterstützen.

  • Nur die folgenden Datenquellen werden unterstützt.
    • Oracle
    • Microsoft SQL Server

    • MySQL

    • PostgreSQL

    • IBM DB2 for z/OS

    • SAP HANA

  • Aufgaben können nur während CDC (also nach Abschluss des vollständigen Ladens) wiederhergestellt werden.

• Mithilfe von im Ziel gespeichertem Prüfpunkt wiederherstellen: Stellt eine Aufgabe mit dem Wert CHECKPOINT aus der Tabelle attrep_txn_state (in der Zieldatenbank erstellt) wieder her.

  Beispiel-Prüfpunktwert:

  checkpoint:V1#15#0000038b:000033f1:0004#0#261#0000038b:0000348b:0009#0#273

  Wählen Sie diese Option (und nicht die Option Mithilfe von im Ziel gespeichertem Prüfpunkt wiederherstellen), wenn die Dateien im Ordner data beschädigt sind oder wenn das Speichergerät, das den Ordner data enthält, ausgefallen ist.

  Eine detaillierte Erläuterung der Einrichtung und Implementierung der Wiederherstellung mithilfe der Tabelle attrep_txn_state finden Sie unter Wiederherstellen nach Datenordnerverlust oder Beschädigung.

Finden der Quelländerungsposition

Im folgenden Abschnitt wird erläutert, wie Sie die Quelländerungsposition für jede der unterstützten Datenbanken finden.

MySQL

OPTION 1:

1. Ausführen:

   SHOW BINARY LOGS;

2. Wählen Sie eine binlog-Datei (z. B. log.000123).

3. Ausführen:

   SHOW BINLOG EVENTS IN 'binlog_filename';

   Beispiel:

   SHOW BINLOG EVENTS IN 'log.000123';

4. Suchen Sie die Position eines BEGIN- oder DDL-Befehls (z. B. 1777888).

   Informationshinweis

   MySQL unterstützt keinen „start from position“ innerhalb einer Transaktion. Daher müssen Sie entweder BEGIN oder DDL auswählen.

5. Legen Sie den internen Parameter fest:

   StartFromPosition = binlog_filename:begin_or_ddl_position

   Beispiel:

   StartFromPosition = log.000123:1777888

OPTION 2:

1. Ausführen:

   SHOW MASTER STATUS;

2. Legen Sie „start from position“ wie folgt fest:

   firstColumnValue:secondColumnValue

   Beispiel:

   mysql.007472:775

Microsoft SQL Server

Ausführen:

SELECT MAX([Current LSN]) FROM fn_dblog(null,null);

Beispiel: 00002717:00000e08:0003

Oracle

Ausführen:

SELECT current_scn FROM V$DATABASE;

Beispiel: 1471212002

PostgreSQL

Beachten Sie, dass sich der Befehl je nach PostgreSQL-Version unterscheidet.

PostgreSQL 10 und höher

Ausführen:

SELECT * FROM pg_current_wal_lsn();

IBM DB2 for z/OS

Geben Sie die LSN an; dies ist die RBA in einer Umgebung ohne Datenfreigabe und die LRSN in einer Umgebung mit Datenfreigabe

IBM DB2 for LUW

1. Führen Sie db2pd aus, um den richtigen Protokollnamen zu finden.

2. Führen Sie db2flsn mit dem zurückgegebenen Protokollnamen aus und verwenden Sie den aktuellen LRI-Wert.

   Siehe auch: Wiederaufnehmen oder Starten einer Aufgabe aus LRI in einer pureScale-Umgebung

   Weitere Informationen finden Sie unter „Resuming or Starting a Task from LRI in a pureScale Environment“ in der Replicate-Hilfe.

Wiederherstellen nach Datenordnerverlust oder Beschädigung

Im normalen Betrieb wird der verschieben-Status an folgendem Speicherort gespeichert:

<Data_Folder_Path>/data/tasks/<task_name>/StateManager

Dadurch können Aufgaben, die nicht regulär fortgesetzt werden können (z. B. wegen beschädigter Auslagerungsdateien), mit der oben beschriebenen Option Mithilfe von lokal gespeicherten Prüfpunkt wiederherstellen wiederhergestellt werden. Wenn jedoch die Dateien im Ordner data beschädigt werden oder wenn das Speichergerät, das den Ordner data enthält, ausfällt, müssen die Aufgaben stattdessen mit der Option Mithilfe von im Ziel gespeichertem Prüfpunkt wiederherstellen wiederhergestellt werden.

Einschränkungen und Überlegungen

Beachten Sie die folgenden Einschränkungen und Überlegungen, wenn Sie diese Option verwenden:

• Diese Option ist nur verfügbar, wenn die Option Aufgabenwiederherstellungsdaten in Zieldatenbank speichern auf der Registerkarte Feinabstimmung der Änderungsverarbeitung der Aufgabeneinstellungen aktiviert wurde, bevor CDC abgeschlossen wurde.

• Der Modus „Änderungen anwenden“ muss auf Transaktional festgelegt sein.

• Nur die folgenden Datenquellentypen werden unterstützt.
  • Amazon RDS for MySQL
  • Amazon RDS for PostgreSQL
  • Amazon RDS for SQL
  • AWS Aurora Cloud for PostgreSQL
  • Google Cloud SQL for MySQL
  • Google Cloud SQL for PostgreSQL
  • IBM DB2 for z/OS
  • Microsoft Azure Database for MySQL
  • Microsoft Azure SQL Managed Instance
  • Microsoft SQL Server
  • MySQL
  • Oracle
  • PostrgreSQL
  • SAP HANA
• Es wird nur der Microsoft SQL Server-Zieltyp unterstützt.
• Aufgaben können nur während CDC (nach Abschluss des vollständigen Ladens) wiederhergestellt werden.

Einrichten und Einleiten der Aufgabenwiederherstellung

Für eine erfolgreiche Wiederherstellung müssen die Quelldatenbank-Transaktionsprotokolle ab dem Zeitpunkt des Aufgabenausfalls verfügbar sein.

So richten Sie eine Aufgabe für die Wiederherstellung ein

1. Vergewissern Sie sich, dass die Option Aufgabenwiederherstellungsdaten in Zieldatenbank speichern auf der Registerkarte Feinabstimmung der Änderungsverarbeitung der Aufgabeneinstellungen aktiviert ist. Diese Option kann jederzeit während CDC aktiviert werden, muss aber aktiviert sein, bevor CDC abgeschlossen ist.

2. Führen Sie die Aufgabe aus.

Zusätzlich zu den ausgewählten Quelltabellen schreibt die Aufgabe die Prüfpunktdaten in die Tabelle attrep_txn_state in der Zieldatenbank (und erstellt die Tabelle automatisch, wenn sie nicht bereits durch eine andere Aufgabe erstellt wurde).

So leiten Sie die Wiederherstellung ein

1. Öffnen Sie die Tabelle attrep_txn_state in der Zieldatenbank und suchen Sie nach der fehlgeschlagenen Aufgabe in der Spalte TASK_NAME. Wenn Aufgaben mit dem gleichen Namen auf mehreren Qlik Talend Data Integration Servern ausgeführt werden, müssen Sie auch den entsprechenden Server in der Spalte SERVER_NAME suchen. Nachdem Sie die betreffende Aufgabe gefunden haben, kopieren Sie den Wert in die zugehörige Spalte CHECKPOINT.
2. Wählen Sie die Option Mithilfe von im Ziel gespeichertem Prüfpunkt wiederherstellen aus und geben Sie den Wert CHECKPOINT (vorzugsweise per Einfügen) wie oben beschrieben ein.
3. Klicken Sie auf OK, um die Wiederherstellung zu starten.

Während der Wiederherstellung schreibt die Replikationsaufgabe nichts in die Zieldatenbank, bis das Commit-Ereignis identifiziert wurde, das dem Wert von CHECKPOINT entspricht. Nachdem das Commit-Ereignis CHECKPOINT identifiziert wurde, wird die Wiederherstellung durchgeführt, und die Aufgabe wird auf den Standardvorgang zurückgesetzt.