Zaawansowane opcje uruchamiania

Oprócz standardowych opcji uruchamiania, zatrzymywania i wznawiania dostępnych jest kilka innych opcji uruchamiania zadań. Okno dialogowe Zaawansowane opcje uruchamiania można uruchomić, wykonując dowolną z następujących czynności:

• Wybierz opcję Zaawansowane opcje uruchamiania z menu zadania replikacji w widoku potoku lub widoku kafelków.
• Otwórz zadanie replikacji i wybierz Zaawansowane opcje uruchamiania z menu w prawym górnym rogu.

Przetwarzanie zmian

W oknie dialogowym Zaawansowane opcje uruchamiania wybierz opcję Przetwarzaj zmiany. Dostępne są następujące opcje:

• Tabele są już załadowane. Zacznij przetwarzanie zmian od:

  InformacjaZmiany metadanych wprowadzone w tabelach źródłowych po zatrzymaniu zadania (na przykład DROP COLUMN) nie zostaną przechwycone, gdy zadanie zostanie wznowione od wcześniejszego czasu lub pozycji (SCN/LSN). W takim przypadku przechwycone zostaną metadane istniejące w momencie wznowienia zadania.

  • Data i godzina: Ustaw datę i godzinę, od której chcesz rozpocząć przechwytywanie zmian.

    Informacja

    • Kiedy dzienniki zostaną usunięte z bazy danych (np. z powodu zasady czyszczenia), dziennik pasujący do określonej daty i godziny może nie istnieć. W takim przypadku zadanie danych wznowi zadanie od najwcześniejszego możliwego punktu po określonej dacie i godzinie.
    • W przypadku źródłowego punktu końcowego IBM DB2 for LUW tej opcji nie można używać do uruchamiania zadań Zastosuj zmiany od punktu poprzedzającego pierwotny czas rozpoczęcia zadania Zastosuj zmiany. Inaczej mówiąc, można jej używać tylko do uruchamiania zadań w dowolnym momencie po pierwotnym czasie rozpoczęcia zadania Zastosuj zmiany.
    • Znacznik czasu używa czasu lokalnego komputera z przeglądarką.

  • Pozycja zmiany źródła (SCN or LSN): Określ pozycję w dzienniku, od której chcesz wznowić przetwarzanie zmian. Format pozycji zmiany źródła różni się w zależności od źródła danych. Więcej informacji można znaleźć w temacie Jak znaleźć pozycję zmiany w źródle.

    Informacja

    Opcja Pozycja zmiany źródła jest obsługiwana tylko w przypadku następujących źródłowych punktów końcowych:

    • Oracle
    • Microsoft SQL Server
    • MySQL
    • PostgreSQL
    • IBM DB2 for z/OS
    • IBM DB2 for LUW

Odzyskiwanie zadań

W oknie dialogowym Zaawansowane opcje uruchamiania wybierz opcję Odzyskaj. Dostępne są następujące opcje:

• Odzyskaj, używając lokalnie przechowywanego punktu kontrolnego: Użyj tej opcji, jeśli odzyskanie nie jest możliwe przy użyciu opcji Tabele są już załadowane. Rozpocznij przetwarzanie zmian od (na przykład z powodu uszkodzonych plików wymiany). Po wybraniu tej opcji zadanie replikacji użyje danych z punktu kontrolnego zapisanych w <Data_Folder_Path>/data/tasks/<task_name>/StateManager do odzyskania zadania.

  Informacja

  Korzystając z tej opcji, należy pamiętać o następujących ograniczeniach i uwagach:

  • Obsługiwane tylko w trybie transakcyjnego stosowania zmian i tylko w przypadku obiektów docelowych danych obsługujących transakcje.

  • Obsługiwane są tylko następujące źródła danych:
    • Oracle
    • Microsoft SQL Server

    • MySQL

    • PostgreSQL

    • IBM DB2 for z/OS

    • SAP Hana

  • Zadania można odzyskać tylko podczas CDC (tj. po zakończeniu pełnego ładowania)

• Odzyskaj, używając punktu kontrolnego przechowywanego w miejscu docelowym: Odzyskaj zadanie, korzystając z wartości CHECKPOINT z tabeli attrep_txn_state (utworzonej w docelowej bazie danych).

  Przykładowa wartość punktu kontrolnego:

  checkpoint:V1#15#0000038b:000033f1:0004#0#261#0000038b:0000348b:0009#0#273

  Wybierz tę opcję (zamiast opcji Odzyskaj przy użyciu lokalnie przechowywanego punktu kontrolnego), jeśli pliki w folderze data są uszkodzone lub jeśli urządzenie pamięci masowej zawierające folder data uległo awarii.

  Szczegółowe wyjaśnienie sposobu konfigurowania i wdrażania odzyskiwania przy użyciu tabeli attrep_txn_state zawiera temat Odzyskiwanie po utracie lub uszkodzeniu folderu danych.

Jak znaleźć pozycję zmiany w źródle

W poniższej sekcji wyjaśniono, jak zlokalizować pozycję zmiany w źródle dla każdej obsługiwanej bazy danych.

MySQL

OPCJA 1:

1. Wykonaj:

   SHOW BINARY LOGS;

2. Wybierz plik binlog (np. log.000123).

3. Wykonaj:

   SHOW BINLOG EVENTS IN 'binlog_filename';

   Przykład:

   SHOW BINLOG EVENTS IN 'log.000123';

4. Zlokalizuj pozycję instrukcji BEGIN lub DDL (np. 1777888).

   Informacja

   MySQL nie obsługuje „pozycji od” znajdującej się w środku transakcji, dlatego należy wybrać BEGIN lub DDL.

5. Ustaw parametr wewnętrzny:

   StartFromPosition = binlog_filename:begin_or_ddl_position

   Przykład:

   StartFromPosition = log.000123:1777888

OPCJA 2:

1. Wykonaj:

   SHOW MASTER STATUS;

2. Ustaw pozycję „rozpocznij od” jako:

   firstColumnValue:secondColumnValue

   Przykład:

   mysql.007472:775

Microsoft SQL Server

Wykonaj:

SELECT MAX([Current LSN]) FROM fn_dblog(null,null);

Przykład: 00002717:00000e08:0003

Oracle

Wykonaj:

SELECT current_scn FROM V$DATABASE;

Przykład: 1471212002

PostgreSQL

Pamiętaj, że polecenie różni się w zależności od wersji PostgreSQL.

PostgreSQL 10 i nowsze wersje

Wykonaj:

SELECT * FROM pg_current_wal_lsn();

IBM DB2 for z/OS

Określ numer LSN, czyli RBA w środowisku bez udostępniania danych, oraz LRSN w środowisku udostępniania danych

IBM DB2 for LUW

1. Wykonaj db2pd, aby znaleźć prawidłową nazwę dziennika.

2. Wykonaj db2flsn ze zwróconą nazwą dziennika i użyj bieżącej wartości LRI.

   Zob. także: Wznawianie lub rozpoczynanie zadania z LRI w środowisku pureScale

   Więcej informacji zawiera temat „Wznawianie lub rozpoczynanie zadania z LRI w środowisku pureScale” w pomocy do Replicate.

Odzyskiwanie po utracie lub uszkodzeniu folderu danych

Podczas normalnej pracy stan zadania przenoszenie jest zapisywany w następującej lokalizacji:

<Data_Folder_Path>/data/tasks/<task_name>/StateManager

Dzięki temu zadania, których nie można normalnie wznowić (na przykład z powodu uszkodzonych plików wymiany), można odzyskać za pomocą opisanej powyżej opcji Odzyskaj przy użyciu lokalnie przechowywanego punktu kontrolnego. Jeśli jednak pliki w folderze data ulegną uszkodzeniu lub jeśli urządzenie pamięci masowej zawierające folder data ulegnie awarii, zadania należy zamiast tego odzyskać przy użyciu opcji Odzyskaj przy użyciu punktu kontrolnego przechowywanego w miejscu docelowym.

Uwagi i ograniczenia

Korzystając z tej opcji, należy pamiętać o następujących uwagach i ograniczeniach:

• Ta opcja będzie dostępna tylko wtedy, gdy przed zakończeniem CDC włączona została opcja Przechowuj dane odzyskiwania zadania w docelowej bazie danych na karcie Dostrajanie przetwarzania zmian Ustawień zadania.

• Tryb stosowania zmian musi być ustawiony na Stosowanie transakcyjne.

• Obsługiwane są tylko następujące typy źródeł danych:
  • Amazon RDS for MySQL
  • Amazon RDS for PostgreSQL
  • Amazon RDS for SQL
  • AWS Aurora Cloud for PostgreSQL
  • Google Cloud SQL for MySQL
  • Google Cloud SQL for PostgreSQL
  • IBM DB2 for z/OS
  • Microsoft Azure Database for MySQL
  • Microsoft Azure SQL Managed Instance
  • Microsoft SQL Server
  • MySQL
  • Oracle
  • PostrgreSQL
  • SAP Hana
• Obsługiwany jest tylko typ miejsca docelowego Microsoft SQL Server.
• Zadania można odzyskać tylko podczas CDC (po zakończeniu pełnego ładowania)

Konfigurowanie i inicjowanie odzyskiwania zadań

Aby odzyskiwanie się powiodło, dzienniki transakcji źródłowej bazy danych muszą być dostępne od chwili niepowodzenia zadania.

Aby skonfigurować zadanie odzyskiwania

1. Upewnij się, że włączona jest opcja Przechowuj dane odzyskiwania zadania w docelowej bazie danych na karcie Dostrajanie przetwarzania zmian w Ustawieniach zadania. Tę opcję można włączyć w dowolnym momencie działania CDC, ale należy ją włączyć przed zakończeniem CDC.

2. Uruchom zadanie.

Oprócz wybranych tabel źródłowych zadanie zapisze dane punktu kontrolnego w tabeli attrep_txn_state w docelowej bazie danych (i automatycznie utworzy tę tabelę, jeśli nie została jeszcze utworzona przez inne zadanie).

Aby rozpocząć odzyskiwanie

1. Uzyskaj dostęp do tabeli attrep_txn_state w docelowej bazie danych i zlokalizuj nieudane zadanie w kolumnie TASK_NAME. Jeśli na wielu serwerach Qlik Talend Data Integrationdziałają zadania o tej samej nazwie, trzeba będzie również zlokalizować odpowiedni serwer w kolumnie SERVER_NAME. Po zlokalizowaniu odpowiedniego zadania skopiuj wartość z odpowiedniej kolumny CHECKPOINT.
2. Wybierz opcję Odzyskaj, używając punktu kontrolnego przechowywanego w miejscu docelowym, a następnie podaj wartość CHECKPOINT (najlepiej wklejając), jak opisano powyżej.
3. Kliknij OK, aby rozpocząć odzyskiwanie.

Podczas odzyskiwania zadanie replikacji nie zapisuje niczego w docelowej bazie danych, dopóki nie zidentyfikuje zdarzenia zatwierdzenia odpowiadającego wartości CHECKPOINT. Po zidentyfikowaniu zdarzenia zatwierdzenia CHECKPOINT przeprowadzane jest odzyskiwanie i zadanie powraca do standardowego działania.