Wprowadzanie danych z Qlik Replicate
Możesz wykorzystać pełną funkcjonalność Qlik Open Lakehouse bez porzucania istniejącej infrastruktury Replicate. Użyj kreatora wprowadzania danych, aby utworzyć potok, który przetwarza dane z danych wyjściowych Qlik Replicate Amazon S3 i przechowuje je jako tabele Iceberg za pomocą Qlik Open Lakehouse.
Wymagania wstępne
Przed uruchomieniem kreatora wdrażania, upewnij się, że spełniono następujące warunki wstępne.
Qlik Replicate wymagania wstępne
Skonfiguruj zadanie Qlik Replicate w celu przeniesienia danych do zasobnika Amazon S3 (za pośrednictwem punktu końcowego Amazon S3).
Qlik Replicate wymagania wstępne zadania
-
Włącz wyłącznie opcje replikacji Pełne ładowanie i/lub Zapisz zmiany (wymagane do utrzymywania danych w aktualnym stanie).
-
W ustawieniach zadania, w zakładce Store Changes Settings:
-
Skonfiguruj Zmień ustawienia tabeli w następujący sposób:
-
Sufiks: __ct
-
Prefiks kolumny nagłówka: header__
-
Opcje DDL: Zastosuj do tabeli zmian
-
Po operacji UPDATE: Przechowuj tylko obraz wynikowy
-
-
Pozostaw Zmień partycjonowanie danych wyłączone (domyślnie).
-
-
W ustawieniach zadania na karcie Metadane > Tabele sterujące upewnij się, że wybrane są tabele sterujące Zastosuj wyjątki i Historia DDL.
Więcej informacji na temat tych ustawień można znaleźć w pomocy dotyczącej ustawień zadań Qlik Replicate (tylko w języku angielskim).
Wymagania wstępne dla docelowego punktu końcowego Qlik Replicate Amazon S3
Na karcie Ogólne :
- W sekcji Pliki metadanych włącz opcję Utwórz pliki metadanych w folderze docelowym (Replicate listopad 2025 lub wcześniejsza) lub opcję Utwórz plik metadanych dla każdego pliku danych (Replicate maj 2026 lub późniejsza). Spowoduje to utworzenie plików z .dfm rozszerzeniem w zasobniku S3.
- W sekcji Atrybuty pliku upewnij się, że:
- CSV jest wybranym Formatem (domyślnym)
- Kompresuj pliki za pomocą jest ustawione na Brak (domyślne)
- Obie opcje Dodaj nagłówek metadanych są włączone (Z nazwami kolumn i Z typami danych)
- Podczas konfigurowania ustawień pamięci masowej Amazon S3, jeśli Twój zasobnik zawiera pliki inne niż Replicate, zaleca się określenie folderu docelowego. Ułatwi to zlokalizowanie wymaganego wyniku podczas wdrażania danych za pomocą Qlik Open Lakehouse.
Więcej informacji na temat tych ustawień można znaleźć w pomocy dotyczącej docelowego punktu końcowego Amazon S3 (tylko w języku angielskim).
Qlik Open Lakehouse Wymagania wstępne
Łącznik AWS S3 Data Stream skonfigurowany do uzyskiwania dostępu do danych wyjściowych Replicate Amazon S3.
Instrukcje zawiera: Strumień danych AWS S3.
Jak Replicate organizuje dane w S3
Znajomość struktury, której Qlik Replicate używa do organizowania danych w S3, ułatwi zlokalizowanie tych plików w przeglądarce katalogów, opisanej w Tworzenie zadania wdrażania poniżej.
-
s3://bucket-name/target-path/schema.table/
Zawiera pełne pliki ładowania oraz pliki metadanych DFM w formacie sekwencyjnym, jak w poniższym przykładzie:
-
LOAD00000001.csv
-
LOAD00000001.dfm
-
LOAD00000002.csv
-
LOAD00000002.dfm
-
-
s3://bucket-name/target-path/schema.table__ct/
Zawiera pliki przechwytywania zmian danych oraz pliki metadanych DFM w formacie znacznika czasu, jak w poniższym przykładzie:
-
20250121-083015000.csv
-
20250121-083015000.dfm
-
20250121-091522000.csv
-
20250121-091522000.dfm
-
Utwórz zadanie wdrożeniowe
Wykonaj następujące kroki, aby skonfigurować zadanie wdrażania dla danych Replicate:
-
Uruchom kreator wdrażania w następujący sposób:
-
Nowy projekt: Kliknij Dołącz dane na środku okna projektu.
-
Istniejący projekt: W prawym górnym rogu Twojego Qlik Open Lakehouse projektu kliknij Utwórz nowy > Dołącz dane, aby uruchomić kreatora dołączania danych.
-
- Wprowadź nazwę zadania i opis.
- Wybierz Qlik Replicate spośród opcji Źródło danych. Następnie kliknij Dalej.
- Wybierz łącznik AWS S3 Data Stream skonfigurowany wcześniej. Następnie kliknij Dalej.
-
W okienku przeglądarki katalogów po lewej stronie wybierz katalog główny zawierający dane wyjściowe Replicate.
WskazówkaJeśli nie określono folderu docelowego w ustawieniach punktu końcowego docelowego Replicate Amazon S3 (zgodnie z zaleceniami w powyższych wymaganiach wstępnych), Twój zasobnik może zawierać wiele niepowiązanych plików. W tym przypadku, jeśli znasz dokładną ścieżkę, możesz ją wkleić bezpośrednio do pola Replicate ścieżka katalogu głównego. - Kliknij Ładuj, aby wykryć dostępne tabele. Wszystkie dostępne tabele zostaną wyświetlone na liście Wybrane tabele do zarejestrowania.
- W regionie Wybierz źródło danych, aby odnaleźć tabele po prawej stronie dostępne są następujące ustawienia:
- Uwzględnij wszystkie bieżące tabele: Włącz, aby umieścić wszystkie istniejące tabele. Gdy ta opcja jest wyłączona, musisz wybrać poszczególne tabele.
Usuń pliki źródłowe po przetworzeniu: Włącz, aby trwale usunąć pliki z zasobnika S3 Replicate po ich pomyślnym przetworzeniu.
Po usunięciu plików S3, wszystkie połączone potoki, które używają tych samych plików S3 jako źródła, staną się nieaktywne i nie będą mogły działać. Dlatego powinieneś włączyć tę opcję tylko, jeśli masz pewność, że pliki nie są wymagane przez żaden inny proces potoku.
- Kliknij przycisk Dalej.
- Na etapie Typ zawartości, format pliku (CSV) jest automatycznie wykrywany z danych Replicate. Dostępne są również następujące opcje:
- Historyczny magazyn danych (Typ 2): Włącz, jeśli chcesz zachować historyczne wersje rekordów i archiwum zmian.
- Sprawdź, czy zdarzenia zostały poprawnie załadowane: Możesz wybrać zestaw danych, aby sprawdzić, czy zawiera on poprawne dane.
- Kliknij przycisk Dalej.
- Przejrzyj konfigurację zadania i kliknij Utwórz, aby utworzyć zadanie dołączania.
-
Kliknij Przygotuj, aby skatalogować zadanie danych i przygotować je do wykonania.
Można śledzić postęp przygotowania w kafelku zadania. Po zakończeniu powinno zostać wyświetlone Prepare: Success.
-
Gdy będziesz gotowy do rozpoczęcia wdrażania danych, kliknij Uruchom.
Co nastąpi dalej
Po aktywacji, zadanie dołączania:
- Rozpoczyna monitorowanie Twojego zasobnika Replicate S3 pod kątem zmian danych
- Wykrywa pliki pełnego ładowania i CDC (przechwytywania zmian danych) z Replicate
- Przetwarza pliki i tworzy tabele Iceberg w Qlik Open Lakehouse
- Nadal monitoruje nowe dane
- Jeśli włączone, automatycznie usuwa pliki źródłowe po pomyślnym przetworzeniu
Ustawienia zadań
Aby zmienić ustawienia zadania, otwórz zadanie Onboarding_Qlik_Replicate (nazwa domyślna) i kliknij przycisk Ustawienia na pasku narzędzi.
Otworzy się okno dialogowe Ustawienia: <task name>.
Karta Ogólne
Te opcje są opisane w Kroku 7 Utwórz zadanie umieszczania powyżej.
-
Automatycznie uwzględniaj wszystkie bieżące i przyszłe tabele
-
Usuń pliki źródłowe po przetworzeniu
Karta Środowisko uruchomienia
Zmień Klaster lakehouse
Uwagi i ograniczenia
Ogólne uwagi i ograniczenia
- Operacje pełnego ładowania i ponownego ładowania mogą doświadczyć opóźnienia w przetwarzaniu, zanim dane pojawią się w tabelach Iceberg. System czeka do 15 minut po zakończeniu operacji pełnego ładowania, aby upewnić się, że pliki są kompletne. W rezultacie, uruchamianie pełnych ładowań w Replicate (zaplanowanych lub ręcznych) w odstępach krótszych niż 15 minut nie jest obsługiwane.
- Puste Replicate tabele (tabele bez plików danych) nie są wykrywane ani rejestrowane przez system.
- Jeśli włączysz Usuń pliki źródłowe po pozyskaniu, zadanie umieszczania nie może zostać ponownie załadowane. Aby załadować dane, musisz je ponownie wygenerować w Replicate.
- Qlik Replicate Tabele są już załadowane. (tylko w języku angielskim)Opcja uruchomienia zaawansowanego Rozpocznij przetwarzanie zmian od (tylko w języku angielskim) nie jest obsługiwana. Gdy Typ 2 (dane historyczne) jest włączony, użycie tej opcji spowoduje, że tabela historii będzie uszkodzona.
- Ewolucja schematu nie jest obsługiwana.
CDC vs Replicate Potok
W regularnym potoku pobierającym dane ze źródeł CDC, metryka Dane są aktualizowane do zawsze wskazuje bieżącą Świeżość danych (na przykład, 1 minutę temu). Dzieje się tak, ponieważ potok ma bezpośredni dostęp do dziennika transakcji bazy danych, który zapewnia wiedzę w czasie rzeczywistym o każdym zdarzeniu INSERT/UPDATE/DELETE. Jednakże, w potoku pobierającym dane z Replicate, metryka Dane zaktualizowano do nie wskazuje bieżącej świeżości danych i może faktycznie dawać fałszywe wrażenie, że dane są nieaktualne (na przykład, 8 godzin temu). Dzieje się tak, ponieważ potok Replicate nie ma bezpośredniego dostępu do dziennika transakcji. Zamiast tego, Replicate zapisuje pliki do zasobnika S3, a potok sprawdza znacznik czasu utworzenia pliku, aby określić świeżość danych. Więc jeśli przez jakiś czas nie było żadnych nowych zmian w źródłowej bazie danych, Replicate nie utworzy nowego pliku, a Dane są aktualizowane do znacznik czasu zestarzeje się (dając błędne wrażenie, że dane są nieaktualne).