Aktualizowanie i odinstalowywanie Brama danych ruchu danych

Zmiana marki sterownika Databricks

Aby dostosować się do platformy Databricks, zmieniono markę sterownika przeznaczonego do współpracy z łącznikiem Databricks.

Obsługa nowych wersji sterowników Snowflake i Google BigQuery

W tej wersji wprowadzono obsługę następujących nowych wersji sterowników:

• Snowflake: Sterownik Snowflake ODBC 3.15.0 (64-bit)

• Google BigQuery: Wersja sterownika Simba ODBC 3.1.6.1026

Obsługa typu danych VARIANT w Databricks

Od tej wersji następujące typy danych zostaną zamapowane na natywny typ danych VARIANT w Databricks:

• STRING

• WSTRING

• NCLOB

• CLOB

Rozwiązane problemy

• Źródło IBM DB2 for iSeries

  Po wznowieniu zadania przechwytywanie zmian z tabeli zawierającej binarne kolumny dziesiętne powodowało awarię zadania.

• Źródło PostgreSQL — problem z CDC

  Po wznowieniu zadania, które nie przechwyciło żadnych zmian na minutę przed jego zatrzymaniem, żadne zmiany nie zostałyby przechwycone.

• Łącznik SSH — problem z testowaniem połączenia

  Kliknięcie opcji Testuj połączenie w łączniku SSH nie zwracało błędów związanych z łącznością SSH, gdy występowały problemy z SSH.

• Cel Snowflake — problem ze strumieniowaniem Snowpipe

  W przypadku używania Snowpipe Streaming jako metody ładowania, ładowanie bardzo dużych tabel zużywałoby nadmierną ilość pamięci, co ostatecznie skutkowałoby awarią zadania i wejściem w pętlę ładowania i awarii.

• Źródło Microsoft SQL Server (oparte na dzienniku) — niejasny błąd

  W przypadku określenia alternatywnego folderu kopii zapasowej, który nie zawierał wymaganych dzienników, zadanie zatrzymywało się z niejasnym komunikatem, zamiast wyświetlać ostrzeżenie i kontynuować.

• Zabezpieczenia

  Komponent org.apache.logging.log4j:log4j-core został zaktualizowany do wersji 2.25.3 z powodu znanych luk w zabezpieczeniach zainstalowanych wersji.

• Źródło SAP ODP — problem z filtrowaniem

  Filtr SAP ODP nie byłby przekazywany do SAP, gdyby został zdefiniowany w ekstraktorze działającym w trybie tylko CDC.

• Źródło SAP ODATA — problem z filtrowaniem

  Zdefiniowanie więcej niż jednego zakresu filtrowania w jednej kolumnie powodowało niepowodzenie pełnego ładowania.

Rozszerzona obsługa równoległego ładowania

Funkcja równoległego ładowania obsługuje teraz docelową platformę Databricks.

Równoległe replikowanie segmentów zestawu danych

Tabela kontrolna historii DDL: Nowo obsługiwane cele

Tabela kontrolna attrep_ddl_history (Historia DDL) zawiera historię zmian DDL, które wystąpiły w źródle podczas replikacji do celu.

Obecnie obsługiwane są następujące docelowe punkty końcowe:

• Google BigQuery
• Google Cloud Alloy DB for PostgreSQL
• Google Cloud SQL for PostgreSQL
• PostgreSQL (lokalnie)

Historia DDL

Ulepszenie kolumny nagłówka „[header]__change_mask”

Podczas używania tabel zmian w formacie Parquet, kolumna nagłówka [header]__change_mask teraz dopełnia zera do lewej (zamiast do prawej), aby dostosować się do zasady little endian przechowywania bajtów w odwrotnej kolejności.

Dotyczy następujących punktów końcowych docelowych:

• Amazon S3

• Google Cloud Storage

Tabele zmian

Nowo obsługiwane źródło danych i wersje docelowe

• Miejsce docelowe Kafka: 4.0.x

• Źródło IBM z/OS: 3.2

Nowe obsługiwane wersje sterowników

• Sterownik Microsoft ODBC 18.5
• MySQL 8.4

Koniec wsparcia dla Microsoft Azure Database for MySQL i Microsoft Azure Database for PostgreSQL

Obsługa Microsoft Azure Database for MySQL i Microsoft Azure Database for PostgreSQL, które zostały oficjalnie wycofane przez firmę Microsoft, została zakończona.

Wycofywane wersje źródeł danych i celów

• Cel Databricks: 10.4 LTS i 11.3 LTS

• Źródło i cel MariaDB: 10.5

• Źródło i cel PostgreSQL: 13.x

• Źródło i cel MySQL: 8.1

Wycofywane wersje sterowników

• Sterownik Microsoft ODBC 18.3

Rozwiązane problemy

• Źródło SAP (aplikacja)

  Zadania skonfigurowane do używania źródła SAP (aplikacja) z procesem zaplecza, który generował zdarzenia samozatwierdzające, czasami ulegały awarii po ponownym załadowaniu tabeli.

• Cel Microsoft Azure SQL Database

  W replikacji jednorodnej, podczas pracy w trybie „Stosowanie transakcyjne” lub w trybie „Stosowanie zoptymalizowane wsadowo”, który przełączał się w tryb jeden po drugim, występował błąd „0 wierszy, których dotyczy problem”, gdy kolumna DATETIME była częścią klucza podstawowego w celu.

• Źródło Oracle

  Zadanie Oracle ulega awarii podczas pełnego ładowania, gdy tabela zawiera długą surową kolumnę, a maksymalny rozmiar lob jest większy lub równy 64 KB.

• Źródło SAP Extractor — pętla zwalniania z powodu anulowania CDC

  Podczas ponownego ładowania tabeli długotrwałe zadania SAP CDC są czasami anulowane. Powodowało to stan błędu możliwy do odzyskania, w którym zwolnienie nigdy nie zostało ukończone.

• Zabezpieczenia

  Następujące komponenty zostały zaktualizowane z powodu znanych luk w zabezpieczeniach:

  • JRE zaktualizowano z 17.0.17 do 17.0.18

  • org.eclispe.jetty:jetty-io zaktualizowano z 11.0.25 do 11.0.26

  • org.apache.logging.log4j:log4j-core zaktualizowano z 2.23.1 do 2.25.3

• SAP ODP

  Podczas CDC, gdy dla tabeli zdefiniowano filtr, występował następujący błąd:

  Invalid value for parameter "I_DIMNAME"

• Ekstraktor SAP

  Delta przestawała działać, jeśli zadanie zostało zatrzymane i wznowione, gdy jedna z tabel była w stanie ładowania.

• Źródło aplikacji SaaS (raporty Workday)

  • Podczas pełnego ładowania, podczas łączenia się z folderem przejściowym S3, zadanie czasami kończyło się niepowodzeniem z następującym błędem:

    Unable to execute HTTP request: Connect to s3.amazonaws.com:443

    Problem został rozwiązany poprzez wdrożenie mechanizmu wielokrotnych prób połączenia z folderem S3, gdy pierwsze połączenie nie powiedzie się.

  • Uprawnienie CREATE SCHEMA byłoby wymagane nawet wtedy, gdy schemat już istniał.

• Cel Microsoft SQL Server

  Czasami dochodziło do utraty danych w kolumnach LOB i nieprawidłowej replikacji danych podczas CDC, gdy rozmiar LOB był ustawiony na nieograniczony w ustawieniach zadania.

• Cel PostgreSQL

  Niepowodzenie załadowania pliku CSV do tabeli zmian netto zwracało błąd możliwy do odzyskania (powodujący nieskończoną pętlę) zamiast przełączenia na stosowanie jeden po drugim.

• Replikacja z MySQL do MySQL

  Gdy schemat źródła i celu znajdował się w tej samej instancji MySQL, a replikacja obejmowała tabelę kontrolną, zadanie czasami ulegało awarii z błędem „Proces uległ awarii z sygnałem 11”.

• Źródło PostgreSQL

  Podczas CDC zadanie czasami odczytywało te same wpisy WAL w kółko, co powodowało, że żadne dane nie były przechwytywane.

• Źródło Microsoft SQL Server

  • Podczas dekompresji dziennika transakcji, który zawierał zaszyfrowane bloki, występował błąd. Problem został rozwiązany poprzez pozostawienie dziennika skompresowanego w takich przypadkach.

  • Podczas korzystania z alternatywnego folderu kopii zapasowej wyświetlane były zbędne błędy z powodu niepotrzebnego sprawdzania poprawności istniejących plików.

  • Zadanie czasami ulegało awarii po wywołaniu DBCC Lookup.

Obsługa łącznika docelowego Kafka

Nowa wersja Brama danych ruchu danych wprowadza obsługę łącznika docelowego Kafka. Bezproblemowo replikuj dane z dowolnego obsługiwanego źródła bezpośrednio do lokalnego systemu Kafka lub Amazon MSK, zapewniając niezawodne, odporne na błędy transfery, które zapewniają elastyczność i aktualność aplikacji. Niezależnie od tego, czy utrzymujesz spójność danych w różnych systemach, czy też zasilasz analizy, ten łącznik zapewnia replikację o niskim opóźnieniu przy minimalnej konfiguracji.

Więcej informacji można znaleźć w temacie Kafka miejsce docelowe

Rozwiązane problemy

• Niepowodzenie zadania replikacji ze źródła MySQL do celu MySQL

  Podczas replikacji zestawu danych ze schematu MySQL do innego schematu MySQL działającego na tej samej instancji serwera MySQL i uwzględniania tabeli kontrolnej w replikacji, CDC kończyło się niepowodzeniem z następującym błędem:

  Process crashed with signal 11

• Łącznik SAP Extractor: Tabela zawieszona podczas wznawiania zadania

  Wznowienie zadania, gdy tabela była jeszcze w trakcie pełnego ładowania, powodowało niepowodzenie zadania ekstrakcji i zawieszenie tabeli.

Rozwiązane problemy

• Cel PostgreSQL — nieprawidłowe zachowanie błędu

  Niepowodzenie załadowania pliku CSV do tabeli zmian netto Qlik zwracało błąd możliwy do odzyskania (powodujący nieskończoną pętlę) zamiast przełączenia na stosowanie jeden po drugim.

• Łączniki aplikacji SaaS Lite

  Podczas pełnego ładowania zadania czasami kończyły się niepowodzeniem z następującym błędem z powodu aktywnego odrzucenia połączenia przez Amazon:

  Unable to execute HTTP request: Connect to s3.amazonaws.com:443

  Problem został rozwiązany poprzez wdrożenie mechanizmu ponawiania z maksymalnie trzema ponownymi próbami przed wystąpieniem błędu.

• Źródło Microsoft SQL Server — niepowodzenie dekompresji dziennika

  Podczas dekompresji dziennika transakcji, który zawierał zaszyfrowane bloki, występował błąd. Problem został rozwiązany poprzez pozostawienie dziennika skompresowanego w takich przypadkach.

• Źródło Netsuite Suite Analytics — błąd wznowienia CDC

  Podczas wznawiania zadania CDC po wprowadzeniu zmiany w źródle, zadanie czasami kończyło się niepowodzeniem z następującym błędem:

  Cannot change column title from type VARCHAR(8000) to VARCHAR(3) because reducing the byte-length of a varchar is not supported.

• Źródło Microsoft SQL Server — fałszywe błędy

  Podczas korzystania z alternatywnego folderu kopii zapasowej wyświetlane były zbędne błędy z powodu niepotrzebnego sprawdzania poprawności istniejących plików.

Obsługa klucza głównego Databricks

Od tej wersji zadanie danych będzie tworzyć klucz główny w docelowych tabelach Databricks Delta, używając słowa kluczowego RELY. Chociaż Databricks nie wymusza ograniczeń klucza głównego, klucze główne ze słowem kluczowym RELY są traktowane jako niemające duplikatów i dlatego mogą być używane przez Databricks do optymalizacji zapytań.

Wymagania:

• Musisz wybrać katalog w ustawieniach łącznika

• Databricks 14.2 lub nowsza wersja

Ulepszenia typów danych

• Źródło IBM DB2 for iSeries: Dodano obsługę następujących typów danych: BINARY-DECIMAL i ZONED-DECIMAL

• Miejsce docelowe Databricks: W poprzednich wersjach typ BYTES był mapowany na STRING. Od tej wersji będzie mapowany na VARCHAR (długość w bajtach)

• Cel Google Cloud BigQuery: podtyp JSON jest teraz obsługiwany przez cel Google Cloud BigQuery

Źródło oparte na PostgreSQL: tabele partycjonowane są teraz domyślnie obsługiwane

Replikacja (pełne ładowanie i CDC) partycji i podpartycji (oraz podpodpartycji) ze źródeł danych opartych na PostgreSQL jest teraz domyślnie obsługiwana.

Cel Google Cloud BigQuery: obsługa błędów obcinania danych

Cel Google Cloud BigQuery umożliwia teraz obsługę błędów obcinania danych. Jeśli wystąpi błąd obcinania danych, możesz teraz wybrać, czy zarejestrować rekord w tabeli kontrolnej wyjątków (domyślnie), zignorować rekord, zawiesić tabelę, czy zatrzymać zadanie.

Nowe obsługiwane wersje

Obecnie obsługiwane są następujące wersje źródłowych i docelowych punktów końcowych:

• MariaDB (lokalnie) i Amazon RDS dla MariaDB: 11.4

• MySQL (lokalnie), MySQL Percona, Google Cloud SQL for MySQL, Amazon RDS for MySQL i Microsoft Azure Database for MySQL – Flexible Server: 8.4

• PostgreSQL (lokalnie), Google Cloud SQL for PostgreSQL, Amazon RDS for PostgreSQL i Microsoft Azure Database for PostgreSQL – Flexible Server: 17.x

Nowe obsługiwane wersje sterowników

Klient IBM Data Server 11.5.9 jest teraz obsługiwany z następującymi źródłami DB2:

• IBM DB2 for LUW

• IBM DB2 for z/OS

Wycofywane wersje źródeł i sterowników

• Wycofywane źródła i cele: obsługa Microsoft Azure Database for MySQL i Microsoft Azure Database for PostgreSQL, które zostały oficjalnie wycofane przez firmę Microsoft, zostało wycofane.

• Wycofywane wersje źródeł: Obsługa IBM DB2 for iSeries 7.2, którego cykl życia został zakończony, została wycofana.

• Wersje sterowników, których cykl życia dobiegł końca: obsługa klienta IBM Data Server 11.5.6 została zakończona.

Rozwiązane problemy

• Obsługa HSTS

  HSTS nie było włączone na maszynie Brama danych Qlik — ruch danych.

• Niepowodzenie instalacji Brama danych ruchu danych

  Instalacja Brama danych ruchu danych w systemie Redhat w wersji 9.7 kończyła się niepowodzeniem z błędem „Nie znaleziono OPENSSL_3.4.0”.

• Źródło PostgreSQL 15.7 — brak przechwyconych danych podczas CDC

  Podczas CDC zadanie ciągle odczytywało te same wpisy WAL i przetwarzało tę samą pozycję strumienia.

• SAP ODP — niepowodzenie CDC

  Po zatrzymaniu zadania CDC podczas zmian (na przykład z powodu problemu z łącznością), wznowienie zadania czasami powodowało błędy długości wiersza.

• Brakujące dzienniki połączeń źródłowych

  Dzienniki połączeń źródłowych były niedostępne po uruchomieniu zadania, które używało łącznika w wersji zapoznawczej lub Lite.

• Monitorowanie — brakujące informacje

  Karta Monitor nie pokazywała komunikatu o błędzie, gdy tabela została zawieszona podczas etapu CDC zadania pełnego ładowania i CDC.

Obsługa tworzenia martów wiedzy w Databricks

Wcześniej hurtownie wiedzy były obsługiwane tylko na platformie Snowflake. Teraz można tworzyć i uruchamiać hurtownie wiedzy oraz hurtownie wiedzy oparte na plikach również na platformie Databricks.

Rozwiązane problemy:

Zadania kończyły się niepowodzeniem sporadycznie podczas przygotowywania z następującym błędem:

The request was canceled due to the configured HttpClient.Timeout of 300 seconds elapsing.

Rozwiązane problemy:

Gdy właściwość wewnętrzna metadataschema została zdefiniowana ze znakami specjalnymi, zadanie kończyło się niepowodzeniem podczas CDC.

Rozwiązane problemy:

• Alerty produkcyjne w regionie EU-Central-1

  Klienci w regionie EU-Central-1 doświadczali częstych alertów produkcyjnych podczas korzystania z Brama danych ruchu danych.

• Źródło danych Jira: Zablokowana tabela

  Podczas replikacji danych z Jira tabela USERS blokowała się w stanie W kolejce przy pierwszym uruchomieniu, podczas gdy inne tabele kończyły ładowanie pomyślnie.

• Problem z monitorowaniem

  W monitorze zadań brakowało monitorowania CDC.

• Niepowodzenie replikacji z Oracle do Oracle

  Zadania replikacji z Oracle do Oracle czasami kończyły się niepowodzeniem z powodu nieprawidłowego obliczenia długości ciągu.

• Zabezpieczenia

  Komponent serwera Java (sqlite-jdbc) został zaktualizowany do wersji 3.47.0 z powodu znanej luki w zabezpieczeniach wcześniejszych wersji.

• Błąd podczas uruchamiania zadania

  Błąd „Brak licencji dla bazy danych” występował czasami, gdy zadanie było uruchamiane w trybie wznowienia po raz pierwszy, bez wcześniejszego uruchomienia.

• Problem z łącznikiem Salesforce z nowymi zestawami danych

  Dodanie nowych zestawów danych do zadania umieszczania ze źródłem danych Salesforce powodowało niepowodzenie zadania z błędem „Tabela nie istnieje”.

Rozwiązane problemy:

• Błąd połączenia zadań przechowywania

  Zadania przechowywania kończyły się niepowodzeniem z błędem połączenia, który wymagał ponownego uruchomienia bramy.

• Niepowodzenie instalacji sterownika DB2

  Instalacja sterownika DB2 kończyła się niepowodzeniem, gdy dostęp do folderu /tmp był ograniczony.

• Nadmierny czas połączenia z Qlik Cloud

  Po aktualizacji do wersji Brama danych ruchu danych 2024.11.65 połączenie z Qlik Cloud trwało nadmiernie długo. Problem został rozwiązany poprzez dodanie tokenu anulowania z dwuminutowym limitem czasu.

• Awaria usługi po aktualizacji

  Po aktualizacji do Brama danych ruchu danych 2024.11.67 usługa external-data-provider (używana przez łączniki Lite) ulegała awarii z powodu ograniczeń dostępu do folderu /tmp.

• Poprawki bezpieczeństwa

  Następujące komponenty zostały zastąpione nowszymi wersjami z powodu znanych luk w zabezpieczeniach:

  • SQLite 3.49.1

  • Java Runtime Engine 17.0.15

  • org.bouncycastle:bcpkix-fips 2.0.7 (bcpkix-fips-2.0.7.jar)

  • org.bouncycastle:bc-fips 2.0.0 (bc-fips-2.0.0.jar)

• Marty wiedzy — udział plików (SMB)

  Połączenie z SMB kończyło się niepowodzeniem z następującym błędem:

  SmbConnection' object has no attribute 'docs_path'

• Niepowodzenie przygotowania

  Podczas przygotowywania zadania po raz drugi i wystąpienia DDL po pierwszym przygotowaniu, operacja przygotowania czasami kończyła się niepowodzeniem z następującym błędem (fragment):

  Could not find match between landing metadata with gateway task metadata for the following tables: <name>

• Problem z podglądem danych

  Opcja podglądu danych nie działała podczas korzystania z celu Microsoft SQL Server.

Ulepszenia:

• Dodano obsługę Qlik Cloud Government DoD

  Ta wersja dodaje obsługę korzystania z Brama danych ruchu danych z Qlik Cloud Government DoD.

Ulepszenia:

• Kontrolowanie, kiedy wyzwalana jest polityka obsługi błędów tabeli

  Nowe ustawienie Liczba ponownych prób przed zwróceniem błędu tabeli zostało dodane do ustawień obsługi błędów tabeli dla zadań replikacji i umieszczania. Wcześniej, gdy wystąpił błąd tabeli, tabela była zawieszana lub zadanie było zatrzymywane (zgodnie z wybraną akcją obsługi błędów). Czasami powodowało to zawieszanie tabel podczas okna konserwacji aplikacji SaaS. Dzięki tej nowej opcji można teraz określić, ile razy tabela powinna być ponawiana, zanim zostanie wyzwolona polityka obsługi błędów tabeli. Ta opcja jest szczególnie przydatna, jeśli aplikacja SaaS przechodzi okresową konserwację, ponieważ można zastąpić domyślną liczbę ponownych prób (3), aby konserwacja mogła zostać zakończona bez wyzwalania polityki obsługi błędów tabeli.

  Obsługa błędów tabeli

  InformacjaTa opcja będzie wyświetlana tylko dla zadań skonfigurowanych z łącznikiem aplikacji SaaS Lite lub Standard.

• Podgląd danych zawiera teraz typy danych kolumn

  Podczas podglądu transformacji SQL wyniki będą teraz zawierać typy danych kolumn.

  Podgląd danych

Ulepszenia:

• Przenoszenie i czyszczenie plików dziennika replikacji

  Wdrożono politykę przenoszenia i czyszczenia plików dziennika replikacji na maszynie bramy. Polityka przenoszenia zapobiegnie zbyt dużemu rozmiarowi plików dziennika (co wpływa na wydajność i analizę), podczas gdy polityka czyszczenia zapobiegnie ich gromadzeniu się i zużywaniu nadmiernej ilości miejsca na dysku.

Rozwiązane problemy:

• Nieprawidłowy status tabeli po ponownym załadowaniu

  Podczas ponownego ładowania zawieszonej tabeli status tabeli wyświetlany w monitorze był czasami nieprawidłowy.

• Przekroczenie limitu czasu operacji przygotowania

  Podczas przygotowywania zadania umieszczania po dodaniu zestawu danych czasami występował limit czasu na etapie katalogowania zasobów. Powodowało to niepowodzenie operacji przygotowania.

Ta poprawka rozwiązuje następujące problemy:

• Niepowodzenie przygotowania podczas dodawania nowej tabeli

  Podczas dodawania nowej tabeli do zadania replikacji i klikania Przygotuj czasami występował następujący błąd:

  Prepare data task failed: Object reference not set to an instance of an object.

• Rozwiązane luki w zabezpieczeniach

  Następujące pliki instalacyjne Brama danych ruchu danych zostały zaktualizowane do wersji bez znanych luk w zabezpieczeniach:
  

  • java

  • jetty-io-<version>.jar

  • jetty-http-<version>.jar

  • spring-expression-<version>.jar

  • spring-core-<version>.jar

  • spring-context-<version>.jar

Ta poprawka rozwiązuje następujące problemy:

• Niepowodzenie łączności z IBM DB2 for LUW

  Po aktualizacji do Brama danych ruchu danych 2024.11.54 połączenie z bazą danych kończyło się niepowodzeniem.

• Niepowodzenie przygotowania

  Przygotowanie zadania danych kończyło się niepowodzeniem, gdy zadanie było skonfigurowane ze źródłem aplikacji SaaS i celem Google BigQuery.

• Zadania ze źródłami opartymi na Javie kończą się niepowodzeniem po aktualizacji

  Zadania ze źródłami danych opartymi na Javie kończyły się niepowodzeniem po aktualizacji do Brama danych ruchu danych 2024.11.54.

• Cel Snowflake: Zadania czasami przełączały się w tryb „jeden po drugim” podczas CDC

  Podczas CDC, gdy kolumna STRING w tabeli źródłowej przekraczała 65536 bajtów, dane były obcinane w docelowej kolumnie STRING. Zadanie przełączało się następnie w tryb stosowania „jeden po drugim”.

• Zabezpieczenia

  Pliki java_file_factory.jar i arep-google-cloud.jar zostały zaktualizowane do wersji bez znanych luk w zabezpieczeniach.

Ta poprawka rozwiązuje następujące problemy:

• Pełne ładowanie ignorujące ustawienia zadania

  Podczas pełnego ładowania zadanie usuwało i odtwarzało tabele docelowe, mimo że zadanie było skonfigurowane z opcją Jeśli tabela docelowa już istnieje: Ignoruj

• Nieprawidłowa liczba rekordów

  Po zatrzymaniu i przygotowaniu istniejącego zadania replikacji z trybem replikacji ustawionym na pełne ładowanie i stosowanie zmian, liczba przetworzonych rekordów CDC wzrastała, co skutkowało nieprawidłową liczbą.

• Łącznik źródłowy JIRA

  Gdy do istniejącego zadania dodano nowy zestaw danych, zadanie kończyło się niepowodzeniem z następującym błędem:

  Could not find a match between landing metadata and gateway task metadata for the following tables: <name>

• Niepowodzenie testu połączenia

  Test połączenia ze źródłami SAP i opartymi na SQL kończył się niepowodzeniem.

• Aktualizacja

  Po aktualizacji bramy zadania czasami nie wznawiały się zgodnie z oczekiwaniami.

Obsługa Snowpipe Streaming

Poprzednio ładowanie zbiorcze było jedyną dostępną metodą ładowania danych do Snowflake. Teraz klienci mogą korzystać z funkcji Ładowanie zbiorcze lub Snowpipe Streaming, aby wprowadzać lub replikować swoje dane do Snowflake.

Zalety Snowpipe Streaming w porównaniu z Ładowaniem zbiorczym obejmują:

• Mniejsze koszty: ponieważ Snowpipe Streaming nie korzysta z hurtowni danych Snowflake, koszty operacyjne powinny być znacznie niższe, choć będzie to zależeć od konkretnego zastosowania.
• Mniejsze opóźnienia: ponieważ dane są przesyłane strumieniowo bezpośrednio do tabel danych w miejscu docelowym (bez etapu przejściowego), replikacja ze źródła danych do miejsca docelowego powinna być szybsza.

Rozwiązane problemy

Ta poprawka rozwiązuje następujące problemy:

• Microsoft Fabric: Problem z łącznością

  Podczas przeglądania baz danych za pomocą łącznika Microsoft Fabric występował następujący błąd (fragment):

  Create connection failed'' with error 'java.lang.NoSuchMethodError

  Problem był spowodowany niezgodnością ze sterownikiem JDBC 12.9.0-preview.jar, który został zainstalowany za pomocą narzędzia do instalacji sterowników. Narzędzie zostało teraz zaktualizowane w celu zainstalowania zgodnego sterownika.

• Niepowodzenie ponownego uruchomienia serwera Java

  Po aktualizacji Brama danych ruchu danych lub ponownym uruchomieniu usługi Brama danych ruchu danych serwer Java (wymagany dla łączników opartych na Javie, takich jak SAP ODP) nie uruchamiał się.

• Wzmocnienie bezpieczeństwa

  • Szyfrowanie end-to-end nie było wzajemnie wymuszane dla ładunków poleceń rejestrowania, które zwracały dzienniki hostowane przez klienta z centrum aktywności administracyjnej Qlik Cloud.

  • Wersja SQLite używana przez Brama danych ruchu danych została zaktualizowana z powodu luki w zabezpieczeniach wersji 3.42.0 (CVE-2023-7104).

  • Plik com.h2database używany przez Brama danych ruchu danych został zaktualizowany z powodu luki w zabezpieczeniach wersji h2-2.1.212 (CVE-2022-45868).

Ta poprawka rozwiązuje następujący problem podczas przenoszenia danych ze źródła danych IBM DB2 for iSeries:

W przypadku korzystania ze sterownika iSeries Access ODBC w wersji 07.01.026 lub nowszej zadanie kończyło się niepowodzeniem podczas CDC z błędem „Błąd analizy”.

Standardowa

Obsługa OAuth dla celu Databricks

Klienci mogą teraz połączyć się z celem Databricks za pomocą uwierzytelniania OAuth, które jest zalecaną przez Databricks metodą uwierzytelniania kont. Uwierzytelnianie Personal Access Token pozostanie na razie dostępne ze względu na kompatybilność wsteczną, ale jest uważane za mniej bezpieczne niż OAuth.

Rozwiązane problemy

• Problem z ładowaniem równoległym

  Gdy zestaw danych został zdefiniowany z ładowaniem równoległym, a następnie pełne ładowanie zostało wyłączone, zadanie nadal wykonywało pełne ładowanie tego zestawu danych, nawet gdy zostało wznowione ze znacznika czasu.

2024.11.24

Poprawka

Ta poprawka rozwiązuje następujące problemy:

• Źródło SAP ODP: Niepowodzenie generowania metadanych

  Generowanie metadanych nie kończyło się pomyślnie dla tabel z kropką w nazwie (np. Deprec.Area).

• Odzyskiwanie zadań

  Zadania odzyskiwały się tylko raz, jeśli zawiodły podczas pełnego ładowania z powodu problemu środowiskowego. Teraz będą odzyskiwać się tyle razy, ile skonfigurowano w Ustawienia > Obsługa błędów > Błędy środowiskowe > Maksymalna liczba ponownych prób.

Ulepszenia

Certyfikacja przełączania awaryjnego PostgreSQL

Praca z dodatkową bazą danych po przełączeniu awaryjnym została certyfikowana z następującymi źródłami danych (do których można uzyskać dostęp za pomocą łącznika źródła PostgreSQL):

• Google Cloud SQL for PostgreSQL
• Amazon RDS for PostgreSQL
• PostgreSQL (lokalnie)

Zobacz także: Konfigurowanie przełączania awaryjnego

Poprawa wydajności MySQL

W poprzednich wersjach, podczas korzystania ze źródłowego punktu końcowego opartego na MySQL w zadaniu, które zostało skonfigurowane z ograniczonym rozmiarem LOB, Brama danych ruchu danych używało do odczytu kolumn LOB wyszukiwania w źródle. Teraz Brama danych ruchu danych będzie odczytywać kolumny LOB bezpośrednio z binlog, poprawiając w ten sposób wydajność.

Zmiany mapowania typów danych

Zmieniono mapowanie kolumn LOB dla miejsc docelowych Amazon Redshift i Snowflake.

Cel Amazon Redshift

• Typ BLOB jest teraz mapowany na VARBYTE(16777216)
• Typ NCLOB jest teraz mapowany na NVARCHAR(65535)
• Typ CLOB jest teraz mapowany na NVARCHAR(65535)

Snowflake jako miejsce docelowe

• Typ BLOB jest teraz mapowany na BINARY (8388608)
• Typ NCLOB jest teraz mapowany na NVARCHAR(16777216)
• Typ CLOB jest teraz mapowany na VARCHAR(16777216)

Nowo obsługiwane typy danych

• Źródło IBM DB2 for LUW

  Obsługuje teraz typ danych BOOLEAN (od DB2 for LUW 11.5).

• Miejsce docelowe Google BigQuery

  Obsługuje teraz typ danych BIGNUMERIC.

Rozszerzona obsługa miejsca docelowego dla tabeli kontrolnej Historia DDL

W poprzednich wersjach Brama danych ruchu danych tabela kontrolna Historia DDL była obsługiwana tylko z miejscami docelowymi Databricks i Microsoft Fabric. Ta wersja wprowadza obsługę następujących dodatkowych łączników docelowych:

• Amazon Redshift
• Amazon S3
• Google Cloud Storage
• Snowflake

Zobacz także: Historia DDL

Obsługa użytkownika innego niż superużytkownik z Google Cloud SQL dla PostgreSQL

Od tej wersji można teraz określić konto inne niż superużytkownik podczas replikacji z Google Cloud SQL for PostgreSQL

Zobacz także: Korzystanie z konta bez roli superużytkownika

Nowo certyfikowane platformy i wersje sterowników

• Miejsce docelowe Databricks

  15.4 LTS

• Źródło i miejsce docelowe Oracle

  23ai

  Informacja

  • Źródło i miejsce docelowe Oracle 23ai ma certyfikat zgodności tylko z Oracle Standard Edition.
  • Źródło Oracle 23ai jest obsługiwane tylko z szyfrowaniem TDE.

• Aktualizacja sterowników Databricks

  Podczas przenoszenia danych do Databricks wymagany jest teraz sterownik Simba Spark ODBC w wersji 2.8.2 lub nowszej. Klienci powinni uruchomić narzędzie do instalacji sterownika lub zainstalować sterownik ręcznie.

  Zobacz także: Konfiguracja sterownika

Zakończenie wsparcia

Zakończono obsługę następujących wersji baz danych:

• PostgreSQL 12.x
• IBM DB2 for z/OS: z/OS 2.4
• Databricks 9.1

Rozwiązane problemy

• Łącznik SAP HANA (baza danych): niepowodzenie utworzenia tabeli __CT

  Gdy tryb replikacji był ustawiony na Zapisz zmiany, a tabela zawierała kolumnę .INCLUDE, zadanie nie mogło utworzyć tabeli __CT w miejscu docelowym.

• Zadanie umieszczania w jeziorze danych: komunikat wprowadzający w błąd

  Zadanie kończyło się niepowodzeniem i wyświetlany był komunikat „Brak licencji na bazę danych” po wygaśnięciu tajnego klucza Azure Data Lake Storage.

• Łącznik miejsca docelowego Amazon S3: stare pliki nie były usuwane

  Starsze pliki nie były usuwane podczas uruchamiania nowego zadania. Może to spowodować niepowodzenie zadania z powodu duplikowania rekordów lub z powodu niepasujących rekordów.

   

• Źródło SAP HANA (baza danych): niepowodzenie połączenia z powodu tabeli zdefiniowanej przez użytkownika

  Komunikat o błędzie „nieobsługiwana funkcja: nie można wybrać typu zdefiniowanego przez użytkownika” pojawiał się podczas wybierania do replikacji tabeli zdefiniowanej przez użytkownika. Problem został rozwiązany przez wykluczenie tabel zdefiniowanych przez użytkownika (które nie są obsługiwane) z selektora tabel.

• Łącznik miejsca docelowego Microsoft Fabric: błąd odzyskiwania

  Komunikat o błędzie „Niepowodzenie konwersji” pojawiał się czasami po odzyskaniu działania po błędzie połączenia, który wystąpił podczas CDC.

• Łącznik miejsca docelowego Databricks: błąd CDC podczas pracy bez obsługi LOB

  Po wyłączeniu obsługi LOB operacja CDC kończyła się niepowodzeniem z komunikatem „za mało kolumn danych” podczas próby wstawienia zmiany do tabeli __ct. Błąd ten wystąpiłby podczas pracy w trybie „Zapisz zmiany”, który jest jedynym trybem dostępnym w przypadku umieszczania zadań.

• Źródło MySQL do celu Snowflake: błąd CDC

  Podczas CDC w trakcie replikacji kolumny „NOT NULL” z typem danych mediumtext, zadanie czasami kończyło się niepowodzeniem z następującym komunikatem o błędzie:

  A NOT NULL constraint violation occurred on LOB column from MySQL source

• Łącznik miejsca docelowego Microsoft Fabric: błąd obcięcia

  Podczas wstawiania kolumny VARCHAR występował następujący błąd obcięcia:

  String or binary data would be truncated while reading column of type 'VARCHAR'

  Problem został rozwiązany przez zwielokrotnienie kolumny VARCHAR w Microsoft Fabric.

Nowe funkcje

Dodano obsługę określania dodatkowych właściwości połączenia ODBC i JDBC do łącznika docelowego Snowflake.

Więcej informacji można znaleźć w temacie Dodatkowe właściwości połączenia.

Rozwiązane problemy

• Metadane nie są aktualizowane

  Gdy klucz podstawowy został zmieniony w źródle, metadane docelowe nie były aktualizowane po ponownym załadowaniu.

• Cel Amazon S3

  Podczas tworzenia i uruchamiania nowego zadania pliki pozostałe po poprzednich zadaniach nie były usuwane z lokalizacji tabel.

• Źródło SAP HANA

  Próba połączenia ze źródłem SAP HANA przy użyciu CDC opartego na dzienniku powodowała następujący błąd:

  Cannot select user-defined type

2024.5.41

Poprawka

Ta poprawka rozwiązuje następujące problemy:

• Cele Amazon S3, Google Cloud Storage i Qlik Cloud: Cytowanie pustych wartości ciągu

  Puste ciągi będą teraz cytowane w pliku CSV, aby odróżnić je od wartości NULL.

• Cel Databricks: Niezgodność danych

  W niektórych scenariuszach występowała niezgodność między danymi źródłowymi a docelowymi.

• Cel Databricks: Niepowodzenie CDC spowodowane wyłączeniem obsługi LOB

  Wyłączenie obsługi LOB w zadaniu umieszczania powodowało niepowodzenie CDC z następującym błędem (fragment):

  Cannot write to '<name>__ct', not enough data columns

• Cel Microsoft Fabric: Błąd połączenia powodujący niepowodzenie CDC

  Stosowanie zmian w celu po odzyskaniu po błędzie połączenia czasami kończyło się niepowodzeniem z błędem „Konwersja nie powiodła się”.

2024.5.35

Poprawka

Ta poprawka rozwiązuje następujące problemy:

• Cel Microsoft Fabric: Problem z konwersją typu danych

  Podczas zadania przechowywania typ danych NVARCHAR(3500) był nieprawidłowo konwertowany na VARCHAR(10500) zamiast VARCHAR(8000) (maksymalna dozwolona), co powodowało błąd.

• Źródło IBM DB2 for LUW: Obsługa typu danych GRAPHIC ze stroną kodową 941 (japoński)

  Gdy tabela źródłowa zawierała typ danych GRAPHIC ze stroną kodową 941 (japoński), występował następujący błąd (fragment):

  Unexpected CCSID '941' in column 'PNTNM'

2024.5.32

Poprawka

Po zaktualizowaniu nazwy użytkownika i hasła w łączniku źródłowym Workday Reports, a następnie ponownym załadowaniu zadania, występował błąd „Nieprawidłowa nazwa użytkownika lub hasło”, mimo że poświadczenia były prawidłowe. Ten problem został rozwiązany.

Poprawka

Ta poprawka rozwiązuje następujące problemy:

Zabezpieczenia

Oracle Java Standard Edition 17.0.8, dostarczany z Brama danych ruchu danych, ma kilka znanych luk w zabezpieczeniach. Ta poprawka zastępuje wersję 17.0.8 wersją 17.0.12, rozwiązując w ten sposób problemy.

Źródło Salesforce

Podczas CDC dla każdej zmiany do powiązanej tabeli _ct dodawano wiele operacji INSERT (zamiast tylko jednej). To znacznie zwiększało liczbę rekordów w tabeli _ct.

Standardowa

Poprawka

Ta poprawka rozwiązuje następujące problemy:

Luka w zabezpieczeniach sterownika Snowflake JDBC

14 sierpnia 2024 r. firma Snowflake wydała ostrzeżenie dotyczące bezpieczeństwa sterowników Snowflake JDBC >= 3.2.6 i <= 3.19.1, z których niektóre były używane z poprzednimi wersjami Brama danych ruchu danych. Luka została załatana w sterowniku Snowflake JDBC 3.20, który jest teraz instalowany za pomocą narzędzia do instalacji sterowników. Obecni klienci powinni jak najszybciej zaktualizować swój sterownik, postępując zgodnie z procedurą Aktualizacja sterownika opisaną w Konfiguracja sterownika.

Źródło Oracle

• Podczas korzystania ze zdarzenia ponownego wykonania 11.22 brakowało operacji INSERT podczas przetwarzania wielu operacji INSERT na skompresowanej stronie, która nie była skompresowana przed operacjami INSERT.
• W rzadkich przypadkach nieprawidłowe analizowanie zdarzeń DELETE w rekordzie dziennika ponownego wykonania generowało ostrzeżenie „Zdarzenie DELETE dziennika ponownego wykonania zawiera nieznaną strukturę”, po którym następowały różne problemy.

Źródło SAP Extractor

Instrukcje w pliku YAML zostały zaktualizowane, aby odzwierciedlały poprawną wersję SAP Java Connector.

Cel Snowflake

Podczas korzystania z Brama danych ruchu danych do połączenia z celem Snowflake za pośrednictwem serwera proxy, połączenie kończyło się niepowodzeniem z następującym błędem:

500 Failed to connect to Data Movement Gateway

Poprawka

Poprawka

Rozwiązane problemy

• Źródło Oracle

  • Brakujące operacje INSERT występowały czasami w wielu operacjach INSERT podczas korzystania z redo event 11.22.

  • Po uaktualnieniu Oracle 19g do poprawki z lipca 2024 r. operacje UPDATE czasami nie były przechwytywane oraz wyświetlane było następujące ostrzeżenie:

    A compressed row cannot be parsed

• Miejsce docelowe Snowflake

  Gdy ustawienia zadania były skonfigurowane tak, aby utworzyć schemat tabeli kontrolnej, zadanie kończyło się niepowodzeniem z następującym błędem:

  Failed to delete directory

• Zaplanowane CDC

  Gdy zaplanowano okresowe uruchamianie zadania, czasami kończyło się ono niepowodzeniem z następującym komunikatem o błędzie:

  The task stopped abnormally

• Utknięcie zadań transformacji oraz pamięci masowej

  Zadania transformacji oraz pamięci masowej czasami zbyt długo pozostawały w stanie W kolejce.

• Menedżer metadanych

  Zadania kończyły się niepowodzeniem podczas korzystania z flagi funkcji use_manipulation_pk_for_apply w przypadku replikacji z zapisywaniem zmian.

• Przedłużające się przekroczenie limitu czasu powodujące problemy ze źródłami aplikacji SaaS

  Wydłużono limit czasu S3 do 6 godzin, aby zapobiec problemom wynikającym z przedłużających się przekroczeń limitów czasu, takich jak utrata tokena umożliwiającego pobieranie plików.

Standardowa

Ulepszenia

• Dodano uwierzytelnianie przy użyciu pary kluczy do łącznika z miejscem docelowym Snowflake.

  Para kluczy stanowi skuteczniejszą metodę uwierzytelniania niż użytkownik/hasło podczas łączenia się ze Snowflake za pomocą kont usług. Podejście to jest zalecane w przypadku takich obciążeń jak ładowanie danych (replikacja lub zadania umieszczania) i transformacje.

• Obsługa równoległego pobierania metadanych z wielu tabel.

  W poprzednich wersjach odświeżanie metadanych na istniejącym lub nowo dodanym zestawie danych czasami kończyło się niepowodzeniem. To ulepszenie zapewnia, że metadane mogą być pobierane z wielu tabel równolegle bez żadnych problemów.

Rozwiązane problemy

• Typ danych DECIMAL błędnie zamapowany na STRING w Google BigQuery

  Gdy tabela źródłowa zawierała kolumnę z typem danych DECIMAL — na przykład DECIMAL (38, 20) — przygotowanie zadania pamięci masowej w Google BigQuery kończyło się niepowodzeniem z następującym komunikatem o błędzie (fragment):

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  Problem został rozwiązany przez mapowanie źródłowego typu danych DECIMAL na DECIMAL w Google BigQuery.

• Błąd reguły schematu

  Po wprowadzeniu zmian do istniejącej reguły schematu w zadaniu danych występował następujący błąd:

  QRI SQL error not implemented

• Brak tabeli /QTQVC/QRI z transportu SAP

  W przypadku przygotowywania zadania umieszczania, które łączyło się ze źródłem aplikacji SAP, zadanie kończyło się pomyślnie, ale w pliku dziennika repsrv.log był zgłaszany następujący błąd:

  Invalid object name 'hk1./QTQVC/QRI'

Standardowa

Ulepszenia

• Obsługa zmian metadanych w zadaniach replikacji i umieszczania w jeziorze danych bez konieczności usuwania i odtwarzania wszystkich tabel

  Poprzednio po wystąpieniu zmiany metadanych wszystkie tabele były usuwane i odtwarzane, nawet jeśli zmiana metadanych nie dotyczyła wszystkich tabel. Teraz będą usuwane i odtwarzane tylko zmienione tabele, co poprawi wydajność.

• Obsługa automatycznego ładowania nowych tabel w zadaniach replikacji

  Tabele utworzone w źródłowej bazie danych podczas zadania replikacji danych, które pasują do wzorca dołączania, będą teraz automatycznie rejestrowane podczas CDC (rejestrowania danych zmian).

• Udoskonalenia źródła Microsoft SQL Server (MS-CDC)

  • Zachowanie znacznika czasu i identyfikatora transakcji

    Poprzednio podczas odczytu wielu transakcji ze środowiska Microsoft SQL Server (MS-CDC) funkcja Qlik Talend Data Integration zachowywała tylko identyfikator i znacznik czasu pierwszej transakcji. W miejscu docelowym stwarzało to wrażenie, że rekordy są częścią pojedynczej transakcji. Teraz dla każdego pojedynczego rekordu Qlik Talend Data Integration będzie zachowywać oryginalny identyfikator transakcji oraz znacznik czasu. Rozwiązanie to jest korzystne dla klientów, którzy chcą wykorzystywać kolumny nagłówka identyfikatora transakcji i znacznika czasu w tabelach zmian.

  • Kolejność bajtów identyfikatora transakcji

    Wcześniej bajty w identyfikatorze transakcji były kodowane w odwrotnej kolejności. Od tej wersji bajty będą kodowane we właściwej kolejności. Klienci, którzy wolą zachować dotychczasowe działanie, mogą to zrobić przy użyciu parametrów wewnętrznych. Aby uzyskać szczegółowe informacje, skontaktuj się z działem wsparcia Qlik.

• Obsługa buforowania uwierzytelniania typu SHA-2 przy użyciu wtyczek z MySQL

  Qlik Talend Data Integration obsługuje teraz buforowanie uwierzytelniania SHA-2 przy użyciu wtyczek (caching_sha2_password) podczas pracy ze źródłami lub miejscami docelowymi MySQL, lokalnie lub w chmurze. W poprzednich wersjach obsługiwane było tylko natywne uwierzytelnianie przy użyciu wtyczek (mysql_native_password).

• Zmiany mapowania typów danych Amazon Redshift

  Typy danych BYTES oraz BLOB będą teraz mapowane na VARBYTE w Amazon Redshift zamiast VARCHAR.

Nowo certyfikowane platformy, punkty końcowe i wersje

• Źródła danych

  • PostgreSQL 16

  • MySQL 8.1
  • IBM DB2 for z/OS 3.1

• Platformy docelowe

  • PostgreSQL 16
  • MySQL 8.1
  • Databricks 14.3 LTS

• Sterowniki

  • Sterownik SQL Server ODBC 18.3

Zakończenie wsparcia

Zakończono obsługę następujących wersji baz danych:

• Wszystkie wersje i sterowniki Oracle starsze niż Oracle 19.x
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 for LUW 10.5
• IBM DB2 for z/OS: z/OS 2.3

Rozwiązane problemy

• Źródło SAP (aplikacja)

  Gdy przechwycona zmiana dokumentu klastra usuwała wszystkie wiersze wszystkich przechwyconych tabel, pojawiały się komunikaty o braku operacji DELETE i niepotrzebnej asercji.

• Luki w zabezpieczeniach

  Zaktualizowano bibliotekę uwierzytelniania firmy Microsoft dla języka Java (MSAL4J) i Bouncy Castle do wersji, w których nie występują znane luki.

• Snowflake jako miejsce docelowe

  • Zadanie czasami kończyło się niepowodzeniem podczas korzystania z wewnętrznej pamięci Snowflake.
  • Zadanie kończyło się niepowodzeniem, jeśli nazwa schematu docelowego zawierała japońskie znaki katakana.

• Źródło Oracle

  Podczas wznawiania zadania ze źródłem Oracle zadanie nadal czekało na usunięty zarchiwizowany dziennik powtórzeń, zamiast zakończyć się niepowodzeniem i wyświetlić odpowiedni komunikat o błędzie.

Standardowa

Ulepszenia

• Schemat metadanych Snowflake

  Od tej wersji schemat metadanych Snowflake (dla plików tymczasowych) zostanie utworzony, jeśli nie będzie istnieć.

Rozwiązane problemy

• Po wprowadzeniu zmiany w regule Zmień nazwę zestawu danych (która łączyła nazwę tabeli z nazwą schematu) i dodaniu widoku do zadania umieszczania operacja przygotowania nie powiedzie się i spowoduje wyświetlenie następującego komunikatu o błędzie:

  QRI SQL error not implemented.

• Zaktualizowano komponent java_file_factory do wersji bez żadnych znanych luk.
• Zaktualizowano org.postgresql:postgresql do wersji bez żadnych znanych luk.
• Podczas przenoszenia danych na SQL Server operacja przygotowania kończyła się niepowodzeniem, gdy nazwy indeksów przekraczały 128 znaków. Problem został rozwiązany przez zmianę logiki na tworzącą krótsze nazwy indeksów.

• Podczas przenoszenia danych z SQL Server brak nazwy kolumny w definicjach tabeli powodował nieskończoną pętlę powiadomień w pliku repsrv.log i wyświetlenie następującego komunikatu:

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

Standardowa

Ulepszenia

• Równoległe pobieranie metadanych

  Dodano obsługę jednoczesnego pobierania metadanych dla wielu tabel.

• Poprawiona wydajność monitorowania

  Informacje monitorowania zadań umieszczania i replikacji będą teraz aktualizowane co 10 sekund (zamiast co 60 sekund), zapewniając dokładniejsze wskazanie ich bieżącego stanu.

• Nowo obsługiwany region

  Japonia jest teraz obsługiwana jako region dzierżawy Qlik Cloud.

Rozwiązane problemy

• Interwał ponownych prób między bramą danych a Qlik Cloud stale wzrastał, ale nigdy nie był resetowany (chyba że usługa została uruchomiona ponownie).
• Podczas przenoszenia danych ze źródła aplikacji SaaS czasami podczas ponownego ładowania tabele przechodziły w stan błędu.

• Zadania ze źródłem MySQL czasami kończyły się niepowodzeniem z powodu następującego błędu podczas CDC:

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• Wcześniej zdarzenia audytu CDC były rejestrowane tylko w przypadku zadań umieszczania. Teraz będą one rejestrowane w celu wykonania zadań replikacji.
• Podczas przenoszenia danych z SQL Server (MS-CDC) rozpoczęcie zadań z wieloma tabelami trwało czasami kilka godzin.

• Gdy tabela źródłowa zawierała kolumny CLOB, a wartość „Limit LOB size” przekraczała 10240, replikacja do Snowflake kończyła się niepowodzeniem z następującym komunikatem o błędzie:

  Invalid character length: 0

Standardowa

Obsługa instalacji bramy Brama danych ruchu danych w systemie Red Hat 9.x

Klienci mogą teraz zainstalować bramę Brama danych ruchu danych w systemie Red Hat 9.x lub dowolnej odpowiedniej i kompatybilnej dystrybucji systemu Linux.

Konfigurowanie bramy Brama danych ruchu danych

Zmiany poleceń usług bramy Brama danych ruchu danych

Zmieniły się polecenia zatrzymania, uruchomienia i sprawdzenia stanu usługi Brama danych ruchu danych.

Polecenia usługi Brama danych ruchu danych

Zmiany mapowania typów danych Amazon Redshift

• Typ danych BOOLEAN, który był mapowany do VARCHAR(1) w Amazon Redshift, będzie teraz mapowany do BOOLEAN.
• Typy danych BYTES i BLOB, które były mapowane do VARCHAR(1) w Amazon Redshift, będą teraz mapowane do VARBINARY (długość).

Nowo obsługiwane bazy danych, wersje baz danych i wersje sterowników

W tej sekcji przedstawiono nowo obsługiwane bazy danych, wersje baz danych i wersje sterowników.

• Nowo obsługiwane wersje i wydania źródeł danych

  Następujące wersje źródeł danych są już obsługiwane:

  • Azure Database for MySQL - Flexible Server (obsługa za pośrednictwem łącznika źródła MySQL)
  • MariaDB 10.4 - 10.11 (poprzednio 10.4 i 10.5)

• Nowo obsługiwane docelowe platformy danych i ich wydania

  Następujące wersje docelowych platform danych są już obsługiwane:

  • Azure Database for MySQL - Flexible Server (obsługa za pośrednictwem łącznika miejsca docelowego MySQL)
  • Databricks: Databricks 13.3 LTS i Serverless SQL Warehouse

• Nowo obsługiwana wersja sterownika SAP HANA

  Klienci używający źródła SAP HANA, którzy chcą zainstalować bramę Brama danych ruchu danych w systemie Red Hat Linux 9.x, muszą zainstalować 64-bitowy sterownik SAP HANA ODBC w wersji 2.0.19 lub nowszej.

Wersje baz danych, których obsługa dobiegła końca

W tej sekcji znajdują się informacje na temat wersji baz danych, których obsługa dobiegła końca.

• Zakończono obsługę następujących wersji źródeł danych:

  • Oracle 11.x
  • SAP HANA 1.0

Rozwiązane problemy

• Instalacja bramy Brama danych ruchu danych bez podania hasła serwera uniemożliwi skonfigurowanie adresów URL dzierżawy i serwera proxy za pomocą jednego polecenia.
• Przenoszenie danych ze źródła danych Salesforce (aplikacja SaaS) powodowało dużą liczbę zbędnych ostrzeżeń, co miało wpływ na wydajność ładowania danych.
• Jeśli podczas pobierania zmian dla źródła danych aplikacji SaaS wystąpił błąd w trakcie pobierania zmian w jednej z tabel, tabela ta była zawieszana i usuwana z potoku. Teraz w przypadku napotkania błędu zadanie spróbuje pobrać zmiany maksymalnie trzy razy przed zawieszeniem tabeli.

Standardowa

Nowe cele jeziora danych dla projektów replikacji

Zwiększamy liczbę obsługiwanych miejsc docelowych projektów replikacji w Qlik Cloud Data Integration. Oprócz Amazon S3 można teraz wybrać także Azure Data Lake Storage (ADLS) i Google Cloud Storage (GCS) do dostarczania danych do jezior danych w formatach plików Parquet, JSON lub CSV.

Rozwiązane problemy:

• Łącznik źródłowy IBM DB2 for LUW

  Połączenie z IBM DB2 for LUW kończyło się niepowodzeniem, gdy rozmiar plików potrzebnych do połączenia (takich jak certyfikat klienta SSL i plik magazynu kluczy) przekraczał 4 KB.

• Sterownik dla łączników źródłowych IBM DB2 for LUW i IBM DB2 for z/OS

  Instalacja sterownika DB2 kończyła się niepowodzeniem podczas korzystania z narzędzia do instalacji sterowników.

Standardowa

Obsługa Microsoft Fabric jako miejsca docelowego potoku danych

Microsoft Fabric dołącza do wciąż powiększającej się listy hurtowni danych, których można używać jako miejsc docelowych w projektach potoków danych.

Rozwiązane problemy:

Zaktualizowano wersję sterownika Snowflake w narzędziu do instalacji sterowników.

Standardowa

Rozszerzona obsługa połączeń prywatnych

Z połączenia prywatnego można korzystać, aby zapewnić bezpieczeństwo i zgodność transmisji danych. Upraszcza zarówno zarządzanie siecią, jak i bezpieczeństwo witrtualnej chmury prywatnej (VPC) bez konieczności otwierania portów transmisji przychodzącej zapory, stosowania urządzeń proxy lub tabel routingu. Integracja danych Qlik Cloud obsługuje już prywatne połączenia z docelowymi potokami danych Snowflake, Microsoft SQL Server i Amazon S3. W tej wersji klienci mogą dodatkowo korzystać z połączeń prywatnych podczas przenoszenia danych do Databricks, Microsoft Azure Synapse, Google BigQuery i Amazon Redshift.

Źródła danych oparte na PostgreSQL

• Wszystkie źródła danych oparte na PostgreSQL — obsługa wielozakresowych typów danych: następujące wielozakresowe typy danych są teraz obsługiwane we wszystkich źródłach danych opartych na PostgreSQL (lokalnych i w chmurze).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• Źródło danych AWS Aurora Cloud dla PostgreSQL — obsługa roli innej niż superużytkownik: użytkownik określony w łączniku PostgreSQL nie musi już mieć roli superużytkownika, aby przenosić dane ze źródła danych AWS Aurora Cloud dla PostgreSQL. Jest to szczególnie przydatne w organizacjach, których korporacyjne zasady zabezpieczeń uniemożliwiają przyznanie dostępu superużytkownika użytkownikom nieuprzywilejowanym.

Źródło danych Microsoft Azure SQL (MS-CDC): Obsługa replikacji geograficznej

Klienci przenoszący dane ze źródła danych Microsoft Azure SQL (MS-CDC) mogą teraz korzystać z bazy danych Geo Replica.

Źródło danych Oracle: Obsługa modułu zabezpieczeń sprzętowych (HSM, Hardware Security Module)

Integracja danych Qlik Cloud obsługuje teraz odczytywanie danych z zaszyfrowanych obszarów tabel Oracle i zaszyfrowanych kolumn podczas CDC.

Obsługa nowych regionów

Integracja danych Qlik Cloud obsługuje teraz dzierżawy w regionach DE i UK.

Nowe obsługiwane wersje i oprogramowanie innych firm

W tej sekcji wymieniono nowe obsługiwane wersje baz danych i sterowników.

• Nowe obsługiwane wersje źródeł danych. Następujące wersje źródeł danych są już obsługiwane:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15
  • DB2 13.1 (podczas pracy z IBM DB2 do z/OS)
  • IBM DB2 for iSeries 7.5

• Nowe obsługiwane wersje docelowych platform danych. Następujące wersje docelowych platform danych są już obsługiwane:

  • Databricks (pamięć w chmurze): Databricks 12.2 LTS i Databricks SQL Serverless

• Wersje sterowników. Następujące wersje sterowników ODBC są już obsługiwane:

  • IBM Data Server Client 11.5.8 do IBM DB2 for z/OZ i IBM DB2 do LUW
  • Sterowanik ODBC Simba 3.0.0.1001 do Google Cloud BigQuery
  • 64-bitowy sterownik Unicode MySQL ODBC 8.0.32

Sterownik Microsoft SQL Server — wymagana aktualizacja

Klienci przenoszący dane do lub z Microsoft SQL Server muszą uaktualnić wersję sterownika ODBC SQL Server do wersji 18.x lub nowszej. Należy pamiętać, że dalsze używanie sterownika ODBC SQL Server w wersji 17.x może powodować błędy danych. Sterownik można zaktualizować przy użyciu narzędzia do instalacji sterowników lub ręcznie. Instrukcję można znaleźć w sekcji Konfiguracja sterownika.

Wersje baz danych, których obsługa dobiegła końca

W tej sekcji znajdują się informacje na temat wersji baz danych, których obsługa dobiegła końca.

• Wersje źródeł danych, których obsługa dobiegła końca. Zakończono obsługę następujących wersji źródeł danych:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Wersje docelowych platform danych, których obsługa dobiegła końca. Zakończono obsługę następujących wersji celów danych:

  • Databricks 9.1 LTS

2022.11.74

Standardowa

15 sierpnia 2023 r.

Obsługa replikacji

Stosujemy podejście zorientowane na chmurę, które umożliwia szybkie wprowadzanie innowacji i wdrażanie. Nie oznacza to jednak, że ograniczamy się wyłącznie do chmury. W ramach ciągłego zwiększania długoterminowej wartości dla naszych klientów z przyjemnością ogłaszamy wydanie nowego zastosowania replikacji podczas tworzenia projektów danych. Nowe zastosowanie replikacji stanowi uzupełnienie istniejącej możliwości tworzenia potoków danych dla wszystkich potrzeb związanych z integracją danych, takich jak modernizacja hurtowni danych.

Projekt replikacji obsługuje replikację danych w czasie rzeczywistym z obsługiwanych źródeł danych do obsługiwanego miejsca docelowego.

Począwszy od najnowszego wydania pierwszym miejscem docelowym obsługującym replikację danych w czasie rzeczywistym jest Microsoft SQL Server. Oprócz obsługi lokalnego serwera Microsoft SQL Server obsługiwani są także następujący dostawcy usług w chmurze:

• lokalnie
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance i Microsoft Azure Database)

Miejsce docelowe Microsoft Azure Synapse Analytics — wymagana aktualizacja sterownika

Klienci przenoszący dane do Microsoft Azure Synapse Analytics muszą uaktualnić wersję sterownika ODBC SQL Server do wersji 18.x lub nowszej. Należy pamiętać, że dalsze używanie sterownika ODBC SQL Server w wersji 17.x może powodować błędy danych. Sterownik można zaktualizować przy użyciu narzędzia do instalacji sterowników lub ręcznie. Instrukcję można znaleźć w sekcji Konfiguracja sterownika.

Nowa opcja „Ładuj dane ze źródła” dla źródeł aplikacji SaaS

Wprowadzono nową opcję Ładuj ze źródła, która umożliwia klientom odczyt danych bezpośrednio ze źródła podczas pełnego ładowania zamiast używania danych z pamięci podręcznej.

Więcej informacji o tej opcji i jej zastosowaniach można znaleźć w temacie Ustawienia umieszczania.

Zaktualizowano certyfikaty CA

Brama danych ruchu danych 2022.11.74 zawiera zaktualizowane certyfikaty CA, które są potrzebne do uwierzytelniania dzierżawy Qlik Cloud. Zaktualizowane certyfikaty CA zapewniają też obsługę regionów Irlandia i Frankfurt. W związku z tym klienci mający dzierżawy w Irlandii lub Frankfurcie, którzy chcą korzystać z Integracji danych Qlik Cloud, muszą dokonać aktualizacji do tej wersji.

Rozwiązany problem

Zadania umieszczania danych ze źródła Oracle czasami kończyły się niepowodzeniem, jeżeli szeroka tabela zawierała nieużywane lub nieobsługiwane kolumny albo kolumny LOB, które nie były replikowane.

2022.11.70

Standardowa

28 czerwca 2023 r.

Ulepszone narzędzie do instalacji sterowników dla klientów SAP

W poprzednich wersjach klienci musieli uruchamiać polecenie „source arep_login.sh” podczas instalacji klientów SAP. Od tej wersji nie jest już konieczne uruchamianie tego polecenia.

Zaktualizowane certyfikaty CA

Ta wersja zawiera zaktualizowane certyfikaty CA, które są potrzebne do uwierzytelniania dzierżawy Qlik Cloud.

Rozwiązane problemy

• Kiedy zadanie replikacji w Brama danych ruchu danych kończyło się niepowodzeniem i było automatycznie przywracane, zasób danych do umieszczenia w Qlik Cloud nie był informowany o stanie przywrócenia.

• Kompleksowe szyfrowanie Brama danych ruchu danych nie było włączane domyślnie i było kontrolowane przy użyciu flag środowiska uruchomienia.

2022.11.63

Standardowa

2 maja 2023 r.

Narzędzie do instalacji sterowników

W tej wersji wprowadzono narzędzie do instalacji sterowników, które eliminuje konieczność ręcznej instalacji i konfiguracji sterowników. Nowe narzędzie przyspiesza instalację, a jednocześnie znacznie zmniejsza prawdopodobieństwo błędu użytkownika. Po uruchomieniu narzędzia wymagany sterownik jest w miarę możliwości pobierany automatycznie i instalowany. Jeżeli nie można pobrać sterownika (na przykład sterowniki do DB2 wymagają logowania), trzeba tylko pobrać sterownik, skopiować go do specjalnego folderu na urządzeniu z bramą ruchu danych i uruchomić narzędzie.

Przykład używania narzędzia do instalacji sterowników w celu zainstalowania sterownika PostgreSQL zawiera temat Wymagania wstępne

Platforma danych w chmurze Snowflake

Łącznik Snowflake obsługuje obecnie 4-bajtowe znaki emoji.

Obsługa Azure Database for PostgreSQL – Flexible Server jako źródła danych

Łącznik PostgreSQL może teraz przenosić dane z Azure Database for PostgreSQL - Flexible Server.

Obsługa Cloud SQL for PostgreSQL jako źródła danych

Łącznik PostgreSQL może teraz przenosić dane z Cloud SQL for PostgreSQL.

Nowe obsługiwane wersje źródeł danych

W tej wersji wprowadzono obsługę następujących nowych wersji źródeł danych:

• PostgreSQL
• DB2 (for IBM DB2 for z/OS) 12.1
• IBM DB2 for z/OS 2.5

Nowe obsługiwane wersje platform danych w chmurze

Databricks 11.3 LTS

Zakończona obsługa następujących wersji źródeł danych

Następujące wersje źródeł danych nie są już obsługiwane:

• DB2 (for IBM DB2 for z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Rozwiązane problemy

W tej wersji rozwiązano następujące problemy:

• Źródło danych Oracle: Podczas zatrzymywania i wznawiania zadania czasami występował błąd „Failed to set stream position on context”.
• Źródło aplikacji SAP: Zmiany nie były uwzględniane podczas zadania umieszczania.