Aktualizacja i odinstalowywanie Brama danych ruchu danych

Rozszerzona obsługa równoległego ładowania

Funkcja równoległego ładowania obsługuje teraz docelową platformę Databricks.

Równoległe replikowanie segmentów zestawu danych

Tabela kontrolna historii DDL: Nowo obsługiwane cele

Tabela kontrolna attrep_ddl_history (Historia DDL) zawiera historię zmian DDL, które wystąpiły w źródle podczas replikacji do celu.

Obecnie obsługiwane są następujące docelowe punkty końcowe:

• Google BigQuery
• Google Cloud Alloy DB for PostgreSQL
• Google Cloud SQL for PostgreSQL
• PostgreSQL (lokalnie)

Historia DDL

Ulepszenie kolumny nagłówka „[header]__change_mask”

Podczas używania tabel zmian w formacie Parquet, kolumna nagłówka [header]__change_mask teraz dopełnia zera do lewej (zamiast do prawej), aby dostosować się do zasady little endian przechowywania bajtów w odwrotnej kolejności.

Dotyczy następujących punktów końcowych docelowych:

• Amazon S3

• Google Cloud Storage

Tabele zmian

Nowo obsługiwane źródło danych i wersje docelowe

• Miejsce docelowe Kafka: 4.0.x

• Źródło IBM z/OS: 3.2

Nowe obsługiwane wersje sterowników

• Sterownik Microsoft ODBC 18.5
• MySQL 8.4

Koniec wsparcia dla Microsoft Azure Database for MySQL i Microsoft Azure Database for PostgreSQL

Obsługa Microsoft Azure Database for MySQL i Microsoft Azure Database for PostgreSQL, które zostały oficjalnie wycofane przez firmę Microsoft, została zakończona.

Wycofywane wersje źródeł danych i celów

• Cel Databricks: 10.4 LTS i 11.3 LTS

• Źródło i cel MariaDB: 10.5

• Źródło i cel PostgreSQL: 13.x

• Źródło i cel MySQL: 8.1

Wycofywane wersje sterowników

• Sterownik Microsoft ODBC 18.3

Rozwiązane problemy

• Źródło SAP (Aplikacja)

  Zadania skonfigurowane do używania źródła SAP (Aplikacja) z procesem zaplecza generującym zdarzenia z automatycznym zatwierdzaniem czasami ulegały awarii po przeładowaniu tabeli.

• Cel Microsoft Azure SQL Database

  W replikacji jednorodnej, podczas pracy w trybie „Transactional apply” lub „Batch Optimized Apply”, który przełączył się na tryb jeden po drugim, występował błąd „0 rows affected”, gdy kolumna DATETIME była częścią klucza głównego w miejscu docelowym.

• Źródło Oracle

  Zadanie Oracle ulega awarii podczas pełnego ładowania, gdy tabela zawiera kolumnę typu long raw, a maksymalny rozmiar LOB jest większy lub równy 64K.

• Źródło SAP Extractor - Pętla rozładowywania z powodu anulowania CDC

  Podczas przeładowywania tabeli długotrwałe zadania SAP CDC są czasami anulowane. Prowadziło to do stanu błędu możliwego do odzyskania, w którym rozładowywanie nigdy nie zostało zakończone.

• Bezpieczeństwo

  Następujące komponenty zostały zaktualizowane ze względu na znane luki w zabezpieczeniach:

  • JRE zaktualizowano z 17.0.17 do 17.0.18

  • org.eclispe.jetty:jetty-io zaktualizowano z 11.0.25 do 11.0.26

  • org.apache.logging.log4j:log4j-core zaktualizowano z 2.23.1 do 2.25.3

• SAP ODP

  Podczas CDC występował następujący błąd, gdy dla tabeli zdefiniowano filtr:

  Invalid value for parameter "I_DIMNAME"

• SAP extractor

  Delta przestawała działać, jeśli zadanie zostało zatrzymane i wznowione, podczas gdy jedna z tabel była w stanie ładowania.

• Źródło aplikacji SaaS (Workday Reports)

  • Podczas pełnego ładowania, podczas łączenia się z folderem tymczasowym S3, zadanie czasami kończyło się niepowodzeniem z następującym błędem:

    Unable to execute HTTP request: Connect to s3.amazonaws.com:443

    Problem rozwiązano poprzez wdrożenie mechanizmu wielokrotnych ponownych prób łączenia się z folderem S3, gdy pierwsze połączenie nie powiodło się.

  • Uprawnienie CREATE SCHEMA było wymagane nawet wtedy, gdy schemat już istniał.

• Cel Microsoft SQL Server

  Czasami dochodziło do utraty danych w kolumnach LOB i nieprawidłowej replikacji danych podczas CDC, gdy rozmiar LOB był ustawiony na nieograniczony w ustawieniach zadania.

• Cel PostgreSQL

  Niepowodzenie załadowania pliku CSV do tabeli Net Changes zwracało błąd możliwy do odzyskania (co skutkowało nieskończoną pętlą) zamiast przełączenia na stosowanie jeden po drugim.

• Replikacja MySQL-to-MySQL

  Gdy schemat źródła i celu znajdowały się w tej samej instancji MySQL, a replikacja obejmowała tabelę kontrolną, zadanie czasami ulegało awarii z błędem "Process crashed with signal 11".

• Źródło PostgreSQL

  Podczas CDC zadanie czasami wielokrotnie odczytywało te same wpisy WAL, co skutkowało brakiem przechwytywania danych.

• Źródło Microsoft SQL Server

  • Występował błąd podczas dekompresji dziennika transakcji zawierającego zaszyfrowane bloki. Problem rozwiązano, pozostawiając dziennik skompresowany w takich przypadkach.

  • Wyświetlane były zbędne błędy podczas korzystania z alternatywnego folderu kopii zapasowej z powodu niepotrzebnej kontroli poprawności istniejących plików.

  • Zadanie czasami ulegało awarii po wywołaniu DBCC Lookup.

Wsparcie dla łącznika docelowego Kafka

Nowa wersja Brama danych ruchu danych wprowadza wsparcie dla łącznika docelowego Kafka. Bezproblemowo replikuj swoje dane z dowolnego obsługiwanego źródła bezpośrednio do lokalnego systemu Kafka lub Amazon MSK, zapewniając niezawodne, odporne na awarie transfery, które utrzymują Twoje aplikacje w gotowości. Niezależnie od tego, czy utrzymujesz spójność danych w systemach, czy zasilasz analitykę, ten łącznik zapewnia replikację o niskim opóźnieniu przy minimalnej konfiguracji.

Więcej informacji znajdziesz w Kafka miejsce docelowe

Rozwiązane problemy

• Niepowodzenie zadania replikacji źródła MySQL do celu MySQL

  Podczas replikacji zestawu danych ze schematu MySQL do innego schematu MySQL działającego na tej samej instancji serwera MySQL i uwzględnieniu tabeli kontrolnej w replikacji, CDC kończyło się niepowodzeniem z następującym błędem:

  Process crashed with signal 11

• Łącznik SAP Extractor: Tabela zawieszona podczas wznawiania zadania

  Wznowienie zadania, gdy tabela była jeszcze w trakcie pełnego ładowania, powodowało niepowodzenie zadania ekstrakcji i zawieszenie tabeli.

Rozwiązane problemy

• Cel PostgreSQL - Nieprawidłowe zachowanie błędu

  Niepowodzenie załadowania pliku CSV do tabeli Qlik Net Changes zwracało błąd możliwy do odzyskania (co skutkowało nieskończoną pętlą) zamiast przełączenia na stosowanie jeden po drugim.

• Łączniki Lite aplikacji SaaS

  Podczas pełnego ładowania zadania czasami kończyły się niepowodzeniem z następującym błędem z powodu aktywnego odrzucenia połączenia przez Amazon:

  Unable to execute HTTP request: Connect to s3.amazonaws.com:443

  Problem rozwiązano poprzez wdrożenie mechanizmu ponownych prób z maksymalnie trzema próbami przed wystąpieniem błędu.

• Źródło Microsoft SQL Server - Niepowodzenie dekompresji dziennika

  Występował błąd podczas dekompresji dziennika transakcji zawierającego zaszyfrowane bloki. Problem rozwiązano, pozostawiając dziennik skompresowany w takich przypadkach.

• Źródło Netsuite Suite Analytics - Błąd wznowienia CDC

  Podczas wznawiania zadania CDC po wprowadzeniu zmiany w źródle, zadanie czasami kończyło się niepowodzeniem z następującym błędem:

  Cannot change column title from type VARCHAR(8000) to VARCHAR(3) because reducing the byte-length of a varchar is not supported.

• Źródło Microsoft SQL Server - Fałszywe błędy

  Wyświetlane były zbędne błędy podczas korzystania z alternatywnego folderu kopii zapasowej z powodu niepotrzebnej kontroli poprawności istniejących plików.

Obsługa klucza głównego Databricks

Od tej wersji zadanie danych będzie tworzyć klucz główny w docelowych tabelach Databricks Delta, używając słowa kluczowego RELY. Chociaż Databricks nie wymusza ograniczeń klucza głównego, klucze główne ze słowem kluczowym RELY są traktowane jako niemające duplikatów i dlatego mogą być używane przez Databricks do optymalizacji zapytań.

Wymagania:

• Musisz wybrać katalog w ustawieniach łącznika

• Databricks 14.2 lub nowsza wersja

Ulepszenia typów danych

• Źródło IBM DB2 for iSeries: Dodano obsługę następujących typów danych: BINARY-DECIMAL i ZONED-DECIMAL

• Miejsce docelowe Databricks: W poprzednich wersjach typ BYTES był mapowany na STRING. Od tej wersji będzie mapowany na VARCHAR (długość w bajtach)

• Cel Google Cloud BigQuery: podtyp JSON jest teraz obsługiwany przez cel Google Cloud BigQuery

Źródło oparte na PostgreSQL: tabele partycjonowane są teraz domyślnie obsługiwane

Replikacja (pełne ładowanie i CDC) partycji i podpartycji (oraz podpodpartycji) ze źródeł danych opartych na PostgreSQL jest teraz domyślnie obsługiwana.

Cel Google Cloud BigQuery: obsługa błędów obcinania danych

Cel Google Cloud BigQuery umożliwia teraz obsługę błędów obcinania danych. Jeśli wystąpi błąd obcinania danych, możesz teraz wybrać, czy zarejestrować rekord w tabeli kontrolnej wyjątków (domyślnie), zignorować rekord, zawiesić tabelę, czy zatrzymać zadanie.

Nowe obsługiwane wersje

Obecnie obsługiwane są następujące wersje źródłowych i docelowych punktów końcowych:

• MariaDB (lokalnie) i Amazon RDS dla MariaDB: 11.4

• MySQL (lokalnie), MySQL Percona, Google Cloud SQL for MySQL, Amazon RDS for MySQL i Microsoft Azure Database for MySQL – Flexible Server: 8.4

• PostgreSQL (lokalnie), Google Cloud SQL for PostgreSQL, Amazon RDS for PostgreSQL i Microsoft Azure Database for PostgreSQL – Flexible Server: 17.x

Nowe obsługiwane wersje sterowników

Klient IBM Data Server 11.5.9 jest teraz obsługiwany z następującymi źródłami DB2:

• IBM DB2 for LUW

• IBM DB2 for z/OS

Wycofywane wersje źródeł i sterowników

• Wycofywane źródła i cele: obsługa Microsoft Azure Database for MySQL i Microsoft Azure Database for PostgreSQL, które zostały oficjalnie wycofane przez firmę Microsoft, zostało wycofane.

• Wycofywane wersje źródeł: Obsługa IBM DB2 for iSeries 7.2, którego cykl życia został zakończony, została wycofana.

• Wersje sterowników, których cykl życia dobiegł końca: obsługa klienta IBM Data Server 11.5.6 została zakończona.

Rozwiązane problemy

• Wsparcie HSTS

  HSTS nie było włączone na maszynie Brama danych Qlik — ruch danych.

• Niepowodzenie instalacji Brama danych ruchu danych

  Instalacja Brama danych ruchu danych na Redhat w wersji 9.7 kończyła się niepowodzeniem z błędem "OPENSSL_3.4.0 not found".

• Źródło PostgreSQL 15.7 - Brak przechwyconych danych podczas CDC

  Podczas CDC zadanie ciągle odczytywało te same wpisy WAL i przetwarzało tę samą pozycję strumienia.

• SAP ODP - Niepowodzenie CDC

  Po zatrzymaniu zadania CDC podczas zmian (na przykład z powodu problemu z łącznością), wznowienie zadania czasami skutkowało błędami długości wiersza.

• Brakujące dzienniki połączeń źródłowych

  Dzienniki połączeń źródłowych były niedostępne po uruchomieniu zadania, które korzystało z łącznika Preview lub Lite.

• Monitorowanie - Brakujące informacje

  Karta Monitor nie wyświetlała komunikatu o błędzie, gdy tabela została zawieszona podczas etapu CDC pełnego ładowania i zadania CDC.

Wsparcie dla tworzenia knowledge marts w Databricks

Wcześniej hurtownie wiedzy były obsługiwane tylko na platformie Snowflake. Teraz można tworzyć i uruchamiać hurtownie wiedzy oraz hurtownie wiedzy oparte na plikach również na platformie Databricks.

Rozwiązane problemy:

Zadania sporadycznie kończyły się niepowodzeniem podczas przygotowania z następującym błędem:

The request was canceled due to the configured HttpClient.Timeout of 300 seconds elapsing.

Rozwiązane problemy:

Gdy właściwość metadataschema Internal była zdefiniowana ze znakami specjalnymi, zadanie kończyło się niepowodzeniem podczas CDC.

Rozwiązane problemy:

• Alarmy produkcyjne w regionie EU-Central-1

  Klienci w regionie EU-Central-1 doświadczali częstych alarmów produkcyjnych podczas korzystania z Brama danych ruchu danych.

• Źródło danych Jira: Zablokowana tabela

  Podczas replikacji danych z Jira, tabela USERS utykała w statusie Queued przy pierwszym uruchomieniu, podczas gdy pozostałe tabele kończyły ładowanie pomyślnie.

• Problem z monitorowaniem

  Monitorowanie CDC było niedostępne w monitorze zadań.

• Niepowodzenie replikacji Oracle-to-Oracle

  Zadania replikacji Oracle-to-Oracle czasami kończyły się niepowodzeniem z powodu nieprawidłowego obliczenia długości ciągu znaków.

• Bezpieczeństwo

  Komponent serwera Java (sqlite-jdbc) został zaktualizowany do wersji 3.47.0 ze względu na znaną lukę w zabezpieczeniach wcześniejszych wersji.

• Błąd podczas uruchamiania zadania

  Błąd "No license for database" czasami występował, gdy zadanie było uruchamiane w trybie wznawiania po raz pierwszy, bez wcześniejszego uruchomienia.

• Problem łącznika Salesforce z nowymi zestawami danych

  Dodawanie nowych zestawów danych do zadania umieszczania ze źródłem danych Salesforce powodowało niepowodzenie zadania z błędem "'Table doesn't exist'".

Rozwiązane problemy:

• Błąd połączenia zadań przechowywania

  Zadania przechowywania kończyły się niepowodzeniem z błędem połączenia, który wymagał ponownego uruchomienia łącznika.

• Niepowodzenie instalacji sterownika DB2

  Instalacja sterownika DB2 kończyła się niepowodzeniem, gdy dostęp do folderu /tmp był ograniczony.

• Nadmierny czas połączenia z Qlik Cloud

  Po aktualizacji do wersji 2024.11.65 Brama danych ruchu danych, połączenie z Qlik Cloud zajmowało zbyt dużo czasu. Problem rozwiązano poprzez dodanie tokena anulowania z dwuminutowym limitem czasu.

• Awaria usługi po aktualizacji

  Po aktualizacji do Brama danych ruchu danych 2024.11.67, usługa external-data-provider (używana przez łączniki Lite) uległa awarii z powodu ograniczeń dostępu do folderu /tmp.

• Poprawki bezpieczeństwa

  Następujące komponenty zostały zastąpione nowszymi wersjami ze względu na znane luki w zabezpieczeniach:

  • SQLite 3.49.1

  • Java Runtime Engine 17.0.15

  • org.bouncycastle:bcpkix-fips 2.0.7 (bcpkix-fips-2.0.7.jar)

  • org.bouncycastle:bc-fips 2.0.0 (bc-fips-2.0.0.jar)

• Knowledge marts - Udostępnianie plików (SMB)

  Łączenie z SMB kończyło się niepowodzeniem z następującym błędem:

  SmbConnection' object has no attribute 'docs_path'

• Niepowodzenie przygotowania

  Podczas przygotowywania zadania po raz drugi, gdy po pierwszym przygotowaniu wystąpiło DDL, operacja przygotowania czasami kończyła się niepowodzeniem z następującym błędem (fragment):

  Could not find match between landing metadata with gateway task metadata for the following tables: <name>

• Problem z podglądem danych

  Opcja podglądu danych nie działała podczas korzystania z celu Microsoft SQL Server.

Ulepszenia:

• Dodano wsparcie dla Qlik Cloud Government DoD

  Ta wersja dodaje wsparcie dla używania Brama danych ruchu danych z Qlik Cloud Government DoD.

Ulepszenia:

• Kontrola momentu wyzwolenia polityki obsługi błędów tabeli

  Nowe ustawienie Liczba ponownych prób przed zwróceniem błędu tabeli zostało dodane do ustawień obsługi błędów tabeli dla zadań replikacji i umieszczania. Wcześniej, gdy wystąpił błąd tabeli, tabela była zawieszana lub zadanie było zatrzymywane (zgodnie z wybraną akcją obsługi błędów). Czasami skutkowało to zawieszaniem tabel podczas okna serwisowego aplikacji SaaS. Dzięki tej nowej opcji możliwe jest teraz określenie, ile razy tabela powinna zostać ponowiona przed wyzwoleniem polityki obsługi błędów tabeli. Ta opcja jest szczególnie przydatna, jeśli Twoja aplikacja SaaS przechodzi okresową konserwację, ponieważ możesz zastąpić domyślną liczbę ponownych prób (3), aby konserwacja mogła zostać zakończona bez wyzwalania polityki obsługi błędów tabeli.

  Obsługa błędów tabeli

  InformacjaTa opcja będzie wyświetlana tylko dla zadań skonfigurowanych z łącznikiem aplikacji SaaS Lite lub Standard.

• Podgląd danych zawiera teraz typy danych kolumn

  Podczas podglądu transformacji SQL wyniki będą teraz zawierać typy danych kolumn.

  Podgląd danych

Ulepszenia:

• Rolowanie i czyszczenie plików dziennika replikacji

  Wdrożono politykę rolowania i czyszczenia plików dziennika replikacji na maszynie łącznika. Polityka rolowania zapobiegnie zbyt dużemu rozmiarowi plików dziennika (co wpływa na wydajność i analizę), podczas gdy polityka czyszczenia zapobiegnie ich gromadzeniu się i zużywaniu nadmiernej ilości miejsca na dysku.

Rozwiązane problemy:

• Nieprawidłowy status tabeli po przeładowaniu

  Podczas przeładowywania zawieszonej tabeli status tabeli wyświetlany w monitorze czasami był nieprawidłowy.

• Przekroczenie limitu czasu operacji przygotowania

  Podczas przygotowywania zadania umieszczania po dodaniu zestawu danych czasami występował limit czasu na etapie katalogowania zasobów. Powodowało to niepowodzenie operacji przygotowania.

Ta poprawka rozwiązuje następujące problemy:

• Niepowodzenie przygotowania podczas dodawania nowej tabeli

  Podczas dodawania nowej tabeli do zadania replikacji i kliknięcia Przygotuj czasami występował następujący błąd:

  Prepare data task failed: Object reference not set to an instance of an object.

• Rozwiązane luki w zabezpieczeniach

  Następujące pliki instalacyjne Brama danych ruchu danych zostały zaktualizowane do wersji bez znanych luk w zabezpieczeniach:
  

  • java

  • jetty-io-<version>.jar

  • jetty-http-<version>.jar

  • spring-expression-<version>.jar

  • spring-core-<version>.jar

  • spring-context-<version>.jar

Ta poprawka rozwiązuje następujące problemy:

• Niepowodzenie łączności IBM DB2 for LUW

  Po aktualizacji do Brama danych ruchu danych 2024.11.54, łączenie się z bazą danych kończyło się niepowodzeniem.

• Niepowodzenie przygotowania

  Przygotowanie zadania danych kończyło się niepowodzeniem, gdy zadanie było skonfigurowane ze źródłem aplikacji SaaS i celem Google BigQuery.

• Zadania ze źródłami opartymi na Java kończą się niepowodzeniem po aktualizacji

  Zadania ze źródłami danych opartymi na Java kończyły się niepowodzeniem po aktualizacji do Brama danych ruchu danych 2024.11.54.

• Cel Snowflake: Zadania czasami przełączały się na tryb "jeden po drugim" podczas CDC

  Podczas CDC, gdy kolumna STRING w tabeli źródłowej przekraczała 65536 bajtów, dane były obcinane w docelowej kolumnie STRING. Zadanie przełączało się wtedy na tryb stosowania "jeden po drugim".

• Bezpieczeństwo

  Pliki java_file_factory.jar i arep-google-cloud.jar zostały zaktualizowane do wersji bez znanych luk w zabezpieczeniach.

Ta poprawka rozwiązuje następujące problemy:

• Pełne ładowanie ignorujące ustawienia zadania

  Podczas pełnego ładowania zadanie usuwało i odtwarzało tabele docelowe, mimo że zadanie było skonfigurowane z opcją Jeśli tabela docelowa już istnieje: Ignoruj

• Nieprawidłowa liczba rekordów

  Po zatrzymaniu i przygotowaniu istniejącego zadania replikacji z trybem replikacji ustawionym na pełne ładowanie i stosowanie zmian, liczba przetworzonych rekordów CDC wzrastała, co skutkowało nieprawidłową liczbą.

• Łącznik źródłowy JIRA

  Po dodaniu nowego zestawu danych do istniejącego zadania, zadanie kończyło się niepowodzeniem z następującym błędem:

  Could not find a match between landing metadata and gateway task metadata for the following tables: <name>

• Niepowodzenie testu połączenia

  Test połączenia ze źródłami SAP i opartymi na SQL kończył się niepowodzeniem.

• Aktualizacja

  Po aktualizacji łącznika zadania czasami nie wznawiały się zgodnie z oczekiwaniami.

Wsparcie dla Snowpipe Streaming

Poprzednio ładowanie zbiorcze było jedyną dostępną metodą ładowania danych do Snowflake. Teraz klienci mogą korzystać z funkcji Ładowanie zbiorcze lub Snowpipe Streaming, aby wprowadzać lub replikować swoje dane do Snowflake.

Zalety Snowpipe Streaming w porównaniu z Ładowaniem zbiorczym obejmują:

• Mniejsze koszty: ponieważ Snowpipe Streaming nie korzysta z hurtowni danych Snowflake, koszty operacyjne powinny być znacznie niższe, choć będzie to zależeć od konkretnego zastosowania.
• Mniejsze opóźnienia: ponieważ dane są przesyłane strumieniowo bezpośrednio do tabel danych w miejscu docelowym (bez etapu przejściowego), replikacja ze źródła danych do miejsca docelowego powinna być szybsza.

Rozwiązane problemy

Ta poprawka rozwiązuje następujące problemy:

• Microsoft Fabric: Problem z łącznością

  Podczas przeglądania baz danych przy użyciu łącznika Microsoft Fabric występował następujący błąd (fragment):

  Create connection failed'' with error 'java.lang.NoSuchMethodError

  Problem był spowodowany niekompatybilnością ze sterownikiem JDBC 12.9.0-preview.jar, który był zainstalowany za pomocą narzędzia do konfiguracji sterownika. Narzędzie zostało teraz zaktualizowane, aby instalować kompatybilny sterownik.

• Niepowodzenie restartu serwera Java

  Po aktualizacji Brama danych ruchu danych lub restarcie usługi Brama danych ruchu danych, serwer Java (wymagany dla łączników opartych na Java, takich jak SAP ODP) nie uruchamiał się.

• Wzmocnienie bezpieczeństwa

  • Szyfrowanie end-to-end nie było wzajemnie wymuszane dla ładunków poleceń logowania, które zwracały dzienniki hostowane przez klienta z centrum aktywności administracyjnej Qlik Cloud.

  • Wersja SQLite używana przez Brama danych ruchu danych została zaktualizowana ze względu na lukę w wersji 3.42.0 (CVE-2023-7104).

  • Plik com.h2database używany przez Brama danych ruchu danych został zaktualizowany ze względu na lukę w wersji h2-2.1.212 (CVE-2022-45868).

Ta poprawka rozwiązuje następujący problem podczas przenoszenia danych ze źródła danych IBM DB2 for iSeries:

Podczas korzystania ze sterownika iSeries Access ODBC w wersji 07.01.026 lub nowszej, zadanie kończyło się niepowodzeniem podczas CDC z błędem "Error parsing".

Standard

Wsparcie OAuth dla celu Databricks

Klienci mogą teraz połączyć się z celem Databricks za pomocą uwierzytelniania OAuth, które jest zalecaną przez Databricks metodą uwierzytelniania kont. Uwierzytelnianie Personal Access Token pozostanie na razie dostępne ze względu na kompatybilność wsteczną, ale jest uważane za mniej bezpieczne niż OAuth.

Rozwiązane problemy

• Problem z ładowaniem równoległym

  Gdy zestaw danych był zdefiniowany z ładowaniem równoległym, a pełne ładowanie zostało następnie wyłączone, zadanie nadal wykonywało pełne ładowanie tego zestawu danych, nawet po wznowieniu od znacznika czasu.

2024.11.24

Poprawka

Ta poprawka rozwiązuje następujące problemy:

• Źródło SAP ODP: Niepowodzenie generowania metadanych

  Generowanie metadanych nie kończyło się dla tabel z kropką w nazwie (np. Deprec.Area).

• Odzyskiwanie zadania

  Zadania odzyskiwały się tylko raz, jeśli nie powiodły się podczas pełnego ładowania z powodu problemu środowiskowego. Teraz będą odzyskiwać się tyle razy, ile skonfigurowano w Ustawienia > Obsługa błędów > Błędy środowiskowe > Maksymalna liczba ponownych prób.

Ulepszenia

Certyfikacja przełączania awaryjnego PostgreSQL

Praca z dodatkową bazą danych po przełączeniu awaryjnym została certyfikowana z następującymi źródłami danych (do których można uzyskać dostęp za pomocą łącznika źródła PostgreSQL):

• Google Cloud SQL for PostgreSQL
• Amazon RDS for PostgreSQL
• PostgreSQL (lokalnie)

Zobacz także: Konfigurowanie przełączania awaryjnego

Poprawa wydajności MySQL

W poprzednich wersjach, podczas korzystania ze źródłowego punktu końcowego opartego na MySQL w zadaniu, które zostało skonfigurowane z ograniczonym rozmiarem LOB, Brama danych ruchu danych używało do odczytu kolumn LOB wyszukiwania w źródle. Teraz Brama danych ruchu danych będzie odczytywać kolumny LOB bezpośrednio z binlog, poprawiając w ten sposób wydajność.

Zmiany mapowania typów danych

Zmieniono mapowanie kolumn LOB dla miejsc docelowych Amazon Redshift i Snowflake.

Cel Amazon Redshift

• Typ BLOB jest teraz mapowany na VARBYTE(16777216)
• Typ NCLOB jest teraz mapowany na NVARCHAR(65535)
• Typ CLOB jest teraz mapowany na NVARCHAR(65535)

Snowflake jako miejsce docelowe

• Typ BLOB jest teraz mapowany na BINARY (8388608)
• Typ NCLOB jest teraz mapowany na NVARCHAR(16777216)
• Typ CLOB jest teraz mapowany na VARCHAR(16777216)

Nowo obsługiwane typy danych

• Źródło IBM DB2 for LUW

  Obsługuje teraz typ danych BOOLEAN (od DB2 for LUW 11.5).

• Miejsce docelowe Google BigQuery

  Obsługuje teraz typ danych BIGNUMERIC.

Rozszerzona obsługa miejsca docelowego dla tabeli kontrolnej Historia DDL

W poprzednich wersjach Brama danych ruchu danych tabela kontrolna Historia DDL była obsługiwana tylko z miejscami docelowymi Databricks i Microsoft Fabric. Ta wersja wprowadza obsługę następujących dodatkowych łączników docelowych:

• Amazon Redshift
• Amazon S3
• Google Cloud Storage
• Snowflake

Zobacz także: Historia DDL

Obsługa użytkownika innego niż superużytkownik z Google Cloud SQL dla PostgreSQL

Od tej wersji można teraz określić konto inne niż superużytkownik podczas replikacji z Google Cloud SQL for PostgreSQL

Zobacz także: Korzystanie z konta bez roli superużytkownika

Nowo certyfikowane platformy i wersje sterowników

• Miejsce docelowe Databricks

  15.4 LTS

• Źródło i miejsce docelowe Oracle

  23ai

  Informacja

  • Źródło i miejsce docelowe Oracle 23ai ma certyfikat zgodności tylko z Oracle Standard Edition.
  • Źródło Oracle 23ai jest obsługiwane tylko z szyfrowaniem TDE.

• Aktualizacja sterowników Databricks

  Podczas przenoszenia danych do Databricks wymagany jest teraz sterownik Simba Spark ODBC w wersji 2.8.2 lub nowszej. Klienci powinni uruchomić narzędzie do instalacji sterownika lub zainstalować sterownik ręcznie.

  Zobacz także: Konfiguracja sterownika

Zakończenie wsparcia

Zakończono obsługę następujących wersji baz danych:

• PostgreSQL 12.x
• IBM DB2 for z/OS: z/OS 2.4
• Databricks 9.1

Rozwiązane problemy

• Łącznik SAP HANA (baza danych): niepowodzenie utworzenia tabeli __CT

  Gdy tryb replikacji był ustawiony na Zapisz zmiany, a tabela zawierała kolumnę .INCLUDE, zadanie nie mogło utworzyć tabeli __CT w miejscu docelowym.

• Zadanie umieszczania w jeziorze danych: komunikat wprowadzający w błąd

  Zadanie kończyło się niepowodzeniem i wyświetlany był komunikat „Brak licencji na bazę danych” po wygaśnięciu tajnego klucza Azure Data Lake Storage.

• Łącznik miejsca docelowego Amazon S3: stare pliki nie były usuwane

  Starsze pliki nie były usuwane podczas uruchamiania nowego zadania. Może to spowodować niepowodzenie zadania z powodu duplikowania rekordów lub z powodu niepasujących rekordów.

   

• Źródło SAP HANA (baza danych): niepowodzenie połączenia z powodu tabeli zdefiniowanej przez użytkownika

  Komunikat o błędzie „nieobsługiwana funkcja: nie można wybrać typu zdefiniowanego przez użytkownika” pojawiał się podczas wybierania do replikacji tabeli zdefiniowanej przez użytkownika. Problem został rozwiązany przez wykluczenie tabel zdefiniowanych przez użytkownika (które nie są obsługiwane) z selektora tabel.

• Łącznik miejsca docelowego Microsoft Fabric: błąd odzyskiwania

  Komunikat o błędzie „Niepowodzenie konwersji” pojawiał się czasami po odzyskaniu działania po błędzie połączenia, który wystąpił podczas CDC.

• Łącznik miejsca docelowego Databricks: błąd CDC podczas pracy bez obsługi LOB

  Po wyłączeniu obsługi LOB operacja CDC kończyła się niepowodzeniem z komunikatem „za mało kolumn danych” podczas próby wstawienia zmiany do tabeli __ct. Błąd ten wystąpiłby podczas pracy w trybie „Zapisz zmiany”, który jest jedynym trybem dostępnym w przypadku umieszczania zadań.

• Źródło MySQL do celu Snowflake: błąd CDC

  Podczas CDC w trakcie replikacji kolumny „NOT NULL” z typem danych mediumtext, zadanie czasami kończyło się niepowodzeniem z następującym komunikatem o błędzie:

  A NOT NULL constraint violation occurred on LOB column from MySQL source

• Łącznik miejsca docelowego Microsoft Fabric: błąd obcięcia

  Podczas wstawiania kolumny VARCHAR występował następujący błąd obcięcia:

  String or binary data would be truncated while reading column of type 'VARCHAR'

  Problem został rozwiązany przez zwielokrotnienie kolumny VARCHAR w Microsoft Fabric.

Nowe funkcje

Wsparcie dla określania dodatkowych właściwości połączenia ODBC i JDBC zostało dodane do łącznika docelowego Snowflake.

Więcej informacji znajdziesz w Dodatkowe właściwości połączenia.

Rozwiązane problemy

• Metadane nie są aktualizowane

  Gdy klucz główny został zmieniony w źródle, metadane docelowe nie były aktualizowane po przeładowaniu.

• Cel Amazon S3

  Podczas tworzenia i uruchamiania nowego zadania, pliki pozostałe z poprzednich zadań nie były usuwane z lokalizacji tabel.

• Źródło SAP HANA

  Próba połączenia się ze źródłem SAP HANA przy użyciu CDC opartego na dzienniku skutkowała następującym błędem:

  Cannot select user-defined type

2024.5.41

Poprawka

Ta poprawka rozwiązuje następujące problemy:

• Cele Amazon S3, Google Cloud Storage i Qlik Cloud: Cytowanie pustych wartości ciągów znaków

  Puste ciągi znaków będą teraz cytowane w pliku CSV, aby odróżnić je od wartości NULL.

• Cel Databricks: Niezgodność danych

  Niezgodność między danymi źródłowymi a docelowymi występowała w niektórych scenariuszach.

• Cel Databricks: Niepowodzenie CDC spowodowane wyłączeniem wsparcia LOB

  Wyłączenie wsparcia LOB w zadaniu umieszczania powodowało niepowodzenie CDC z następującym błędem (fragment):

  Cannot write to '<name>__ct', not enough data columns

• Cel Microsoft Fabric: Błąd połączenia skutkujący niepowodzeniem CDC

  Stosowanie zmian w miejscu docelowym po odzyskaniu po błędzie połączenia czasami kończyło się niepowodzeniem z błędem "Conversion failed".

2024.5.35

Poprawka

Ta poprawka rozwiązuje następujące problemy:

• Cel Microsoft Fabric: Problem z konwersją typu danych

  Podczas zadania przechowywania typ danych NVARCHAR(3500) był nieprawidłowo konwertowany na VARCHAR(10500) zamiast VARCHAR(8000) (maksymalna dozwolona wartość), co skutkowało błędem.

• Źródło IBM DB2 for LUW: Wsparcie dla typu danych GRAPHIC ze stroną kodową 941 (japoński)

  Gdy tabela źródłowa zawierała typ danych GRAPHIC ze stroną kodową 941 (japoński), występował następujący błąd (fragment):

  Unexpected CCSID '941' in column 'PNTNM'

2024.5.32

Poprawka

Po zaktualizowaniu nazwy użytkownika i hasła w łączniku źródłowym Workday Reports, a następnie przeładowaniu zadania, występował błąd "Invalid username or password", mimo że poświadczenia były poprawne. Ten problem został rozwiązany.

Poprawka

Ta poprawka rozwiązuje następujące problemy:

Bezpieczeństwo

Oracle Java Standard Edition 17.0.8, dostarczany z Brama danych ruchu danych, ma kilka znanych luk w zabezpieczeniach. Ta poprawka zastępuje 17.0.8 wersją 17.0.12, rozwiązując tym samym problemy.

Źródło Salesforce

Podczas CDC, dla każdej zmiany, wiele operacji INSERT było dodawanych do powiązanej tabeli _ct (zamiast tylko jednej). Znacząco zwiększało to liczbę rekordów w tabeli _ct.

Standard

Poprawka

Ta poprawka rozwiązuje następujące problemy:

Luka w sterowniku JDBC Snowflake

14 sierpnia 2024 r. Snowflake wydał biuletyn bezpieczeństwa dotyczący sterowników JDBC Snowflake >= 3.2.6 & <= 3.19.1, z których niektóre były używane z poprzednimi wersjami Brama danych ruchu danych. Luka została załatana w sterowniku JDBC Snowflake 3.20, który jest wersją instalowaną teraz za pomocą narzędzia do instalacji sterowników. Istniejący klienci powinni zaktualizować swój sterownik przy pierwszej okazji, postępując zgodnie z procedurą Aktualizacja sterownika opisaną w Konfiguracja sterownika.

Źródło Oracle

• Podczas korzystania ze zdarzenia redo 11.22, brakujące INSERTy występowały podczas przetwarzania wielu INSERTów na skompresowanej stronie, która nie była skompresowana przed INSERTami.
• W rzadkich scenariuszach nieprawidłowe parsowanie zdarzeń DELETE w rekordzie dziennika redo generowało ostrzeżenie "The Redo Log DELETE event contains an unknown structure", po którym następowały różne problemy.

Źródło SAP Extractor

Instrukcje w pliku YAML zostały zaktualizowane, aby odzwierciedlić poprawną wersję łącznika SAP Java Connector.

Cel Snowflake

Podczas korzystania z Brama danych ruchu danych do łączenia się z celem Snowflake przez proxy, połączenie kończyło się niepowodzeniem z następującym błędem:

500 Failed to connect to Data Movement Gateway

Poprawka

Poprawka

Rozwiązane problemy

• Źródło Oracle

  • Brakujące operacje INSERT występowały czasami w wielu operacjach INSERT podczas korzystania z redo event 11.22.

  • Po uaktualnieniu Oracle 19g do poprawki z lipca 2024 r. operacje UPDATE czasami nie były przechwytywane oraz wyświetlane było następujące ostrzeżenie:

    A compressed row cannot be parsed

• Miejsce docelowe Snowflake

  Gdy ustawienia zadania były skonfigurowane tak, aby utworzyć schemat tabeli kontrolnej, zadanie kończyło się niepowodzeniem z następującym błędem:

  Failed to delete directory

• Zaplanowane CDC

  Gdy zaplanowano okresowe uruchamianie zadania, czasami kończyło się ono niepowodzeniem z następującym komunikatem o błędzie:

  The task stopped abnormally

• Utknięcie zadań transformacji oraz pamięci masowej

  Zadania transformacji oraz pamięci masowej czasami zbyt długo pozostawały w stanie W kolejce.

• Menedżer metadanych

  Zadania kończyły się niepowodzeniem podczas korzystania z flagi funkcji use_manipulation_pk_for_apply w przypadku replikacji z zapisywaniem zmian.

• Przedłużające się przekroczenie limitu czasu powodujące problemy ze źródłami aplikacji SaaS

  Wydłużono limit czasu S3 do 6 godzin, aby zapobiec problemom wynikającym z przedłużających się przekroczeń limitów czasu, takich jak utrata tokena umożliwiającego pobieranie plików.

Standard

Ulepszenia

• Dodano uwierzytelnianie przy użyciu pary kluczy do łącznika z miejscem docelowym Snowflake.

  Para kluczy stanowi skuteczniejszą metodę uwierzytelniania niż użytkownik/hasło podczas łączenia się ze Snowflake za pomocą kont usług. Podejście to jest zalecane w przypadku takich obciążeń jak ładowanie danych (replikacja lub zadania umieszczania) i transformacje.

• Obsługa równoległego pobierania metadanych z wielu tabel.

  W poprzednich wersjach odświeżanie metadanych na istniejącym lub nowo dodanym zestawie danych czasami kończyło się niepowodzeniem. To ulepszenie zapewnia, że metadane mogą być pobierane z wielu tabel równolegle bez żadnych problemów.

Rozwiązane problemy

• Typ danych DECIMAL błędnie zamapowany na STRING w Google BigQuery

  Gdy tabela źródłowa zawierała kolumnę z typem danych DECIMAL — na przykład DECIMAL (38, 20) — przygotowanie zadania pamięci masowej w Google BigQuery kończyło się niepowodzeniem z następującym komunikatem o błędzie (fragment):

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  Problem został rozwiązany przez mapowanie źródłowego typu danych DECIMAL na DECIMAL w Google BigQuery.

• Błąd reguły schematu

  Po wprowadzeniu zmian do istniejącej reguły schematu w zadaniu danych występował następujący błąd:

  QRI SQL error not implemented

• Brak tabeli /QTQVC/QRI z transportu SAP

  W przypadku przygotowywania zadania umieszczania, które łączyło się ze źródłem aplikacji SAP, zadanie kończyło się pomyślnie, ale w pliku dziennika repsrv.log był zgłaszany następujący błąd:

  Invalid object name 'hk1./QTQVC/QRI'

Standard

Ulepszenia

• Obsługa zmian metadanych w zadaniach replikacji i umieszczania w jeziorze danych bez konieczności usuwania i odtwarzania wszystkich tabel

  Poprzednio po wystąpieniu zmiany metadanych wszystkie tabele były usuwane i odtwarzane, nawet jeśli zmiana metadanych nie dotyczyła wszystkich tabel. Teraz będą usuwane i odtwarzane tylko zmienione tabele, co poprawi wydajność.

• Obsługa automatycznego ładowania nowych tabel w zadaniach replikacji

  Tabele utworzone w źródłowej bazie danych podczas zadania replikacji danych, które pasują do wzorca dołączania, będą teraz automatycznie rejestrowane podczas CDC (rejestrowania danych zmian).

• Udoskonalenia źródła Microsoft SQL Server (MS-CDC)

  • Zachowanie znacznika czasu i identyfikatora transakcji

    Poprzednio podczas odczytu wielu transakcji ze środowiska Microsoft SQL Server (MS-CDC) funkcja Qlik Talend Data Integration zachowywała tylko identyfikator i znacznik czasu pierwszej transakcji. W miejscu docelowym stwarzało to wrażenie, że rekordy są częścią pojedynczej transakcji. Teraz dla każdego pojedynczego rekordu Qlik Talend Data Integration będzie zachowywać oryginalny identyfikator transakcji oraz znacznik czasu. Rozwiązanie to jest korzystne dla klientów, którzy chcą wykorzystywać kolumny nagłówka identyfikatora transakcji i znacznika czasu w tabelach zmian.

  • Kolejność bajtów identyfikatora transakcji

    Wcześniej bajty w identyfikatorze transakcji były kodowane w odwrotnej kolejności. Od tej wersji bajty będą kodowane we właściwej kolejności. Klienci, którzy wolą zachować dotychczasowe działanie, mogą to zrobić przy użyciu parametrów wewnętrznych. Aby uzyskać szczegółowe informacje, skontaktuj się z działem wsparcia Qlik.

• Obsługa buforowania uwierzytelniania typu SHA-2 przy użyciu wtyczek z MySQL

  Qlik Talend Data Integration obsługuje teraz buforowanie uwierzytelniania SHA-2 przy użyciu wtyczek (caching_sha2_password) podczas pracy ze źródłami lub miejscami docelowymi MySQL, lokalnie lub w chmurze. W poprzednich wersjach obsługiwane było tylko natywne uwierzytelnianie przy użyciu wtyczek (mysql_native_password).

• Zmiany mapowania typów danych Amazon Redshift

  Typy danych BYTES oraz BLOB będą teraz mapowane na VARBYTE w Amazon Redshift zamiast VARCHAR.

Nowo certyfikowane platformy, punkty końcowe i wersje

• Źródła danych

  • PostgreSQL 16

  • MySQL 8.1
  • IBM DB2 for z/OS 3.1

• Platformy docelowe

  • PostgreSQL 16
  • MySQL 8.1
  • Databricks 14.3 LTS

• Sterowniki

  • Sterownik SQL Server ODBC 18.3

Zakończenie wsparcia

Zakończono obsługę następujących wersji baz danych:

• Wszystkie wersje i sterowniki Oracle starsze niż Oracle 19.x
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 for LUW 10.5
• IBM DB2 for z/OS: z/OS 2.3

Rozwiązane problemy

• Źródło SAP (aplikacja)

  Gdy przechwycona zmiana dokumentu klastra usuwała wszystkie wiersze wszystkich przechwyconych tabel, pojawiały się komunikaty o braku operacji DELETE i niepotrzebnej asercji.

• Luki w zabezpieczeniach

  Zaktualizowano bibliotekę uwierzytelniania firmy Microsoft dla języka Java (MSAL4J) i Bouncy Castle do wersji, w których nie występują znane luki.

• Snowflake jako miejsce docelowe

  • Zadanie czasami kończyło się niepowodzeniem podczas korzystania z wewnętrznej pamięci Snowflake.
  • Zadanie kończyło się niepowodzeniem, jeśli nazwa schematu docelowego zawierała japońskie znaki katakana.

• Źródło Oracle

  Podczas wznawiania zadania ze źródłem Oracle zadanie nadal czekało na usunięty zarchiwizowany dziennik powtórzeń, zamiast zakończyć się niepowodzeniem i wyświetlić odpowiedni komunikat o błędzie.

Standard

Ulepszenia

• Schemat metadanych Snowflake

  Od tej wersji schemat metadanych Snowflake (dla plików tymczasowych) zostanie utworzony, jeśli nie będzie istnieć.

Rozwiązane problemy

• Po wprowadzeniu zmiany w regule Zmień nazwę zestawu danych (która łączyła nazwę tabeli z nazwą schematu) i dodaniu widoku do zadania umieszczania operacja przygotowania nie powiedzie się i spowoduje wyświetlenie następującego komunikatu o błędzie:

  QRI SQL error not implemented.

• Zaktualizowano komponent java_file_factory do wersji bez żadnych znanych luk.
• Zaktualizowano org.postgresql:postgresql do wersji bez żadnych znanych luk.
• Podczas przenoszenia danych na SQL Server operacja przygotowania kończyła się niepowodzeniem, gdy nazwy indeksów przekraczały 128 znaków. Problem został rozwiązany przez zmianę logiki na tworzącą krótsze nazwy indeksów.

• Podczas przenoszenia danych z SQL Server brak nazwy kolumny w definicjach tabeli powodował nieskończoną pętlę powiadomień w pliku repsrv.log i wyświetlenie następującego komunikatu:

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

Standard

Ulepszenia

• Równoległe pobieranie metadanych

  Dodano obsługę jednoczesnego pobierania metadanych dla wielu tabel.

• Poprawiona wydajność monitorowania

  Informacje monitorowania zadań umieszczania i replikacji będą teraz aktualizowane co 10 sekund (zamiast co 60 sekund), zapewniając dokładniejsze wskazanie ich bieżącego stanu.

• Nowo obsługiwany region

  Japonia jest teraz obsługiwana jako region dzierżawy Qlik Cloud.

Rozwiązane problemy

• Interwał ponownych prób między bramą danych a Qlik Cloud stale wzrastał, ale nigdy nie był resetowany (chyba że usługa została uruchomiona ponownie).
• Podczas przenoszenia danych ze źródła aplikacji SaaS czasami podczas ponownego ładowania tabele przechodziły w stan błędu.

• Zadania ze źródłem MySQL czasami kończyły się niepowodzeniem z powodu następującego błędu podczas CDC:

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• Wcześniej zdarzenia audytu CDC były rejestrowane tylko w przypadku zadań umieszczania. Teraz będą one rejestrowane w celu wykonania zadań replikacji.
• Podczas przenoszenia danych z SQL Server (MS-CDC) rozpoczęcie zadań z wieloma tabelami trwało czasami kilka godzin.

• Gdy tabela źródłowa zawierała kolumny CLOB, a wartość „Limit LOB size” przekraczała 10240, replikacja do Snowflake kończyła się niepowodzeniem z następującym komunikatem o błędzie:

  Invalid character length: 0

Standard

Obsługa instalacji bramy Brama danych ruchu danych w systemie Red Hat 9.x

Klienci mogą teraz zainstalować bramę Brama danych ruchu danych w systemie Red Hat 9.x lub dowolnej odpowiedniej i kompatybilnej dystrybucji systemu Linux.

Konfigurowanie bramy Brama danych ruchu danych

Zmiany poleceń usług bramy Brama danych ruchu danych

Zmieniły się polecenia zatrzymania, uruchomienia i sprawdzenia stanu usługi Brama danych ruchu danych.

Polecenia usługi Brama danych ruchu danych

Zmiany mapowania typów danych Amazon Redshift

• Typ danych BOOLEAN, który był mapowany do VARCHAR(1) w Amazon Redshift, będzie teraz mapowany do BOOLEAN.
• Typy danych BYTES i BLOB, które były mapowane do VARCHAR(1) w Amazon Redshift, będą teraz mapowane do VARBINARY (długość).

Nowo obsługiwane bazy danych, wersje baz danych i wersje sterowników

W tej sekcji przedstawiono nowo obsługiwane bazy danych, wersje baz danych i wersje sterowników.

• Nowo obsługiwane wersje i wydania źródeł danych

  Następujące wersje źródeł danych są już obsługiwane:

  • Azure Database for MySQL - Flexible Server (obsługa za pośrednictwem łącznika źródła MySQL)
  • MariaDB 10.4 - 10.11 (poprzednio 10.4 i 10.5)

• Nowo obsługiwane docelowe platformy danych i ich wydania

  Następujące wersje docelowych platform danych są już obsługiwane:

  • Azure Database for MySQL - Flexible Server (obsługa za pośrednictwem łącznika miejsca docelowego MySQL)
  • Databricks: Databricks 13.3 LTS i Serverless SQL Warehouse

• Nowo obsługiwana wersja sterownika SAP HANA

  Klienci używający źródła SAP HANA, którzy chcą zainstalować bramę Brama danych ruchu danych w systemie Red Hat Linux 9.x, muszą zainstalować 64-bitowy sterownik SAP HANA ODBC w wersji 2.0.19 lub nowszej.

Wersje baz danych, których obsługa dobiegła końca

W tej sekcji znajdują się informacje na temat wersji baz danych, których obsługa dobiegła końca.

• Zakończono obsługę następujących wersji źródeł danych:

  • Oracle 11.x
  • SAP HANA 1.0

Rozwiązane problemy

• Instalacja bramy Brama danych ruchu danych bez podania hasła serwera uniemożliwi skonfigurowanie adresów URL dzierżawy i serwera proxy za pomocą jednego polecenia.
• Przenoszenie danych ze źródła danych Salesforce (aplikacja SaaS) powodowało dużą liczbę zbędnych ostrzeżeń, co miało wpływ na wydajność ładowania danych.
• Jeśli podczas pobierania zmian dla źródła danych aplikacji SaaS wystąpił błąd w trakcie pobierania zmian w jednej z tabel, tabela ta była zawieszana i usuwana z potoku. Teraz w przypadku napotkania błędu zadanie spróbuje pobrać zmiany maksymalnie trzy razy przed zawieszeniem tabeli.

Standard

Nowe cele data lake dla projektów replikacji

Zwiększamy liczbę obsługiwanych miejsc docelowych projektów replikacji w Qlik Cloud Data Integration. Oprócz Amazon S3 można teraz wybrać także Azure Data Lake Storage (ADLS) i Google Cloud Storage (GCS) do dostarczania danych do jezior danych w formatach plików Parquet, JSON lub CSV.

Rozwiązane problemy:

• Łącznik źródłowy IBM DB2 for LUW

  Połączenie z IBM DB2 for LUW kończyło się niepowodzeniem, gdy rozmiar plików potrzebnych do połączenia (takich jak certyfikat klienta SSL i plik keystore) przekraczał 4 KB.

• Sterownik dla łączników źródłowych IBM DB2 for LUW i IBM DB2 for z/OS

  Instalacja sterownika DB2 kończyła się niepowodzeniem podczas korzystania z narzędzia do instalacji sterowników.

Standard

Obsługa Microsoft Fabric jako miejsca docelowego potoku danych

Microsoft Fabric dołącza do wciąż powiększającej się listy hurtowni danych, których można używać jako miejsc docelowych w projektach potoków danych.

Rozwiązane problemy:

Zaktualizowano wersję sterownika Snowflake w narzędziu do instalacji sterowników.

Standard

Rozszerzona obsługa połączeń prywatnych

Z połączenia prywatnego można korzystać, aby zapewnić bezpieczeństwo i zgodność transmisji danych. Upraszcza zarówno zarządzanie siecią, jak i bezpieczeństwo witrtualnej chmury prywatnej (VPC) bez konieczności otwierania portów transmisji przychodzącej zapory, stosowania urządzeń proxy lub tabel routingu. Integracja danych Qlik Cloud obsługuje już prywatne połączenia z docelowymi potokami danych Snowflake, Microsoft SQL Server i Amazon S3. W tej wersji klienci mogą dodatkowo korzystać z połączeń prywatnych podczas przenoszenia danych do Databricks, Microsoft Azure Synapse, Google BigQuery i Amazon Redshift.

Źródła danych oparte na PostgreSQL

• Wszystkie źródła danych oparte na PostgreSQL — obsługa wielozakresowych typów danych: następujące wielozakresowe typy danych są teraz obsługiwane we wszystkich źródłach danych opartych na PostgreSQL (lokalnych i w chmurze).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• Źródło danych AWS Aurora Cloud dla PostgreSQL — obsługa roli innej niż superużytkownik: użytkownik określony w łączniku PostgreSQL nie musi już mieć roli superużytkownika, aby przenosić dane ze źródła danych AWS Aurora Cloud dla PostgreSQL. Jest to szczególnie przydatne w organizacjach, których korporacyjne zasady zabezpieczeń uniemożliwiają przyznanie dostępu superużytkownika użytkownikom nieuprzywilejowanym.

Źródło danych Microsoft Azure SQL (MS-CDC): Obsługa replikacji geograficznej

Klienci przenoszący dane ze źródła danych Microsoft Azure SQL (MS-CDC) mogą teraz korzystać z bazy danych Geo Replica.

Źródło danych Oracle: Obsługa modułu zabezpieczeń sprzętowych (HSM, Hardware Security Module)

Integracja danych Qlik Cloud obsługuje teraz odczytywanie danych z zaszyfrowanych obszarów tabel Oracle i zaszyfrowanych kolumn podczas CDC.

Obsługa nowych regionów

Integracja danych Qlik Cloud obsługuje teraz dzierżawy w regionach DE i UK.

Nowe obsługiwane wersje i oprogramowanie innych firm

W tej sekcji wymieniono nowe obsługiwane wersje baz danych i sterowników.

• Nowe obsługiwane wersje źródeł danych. Następujące wersje źródeł danych są już obsługiwane:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15
  • DB2 13.1 (podczas pracy z IBM DB2 do z/OS)
  • IBM DB2 for iSeries 7.5

• Nowe obsługiwane wersje docelowych platform danych. Następujące wersje docelowych platform danych są już obsługiwane:

  • Databricks (pamięć w chmurze): Databricks 12.2 LTS i Databricks SQL Serverless

• Wersje sterowników. Następujące wersje sterowników ODBC są już obsługiwane:

  • IBM Data Server Client 11.5.8 do IBM DB2 for z/OZ i IBM DB2 do LUW
  • Sterowanik ODBC Simba 3.0.0.1001 do Google Cloud BigQuery
  • 64-bitowy sterownik Unicode MySQL ODBC 8.0.32

Sterownik Microsoft SQL Server — wymagana aktualizacja

Klienci przenoszący dane do lub z Microsoft SQL Server muszą uaktualnić wersję sterownika ODBC SQL Server do wersji 18.x lub nowszej. Należy pamiętać, że dalsze używanie sterownika ODBC SQL Server w wersji 17.x może powodować błędy danych. Sterownik można zaktualizować przy użyciu narzędzia do instalacji sterowników lub ręcznie. Instrukcję można znaleźć w sekcji Konfiguracja sterownika.

Wersje baz danych, których obsługa dobiegła końca

W tej sekcji znajdują się informacje na temat wersji baz danych, których obsługa dobiegła końca.

• Wersje źródeł danych, których obsługa dobiegła końca. Zakończono obsługę następujących wersji źródeł danych:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Wersje docelowych platform danych, których obsługa dobiegła końca. Zakończono obsługę następujących wersji celów danych:

  • Databricks 9.1 LTS

2022.11.74

Standard

15 sierpnia 2023

Obsługa replikacji

Stosujemy podejście zorientowane na chmurę, które umożliwia szybkie wprowadzanie innowacji i wdrażanie. Nie oznacza to jednak, że ograniczamy się wyłącznie do chmury. W ramach ciągłego zwiększania długoterminowej wartości dla naszych klientów z przyjemnością ogłaszamy wydanie nowego zastosowania replikacji podczas tworzenia projektów danych. Nowe zastosowanie replikacji stanowi uzupełnienie istniejącej możliwości tworzenia potoków danych dla wszystkich potrzeb związanych z integracją danych, takich jak modernizacja hurtowni danych.

Projekt replikacji obsługuje replikację danych w czasie rzeczywistym z obsługiwanych źródeł danych do obsługiwanego miejsca docelowego.

Począwszy od najnowszego wydania pierwszym miejscem docelowym obsługującym replikację danych w czasie rzeczywistym jest Microsoft SQL Server. Oprócz obsługi lokalnego serwera Microsoft SQL Server obsługiwani są także następujący dostawcy usług w chmurze:

• lokalnie
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance i Microsoft Azure Database)

Miejsce docelowe Microsoft Azure Synapse Analytics — wymagana aktualizacja sterownika

Klienci przenoszący dane do Microsoft Azure Synapse Analytics muszą uaktualnić wersję sterownika ODBC SQL Server do wersji 18.x lub nowszej. Należy pamiętać, że dalsze używanie sterownika ODBC SQL Server w wersji 17.x może powodować błędy danych. Sterownik można zaktualizować przy użyciu narzędzia do instalacji sterowników lub ręcznie. Instrukcję można znaleźć w sekcji Konfiguracja sterownika.

Nowa opcja „Ładuj dane ze źródła” dla źródeł aplikacji SaaS

Wprowadzono nową opcję Ładuj ze źródła, która umożliwia klientom odczyt danych bezpośrednio ze źródła podczas pełnego ładowania zamiast używania danych z pamięci podręcznej.

Więcej informacji o tej opcji i jej zastosowaniach można znaleźć w temacie Ustawienia umieszczania.

Zaktualizowano certyfikaty CA

Brama danych ruchu danych 2022.11.74 zawiera zaktualizowane certyfikaty CA, które są potrzebne do uwierzytelniania dzierżawy Qlik Cloud. Zaktualizowane certyfikaty CA zapewniają też obsługę regionów Irlandia i Frankfurt. W związku z tym klienci mający dzierżawy w Irlandii lub Frankfurcie, którzy chcą korzystać z Integracji danych Qlik Cloud, muszą dokonać aktualizacji do tej wersji.

Rozwiązany problem

Zadania umieszczania danych ze źródła Oracle czasami kończyły się niepowodzeniem, jeżeli szeroka tabela zawierała nieużywane lub nieobsługiwane kolumny albo kolumny LOB, które nie były replikowane.

2022.11.70

Standard

28 czerwca 2023

Ulepszone narzędzie do instalacji sterowników dla klientów SAP

W poprzednich wersjach klienci musieli uruchamiać polecenie "source arep_login.sh" podczas instalacji klientów SAP. Od tej wersji nie jest już konieczne uruchamianie tego polecenia.

Zaktualizowane certyfikaty CA

Ta wersja zawiera zaktualizowane certyfikaty CA, które są potrzebne do uwierzytelniania dzierżawy Qlik Cloud.

Rozwiązane problemy

• Kiedy zadanie replikacji w Brama danych ruchu danych kończyło się niepowodzeniem i było automatycznie przywracane, zasób danych do umieszczenia w Qlik Cloud nie był informowany o stanie przywrócenia.

• Kompleksowe szyfrowanie Brama danych ruchu danych nie było włączane domyślnie i było kontrolowane przy użyciu flag środowiska uruchomienia.

2022.11.63

Standard

2 maja 2023

Narzędzie do instalacji sterowników

W tej wersji wprowadzono narzędzie do instalacji sterowników, które eliminuje konieczność ręcznej instalacji i konfiguracji sterowników. Nowe narzędzie przyspiesza instalację, a jednocześnie znacznie zmniejsza prawdopodobieństwo błędu użytkownika. Po uruchomieniu narzędzia wymagany sterownik jest w miarę możliwości pobierany automatycznie i instalowany. Jeżeli nie można pobrać sterownika (na przykład sterowniki do DB2 wymagają logowania), trzeba tylko pobrać sterownik, skopiować go do specjalnego folderu na urządzeniu z bramą ruchu danych i uruchomić narzędzie.

Przykład używania narzędzia do instalacji sterowników w celu zainstalowania sterownika PostgreSQL zawiera temat Wymagania wstępne

Platforma danych w chmurze Snowflake

Łącznik Snowflake obsługuje obecnie 4-bajtowe znaki emoji.

Obsługa Azure Database for PostgreSQL – Flexible Server jako źródła danych

Łącznik PostgreSQL może teraz przenosić dane z Azure Database for PostgreSQL - Flexible Server.

Obsługa Cloud SQL for PostgreSQL jako źródła danych

Łącznik PostgreSQL może teraz przenosić dane z Cloud SQL for PostgreSQL.

Nowe obsługiwane wersje źródeł danych

W tej wersji wprowadzono obsługę następujących nowych wersji źródeł danych:

• PostgreSQL
• DB2 (for IBM DB2 for z/OS) 12.1
• IBM DB2 for z/OS 2.5

Nowe obsługiwane wersje platform danych w chmurze

Databricks 11.3 LTS

Zakończona obsługa następujących wersji źródeł danych

Następujące wersje źródeł danych nie są już obsługiwane:

• DB2 (for IBM DB2 for z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Rozwiązane problemy

W tej wersji rozwiązano następujące problemy:

• Źródło danych Oracle: Podczas zatrzymywania i wznawiania zadania czasami występował błąd „Failed to set stream position on context”.
• Źródło aplikacji SAP: Zmiany nie były uwzględniane podczas zadania umieszczania.