Uaktualnianie i odinstalowywanie Brama danych ruchu danych

Rozwiązane problemy

• Agregacja statystyk cząstkowego pełnego ładowania

• Databricks Lakehouse (Delta) / Databricks (Magazyn w chmurze) – testowe połączenie ODBC kończy się niepowodzeniem z powodu proxy (Nazwa użytkownika/Hasło) we wszystkich środowiskach przejściowych

• Wolumin Databricks Lakehouse (Delta) - Usunięcie katalogu kończy się niepowodzeniem z powodu błędu "CLOUD_FILE_NOT_FOUND"

• W trybie aplikacji, zadanie wyłącznie pełnego ładowania powinno włączyć DDL

• Docelowa aplikacja SAP tworzy znaki specjalne w danych podczas ładowania do formatu danych Snowflake

• Cel S3 pełnego ładowania przygotowuje duplikaty rekordów w tych samych plikach JSON lub w różnych plikach JSON za pomocą ekstraktora SAP źródła

• Brak odpowiedniego komunikatu o błędzie, gdy tabela jest zawieszona

• Zadanie OData celu SAP ODP zakończone, ale pełne ładowanie nie kończy się

• Obsługa SQL Server 2012 (pomiń sprawdzanie Always Encrypted)

• Ogranicz LOCAL INFILE tylko do trybu ładowania dla celów MySQL/MemSQL (poprawka LFI)

• Źródło SAPDB – Błędne dane (brakujące dane, duplikaty) mogą wystąpić dla tabeli, gdy inna tabela otrzyma polecenie LOAD TABLE.

• Obsługa zmiany długości typu danych w Databricks Delta

• BigQuery Streaming - Wartości null obcięte z pól typu danych STRING przy konkatenacji znaków

• Wyszukiwanie LOB w PostgreSQL kończy się niepowodzeniem, jeśli klucz podstawowy zawiera TIMESTAMPTZ

• Gdy wywołanie DBCC w odroczonym konstruktorze SQL Server zwróci błąd, który można odzyskać, musimy ponownie nawiązać połączenie i ponowić próbę z powodu możliwego przekroczenia limitu czasu

• Źródło HANA, typ danych DECIMAL w miejscu docelowym obcina wartości skali, powodując niezgodność danych

• Źródło SAP ODP w wersji 2025.11, jeśli użyto opcji INCLUDE dla wzorca wyboru tabeli. Pełne obciążenie zajmuje więcej godzin na ukończenie.

• SQL Server Zawsze szyfrowane: Tabela przechodzi w stan zawieszenia w dowolnym zadaniu do dowolnego celu z powodu uszkodzonego pliku CSV

• Obsługa wycofywania SAP HANA do punktu zapisu

• Zadanie kończy się niepowodzeniem z powodu problemu wygaśnięcia tokenu podczas pracy z uwierzytelnianiem jednostki usługi Azure Active Directory

• Nie udało się uruchomić zasobu. Komunikat o błędzie powinien pokazywać brakującą tabelę w logu.

• Redshift - długość kolumny nie jest obsługiwana

• Wyzwalacze są nieprawidłowo usuwane

• Operacje aktualizacji Oracle na skompresowanych wierszach mogą nie uwzględniać wartości kolumny klucza podstawowego w obrazie po zmianie (After Image), co skutkuje użyciem wartości NULL w miejscu docelowym.

• Zadanie ładowania - usunięcie i ponowne dodanie tej samej tabeli nie tworzy tabeli _ct, jeśli została ręcznie usunięta z docelowej bazy danych

• Dołączanie wskaźnika UTC dla wartości kolumny daty/czasu w plikach Parquet S3

• Brakujące rekordy przy odłączaniu/ponownym dołączaniu celu po błędzie wyszukiwania LOB

• DB2 Z/os jest zielony, ale nic się nie zmienia

• DataBricks Delta zastępuje zero binarne w ciągach znaków spacją

• alternateBackupFolderTransportCommand nie zachowuje wielkości liter

• SAP HANA Tryb pełnego zapisu - wyzwalacze mogą zakończyć się niepowodzeniem, jeśli QTREP/TRAN_LOG się zapełni

• Nie można użyć równoległego ładowania w tabeli SAP VBRP dla Databricks Lakehouse (Delta)

• Databricks (Magazyn w chmurze) zastępuje zero binarne w ciągach znaków spacją

• SAPDB - w nowym wystąpieniu tabele mają wartości NULL w kluczu podstawowym dla niektórych zdarzeń

• Awaria podczas wyszukiwania LOB, gdy kolejność kolumn w SAP i w tabelach zaplecza jest inna

• Błąd podczas konwersji pliku CSV na Parquet

• Korzystając z Oracle Standby, pominięto sekwencję dziennika redo online, co spowodowało utratę danych

• SAPDB - Awaria zadania podczas wyszukiwania LOB, gdy wymagane metadane nie zostały jeszcze odczytane

• Oracle odczytuje z dziennika ponownego wykonywania online z nieprzygotowanym jeszcze Redo.

• Oracle 26ai + szyfrowanie TDE - Błędne parsowanie dziennika REDO zaszyfrowanych zmian CDC

• Dodaj obsługę regionu Kanada

• Obsługa połączenia proxy HTTPS

• Podczas korzystania z zarządzanej bramy, pakiet diagnostyczny zawiera tylko ostatni dziennik

• Źródło SQL Server (MS-CDC) – Nieprawidłowe zapytanie o zmiany generowane dla kolumn geometrii, gdy skonfigurowana jest transformacja zmiany nazwy kolumny

• Źródło Stitch – Pliki tabeli śledzenia zmian nie zostały zamknięte, gdy pełne ładowanie rozpoczęło się lub zakończyło

• Źródło i cel Teradata – dokumentacja konfiguracji sterownika zaktualizowana

• Bezpieczeństwo – Zaktualizowano netty-codec-http do 4.1.136.Końcowy

• Bezpieczeństwo – Zaktualizowano lz4-java do 1.11.1

• Bezpieczeństwo – Zaktualizowano jackson-core do 2.18.8

• Bezpieczeństwo – Zaktualizowano jetty-security do 12.1.10

• Bezpieczeństwo – Zaktualizowano Log4j w źródłowych punktach końcowych SAP ODP i Salesforce

• Obsługa komunikatu błędu dla fullLoadPartial

• Zadanie docelowe Snowflake wykazało wiele błędów: "Obiekt '<>."attrep_status"' nie istnieje lub brak autoryzacji."

Rozwiązane problemy

• Błąd składni w tabeli kontrolnej attrep_history na Databricks i Snowflake

  Po uaktualnieniu do Brama danych ruchu danych 2025.11.40, operacje INSERT do tabeli kontrolnej attrep_history spowodowały błąd składni.

• Źródło Oracle

  Wybór tabeli get_table_list nie powiódł się z kodem błędu Oracle '1406' podczas pobierania metadanych tabeli w środowiskach Oracle Autonomous Database z włączoną kompresją.

• Replicate awaria zasobu

  Ulepszone komunikaty o błędach, aby wyświetlać nazwę brakującej tabeli w dzienniku, gdy zadanie umieszczania nie powiedzie się z powodu brakującej tabeli.

• Zadanie docelowe - Tabela śledzenia zmian

  Usuwanie i ponowne dodawanie zestawu danych w zadaniu umieszczania nie tworzyło już tabeli śledzenia zmian, jeśli została ona ręcznie usunięta z docelowej bazy danych.

• Źródło SQL Server — zgodność z Always-Encrypted

  Dodano obsługę dla SQL Server 2012 (przy użyciu wewnętrznej właściwości) poprzez pominięcie sprawdzania poprawności Always Encrypted, które nie są obsługiwane w wersjach SQL Server wcześniejszych niż 2016.

• SQL Server Zawsze zaszyfrowane

  Naprawiono problem, w którym tabele przechodziły w stan zawieszenia w dowolnym zadaniu do dowolnego celu z powodu uszkodzonej obsługi plików CSV podczas korzystania z kolumn Always Encrypted.

• Zabezpieczenia

  Zaktualizowano bibliotekę libcurl w celu wyeliminowania podatności CVE-2025-14819.

• Zarejestrowane dane z Nazwa bazy danych zawierająca łącznik

  Naprawiono problem, gdy przygotowanie zadania zarejestrowanych danych nie powiodło się, gdy nazwy baz danych zawierały łączniki.

• Snowflake cel - COPY INTO limit czasu

  Naprawiono błędy przekroczenia limitu czasu występujące podczas kroku „COPY INTO” przy ładowaniu dużych zbiorów danych do Snowflake.

Zmiana marki sterownika Databricks

Aby dostosować się do platformy Databricks, zmieniono markę sterownika przeznaczonego do współpracy z łącznikiem Databricks.

Obsługa nowych wersji sterowników Snowflake i Google BigQuery

W tej wersji wprowadzono obsługę następujących nowych wersji sterowników:

• Snowflake: Sterownik Snowflake ODBC 3.15.0 (64-bit)

• Google BigQuery: Wersja sterownika Simba ODBC 3.1.6.1026

Obsługa typu danych VARIANT w Databricks

Od tej wersji następujące typy danych zostaną zamapowane na natywny typ danych VARIANT w Databricks:

• STRING

• WSTRING

• NCLOB

• CLOB

Rozwiązane problemy

• Źródło IBM DB2 for iSeries:

  Po wznowieniu zadania, przechwytywanie zmian z tabeli, która zawierała kolumny dziesiętne binarne, powodowało awarię zadania.

• Źródło PostgreSQL - Problem z CDC

  Po wznowieniu zadania, które nie zarejestrowało żadnych zmian w minucie poprzedzającej jego zatrzymanie, żadne zmiany nie zostałyby zarejestrowane.

• SSH łącznik – Problem z testowaniem połączenia

  Kliknięcie opcji Testuj połączenie w łączniku SSH nie zwracało błędów związanych z łącznością SSH, gdy występowały problemy z SSH.

• Snowflake cel - problem ze strumieniowaniem Snowpipe

  Podczas używania Snowpipe Streaming jako metody ładowania, ładowanie bardzo dużych tabel zużywałoby nadmierną ilość pamięci, co ostatecznie skutkowałoby awarią zadania i wejściem w pętlę ładowania i awarii.

• Microsoft SQL Server (oparty na dzienniku) źródło - Niejasny błąd

  Podczas określania alternatywnego folderu kopii zapasowej, który nie zawierał wymaganych dzienników, zadanie zatrzymywałoby się z niejasnym komunikatem zamiast wydać ostrzeżenie i kontynuować.

• Zabezpieczenia

  Komponent org.apache.logging.log4j:log4j-core został zaktualizowany do wersji 2.25.3 z powodu znanych luk w zabezpieczeniach w zainstalowanych wersjach.

• Źródło SAP ODP - problem z filtrowaniem

  Filtr SAP ODP nie zostałby przekazany do SAP, gdy zdefiniowano go na ekstraktorze działającym w trybie tylko CDC.

• Źródło SAP ODATA - problem z filtrowaniem

  Zdefiniowanie więcej niż jednego zakresu filtrowania dla jednej kolumny spowodowałoby niepowodzenie pełnego ładowania.

Rozszerzona obsługa równoległego ładowania

Funkcja równoległego ładowania obsługuje teraz docelową platformę Databricks.

Równoległe replikowanie segmentów zestawu danych

Tabela kontrolna historii DDL: Nowo obsługiwane cele

Tabela kontrolna attrep_ddl_history (Historia DDL) zawiera historię zmian DDL, które wystąpiły w źródle podczas replikacji do celu.

Obecnie obsługiwane są następujące docelowe punkty końcowe:

• Google BigQuery
• Google Cloud Alloy DB for PostgreSQL
• Google Cloud SQL for PostgreSQL
• PostgreSQL (lokalnie)

Historia DDL

Ulepszenie kolumny nagłówka „[header]__change_mask”

Podczas używania tabel zmian w formacie Parquet, kolumna nagłówka [header]__change_mask teraz dopełnia zera do lewej (zamiast do prawej), aby dostosować się do zasady little endian przechowywania bajtów w odwrotnej kolejności.

Dotyczy następujących punktów końcowych docelowych:

• Amazon S3

• Google Cloud Storage

Tabele zmian

Nowo obsługiwane źródło danych i wersje docelowe

• Miejsce docelowe Kafka: 4.0.x

• Źródło IBM z/OS: 3.2

Nowe obsługiwane wersje sterowników

• Sterownik Microsoft ODBC 18.5
• MySQL 8.4

Koniec wsparcia dla Microsoft Azure Database for MySQL i Microsoft Azure Database for PostgreSQL

Obsługa Microsoft Azure Database for MySQL i Microsoft Azure Database for PostgreSQL, które zostały oficjalnie wycofane przez firmę Microsoft, została zakończona.

Wycofywane wersje źródeł danych i celów

• Cel Databricks: 10.4 LTS i 11.3 LTS

• Źródło i cel MariaDB: 10.5

• Źródło i cel PostgreSQL: 13.x

• Źródło i cel MySQL: 8.1

Wycofywane wersje sterowników

• Sterownik Microsoft ODBC 18.3

Rozwiązane problemy

• Źródło SAP (aplikacja)

  Zadania skonfigurowane do używania źródła SAP (Aplikacja) z procesem zaplecza, który generował samodzielnie zatwierdzone zdarzenia, czasami ulegały awarii po ponownym załadowaniu tabeli.

• Cel Microsoft Azure SQL Database

  W replikacji homogenicznej, podczas pracy w trybie „Transactional apply” lub w trybie „Batch Optimized Apply”, który przełączył się na tryb jeden po drugim, występował błąd „0 rows affected”, gdy kolumna DATETIME była częścią klucza podstawowego w miejscu docelowym.

• Źródło Oracle

  Zadanie Oracle ulega awarii podczas pełnego ładowania, gdy tabela zawiera kolumnę typu long raw, a maksymalny rozmiar LOB jest większy lub równy 64K.

• Źródło ekstraktora SAP — pętla rozładowywania z powodu anulowania CDC

  Podczas ponownego ładowania tabeli długotrwałe zadania SAP CDC są czasami anulowane. Skutkowałoby to stanem błędu możliwym do odzyskania, w którym rozładowywanie nigdy się nie zakończyło.

• Zabezpieczenia

  Następujące komponenty zostały uaktualnione z powodu znanych luk w zabezpieczeniach:

  • JRE uaktualniono z 17.0.17 do 17.0.18

  • org.eclispe.jetty:jetty-io zaktualizowano z 11.0.25 do 11.0.26

  • org.apache.logging.log4j:log4j-core zaktualizowano z 2.23.1 do 2.25.3

• SAP ODP

  Następujący błąd występowałby podczas CDC, gdy zdefiniowano filtr dla tabeli:

  Invalid value for parameter "I_DIMNAME"

• SAP Extractor

  Delta przestałaby działać, jeśli zadanie zostało zatrzymane i wznowione, gdy jedna z tabel była w stanie ładowania.

• Źródło aplikacji SaaS (Raporty Workday)

  • Podczas pełnego ładowania, podczas łączenia się z folderem przejściowym S3, zadanie czasami kończyło się niepowodzeniem z następującym błędem:

    Unable to execute HTTP request: Connect to s3.amazonaws.com:443

    Problem został rozwiązany poprzez zaimplementowanie mechanizmu wielokrotnych ponownych prób połączenia z folderem S3, gdy pierwsze połączenie jest nieudane.

  • Uprawnienie CREATE SCHEMA byłoby wymagane nawet wtedy, gdy schemat już istniał.

• Miejsce docelowe Microsoft SQL Server

  Utrata danych czasami występowała w kolumnach LOB, a nieprawidłowa replikacja danych występowała podczas CDC, gdy rozmiar LOB był ustawiony na nieograniczony w ustawieniach zadania.

• Miejsce docelowe PostgreSQL

  Niepowodzenie załadowania pliku CSV do tabeli Net Changes zwracałoby błąd możliwy do odzyskania (skutkujący nieskończoną pętlą) zamiast przełączenia na stosowanie jeden po drugim.

• Replikacja MySQL-do-MySQL

  Gdy schemat źródła i celu znajdował się w tej samej instancji MySQL, a replikacja obejmowała tabelę kontrolną, zadanie czasami ulegało awarii z błędem „Process crashed with signal 11”.

• Źródło PostgreSQL

  Podczas CDC zadanie czasami odczytywało te same wpisy WAL w kółko, co skutkowało brakiem przechwytywania danych.

• Źródło Microsoft SQL Server

  • Błąd występował podczas dekompresji dziennika transakcji zawierającego zaszyfrowane bloki. Problem został rozwiązany poprzez pozostawienie dziennika skompresowanego w takich przypadkach.

  • Wyświetlane byłyby zbędne błędy podczas korzystania z alternatywnego folderu kopii zapasowych, z powodu niepotrzebnej kontroli poprawności dla istniejących plików.

  • Zadanie czasami ulegało awarii po wywołaniu DBCC Lookup.

Obsługa łącznika docelowego Kafka

Nowa wersja Brama danych ruchu danych wprowadza obsługę łącznika docelowego Kafka. Bez wysiłku replikuj dane z dowolnego obsługiwanego źródła bezpośrednio do lokalnego środowiska Kafka lub Amazon MSK, zapewniając niezawodne, odporne na błędy transfery, które utrzymują Twoje aplikacje w gotowości i na bieżąco. Niezależnie od tego, czy utrzymujesz spójność danych w systemach, czy zasilasz analizy, ten łącznik zapewnia replikację o niskim opóźnieniu przy minimalnej konfiguracji.

Więcej informacji zawiera temat Kafka miejsce docelowe

Rozwiązane problemy

• Niepowodzenie zadania replikacji ze źródła MySQL do celu MySQL

  Podczas replikacji zestawu danych ze schematu MySQL do innego schematu MySQL działającego na tej samej instancji serwera MySQL i uwzględniania tabeli sterującej w replikacji, CDC kończyłoby się niepowodzeniem z następującym błędem:

  Process crashed with signal 11

• Łącznik ekstraktora SAP: Tabela zawieszona podczas wznawiania zadania

  Wznowienie zadania, gdy tabela była nadal w pełnym ładowaniu, spowodowało niepowodzenie zadania ekstrakcji i zawieszenie tabeli.

Rozwiązane problemy

• Cel PostgreSQL — nieprawidłowe zachowanie błędu

  Niepowodzenie załadowania pliku CSV do tabeli Qlik Net Changes zwracałoby błąd możliwy do odzyskania (skutkujący nieskończoną pętlą) zamiast przełączenia na stosowanie jeden po drugim.

• Łączniki Lite aplikacji SaaS

  Podczas pełnego ładowania zadania czasami kończyły się niepowodzeniem z następującym błędem z powodu aktywnego odrzucenia połączenia przez Amazon:

  Unable to execute HTTP request: Connect to s3.amazonaws.com:443

  Problem został rozwiązany poprzez zaimplementowanie mechanizmu ponawiania z maksymalnie trzema ponowieniami przed wystąpieniem błędu.

• Źródło Microsoft SQL Server — Błąd dekompresji dziennika

  Błąd występował podczas dekompresji dziennika transakcji zawierającego zaszyfrowane bloki. Problem został rozwiązany poprzez pozostawienie dziennika skompresowanego w takich przypadkach.

• Źródło Netsuite Suite Analytics — Błąd wznowienia CDC

  Podczas wznawiania zadania CDC po wprowadzeniu zmiany w źródle, zadanie czasami kończyło się niepowodzeniem z następującym błędem:

  Cannot change column title from type VARCHAR(8000) to VARCHAR(3) because reducing the byte-length of a varchar is not supported.

• Źródło Microsoft SQL Server - Fałszywe błędy

  Wyświetlane byłyby zbędne błędy podczas korzystania z alternatywnego folderu kopii zapasowych, z powodu niepotrzebnej kontroli poprawności dla istniejących plików.

Obsługa klucza głównego Databricks

Od tej wersji zadanie danych będzie tworzyć klucz główny w docelowych tabelach Databricks Delta, używając słowa kluczowego RELY. Chociaż Databricks nie wymusza ograniczeń klucza głównego, klucze główne ze słowem kluczowym RELY są traktowane jako niemające duplikatów i dlatego mogą być używane przez Databricks do optymalizacji zapytań.

Wymagania:

• Musisz wybrać katalog w ustawieniach łącznika

• Databricks 14.2 lub nowsza wersja

Ulepszenia typów danych

• Źródło IBM DB2 for iSeries: Dodano obsługę następujących typów danych: BINARY-DECIMAL i ZONED-DECIMAL

• Miejsce docelowe Databricks: W poprzednich wersjach typ BYTES był mapowany na STRING. Od tej wersji będzie mapowany na VARCHAR (długość w bajtach)

• Cel Google Cloud BigQuery: podtyp JSON jest teraz obsługiwany przez cel Google Cloud BigQuery

Źródło oparte na PostgreSQL: tabele partycjonowane są teraz domyślnie obsługiwane

Replikacja (pełne ładowanie i CDC) partycji i podpartycji (oraz podpodpartycji) ze źródeł danych opartych na PostgreSQL jest teraz domyślnie obsługiwana.

Cel Google Cloud BigQuery: obsługa błędów obcinania danych

Cel Google Cloud BigQuery umożliwia teraz obsługę błędów obcinania danych. Jeśli wystąpi błąd obcinania danych, możesz teraz wybrać, czy zarejestrować rekord w tabeli kontrolnej wyjątków (domyślnie), zignorować rekord, zawiesić tabelę, czy zatrzymać zadanie.

Nowe obsługiwane wersje

Obecnie obsługiwane są następujące wersje źródłowych i docelowych punktów końcowych:

• MariaDB (lokalnie) i Amazon RDS dla MariaDB: 11.4

• MySQL (lokalnie), MySQL Percona, Google Cloud SQL for MySQL, Amazon RDS for MySQL i Microsoft Azure Database for MySQL – Flexible Server: 8.4

• PostgreSQL (lokalnie), Google Cloud SQL for PostgreSQL, Amazon RDS for PostgreSQL i Microsoft Azure Database for PostgreSQL – Flexible Server: 17.x

Nowe obsługiwane wersje sterowników

Klient IBM Data Server 11.5.9 jest teraz obsługiwany z następującymi źródłami DB2:

• IBM DB2 for LUW

• IBM DB2 for z/OS

Wycofywane wersje źródeł i sterowników

• Wycofywane źródła i cele: obsługa Microsoft Azure Database for MySQL i Microsoft Azure Database for PostgreSQL, które zostały oficjalnie wycofane przez firmę Microsoft, zostało wycofane.

• Wycofywane wersje źródeł: Obsługa IBM DB2 for iSeries 7.2, którego cykl życia został zakończony, została wycofana.

• Wersje sterowników, których cykl życia dobiegł końca: obsługa klienta IBM Data Server 11.5.6 została zakończona.

Rozwiązane problemy

• Obsługa HSTS

  Nie włączono HSTS na komputerze Brama danych Qlik — ruch danych.

• Błąd instalacji bramy Brama danych ruchu danych

  Instalacja Brama danych ruchu danych w systemie Redhat w wersji 9.7 kończyła się błędem „Nie znaleziono OPENSSL_3.4.0”.

• Źródło PostgreSQL 15.7 – brak danych przechwytywanych podczas CDC

  Podczas CDC zadanie kontynuowało odczytywanie tych samych wpisów WAL i przetwarzanie tej samej pozycji strumienia.

• SAP ODP – awaria CDC

  Po zatrzymaniu zadania CDC podczas zmian (na przykład z powodu problemu z łącznością) wznowienie zadania czasami skutkowało błędami długości wiersza.

• Brak dzienników połączenia ze źródłem

  Dzienniki połączeń ze źródłem były niedostępne po uruchomieniu zadania, które używało łącznika w wersji zapoznawczej lub Lite.

• Monitorowanie – brakujące informacje

  Karta Monitorowanie nie wyświetlała komunikatu o błędzie po zawieszeniu tabeli podczas etapu pełnego ładowania CDC i zadania CDC.

Obsługa tworzenia hurtowni wiedzy w Databricks

Wcześniej hurtownie wiedzy były obsługiwane tylko na platformie Snowflake. Teraz można tworzyć i uruchamiać hurtownie wiedzy oraz hurtownie wiedzy oparte na plikach również na platformie Databricks.

Rozwiązane problemy:

Zadania sporadycznie kończyły się niepowodzeniem podczas przygotowywania z następującym błędem:

The request was canceled due to the configured HttpClient.Timeout of 300 seconds elapsing.

Rozwiązane problemy:

Gdy właściwość wewnętrzna metadataschema została zdefiniowana ze znakami specjalnymi, zadanie kończyło się niepowodzeniem podczas CDC.

Rozwiązane problemy:

• Alarmy produkcyjne w regionie EU-Central-1

  Klienci w regionie EU-Central-1 doświadczaliby częstych alarmów produkcyjnych podczas korzystania z Brama danych ruchu danych.

• Źródło danych Jira: Zablokowana tabela

  Podczas replikacji danych z Jira, tabela USERS utknęła w stanie Kolejkowane podczas pierwszego uruchomienia, podczas gdy inne tabele zakończyły ładowanie pomyślnie.

• Problem z monitorowaniem

  Monitorowania CDC brakowało w monitorze zadań.

• Niepowodzenie replikacji Oracle-do-Oracle

  Zadania replikacji Oracle-do-Oracle czasami kończyły się niepowodzeniem z powodu nieprawidłowego obliczenia długości ciągu znaków.

• Zabezpieczenia

  Komponent serwera Java (sqlite-jdbc) został zaktualizowany do wersji 3.47.0 z powodu znanej luki w zabezpieczeniach we wcześniejszych wersjach.

• Błąd podczas uruchamiania zadania

  Błąd „Brak licencji dla bazy danych” czasami występował, gdy zadanie było uruchamiane w trybie wznowienia po raz pierwszy, bez wcześniejszego uruchomienia.

• Problem z łącznikiem Salesforce i nowymi zestawami danych

  Dodanie nowych zestawów danych do zadania umieszczania ze źródłem danych Salesforce powodowałoby niepowodzenie zadania z błędem „'Tabela nie istnieje'”.

Rozwiązane problemy:

• Błąd połączenia zadań pamięci masowej

  Zadania przechowywania danych kończyły się błędem połączenia, który wymagał ponownego uruchomienia bramy.

• Błąd instalacji sterownika DB2

  Instalacja sterownika DB2 kończyła się niepowodzeniem, gdy dostęp do folderu /tmp był ograniczony.

• Nadmierny czas połączenia do Qlik Cloud

  Po uaktualnieniu do Brama danych ruchu danych w wersji 2024.11.65, nawiązanie połączenia z Qlik Cloud zajmowało nadmiernie dużo czasu. Problem został rozwiązany przez dodanie tokenu anulowania z dwuminutowym limitem czasu.

• Usługa uległa awarii po aktualizacji

  Po aktualizacji do Brama danych ruchu danych 2024.11.67, usługa external-data-provider (używana przez łączniki Lite) uległa awarii z powodu ograniczeń dostępu do folderu /tmp.

• Poprawki zabezpieczeń

  Następujące komponenty zostały zastąpione nowszymi wersjami z powodu znanych luk w zabezpieczeniach:

  • SQLite 3.49.1

  • Java Runtime Engine 17.0.15

  • org.bouncycastle:bcpkix-fips 2.0.7 (bcpkix-fips-2.0.7.jar)

  • org.bouncycastle:bc-fips 2.0.0 (bc-fips-2.0.0.jar)

• Magazyny wiedzy - Udostępnianie plików (SMB)

  Połączenie z SMB nie powiodłoby się z następującym błędem:

  SmbConnection' object has no attribute 'docs_path'

• Błąd przygotowania

  Podczas ponownego przygotowywania zadania, gdy po pierwszym przygotowaniu wystąpiło DDL, operacja przygotowania czasami kończyła się niepowodzeniem z następującym błędem (fragment):

  Could not find match between landing metadata with gateway task metadata for the following tables: <name>

• Problem z podglądem danych

  Opcja podglądu danych nie działałaby podczas używania celu Microsoft SQL Server.

Ulepszenia:

• Dodano obsługę dla Qlik Cloud Government DoD

  Ta wersja dodaje obsługę Brama danych ruchu danych z Qlik Cloud Government DoD.

Ulepszenia:

• Kontrolowanie czasu uruchamiania zasad obsługi błędów tabeli

  Do ustawień obsługi błędów tabeli dla zadań replikacji i umieszczania dodano nowe ustawienie Liczba prób przed zwróceniem błędu tabeli. Wcześniej, gdy wystąpił błąd tabeli, tabela była zawieszana lub zadanie było zatrzymywane (zgodnie z wybranym działaniem obsługi błędów). Powodowało to czasami zawieszanie się tabel podczas konserwacji aplikacji SaaS. Dzięki tej nowej opcji można teraz określić, ile razy tabela powinna być ponawiana przed uruchomieniem polityki obsługi błędów tabeli. Ta opcja jest szczególnie przydatna, jeśli aplikacja SaaS przechodzi okresową konserwację, ponieważ można zastąpić domyślną liczbę ponownych prób (3), aby konserwacja mogła zostać zakończona bez uruchamiania zasad obsługi błędów tabeli.

  Obsługa błędów tabeli

  InformacjaTa opcja będzie wyświetlana tylko w przypadku zadań skonfigurowanych z łącznikiem aplikacji SaaS w wersji Lite lub Standard.

• Dane podglądu zawierają teraz typy danych kolumn

  Podczas podglądu transformacji SQL wyniki będą teraz zawierać typy danych kolumn.

  Podgląd danych

Ulepszenia:

• Rotacja i usuwanie plików dziennika replikacji

  W odniesieniu do plików dziennika replikacji na komputerze bramy została wdrożona polityka rotacji i usuwania. Polityka rotacji zapobiega nadmiernemu wzrostowi rozmiarów plików dziennika (co mogłoby mieć wpływ na wydajność i analizę), natomiast polityka usuwania zapobiega ich gromadzeniu się i zajmowaniu nadmiernej ilości miejsca na dysku.

Rozwiązane problemy:

• Nieprawidłowy status tabeli po przeładowaniu

  Podczas przeładowywania zawieszonej tabeli status tabeli wyświetlany w monitorze był czasami nieprawidłowy.

• Limit czasu przygotowania operacji

  Podczas przygotowywania zadania umieszczania po dodaniu zestawu danych na etapie katalogowania zasobów czasami występowało przekroczenie limitu czasu. Powodowało to niepowodzenie operacji przygotowania.

Ta poprawka rozwiązuje następujące problemy:

• Błąd przygotowania podczas dodawania nowej tabeli

  Podczas dodawania nowej tabeli do zadania replikacji po kliknięciu przycisku Przygotuj, czasami pojawiał się następujący błąd:

  Prepare data task failed: Object reference not set to an instance of an object.

• Usunięto luki w zabezpieczeniach

  Następujące Brama danych ruchu danych pliki instalacyjne zostały zaktualizowane do wersji bez znanych luk w zabezpieczeniach:
  

  • java

  • jetty-io-<version>.jar

  • jetty-http-<version>.jar

  • spring-expression-<version>.jar

  • spring-core-<version>.jar

  • spring-context-<version>.jar

Ta poprawka rozwiązuje następujące problemy:

• Błąd łączności IBM DB2 for LUW

  Po aktualizacji do wersji Brama danych ruchu danych 2024.11.54 połączenie z bazą danych kończyło się niepowodzeniem.

• Błąd przygotowania

  Przygotowanie zadania danych kończyło się niepowodzeniem, gdy zadanie było skonfigurowane ze źródłem aplikacji SaaS i celem Google BigQuery.

• Zadania ze źródłami opartymi na Javie kończą się niepowodzeniem po aktualizacji

  Zadania ze źródłami danych opartymi na języku Java kończyły się niepowodzeniem po aktualizacji do wersji Brama danych ruchu danych 2024.11.54.

• Cel Snowflake: zadania czasami przełączały się na tryb „jedno po drugim” podczas CDC

  Podczas CDC, gdy kolumna STRING w tabeli źródłowej przekraczała 65536 bajtów, dane były obcinane w docelowej kolumnie STRING. Następnie zadanie przełączało się w tryb stosowania „jedno po drugim”.

• Zabezpieczenia

  Pliki java_file_factory.jar i arep-google-cloud.jar zostały zaktualizowane do wersji bez znanych luk.

Ta poprawka rozwiązuje następujące problemy:

• Pełne ładowanie ignorujące ustawienia zadań

  Podczas pełnego ładowania zadanie usuwało i ponownie tworzyło tabele docelowe, mimo że zadanie było skonfigurowane z opcją Jeśli tabela docelowa już istnieje: Ignoruj

• Nieprawidłowa liczba rekordów

  Po zatrzymaniu i przygotowaniu istniejącego zadania replikacji z trybem replikacji ustawionym na pełne ładowanie i zastosowanie zmian liczba przetworzonych rekordów CDC wzrastała, co skutkowało nieprawidłową liczbą.

• Łącznik źródła JIRA

  Po dodaniu nowego zestawu danych do istniejącego zadania zadanie kończyło się niepowodzeniem z następującym komunikatem o błędzie:

  Could not find a match between landing metadata and gateway task metadata for the following tables: <name>

• Połączenie testowe nie powiodło się

  Testowe połączenie ze źródłami SAP i SQL kończyło się niepowodzeniem.

• Uaktualnij

  Po aktualizacji bramy zadania czasami nie były wznawiane zgodnie z oczekiwaniami.

Obsługa Snowpipe Streaming

Poprzednio ładowanie zbiorcze było jedyną dostępną metodą ładowania danych do Snowflake. Teraz klienci mogą korzystać z funkcji Ładowanie zbiorcze lub Snowpipe Streaming, aby wprowadzać lub replikować swoje dane do Snowflake.

Zalety Snowpipe Streaming w porównaniu z Ładowaniem zbiorczym obejmują:

• Mniejsze koszty: ponieważ Snowpipe Streaming nie korzysta z hurtowni danych Snowflake, koszty operacyjne powinny być znacznie niższe, choć będzie to zależeć od konkretnego zastosowania.
• Mniejsze opóźnienia: ponieważ dane są przesyłane strumieniowo bezpośrednio do tabel danych w miejscu docelowym (bez etapu przejściowego), replikacja ze źródła danych do miejsca docelowego powinna być szybsza.

Rozwiązane problemy

Ta poprawka rozwiązuje następujące problemy:

• Microsoft Fabric: problem z połączeniem

  Podczas przeglądania baz danych za pomocą łącznika Microsoft Fabric występował następujący błąd (fragment):

  Create connection failed'' with error 'java.lang.NoSuchMethodError

  Problem był spowodowany niezgodnością ze sterownikiem JDBC 12.9.0-preview.jar, który został zainstalowany za pomocą narzędzia do konfiguracji sterownika. Narzędzie to zostało zaktualizowane, aby zainstalować kompatybilny sterownik.

• Błąd ponownego uruchomienia serwera Java

  Po aktualizacji Brama danych ruchu danych lub ponownym uruchomieniu usługi Brama danych ruchu danych serwer Java (wymagany dla łączników opartych na Javie, takich jak SAP ODP) nie uruchamiał się.

• Wzmocnienie zabezpieczeń

  • Kompleksowe szyfrowanie nie było wzajemnie wymuszane na potrzeby ładunków poleceń rejestrowania, które zwracały dzienniki hostowane przez klienta z centrum aktywności administracji Qlik Cloud.

  • Wersja SQLite używana przez Brama danych ruchu danych została zaktualizowana z powodu luki w wersji 3.42.0 (CVE-2023-7104).

  • Plik com.h2database używany przez Brama danych ruchu danych został zaktualizowany z powodu luki w wersji h2-2.1.212 (CVE-2022-45868).

Ta poprawka rozwiązuje następujący problem podczas przenoszenia danych ze źródła danych IBM DB2 for iSeries:

W przypadku korzystania ze sterownika iSeries Access ODBC 07.01.026 lub nowszego zadanie kończyło się niepowodzeniem podczas CDC z komunikatem „Błąd analizy składni”.

Standardowy

Obsługa OAuth dla celu Databricks

Klienci mogą teraz połączyć się z celem Databricks za pomocą uwierzytelniania OAuth, które jest zalecaną przez Databricks metodą uwierzytelniania kont. Uwierzytelnianie Personal Access Token pozostanie na razie dostępne ze względu na kompatybilność wsteczną, ale jest uważane za mniej bezpieczne niż OAuth.

Rozwiązane problemy

• Problem z ładowaniem równoległym

  Gdyby zestaw danych został zdefiniowany z ładowaniem równoległym, a następnie pełne ładowanie zostałoby wyłączone, zadanie nadal wykonywałoby pełne ładowanie tego zestawu danych, nawet gdy zostało wznowione od znacznika czasu.

2024.11.24

Poprawka

Ta poprawka rozwiązuje następujące problemy:

• Źródło SAP ODP: błąd generowania metadanych

  Generowanie metadanych kończyłoby się niepowodzeniem dla tabel z kropką w nazwie (np. Obszar amort.).

• Odzyskiwanie zadań

  Zadania były odzyskiwane tylko raz, jeśli nie powiodły się podczas pełnego ładowania z powodu problemu środowiskowego. Teraz będą one przywracane tyle razy, ile skonfigurowano w Ustawienia > Obsługa błędów > Błędy środowiskowe > Maksymalna liczba ponownych prób.

Ulepszenia

Certyfikacja przełączania awaryjnego PostgreSQL

Praca z dodatkową bazą danych po przełączeniu awaryjnym została certyfikowana z następującymi źródłami danych (do których można uzyskać dostęp za pomocą łącznika źródła PostgreSQL):

• Google Cloud SQL for PostgreSQL
• Amazon RDS for PostgreSQL
• PostgreSQL (lokalnie)

Zobacz także: Konfigurowanie przełączania awaryjnego

Poprawa wydajności MySQL

W poprzednich wersjach, podczas korzystania ze źródłowego punktu końcowego opartego na MySQL w zadaniu, które zostało skonfigurowane z ograniczonym rozmiarem LOB, Brama danych ruchu danych używało do odczytu kolumn LOB wyszukiwania w źródle. Teraz Brama danych ruchu danych będzie odczytywać kolumny LOB bezpośrednio z binlog, poprawiając w ten sposób wydajność.

Zmiany mapowania typów danych

Zmieniono mapowanie kolumn LOB dla miejsc docelowych Amazon Redshift i Snowflake.

Cel Amazon Redshift

• Typ BLOB jest teraz mapowany na VARBYTE(16777216)
• Typ NCLOB jest teraz mapowany na NVARCHAR(65535)
• Typ CLOB jest teraz mapowany na NVARCHAR(65535)

Snowflake jako miejsce docelowe

• Typ BLOB jest teraz mapowany na BINARY (8388608)
• Typ NCLOB jest teraz mapowany na NVARCHAR(16777216)
• Typ CLOB jest teraz mapowany na VARCHAR(16777216)

Nowo obsługiwane typy danych

• Źródło IBM DB2 for LUW

  Obsługuje teraz typ danych BOOLEAN (od DB2 for LUW 11.5).

• Miejsce docelowe Google BigQuery

  Obsługuje teraz typ danych BIGNUMERIC.

Rozszerzona obsługa miejsca docelowego dla tabeli kontrolnej Historia DDL

W poprzednich wersjach Brama danych ruchu danych tabela kontrolna Historia DDL była obsługiwana tylko z miejscami docelowymi Databricks i Microsoft Fabric. Ta wersja wprowadza obsługę następujących dodatkowych łączników docelowych:

• Amazon Redshift
• Amazon S3
• Google Cloud Storage
• Snowflake

Zobacz także: Historia DDL

Obsługa użytkownika innego niż superużytkownik z Google Cloud SQL dla PostgreSQL

Od tej wersji można teraz określić konto inne niż superużytkownik podczas replikacji z Google Cloud SQL for PostgreSQL

Zobacz także: Korzystanie z konta bez roli superużytkownika

Nowo certyfikowane platformy i wersje sterowników

• Miejsce docelowe Databricks

  15.4 LTS

• Źródło i miejsce docelowe Oracle

  23ai

  Informacja

  • Źródło i miejsce docelowe Oracle 23ai ma certyfikat zgodności tylko z Oracle Standard Edition.
  • Źródło Oracle 23ai jest obsługiwane tylko z szyfrowaniem TDE.

• Aktualizacja sterowników Databricks

  Podczas przenoszenia danych do Databricks wymagany jest teraz sterownik Simba Spark ODBC w wersji 2.8.2 lub nowszej. Klienci powinni uruchomić narzędzie do instalacji sterownika lub zainstalować sterownik ręcznie.

  Zobacz także: Konfiguracja sterownika

Zakończenie wsparcia

Zakończono obsługę następujących wersji baz danych:

• PostgreSQL 12.x
• IBM DB2 for z/OS: z/OS 2.4
• Databricks 9.1

Rozwiązane problemy

• Łącznik SAP HANA (baza danych): niepowodzenie utworzenia tabeli __CT

  Gdy tryb replikacji był ustawiony na Zapisz zmiany, a tabela zawierała kolumnę .INCLUDE, zadanie nie mogło utworzyć tabeli __CT w miejscu docelowym.

• Zadanie umieszczania w jeziorze danych: komunikat wprowadzający w błąd

  Zadanie kończyło się niepowodzeniem i wyświetlany był komunikat „Brak licencji na bazę danych” po wygaśnięciu tajnego klucza Azure Data Lake Storage.

• Łącznik miejsca docelowego Amazon S3: stare pliki nie były usuwane

  Starsze pliki nie były usuwane podczas uruchamiania nowego zadania. Może to spowodować niepowodzenie zadania z powodu duplikowania rekordów lub z powodu niepasujących rekordów.

   

• Źródło SAP HANA (baza danych): niepowodzenie połączenia z powodu tabeli zdefiniowanej przez użytkownika

  Komunikat o błędzie „nieobsługiwana funkcja: nie można wybrać typu zdefiniowanego przez użytkownika” pojawiał się podczas wybierania do replikacji tabeli zdefiniowanej przez użytkownika. Problem został rozwiązany przez wykluczenie tabel zdefiniowanych przez użytkownika (które nie są obsługiwane) z selektora tabel.

• Łącznik miejsca docelowego Microsoft Fabric: błąd odzyskiwania

  Komunikat o błędzie „Niepowodzenie konwersji” pojawiał się czasami po odzyskaniu działania po błędzie połączenia, który wystąpił podczas CDC.

• Łącznik miejsca docelowego Databricks: błąd CDC podczas pracy bez obsługi LOB

  Po wyłączeniu obsługi LOB operacja CDC kończyła się niepowodzeniem z komunikatem „za mało kolumn danych” podczas próby wstawienia zmiany do tabeli __ct. Błąd ten wystąpiłby podczas pracy w trybie „Zapisz zmiany”, który jest jedynym trybem dostępnym w przypadku umieszczania zadań.

• Źródło MySQL do celu Snowflake: błąd CDC

  Podczas CDC w trakcie replikacji kolumny „NOT NULL” z typem danych mediumtext, zadanie czasami kończyło się niepowodzeniem z następującym komunikatem o błędzie:

  A NOT NULL constraint violation occurred on LOB column from MySQL source

• Łącznik miejsca docelowego Microsoft Fabric: błąd obcięcia

  Podczas wstawiania kolumny VARCHAR występował następujący błąd obcięcia:

  String or binary data would be truncated while reading column of type 'VARCHAR'

  Problem został rozwiązany przez zwielokrotnienie kolumny VARCHAR w Microsoft Fabric.

Nowe funkcje

Obsługa określania dodatkowych właściwości połączeń ODBC i JDBC została dodana do łącznika miejsca docelowego Snowflake

Więcej informacji zawiera temat Dodatkowe właściwości połączenia.

Rozwiązane problemy

• Metadane nie są aktualizowane

  Po zmianie klucza głównego w źródle metadane docelowe nie były zaktualizowane po przeładowaniu.

• Amazon S3 jako miejsce docelowe

  Podczas tworzenia i uruchamiania nowego zadania pliki pozostałe po poprzednich zadaniach nie były usuwane z lokalizacji tabel.

• Źródło SAP HANA

  Próba połączenia ze źródłem SAP HANA przy użyciu CDC opartego na dzienniku powodowała następujący błąd:

  Cannot select user-defined type

2024.5.41

Poprawka

Ta poprawka rozwiązuje następujące problemy:

• Miejsca docelowe Amazon S3, Google Cloud Storage i Qlik Cloud: umieszczanie wartości pustych ciągów znaków w cudzysłowie

  Puste ciągi znaków będą teraz umieszczane w cudzysłowie w pliku CSV, aby odróżnić je od wartości NULL.

• Miejsce docelowe Databricks: niezgodność danych

  W niektórych sytuacjach może wystąpić niedopasowanie danych źródłowych i docelowych.

• Miejsce docelowe Databricks: błąd CDC spowodowany wyłączeniem obsługi LOB

  Wyłączenie obsługi LOB w zadaniu umieszczania danych spowodowałoby niepowodzenie CDC z następującym komunikatem o błędzie (fragment):

  Cannot write to '<name>__ct', not enough data columns

• Miejsce docelowe Microsoft Fabric: błąd połączenia powodujący awarię CDC

  Zastosowanie zmian do miejsca docelowego po odzyskaniu danych w następstwie błędu połączenia czasami kończyło się niepowodzeniem z komunikatem o błędzie „Niepowodzenie konwersji”.

2024.5.35

Poprawka

Ta poprawka rozwiązuje następujące problemy:

• Miejsce docelowe Microsoft Fabric: problem z konwersją typu danych

  Podczas zadania pamięci masowej typ danych NVARCHAR(3500) był nieprawidłowo konwertowany na VARCHAR(10500) zamiast VARCHAR(8000) (maksymalny dozwolony), co powodowało błąd.

• Źródło IBM DB2 for LUW: obsługa typu danych GRAPHIC ze stroną kodową 941 (japoński)

  Gdy tabela danych źródłowych zawierała typ danych GRAPHIC ze stroną kodową 941 (japoński), pojawiał się następujący błąd (fragment):

  Unexpected CCSID '941' in column 'PNTNM'

2024.5.32

Poprawka

Po zaktualizowaniu nazwy użytkownika i hasła w łączniku źródłowym Workday Reports, a następnie ponownym załadowaniu zadania, pojawiał się komunikat o błędzie „Nieprawidłowa nazwa użytkownika lub hasło”, mimo że dane uwierzytelniające były prawidłowe. Problem ten został już rozwiązany.

Poprawka

Ta poprawka rozwiązuje następujące problemy:

Zabezpieczenia

Wersja Oracle Java Standard Edition 17.0.8, która jest dostarczana z Brama danych ruchu danych ma kilka znanych luk w zabezpieczeniach. Ta poprawka zastępuje wersję 17.0.8 wersją 17.0.12, tym samym rozwiązując te problemy.

Źródło Salesforce

Podczas CDC dla każdej zmiany było dodawanych wiele operacji INSERT do powiązanej tabeli _ct (zamiast tylko jednej). To znacznie zwiększało liczbę rekordów w tabeli _ct.

Standardowy

Poprawka

Ta poprawka rozwiązuje następujące problemy:

Luka w sterowniku JDBC firmy Snowflake

14 sierpnia 2024 r. firma Snowflake wydała poradę dotyczącą bezpieczeństwa na temat sterowników JDBC w wersji >= 3.2.6 i <= 3.19.1, a niektóre były używane z poprzednimi wersjami Brama danych ruchu danych. Luka została załatana w Snowflake JDBC Driver 3.20, czyli wersji, która jest obecnie instalowana wraz z narzędziem do instalacji sterownika. Obecni klienci powinni zaktualizować sterownik przy najbliższej okazji, zgodnie z procedurą aktualizacji sterownika opisaną w sekcji Konfiguracja sterownika.

Źródło Oracle

• Podczas korzystania z redo event 11.22 występowały brakujące operacje INSERT podczas przetwarzania wielu operacji INSERT na skompresowanej stronie, która nie została skompresowana przed nimi.
• W rzadkich sytuacjach nieprawidłowe analizowanie zdarzeń operacji DELETE w rekordzie dziennika redo generowało ostrzeżenie "Zdarzenie DELETE dziennika redo zawiera nieznaną strukturę", po którym występowały różne problemy.

Źródło SAP Extractor

Instrukcje w pliku YAML zostały zaktualizowane, aby odzwierciedlać prawidłową wersję łącznika SAP Java.

Snowflake jako miejsce docelowe

Podczas używania Brama danych ruchu danych do łączenia się z celem Snowflake za pośrednictwem serwera proxy połączenie nie udawało się i pojawiał się następujący komunikat o błędzie:

500 Failed to connect to Data Movement Gateway

Poprawka

Poprawka

Rozwiązane problemy

• Źródło Oracle

  • Brakujące operacje INSERT występowały czasami w wielu operacjach INSERT podczas korzystania z redo event 11.22.

  • Po uaktualnieniu Oracle 19g do poprawki z lipca 2024 r. operacje UPDATE czasami nie były przechwytywane oraz wyświetlane było następujące ostrzeżenie:

    A compressed row cannot be parsed

• Miejsce docelowe Snowflake

  Gdy ustawienia zadania były skonfigurowane tak, aby utworzyć schemat tabeli kontrolnej, zadanie kończyło się niepowodzeniem z następującym błędem:

  Failed to delete directory

• Zaplanowane CDC

  Gdy zaplanowano okresowe uruchamianie zadania, czasami kończyło się ono niepowodzeniem z następującym komunikatem o błędzie:

  The task stopped abnormally

• Utknięcie zadań transformacji oraz pamięci masowej

  Zadania transformacji oraz pamięci masowej czasami zbyt długo pozostawały w stanie W kolejce.

• Menedżer metadanych

  Zadania kończyły się niepowodzeniem podczas korzystania z flagi funkcji use_manipulation_pk_for_apply w przypadku replikacji z zapisywaniem zmian.

• Przedłużające się przekroczenie limitu czasu powodujące problemy ze źródłami aplikacji SaaS

  Wydłużono limit czasu S3 do 6 godzin, aby zapobiec problemom wynikającym z przedłużających się przekroczeń limitów czasu, takich jak utrata tokena umożliwiającego pobieranie plików.

Standardowy

Ulepszenia

• Dodano uwierzytelnianie przy użyciu pary kluczy do łącznika z miejscem docelowym Snowflake.

  Para kluczy stanowi skuteczniejszą metodę uwierzytelniania niż użytkownik/hasło podczas łączenia się ze Snowflake za pomocą kont usług. Podejście to jest zalecane w przypadku takich obciążeń jak ładowanie danych (replikacja lub zadania umieszczania) i transformacje.

• Obsługa równoległego pobierania metadanych z wielu tabel.

  W poprzednich wersjach odświeżanie metadanych na istniejącym lub nowo dodanym zestawie danych czasami kończyło się niepowodzeniem. To ulepszenie zapewnia, że metadane mogą być pobierane z wielu tabel równolegle bez żadnych problemów.

Rozwiązane problemy

• Typ danych DECIMAL błędnie zamapowany na STRING w Google BigQuery

  Gdy tabela źródłowa zawierała kolumnę z typem danych DECIMAL — na przykład DECIMAL (38, 20) — przygotowanie zadania pamięci masowej w Google BigQuery kończyło się niepowodzeniem z następującym komunikatem o błędzie (fragment):

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  Problem został rozwiązany przez mapowanie źródłowego typu danych DECIMAL na DECIMAL w Google BigQuery.

• Błąd reguły schematu

  Po wprowadzeniu zmian do istniejącej reguły schematu w zadaniu danych występował następujący błąd:

  QRI SQL error not implemented

• Brak tabeli /QTQVC/QRI z transportu SAP

  W przypadku przygotowywania zadania umieszczania, które łączyło się ze źródłem aplikacji SAP, zadanie kończyło się pomyślnie, ale w pliku dziennika repsrv.log był zgłaszany następujący błąd:

  Invalid object name 'hk1./QTQVC/QRI'

Standardowy

Ulepszenia

• Obsługa zmian metadanych w zadaniach replikacji i umieszczania w jeziorze danych bez konieczności usuwania i odtwarzania wszystkich tabel

  Poprzednio po wystąpieniu zmiany metadanych wszystkie tabele były usuwane i odtwarzane, nawet jeśli zmiana metadanych nie dotyczyła wszystkich tabel. Teraz będą usuwane i odtwarzane tylko zmienione tabele, co poprawi wydajność.

• Obsługa automatycznego ładowania nowych tabel w zadaniach replikacji

  Tabele utworzone w źródłowej bazie danych podczas zadania replikacji danych, które pasują do wzorca dołączania, będą teraz automatycznie rejestrowane podczas CDC (rejestrowania danych zmian).

• Udoskonalenia źródła Microsoft SQL Server (MS-CDC)

  • Zachowanie znacznika czasu i identyfikatora transakcji

    Poprzednio podczas odczytu wielu transakcji ze środowiska Microsoft SQL Server (MS-CDC) funkcja Qlik Talend Data Integration zachowywała tylko identyfikator i znacznik czasu pierwszej transakcji. W miejscu docelowym stwarzało to wrażenie, że rekordy są częścią pojedynczej transakcji. Teraz dla każdego pojedynczego rekordu Qlik Talend Data Integration będzie zachowywać oryginalny identyfikator transakcji oraz znacznik czasu. Rozwiązanie to jest korzystne dla klientów, którzy chcą wykorzystywać kolumny nagłówka identyfikatora transakcji i znacznika czasu w tabelach zmian.

  • Kolejność bajtów identyfikatora transakcji

    Wcześniej bajty w identyfikatorze transakcji były kodowane w odwrotnej kolejności. Od tej wersji bajty będą kodowane we właściwej kolejności. Klienci, którzy wolą zachować dotychczasowe działanie, mogą to zrobić przy użyciu parametrów wewnętrznych. Aby uzyskać szczegółowe informacje, skontaktuj się z działem wsparcia Qlik.

• Obsługa buforowania uwierzytelniania typu SHA-2 przy użyciu wtyczek z MySQL

  Qlik Talend Data Integration obsługuje teraz buforowanie uwierzytelniania SHA-2 przy użyciu wtyczek (caching_sha2_password) podczas pracy ze źródłami lub miejscami docelowymi MySQL, lokalnie lub w chmurze. W poprzednich wersjach obsługiwane było tylko natywne uwierzytelnianie przy użyciu wtyczek (mysql_native_password).

• Zmiany mapowania typów danych Amazon Redshift

  Typy danych BYTES oraz BLOB będą teraz mapowane na VARBYTE w Amazon Redshift zamiast VARCHAR.

Nowo certyfikowane platformy, punkty końcowe i wersje

• Źródła danych

  • PostgreSQL 16

  • MySQL 8.1
  • IBM DB2 for z/OS 3.1

• Platformy docelowe

  • PostgreSQL 16
  • MySQL 8.1
  • Databricks 14.3 LTS

• Sterowniki

  • Sterownik SQL Server ODBC 18.3

Zakończenie wsparcia

Zakończono obsługę następujących wersji baz danych:

• Wszystkie wersje i sterowniki Oracle starsze niż Oracle 19.x
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 for LUW 10.5
• IBM DB2 for z/OS: z/OS 2.3

Rozwiązane problemy

• Źródło SAP (aplikacja)

  Gdy przechwycona zmiana dokumentu klastra usuwała wszystkie wiersze wszystkich przechwyconych tabel, pojawiały się komunikaty o braku operacji DELETE i niepotrzebnej asercji.

• Luki w zabezpieczeniach

  Zaktualizowano bibliotekę uwierzytelniania firmy Microsoft dla języka Java (MSAL4J) i Bouncy Castle do wersji, w których nie występują znane luki.

• Snowflake jako miejsce docelowe

  • Zadanie czasami kończyło się niepowodzeniem podczas korzystania z wewnętrznej pamięci Snowflake.
  • Zadanie kończyło się niepowodzeniem, jeśli nazwa schematu docelowego zawierała japońskie znaki katakana.

• Źródło Oracle

  Podczas wznawiania zadania ze źródłem Oracle zadanie nadal czekało na usunięty zarchiwizowany dziennik powtórzeń, zamiast zakończyć się niepowodzeniem i wyświetlić odpowiedni komunikat o błędzie.

Standardowy

Ulepszenia

• Schemat metadanych Snowflake

  Od tej wersji schemat metadanych Snowflake (dla plików tymczasowych) zostanie utworzony, jeśli nie będzie istnieć.

Rozwiązane problemy

• Po wprowadzeniu zmiany w regule Zmień nazwę zestawu danych (która łączyła nazwę tabeli z nazwą schematu) i dodaniu widoku do zadania umieszczania operacja przygotowania nie powiedzie się i spowoduje wyświetlenie następującego komunikatu o błędzie:

  QRI SQL error not implemented.

• Zaktualizowano komponent java_file_factory do wersji bez żadnych znanych luk.
• Zaktualizowano org.postgresql:postgresql do wersji bez żadnych znanych luk.
• Podczas przenoszenia danych na SQL Server operacja przygotowania kończyła się niepowodzeniem, gdy nazwy indeksów przekraczały 128 znaków. Problem został rozwiązany przez zmianę logiki na tworzącą krótsze nazwy indeksów.

• Podczas przenoszenia danych z SQL Server brak nazwy kolumny w definicjach tabeli powodował nieskończoną pętlę powiadomień w pliku repsrv.log i wyświetlenie następującego komunikatu:

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

Standardowy

Ulepszenia

• Równoległe pobieranie metadanych

  Dodano obsługę jednoczesnego pobierania metadanych dla wielu tabel.

• Poprawiona wydajność monitorowania

  Informacje monitorowania zadań umieszczania i replikacji będą teraz aktualizowane co 10 sekund (zamiast co 60 sekund), zapewniając dokładniejsze wskazanie ich bieżącego stanu.

• Nowo obsługiwany region

  Japonia jest teraz obsługiwana jako region dzierżawy Qlik Cloud.

Rozwiązane problemy

• Interwał ponownych prób między bramą danych a Qlik Cloud stale wzrastał, ale nigdy nie był resetowany (chyba że usługa została uruchomiona ponownie).
• Podczas przenoszenia danych ze źródła aplikacji SaaS czasami podczas ponownego ładowania tabele przechodziły w stan błędu.

• Zadania ze źródłem MySQL czasami kończyły się niepowodzeniem z powodu następującego błędu podczas CDC:

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• Wcześniej zdarzenia audytu CDC były rejestrowane tylko w przypadku zadań umieszczania. Teraz będą one rejestrowane w celu wykonania zadań replikacji.
• Podczas przenoszenia danych z SQL Server (MS-CDC) rozpoczęcie zadań z wieloma tabelami trwało czasami kilka godzin.

• Gdy tabela źródłowa zawierała kolumny CLOB, a wartość „Limit LOB size” przekraczała 10240, replikacja do Snowflake kończyła się niepowodzeniem z następującym komunikatem o błędzie:

  Invalid character length: 0

Standardowy

Obsługa instalacji bramy Brama danych ruchu danych w systemie Red Hat 9.x

Klienci mogą teraz zainstalować bramę Brama danych ruchu danych w systemie Red Hat 9.x lub dowolnej odpowiedniej i kompatybilnej dystrybucji systemu Linux.

Konfigurowanie bramy Brama danych ruchu danych

Zmiany poleceń usług bramy Brama danych ruchu danych

Zmieniły się polecenia zatrzymania, uruchomienia i sprawdzenia stanu usługi Brama danych ruchu danych.

Polecenia usługi Brama danych ruchu danych

Zmiany mapowania typów danych Amazon Redshift

• Typ danych BOOLEAN, który był mapowany do VARCHAR(1) w Amazon Redshift, będzie teraz mapowany do BOOLEAN.
• Typy danych BYTES i BLOB, które były mapowane do VARCHAR(1) w Amazon Redshift, będą teraz mapowane do VARBINARY (długość).

Nowo obsługiwane bazy danych, wersje baz danych i wersje sterowników

W tej sekcji przedstawiono nowo obsługiwane bazy danych, wersje baz danych i wersje sterowników.

• Nowo obsługiwane wersje i wydania źródeł danych

  Następujące wersje źródeł danych są już obsługiwane:

  • Azure Database for MySQL - Flexible Server (obsługa za pośrednictwem łącznika źródła MySQL)
  • MariaDB 10.4 - 10.11 (poprzednio 10.4 i 10.5)

• Nowo obsługiwane docelowe platformy danych i ich wydania

  Następujące wersje docelowych platform danych są już obsługiwane:

  • Azure Database for MySQL - Flexible Server (obsługa za pośrednictwem łącznika miejsca docelowego MySQL)
  • Databricks: Databricks 13.3 LTS i Serverless SQL Warehouse

• Nowo obsługiwana wersja sterownika SAP HANA

  Klienci używający źródła SAP HANA, którzy chcą zainstalować bramę Brama danych ruchu danych w systemie Red Hat Linux 9.x, muszą zainstalować 64-bitowy sterownik SAP HANA ODBC w wersji 2.0.19 lub nowszej.

Wersje baz danych, których obsługa dobiegła końca

W tej sekcji znajdują się informacje na temat wersji baz danych, których obsługa dobiegła końca.

• Zakończono obsługę następujących wersji źródeł danych:

  • Oracle 11.x
  • SAP HANA 1.0

Rozwiązane problemy

• Instalacja bramy Brama danych ruchu danych bez podania hasła serwera uniemożliwi skonfigurowanie adresów URL dzierżawy i serwera proxy za pomocą jednego polecenia.
• Przenoszenie danych ze źródła danych Salesforce (aplikacja SaaS) powodowało dużą liczbę zbędnych ostrzeżeń, co miało wpływ na wydajność ładowania danych.
• Jeśli podczas pobierania zmian dla źródła danych aplikacji SaaS wystąpił błąd w trakcie pobierania zmian w jednej z tabel, tabela ta była zawieszana i usuwana z potoku. Teraz w przypadku napotkania błędu zadanie spróbuje pobrać zmiany maksymalnie trzy razy przed zawieszeniem tabeli.

Standardowy

Nowe miejsca docelowe typu jezioro danych dla projektów replikacji

Zwiększamy liczbę obsługiwanych miejsc docelowych projektów replikacji w Qlik Cloud Data Integration. Oprócz Amazon S3 można teraz wybrać także Azure Data Lake Storage (ADLS) i Google Cloud Storage (GCS) do dostarczania danych do jezior danych w formatach plików Parquet, JSON lub CSV.

Rozwiązane problemy:

• Łącznik źródła IBM DB2 for LUW

  Połączenie z IBM DB2 for LUW kończyło się niepowodzeniem, kiedy rozmiar plików potrzebnych do tego połączenia (np. plik certyfikatu klienta i magazynu kluczy SSL) przekraczał 4 KB.

• Sterownik dla łączy źródła IBM DB2 for LUW i IBM DB2 for z/OS

  Instalacja sterownika DB2 kończyła się niepowodzeniem w przypadku użycia narzędzia do instalacji sterowników.

Standardowy

Obsługa Microsoft Fabric jako miejsca docelowego potoku danych

Microsoft Fabric dołącza do wciąż powiększającej się listy hurtowni danych, których można używać jako miejsc docelowych w projektach potoków danych.

Rozwiązane problemy:

Zaktualizowano wersję sterownika Snowflake w narzędziu do instalacji sterowników.

Standardowy

Rozszerzona obsługa połączeń prywatnych

Z połączenia prywatnego można korzystać, aby zapewnić bezpieczeństwo i zgodność transmisji danych. Upraszcza zarówno zarządzanie siecią, jak i bezpieczeństwo witrtualnej chmury prywatnej (VPC) bez konieczności otwierania portów transmisji przychodzącej zapory, stosowania urządzeń proxy lub tabel routingu. Integracja danych Qlik Cloud obsługuje już prywatne połączenia z docelowymi potokami danych Snowflake, Microsoft SQL Server i Amazon S3. W tej wersji klienci mogą dodatkowo korzystać z połączeń prywatnych podczas przenoszenia danych do Databricks, Microsoft Azure Synapse, Google BigQuery i Amazon Redshift.

Źródła danych oparte na PostgreSQL

• Wszystkie źródła danych oparte na PostgreSQL — obsługa wielozakresowych typów danych: następujące wielozakresowe typy danych są teraz obsługiwane we wszystkich źródłach danych opartych na PostgreSQL (lokalnych i w chmurze).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• Źródło danych AWS Aurora Cloud dla PostgreSQL — obsługa roli innej niż superużytkownik: użytkownik określony w łączniku PostgreSQL nie musi już mieć roli superużytkownika, aby przenosić dane ze źródła danych AWS Aurora Cloud dla PostgreSQL. Jest to szczególnie przydatne w organizacjach, których korporacyjne zasady zabezpieczeń uniemożliwiają przyznanie dostępu superużytkownika użytkownikom nieuprzywilejowanym.

Źródło danych Microsoft Azure SQL (MS-CDC): Obsługa replikacji geograficznej

Klienci przenoszący dane ze źródła danych Microsoft Azure SQL (MS-CDC) mogą teraz korzystać z bazy danych Geo Replica.

Źródło danych Oracle: Obsługa modułu zabezpieczeń sprzętowych (HSM, Hardware Security Module)

Integracja danych Qlik Cloud obsługuje teraz odczytywanie danych z zaszyfrowanych obszarów tabel Oracle i zaszyfrowanych kolumn podczas CDC.

Obsługa nowych regionów

Integracja danych Qlik Cloud obsługuje teraz dzierżawy w regionach DE i UK.

Nowe obsługiwane wersje i oprogramowanie innych firm

W tej sekcji wymieniono nowe obsługiwane wersje baz danych i sterowników.

• Nowe obsługiwane wersje źródeł danych. Następujące wersje źródeł danych są już obsługiwane:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15
  • DB2 13.1 (podczas pracy z IBM DB2 do z/OS)
  • IBM DB2 for iSeries 7.5

• Nowe obsługiwane wersje docelowych platform danych. Następujące wersje docelowych platform danych są już obsługiwane:

  • Databricks (pamięć w chmurze): Databricks 12.2 LTS i Databricks SQL Serverless

• Wersje sterowników. Następujące wersje sterowników ODBC są już obsługiwane:

  • IBM Data Server Client 11.5.8 do IBM DB2 for z/OZ i IBM DB2 do LUW
  • Sterowanik ODBC Simba 3.0.0.1001 do Google Cloud BigQuery
  • 64-bitowy sterownik Unicode MySQL ODBC 8.0.32

Sterownik Microsoft SQL Server — wymagana aktualizacja

Klienci przenoszący dane do lub z Microsoft SQL Server muszą uaktualnić wersję sterownika ODBC SQL Server do wersji 18.x lub nowszej. Należy pamiętać, że dalsze używanie sterownika ODBC SQL Server w wersji 17.x może powodować błędy danych. Sterownik można zaktualizować przy użyciu narzędzia do instalacji sterowników lub ręcznie. Instrukcję można znaleźć w sekcji Konfiguracja sterownika.

Wersje baz danych, których obsługa dobiegła końca

W tej sekcji znajdują się informacje na temat wersji baz danych, których obsługa dobiegła końca.

• Wersje źródeł danych, których obsługa dobiegła końca. Zakończono obsługę następujących wersji źródeł danych:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Wersje docelowych platform danych, których obsługa dobiegła końca. Zakończono obsługę następujących wersji celów danych:

  • Databricks 9.1 LTS

2022.11.74

Standardowy

15 sierpnia 2023 r.

Obsługa replikacji

Stosujemy podejście zorientowane na chmurę, które umożliwia szybkie wprowadzanie innowacji i wdrażanie. Nie oznacza to jednak, że ograniczamy się wyłącznie do chmury. W ramach ciągłego zwiększania długoterminowej wartości dla naszych klientów z przyjemnością ogłaszamy wydanie nowego zastosowania replikacji podczas tworzenia projektów danych. Nowe zastosowanie replikacji stanowi uzupełnienie istniejącej możliwości tworzenia potoków danych dla wszystkich potrzeb związanych z integracją danych, takich jak modernizacja hurtowni danych.

Projekt replikacji obsługuje replikację danych w czasie rzeczywistym z obsługiwanych źródeł danych do obsługiwanego miejsca docelowego.

Począwszy od najnowszego wydania pierwszym miejscem docelowym obsługującym replikację danych w czasie rzeczywistym jest Microsoft SQL Server. Oprócz obsługi lokalnego serwera Microsoft SQL Server obsługiwani są także następujący dostawcy usług w chmurze:

• lokalnie
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance i Microsoft Azure Database)

Miejsce docelowe Microsoft Azure Synapse Analytics — wymagana aktualizacja sterownika

Klienci przenoszący dane do Microsoft Azure Synapse Analytics muszą uaktualnić wersję sterownika ODBC SQL Server do wersji 18.x lub nowszej. Należy pamiętać, że dalsze używanie sterownika ODBC SQL Server w wersji 17.x może powodować błędy danych. Sterownik można zaktualizować przy użyciu narzędzia do instalacji sterowników lub ręcznie. Instrukcję można znaleźć w sekcji Konfiguracja sterownika.

Nowa opcja „Ładuj dane ze źródła” dla źródeł aplikacji SaaS

Wprowadzono nową opcję Ładuj ze źródła, która umożliwia klientom odczyt danych bezpośrednio ze źródła podczas pełnego ładowania zamiast używania danych z pamięci podręcznej.

Więcej informacji o tej opcji i jej zastosowaniach można znaleźć w temacie Ustawienia umieszczania.

Zaktualizowano certyfikaty CA

Brama danych ruchu danych 2022.11.74 zawiera zaktualizowane certyfikaty CA, które są potrzebne do uwierzytelniania dzierżawy Qlik Cloud. Zaktualizowane certyfikaty CA zapewniają też obsługę regionów Irlandia i Frankfurt. W związku z tym klienci mający dzierżawy w Irlandii lub Frankfurcie, którzy chcą korzystać z Integracji danych Qlik Cloud, muszą dokonać aktualizacji do tej wersji.

Rozwiązany problem

Zadania umieszczania danych ze źródła Oracle czasami kończyły się niepowodzeniem, jeżeli szeroka tabela zawierała nieużywane lub nieobsługiwane kolumny albo kolumny LOB, które nie były replikowane.

2022.11.70

Standardowy

28 czerwca 2023 r.

Ulepszone narzędzie do instalacji sterowników dla klientów SAP

W poprzednich wersjach klienci musieli uruchamiać polecenie „source arep_login.sh” podczas instalowania klientów SAP. Od tej wersji uruchamianie tego polecenia nie jest już konieczne.

Zaktualizowano certyfikaty CA

Ta wersja zawiera zaktualizowane certyfikaty CA, które są potrzebne do uwierzytelniania dzierżawy Qlik Cloud.

Rozwiązane problemy

• Kiedy zadanie replikacji w Brama danych ruchu danych kończyło się niepowodzeniem i było automatycznie przywracane, zasób danych do umieszczenia w Qlik Cloud nie był informowany o stanie przywrócenia.

• Kompleksowe szyfrowanie Brama danych ruchu danych nie było włączane domyślnie i było kontrolowane przy użyciu flag środowiska uruchomienia.

2022.11.63

Standardowy

2 maja 2023 r.

Narzędzie do instalacji sterowników

W tej wersji wprowadzono narzędzie do instalacji sterowników, które eliminuje konieczność ręcznej instalacji i konfiguracji sterowników. Nowe narzędzie przyspiesza instalację, a jednocześnie znacznie zmniejsza prawdopodobieństwo błędu użytkownika. Po uruchomieniu narzędzia wymagany sterownik jest w miarę możliwości pobierany automatycznie i instalowany. Jeżeli nie można pobrać sterownika (na przykład sterowniki do DB2 wymagają logowania), trzeba tylko pobrać sterownik, skopiować go do specjalnego folderu na urządzeniu z bramą ruchu danych i uruchomić narzędzie.

Przykład używania narzędzia do instalacji sterowników w celu zainstalowania sterownika PostgreSQL zawiera temat Wymagania wstępne

Platforma danych w chmurze Snowflake

Łącznik Snowflake obsługuje obecnie 4-bajtowe znaki emoji.

Obsługa Azure Database for PostgreSQL – Flexible Server jako źródła danych

Łącznik PostgreSQL może teraz przenosić dane z Azure Database for PostgreSQL - Flexible Server.

Obsługa Cloud SQL for PostgreSQL jako źródła danych

Łącznik PostgreSQL może teraz przenosić dane z Cloud SQL for PostgreSQL.

Nowe obsługiwane wersje źródeł danych

W tej wersji wprowadzono obsługę następujących nowych wersji źródeł danych:

• PostgreSQL
• DB2 (for IBM DB2 for z/OS) 12.1
• IBM DB2 for z/OS 2.5

Nowe obsługiwane wersje platform danych w chmurze

Databricks 11.3 LTS

Zakończona obsługa następujących wersji źródeł danych

Następujące wersje źródeł danych nie są już obsługiwane:

• DB2 (for IBM DB2 for z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Rozwiązane problemy

W tej wersji rozwiązano następujące problemy:

• Źródło danych Oracle: Podczas zatrzymywania i wznawiania zadania czasami występował błąd „Failed to set stream position on context”.
• Źródło aplikacji SAP: Zmiany nie były uwzględniane podczas zadania umieszczania.