Jakość danych dla zestawów danych opartych na połączeniu

Ostatnia aktualizacja: 2026-11-10

Aby korzystać z wykrywania typów semantycznych i odczytów jakości danych w zestawach danych opartych na połączeniu, należy skonfigurować ważny warunek wstępny dotyczący połączeń danych w kontekście produktów danych.

Obsługiwane pliki, połączenia i bazy danych

Obsługiwane są następujące typy plików:

• Pliki programu Excel: XLS/XLSX
• Pliki tekstowe rozdzielane separatorami: CSV/TXT
• Pliki JSON: JSON
• Pliki XML: XML
• Qlik pliki danych: QVD (QlikView Data)/QVX (QlikView Exchange)
• Pliki Parquet: PARQUET
• Pliki KML: KML (dane geograficzne)

Gdy dodajesz zestaw danych z magazynu w chmurze, plik nie może przekraczać 1 GB. Ten limit pamięci w chmurze jest oddzielny od opisanych poniżej limitów dotyczących obliczeń jakości danych.

Obecnie obsługiwane typy do obliczania jakości to CSV, TXT, Parquet, QVD, XLS i XLSX, w ramach następujących limitów:

• CSV/TXT do 1 GB
• Parquet do 1 GB
• QVD do 100 GB
• XLS/XLSX do 100 MB

W przypadku plików Parquet jakość danych jest obsługiwana tylko dla schematów płaskich. Pola zagnieżdżone (LIST, MAP, STRUCT) nie są obsługiwane.

Jakość danych nie jest obsługiwana w przypadku zestawów danych opartych na plikach, które przekraczają te limity. Jeśli plik programu Excel zawiera wiele arkuszy, obliczenia jakości zostaną wykonane tylko na pierwszym arkuszu.

• Jakość danych jest obsługiwana zarówno w trybie pobierania, jak i wysyłania dla zestawów danych Snowflake i Databricks.

• Jakość danych jest obsługiwana w trybie pobierania dla zestawów danych opartych na następujących połączeniach:

  • Amazon Athena

  • Amazon Redshift

  • Amazon S3 V2

  • Apache Hive

  • Apache Phoenix

  • Apache Spark

  • Baza danych Azure SQL

  • Azure Storage

  • Azure Synapse Analytics

  • Cassandra

  • Cloudera Impala

  • Couchbase

  • DynamoDB

  • Dropbox

  • Google BigQuery

  • Google Cloud Storage
  • Dysk Google

  • Marketo

  • Microsoft SQL Server

  • MongoDB

  • MySQL Enterprise Edition

  • Office 365 SharePoint
  • OneDrive

  • Oracle

  • PostgreSQL

  • Presto

  • SAP Hana

  • SFTP

  • Snowflake

Tworzenie zestawów danych z tabeli

Podczas tworzenia zestawu danych wybiera się bazę danych ze źródła danych, a następnie wybiera się tabele w tej bazie danych. Dla każdej wybranej tabeli tworzony jest zestaw danych.

1. W Katalogu kliknij Utwórz nowy > Zestaw danych.
2. Wybierz połączenie i kliknij Dalej.
3. Wybierz bazę danych i schemat z listy rozwijanej.
4. Wybierz tabele i kliknij Dalej.
5. Wybierz przestrzeń i kliknij Utwórz zestawy danych. Zostajesz przekierowany do Katalogu i widzisz nowe zestawy danych na liście.

Możesz teraz obliczyć jakość danych i dodać zestawy danych do produktów danych. Aby uzyskać więcej informacji, zobacz Konfigurowanie obliczania jakości danych.

Tworzenie zestawów danych z pliku

1. W Katalogu kliknij Utwórz nowy > Zestaw danych.
2. Wybierz połączenie i kliknij Dalej.
3. Wybierz plik i kliknij Dalej.
4. Wybierz przestrzeń i kliknij Utwórz zestawy danych. Zostajesz przekierowany do Katalogu i widzisz nowe zestawy danych na liście.

Możesz teraz obliczyć jakość danych i dodać zestawy danych do produktów danych. Aby uzyskać więcej informacji, zobacz Konfigurowanie obliczania jakości danych.

Tworzenie zestawów danych opartych na połączeniach

Możesz tworzyć zestawy danych oparte na połączeniach z Katalogu, ale możesz również używać projektów potoków.

Tworzenie zestawów danych z projektu potoku umożliwia przeprowadzenie integracji wszystkich danych w ramach projektu przy użyciu zadań danych. Aby uzyskać więcej informacji, zobacz Tworzenie projektu potoku danych.

Tworzenie zestawów danych z Katalogu

Gdy nie musisz używać projektu potoku, możesz utworzyć zestawy danych, aby obliczyć jakość danych i wykorzystywać zestawy danych za pośrednictwem produktów danych.

1. W Qlik Talend Data Integration > Katalog kliknij Utwórz nowy > Zestaw danych.
2. Wybierz połączenie i kliknij Dalej.
3. Wybierz zbiory danych i kliknij Dalej.

   Gdy zestaw danych nie znajduje się na liście, oznacza to, że nie jest w jednym z obsługiwanych formatów:

   • Pliki programu Excel:.xls, .xlsx
   • Pliki tekstowe rozdzielane:.csv, .txt
   • Pliki programu Excel:.xls, .xlsx
   • Pliki JSON:.json
   • Pliki XML:.xml
   • Qlik pliki danych:.qvd (QlikView Data), .qvx (QlikView Exchange)
   • Pliki Parquet:.parquet
   • Pliki KML:.kml (Geographic data)

   W przypadku obliczania jakości obowiązują limity rozmiaru dla zestawów danych opartych na plikach: CSV, TXT i Parquet do 1 GB, QVD do 100 GB oraz XLS/XLSX do 100 MB.

4. Wybierz przestrzeń i kliknij Utwórz zestawy danych. Zostajesz przekierowany do Katalogu i widzisz nowe zestawy danych na liście.

Możesz teraz obliczyć jakość danych i dodać zestawy danych do produktów danych. Aby uzyskać więcej informacji, zobacz Konfigurowanie obliczania jakości danych.

Tworzenie zestawów danych z projektu potoku

1. W Qlik Talend Data Integration > Połączenia kliknij Utwórz połączenie.

2. Skonfiguruj dostęp do bazy danych, korzystając z poświadczeń użytkownika mającego wystarczające uprawnienia i dostęp do tabel, które chcesz zaimportować.

3. W Analityka Qlik Cloud kliknij Utwórz, a następnie Połączenie danych.

4. Skonfiguruj dostęp do tej samej bazy danych co poprzednio, najlepiej używając poświadczeń tego samego użytkownika lub takiego, który ma co najmniej uprawnienia do odczytu tabel.

5. (Tylko w przypadku Snowflake) W polu Rola należy wpisać rolę odpowiadającą istniejącej roli utworzonej w bazie Snowflake i mającej następujące uprawnienia do tych obiektów.

   • USAGE do WAREHOUSE

   • USAGE do DATABASE

   • USAGE do SCHEMA

   • CREATE TABLE do SCHEMA

   • CREATE FUNCTION do SCHEMA

   • CREATE VIEW do SCHEMA

   • SELECT do TABLE

6. (tylko w Databricks) W usłudze Databricks należy zdefiniować następujące uprawnienia do bazy danych:

   • Tworzenie tabeli

   • UTWÓRZ WOLUMIN

   • MODIFY

   • WOLUMEN ODCZYTU

   • SELECT

   • UŻYJ SCHEMATU

   • WOLUMEN ZAPISU

7. Po powrocie na stronę główną Qlik Talend Data Integration kliknij Utwórz nowy, a następnie Projekt potoku.

8. Użyj połączenia z kroku 2 jako źródła projektu i rozpocznij budowanie potoku. Zobacz Tworzenie projektów potoków danych i zarządzanie nimi, aby uzyskać więcej informacji.

9. W dowolnym punkcie potoku wybierz zadanie danych, przejdź do Ustawień, a następnie karty Katalog, na której możesz zaznaczyć pole wyboru Publikuj w Katalogu.

   Oznacza to, że ta wersja zestawu danych zostanie opublikowana w Katalogu, gdy projekt potoku zostanie przygotowany i uruchomiony. Opcję tę można również zaznaczyć na poziomie projektu.

10. Uruchom projekt danych.

Po uruchomieniu projektu potoku nowy zestaw danych zostanie dodany do Katalogu i uzyskasz dostęp do wskaźników jakości oraz dodatkowych informacji na temat ich zawartości. Ta konfiguracja umożliwia również używanie zestawów danych jako źródła aplikacji analitycznych.

Przed utworzeniem produktu danych możesz dodać dowolną liczbę zestawów danych. Ponieważ dostęp do Katalogu można uzyskać zarówno z hubu Qlik Talend Data Integration, jak i z hubu usług Analityka Qlik Cloud, możesz otwierać swoje zestawy danych w preferowanej lokalizacji, a w zależności od kontekstu zostanie użyte właściwe połączenie.

Obliczenia jakości podczas pobierania/przesyłania

Użycie przycisku Oblicz lub Odśwież w Przeglądzie zestawu danych uruchamia obliczenia jakości na próbie 1000 wierszy.

Operacja ta domyślnie odbywa się w trybie pobierania. W przypadku zestawów danych Snowflake i Databricks, operacja ta może odbywać się zarówno w trybie pobierania (domyślnym), jak i w trybie wysyłania, po stronie bazy danych.

Po obliczeniu jakości danych podgląd do 1000 wierszy (domyślnie) jest pobierany i wyświetlany z aktualnymi typami semantycznymi oraz statystykami ważności i kompletności. Ta próbka jest następnie przechowywana w MongoDB. Aby skonfigurować rozmiar podglądu zestawu danych (100 lub 1000 wierszy), administratorzy dzierżawy muszą przejść na stronę Ustawienia w centrum aktywności Administracja; więcej informacji zawiera Konfigurowanie rozmiaru podglądu zestawu danych.

Wymagania wstępne dotyczące jakości danych w trybie pushdown na platformie Databricks

Aby obliczyć jakość danych w trybie pushdown w Databricks, Qlik musi zsynchronizować określone dane referencyjne dotyczące jakości, takie jak typy semantyczne, z Twoją instancją Databricks. Wykorzystuje również niektóre zaawansowane funkcje Databricks.

Aby ta cecha działała prawidłowo, w Twojej instancji Databricks muszą zostać spełnione następujące wymagania wstępne:

• Unity Catalog musi być włączony.

• Użytkownicy powiązani z połączeniem Databricks muszą mieć uprawnienia do tworzenia tabeli, tworzenia schematu, tworzenia woluminu oraz zapisywania woluminu.

  Qlik utworzy schemat o nazwie qlik_internal w bazie danych określonej w Twoim połączeniu. Ten schemat nie zostanie automatycznie usunięty przez Qlik. Musisz usunąć to ręcznie, jeśli przestaniesz korzystać z Infrastruktura chmurowa SaaS.

• Reguły sortowania muszą być włączone.

Jeśli chodzi o ograniczenia, należy pamiętać, że rozpoznawanie dat w kolumnach tekstowych jest ograniczone do formatu ISO-8601.