Jakość danych dla zestawów danych Snowflake

Aby korzystać z wykrywania typów semantycznych i odczytów jakości danych w zestawach danych Snowflake, należy skonfigurować ważny warunek wstępny dotyczący połączeń danych w kontekście produktów danych.

Ustawienia połączenia Snowflake

Aby móc tworzyć zestawy danych ze Snowflake, a później mieć dostęp do ich schematu i jakości w przeglądzie zestawu danych i przeglądzie produktu danych, musisz skonfigurować to samo połączenie zarówno w hubie Qlik Talend Data Integration, jak i w hubie Usług analiz Qlik.

Załóżmy, że chcesz pobrać dane przechowywane w bazie danych Snowflake, dodać je do swojego katalogu jako zestawy danych i pogrupować je w produkt danych, którego będziesz używać na potrzeby aplikacji analitycznej.

1. W Qlik Talend Data Integration kliknij Dodaj nowe, a następnie Połączenie danych.

2. Skonfiguruj dostęp do bazy danych Snowflake, korzystając z poświadczeń użytkownika mającego uprawnienia do zapisu i dostęp do tabel, które chcesz zaimportować.

3. W Usługach analiz Qlik kliknij Dodaj nowe, a następnie Połączenie danych.

4. Skonfiguruj dostęp do tej samej bazy danych Snowflake co poprzednio, najlepiej używając poświadczeń tego samego użytkownika lub takiego, który ma co najmniej uprawnienia do odczytu tabel.

5. W polu Rola należy wpisać rolę odpowiadającą istniejącej roli utworzonej w bazie Snowflake i mającej następujące uprawnienia do tych obiektów.

   • USAGE do WAREHOUSE

   • USAGE do DATABASE

   • USAGE do SCHEMA

   • CREATE TABLE do SCHEMA

   • CREATE FUNCTION do SCHEMA

   • CREATE VIEW do SCHEMA

   • SELECT do TABLE

6. Po powrocie na stronę główną Qlik Talend Data Integration kliknij Dodaj nowy, a następnie Utwórz projekt danych.

7. Użyj połączenia Snowflake z kroku 2 jako źródła projektu i rozpocznij budowanie potoku. Więcej informacji zawiera temat Tworzenie potoku danych.

8. W dowolnym punkcie potoku wybierz zadanie danych, przejdź do Ustawień, a następnie karty Katalog, na której możesz zaznaczyć pole wyboru Publikuj w Katalogu.

   Oznacza to, że ta wersja zestawu danych zostanie opublikowana w Katalogu, gdy projekt danych zostanie przygotowany i uruchomiony. Opcję tę można również zaznaczyć na poziomie projektu.

9. Uruchom projekt danych.

Po uruchomieniu projektu danych nowy zestaw danych zostanie dodany do Katalogu i uzyskasz dostęp do wskaźników jakości oraz dodatkowych informacji na temat ich zawartości. Ta konfiguracja umożliwia również używanie zestawów danych Snowflake jako źródła aplikacji analitycznych.

Przed utworzeniem produktu danych możesz dodać dowolną liczbę zestawów danych.Ponieważ dostęp do katalogu można uzyskać zarówno z huba Qlik Talend Data Integration, jak i huba Qlik Analytics Services, możesz otwierać swoje zestawy danych w preferowanej lokalizacji, a w zależności od kontekstu zostanie użyte odpowiednie połączenie.

Obliczenia jakości podczas przekazywania

Użycie przycisku Oblicz lub Odśwież w Przeglądzie zestawu danych uruchamia obliczenia jakości na próbie 1000 wierszy bazy danych. Ta operacja odbywa się podczas przekazywania, po stronie Snowflake.

Próbka 100 wierszy jest następnie wysyłana z powrotem do Qlik Cloud, gdzie można ją wyświetlić jako podgląd z aktualnymi typami semantycznymi oraz statystykami ważności i kompletności. Ta próbka jest następnie przechowywana w MongoDB.

Poniższy diagram podsumowuje operację przetwarzania jakości danych.