Weryfikowanie i korygowanie danych za pomocą opieki nad danymi

Dzięki Qlik Talend Cloud opiece nad danymi możesz korzystać z ekspertów dziedzinowych do weryfikowania i korygowania swoich danych. Użyj istniejących typów semantycznych i reguł walidacji, aby upewnić się, że dane są spójnie sformułowane. Rozszerza to zautomatyzowane potoki o naprawę z udziałem człowieka, wykorzystując wiedzę dziedzinową. Po zweryfikowaniu danych możesz ponownie wprowadzić je do oryginalnego źródła danych lub do dowolnego systemu niższego szczebla.

Tworzysz sprint, który jest głównym zakresem prac dla walidacji i naprawy. Sprint zawiera informacje o:

• Dane źródłowe

• Schemat danych do walidacji

• Właściciele sprintu

• Zdefiniowani zarządcy danych

• Magazyn danych używany dla danych sprintu

• Ustawienia przepływu pracy

Podczas sprintu wszystkie dane sprintu są przechowywane we własnej hurtowni danych w chmurze, a nie w Qlik Talend Cloud. Obecnie Snowflake jest jedyną obsługiwaną hurtownią danych w chmurze.

Możesz zdefiniować następujące role użytkowników:

• Właściciel sprintu

  Właściciele sprintów mogą zatwierdzać rekordy rozwiązane przez opiekunów danych. Mogą również uzyskiwać dostęp do rozwiązanych rekordów i eksportować dane.

• Opiekun danych

  Opiekun danych ma przypisane rekordy w celu rozwiązania problemów z jakością.

Sprinty tworzy się w Opiece nad danymi w Qlik Talend Data Integration centrum aktywności. Możesz tworzyć sprinty rozstrzygające, które korygują i porządkują dane w jednym lub wielu polach w zbiorze danych, który wymaga walidacji. Oto przepływ pracy:

1. Tworzenie sprintu rozwiązywania

   Utwórz sprint i zdefiniuj dane do walidacji. Możesz wypełnić sprint za pomocą zadania Talend Studio, albo zaimportować plik CSV z danymi.

   Opiekunowie danych są definiowani do przeprowadzania walidacji. Rekordy można przypisywać ręcznie lub automatycznie.

2. Praca w sprincie rozwiązywania problemów

   Opiekunowie danych weryfikują dane w przypisanych rekordach.

3. Zarządzanie rozwiązanymi rekordami

   • Jeśli sprint został wypełniony zadaniem Talend Studio, należy utworzyć zadanie Talend Studio, aby pobrać zweryfikowane rekordy i zwrócić je do oryginalnego źródła danych lub do dowolnego innego wymaganego miejsca docelowego.

   • Jeśli sprint został wypełniony plikiem CSV, sprint kończy się eksportowaniem zweryfikowanych danych do pliku CSV. Możesz zaktualizować źródło danych zweryfikowanymi danymi, importując wyeksportowany plik CSV.