Gegevenskwaliteit voor Snowflake-gegevensverzamelingen

Om te profiteren van de detectie van semantische typen en metingen van gegevenskwaliteit van uw Snowflake-gegevensverzamelingen, moet u een belangrijke vereiste instellen voor uw gegevensverbindingen met betrekking tot de context van gegevensproducten.

Instellingen Snowflake-verbinding

Om gegevensverzamelingen te maken vanuit Snowflake en later toegang te krijgen tot de bijbehorende schema's en kwaliteit in het overzicht van gegevensverzamelingen en gegevensproducten, moet u dezelfde verbinding instellen in zowel de Qlik Talend Data Integration-hub en de Qlik Analytics Services-hub.

Stel u wilt gegevens gebruiken die zijn opgeslagen in een Snowflake-database, voeg ze dan als gegevensverzamelingen toe aan uw catalogus en groepeer ze in een gegevensproduct dat u kunt gebruiken voor een analyse-app.

1. Klik in Qlik Talend Data Integration op Nieuwe toevoegen en vervolgens op Gegevensverbinding.

2. Configureer uw toegang tot de Snowflake-database met de aanmeldgegevens van een gebruiker met WRITE-machtigingen en open de tabellen die u wilt importeren.

3. Klik in Qlik Analytics Services op Nieuwe toevoegen en vervolgens op Gegevensverbinding.

4. Configureer uw toegang tot dezelfde Snowflake-database zoals u eerder hebt gedaan. Gebruik idealiter de aanmeldgegevens van dezelfde gebruiker of van een gebruiker met minimaal READ-machtigingen voor de tabellen.

5. In het veld Rol moet u een rol opgeven die overeenkomt met een bestaande rol die in de Snowflake-database is gemaakt en de volgende machtigingen heeft voor deze objecten.

   • USAGE on WAREHOUSE

   • USAGE on DATABASE

   • USAGE on SCHEMA

   • CREATE TABLE on SCHEMA

   • CREATE FUNCTION on SCHEMA

   • CREATE VIEW on SCHEMA

   • SELECT on TABLE

6. Ga terug naar de startpagina van Qlik Talend Data Integration, klik op Nieuwe toevoegen en vervolgens op Gegevensproject maken.

7. Gebruik uw Snowflake-verbinding van stap 2 als bron voor uw project en start met het maken van uw pijplijn. Raadpleeg Een gegevenspijplijn maken voor meer informatie.

8. Selecteer een gegevenstaak op een willekeurig punt in uw pijplijn, ga naar Instellingen en vervolgens naar het tabblad Catalogus en schakel het selectievakje Publiceren naar catalogus in.

   Dit betekent dat de versie van de gegevensverzameling wordt gepubliceerd naar de  catalogus nadat het gegevensproject is voorbereid en uitgevoerd. Het is mogelijk om deze optie op projectniveau in te schakelen.

9. Voer uw gegevensproject uit.

Na het uitvoeren van uw gegevensproject, wordt de nieuwe gegevensverzameling toegevoegd aan de catalogus en hebt u toegang tot de kwaliteitsindicatoren en meer details over de inhoud. Met deze configuratie kunnen de Snowflake-gegevensverzamelingen ook gebruikt worden als bron voor analyse-apps.

U kunt zoveel gegevensverzamelingen toevoegen als nodig is voordat u het gegevensproduct samenstelt. Aangezien de catalogus kan worden geopend via zowel de Qlik Talend Data Integration-hub als de Qlik Analytics Services-hub, kunt uw gegevensverzamelingen in uw gewenste locatie openen en wordt de juiste verbinding gebruikt, afhankelijk van de context.

Kwaliteit meten in pushdown

Als u de knop Meten of Vernieuwen in het Overzicht van uw gegevensverzameling gebruikt, wordt een kwaliteitsberekeing geactiveerd op basis van een steekproef van 1000 rijen van de database. Deze bewerking vindt plaats in pushdown, aan de zijde van Snowflake.

Er wordt vervolgens een steekproef van 100 rijen terug gezonden naar Qlik Cloud, waar u deze kunt weergeven als voorbeeld met actuele semantische typen en statistieken over de geldigheid en volledigheid. Deze steekproef wordt vervolgens opgeslagen in MongoDB.

Het volgende diagram toont een overzicht van de bewerking voor het verwerken van de gegevenskwaliteit.