Datakvalitet för Snowflake-datauppsättningar

För att kunna dra nytta av upptäckt av semantiska typer och datakvalitetsavläsningar på dina Snowflake-datauppsättningar måste du skapa en viktig förutsättning med dina datakopplingar i samband med dataprodukter.

Snowflake-kopplingsinställningar

För att du ska kunna skapa datauppsättningar från Snowflake och senare få tillgång till deras schema och kvalitet i datauppsättningsöversikten och dataproduktöversikten måste du konfigurera samma koppling i både Qlik Talend Data Integration-hubben och Qlik Analytics Services-hubben.

Låt oss säga att du vill hämta data som lagras i en Snowflake-databas, lägga till dem i din katalog som datauppsättningar och gruppera dem i en dataprodukt som du ska använda för en analysapp.

1. I Qlik Talend Data Integration klickar du på Lägg till ny och sedan på Datakoppling.

2. Konfigurera din åtkomst till Snowflake-databasen med hjälp av autentiseringsuppgifterna för en användare som har WRITE-behörighet och åtkomst till de tabeller som du vill importera.

3. I Qlik Analystjänster klickar du på Lägg till ny och sedan på Datakoppling.

4. Konfigurera din åtkomst till samma Snowflake-databas som tidigare, helst med hjälp av autentiseringsuppgifterna för samma användare, eller för en användare som har minst READ-behörighet för tabellerna.

5. I fältet Roll måste du ange en roll som motsvarar en befintlig roll som skapats i Snowflake-databasen och som har följande behörigheter för dessa objekt.

   • USAGE för WAREHOUSE

   • USAGE för DATABASE

   • USAGE för SCHEMA

   • CREATE TABLE för SCHEMA

   • CREATE FUNCTION för SCHEMA

   • CREATE VIEW för SCHEMA

   • SELECT för TABLE

6. Tillbaka på Qlik Talend Data Integration-hemsidan klickar du på Lägg till ny och sedan på Skapa dataprojekt.

7. Använd din Snowflake-koppling från steg 2 som källa för ditt projekt och börja bygga din pipeline. Mer information finns i Skapa en datapipeline .

8. Vid vilken punkt som helst i helst i pipelinen kan du välja en datauppgift, gå till Inställningar och sedan till fliken Katalog där du kan markera kryssrutan Publicera i katalogen.

   Det innebär att denna version av datauppsättningen kommer att publiceras i katalogen när dataprojektet är förberett och kört. Det är också möjligt att markera detta alternativ på projektnivå.

9. Kör ditt dataprojekt.

När du har kört ditt dataprojekt läggs den nya datauppsättningen till i katalogen och du får tillgång till kvalitetsindikatorer och mer information om deras innehåll. Den här konfigurationen gör det också möjligt att använda Snowflake-datauppsättningar som källa för analysappar.

Du kan lägga till så många datauppsättningar som behövs innan du bygger din dataprodukt. Eftersom katalogen kan nås från både Qlik Talend Data Integration-hubben och Qlik Analystjänster-hubben kan du öppna dina dataset på önskad plats, och rätt koppling kommer att användas beroende på sammanhanget.

Kvalitetsberäkning i pushdown

Om du använder knappen Beräkna eller Uppdatera på översikten över din datauppsättning görs en kvalitetsberäkning av ett urval av 1 000 rader i databasen. Denna operation sker i pushdown, på Snowflake-sidan.

Ett urval på 100 rader skickas sedan tillbaka till Qlik Cloud, där du kan visa det som en förhandsgranskning med uppdaterade semantiska typer och statistik över giltighet och fullständighet. Detta prov lagras sedan på MongoDB.

Följande diagram sammanfattar bearbetningen av datakvaliteten.