Datakvalitet för kopplingsbaserade datauppsättningar | Qlik CloudHjälp
Gå till huvudinnehåll Gå till ytterligare innehåll

Datakvalitet för kopplingsbaserade datauppsättningar

Senast uppdaterad: 2026-11-10

För att kunna dra nytta av upptäckt av semantiska typer och datakvalitetsavläsningar på dina kopplingsbaserade datauppsättningar måste du skapa en viktig förutsättning med dina datakopplingar i samband med dataprodukter.

Anteckning om informationDu behöver en av de följande prenumerationerna:
  • Qlik Talend Cloud Enterprise
  • Qlik Talend Cloud Premium
  • Qlik Cloud-analys premium
  • Qlik Cloud Analytics Enterprise
  • Qlik Sense Enterprise SaaS

Filer, anslutningar och databaser som stöds

Följande filtyper stöds:

  • Excel-filer: XLS/XLSX
  • Avgränsade textfiler: CSV/TXT
  • JSON-filer: JSON
  • XML-filer: XML
  • Qlik datafiler: QVD (QlikView Data)/QVX (QlikView Exchange)
  • Parquet-filer: PARQUET
  • KML-filer: KML (geografiska data)

När du lägger till en datamängd från en molnlagring får filen inte överskrida 1 GB. Denna gräns för molnlagring är separat från gränserna för beräkning av datakvalitet som beskrivs nedan.

Från och med nu är de typer som stöds för kvalitetsberäkningen CSV, TXT, Parquet, QVD, XLS och XLSX, inom dessa gränser:

  • CSV/TXT upp till 1 GB
  • Parquet upp till 1 GB
  • QVD upp till 100 GB
  • XLS/XLSX upp till 100 MB

För Parquet-filer stöds datakvalitet endast för platta scheman. Nästlade fält (LIST, MAP, STRUCT) stöds inte.

Datakvalitet stöds inte för filbaserade datamängder som överskrider dessa gränser. Om Excel-filen innehåller flera ark kommer kvalitetsberäkningen endast att göras på det första arket.

  • Datakvalitet stöds i både pullup- och pushdown-lägen för Snowflake- och Databricks-datauppsättningar.

  • Datakvalitet stöds i pullup-läge för datauppsättningar som baseras på följande anslutningar:

    • Amazon Athena

    • Amazon Redshift

    • Amazon S3 V2
    • Apache Hive

    • Apache Phoenix

    • Apache Spark

    • Azure SQL Databas

    • Azure Storage
    • Azure Synapse Analytics

    • Cassandra

    • Cloudera Impala

    • Couchbase

    • DynamoDB

    • Dropbox
    • Google BigQuery

    • Google Cloud-lagring
    • Google Drive
    • Marketo

    • Microsoft SQL Server

    • MongoDB

    • MySQL Enterprise

    • Office 365 Sharepoint
    • OneDrive
    • Oracle

    • PostgreSQL

    • Presto

    • SAP Hana

    • SFTP
    • Snowflake

Skapa datauppsättningar från en tabell

När du skapar en datauppsättning väljer du en databas från datakällan och väljer sedan tabeller i den databasen. En datauppsättning skapas för varje tabell du väljer.

  1. Från Katalog, klicka på Skapa ny > Dataset.
  2. Välj kopplingen och klicka på Nästa.
  3. Välj databasen och schemat från rullgardinsmenyn.
  4. Välj tabellerna och klicka på Nästa.
  5. Välj utrymmet och klicka på Skapa datamängder. Du omdirigeras till Katalog och du ser de nya datauppsättningarna i listan.

Du kan nu beräkna datakvaliteten och lägga till datamängderna i dataprodukter. För mer information, se Konfigurera datakvalitetsberäkning.

Skapa datauppsättningar från en fil

  1. Från Katalog, klicka på Skapa ny > Dataset.
  2. Välj kopplingen och klicka på Nästa.
  3. Välj filen och klickar du på Nästa.
  4. Välj utrymmet och klicka på Skapa datamängder. Du omdirigeras till Katalog och du ser de nya datauppsättningarna i listan.

Du kan nu beräkna datakvaliteten och lägga till datamängderna i dataprodukter. För mer information, se Konfigurera datakvalitetsberäkning.

Skapa anslutningsbaserade datauppsättningar

Du kan skapa kopplingsbaserade dataset från Katalogen, men du kan också använda pipelineprojekt.

Genom att skapa datamängder från ett pipelineprojekt kan du utföra all dataintegrering inom ett projekt med dataarbetsuppgifter. För mer information, se Skapa ett datapipelineprojekt.

Skapa datauppsättningar från Katalogen

När du inte behöver använda ett pipelineprojekt kan du skapa datauppsättningar för att beräkna datakvaliteten och konsumera datauppsättningarna via dataprodukter.

  1. I Qlik Talend Data Integration > Katalog klickar du på Skapa ny > Datauppsättning.
  2. Välj kopplingen och klicka på Nästa.
  3. Välj datauppsättningarna och klicka på Nästa.

    När en datamängd inte finns i listan innebär det att den inte är i något av de format som stöds:

    • Excel-filer:.xls, .xlsx
    • Avgränsade textfiler:.csv, .txt
    • Excel-filer:.xls, .xlsx
    • JSON-filer:.json
    • XML-filer:.xml
    • Qlik datafiler:.qvd (QlikView Data), .qvx (QlikView Exchange)
    • Parquet-filer:.parquet
    • KML-filer:.kml (Geographic data)

    För kvalitetsberäkning gäller storleksgränser för filbaserade datamängder: CSV, TXT och Parquet upp till 1 GB, QVD upp till 100 GB och XLS/XLSX upp till 100 MB.

  4. Välj utrymmet och klicka på Skapa datamängder. Du omdirigeras till Katalog och du ser de nya datauppsättningarna i listan.

Du kan nu beräkna datakvaliteten och lägga till datamängderna i dataprodukter. För mer information, se Konfigurera datakvalitetsberäkning.

Skapa dataset från ett pipelineprojekt

  1. Klicka på Qlik Talend Data IntegrationSkapa koppling i > Kopplingar.

  2. Konfigurera din åtkomst till databasen med hjälp av autentiseringsuppgifterna för en användare som har tillräcklig behörighet och åtkomst till de tabeller som du vill importera.

  3. Klicka på Qlik Cloud-analysSkapa och sedan på Dataanslutning i .

  4. Konfigurera din åtkomst till samma databas som tidigare, helst med hjälp av autentiseringsuppgifterna för samma användare, eller för en användare som har minst READ-behörighet för tabellerna.

  5. (endast för Snowflake) I fältet Roll måste du ange en roll som motsvarar en befintlig roll som har skapats i Snowflake-databasen och som har följande behörigheter för dessa objekt.

    • USAGE för WAREHOUSE

    • USAGE för DATABASE

    • USAGE för SCHEMA

    • CREATE TABLE för SCHEMA

    • CREATE FUNCTION för SCHEMA

    • CREATE VIEW för SCHEMA

    • SELECT för TABLE

  6. (endast för Databricks) I Databricks måste du definiera följande behörigheter för databasen:

    • Skapa tabell

    • SKAPA VOLYM

    • MODIFY

    • LÄS VOLYM

    • SELECT

    • USE SCHEMA

    • SKRIVVOLYM

  7. Tillbaka på startsidan för Qlik Talend Data Integration, klicka på Skapa nytt och sedan på Pipeline-projekt.

  8. Använd din koppling från steg 2 som källa för ditt projekt och börja bygga din pipeline. Se Skapa och hantera datapipeline-projekt för mer information.

  9. Vid vilken punkt som helst i helst i pipelinen kan du välja en datauppgift, gå till Inställningar och sedan till fliken Katalog där du kan markera kryssrutan Publicera i katalogen.

    Det innebär att denna version av datauppsättningen kommer att publiceras i katalogen när pipelineprojektet är förberett och kört. Det är också möjligt att markera detta alternativ på projektnivå.

  10. Kör ditt dataprojekt.

När du har kört ditt pipelineprojekt läggs den nya datauppsättningen till i katalogen och du får tillgång till kvalitetsindikatorer och mer information om deras innehåll. Den här konfigurationen gör det också möjligt att använda datauppsättningar som källa för analysapplikationer.

Du kan lägga till så många datauppsättningar som behövs innan du bygger din dataprodukt. Eftersom Katalogen kan nås från både Qlik Talend Data Integration-hubben och Qlik Cloud-analys Services-hubben kan du öppna dina datauppsättningar på önskad plats, och rätt koppling kommer att användas beroende på sammanhanget.

Kvalitetsberäkning i pullup/pushdown

Om du använder knappen Beräkna eller Uppdatera på översikten över din datauppsättning görs en kvalitetsberäkning av ett urval av 1 000 rader.

Denna åtgärd sker i pullup-läge som standard. För Snowflake- och Databricks-datauppsättningar kan denna åtgärd ske både i pullup-läge (standard) eller i pushdown-läge på databassidan.

Efter att datakvaliteten har beräknats hämtas och visas en förhandsgranskning på upp till 1 000 rader (standard) med uppdaterade semantiska typer, validitet och statistik över fullständighet. Detta prov lagras sedan på MongoDB. För att konfigurera storleken för förhandsgranskning av datamängder (100 eller 1 000 rader) måste administratörer för klientorganisationen gå till sidan Inställningar i aktivitetscentret Administration, för mer information se Konfigurera förhandsgranskningsstorlek för datauppsättning.

Anteckning om information

För Databricks-datauppsättningar som beräknas i pushdown-läge kan förhandsgranskningen ibland innehålla färre rader än den konfigurerade förhandsgranskningsstorleken om det beräknade urvalet returnerar färre rader än vad som begärts. Databricks slumpmässiga urval använder TABLESAMPLE, vilket returnerar ett ungefärligt antal rader. Eftersom förhandsgranskningen är en delmängd av det beräknade urvalet kan den inte överskrida antalet rader som returneras av urvalet.

För mer information, se motsvarande Databricks-dokumentation.

Anteckning om informationDatakvalitet kan inte beräknas för datauppsättningar som har fler än 500 kolumner.

Förutsättningar för datakvalitet i pushdown-läge på Databricks

För att beräkna datakvalitet i pushdown-läge på Databricks behöver Qlik synkronisera viss kvalitetsreferensdata, såsom semantiska typer, till din Databricks-instans. Den utnyttjar även vissa avancerade funktioner i Databricks.

För att denna funktion ska fungera korrekt måste följande förutsättningar uppfyllas på din Databricks-instans:

  • Unity Catalog måste vara aktiverat.

  • Användare som är associerade med Databricks-kopplingen måste ha behörighet att skapa en tabell, skapa ett schema, skapa en volym och skriva till en volym.

    Qlik kommer att skapa ett schema med namnet qlik_internal i databasen som anges i din koppling. Detta schema kommer inte att tas bort automatiskt av Qlik. Du behöver ta bort det manuellt om du slutar använda SaaS-molninfrastruktur.

  • Sorteringar måste vara aktiverade.

När det gäller begränsningar bör du observera att datumigenkänning i strängkolumner är begränsad till ISO-8601-formatet.

Var den här sidan till hjälp för dig?

Om du stöter på några problem med den här sidan eller innehållet på den, t.ex. ett stavfel, ett saknat steg eller ett tekniskt fel – meddela oss!