Gegevenskwaliteit voor op verbindingen gebaseerde gegevensverzamelingen | Qlik Cloud Help
Ga naar hoofdinhoud Ga naar aanvullende inhoud

Gegevenskwaliteit voor op verbindingen gebaseerde gegevensverzamelingen

Laatst bijgewerkt: 2026-11-18

Om te profiteren van de detectie van semantische typen en metingen van gegevenskwaliteit van uw op verbindingen gebaseerde gegevensverzamelingen, moet u een belangrijke vereiste instellen voor uw gegevensverbindingen met betrekking tot de context van gegevensproducten.

InformatieU hebt een van de volgende abonnementen nodig:
  • Qlik Talend Cloud Enterprise
  • Qlik Talend Cloud Premium
  • Qlik Cloud Analyse Premium
  • Qlik Cloud Analytics Enterprise
  • Qlik Sense Enterprise SaaS

Ondersteunde bestanden, verbindingen en databases

De volgende bestandstypen worden ondersteund:

  • Excel-bestanden: XLS/XLSX
  • Tekstbestanden met scheidingstekens: CSV/TXT
  • JSON-bestanden: JSON
  • XML-bestanden: XML
  • Qlik databestanden: QVD (QlikView Data)/QVX (QlikView Exchange)
  • Parquet-bestanden: PARQUET
  • KML-bestanden: KML (Geografische gegevens)

Wanneer u een dataset toevoegt vanuit een cloudopslag, mag het bestand niet groter zijn dan 1 GB. Deze cloudopslaglimiet staat los van de hieronder beschreven limieten voor datakwaliteitsberekening.

Vanaf nu zijn de ondersteunde typen voor de kwaliteitsberekening CSV, TXT, Parquet, QVD, XLS en XLSX, binnen deze limieten:

  • CSV/TXT tot 1 GB
  • Parquet tot 1 GB
  • QVD tot 100 GB
  • XLS/XLSX tot 100 MB

Voor Parquet-bestanden wordt gegevenskwaliteit alleen ondersteund voor platte schema's. Geneste velden (LIST, MAP, STRUCT) worden niet ondersteund.

Gegevenskwaliteit wordt niet ondersteund voor op bestanden gebaseerde gegevenssets die deze limieten overschrijden. Als uw Excel-bestand meerdere werkbladen bevat, wordt de kwaliteitsberekening alleen op het eerste werkblad uitgevoerd.

  • Gegevenskwaliteit wordt ondersteund in zowel de pullup- als pushdownmodus voor Snowflake- en Databricks-gegevensverzamelingen.

  • Gegevenskwaliteit wordt ondersteund in de pullupmodus voor de gegevensverzamelingen die zijn gebaseerd op de volgende verbindingen:

    • Amazon Athena

    • Amazon Redshift

    • Amazon S3 V2
    • Apache Hive

    • Apache Phoenix

    • Apache Spark

    • Azure SQL database

    • Azure Storage
    • Azure Synapse Analytics

    • Cassandra

    • Cloudera Impala

    • Couchbase

    • DynamoDB

    • Dropbox
    • Google BigQuery

    • Google-cloudopslag
    • Google Drive
    • Marketo

    • Microsoft SQL Server

    • MongoDB

    • MySQL Enterprise Edition

    • Office 365 SharePoint
    • OneDrive
    • Oracle

    • PostgreSQL

    • Presto

    • SAP Hana

    • SFTP
    • Snowflake

Datasets maken vanuit een tabel

Wanneer u een gegevensverzameling maakt, kiest u een database uit de gegevensbron en selecteert u vervolgens de tabellen in die database. Er wordt een database gemaakt voor elke tabel die u selecteert.

  1. Klik in de Catalogus op Nieuw maken > Dataset.
  2. Selecteer een verbinding en klik op Volgende.
  3. Selecteer de database en het schema uit de vervolgkeuzelijst.
  4. Selecteer de tabellen en klik op Volgende.
  5. Selecteer de ruimte en klik op Datasets maken. U wordt omgeleid naar de Catalogus en u ziet de nieuwe datasets in de lijst.

U kunt nu de datakwaliteit berekenen en de datasets toevoegen aan dataproducten. Zie Gegevenskwaliteitsberekening configureren voor meer informatie.

Datasets maken vanuit een bestand

  1. Klik in de Catalogus op Nieuw maken > Dataset.
  2. Selecteer een verbinding en klik op Volgende.
  3. Selecteer het bestand en klik op Volgende.
  4. Selecteer de ruimte en klik op Datasets maken. U wordt omgeleid naar de Catalogus en u ziet de nieuwe datasets in de lijst.

U kunt nu de datakwaliteit berekenen en de datasets toevoegen aan dataproducten. Zie Gegevenskwaliteitsberekening configureren voor meer informatie.

Gegevensverzamelingen op basis van een verbinding maken

U kunt op verbinding gebaseerde datasets maken vanuit de Catalogus, maar u kunt ook pijplijnprojecten gebruiken.

Door gegevenssets te maken vanuit een pijplijnproject kunt u al uw gegevensintegraties uitvoeren binnen een project met behulp van gegevenstaken. Zie Een datapijplijnproject maken voor meer informatie.

Datasets maken vanuit de Catalogus

Wanneer u geen pijplijnproject hoeft te gebruiken, kunt u datasets maken om de datakwaliteit te berekenen en de datasets gebruiken via dataproducten.

  1. Klik in Qlik Talend Data Integration > Catalogus op Nieuwe maken > Dataset.
  2. Selecteer een verbinding en klik op Volgende.
  3. Selecteer de datasets en klik op Volgende.

    Wanneer een dataset niet in de lijst staat, betekent dit dat deze niet in een van de ondersteunde indelingen is:

    • Excel-bestanden:.xls, .xlsx
    • Door scheidingstekens gescheiden tekstbestanden:.csv, .txt
    • Excel-bestanden:.xls, .xlsx
    • JSON-bestanden:.json
    • XML-bestanden:.xml
    • Qlik databestanden:.qvd (QlikView Data), .qvx (QlikView Exchange)
    • Parquet-bestanden:.parquet
    • KML-bestanden:.kml (Geographic data)

    Voor de kwaliteitsberekening gelden groottelimieten voor bestandsgebaseerde datasets: CSV, TXT en Parquet tot 1 GB, QVD tot 100 GB en XLS/XLSX tot 100 MB.

  4. Selecteer de ruimte en klik op Datasets maken. U wordt omgeleid naar de Catalogus en u ziet de nieuwe datasets in de lijst.

U kunt nu de datakwaliteit berekenen en de datasets toevoegen aan dataproducten. Zie Gegevenskwaliteitsberekening configureren voor meer informatie.

Datasets maken vanuit een pijplijnproject

  1. Klik in Qlik Talend Data Integration > Verbindingen op Verbinding maken.

  2. Configureer uw toegang tot de database met de aanmeldgegevens van een gebruiker met voldoende machtigingen en open de tabellen die u wilt importeren.

  3. Klik in Qlik Cloud Analyse op Maken en vervolgens op Gegevensverbinding.

  4. Configureer uw toegang tot dezelfde database zoals u eerder hebt gedaan. Gebruik idealiter de aanmeldgegevens van dezelfde gebruiker of van een gebruiker met minimaal READ-machtigingen voor de tabellen.

  5. (geldt alleen voor Snowflake) In het veld Rol moet u een rol opgeven die overeenkomt met een bestaande rol die in de Snowflake-database is gemaakt en de volgende machtigingen heeft voor deze objecten.

    • USAGE on WAREHOUSE

    • USAGE on DATABASE

    • USAGE on SCHEMA

    • CREATE TABLE on SCHEMA

    • CREATE FUNCTION on SCHEMA

    • CREATE VIEW on SCHEMA

    • SELECT on TABLE

  6. (alleen voor Databricks) In Databricks moet u de volgende bevoegdheden op de database definiëren:

    • Tabel maken

    • VOLUME MAKEN

    • MODIFY

    • LEESVOLUME

    • SELECT

    • USE SCHEMA

    • SCHRIJFVOLUME

  7. Terug op de startpagina van Qlik Talend Data Integration klikt u op Nieuw maken en vervolgens op Pipeline-project.

  8. Gebruik uw verbinding van stap 2 als bron voor uw project en start met het maken van uw pijplijn. Zie Datapijplijnprojecten maken en beheren voor meer informatie.

  9. Selecteer een gegevenstaak op een willekeurig punt in uw pijplijn, ga naar Instellingen en vervolgens naar het tabblad Catalogus en schakel het selectievakje Publiceren naar catalogus in.

    Dit betekent dat de versie van de gegevensverzameling wordt gepubliceerd naar de  catalogus nadat het pijplijnproject is voorbereid en uitgevoerd. Het is mogelijk om deze optie op projectniveau in te schakelen.

  10. Voer uw gegevensproject uit.

Na het uitvoeren van uw pijplijnproject, wordt de nieuwe gegevensverzameling toegevoegd aan de catalogus en hebt u toegang tot de kwaliteitsindicatoren en meer details over de inhoud. Met deze configuratie kunnen de gegevensverzamelingen ook gebruikt worden als bron voor analysetoepassingen.

U kunt zoveel gegevensverzamelingen toevoegen als nodig is voordat u het gegevensproduct samenstelt. Aangezien de Catalog kan worden benaderd vanuit zowel de Qlik Talend Data Integration hub als de Qlik Cloud Analyse Services hub, kunt u uw datasets op uw gewenste locatie openen en wordt afhankelijk van de context de juiste verbinding gebruikt.

Kwaliteit meten in pullup/pushdown

Als u de knop Meten of Vernieuwen in het Overzicht van uw gegevensverzameling gebruikt, wordt een kwaliteitsberekening geactiveerd op basis van een steekproef van 1000 rijen.

Deze bewerking gebeurt standaard in de pullupmodus. Voor Snowflake- en Databricks-gegevensverzamelingen kan deze bewerking zowel in de pullupmodus (standaard) of in de pushdownmodus aan de kant van de database plaatsvinden.

Na het berekenen van de gegevenskwaliteit wordt een voorbeeld van maximaal 1.000 rijen (standaard) ontvangen en weergegeven met actuele semantische typen en statistieken over de geldigheid en volledigheid. Deze steekproef wordt vervolgens opgeslagen in MongoDB. Om de voorbeeldgrootte van de gegevensset (100 of 1.000 rijen) te configureren, moeten tenant-beheerders naar de pagina Instellingen in het activiteitencentrum Beheer gaan, zie Voorbeeldgrootte van gegevensset configureren voor meer informatie.

Informatie

Voor Databricks-datasets die in de pushdown-modus zijn berekend, bevat het voorbeeld mogelijk af en toe minder rijen dan de geconfigureerde voorbeeldgrootte als de berekende steekproef minder rijen retourneert dan aangevraagd. Willekeurige steekproeven in Databricks maken gebruik van TABLESAMPLE, wat een geschat aantal rijen retourneert. Aangezien de preview een subset is van de berekende steekproef, kan deze het aantal rijen dat door de steekproef wordt geretourneerd niet overschrijden.

Raadpleeg de bijbehorende Databricks-documentatie voor meer informatie.

InformatieDatakwaliteit kan niet worden berekend voor datasets met meer dan 500 kolommen.

Vereisten voor datakwaliteit in pushdown-modus op Databricks

Om gegevenskwaliteit te berekenen in pushdown-modus op Databricks, moet Qlik bepaalde kwaliteitsreferentiegegevens, zoals semantische typen, synchroniseren naar uw Databricks-instantie. Het maakt ook gebruik van enkele geavanceerde functies van Databricks.

Om deze functie goed te laten werken, moet op uw Databricks-instantie aan de volgende vereisten worden voldaan:

  • Unity Catalog moet zijn ingeschakeld.

  • Gebruikers die zijn gekoppeld aan de Databricks-verbinding moeten machtigingen hebben om een tabel te maken, een schema te maken, een volume te maken en een volume te schrijven.

    Qlik maakt een schema met de naam qlik_internal aan in de database die is opgegeven in uw verbinding. Dit schema wordt niet automatisch verwijderd door Qlik. U moet het handmatig verwijderen als u stopt met het gebruik van SaaS-cloudinfrastructuur.

  • Collaties moeten zijn ingeschakeld.

Wat betreft beperkingen: houd er rekening mee dat datumherkenning in stringkolommen beperkt is tot het ISO-8601-formaat.

Was deze pagina nuttig?

Als u problemen ervaart op deze pagina of de inhoud onjuist is – een tikfout, een ontbrekende stap of een technische fout – laat het ons weten!