Een gegevenspijplijn maken in een gegevensproject

U kunt een gegevenspijplijn maken om al uw gegevensintegraties uit te voeren binnen een gegevensproject met behulp van gegevenstaken. Bij het vrijgeven worden gegevens naar het project verplaatst vanuit gegevensbronnen die zich lokaal of in de cloud bevinden en worden gegevens in de gebruiksklare gegevensverzamelingen opgeslagen. U kunt ook transformaties uitvoeren en datamarts maken om uw gegenereerde en getransformeerde gegevensverzamelingen te gebruiken. De gegevenspijplijn kan eenvoudig en lineair zijn of het kan een complexe gegevenspijplijn zijn die verschillende gegevensbronnen gebruikt en veel uitvoergegevens genereert.

Dit zijn de hoofdtaken die u in een gegevensproject kunt uitvoeren. U kunt ze naar wens combineren.

1. De gegevens vrijgeven.

   Dit omvat het tijdelijk opslaan van gegevens in een tussenopslag, om de gegevensverzamelingen vervolgens in een clouddatewarehouse op te slaan. Taken voor het (tijdelijk) opslaan van gegegevens worden in één stap gemaakt. Indien gewenst kunt u de tussenopslag en definitieve opslag met verschillende taken uitvoeren.

   Gegevens onboarden

2. Transformeer de vrijgegeven gegevens.

   Maak herbruikbare transformaties op rijniveau op basis van regels en aangepaste SQL. Hiermee maakt u een transformatiegegevenstaak.

   Gegevens transformeren

3. Maak een datamart om uw gegevensverzamelingen te gebruiken. Hiermee maakt u een datamartgegevenstaak.

   Datamarts maken en beheren

Het gegevensproject wordt gekoppeld aan een gegevensplatform dat wordt gebruikt als doel voor alle uitvoergegevens. De volgende platforms worden ondersteund:

• Google BigQuery

• Snowflake

• Microsoft Azure Synapse Analytics

• Databricks

• Amazon Redshift

• Qlik Cloud

  Om dit platform te gebruiken moeten tijdelijke gegevens in een Amazon S3-bucket worden opgeslagen. U kunt QVD-tabellen genereren in beheerde opslag van Qlik Cloud of in door uzelf beheerde Amazon S3-opslag.

Voor meer informatie over verbinding maken met gegevensplatforms raadpleegt u Verbinding maken met cloudgegevensplatforms in uw gegevensprojecten

Alle gegevenstaken worden in dezelfde ruimte gemaakt als het gegevensproject waartoe ze behoren.

Voorbeeld van het maken van een gegevensproject

In het volgende voorbeeld worden gegevens vrijgegeven en getransformeerd en wordt een datamart gemaakt. Hiermee maakt u een simpele lineaire gegevenspijplijn die u kunt uitbreiden door meer gegevensbronnen vrij te geven, meer transformaties te maken en door de gegenereerde gegevenstaken toe te voegen aan de datamart.

1. Maak een nieuw gegevensproject.

   Klik op Nieuwe toevoegen en vervolgens op Gegevensproject maken op de startpagina van Qlik Cloud Gegevensintegratie.

   1. Geef een naam en omschrijving op voor het gegevensproject en selecteer een ruimte waarin u het gegevensproject wilt maken. Alle gegevenstaken worden gemaakt in de ruimte van het gegevensproject waartoe ze behoren.

   2. Selecteer welk gegevensplatform u in het project wilt gebruiken.

   3. Selecteer een gegevensverbinding naar het clouddatawarehouse dat u in het project wilt gebruiken. Deze wordt gebruikt om gegevensbestanden tijdelijk in op te slaan en om gegevensverzamelingen en weergaven op te slaan. Als u nog geen gegevensverbinding hebt voorbereid, maak er dan een met Verbinding maken.

      Als u Google BigQuery, Databricks of Microsoft Azure Synapse Analytics als gegevensplatform hebt gesecteerd, moet u ook verbinding maken met een tussenopslag.

   4. Als u Qlik Cloud als gegevensplatform hebt geselecteerd.

      U kunt gegevens opslaan in een door Qlik beheerde opslag of uw eigen beheerde Amazon S3-bucket. Als u uw eigen Amazon S3-bucket wilt gebruiken, moet u een gegevensverbinding naar die bucket selecteren.

      In beide gevallen moet u een gegevensverbinding naar een Amazon S3-tussenopslag selecteren. Als u dezelfde bucket gebruikt als die u in de vorige stap hebt gedefinieerd, gebruik dan een andere map in de bucket voor de tijdelijke opslag.

   5. Klik op Maken.

      Het gegevensproject is gemaakt en u kunt uw gegevenspijplijn maken door gegevenstaken toe te voegen.

2. De gegevens vrijgeven

   Klik op Nieuwe toevoegen en vervolgens op Gegevens vrijgeven.

   Ga voor meer informatie naar Gegevens onboarden.

   Hiermee wordt een taak voor tussenopslag en voor het opslaan van gegevens gemaakt. Ga als volgt te werk om gegevens te repliceren:

   • Bereid de taak voor tussenopslag voor en voer deze uit.

     Ga voor meer informatie naar Gegevens van gegevensbronnen tijdelijk opslaan.

   • Bereid de taak voor de opslag van gegevens voor en voer deze uit.

     Ga voor meer informatie naar Gegevensverzamelingen genereren en opslaan.

3. De gegevens transformeren

   Nadat de taak voor de opslag van gegevens is gemaakt, gaat u terug naar het gegevensproject. U kunt nu transformaties uitvoeren voor de gemaakte gegevensverzamelingen.
   

   Klik op ... op de taak voor de opslag van gegevens en selecteer Gegevens transformeren om een taak voor de transformatie van gegevens te maken op basis van deze taak voor de opslag van gegevens. Voor informatie over transformaties gaat u naar Gegevens transformeren.

4. Een datamart maken

   U kunt een datamart maken op basis van een taak voor de opslag van gegevens of een taak voor de transformatie van gegevens.

   Klik op ... op de gegevenstaak en selecteer Datamart maken om een datamartgegevenstaak te maken. Voor instructies voor het maken van een datamart, raadpleegt u:

   Datamarts maken en beheren

Als u de eerste volledige lading van de opgeslagen en getransformeerde gegevensassets en datamarts hebt uitgevoerd, kunt u deze bijvoorbeeld gebruiken in een analyse-app. Zie Een analyse-app maken met behulp van gegevensverzamelingen die zijn gegenereerd door Qlik Cloud Gegevensintegratie voor meer informatie over het maken van analyse-apps.

U kunt de gegevenspijplijn ook uitbreiden door meer gegevensbronnen vrij te geven en deze te combineren in de transformatie of de datamart.

Gegevenstaken plannen

U kunt gegevenstaken plannen om de gegevenspijplijn te organiseren. U kunt een planning op tijdbasis gebruiken of een planning op basis van gebeurtenissen gebruiken om gegevens door de gegevenspijplijn te sturen op het moment dat de gegevens beschikbaar zijn. Ga voor meer informatie naar:

• Tijdelijke gegevenstaak Volledig laden plannen

• Een opslagtaak plannen

• Een transformatietaak plannen

• Een datamarttaak plannen

De weergave van een gegevensproject wijzigen

Voor een gegevensproject zijn twee verschillende weergaven beschikbaar. U kunt tussen de weergaven wisselen door te klikken op Pijplijnweergave.

• De pijplijnweergave toont de gegevensstroom van de gegevenstaken.

  Klik op Lagen om te kiezen hoeveel gegevens er getoond moeten worden voor de gegevenstaken. Schakel de volgende gegevens in of uit:

  • Status

  • Nieuwheid van gegevens

  • Planning

• De kaartweergave toont een kaartweergave met informatie over de gegevenstaak.

  U kunt filteren op assettype en eigenaar.

Gegevensprojecten exporteren en importeren

U kunt een gegevensproject exporteren naar een JSON-bestand dat alles bevat dat nodig is om het gegevensproject te reconstrueren. Het geëxporteerde JSON-bestand kan op dezelfde tenant of een andere tenant worden geïmporteerd. U kunt dit bijvoorbeeld gebruiken om gegevensprojecten van de ene tenant naar de andere te verplaatsen of om back-ups te maken van gegevensprojecten.

Ga voor meer informatie naar Gegevensprojecten exporteren en importeren.

Instellingen voor gegevensproject

U kunt eigenschappen instellen die van toepassing zijn op het project en alle opgenomen gegevenstaken.

• Klik op Instellingen.

Ga voor meer informatie naar Instellingen voor gegevensproject.