Datamarts maken en beheren

Zodra u vertrouwd bent geraakt met de gegevens, kunt u datamarts maken met de gegevens uit de opslag- of transformatie-taken. U kunt net zoveel datamarts maken als nodig is, afhankelijk van uw bedrijfsbehoeften. Idealiter moeten uw datamarts opslagplaatsen bevatten van samengevatte gegevens die zijn verzameld voor analyse in een specifieke sectie of afdeling binnen een organisatie, bijvoorbeeld de verkoopafdeling.

De procedure voor het maken van een datamart verloopt altijd hetzelfde, ongeacht of uw datamart is gebaseerd op een opslagtaak of een transformatietaak. De instructies in deze sectie zijn opgesteld op basis van een datamart die is gebaseerd op een opslagtaak.

Vereisten

Voordat u een datamart kunt maken, moet u eerst het volgende doen:

• Vul de opslag in met gegevens (vanuit de tussenopslag) die u wilt gebruiken in uw datamart. Ga voor meer informatie naar Gegevens onboarden.

• Maak een relationeel model voor een gegevensverzameling om de relatie tussen de brongegevensverzamelingen te definiëren. Ga voor meer informatie naar Een gegevensmodel maken.

  WaarschuwingAlle brongegevensverzamelingen moeten sleutels bevatten.

Een datamart maken

Om een datamart te maken, gaat u als volgt te werk:

1. Open uw project.

2. Voer een van de volgende handelingen uit:

   • Klik op Maken in de rechterbovenhoek en selecteer Datamart maken.

   • Klik in de opslaggegevenstaak op in de rechterbenedenhoek en selecteer vervolgens Datamart maken.

   Het dialoogvenster Datamart maken wordt geopend.

   

3. Geef een naam op voor uw datamart en geef eventueel een omschrijving op.

4. Als u de datamart later wilt configureren, schakel het selectievakje Openen dan uit en klik op Maken. Klik anders op Maken.

   De datamart wordt geopend op het tabblad Datamart.

   

5. Selecteer uw brongegevens zoals beschreven in Uw brongegevens selecteren.
6. Als u wilt dat de datamart dimensies bevat, voeg dan dimensies toe zoals beschreven in Dimensies en een feit toevoegen aan de datamart.
7. Als u wilt dat de datamart een feit bevat, voeg dan een feit toe zoals beschreven in Een feit toevoegen.
8. Als de datamart zowel dimensies als een feit bevat, voeg de dimensies dan toe aan uw sterrenschema zoals beschreven in Een sterrenschema maken.
9. Maak de gegevensverzamelingen in uw datamart en vul ze met de gegevens zoals beschreven in Uw datamart invullen.

Uw brongegevens selecteren

U selecteert uw brongegevens in de gegevensverzamelingen in de opslaggegevenstaak.

Voor de volgende actie:

1. Klik op de knop Brongegevens selecteren in het midden van het tabblad of klik op de menuknop Brongegevens selecteren.

   Het dialoogvenster Brongegevens selecteren wordt geopend.

   

2. In de vervolgkeuzelijst Gegevensassets selecteert u een opslagtaak of een transformatietaak als u transformaties hebt gemaakt.

3. Laat de standaard % zoeken naar alle gegevensverzamelingen of geef de naam op van een specifieke gegevensverzameling. Klik vervolgens op Zoeken.

4. Selecteer de gewenste gegevensverzamelingen en klik vervolgens op Geselecteerde tabellen toevoegen.

5. Klik op OK om het dialoogvenster te sluiten en ga dan verder naar Een feit toevoegen en/of Dimensies toevoegen.

Dimensies en een feit toevoegen aan de datamart

Nadat u uw brongegevens hebt geselecteerd, kunt u verdergaan met het bouwen van uw datamart. Een datamart kan een feitengegevensverzameling, dimensiegegevensverzamelingen of een combinatie van beide bevatten (waarbij de dimensiegegevensverzamelingen op logische wijze zijn gerelateerd aan de feitengegevensverzameling).

Dimensies toevoegen

Een dimensie toevoegen.

1. Klik op de knop Dimensie toevoegen.

   Het dialoogvenster Dimensie toevoegen wordt geopend.

2. De volgende instellingen zijn beschikbaar:

   • Meest gedetailleerde gegevensverzameling: Een gegevensverzameling selecteren.
   • Naam: Geef een weergavenaam voor de dimensie op. De standaardinstelling is de naam van de meest gedetailleerde gegevensverzameling.
   • Beschrijving: Geef desgewenst een beschrijving op.
   • Geschiedenistype: Selecteer een van de volgende opties:
     • Type 1: De bestaande record in de dimensie wordt bijgewerkt als de bijbehorende record in de opslag wordt bijgewerkt.
     • Type 2: Een nieuw record wordt toegevoegd aan de dimensie als de bijbehorende record in de opslag wordt bijgewerkt.

   • Verwante gegevensverzameling om te denormaliseren: Gegevensverzamelingen die in de dimensiegegevensverzameling gedenormaliseerd moeten worden (volgens de relaties in het model van de brongegevensasset) zijn hier beschikbaar om te selecteren.

      

     

3. Klik op OK om uw instellingen op te slaan.

   De dimensie wordt toegevoegd aan de lijst Dimensies aan de linkerkant.

Zie ook Rol spelende dimensies.

Informatie over een dimensie bekijken

Als u een dimensie selecteert, wordt het tabblad Relationeel bronmodel getoond in het middelste deelvenster. Dit tabblad toont de brongegevensverzamelingen die in de dimensie zijn geconsolideerd. Gegevensverzamelingen die u selecteert om te denormaliseren nadat u de dimensie hebt toegevoegd, worden als geselecteerd getoond (en grijs weergegeven).

Een feit toevoegen

Ga als volgt te werk om een feit toe te voegen:

1. Klik op de knop Een feit toevoegen.

   Het dialoogvenster Feit toevoegen wordt geopend.

2. De volgende instellingen zijn beschikbaar:

   • Feit: Selecteer een gegevensverzameling als feit. De gegevensverzameling moet de granulariteit defiëren van het feit dat u aan het maken bent.
   • Naam: Geef een weergavenaam voor het feit op. De standaardinstelling is de feitennaam.
   • Beschrijving: Geef desgewenst een beschrijving op.
   • Verwante gegevensverzamelingen om te denormaliseren: Gegevensverzamelingen die gedenormaliseerd kunnen worden in uw feitengegevensverzameling worden hier voor selectie getoond.
   • tabblad
     • Huidige gegevens gebruiken: Indien deze optie is geselecteerd (standaardinstelling), bevat het feit geen kolom voor transactiedatum.

     • Transactiedatum kiezen: Als u gegevens wilt zoeken op basis van een specifieke transactiedatum, selecteert u deze optie en een datumkolom. Dit is handig als uw sterrenschema type 2-dimensies bevat en u de correcte gegevens voor een specifieke transactie wilt zoeken. Als een klant bijvoorbeeld meerdere adressen heeft, kunt u het correcte adres mogelijk vinden op basis van de orderdatum.

       Voorbeeld gebruikscase:

       een retailer moet een datamart maken om de relatie tussen bestellingen en klanten te analyseren. De datamart moet in staat zijn om query's te beantwoorden zoals: Welke Amerikaanse staat heeft het hoogste aantal orders in Q4 2022?

        

       Als de retailer de optie Huidige gegevens gebruiken selecteert, wordt alleen de meest recente recordversie in de tabel Customers meegenomen in de berekening.

       Het negeren van de transactiedatum resulteert in onjuiste gegevens, zoals hieronder wordt getoond:

        

       

        

       Als de retailer echter de optie Transactiedatum kiezen selecteert, worden de bestellingen van klanten gekoppeld aan de correcte recordversie in de tabel Customers.

       Hiermee kan de retailer nauwkeurig het totaal aantal bestellingen per staat in Q4 2022 berekenen.

        

       

       TipHoud er rekening mee dat de transactiedatum afhankelijk van de zakelijke behoeften in elke datamart verschillend kan worden toegepast. Deze kan in de ene datamart bijvoorbeeld worden gebruikt om bestellingsdatums te analyseren en in de andere datamart voor het analyseren van verzenddatums.

3. Klik op OK om uw instellingen op te slaan.

   Het feit wordt toegevoegd aan de lijst Feiten aan de linkerkant.

Informatie over het feit bekijken

Als u een feit selecteert, worden de volgende tabbladen getoond in het middelste deelvenster:

• Sterrenschemamodel (standaard): toont een grafische weergave van de relaties van de gegevensverzamelingen binnen de datamart.

• Feitenmodel: toont gegevensverzamelingen die zijn gerelateerd aan de feitengegevensverzameling. Gegevensverzamelingen die u selecteert om te denormaliseren nadat u het feit hebt toegevoegd, worden als geselecteerd getoond (en grijs weergegeven).

   

  

• Transactiedatum: De naam van de transactiekolom als u de optie Transactiedatum kiezen hebt geselecteerd bij het toevoegen van het feit.

Onbekende en laat aangekomen dimensies afhandelen

Elke dimensie bevat rijen met -1 en 0, die de bedrijfssleutel (object-id) van de dimensie zijn. Rij -1 is gereserveerd voor dimensies die laat aankomen, terwijl 0 gereserveerd is voor onbekende dimensies.

Onbekende dimensies

"Onbekend" zijn gegevens die niet beschikbaar waren toen de dimensie oorspronkelijk werd gemaakt. Stel bijvoorbeeld dat u een ORDER feit hebt met een SHIPPER kolom die de bedrijfssleutel is voor de SHIPPER dimensie. Als de ORDER feitenrij nog niet verzonden is - en dus NULL heeft voor de SHIPPER kolom - zal deze gerelateerd worden aan de 0 record (die Onbekend aangeeft voor de dimensie). Wanneer het ORDER feit later wordt bijgewerkt met een SHIPPER waarde (bijvoorbeeld USPS), zal de gerelateerde dimensie-id (0) op zijn beurt worden bijgewerkt.

Laat aangekomen dimensies

Een dimensie die laat aankomt, heeft een sleutel die bestaat in de nieuwe feitgegevens, maar die nog niet bestaat in de dimensie. Als bijvoorbeeld de SHIPPER in het ORDER feit de waarde "NEWSHIP" heeft voor een nieuwe verzender en die bedrijfssleutel nog niet bestaat in de dimensie DIM_SHIPPER, dan zal de datamartverwerking dat feit relateren aan de rij -1. Dit duidt op een ontbrekend dimensielid in uw dimensietabel. Wanneer de "NEWSHIP" bedrijfssleutel voor de dimensie DIM_SHIPPER arriveert, wordt de dimensierij ervan aangemaakt, en wordt de feitrecord bijgewerkt voor afstemming met de eerder ontbrekende dimensie.

Een sterrenschema maken

Nadat u dimensies aan uw datamart hebt toegevoegd, kunt u deze verbinden met uw feitengegevensverzameling om een sterrenschema te maken.

Voor de volgende actie:

1. Selecteer links uw feit in de lijst Feiten.

2. Selecteer welke dimensies u wilt toevoegen uit de lijst Aanbevolen dimensies aan de rechterkant.

   Aanbevolen dimensies worden met een stippellijn verbonden met de feitengegevensverzameling.

   In de onderstaande afbeelding zijn sommige dimensies eerder toegevoegd en daarom met elkaar verbonden met een ononderbroken grijze lijn.

   

3. Klik op Toevoegen om de dimensies toe te voegen.

   De dimensies worden met een ononderbroken grijze lijn verbonden met de feitengegevensverzameling.

4. Klik op om het deelvenster Aanbevolen dimensies te sluiten.

Uw datamart invullen

Nadat u klaar bent met het ontwerpen van uw datamart, kunt u deze gaan invullen.

Voor de volgende actie:

1. Klik op de menuknop Voorbereiden in de rechterbovenhoek.

   Het voorbereidingsproces omvat het maken van gegevensverzamelingen en weergaven in de datamart en het bijwerken van de Catalogus.

   U kunt de voortgang volgen onder Voortgang van voorbereiding in het onderste deel van het scherm.

   Nadat de voorbereiding is voltooid, wordt de knop Voorbereiden gewijzigd in Uitvoeren.

2. U kunt eventueel de datamart valideren zoals hieronder beschreven in Uw datamart valideren en synchroniseren.

3. Klik op de knop Uitvoeren.

   Het venster schakelt naar de bewakingsweergave en toont het laadproces en de status van de gegevensverzamelingen in uw datamart.

   

Elke bronrecord wordt verwerkt door de datamart, zelfs verwijderde records. Hierdoor wordt gegarandeerd dat historische gegevens blijven bewaard.

Uw datamart valideren en synchroniseren

Door de datamart te valideren verzekert u dat de metagegevens van de datamart identiek zijn aan de bijbehorende metagegevens in de opslag (of transformatie indien gedefinieerd). Bij het valideren van de datamart worden ook de gemaakte metagegevens vergeleken met het ontwerp van het huidige sterrenschema. Als u bijvoorbeeld de validatie uitvoert nadat u een dimensie hebt toegevoegd aan een eerder gemaakte datamart, zal de validatie mislukken.

Ga als volgt te werk om de datamart te valideren:

1. Selecteer Gegevensverzamelingen valideren in het menu rechts van de knop Uitvoeren of klik op de knop Gegevensverzamelingen valideren onderaan het venster.

   De melding Validatie is voltooid wordt getoond.

2. Als de metagegevens niet gesynchroniseerd zijn of als het ontwerp van het sterrenschema in conflict is, wordt het deelvenster Valideren en aanpassen samen met het validatierapport automatisch onderaan het venster geopend.

   Voorbeeld van een datamart met een conflicterend ontwerp van een sterrenschema:

   

   Voorbeeld van een datamart met validatiefouten:

   

3. Als u problemen met Ontwerpwijzigingen in behandeling wilt oplossen, klikt u bovenaan op de knop en selecteert u Voorbereiden. Als de waarde van de kolom Kan worden veranderd zonder gegevensverlies op Ja is ingesteld, wordt er een ALTER-bewerking uitgevoerd. Anders worden de datamarttabellen opnieuw gemaakt.

   Alle Validatiefouten moeten handmatig worden opgelost.

Datamarts beheren

In deze sectie worden de verschillende opties beschreven die beschikbaar zijn voor het beheren van uw gegevensverzamelingen en datamarts.

Feiten of dimensies verfijnen

Op het tabblad Gegevensverzamelingen kunt u verschillende bewerkingen uitvoeren om uw feiten en dimensies te verfijnen, zoals het maken van transformatieregels (bijvoorbeeld het vervangen van kolomwaarden) en het toevoegen van uitdrukkingen op kolomniveau. U vindt het tabblad Gegevensverzamelingen rechts naast het tabblad Datamart:

Regels toevoegen

Voor een uitleg over het toevoegen van algemene regels raadpleegt u Regels maken om gegevensverzamelingen te transformeren

Nieuwe kolommen toevoegen

U kunt nieuwe kolommen toevoegen aan de doelgegevensverzameling.

• Een volledig nieuwe kolom toevoegen

  Klik op + Toevoegen.

  Geef een naam op voor de kolom en stel een uitdrukking in om de kolomgegevens te definiëren.

  Ga voor meer informatie naar Kolommen toevoegen aan een gegevensverzameling.

• Een kolom van de bron toevoegen

  Klik op naast Toevoegen en selecteer Kolom van bron toevoegen.

  Selecteer een kolom uit de brongegevensverzameling.

Volgorde van kolommen wijzigen

U kunt de ordinale positie van een kolom wijzigen.

1. Selecteer een kolom.

2. Klik op en vervolgens op Volgorde wijzigen.

3. Gebruik de pijlen om de kolom omhoog of omlaag te verplaatsen.

4. Sluit Ordinaal wijzigen zodra u klaar bent.

Rol spelende dimensies

Een rol spelende dimensie is de dimensie die meerdere keren in hetzelfde sterrenschema is gebruikt, maar met verschillende betekenissen. Dit gebeurt vaak bij dimensies voor Date en Customer. U hebt bijvoorbeeld een sterrenschema met twee entiteiten van Date, één vertegenwoordigt de Order Date en de andere vertegenwoordigt de Received Date.

Ga als volgt te werk om de rolnaam van een dimensie toe te voegen of te bewerken:

1. Klik op het pictogram in het dimensieknooppunt en selecteer Rol bewerken.

2. Op het dialoogvenster Rol bewerken geeft u een naam op (of bewerkt u de huidige naam) in het veld Rolnaam in sterrenschema en klikt u op OK.

   De rolnaam wordt weergegeven onder de dimensienaam.

Extra beheeropties

De volgende tabel beschrijft extra beheeropties:

Een datamarttaak plannen

U kunt inplannen dat een datamarttaak periodiek wordt bijgewerkt. U kunt een planning op tijdbasis instellen of instellen dat de taak wordt uitgevoerd als ingevoerde gegevenstaken zijn voltooid.

Klik op ... van een gegevenstaak en selecteer Planning om een planning te maken. De standaard planningsinstelling wordt overgenomen van de instellingen van het project. Ga voor meer informatie over standaardinstellingen naar Standaardwaarden datamart.

U moet Planning instellen op Aan om het schema in te schakelen.

Planningen op tijdbasis

U kunt een planning op tijdbasis uitvoeren om de taak uit te voeren ongeacht op welk tijdstip de verschillende invoerbronnen worden bijgewerkt.

• Selecteer Op een specifiek tijdstip in De gegevenstaak uitvoeren.

U kunt een planning per maand, week, dag of uur instellen.

Planningen op basis van gebeurtenis

U kunt een planning op basis van gebeurtenis instellen of instellen dat de taak wordt uitgevoerd als ingevoerde gegevenstaken zijn voltooid.

• Selecteer Bij een specifieke gebeurtenis in De gegevenstaak uitvoeren.

U kunt selecteren of u de taak wilt uitvoeren als de invoertaken zijn voltooid of als een selectie van de invoertaken is voltooid.

Gegevens opnieuw laden

U kunt gegevens handmatig laden. Dit is handig wanneer er problemen zijn met één of meerdere tabellen.

1. Open de gegevenstaak en selecteer het tabblad Bewaken.

2. Selecteer de tabellen die u opnieuw wilt laden.

   Als een dimensie is geselecteerd voor een lading, worden alle feiten die deze dimensie gebruikt ook opnieuw geladen om de integriteit te behouden.

3. Klik op Tabellen laden.

U kunt het opnieuw laden van tabellen die in behandeling zijn annuleren door te klikken op Opnieuw laden annuleren. Dit heeft geen invloed op de tabellen die al opnieuw zijn geladen en ladingen die momenteel worden uitgevoerd, worden voltooid.

De lading wordt uitgevoerd door:

1. Het afkappen van de geselecteerde dimensies en feiten.

2. Het laden van de geselecteerde dimensietabellen van de upstream-gegevenstaak.

3. Het laden van de geselecteerde feitentabellen van de upstream-gegevenstaak. Dit omvat de volgende handelingen:

   • Expliciet geselecteerde feitentabellen.

   • Feitentabellen die zijn gerelateerd aan een dimensie die wordt geladen.

Datamartinstellingen

Klik op de menuknop Instellingen om het dialoogvenster Instellingen: <datamartnaam> te openen.

Algemene instellingen

Op het tabblad Algemeen zijn de volgende instellingen beschikbaar:

• Database De database waarin de datamart wordt gemaakt
• Schema van gegevenstaak: Het schema waarin de gegevensverzamelingen worden gemaakt
• Intern schema: Het schema waarin de interne gegevensverzamelingen worden gemaakt
• Prefix voor alle tabellen en weergaven

  U kunt een prefix instellen voor alle tabellen en weergaven die met deze taak zijn gemaakt.

  InformatieU moet een unieke prefix gebruiken als u een databaseschema in verschillende gegevenstaken wilt gebruiken.

Runtime-instellingen

Op het tabblad Runtime zijn de volgende instellingen beschikbaar:

• Parallelle uitvoering: Geeft het maximum aantal databaseverbindingen op die Qlik Cloud mag openen voor de taak. Het standaard aantal is 10.
• Warehouse: Alleen relevant voor Snowflake. De naam van de Snowflake-datawarehouse

Catalogusinstellingen

• Publiceren naar catalogus

  Selecteer deze optie om deze versie van de gegevens als gegevensverzameling te publiceren naar Catalogus. De catalogusinhoud wordt bijgewerkt de volgende keer dat u deze taak voorbereidt.

Ga voor meer informatie over Catalogus naar Uw gegevens begrijpen met catalogushulpmiddelen.