Gegevensverzamelingen beheren

U kunt de gegevensverzamelingen beheren die zijn opgenomen in de gegevenstaken Tussenopslag, Opslag, Transformeren, Datamart, Streaming tussenopslag, Streaming transformeren en Replicatie om transformaties te maken, de gegevens te filteren en kolommen toe te voegen.

De opgenomen gegevensverzamelingen worden vermeld onder Gegevensverzamelingen in de weergave Ontwerp. U kunt selecteren welke kolommen u wilt weergeven met de kolommenkiezer ().

Transformatieregels en expliciete transformaties

U kunt zowel globale als expliciete transformaties uitvoeren.

Transformatieregels

U kunt globale transformaties uitvoeren door een transformatieregel te maken die % als jokerteken in het bereik gebruikt om toe te passen op alle overeenkomende gegevensverzamelingen.

• Klik op Regels en vervolgens op Regel toevoegen om een nieuwe transformatieregel te maken.

  Voor meer informatie, zie Regels maken om gegevensverzamelingen te transformeren.

Transformatieregels worden aangegeven met een donkerpaarse hoek op het beïnvloede kenmerk.

Expliciete transformaties

Expliciete transformaties worden gemaakt:

• Wanneer u Bewerken gebruikt om een kolomkenmerk te wijzigen

• Wanneer u Naam wijzigen gebruikt voor een gegevensverzameling.

• Wanneer u een kolom toevoegt.

Expliciete transformaties overschrijven globale transformaties en worden aangegeven met een lichtpaarse hoek op het beïnvloede kenmerk.

Gegevensverzamelingsmodellen

Gegevensverzamelingen kunnen brongebaseerd of doelgebaseerd zijn, afhankelijk van het taaktype en de bewerkingen in de taak. Het gebruikte gegevensverzamelingsmodel beïnvloedt het gedrag van de pijplijn bij bronwijzigingen en welke bewerkingen u kunt uitvoeren.

• Brongebaseerde gegevensverzamelingen

  De gegevensverzameling is gebaseerd op brongegevensverzamelingen en bevat alleen wijzigingen in metagegevens. Een wijziging in brongegevens wordt automatisch toegepast, wat wijzigingen kan veroorzaken in alle stroomafwaartse taken. Het is niet mogelijk om de kolomvolgorde te wijzigen of de brongegevensverzameling te wijzigen.

  De volgende taaktypen gebruiken altijd een brongebaseerd gegevensverzamelingsmodel: Tussenopslag, Opslag, Geregistreerde gegevens, Replicatie en Tussenopslag in een data lake.

• Doelgebaseerde gegevensverzamelingen

  De gegevensverzameling is gebaseerd op de doelmetagegevens. Als een kolom wordt toegevoegd vanuit de bron of wordt verwijderd, wordt deze niet automatisch toegepast op de volgende stroomafwaartse taak. U kunt de kolomvolgorde wijzigen en de brongegevensverzameling wijzigen. Dit betekent dat de taak meer op zichzelf staat en u de controle geeft over het effect van bronwijzigingen.

  De volgende taaktypen kunnen een doelgebaseerd gegevensverzamelingsmodel gebruiken: Transformeren, Datamart. Er zijn enkele gevallen waarin een brongebaseerd model wordt gebruikt voor Transformeren-taken op basis van de bewerking.

  • Als een SQL-transformatie of een transformatiestroom een kolomselectie uitvoert, is de gegevensverzameling doelgebaseerd. Bijvoorbeeld als u SELECT A, B, C from XYZ gebruikt in een SQL-transformatie, of de processor Kolommen selecteren gebruikt in een transformatiestroom.

  • Als de standaardkolommen behouden blijven, is de gegevensverzameling brongebaseerd. Bijvoorbeeld als u SELECT * from XYZ gebruikt in een SQL-transformatie.

Projecten bijwerken van een brongebaseerd model naar een doelgebaseerd model

Bestaande projecten worden indien van toepassing bijgewerkt naar het doelgebaseerde gegevensverzamelingsmodel. U wordt door het updateproces geleid wanneer u een project voor het eerst opent. Er zijn enkele overwegingen bij het importeren en exporteren van projecten met verschillende gegevensverzamelingsmodellen.

• Het is niet mogelijk om een project met een brongebaseerd model te importeren in een project met een doelgebaseerd model.

  Importeer het project met een brongebaseerd model in een nieuw project, werk het nieuwe project bij en exporteer vervolgens het resulterende project. U kunt dit project nu opnieuw importeren in het project met een doelgebaseerd model.

• Het is niet mogelijk om een project met een doelgebaseerd model te importeren in een project met een brongebaseerd model.

  Werk het project bij naar een doelgebaseerd model voordat u een project met een doelgebaseerd model importeert.

Een gegevensverzameling filteren

U kunt gegevens filteren om indien nodig een subset van rijen te maken.

• Klik op Filteren.

Voor meer informatie, zie Een gegevensverzameling filteren.

De naam van een gegevensverzameling wijzigen

U kunt de naam van een gegevensverzameling wijzigen.

• Klik op bij een gegevensverzameling en vervolgens op Bewerken.

Kolommen toevoegen

U kunt indien nodig kolommen toevoegen met transformaties op rijniveau.

• Klik op Kolom toevoegen

Voor meer informatie, zie Kolommen toevoegen aan een gegevensset.

Een kolom bewerken

U kunt kolomeigenschappen bewerken door een kolom te selecteren en op Bewerken te klikken.

• Naam

• Sleutel

  Stel een kolom in als primaire sleutel. U kunt ook sleutels instellen door deze te selecteren of deselecteren in de kolom Sleutel.

• Kan null zijn

• Gegevenstype

  Stel het gegevenstype van de kolom in. Voor sommige gegevenstypen kunt u een extra eigenschap instellen, bijvoorbeeld Lengte.

  InformatieWanneer u het gegevenstype of de grootte van het gegevenstype van een kolom wijzigt, kan dit gevolgen hebben voor de taken die de gegevensverzameling gebruiken. Voor meer informatie, zie Gegevenstypen beheren.

Kolommen verwijderen

U kunt een of meer kolommen uit een gegevensverzameling verwijderen.

• Selecteer de kolommen die u wilt verwijderen en klik op Verwijderen.

Als u verwijderde kolommen wilt zien, klikt u op Verwijderde kolommen weergeven. Verwijderde kolommen worden aangegeven met doorgehaalde tekst. U kunt een verwijderde kolom terughalen door deze te selecteren en op Terugzetten te klikken.

Expliciete wijzigingen in kolommen terugzetten

U kunt alle expliciete wijzigingen in een of meer kolommen terugzetten.

• Selecteer de kolommen waarvan u de wijzigingen wilt terugzetten en klik op Terugzetten.

Wijzigingen van globale transformatieregels worden niet teruggezet.

Als u een toegevoegde kolom terugzet, wordt deze verwijderd.

Instellingen voor gegevensverzameling

U kunt instellingen voor de gegevensverzameling wijzigen. De standaardinstelling is om de instelling van de gegevenstaak over te nemen, maar u kunt een instelling ook expliciet wijzigen in Aan of Uit.

• Klik op bij een gegevensverzameling en vervolgens op Instellingen.

Gegevens bekijken

U kunt een voorbeeld van de gegevens bekijken om de vorm van uw gegevens te zien en te valideren terwijl u uw gegevenspijplijn ontwerpt.

Aan de volgende vereisten moet worden voldaan:

• Het bekijken van gegevens is ingeschakeld op tenant-niveau in het activiteitencentrum Beheer.

  Om dit in te schakelen, gaat u naar de pagina Instellingen, selecteert u het tabblad Functiebeheer en schakelt u Gegevens bekijken in Gegevensintegratie in.

• U hebt de rol Kan gegevens bekijken toegewezen gekregen in de ruimte waar de verbinding zich bevindt.

• U hebt de rol Kan bekijken toegewezen gekregen in de ruimte waar het project zich bevindt.

Voorbeeldgegevens bekijken

Om voorbeeldgegevens te bekijken op het tabblad Gegevensverzamelingen in de weergave Ontwerp.:

• Klik op Gegevens bekijken in Fysieke objecten.

Er wordt een voorbeeld van de gegevens weergegeven. U kunt instellen hoeveel gegevensrijen in het voorbeeld moeten worden opgenomen met Aantal rijen.

Wisselen tussen gegevensverzamelingen en tabellen

Om te wisselen tussen gegevensverzamelingen en tabellen:

• Selecteer Gegevensverzamelingen om de logische weergave van de gegevens te bekijken.

• Selecteer Fysieke objecten om de fysieke weergave in de database als tabellen en weergaven te bekijken.

  NieuwsDeze optie is niet beschikbaar als de fysieke weergave nog niet is gemaakt.

Filteren

U kunt de voorbeeldgegevens op twee manieren filteren:

• Gebruik om te filteren welke voorbeeldgegevens moeten worden opgehaald.

  Als u bijvoorbeeld het filter ${OrderYear}>2023 gebruikt en Aantal rijen is ingesteld op 10, krijgt u een voorbeeld van 10 bestellingen uit 2024.

• Filter de voorbeeldgegevens op een specifieke kolom.

  Dit heeft alleen invloed op de bestaande voorbeeldgegevens. Als u hebt gebruikt om alleen bestellingen uit 2024 op te nemen en het kolomfilter instelt om bestellingen uit 2022 weer te geven, is het resultaat een leeg voorbeeld.

Sorteren

U kunt het gegevensvoorbeeld ook sorteren op een specifieke kolom. Sorteren heeft alleen invloed op de bestaande voorbeeldgegevens. Als u hebt gebruikt om alleen bestellingen uit 2024 op te nemen en de sorteervolgorde omkeert, bevatten de voorbeeldgegevens nog steeds alleen bestellingen uit 2024.

Kolommen verbergen

U kunt kolommen verbergen in de gegevensweergave:

• Verberg een enkele kolom door op bij de kolom te klikken en vervolgens op Kolom verbergen.

• Verberg meerdere kolommen door op bij een willekeurige kolom te klikken en vervolgens op Kolommen weergeven. Hiermee kunt u de zichtbaarheid voor alle kolommen in de weergave beheren.

De voorbeeldgegevens downloaden

U kunt de weergegeven voorbeeldgegevens downloaden:

• Klik op om de inhoud van de voorbeeldgegevensweergave te downloaden.

De voorbeeldgegevens worden als een CSV-bestand gedownload naar de downloads van uw browser.

De gegevensverzamelingen valideren en aanpassen

U kunt alle gegevensverzamelingen valideren die zijn opgenomen in de gegevenstaak.

Vouw Valideren en aanpassen uit om alle validatiefouten en ontwerpwijzigingen te zien.

De gegevensverzamelingen valideren

• Klik op Gegevensverzamelingen valideren om de gegevensverzamelingen te valideren.

Validatie omvat het controleren of:

• Alle tabellen een primaire sleutel hebben

• Er geen ontbrekende kenmerken zijn.

• Er geen dubbele tabel- of kolomnamen zijn.

U krijgt ook een lijst met ontwerpwijzigingen in vergelijking met de bron:

• Toegevoegde tabellen en kolommen

• Verwijderde tabellen en kolommen

• Hernoemde tabellen en kolommen

• Gewijzigde primaire sleutels en gegevenstypen

Vouw Valideren en aanpassen uit om alle validatiefouten en ontwerpwijzigingen te zien.

• Los de validatiefouten op en valideer de gegevensverzamelingen vervolgens opnieuw.

• De meeste ontwerpwijzigingen kunnen automatisch worden aangepast, behalve gewijzigde primaire sleutels of gegevenstypen. In dit geval moet u de gegevensverzamelingen synchroniseren.

De gegevensverzamelingen voorbereiden

U kunt gegevensverzamelingen voorbereiden om ontwerpwijzigingen indien mogelijk zonder gegevensverlies aan te passen. Als er ontwerpwijzigingen zijn die niet zonder gegevensverlies kunnen worden aangepast, krijgt u de optie om tabellen opnieuw te maken vanuit de bron met gegevensverlies.

Hiervoor moet de taak worden gestopt.

• Klik op en vervolgens op Voorbereiden.

Wanneer de gegevensverzamelingen zijn voorbereid, valideert u de gegevensverzamelingen voordat u de opslagtaak opnieuw start.

Gegevensverzamelingen opnieuw maken

U kunt de gegevensverzamelingen opnieuw maken vanuit de bron. Wanneer u een gegevensverzameling opnieuw maakt, treedt er gegevensverlies op. Zolang u de brongegevens hebt, kunt u deze opnieuw laden vanuit de bron.

Hiervoor moet de taak worden gestopt.

• Klik op en vervolgens op Tabellen opnieuw maken.

Validatiegegevens downloaden

U kunt de gegevens downloaden van Validatiefouten, Ontwerpwijzigingen en Voortgang van voorbereiding:

• Klik op om te downloaden.

De gegevens worden als een CSV-bestand gedownload naar de downloads van uw browser.

Beperkingen

• Als u in Google BigQuery een kolom verwijdert of de naam ervan wijzigt, wordt de tabel opnieuw gemaakt en leidt dit tot gegevensverlies.