Gegevens transformeren

U kunt herbruikbare en regelgebaseerde gegevenstransformaties maken als een deel van uw gegevenspijplijn. U kunt transformaties uitvoeren als onderdeel van uw gegevensopname, of herbruikbare transformatiegegevenstaken maken. U kunt transformaties op rijniveau uitvoeren en gegevensverzamelingen maken die ofwel worden gematerialiseerd als tabellen, ofwel worden gemaakt als weergaven die transformaties direct uitvoeren.

• U kunt expliciete transformaties van gegevensverzamelingen uitvoeren of globale regels maken die meerdere gegevensverzamelingen transformeren. U kunt ook een gegevensverzameling filteren om een subset rijen te maken.

• U kunt SQL-transformaties toevoegen. Met een SQL-transformatie kunt u een query SQL SELECT invoeren in een pijplijn om complexe of eenvoudige transformaties te definiëren.

• U kunt visuele transformatiestromen met bronnen, processoren en doelen toevoegen om complexe of simpele transformaties te definiëren.

Een gegevenstransformatietaak bevat drie weergaven:

• Transformeren

  Deze weergave geeft alle transformaties weer om de stroom van de brongegevensverzameling naar de doelgegevensverzameling te visualiseren.

• Gegevensverzamelingen

  Deze weergave toont alle basistransformaties van de gegevensverzamelingen, zoals het filteren van gegevens of het toevoegen van kolommen, evenals regels om globale transformaties uit te voeren.

• Model

  Met deze weergave kunt u een gegevensmodel maken met de relaties tussen de opgenomen gegevensverzamelingen.

Een transformatiegegevenstaak maken

De eenvoudigste manier om een transformatiegegevenstaak te maken is door op ... op een opslaggegevenstaak te klikken en vervolgens Gegevens transformeren te selecteren.

U kunt ook klikken op Maken in een project en Gegevens transformeren te selecteren. In dit geval moet u opgeven welke brongegevenstaak moet worden gebruikt.

1. Definieer uw brongegevens en doelen in Transformeren.

   U kunt een van de volgende bewerkingen uitvoeren:

   • Transformaties van gegevensverzamelingen uitvoeren

     Selecteer brongegevensverzamelingen en klik op Toevoegen aan doel om deze toe te voegen aan Doel.

     U kunt vervolgens in Gegevensverzamelingen basistransformaties uitvoeren voor gegevensverzamelingen, zoals gegevens filteren of kolommen toevoegen.

     Ga voor meer informatie naar Gegevensverzamelingen beheren.

   • Een SQL-transformatie toevoegen

     Selecteer brongegevensverzamelingen en klik op SQL-transformatie toevoegen.

     Met een SQL-transformatie kunt u een query SQL SELECT invoeren in een pijplijn om complexe of eenvoudige transformaties te definiëren.

     Ga voor meer informatie naar SQL-transformaties toevoegen.

   • Een transformatiestroom toevoegen

     Selecteer brongegevensverzamelingen en klik op Transformatiestroom toevoegen.

     Met de stroomontwerper kunt u een transformatiestroom met bronnen, processoren en doelen maken om complexe of simpele transformaties te definiëren.

     Ga voor meer informatie naar Transformatiestromen toevoegen.

   TipU kunt ook meer gegevensverzamelingen toevoegen vanuit andere opslaggegevenstaken door te klikken op Brongegevens selecteren.

2. Wanneer u de gewenste transformaties hebt toegevoegd, valideert u de gegevensverzamelingen door te klikken op Gegevensverzamelingen valideren. Als de validatie fouten vindt, moet u de fouten oplossen voordat u verdergaat.

   Ga voor meer informatie naar Valideren en aanpassen van de gegevensverzamelingen.

3. Een gegevensmodel maken

   Klik op Model om de relaties tussen de opgenomen gegevensverzamelingen in te stellen.

   Ga voor meer informatie naar Een gegevensmodel maken.

4. Klik op Voorbereiden om de gegevenstaak en alle vereiste artefacten voor te bereiden. Dit kan even duren.

   U kunt de voortgang volgen onder Voortgang van voorbereiding in het onderste deel van het scherm.

5. Wanneer de status Voorbereid weergeeft, kunt u de gegevenstaak uitvoeren.

   Klik op ... en vervolgens op Uitvoeren.

De gegevenstaak begint nu met het maken van gegevensverzamelingen om de gegevens te transformeren.

De transformatieweergave gebruiken

In Transformeren worden alle transformaties weergegevem om de stroom van de brongegevensverzameling naar de doelgegevensverzameling te visualiseren.

• Selecteer een transformatie om te zien welke brongegevensverzamelingen worden gebruikt en welke doelgegevensverzamelingen worden gemaakt.

• Selecteer een bron om alle transformaties te zien waarin deze worden gebruikt en alle resulterende doelen.

• Selecteer een doel om te zien wat de brongegevensverzamelingen zijn en welke transformatie deze doelgegevensverzameling heeft gemaakt.

U kunt de volgende instellingen wijzigen door te klikken op Weergaveopties:

• Filter op transformatietype

  Toon alleen transformaties van één of twee transformatietypen.

• Filteren

  Geef alle transformaties weer of alleen de geselecteerde transformatie. U moet een transformatie selecteren om deze optie in te schakelen.

• Dichtheid

  Selecteer of u transformaties wilt weergeven met een compacte lay-out of een brede lay-out met meer ruimte.

De weergave Gegevensverzamelingen gebruiken

In Gegevensverzamelingen kunt u alle doelgegevensverzamelingen in de transformatietaak bekijken en bewerken.

Zie Gegevensverzamelingen beheren voor meer informatie.

Een doelgegevensverzameling toevoegen

U kunt meer gegevensverzamelingen toevoegen aan de transformatietaak.

1. Klik op Gegevensverzameling toevoegen.

2. Geef naam en optioneel een beschrijving op voor de gegevensverzameling.

3. Selecteer een brongegevensverzameling uit de gegevensverzamelingen die beschikbaar zijn in de taak in Brongegevensverzameling.

   TipU kunt Geen brongegevensverzameling selecteren om een lege gegevensverzameling te maken die niet is verbonden met een bron. U kunt kolommen toevoegen aan de gegevensverzameling tijdens het ontwerpen, maar u moet verbinding maken met een brongegevensverzameling voordat u de taak kunt voorbereiden.

De doelgegevensverzameling is nu toegevoegd.

De brongegevensverzameling wijzigen

U kunt de brongegevensverzameling van een doelgegevensverzameling wijzigen.

1. Klik op na Bron: [naam van brongegevensverzameling].

2. Selecteer een andere brongegevensverzameling uit de gegevensverzamelingen die beschikbaar zijn in de taak in Brongegevensverzameling.

   TipU kunt Geen brongegevensverzameling selecteren om de doelgegevensverzameling los te koppelen van de bron. U kunt de gegevensverzameling bewerken tijdens het ontwerpen, maar u moet verbinding maken met een brongegevensverzameling voordat u de taak kunt voorbereiden.

Nieuwe kolommen toevoegen

U kunt nieuwe kolommen toevoegen aan de doelgegevensverzameling.

• Een volledig nieuwe kolom toevoegen

  Klik op + Toevoegen.

  Geef een naam op voor de kolom en stel een uitdrukking in om de kolomgegevens te definiëren.

  Ga voor meer informatie naar Kolommen toevoegen aan een gegevensverzameling.

• Een kolom van de bron toevoegen

  Klik op naast Toevoegen en selecteer Kolom van bron toevoegen.

  Selecteer een kolom uit de brongegevensverzameling.

Volgorde van kolommen wijzigen

U kunt de ordinale positie van een kolom wijzigen.

1. Selecteer een kolom.

2. Klik op en vervolgens op Volgorde wijzigen.

3. Gebruik de pijlen om de kolom omhoog of omlaag te verplaatsen.

4. Sluit Ordinaal wijzigen zodra u klaar bent.

Transformatieregels maken

U kunt herbruikbare transformatieregels maken om globale transformaties uit te voeren op gegevensverzamelingen.

Zie Regels maken om gegevensverzamelingen te transformeren voor meer informatie over het maken van regels.

Een gegevensverzameling filteren

U kunt gegevens filteren om desgewenst een subset van rijen te maken.

• Klik op en vervolgens op Filteren.

Voor meer informatie over filters raadpleegt u Een gegevensverzameling filteren.

Een transformatietaak plannen

U kunt inplannen dat een transformatietaak periodiek wordt bijgewerkt. U kunt een planning op tijdbasis instellen of instellen dat de taak wordt uitgevoerd als ingevoerde gegevenstaken zijn voltooid.

Klik op ... van een gegevenstaak en selecteer Planning om een planning te maken. De standaard planningsinstelling wordt overgenomen van de instellingen van het project. Ga voor meer informatie over standaardinstellingen naar Standaardwaarden transformeren.

U moet Planning altijd instellen op Aan om de planning in te schakelen.

Planningen op tijdbasis

U kunt een planning op tijdbasis uitvoeren om de taak uit te voeren ongeacht op welk tijdstip de verschillende invoerbronnen worden bijgewerkt.

• Selecteer Op een specifiek tijdstip in De gegevenstaak uitvoeren.

U kunt een planning per maand, week, dag of uur instellen.

Planningen op basis van gebeurtenis

U kunt een planning op basis van gebeurtenis instellen of instellen dat de taak wordt uitgevoerd als ingevoerde gegevenstaken zijn voltooid.

• Selecteer Bij een specifieke gebeurtenis in De gegevenstaak uitvoeren.

U kunt selecteren of u de taak wilt uitvoeren als de invoertaken zijn voltooid of als een selectie van de invoertaken is voltooid.

Een transformatietaak bewaken

U kun de status en voortgang van een transformatietaak bewaken door te klikken op Bewaken.

Ga voor meer informatie naar Een afzonderlijke gegevenstaak bewaken.

Gegevens opnieuw laden

U kunt een handmatige lading van tabellen uitvoeren als de gegevens als fysieke tabellen zijn gematerialiseerd. Dit is handig wanneer er problemen zijn met één of meerdere tabellen.

1. Open de gegevenstaak en selecteer het tabblad Bewaken.

2. Selecteer de tabellen die u opnieuw wilt laden.

3. Klik op Tabellen laden.

De lading wordt uitgevoerd nadat de taak opnieuw wordt uitgevoerd. Het laadproces wordt anders uitgevoerd afhankelijk van de historie-instelling en het transformatietype van elke gegevensverzameling. Dit betekent dat het laadproces kan verschillen tussen gegevensverzamelingen in een gegevenstaak.

• Transformaties van gegevensverzamelingen worden opnieuw geladen door afkappen en laden.

• SQL-transformaties en transformatiestromen kunnen opnieuw worden geladen door afkappen en laden of door vergelijken en toepassen. Aanbevolen wordt om vergelijken en toepassen te gebruiken.

  Het laden van een gegevensverzameling die is gebaseerd op een SQL-transformatie of transformatiestroom

U kunt het opnieuw laden van tabellen die in behandeling zijn annuleren door te klikken op Opnieuw laden annuleren. Dit heeft geen invloed op de tabellen die al opnieuw zijn geladen en ladingen die momenteel worden uitgevoerd, worden voltooid.

Downstreamtaken worden geladen om wijzigingen toe te passen en om antidatering te voorkomen.

De downstream invloed is afhankelijk van het type laadbewerking dat is uitgevoerd en het type directe downstream-gegevensverzameling. Standaardverwerking betekent dat de gegevensverzameling reageert en gegevens verwerkt met behulp van de geconfigureerde methode voor de specifieke gegevensverzameling.

Voorbeeld: Een gegevensverzameling opnieuw laden via afkappen en laden

• Als de volgende gegevensverzameling transformaties gebruikt, wordt deze bij de volgende uitvoering geladen via afkappen en laden.

• Als de volgende gegevensverzameling een SQL-transformatie of transformatiestroom is, wordt deze opnieuw geladen via vergelijken en toepassen.

Een gegevensverzameling zonder geschiedenis laden

Dit geval is er geen geschiedenis waarmee rekening gehouden moet worden. Om de verwerking van het doel te verminderen, wordt de lading uitgevoerd door:

1. Het afkappen van de tabellen.

2. Het laden van de huidige gegevens van de upstream-gegevenstaak.

Downstreamtaken worden geladen om wijzigingen toe te passen.

Een gegevensverzameling met ingeschakelde geschiedenis laden

De lading wordt uitgevoerd door:

1. Huidige tabellen, eerdere tabellen en wijzigingstabellen afkappen.

2. Het laden van gegevens van de upstream-gegevenstaak, inclusief eerdere tabellen.

Het laden van een gegevensverzameling die is gebaseerd op een SQL-transformatie of transformatiestroom

• Afkappen en laden

  InformatieDeze optie kan geschiedenisverlies veroorzaken.

  1. De huidige tabellen en wijzigingstabellen afkappen.

  2. De query uitvoeren en laden in de huidige tabellen.

• Opnieuw laden en vergelijken

  1. De query uitvoeren en vergelijken met de huidige tabellen.

  2. Wijzigingen toevoegen.

Transformatie-instellingen

U kunt eigenschappen instellen voor de transformatiegegevenstaak.

• Klik op Instellingen.

Algemene instellingen

• Database

  Database die moet worden gebruikt in de gegevensbron.

• Taakschema

  U kunt de naam wijzigen van het gegevenstaakschema. De standaardnaam is de naam van de taak.

• Intern schema

  U kunt de naam van het interne schema van de opslaggegevenstaak wijzigen. De standaardnaam is de naam van de taak met "__internal" toegevoegd.

• Prefix voor alle tabellen en weergaven

  U kunt een prefix instellen voor alle tabellen en weergaven die met deze taak zijn gemaakt.

  InformatieU moet een unieke prefix gebruiken als u een databaseschema in verschillende gegevenstaken wilt gebruiken.

• Gematerialiseerd

  U kunt ervoor kiezen om alleen weergaven te maken die transformaties uitvoeren (Niet-gematerialiseerd) of maak zowel tabellen en weergaven (Gematerialiseerd).

• Geschiedenis

  U kunt historische wijzigingsgegevens bijhouden zodat u eenvoudig gevens opnieuw kunt maken op basis van een specifiek tijdstip. U kunt historieweergaven en live-historieweergaven gebruiken om de historische gegevens te bekijken.

Runtime-instellingen

• Parallelle uitvoering

  U kunt het maximum aantal verbindingen voor volledige ladingen instellen op een getal van 1 tot 5.

• Warehouse

  De naam van het clouddatawarehouse.

Catalogusinstellingen

• Publiceren naar catalogus

  Selecteer deze optie om deze versie van de gegevens als gegevensverzameling te publiceren naar Catalogus. De catalogusinhoud wordt bijgewerkt de volgende keer dat u deze taak voorbereidt.

Ga voor meer informatie over Catalogus naar Uw gegevens begrijpen met catalogushulpmiddelen.

Beperkingen

• U kunt gegevenstypen in een transformatiegegevenstaak niet wijzigen wanneer de optie Niet-gematerialiseerd is geselecteerd.

• Herkomst op veldniveau is niet beschikbaar voor gegevensverzamelingen die zijn gemaakt in SQL-transformaties of transformatiestromen.