Gegevensverzamelingen opslaan

U kunt gegevensverzamelingen opslaan met behulp van een gegevenstaak voor opslag. De gegevenstaak voor opslag gebruikt de gegevens die tijdelijk zijn opgeslagen in het tussenopslaggebied van de cloud door een gegevenstaak voor tussenopslag. U kunt de tabellen bijvoorbeeld in een analyse-app gebruiken.

• U kunt een opslaggegevenstaak ontwerpen wanneer de status van de gegevenstaak voor tussenopslag minimaal Gereed voor voorbereiding is.

• U kunt een opslaggegevenstaak maken wanneer de status van de gegevenstaak voor tussenopslag minimaal Gereed voor uitvoering is.

De gegevenstaak voor opslag gebruikt dezelfde bedrijfsmodus (Volledige lading of Volledige lading & CDC) als de gebruikte gegevenstaak voor tussenopslag. Configuratie-eigenschappen zijn verschillend voor de tweede bewerkingsmodi en voor de opties voor controleren en bedienen. Als u een tijdelijke doelgegevenstaak voor de cloud met alleen volledige lading gebruikt, genereert de gegevenstaak voor opslag geen fysieke tabellen maar maakt deze weergaven voor de tijdelijke tabellen.

Een gegevenstaak voor opslag maken

U kunt op drie manieren een opslaggegevenstaak maken:

• Klik op ... op een gegevenstaak voor tussenopslag en selecteer Gegevens opslaan om een opslaggegevensasset te maken op basis van deze gegevenstaak voor tussenopslag.

• Klik op Nieuwe toevoegen en dan op Gegevens opslaan. In dit geval moet u opgeven welke gegevenstaak voor tussenopslag moet worden gebruikt.

• Wanneer u gegevens opneemt, wordt een opslaggegevenstaak gemaakt. Deze is verbonden met de gegevenstaak voor tussenopslag die ook wordt gemaakt bij het opnemen van gegevens.

  Ga voor meer informatie naar Gegevens onboarden.

Wanneer u de opslaggegevenstaak hebt gemaakt:

1. Open de opslaggegevenstaak door op ... te klikken en Openen te selecteren.
   De opslaggegevenstaak wordt geopend en u kunt een voorbeeld bekijken van de uitvoergegevensverzamelingen gebaseerd op de tabellen uit de gegevensasset voor tussenopslag.

2. Breng alle vereiste wijzigingen aan de opgenomen gegevensverzamelingen aan, zoals transformaties, het filteren van gegevens of het toevoegen van kolommen.

   Ga voor meer informatie naar Gegevensverzamelingen beheren.

3. Wanneer u de gewenste transformaties hebt toegevoegd, kunt u de gegevensverzamelingen valideren door te klikken op Gegevensverzamelingen valideren. Als de validatie fouten vindt, moet u de fouten oplossen voordat u verdergaat.

   Ga voor meer informatie naar Valideren en aanpassen van de gegevensverzamelingen.

4. Een gegevensmodel maken

   Klik op Model om de relaties tussen de opgenomen gegevensverzamelingen in te stellen.

   Ga voor meer informatie naar Een gegevensmodel maken.

5. Klik op Voorbereiden om de gegevenstaak en alle vereiste artefacten voor te bereiden. Dit kan even duren.

   U kunt de voortgang volgen onder Voortgang van voorbereiding in het onderste deel van het scherm.

6. Wanneer de status Gereed om uit te voeren weergeeft, kunt u de gegevenstaak uitvoeren.

   Klik op Uitvoeren.

   De gegevenstaak begint nu met het maken van gegevensverzamelingen om de gegevens op te slaan.

Historische gegevens bewaren

U kunt historische wijzigingsgegevens van type 2 bijhouden zodat u eenvoudig gegevens opnieuw kunt maken op basis van een specifiek tijdstip. Dit genereert een volledige historische gegevensopslag (HDS).

• Type 2 langzaam wijzigende dimensies worden ondersteund.

• Wanneer een gewijzigde record wordt samengevoegd, wordt een nieuwe record gemaakt om de gewijzigde gegevens op te slaan en blijft het oude record intact.

• Nieuwe HDS-records worden automatisch voorzien van een tijdsstempel zodat u trendanalyses en andere tijdgebonden analyse-datamarts kunt maken.

U kunt historische gegevens inschakelen door te klikken op:

• Replicatie met zowel huidige gegevens als geschiedenis van eerdere gegevens in Instellingen tijdens het onboarden van gegevens.

• Bewaar historische wijzigingsrecords en archief van wijzigingsrecords in het dialoogvenster Instellingen van een opslagtaak.

HDS-gegevens wordt opgeslagen in de eerdere tabel in het interne gegevensschema. U kunt de geschiedenisweergaven en live-geschiedenisweergaven in het externe gegevensschema gebruiken om historische gegevens te bekijken.

• De geschiedenisweergave voegt gegevens van de huidige tabel samen met de eerdere tabel. Deze weergave omvat alle wijzigingen die zijn samengevoegd.

• De live-geschiedenisweergave voegt gegevens van de huidige tabel samen met de eerdere tabel en de wijzigingentabel. Deze weergave omvat ook alle wijzigingen die nog niet zijn samengevoegd.

Ga voor meer informatie naar Gegevensverzamelingarchitectuur in een clouddatawarehouse.

Een opslagtaak plannen

U kunt inplannen dat een opslagtaak periodiek wordt bijgewerkt.

• Als de ingevoerde tussenopslag-gegevenstaak Volledige lading en CDC gebruikt, kunt u alleen een planning op tijdbasis instellen.

• Als de ingevoerde gegevenstaak Volledige lading gebruikt, kunt u een planning op tijdbasis instellen of instellen dat de taak wordt uitgevoerd als de ingevoerde tussenopslag-gegevenstaak is uitgevoerd.

  InformatieAls u een planning op tijdbasis uitvoert met een ingevoerde tussenopslag-gegevenstaak die gebruikmaakt van Volledig laden, moet u er rekening mee houden dat elke voltooide tabel in de tussenopslag beschikbaar is terwijl de tussenopslag wordt uitgevoerd. Zo kunt u de tussenopslag en de opslag gelijktijdig uitvoeren om de volledige laadtijd te verbeteren.

Klik op ... van een gegevenstaak en selecteer Planning om een planning te maken. De standaard planningsinstelling wordt overgenomen van de instellingen van het gegevensproject. Ga voor meer informatie over standaardinstellingen naar Standaardwaarden voor opslag. U moet Planning altijd instellen op Aan om de planning in te schakelen.

Planningen op tijdbasis

U kunt een planning op tijdbasis gebruiken om de opslaggegevenstaak uit te voeren, ongeacht het type tussenopslag.

• Selecteer Op een specifiek tijdstip in De gegevenstaak uitvoeren.

U kunt een planning per maand, week, dag of uur instellen.

Planningen op basis van gebeurtenis

• Selecteer Bij succesvolle voltooiing van invoergegevenstaak in De gegevenstaak uitvoeren.

De opslagtaak wordt steeds uitgevoerd als de ingevoerde tussenopslag-gegevenstaak is voltooid.

Een opslagtaak bewaken

U kun de status en voortgang van een opslagtaak bewaken door te klikken op Bewaken.

Ga voor meer informatie naar Een afzonderlijke gegevenstaak bewaken.

Problemen met een opslaggegevenstaak oplossen

Als er problemen zijn opgetreden bij één of meer tabellen in een opslaggegevenstaak, moet u de gegevens opnieuw laden of maken. Er zijn hiervoor een aantal opties die u kunt uitvoeren. Overweeg welke optie u moet gebruiken in de volgende volgorde:

1. U kunt de gegevensverzameling laden in de tussenopslag. Het laden van de gegevensverzameling in de tussenopslag activeert het vergelijkingsproces in de opslag en corrigeert gegevens, terwijl type 2 geschiedenis wordt behouden. U moet deze optie in de volgende gevallen overwegen:

   • De volledige lading is lang geleden uitgevoerd en er zijn een groot aantal wijzigingen.

   • Als records van volledig geladen tabellen en wijzigingstabellen die zijn verwerkt vanwege onderhoud van het tussenopslaggebied zijn verwijderd.

   Gegevens van gegevensbronnen tijdelijk opslaan

2. U kunt de gegevens laden in de opslaggegevenstaak.

   Als historische gegevens zijn ingeschakeld, kan een lading in opslag ertoe leiden dat veel historische gegevens verloren gaan. Wanneer dit niet mogelijk is, kunt u overwegen om de tussenopslag van de bron te laden.

   Gegevens opnieuw laden

3. U kunt tabellen opnieuw maken. Hiermee worden de gegevensverzamelingen opnieuw gemaakt vanuit de bron.

   Dit moet als laatste optie worden gezien, omdat u in dit geval ook alle downstream-gegevenstaken die gebruikmaken van deze gegevenstaak opnieuw moet maken.

   • Klik op ... en klik vervolgens op Tabellen opnieuw maken.

Gegevens opnieuw laden

U kunt tabellen handmatig laden. Dit is handig wanneer er problemen zijn met één of meerdere tabellen.

1. Open de gegevenstaak en selecteer het tabblad Bewaken.

2. Selecteer de tabellen die u opnieuw wilt laden.

3. Klik op Tabellen laden.

De lading wordt uitgevoerd nadat de taak weer wordt uitgevoerd en wordt uitgevoerd door:

1. Het afkappen van de tabellen.

2. Het laden van de tijdelijke gegevens in de tabellen.

3. Het laden van de wijzigingen die zijn verzameld van de laadtijd.

Downstreamtaken worden geladen om wijzigingen toe te passen en om antidatering te voorkomen. Dit wordt uitgevoerd door:

1. Het vergelijken van de volledige lading en het toepassen van de wijzigingen.

2. Het toepassen van de wijzigingen van na de lading.

U kunt het opnieuw laden van tabellen die in behandeling zijn annuleren door te klikken op Opnieuw laden annuleren. Dit heeft geen invloed op de tabellen die al opnieuw zijn geladen en ladingen die momenteel worden uitgevoerd, worden voltooid.

In sommige gevallen wordt aanbevolen om in plaats daarvan de gegevensverzameling in de tussenopslag te laden:

• Als historische gegevens zijn ingeschakeld, kan een lading in opslag ertoe leiden dat veel historische gegevens verloren gaan. Het laden van de gegevensverzameling in de tussenopslag activeert het vergelijkingsproces in de opslag en corrigeert gegevens, terwijl type 2 geschiedenis wordt behouden.

• Als de volledige lading lang geleden is uitgevoerd en er een groot aantal wijzigingen zijn.

• Als records van volledig geladen tabellen en wijzigingstabellen die zijn verwerkt vanwege onderhoud van het tussenopslaggebied zijn verwijderd.

Opslaginstellingen

U kunt eigenschappen voor de opslaggegevenstaak instellen wanneer het gegevensplatform een clouddatawarehouse is. Als u Qlik Cloud als gegevensplatform gebruikt, raadpleegt u Opslaginstellingen voor gegevensprojecten met Qlik Cloud als gegevensplatform.

• Klik op Instellingen.

Algemene instellingen

• Database

  Database die moet worden gebruikt in de gegevensbron.

• Schema van gegevenstaak

  U kunt de naam wijzigen van het schema voor opslag van gegevenstaken. De standaardnaam is de naam van de opslagtaak.

• Intern schema

  U kunt de naam van het interne schema van de opslaggegevensasset wijzigen. De standaardnaam is de naam van de opslagtaak met _internal toegevoegd.

• Prefix voor alle tabellen en weergaven

  U kunt een prefix instellen voor alle tabellen en weergaven die met deze taak zijn gemaakt.

  InformatieU moet een unieke prefix gebruiken als u een databaseschema in verschillende gegevenstaken wilt gebruiken.

• Geschiedenis

  U kunt historische wijzigingsgegevens bijhouden zodat u eenvoudig gevens opnieuw kunt maken op basis van een specifiek tijdstip. U kunt historieweergaven en live-historieweergaven gebruiken om de historische gegevens te bekijken. Selecteer Historische records en archief van wijzigingsrecords bewaren om historische wijzigingsgegevens in te schakelen.

• Wanneer u opslag vergelijkt met tussenopslag, kunt u kiezen hoe u records wilt beheren die niet aanwezig zijn in de tussenopslag.

  • Markeren als verwijderd

    Hiermee worden records verwijderd die niet aanwezig zijn in de tussenopslag.

  • Bewaren

    Hiermee worden alle records bewaard die niet aanwezig zijn in de tussenopslag.

  InformatieGegevensverzamelingen in Opslaggegevenstaak moeten een primaire sleutelset hebben. Als dat niet het geval is, wordt elke keer dat tussenopslaggegevens worden geladen een initiële lading uitgevoerd op de Opslaggegevenstaak.

Weergaveninstellingen

• Liveweergaven

  Gebruik liveweergaven om tabellen met de laagste latentie te lezen.

  Zie Liveweergaven gebruiken voor meer informatie over liveweergaven.

  InformatieLiveweergaven zijn minder efficiënt dan standaardweergaven en er zijn meer bronnen vereist omdat de toegepaste gegevens opnieuw berekend moeten worden.

Runtime-instellingen

• Parallelle uitvoering

  U kunt het maximum aantal gegevensverbindingen voor volledige ladingen instellen op een getal van 1 tot 5.

• Warehouse

  De naam van het clouddatawarehouse. Deze instelling is alleen van toepassing voor Snowflake.

Opslaginstellingen voor gegevensprojecten met Qlik Cloud als gegevensplatform

U kunt bepalen welke map moet worden gebruikt in de opslag wanneer het gegevensplatform Qlik Cloud is als gegevensplatform.

1. Klik op Instellingen.

2. Selecteer welke map van de opslag u wilt gebruiken.

3. Klik op OK als u klaar bent.

Bewerkingen op de gegevensasset voor opslag

Vanuit het taakmenu kunt u de volgende bewerkingen uitvoeren op de opslaggevenstaak.

• Openen

  Hiermee wordt de gegevenstaak voor opslag geopend. U kunt de tabelstructuur en details over de gegevenstaak bekijken en de status voor de volledige laadbewerking en batches van wijzigingen bewaken.

• Bewerken

  U kunt de naam en de beschrijving van de taak bewerken en tags toevoegen.

• Verwijderen

  U kunt de gegevenstaak verwijderen.

• Voorbereiden

  Hiermee wordt een taak voorbereid op uitvoering. Dit omvat de volgende handelingen:

  • Validatie dat het ontwerp geldig is.

  • De fysieke tabellen en weergaven maken of wijzigen om bij het ontwerp te laten passen.

  • De SQL-code voor de gegevenstaak genereren

  • De catalogusinvoer maken of wijzigen voor de uitvoergegevensverzamelingen van de taak.

  U kunt de voortgang volgen onder Voortgang van voorbereiding in het onderste deel van het scherm.

• Gegevensverzamelingen valideren

  Hiermee worden alle gegevensverzamelingen gevalideerd die zijn opgenomen in de gegevenstaak.

  Vouw Valideren en aanpassen uit om alle validatiefouten en ontwerpwijzigingen te zien.

• Tabellen opnieuw maken

  Hiermee worden de gegevensverzamelingen opnieuw gemaakt vanuit de bron.

  U moet ook alle downstream-gegevenstaken opnieuw maken die gebruikmaken van deze gegevenstaak.

• Stoppen

  U kunt de uitvoering van de gegevenstaak stoppen. De gegevenstaak gaat niet door met het bijwerken van de tabellen.

  InformatieDeze optie is beschikbaar wanneer de gegevenstaak wordt uitgevoerd.

• Hervatten

  U kunt de uitvoering van een gegevenstaak hervatten vanaf het punt waar deze was gestopt.

  InformatieDeze optie is beschikbaar wanneer de gegevenstaak is gestopt.

• Gegevens transformeren

  Maak herbruikbare transformaties op rijniveau op basis van regels en aangepaste SQL. Hiermee maakt u een transformatiegegevenstaak.

  Gegevens transformeren

• Datamarkt maken

  Maak een datamart om uw gegevenstaken te gebruiken. Hiermee maakt u een datamartgegevenstaak.

  Datamarts maken en beheren

Beperkingen

• Als de gegevenstaak gegevensverzamelingen bevat en u alle parameters in de verbinding, bijvoorbeeld gebruikersnaam, database of schema kunt wijzigen, is de aanname dat er gegevens aanwezig zijn op de nieuwe locatie. Als dit niet het geval is, kunt u:

  • De gegevens in de bron naar de nieuwe locatie verplaatsen.

  • Maak een nieuwe gegevenstaak met dezelfde instellingen.