Ga naar hoofdinhoud

Tijdelijk opgeslagen gegevens

De eerste stap bij het overbrengen van de gegevens is het tijdelijk opslaan van de gegevens. Hierbij worden de gegevens met behulp van een Qlik Replicate-taak continu overgebracht van een on-premises gegevensbron naar een tussenopslaggebied. De replicatietaak wordt bediend door een gegevensasset voor tussenopslag in Qlik Cloud Data Services.

Voordat u een gegevensasset voor tussenopslag kunt maken, moet u de Qlik Replicate-taak aanmaken zoals beschreven in Maak een replicatietaak aan. U moet de rol Kan gebruiken hebben in de ruimte waar de Enterprise Manager-bron zich bevindt.

U kunt twee verschillende typen tussenopslaggebied gebruiken.

  • Amazon S3

    Wanneer u gegevens voor tussenopslag opslaat in een Amazon S3-bucket, kunt u deze gebruiken voor het genereren van QVD-tabellen die gereed zijn voor analyse.

  • Snowflake

    Als u gegevens tijdelijk opslaat naar Snowflake, kunt u Snowflake-tabellen opslaan.

Een gegevensasset voor tussenopslag maken en configureren

  1. Klik op Nieuwe toevoegen in de startpagina van Data Services en selecteer Gegevensasset maken.
  2. Voer in het dialoogvenster Gegevensasset maken het volgende in:

    • Naam: Naam van de gegevensasset voor tussenopslag.

    • Ruimte: Ruimte waarin de gegevensasset voor tussenopslag wordt aangemaakt.

    • Type asset: Selecteer Tussenopslag.

    U kunt tags toevoegen, zodat u de gegevensassets gemakkelijker terugvindt in de startpagina van Data Services.

    Selecteer Openen om de gegevensasset voor tussenopslag te openen nadat hij is aangemaakt.

    Klik op Maken.

  3. Klik op Replicatietaak selecteren.

  4. Selecteer de te gebruiken Bron voor Enterprise Manager.

    Tip: Dit is de bron die is aangemaakt zoals beschreven in Qlik Cloud en Qlik Enterprise Manager verbinden.
  5. Selecteer de Replicatieserver die de taak bevat die u wilt gebruiken. U kunt een specifieke server selecteren of Alle.

    De lijst van beschikbare replicatietaken wordt gevuld zodra u een server hebt geselecteerd.

    Opmerking: De replicatietaak moet zijn aangemaakt zoals beschreven in Maak een replicatietaak aan om beschikbaar te zijn.
  6. Selecteer de replicatietaak.

  7. Klik op Selecteren.

  8. Klik op Opslaan.

De gegevensasset voor tussenopslag in de cloud is nu aangemaakt en de status zou nu Gereed voor uitvoering moeten zijn, met een indicatie dat de gegevensasset nog niet is gecatalogiseerd.

U kunt nu kiezen tussen:

  • De gegevensasset voor tussenopslag in de cloud laten uitvoeren, waardoor de replicatie start. De asset wordt ook gecatalogiseerd.

  • De gegevensasset voor tussenopslag in de cloud catalogiseren. Dit maakt de gegevensasset voor tussenopslag in de cloud beschikbaar als bron voor een gegevensasset voor opslag zonder dat de gegevensoverdracht wordt gestart.

    Klik op Catalogiseren om de gegevensasset te catalogiseren.

    Waarschuwing: Wanneer u de gegevensasset hebt gecatalogiseerd, is het niet mogelijk om wijzingen aan te brengen in brongegevens die van invloed zijn op de tabelselectie of de structuur van de gegevensasset. U kunt ook geen wijziging aanbrengen in de doelmap. Voor elk van deze wijzigingen is het een vereiste dat u de gegevensasset en alle assets die de gegevensasset gebruiken en al zijn gecatalogiseerd, opnieuw aanmaakt.

Wanneer de asset is opgeslagen en gecatalogiseerd, wordt de status Gereed voor uitvoering weergegeven met een indicatie dat de asset is gecatalogiseerd. U kunt nu:

  • Een voorbeeld van de structuur en metagegevens van de tabellen met gegevensassets bekijken.

    Klik op Tabellen.

  • U kunt de gegevensasset uitvoeren om de replicatietaak te starten, waarmee de gegevens continu van de on-premises gegevensbron worden overgebracht naar het tussenopslaggebied.

    Klik op Uitvoeren.

  • Maak op basis van deze gegevensasset voor tussenopslag een gegevensasset voor opslag. De gegevensasset voor opslag converteert de gegevens uit het tussenopslaggebied naar tabellen die gereed zijn voor analyse. De replicatie en conversie starten pas als de gegevensassets actief zijn.

    Ga voor meer informatie naar Een gegevensasset maken om QVD-tabellen te genereren

Uitvoeren van de gegevensasset voor tussenopslag

U kunt de gegevensasset voor tussenopslag in de cloud nu laten uitvoeren. Dit start de replicatietaak, die gegevens continu vanuit de on-premises gegevensbron overbrengt naar het tussenopslaggebied.

  1. Klik op Uitvoeren.

De replicatie zou nu moeten starten, en de bijbehorende Qlik Replicate-taak zou moeten worden uitgevoerd. Eerst wordt de volledige gegevensbron gekopieerd, vervolgens worden veranderingen bijgehouden. Gedurende deze tijd heeft de gegevensasset de status Uitvoeren. Dit betekent dat wijzigingen continu worden bijgehouden en overgebracht wanneer deze worden gevonden. Hierdoor blijven de gegevens voor tussenopslag in het tussenopslaggebied up-to-date.

In de startpagina van Data Services kunt u de status, datum en tijd zien wanneer de tijdelijk opgeslagen gegevens zijn bijgewerkt en het aantal tabellen met fouten. U kunt de gegevensasset ook openen en het tabblad Tabellen selecteren om standaard informatie over de metagegevens van de tabellen te bekijken.

U kunt de voortgang in detail volgen door de replicatietaak te openen in Qlik Enterprise Manager en de voortgangsweergave te selecteren.

Met Qlik Cloud Landing (Amazon S3) wordt een nieuwe kopie van de volledige lading gemaakt als u tabellen opnieuw laadt. Dit betekent dat u probleemloos tabellen kunt herladen terwijl tussenopslag-apps wijzigingen lezen.

Bewerkingen op de gegevensasset voor tussenopslag

U kunt de volgende bewerkingen uitvoeren op de gegevensasset voor tussenopslag vanuit het assetmenu.

  • Openen

    Hiermee wordt de gegevensasset voor tussenopslag geopend. U kunt de tabelstructuur en de details over de gegevensasset bekijken.

  • Bewerken

    U kunt de naam en de beschrijving van de asset bewerken en tags toevoegen.

  • Stoppen

    U kunt de uitvoering van de gegevensasset stoppen. Hiermee stopt u de Replicate-taak en het tussenopslaggebied wordt niet bijgewerkt met gewijzigde gegevens.

  • Hervatten

    U kunt de uitvoering van een gegevensasset hervatten vanaf het punt waar deze was gestopt. Hiermee wordt ook de uitvoering van de Replicate-taak hervat.

  • Verwijderen

    U kunt de gegevensasset verwijderen.

    Opmerking: De gegevens in de tussenopslag worden niet verwijderd. Deze moeten handmatig worden verwijderd.

Het is raadzaam dat u de taak niet uitvoert vanuit Qlik Enterprise Manager, behalve voor het opnieuw laden van tabellen.

Bewerkingen voor Doel herladen in de Qlik Replicate-taak

Als u een Doel herladen bewerking moet uitvoeren voor de Qlik Replicate-taak, moet u de gegevensassets voor tussenopslag en permanente opslag die deze taak lezen verwijderen en opnieuw aanmaken, om gegevensverlies te voorkomen.

  1. Stop de Replicate-taak als deze nog niet is gestopt.

  2. Verwijder de gegevensasset voor tussenopslag en de gegevensasset voor opslag.

  3. Maak een nieuwe gegevensasset voor tussenopslag met behulp van de Replicate-taak.

  4. Maak een gegevensasset voor opslag die de gegevens in de gegevensasset voor tussenopslag gebruikt.

  5. Voer de nieuwe gegevensasset voor tussenopslag uit.

  6. Voer de nieuwe opslagasset uit.

Onderhoud van het tussenopslaggebied

Automatische opschoning van de tussenopslag wordt niet ondersteund. Dit kan de prestaties beïnvloeden.
Het is raadzaam dat u handmatige opschoning uitvoert van oude volledige laad- en wijzigingsgegevens in het tussenopslaggebied.

  • Amazon S3

    Als er meerdere mappen met volledige laadgegevens zijn, kunt u deze op de meest recente na allemaal verwijderen. Partities voor wijzigingsgegevens die zijn verwerkt, kunnen ook worden verwijderd.

  • Snowflake

    Records van wijzigingstabellen die zijn verwerkt, kunnen ook worden verwijderd.