Ga naar hoofdinhoud

Een Snowflake-gegevensasset voor opslag maken met afhandeling van wijzigingen

U maakt een gegevensasset voor tijdelijke opslag op de startpagina van Data Services, die u opent via de navigatiebalk. De gegevensasset voor opslag haalt de gegevens op uit het Snowflake-tussenopslaggebied en converteert de gegevens naar tabellen voor analyse. De gegevens worden regelmatig toegepast op de tabellen vanaf de wijzigingen in de gegevensasset voor invoer met behulp van CDC (Change Data Capture). Weergaven worden ook gemaakt om een veelzijdigere toegang tot de gegevens in de opgeslagen tabellen te bieden.

Inleiding

Wanneer u gegevens genereert in Snowflake, worden zowel tabellen als weergaven gegenereerd. De beste manier om gegevens te gebruiken is met behulp van weergaven. Weergaven bieden bepaalde voordelen vergeleken met tabellen, zoals verbeterde gelijktijdigheid van gegevens. Als u niet weet welke weergave u het best gebruikt, probeert u eerst de standaardweergave voor tabellen.

Snowflake-tabellen en -weergaven die zijn gegenereerd door een gegevensasset voor opslag die wordt gelezen vanaf een tijdelijke gegevensasset met afhandeling van wijzigingen

De volgende tabellen en weergaven worden altijd gemaakt:

  • Tabellen

    Tabellen bevatten de fysieke gegevens die zijn opgeslagen.

  • Standaardweergaven voor tabellen

    Standaardweergaven voor tabellen laten alleen gegevens zien die op de tabellen zijn toegepast. Dit betekent dat dit niet de meest recente gegevens van wijzigingstabellen bevat die nog niet zijn toegepast. Standaardweergaven kunnen worden gebruikt als consistentie een hogere prioriteit heeft dan latentie.

  • Weergaven wijzigingstabel

    Dit is een weergave van de wijzigingstabel in het tijdelijke-tussenopslagschema.

U kunt ook selecteren dat de volgende geavanceerde weergaven worden gemaakt:

  • Standaardweergaven met kopteksten

    Dit is een standaardweergave voor een tabel met aanvullende koptekstvelden die zijn gegenereerd door de gegevensasset voor opslag.

  • Liveweergaven

    Liveweergaven bevatten gegevens van wijzigingstabellen die nog niet zijn toegepast. Zo kunt u gegevens met lagere latentie bekijken zonder dat u gegevens regelmatig hoeft toe te passen. Liveweergaven zijn minder efficiënt dan standaardweergaven en vereisen meer hulpbronnen.

Zie Structuur van tabellen en weergaven die worden gegenereerd in Snowflake voor meer gedetailleerde informatie over tabellen en weergaven die worden gegenereerd.

Een Snowflake-gegevensasset voor opslag maken

  1. Klik op Nieuwe toevoegen in de startpagina van Data Integration en selecteer vervolgens Gegevensasset maken.
  2. Vul in de dialoog Gegevensasset maken de volgende velden in:

    • Naam: Naam van de gegevensasset.

    • Ruimte: Specificeer de bestemmingsruimte van het gegevensasset.

    • Type asset: Selecteer Opslag (Snowflake).

    • Selecteer Open om de gegevensasset te openen nadat hij is aangemaakt.

    Klik op Maken als u klaar bent.

  3. Klik op Brongegevens selecteren.

  4. Selecteer welke gegevensasset voor tussenopslag u wilt gebruiken als bron voor de gegevensasset voor opslag en klik vervolgens op Selecteren. Selecteer een gegevensasset voor tussenopslag met taaktype Volledige lading en CDC. Het taaktype wordt weergegeven in de lijstweergave.

    Het dialoogvenster Instellingen wordt weergegeven.

  5. Instellingen voor Opslag configureren

    • Verbinding

      Selecteer de gegevensverbinding met schrijfmachtiging voor de Snowflake-opslagdatabase en leesmachtiging voor de Snowflake-database die wordt gebruikt door de tijdelijke gegevensasset. Als u geen gegevensverbinding hebt, moet u die maken.

      Opmerking: OAuth-verificatie wordt niet ondersteund voor levering van hybride gegevens.

      Raadpleeg Een Snowflake-verbinding maken (alleen in het Engels) voor meer informatie.

    • Intern schema

      Dit is de naam van het schema waar tabellen worden gemaakt.

    • Schema gegevensasset

      Dit is de naam van het schema waar weergaven worden gemaakt.

    Opmerking: U kunt hetzelfde schema gebruiken als Intern schema en Gegevensassetschema, maar als u ze gescheiden houdt, kunt u verschillende toegangsrechten instellen voor de schema's. U kunt bijvoorbeeld de toegang tot het Gegevensasset-schema beperken en het Verbruiksschema toegankelijk maken voor alle verbruikers.
  6. Instellingen voor Tabellen en weergaven configureren

    De volgende items worden altijd gemaakt:

    • Tabellen

    • Standaardweergaven voor tabellen

    • Standaardweergaven voor het wijzigen van tabellen

    U kunt ook selecteren dat de volgende weergaven worden gemaakt:

    • Standaardweergaven met kopteksten

    • Liveweergaven

      Als u wilt dat de liveweergaven transactioneel consistent zijn, selecteert u Transactioneel consistente liveweergaven. Als deze optie is geselecteerd, worden statustabellen bijgewerkt na elke batch-update en standaard elke minuut indien er wijzigingen hebben plaatsgevonden. Hierdoor is vaker toegang tot de clouddatabase vereist. Afhankelijk van de aanbieder van de database, betekent dit dat de clouddatabase niet wordt geblokkeerd vanwege inactiviteit.

  7. Instellingen voor Prefixen en suffixen configureren

    U kunt een prefix instellen om de hulpbronnen te identificeren die worden gegenereerd door deze gegevensasset. Hierdoor kunt u ook hetzelfde schema opnieuw gebruiken in meerdere gegevensassets omdat u met behulp van het prefix een onderscheid kunt maken tussen de tabellen en de weergaven.

    U kunt ook de suffixen instellen voor de weergaven die worden gegenereerd.

  8. Instellingen voor Runtime configureren

    • U kunt Interval toepassen instellen in minuten.

      Hiermee stelt u in hoe vaak gewijzigde gegevens worden toegepast op de opslagtabel. Het intervalbereik ligt tussen 1 minuut en 1440 minuten (7 dagen).

      We raden aan dat u deze interval niet lager instelt dat de bijwerkfrequentie in de desbetreffende Qlik Replicate-taak. Gegevens vaker toepassen leidt vaak ook tot hogere resourcekosten voor Snowflake.

      Als u vaker gebruik wilt maken van gegevens met een lagere latentie, dan kunt u Interval toepassen op hoog instellen en liveweergaven gebruiken.

    • U kunt het maximumaantal databaseverbindingen instellen in Parallelle uitvoering.

    Parameters voor Runtime kunnen worden gewijzigd nadat de gegevensasset is gecatalogiseerd en uitgevoerd. De wijziging heeft invloed op de volgende daadwerkelijke verwerking.

  9. Klik op OK om uw instellingen te bevestigen. U kunt nu de tabelstructuur bekijken voordat u begint met het genereren van gegevensverzamelingen.

  10. Klik op Opslaan om uw gegevensasset op te slaan.

  11. Klik op Uitvoeren om te beginnen met het genereren van de gegevensverzamelingen.

De Snowflake-tabellen worden nu gegenereerd en ingevuld met gegevens als u de tijdelijke gegevens al volledig heeft laten laden.

De generering van tabellen bewaken

U kunt de status en voortgang van de generering van tabellen bewaken door op Bewaken te klikken. Wanneer de eerste laadbewerking wordt uitgevoerd, kunt u de voortgang bekijken in Status volledige lading. Wanneer er wijzigingen zijn verwerkt, kunt u ook de status en voortgang van de laatste batch wijzigingen bekijken.

U kunt de volgende details weergeven voor elke tabel of wijziging:

  • Status

    Dit toont de huidige status van deze tabel of wijziging.

    • Voltooid - de laadbewerking of de wijziging is voltooid.

    • Laden - de tabel of wijziging wordt verwerkt.

    • In wachtrij - de tabel of wijziging wacht op verwerking.

    • Fout - er is een fout opgetreden tijdens de verwerking van de tabel of wijziging.

  • Gestart

    Het tijdstip waarop de laadbewerking of de verwerking van wijzigingen is gestart.

  • Beëindigd

    Het tijdstip waarop de laadbewerking of de verwerking van wijzigingen is geëindigd.

  • Duur

    De duur van de laadbewerking of van de verwerking van wijzigingen in de notatie uu:mm:ss.

  • Verwerkte records

    Het aantal records dat is verwerkt in de laadbewerking of wijziging.

  • Doorvoer (records/seconde)

    De verwerkte hoeveelheid wordt niet bijgewerkt tot de actuele lading is voltooid.

  • Bericht

    Toont een foutbericht als de laadbewerking of de wijziging niet met succes is verwerkt.

De tabellen worden voortdurend bijgewerkt met nieuwe gegevens naarmate het gedeelte met tijdelijke gegevens wordt bijgewerkt door de replicatietaak. Elke batch heeft betrekking op records uit een bepaalde periode. U kunt de periode van de meest recente batch zien in Laatste batch van wijzigingen.

U kunt hier ook de gegevensassetkaart op de startpagina van Data Services voor bekijken. Als Gegevens zijn bijgewerkt met de datum en tijd van de laatste update toont, moeten de tabellen beschikbaar zijn onder Gegevens in de analyse-hub.

Gegevens afkomstig van alle brontransacties tot op het moment dat wordt weergegeven in Gegevensasset is bijgewerkt tot, zijn beschikbaar voor gebruik vanuit deze gegevensasset. Deze informatie is beschikbaar voor een gegevensasset wanneer alle tabellen zijn geladen en de eerste set wijzigingen is toegepast. Als u hebt gekozen om live weergaven te genereren, kunt u ook kijken wanneer live weergaven worden bijgewerkt.

Als er een reeks wijzigingen moet worden doorgevoerd voordat het laden is voltooid, wordt Gegevens zijn bijgewerkt met in de assetkaart niet bijgewerkt totdat het laden is voltooid en de eerste reeks wijzigingen is doorgevoerd. Ga er bijvoorbeeld vanuit dat u een gegevensasset laadt die een ordertabel met 1 miljoen orders en een tabel voor orderdetails met 10 miljoen orderdetails bevat. Het duurt respectievelijk 10 en 20 minuten voordat de tabellen volledig zijn geladen. De ordertabel wordt het eerst geladen, gevolgd door de orderdetailstabel. Tijdens het laden van de ordertabel wordt een nieuwe order ingevoegd. Wanneer de orderdetails worden geladen, kan de tabel daarom details bevatten van de nieuwe order die nog niet bestaat in de ordertabel. Pas als de eerste batch met wijzigingen is toegepast, kunnen de ordertabel en de orderdetailstabel met elkaar gesynchroniseerd en volledig bijgewerkt zijn tot op hetzelfde tijdstip.

Opmerking: Het is niet mogelijk om instellingen of opgenomen gegevensverzamelingen te wijzigen wanneer u bent begonnen met het genereren van tabellen.

Bewerkingen op de gegevensasset voor opslag

U kunt de volgende bewerkingen uitvoeren op een gegevensasset voor opslag vanuit het assetmenu op de Data Services-startpagina.

  • Openen

    Hiermee wordt de gegevensasset voor opslag geopend. U kunt de tabelstructuur en details over de gegevensasset bekijken en de status voor de volledige laadbewerking en batches van wijzigingen bewaken.

  • Bewerken

    U kunt de naam en de beschrijving van de asset bewerken en tags toevoegen.

  • Stoppen

    U kunt de uitvoering van de gegevensasset stoppen. De gegevensasset gaat niet door met het bijwerken van de tabellen.

  • Hervatten

    U kunt de uitvoering van een gegevensasset hervatten vanaf het punt waar deze was gestopt.

  • Verwijderen

    U kunt de gegevensasset verwijderen.

Tabellen opnieuw laden

U kunt tabellen opnieuw laden in een gegevensasset voor opslag die geopend is en wanneer de app wordt uitgevoerd. Opnieuw laden start als de volgende batch van wijzigingen zijn verwerkt.

Als de gegevens in tussenopslag ouder zijn dan 96 uur, moet u, voordat u deze gegevensasset uitvoert, de tabellen in de gegevensasset voor tussenopslag waarmee deze gegevensasset wordt gevoed, opnieuw laden.

  • Doe het volgende om alle tabellen opnieuw te laden:

    Klik op de knop en vervolgens op Opnieuw laden.

  • Doe het volgende om specifieke tabellen opnieuw te laden:

    1. Open het tabblad Bewaken.

    2. Selecteer de tabellen die u opnieuw wilt laden.

    3. Klik op Tabellen laden.

Als er een fout in de Replicate-taak optreedt, moet u de gegevensasset voor tussenopslag opnieuw laden vanuit de Replicate-taak voordat u een herlaadbewerking kunt uitvoeren in de gegevensasset voor opslag.

Structuur van tabellen en weergaven die worden gegenereerd in Snowflake

In dit gedeelte wordt de structuur beschreven van de tabellen en weergaven die worden gegenereerde in het gegevensasset-schema en het interne schema.

Alle tabellen en weergaven worden beheerd door Qlik Data Services. Wijzig de gegevens niet met behulp van andere tools.

Tabellen

Tabellen worden gegenereerd in het interne schema.

Naamgeving: <INTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME><suffix for tables>

De volgende koptekstvelden worden toegevoegd aan de tabelstructuur.

Koptekstvelden van tabel
Veld Type Beschrijving
hdr__key_hash varbinary(20)

Hash van alle primaire recordsleutels.

Hash-indeling is SHA1. Velden worden gescheiden door een backspace-teken.

hdr__timestamp tijdstempel

Tijdstempel in UTC

  • Voor gegevens uit volledige lading is het de starttijd van volledig laden.

  • Voor een wijziging via wijzigingstabellen is het het tijdstempelveld van de record.

hdr__operation varchar(1)

Laatste handeling van deze record.

  • U - bijgewerkt vanuit wijzigingstabel.

  • I - ingevoegd vanuit wijzigingstabel.

  • L - ingevoegd door volledig laden.

Verwijderingen in de tijdelijk opgeslagen gegevens worden vertaald naar harde wijzigingen.

Assetstatustabel

De assetstatustabel wordt gegenereerd in het interne schema. De tabel wordt gebruikt om de laatst toegepaste volgorde en de laatste door Qlik Replicate gerapporteerde volgorde bij te houden voor transactieconsistentie. Alle objecten in een gegevensasset gebruiken dezelfde assetstatustabel.

Naamgeving: <INTERNAL_SCHEMA>.[<PREFIX>]ASSET_STATE__<DATA_ASSET_ID>

Velden Assetstatustabel
Veld Type Beschrijving
hdr__dataset_id varbinary(20)

Gegevensverzameling-ID.

hdr__change_seq varchar(35)

Laatste wijziging volgorde toegepast.

hdr__timestamp tijdstempel

Laatste doorgevoerde transactietijd toegepast in UTC.

Standaardweergaven voor tabellen

Een standaardweergave met kopteksten wordt gegenereerd in het gegevensasset-schema voor elke geselecteerde brontabel. Deze weergave omvat alle originele velden van de tabelstructuur, maar niet de koptekstvelden die zijn toegevoegd aan de tabel in het interne schema.

Naamgeving: <DATA_ASSET_SCHEMA>.[<PREFIX>]<TABLE_NAME>< Suffix voor standaardweergaven voor tabellen>

Standaardweergaven met kopteksten

Een standaardweergave met kopteksten wordt optioneel gegenereerd in het gegevensasset-schema voor elke geselecteerde brontabel. Deze weergave omvat de koptekstvelden die aan de tabel zijn toegevoegd.

Naamgeving: <DATA_ASSET_SCHEMA>.[<PREFIX>]<TABLE_NAME>< Suffix voor standaardweergaven met kopteksten>

Liveweergaven

Liveweergaven tonen een weergave voor elke geselecteerde brontabel die de tabel samenvoegt met wijzigingen uit de wijzigingstabel. Hierdoor ontstaan queries met een liveweergave van de gegevens zonder dat u hoeft te wachten op de volgende toepassingscyclus. De wijzigingen die zijn samengevoegd vanuit de wijzigingstabelweergave zijn transactieconsistent tussen tabellen die gebeurtenissen gebruiken van Replicatie. Live weergaven worden gegenereerd in het gegevensasset-schema.

Gegevensassets met liveweergaven voeren standaard elke minuut een Snowflake-bewerking uit in het geval van wijzigingen. Dit kan worden gewijzigd in Qlik Replicate.

Naamgeving: <DATA_ASSET_SCHEMA>.[<PREFIX>]<TABLE_NAME>< Suffix voor liveweergaven>

Weergaven wijzigingstabel

Dit is een weergave van de wijzigingstabel in het tijdelijke-tussenopslagschema voor elke geselecteerde brontabel.

Naamgeving: <DATA_ASSET_SCHEMA>.[<PREFIX>]<TABLE_NAME>< Suffix voor wijzigingstabelweergaven>

De volgende koptekstvelden worden toegevoegd aan de tabelstructuur.

Koptekstvelden van wijzigingstabel
Veld Type Beschrijving
hdr__change_seq varchar(35) Volgorde wijzigen van Qlik Replicate.
hdr__operation varchar(1)

Laatste handeling van deze record.

  • U - updated.

  • I - inserted.

  • D - deleted

hdr__timestamp tijdstempel

Tijdstempel in UTC van Qlik Replicate.

hdr__key_hash varbinary(20)

Hash van alle primaire recordsleutels van de Qlik Replicate-wijzigingstabel.