Gegevensverzamelingarchitectuur in een clouddatawarehouse

Met Qlik Talend Data Integration kunt u een analysegegevenspijplijn maken, beheren en controleren, waarbij u gegevens helemaal naar consumenten levert. Wanneer u gegevensverzamelingen genereert in een clouddatawarehouse met Qlik Talend Data Integration, worden opslagtabellen, wijzigingstabellen en weergaven gegenereerd.

Een intuïtieve en begeleide gebruikersinterface helpt u gegevenspijplijnen te bouwen, te modelleren en uit te voeren. Genereer automatisch schema's voor operationele gegevensopslagplaatsen (ODS) en historische gegevensopslagplaatsen (HDS) zonder handmatige codering.

Klik om op volledige grootte te bekijken — Architectuur voor een Qlik Talend Data Integration-gegevenspijplijn met behulp van Qlik Gegevensgateway - Gegevensverplaatsing en CDC

Tussenopslag

De tussenopslagtaak in Qlik Talend Data Integration controleert de voortdurende tussenopslag van gegevens van de gegevensbronnen naar de tussenopslagzone. Het voorbeeld in het diagram beschrijft met behulp van Qlik Gegevensgateway - Gegevensverplaatsing toegang tot gegevensbron met behulp van CDC om de gegevens data up-to-date te houden. U kunt ook Qlik Cloud-bronverbindingen gebruiken om volledige ladingen uit te voeren die kunnen worden gepland om periodiek opnieuw te worden geladen.

Raadpleeg Wanneer is de Gateway voor gegevensverplaatsing vereist? voor informatie over wanneer u Gateway voor gegevensverplaatsing moet gebruiken.

InformatieTabellen in de tussenopslagzone worden gegenereerd voor intern gebruik door Qlik Talend Data Integration Opslaggegevenstaken. Gebruik de tussenopslagtabellen niet in een ander downstream proces.
Opslag

De opslagtaak beheert wanneer gegevens worden toegepast op de opslagtabellen, en maakt en beheert de tabellen en externe weergaven.
Externe weergaven

De beste manier om gegevens te gebruiken is met behulp van weergaven. Weergaven bieden bepaalde voordelen vergeleken met tabellen, zoals verbeterde gelijktijdigheid van gegevens.

Liveweergaven gebruiken

U kunt zowel huidige gegevens (ODS) als historische gegevens (HDS) openen met liveweergaven. Liveweergaven omvatten gegevens van wijzigingstabellen die nog niet zijn toegepast op de huidige of eerdere tabellen. Zo kunt u gegevens met lagere latentie bekijken zonder dat u gegevens regelmatig hoeft toe te passen. De mogelijkheid om de samenvoeging te vertragen zorgt voor gereduceerde kosten en verwerkingsvereisten in het doelplatform.

Een ander voordeel van live weergaven is dat de berekeningslaag niet altijd hoeft te draaien.

Tussenopslag kan wijzen naar een expliciet warehouse dat klein kan zijn, omdat het alleen INSERT-bewerkingen met snelle uitvoering uitvoert.
Het opslagproces, dat bijvoorbeeld één keer per dag wordt uitgevoerd, kan een grote berekeningslaag voor verwerking laten ontwaken.
Latentie kan worden verbeterd, omdat we niet langer gedurende de dag wijzigingen hoeven toepassen. Wanneer nieuwe records zijn ingevoegd, zijn ze beschikbaar in de wijzigingentabel en ze zijn direct beschikbaar in de live weergaven.

Schema's

Artefacten worden gegenereerd in een intern schema en een gegevenstaakschema.

Het interne schema bevat de fysieke gegevenstabellen.
Het gegevenstaakschema bevat de weergaven die u kunt gebruiken om de gegevens te verbruiken.

Als een schema is gekoppeld met meer dan één gegevenstaak, moet voor elke gegevenstaak een uniek prefix voor tabellen en weergaven worden gebruikt. U kunt het prefix instellen in de instellingen van de gegevenstaak.

Alleen interne schema's worden gecontroleerd op naamgevingsconflicten. Voor overige schema's dient u ervoor te zorgen dat er geen naamgevingsconflicten zijn in de tabelnamen. De aanbevolen procedure is om het interne schema dezelfde naam te geven als het gegevenstaakschema met _internal daaraan toegevoegd. Dit zorgt ervoor dat iedere combinatie van schema en prefix uniek is.

Alle tabellen en weergaven worden beheerd door Qlik Talend Data Integration. Wijzig de gegevens niet met behulp van andere tools.

Tabellen

De volgende tabellen worden gemaakt in het interne schema.

Huidige tabel (ODS)

Deze tabel bevat de replica van de gegevensbron die wordt bijgewerkt met wijzigingen gedurende de laatste toepassingsinterval.
Vorige tabel (HDS)

Deze tabel bevat historische gegevens van type 2. Deze wordt alleen gegenereerd als Geschiedenis is ingeschakeld in de gegevenstaakinstellingen.

Wanneer een brontabelrecord wordt bijgewerkt, wordt elke keer een nieuwe record toegevoegd aan de eerdere tabel. De geschiedenisrecord is een kopie van de vorige huidige record, die ook omvat wat was bijgewerkt en wanneer dit geldig was.

Gebruik een historieweergave of een historische liveweergave om historische gegevens te bekijken. Ga voor meer informatie naar Historieweergave en Historische liveweergave.
Wijzigingentabel

Deze tabel bevat alle wijzigingen die nog niet zijn toegepast op de huidige tabel. Deze wordt alleen gegenereerd als de tussenopslagmodus Volledige lading en CDC wordt gebruikt.

Weergaven

De volgende weergaven worden gemaakt in het schema voor de doelgegevenstaak. Welke weergaven worden gemaakt, is afhankelijk van of u liveweergaven en historie hebt ingeschakeld en of u wijzigingsverwerking gebruikt.

Huidige weergave
Liveweergave
Wijzigingenweergave
Historieweergave
Historische liveweergave

Alle namen van kopkolommen, beginnend met hdr__, zijn gereserveerd. Als u een weergave in een opslagtaak gebruikt, moet u de gebruikte kopkolommen in de opslagtaak hernoemen om een naamgevingsconflict te voorkomen, aangezien de opslagtaak weergaven met dezelfde kopkolommen zal genereren.

Huidige weergave

Naamgeving: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>_current

De volgende koptekstkolommen worden toegevoegd aan de tabelstructuur.

Koptekstvelden van tabel

Veld	Waardetype	Beschrijving
hdr__key_hash	varbinary(20)	Hash van alle primaire recordsleutels. Hash-indeling is SHA1. Kolommen worden gescheiden door een backspace-teken. Deze kolom wordt niet gegenereerd in Data mart-gegevenstaken.
hdr__key_id	INT64	Reeks oplopend per record. Deze kolom wordt alleen gegenereerd in Data mart-gegevenstaken.
hdr__from_timestamp	tijdstempel	Tijdstempel in UTC Voor gegevens uit volledige lading is het de starttijd van volledig laden. Voor een wijziging via wijzigingstabellen is het het tijdstempelveld van de record.
hdr__operation	string(1)	Laatste handeling van deze record. D - verwijderd uit wijzigingstabel. U - bijgewerkt vanuit wijzigingstabel. I - ingevoegd vanuit wijzigingstabel. L - ingevoegd door volledig laden. d - verwijderd uit vergelijken en toepassen. u - bijgewerkt vanuit vergelijken en toepassen. i - ingevoegd vanuit vergelijken en toepassen.
hdr__inserted_timestamp	tijdstempel	UTC-tijdstempel van de eerste keer dat de sleutel is toegevoegd. Bij het gebruik van volledige lading, de begintijd van de volledige lading.
hdr__modified_timestamp	tijdstempel	UTC-tijdstempel van wammeer de laatste update is toegepast.

Liveweergave

Liveweergaven tonen een weergave voor elke geselecteerde brontabel die de tabel samenvoegt met wijzigingen uit de wijzigingstabel. Hierdoor ontstaan queries met een liveweergave van de gegevens zonder dat u hoeft te wachten op de volgende toepassingscyclus. De wijzigingen die zijn samengevoegd vanuit de wijzigingstabelweergave zijn niet transactieconsistent tussen tabellen.

Liveweergaven worden alleen gemaakt als u Liveweergaven inschakelt in de instellingen van de gegevenstaak.

Naamgeving: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>< Suffix for live views>

Koptekstvelden van tabel

Veld	Waardetype	Beschrijving
hdr__key_hash	varbinary(20)	Hash van alle primaire recordsleutels. Hash-indeling is SHA1. Kolommen worden gescheiden door een backspace-teken. Deze kolom wordt niet gegenereerd in Data mart-gegevenstaken.
hdr__key_id	INT64	Reeks oplopend per record. Deze kolom wordt alleen gegenereerd in Data mart-gegevenstaken.
hdr__from_timestamp	tijdstempel	Tijdstempel in UTC Voor gegevens uit volledige lading is het de starttijd van volledig laden. Voor een wijziging via wijzigingstabellen is het het tijdstempelveld van de record.
hdr__operation	string(1)	Laatste handeling van deze record. D - verwijderd uit wijzigingstabel. U - bijgewerkt vanuit wijzigingstabel. I - ingevoegd vanuit wijzigingstabel. L - ingevoegd door volledig laden. d - verwijderd uit vergelijken en toepassen. u - bijgewerkt vanuit vergelijken en toepassen. i - ingevoegd vanuit vergelijken en toepassen.
hdr__inserted_timestamp	tijdstempel	UTC-tijdstempel van de eerste keer dat de sleutel is toegevoegd. Bij het gebruik van volledige lading, de begintijd van de volledige lading.
hdr__modified_timestamp	tijdstempel	UTC-tijdstempel van wanneer de laatste update is toegepast.
hdr__store	varchar(10)	Dit geeft aan waar de record zich bevindt. CURRENT - als de record zich in de huidige fysieke tabel bevindt. CHANGES - als de record zich in de wijzigingstabel bevindt.

Wijzigingenweergave

Dit is een weergave van de wijzigingstabel in het tijdelijke-tussenopslagschema voor elke geselecteerde brontabel.

Naamgeving: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>_changes

De volgende koptekstvelden worden toegevoegd aan de tabelstructuur.

Koptekstvelden van wijzigingstabel

Veld	Waardetype	Beschrijving
hdr__change_identifier	tekenreeks(50)	De wijzigings-id is een tekenreeks met twee delen: Tijdstempel in seconden van start van batch-uitvoering sinds 1/1/1970 (tiencijferige tekenreeks) Wijzigingsreeks van de replicatiegateway (35 tekens)
hdr__from_timestamp	tijdstempel	Tijdstempel in UTC Voor gegevens uit volledige lading is het de starttijd van volledig laden. Voor een wijziging via wijzigingstabellen is het het tijdstempelveld van de record.
hdr__to_timestamp	tijdstempel	Tijdstempel in UTC Voor gegevens uit volledige lading is het de starttijd van volledig laden. Voor een wijziging via wijzigingstabellen is het het tijdstempelveld van de record.
hdr__operation	string(1)	Laatste handeling van deze record. D - verwijderd uit wijzigingstabel. U - bijgewerkt vanuit wijzigingstabel. I - ingevoegd vanuit wijzigingstabel. L - ingevoegd door volledig laden. d - verwijderd uit vergelijken en toepassen. u - bijgewerkt vanuit vergelijken en toepassen. i - ingevoegd vanuit vergelijken en toepassen.
hdr__timestamp	tijdstempel	Tijdstempel in UTC.
hdr__key_hash	varbinary(20)	Hash van alle primaire recordsleutels. Deze kolom wordt niet gegenereerd in Data mart-gegevenstaken.
hdr__key_id	INT64	Reeks oplopend per record. Deze kolom wordt alleen gegenereerd in Data mart-gegevenstaken.

Historieweergave

Een historieweergave wordt gegenereerd in het gegevensassetschema voor elke geselecteerde brontabel als Historie is ingeschakeld in de gegevenstaakinstellingen. De volgende koptekstvelden worden toegevoegd.

Naamgeving: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>< Suffix for history views>

Koptekstvelden van historieweergave

Veld	Waardetype	Beschrijving
hdr__key_hash	varbinary(20)	Hash van alle primaire recordsleutels. Deze kolom wordt niet gegenereerd in Data mart-gegevenstaken.
hdr__key_id	INT64	Reeks oplopend per record. Deze kolom wordt alleen gegenereerd in Data mart-gegevenstaken.
hdr__store	varchar(10)	Dit geeft aan waar de record zich bevindt. CURRENT - als de record zich in de huidige fysieke tabel bevindt. PRIORS - als de record zich in de voorgaande tabel met historische gegevens bevindt.
hdr__operation	string(1)	Laatste handeling van deze record. D - verwijderd uit wijzigingstabel. U - bijgewerkt vanuit wijzigingstabel. I - ingevoegd vanuit wijzigingstabel. L - ingevoegd door volledig laden. d - verwijderd uit vergelijken en toepassen. u - bijgewerkt vanuit vergelijken en toepassen. i - ingevoegd vanuit vergelijken en toepassen.
hdr__deleted	bit	Geeft aan of de record is verwijderd, gebaseerd op if hdr__operation is D of d.
hdr__was _current_from_timestamp	tijdstempel	Tijdstempel in UTC voor de eerste keer dat de record actueel was.
hdr__was _current_to_timestamp	tijdstempel	Tijdstempel in UTC voor de laatste keer dat de record actueel was.

Historische liveweergave

Een historische liveweergave wordt gegenereerd in het gegevensassetschema voor elke geselecteerde brontabel die is samengevoegd met wijzigingen van de wijzigingstabel. De volgende koptekstvelden worden toegevoegd.

Naamgeving: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>< Suffix for live history views>

Koptekstvelden live historieweergaven

Veld	Waardetype	Beschrijving
hdr__key_hash	varbinary(20)	Hash van alle primaire recordsleutels. Deze kolom wordt niet gegenereerd in Data mart-gegevenstaken.
hdr__key_id	INT64	Reeks oplopend per record. Deze kolom wordt alleen gegenereerd in Data mart-gegevenstaken.
hdr__store	varchar(10)	Dit geeft aan waar de record zich bevindt. CURRENT - als de record zich in de huidige fysieke tabel bevindt. PRIORS - als de record zich in de voorgaande tabel met historische gegevens bevindt. CHANGES - als de record zich in de wijzigingstabel bevindt.
hdr__operation	string(1)	Laatste handeling van deze record. D - verwijderd uit wijzigingstabel. U - bijgewerkt vanuit wijzigingstabel. I - ingevoegd vanuit wijzigingstabel. L - ingevoegd door volledig laden. d - verwijderd uit vergelijken en toepassen. u - bijgewerkt vanuit vergelijken en toepassen. i - ingevoegd vanuit vergelijken en toepassen.
hdr__deleted	bit	Geeft aan of de record is verwijderd, gebaseerd op if hdr__operation is D of d.

Was deze pagina nuttig?

Als u problemen ervaart op deze pagina of de inhoud onjuist is – een typfout, een ontbrekende stap of een technische fout – laat het ons weten zodat we dit kunnen verbeteren!

Geef hier uw feedback