Gå till huvudinnehåll
Skapa en datatillgång för lagring med ändringshantering i ett molndatalager

PÅ DEN HÄR SIDAN

Skapa en datatillgång för lagring med ändringshantering i ett molndatalager

Du skapar en datatillgång för lagring på Data Services-startsidan, som du kan komma till från navigeringsfältet. Lagringsdatatillgången hämtar data från mellanlagringsområdet i molnet, till exempel Snowflake, och konverterar dessa data till tabeller för analys. Data tillämpas återkommande på tabellerna från ändringar i indatatillgången med hjälp av CDC (Change Data Capture). Vyer skapas också för att erbjuda en mer mångsidig åtkomst till data i de lagrade tabellerna.

Inledning

När du genererar data i molndatalagret genereras lagringstabeller, ändringstabeller och vyer. När du konsumerar data är bästa praxis att använda vyer. Vyer har flera fördelar jämfört med tabeller, bland annat förbättrad datasamtidighet. Om du inte är säker på vilken vy du ska konsumera provar du standardvyn för tabeller först.

Tabeller och vyer som genereras av en lagringsdatatillgång som läser från en datatillgång för mellanlagring som använder ändringshantering

Följande tabeller och vyer skapas alltid:

  • Tabeller

    Tabeller innehåller fysiska data som lagras.

  • Standardvyer för tabeller

    Standardvyer för tabeller låter dig endast se data som används i tabellerna. Det innebär att de inte innehåller de senaste ändringstabelldata som inte tillämpats än. Standardvyer kan användas när konsekvens prioriteras framför latens.

  • Ändringstabellvyer

    Det här är en vy över ändringstabellen i mellanlagringschemat.

Du kan även välja att skapa följande avancerade vyer:

  • Standardvyer med rubriker

    Det här är en standardvy för en tabell med ytterligare rubrikfält som genereras av lagringsdatatillgången.

  • Livevyer

    Livevyer omfattar ändringstabelldata som inte har tillämpats än. Det innebär att du kan se data med lägre latens utan att behöva tillämpa ändrade data ofta. Livevyer är mindre effektiva än standardvyer och kräver mer resurser.

Mer detaljerad information om tabeller och vyer som genereras finns i -struktur för tabeller och vyer som genereras.

Skapa en lagringsdatatillgång

  1. Klicka på Lägg till ny på Data Integration-startsidan och välj sedan Skapa datatillgång.
  2. I dialogen Skapa datatillgång fyller du i följande fält:

    • Namn: Datatillgångens namn.

    • Utrymme: Specificera datatillgångens målutrymme.

    • Tillgångstyp: Välj Lagring (molndatalager).

    • Välj Öppna för att öppna datatillgången när den har skapats.

    Klicka på Skapa när du är klar.

  3. Klicka på Välj källdata.

  4. Välj den mellanlagringsdatatillgång du vill använda som källa för lagringsdatatillgången och klicka sedan på Välj. Välj en datatillgång för mellanlagring med uppgiftstypen Fullständig laddning + CDC. Uppgiftstypen visas i listvyn.

    Dialogen Inställningar visas.

  5. Konfigurera inställningar för Lagring

    • Koppling

      Välj datakopplingen med skrivbehörighet till molndatalagret för lagring och läsbehörighet till molndatalagret som används av datatillgången för mellanlagring. Om du inte har någon datakoppling måste du skapa en.

      Anteckning om informationOAuth-autentisering stöds inte för hybriddataleverans.
    • Internt schema

      Det här är namnet på schemat där tabeller skapas.

    • Datatillgångsschema

      Det här är namnet på schemat där vyer skapas.

    Anteckning om informationDu kan använda samma schema som Internt schema och Datatillgångsschema, men genom att hålla dem separata kan du ställa in åtkomst på olika nivåer till schemana. Du kan till exempel begränsa åtkomsten till Internt schema och tillåta åtkomst till Datatillgångsschema för alla konsumenter.
  6. Konfigurera inställningar för Tabeller och vyer

    Följande kommer alltid att skapas:

    • Tabeller

    • Standardvyer för tabeller

    • Standardvyer för ändringstabeller

    Du kan även välja att skapa följande vyer:

    • Standardvyer med rubriker

    • Livevyer

      Om du vill att livevyerna ska vara transaktionskonsekventa, väljer du Transaktionskonsekventa livevyer. När det här alternativet har valts, uppdateras statustabellerna efter varje batchuppdatering, som standard varje minut om det finns ändringar. För detta krävs mer frekvent åtkomst till molndatabasen. Beroende på din molndatabasleverantör kan det betyda att molndatabasen aldrig stängs av tillfälligt på grund av inaktivitet.

  7. Konfigurera inställningar för Prefix och suffix

    Du kan ställa in ett prefix för att identifiera resurserna som genereras av den här datauppsättningen. Det gör det även möjligt för dig att återanvända samma schema i flera datatillgångar eftersom du kan skilja på tabeller och vyer med prefix.

    Du kan även ställa in suffix för vyerna som genereras.

  8. Konfigurera inställningar för Körning

    • Du kan ställa in Tillämpningsintervall i minuter.

      Det ställer in hur ofta ändrade data tillämpas i lagringstabellen. Intervallet kan vara från 1 minut till 1 440 minuter (7 dagar).

      Vi rekommenderar att du inte ställer in det här intervallet lägre än uppdateringsfrekvensen i den relaterade Qlik Replicate-uppgiften. Om du tillämpar data mer ofta kommer det även att leda till högre resurskostnader i det molnbaserade målet.

      Alternativt kan du, om du ibland behöver låglatensdata, låta Tillämpningsintervall vara högt och använda livevyer.

    • Du kan ställa in det maximala antalet databaskopplingar i Parallell körning.

    Parametrar för Körning kan ändras efter att datatillgången har katalogiserats och körts. Ändringen kommer att påverka nästa faktiska behandling.

  9. Bekräfta dina inställningar genom att klicka på OK. Nu kan du förhandsgranska tabellvyn innan du börjar generera datauppsättningar.

  10. Spara datatillgången genom att klicka på Spara.

  11. Klicka på Kör för att börja generera datauppsättningar.

Tabellerna kommer nu att genereras och fyllas på med data om du redan har utfört en fullständig laddning av mellanlagringsdata.

Övervaka tabellgenerering

Du kan övervaka status och förlopp för tabellgenerering genom att klicka på Övervaka. När den första laddningen körs kan du visa förloppet i Status för fullständig laddning. När ändringar har bearbetats kan du även visa statusen och förloppet för Senaste batchen med ändringar.

Du kan visa följande information för varje tabell eller ändring:

  • Tillstånd

    Visar aktuellt tillstånd för tabellen eller ändringen.

    • Slutförd – laddningen eller ändringen har slutförts utan fel.

    • Laddar – tabellen eller ändringen bearbetas.

    • I kö – tabellen eller ändringen väntar på att bearbetas.

    • Fel – ett fel uppstod när tabellen eller ändringen bearbetades.

  • Påbörjad

    Tidpunkten laddningen eller bearbetningen av ändringen började.

  • Avslutat

    Tidpunkten laddningen eller bearbetningen av ändringen avslutades.

  • Varaktighet

    Hur lång tid laddningen eller bearbetningen av ändringen pågick i formatet hh:mm:ss.

  • Behandlade poster

    Antalet poster som bearbetades under laddningen eller ändringen.

  • Kapacitet (poster/sekund)

    Kapaciteten uppdateras inte förrän laddningen är klar.

  • Meddelande

    Visar ett felmeddelande om laddningen eller ändringen inte kunde bearbetas utan fel.

Tabellerna kommer att uppdateras kontinuerligt med nya data, efter hand som mellanlagringsdata uppdateras av replikeringsuppgiften. Varje batch avser poster från en viss tidsperiod. Du kan se tidsperioden för den senaste batchen i Senaste batchen med ändringar.

Du kan även titta på datatillgångskortet på Data Services-startsidan. När Datatillgången har uppdaterats till visar datum och tid för den senaste uppdateringen, bör tabellerna vara tillgängliga under Data i Analytics Hub.

Data från alla transaktioner i källan fram till tidpunkten som visas i Datatillgången har uppdaterats till är tillgängliga och kan användas från den här datatillgången. Den här informationen är tillgänglig för en datatillgång så snart alla tabeller har laddats och den första uppsättningen ändringar har tillämpats. Om du valde att generera livevyer kan du även visa när livevyer uppdateras.

Om det kommer en batch med ändringar innan den första laddningen är klar, uppdateras inte Data har uppdaterats till i tillgångskortet förrän den första laddningen är klar och den första batchen med ändringar har tillämpats. Antag till exempel att du laddar en datatillgång som innehåller en ordertabell med en miljon order, och en tabell med orderdetaljer som innehåller 10 miljoner orderdetaljer. Det tar 10 respektive 20 minuter att utföra en fullständig laddning av tabellerna. Ordertabellen laddas först, och sedan tabellen med orderdetaljer. Medan ordertabellen laddades infogades en ny order. Så när orderdetaljerna laddas kan information om den nya ordern ingå som ännu inte finns i ordertabellen. Ordertabellen och tabellen med orderdetaljer kommer endast att vara synkroniserade och helt uppdaterade till samma tid efter att den första batchen med ändringar har tillämpats.

Anteckning om informationNär du har börjat generera tabeller går det inte att ändra inställningarna eller de datauppsättningar som ingår.

Operationer för lagringsdatatillgången

Du kan utföra följande åtgärder på en lagringsdatatillgång från tillgångsmenyn på Data Services-startsidan.

  • Öppna

    Detta öppnar lagringsdatatillgången. Du kan visa tabellvyn och information om datatillgången, och övervaka statusen för den fullständiga laddningen och batcher med ändringar.

  • Redigera

    Du kan redigera tillgångens namn och beskrivning, och lägga till taggar.

  • Stoppa

    Du kan stoppa operationen för datatillgången. Datatillgången kommer inte att fortsätta uppdateringen av tabellerna.

  • Återuppta

    Du kan återuppta operationen för en datatillgång från den punkt den stoppades.

  • Ta bort

    Du kan ta bort datatillgången.

Ladda tabeller

Du kan ladda tabeller i en datatillgång för lagring när datatillgången är öppen och appen körs. Laddningen startar när nästa batch med ändringar har bearbetats.

Om mellanlagrade data är äldre än 96 timmar måste du ladda tabellerna i den mellanlagringsdatatillgång som förser datatillgången med data innan du kör datatillgången.

  • Ladda alla tabeller:

    Klicka på och sedan på Ladda.

  • Ladda specifika tabeller:

    1. Öppna fliken Övervaka.

    2. Välj tabellerna du vill ladda.

    3. Klicka på Ladda tabeller.

Om ett fel uppstod i Replicate-uppgiften måste du ladda mellanlagringsdatatillgången från Replicate-uppgiften innan du kan utföra en laddning i lagringsdatatillgången.

-struktur för tabeller och vyer som genereras

Det här avsnittet beskriver strukturen för tabeller och vyer som genereras i datatillgångsschemat och det interna schemat.

Alla tabeller och vyer hanteras av Qlik Data Services. Ändra inte data med andra verktyg.

Tabeller

Tabeller genereras i det interna schemat.

Namngivning: <INTERNT_SCHEMA>.[<PREFIX>]<TABELLNAMN><suffix för tabeller>

Följande rubrikfält läggs till i tabellstrukturen.

Tabellrubrikfält
Fält Typ Beskrivning
hdr__key_hash binary(20)

Hash för alla primära nycklar för post.

Hashformat är SHA1. Fält separeras av ett backstegstecken.

hdr__timestamp tidsmarkör

Tidsmarkör i UTC

  • För data som tagits från en fullständig laddning är detta starttiden för fullständig laddning.

  • För en förändring som kommer genom ändringstabeller är det tidsmarkörfältet för posten.

hdr__operation string(1)

Senaste åtgärden för den här posten.

  • U – uppdaterat från ändringstabellen.

  • I – infogat från ändringstabellen.

  • L – infogat av uppgiften fullständig laddning.

Raderingar i mellanlagringsdata översätts till hårda raderingar.

Tabell för tillgångstillstånd

Tabellen för tillgångstillstånd genereras i det interna schemat. Det används till att underhålla den senast tillämpade sekvensen och den senaste sekvensen som rapporterats av Qlik Replicate för enhetliga transaktioner. Alla objekt i en datatillgång använder samma tabell för tillgångstillstånd.

Namngivning: <INTERNT_SCHEMA>.[<PREFIX>]TILLGÅNGSTILLSTÅND__<DATATILLGÅNGS-ID>

Fält i tabell för tillgångstillstånd
Fält Typ Beskrivning
hdr__dataset_id binary(20)

Datauppsättnings-ID.

hdr__change_seq string(35)

Senaste förändringssekvens som tillämpats.

hdr__timestamp tidsmarkör

Tid för senast genomförda transaktion som tillämpats i UTC.

Standardvyer för tabeller

En standardvy med rubriker genereras i datatillgångsschemat för varje vald källtabell. Den här vyn omfattar alla ursprungliga fält från tabellstrukturen men omfattar inte rubrikfälten som läggs till i tabellen i det interna schemat.

Namngivning: <DATATILLGÅNGSSCHEMA>.[<PREFIX>]<TABELLNAMN>< Suffix för standardvyer för tabeller>

Standardvyer med rubriker

En standardvy med rubriker kan även genereras i datatillgångsschemat för varje vald källtabell. Den här vyn omfattar rubrikfälten som läggs till i tabellen.

Namngivning: <DATATILLGÅNGSSCHEMA>.[<PREFIX>]<TABELLNAMN>< Suffix för standardvyer med rubriker>

Livevyer

Livevyer visar en vy för varje vald källtabell som kombinerar tabellen med ändringar från ändringstabellen. Då visas en livevy med data för frågorna utan att du behöver vänta på nästa användningscykel. Ändringar som slås samman från ändringstabellvyn är transaktionskonsekventa mellan tabeller som använder händelser från Replicate. Livevyer genereras i datatillgångsschemat.

I en livevy över datatillgångar utförs en åtgärd i det molnbaserade målet varje minut som standard om det finns ändringar. Detta kan ändras i Qlik Replicate.

Namngivning: <DATATILLGÅNGSSCHEMA>.[<PREFIX>]<TABELLNAMN>< Suffix för livevyer>

Ändringstabellvyer

Det här är en vy över ändringstabellen i mellanlagringschemat för varje vald källtabell.

Namngivning: <DATATILLGÅNGSSCHEMA>.[<PREFIX>]<TABELLNAMN>< Suffix för vyer av ändringstabeller>

Följande rubrikfält läggs till i tabellstrukturen.

Ändringstabellens rubrikfält
Fält Typ Beskrivning
hdr__change_seq string(35) Ändra sekvens från Qlik Replicate.
hdr__operation string(1)

Senaste åtgärden för den här posten.

  • U – uppdaterat.

  • I – infogat.

  • D – raderat.

hdr__timestamp tidsmarkör

Tidsmarkör i UTC från Qlik Replicate.

hdr__key_hash binary(20)

Hash för primära nycklar för alla poster från Qlik Replicate-ändringstabellen.