Gå till huvudinnehåll

Mellanlagra data

Första steget när data ska överföras är att mellanlagra dem. Data överförs kontinuerligt från den lokala datakällan till ett mellanlagringsområde med en Qlik Replicate-uppgift. Replikeringsuppgiften styrs av en datatillgång för mellanlagring i Qlik Cloud Data Services.

Innan du kan skapa en datatillgång för mellanlagring måste du skapa Qlik Replicate-uppgiften så som beskrivs i Skapa en replikeringsuppgift. Du måste även ha rollen Kan använda i utrymmet där Enterprise Manager-resursen finns.

Du kan använda två olika typer av mellanlagringsområden.

  • Amazon S3

    När du mellanlagrar dina data i en Amazon S3-bucket kan du använda dem till att generera QVD-tabeller som är redo för analys.

  • Snowflake

    När du mellanlagrar data till Snowflake kan du mellanlagra Snowflake-tabeller.

Skapa och konfigurera en datatillgång för mellanlagring

  1. Klicka på Lägg till nyData Services-startsidan och välj Skapa datatillgång.
  2. Ange följande i dialogen Skapa datatillgång:

    • Namn: Namnet på datatillgången för mellanlagring.

    • Utrymme: Datautrymmet där datatillgången för mellanlagring ska skapas.

    • Tillgångstyp: Välj Mellanlagring.

    Du kan lägga till taggar som gör det lättare att hitta datatillgångar på Data Services-startsidan.

    Välj Öppna för att öppna datatillgången för mellanlagring när den har skapats.

    Klicka på Skapa.

  3. Klicka på Välj Replicate-uppgift.

  4. Välj denEnterprise Manager-resurs du vill använda.

    Tips: Detta är den resurs som skapats enligt beskrivningen i Skapa koppling mellan Qlik Cloud och Qlik Enterprise Manager.
  5. Välj den Replicate-server som innehåller uppgiften du vill använda. Du kan välja en specifik server eller Alla.

    Listan med tillgängliga replikeringsuppgifter visas när du har valt en server.

    Observera: För att vara tillgänglig måste replikeringsuppgiften ha skapats enligt beskrivningen i Skapa en replikeringsuppgift.
  6. Välj replikeringsuppgiften.

  7. Klicka på Välj.

  8. Klicka på Spara.

Nu har datatillgången för mellanlagring i molnet skapats, och statusen bör vara Klar att köra med en indikation om att datatillgången inte har katalogiserats än.

Nu kan du göra något av följande:

  • Köra datatillgången för mellanlagring i molnet, vilket startar replikeringen. Tillgången kommer också att katalogiseras.

  • Katalogisera datatillgången för mellanlagring i molnet. Då blir datatillgången för mellanlagring i molnet tillgänglig som källa för en datatillgång för lagring utan att dataöverföringen startas.

    Klicka på Katalogisera om du vill katalogisera datatillgången.

    Varning: När du har katalogiserat datatillgången går det inte att göra ändringar i källdata som påverkar tabellurvalet eller strukturen i datatillgången. Det går inte heller att ändra målmappen. Alla sådana ändringar kräver att du återskapar datatillgången och alla tillgångar som använder den och redan har katalogiserats.

När tillgången har sparats och katalogiserats visas statusen Klar att köra med en indikation om att tillgången har katalogiserats. Nu kan du:

  • Förhandsgranska struktur och metadata i datatillgångstabellerna.

    Klicka på Tabeller.

  • Kör datatillgången för att starta replikeringsuppgiften som kontinuerligt överför data från den lokala datakällan till mellanlagringsområdet.

    Klicka på Kör.

  • Skapa en lagringsdatatillgång som baseras på denna mellanlagringsdatatillgång. Lagringsdatatillgången konverterar data i mellanlagringsområdet till tabeller som är redo för analys. Replikering och konvertering börjar inte förrän datatillgångarna körs.

    Mer information finns i Skapa en datatillgång för att generera QVD-tabeller

Köra datatillgången för mellanlagring

Nu kan du köra datatillgången för mellanlagring. Då startar replikeringsuppgiften som överför data från den lokala datakällan till mellanlagringsområdet.

  1. Klicka på Kör.

Nu bör replikeringen starta och motsvarande Qlik Replicate-uppgift bör köras. Först kopieras hela datakällan och sedan spåras ändringarna. Under denna period kommer datatillgången att ha statusen Körs. Det innebär att ändringar kontinuerligt spåras och överförs när de upptäcks. På så sätt hålls mellanlagringsdata i mellanlagringsområdet uppdaterade.

Data Services-hemsidan kan du visa status, datum och tid för när mellanlagrade data uppdateras och antalet tabeller med fel. Du kan även öppna datatillgången och välja fliken Tabeller om du vill visa grundläggande metadata för tabellerna.

Du kan övervaka förloppet i detalj genom att öppna replikeringsuppgiften i Qlik Enterprise Manager och välja vyn Övervaka.

För Qlik Cloud Landing (Amazon S3) gäller att om du laddar om tabeller skapas en ny kopia av den fullständiga laddningen. Det innebär att du kan ladda om tabeller samtidigt som mellanlagringsappar läser av ändringar utan problem.

Operationer för datatillgången för mellanlagring

Du kan utföra följande operationer på en datatillgång för mellanlagring från tillgångsmenyn.

  • Öppna

    Det här öppnar datatillgången för mellanlagring. Du kan se tabellvyn och information om datatillgången.

  • Redigera

    Du kan redigera tillgångens namn och beskrivning, och lägga till taggar.

  • Stoppa

    Du kan stoppa operationen för datatillgången. Replicate-uppgiften stoppas och mellanlagringsområdet uppdateras inte med ändrade data.

  • Återuppta

    Du kan återuppta operationen för en datatillgång från den punkt den stoppades. Även operationen för Replicate-uppgiften återupptas.

  • Ta bort

    Du kan ta bort datatillgången.

    Observera: Data i mellanlagringsområdet raderas inte. Du måste ta bort dem manuellt.

Vi rekommenderar att du inte utför uppgiften från Qlik Enterprise Manager utom för att ladda tabeller.

Reload Target (Ladda mål)-operationer på Qlik Replicate-uppgiften

Om du behöver köra en Reload Target (Ladda mål)-operation på Qlik Replicate-uppgiften måste du, för att undvika dataförlust, ta bort datatillgångarna för mellanlagring och lagring och sedan skapa dem igen.

  1. Stoppa Replicate-uppgiften om den inte redan har stoppats.

  2. Ta bort datatillgången för mellanlagring och datatillgången för lagring.

  3. Skapa en ny datatillgång för mellanlagring med Replicate-uppgiften.

  4. Skapa en ny datatillgång för lagring som använder datatillgången för mellanlagring.

  5. Kör den nya datatillgången för mellanlagring.

  6. Kör den nya lagringstillgången.

Underhåll av mellanlagringsområdet

Automatisk rensning av mellanlagringsområdet stöds inte. Detta kan påverka prestanda.
Vi rekommenderar att du manuellt rensar gamla fullständiga laddningar och ändringsdata i mellanlagringsområdet.

  • Amazon S3

    Om det finns flera mappar med fullständiga laddningsdata kan du ta bort allt utom den senaste mappen. Du kan även ta bort ändringsdatapartitioner som har bearbetats.

  • Snowflake

    Du kan radera tabellposter som har bearbetats.