Inställningar för Lake-mellanlagring

Följande inställningar för Lake-mellanlagringsaktivitet gäller för Qlik Open Lakehouse-projekt som använder en databas- eller SaaS-källa.

Du kan konfigurera inställningar för datauppgiften för mellanlagring.

• Öppna mellanlagringsuppgiften och klicka på Inställningar i verktygsfältet.

Dialogrutan Inställningar: <Uppgift-Namn> öppnas. De tillgängliga inställningarna beskrivs nedan.

Allmänt

Uppdateringsmetod

Mellanlagringsuppgiften börjar alltid med en Fullständig laddning. När den Fullständiga laddningen har slutförts kan du hålla mellanlagrade data uppdaterad med någon av följande metoder:

Anteckning om informationDet går inte att ändra uppdateringsmetod när förberedelseåtgärden för mellanlagringsdatauppgiften har slutförts.

• Sammanställning av ändringsdata (CDC)

  Mellanlagrade data hålls uppdaterade med hjälp av tekniken CDC (Change Data Capture). CDC kanske inte stöds av alla datakällor. CDC samlar inte in DDL-åtgärder, till exempel namnbyte för kolumner eller ändringar av metadata.

  Om dina data även innehåller vyer eller tabeller som inte stöder CDC kommer två datapipelines att skapas. En pipeline med alla tabeller som stöder CDC, och en annan pipeline med alla andra tabeller och vyer som använder Läs in som uppdateringsmetod.

• Ladda igen

  Alla mellanlagrade data laddas från källan. Det här är användbart om din källa inte har stöd för CDC men kan användas med alla datakällor som stöds.

  Du kan schemalägga regelbundna laddningar.

  Anteckning om informationDen här inställningen är inte tillgänglig för kopplingar för förhandsgranskning av SaaS-applikationer. Kopplingar för förhandsgranskning anges med en -knapp, både i dialogrutan Skapa koppling och i onlinehjälpen.

Mapp som ska användas

Välj vilken mapp som ska användas när data mellanlagras i mellanlagringsområdet.

• Standardmapp

  Detta skapar en mapp med standardnamnet: <projektnamn>/<datauppgiftens namn>.

• Rotmapp

  Lagra data i lagringens rotmapp.

• Mapp

  Ange namnet på mappen som ska användas.

Datauppladdning

Filattribut

Konfigurera filinställningarna för att ladda upp data.

• Fältavgränsare

  Tecknet för fältavgränsare som används i källfilen. Standard är ",".

• Null-värde

  Valfri standardsträng för att ersätta null-värden i källfilen.

• Postavgränsare

  Tecknet för postavgränsare som används i källfilen. Standard är "\n".

• Citationstecken

  Citationstecknet som används i källfilen. Standard är """.

• Undantagstecken för citat

  Undantagstecknet för citat som används i källfilen. Standard är """.

• Maximal filstorlek (KB)

  Den maximala storleken en fil kan nå innan den stängs. Mindre filer kan laddas upp snabbare (beroende på nätverket) och förbättrar prestandan när de används i kombination med alternativet parallell körning. Att belamra databasen med små filer anses emellertid generellt vara en dålig arbetsmetod.

• Komprimera filer med

  När detta är markerat komprimeras CSV-filerna med GZIP.

  Anteckning om information

  • Kräver Gateway för dataflytt 2023.5.16 eller senare.

Metadata

LOB-kolumner

• Inkludera LOB-kolumner och begränsa kolumnstorleken till (KB):

  Du kan välja att inkludera LOB-kolumner i aktiviteten och ange maximal LOB-storlek. LOB:ar som är större än den maximala storleken kommer att trunkeras.

Fullständig laddning

Prestandajustering

• Maximalt antal tabeller att ladda parallellt: Ange det maximala antalet tabeller som ska laddas till målet samtidigt. Standardvärdet är 5.

• Tidsgräns för transaktionskonsistens (sekunder): Ange det antal sekunder som ska väntas på att öppna transaktioner stängs innan den fullständiga laddningen påbörjas. Standardvärdet är 600 (10 minuter). Den fullständiga laddningen startar efter att tidsgränsen har nåtts även om det finns transaktioner som fortfarande är öppna.

  Anteckning om informationFör att replikera transaktioner som var öppna när den fullständiga laddningen startade men som genomfördes först efter att tidsgränsen nåddes, måste du ladda om måltabellerna.
• Bekräftelsefrekvens under fullständig laddning: Det maximala antalet händelser som kan överföras tillsammans. Standardvärdet är 10000.

Efter att fullständig laddning har slutförts

Skapa primärnyckel eller unikt index: Välj det här alternativet om du vill fördröja skapandet av primärnyckeln eller det unika indexet på dataplattformen tills efter att den fullständiga laddningen har slutförts.

Felhantering

För datatrunkeringsfel: Välj vad du vill ska hända när en trunkering sker i en eller flera poster. Du kan välja något av följande från listan:

• Ignorera: Uppgiften fortsätter och felet ignoreras.
• Inaktivera tabell: Uppgiften fortsätter men data från tabellen med felposten flyttas till ett feltillstånd och dess data replikeras inte
• Stoppa uppgift: Uppgiften stoppas och manuellt ingrepp krävs.

För övriga datafel: Välj vad du vill ska hända när ett fel sker i en eller flera poster. Du kan välja något av följande från listan:

• Ignorera: Uppgiften fortsätter och felet ignoreras.
• Inaktivera tabell: Uppgiften fortsätter men data från tabellen med felposten flyttas till ett feltillstånd och dess data replikeras inte
• Stoppa uppgift: Uppgiften stoppas och manuellt ingrepp krävs.

Eskalera felhantering när övriga datafel når (per tabell) : Välj den här kryssrutan för att eskalera felhantering när antalet icke-trunkeringsdatafel (per tabell) når det angivna antalet: Giltiga värden är 1–10 000.

Eskaleringsåtgärd: Välj vad som ska hända när felhantering eskaleras. Observera att de tillgängliga åtgärderna beror på vilken åtgärd som väljs från listrutan För övriga datafel som beskrivs ovan.

• Inaktivera tabell (standard): Uppgiften fortsätter men data från tabellen med felposten flyttas till ett feltillstånd och dess data landed inte.

• Stoppa uppgift: Uppgiften stoppas och manuellt ingrepp krävs.

Tabellfel

Antal försök innan ett tabellfel returneras

Det här alternativet låter dig styra när principen för hantering av tabellfel ska utlösas. Som standard, efter att ett tabellfel uppstått, kommer tabellen att pausas eller uppgiften att stoppas (enligt den valda åtgärden) efter tre försök. Ibland uppstår ett tabellfel på grund av planerat underhåll av SaaS-applikationen. I dessa fall kanske standardantalet försök inte räcker för att underhållet ska slutföras innan principen för hantering av tabellfel utlöses. Detta beror också på uppgiftens schemaläggningsintervall, eftersom ett nytt försök kommer att utföras varje gång uppgiften körs. Så, till exempel, om du schemalägger en uppgift att köras varje timme och SaaS-applikationen tas offline för underhåll precis när uppgiften börjar köras, kommer standardinställningen med tre försök att tillåta att SaaS-applikationen är offline i upp till tre timmar utan att principen för hantering av tabellfel utlöses. Ett längre underhållsfönster skulle kräva att du ökar antalet försök (eller ändrar schemaläggningen) för att förhindra att principen för hantering av tabellfel utlöses.

Sammanfattningsvis, om du är medveten om att din SaaS-applikation genomgår periodiskt underhåll, är bästa praxis att öka antalet försök enligt schemaläggningen så att underhållet kan slutföras utan att principen för hantering av tabellfel utlöses.

När du stöter på ett tabellfel: välj något av följande från listrutan:

• Stänga av tabell (standard): uppgiften fortsätter men data från tabellen med felposten flyttas till ett feltillstånd och dess data replikeras inte.
• Stoppa uppgift : uppgiften stoppas och manuellt ingrepp krävs.

Eskalera felhantering när tabellfel når (per tabell): välj den här kryssrutan för att eskalera felhantering när antalet tillämpningskonflikter (per tabell) når det angivna antalet. Giltiga värden är 1–10 000.

Eskaleringspolicy: eskaleringspolicyn för tabellfel är inställd på Stoppa uppgift och kan inte ändras.

Miljö

• Maximalt antal nya försök: Välj det här alternativet och ange sedan det maximala antalet försök att utföra en uppgift igen när ett återställningsbart miljöfel inträffar. Efter att uppgiften har försökt utföras det angivna antalet gånger stoppas uppgiften och manuellt ingrepp krävs.

  För att aldrig försöka utföra uppgiften igen avmarkerar du kryssrutan eller anger "0".

  För att försöka utföra uppgiften ett oändligt antal gånger anger du "-1".

  • Mellanrum mellan försök (sekunder): Använd räknaren för att välja eller ange antalet sekunder som systemet väntar mellan försöken att utföra en uppgift.

    Giltiga värden är 0–2 000.

• Förläng intervallet mellan försök vid långa avbrott: Välj den här kryssrutan för att förlänga intervallet mellan försök vid långa avbrott. När det här alternativet är aktiverat fördubblas intervallet mellan varje försök tills Maximalt intervall nås (och fortsätter att försöka enligt det angivna maximala intervallet).
  • Maximalt intervall mellan försök (sekunder): Använd räknaren för att välja eller ange antalet sekunder för väntetiden mellan försöken att utföra en uppgift när alternativet Förläng intervallet för nytt försök vid långa avbrott är aktiverat. Giltiga värden är 0–2 000.

Finjustering av ändringshantering

Finjustering av transaktionsavlastning

Avlasta pågående transaktioner till disk om:

Transaktionsdata behålls normalt i minnet tills det är fullständigt överfört till målet eller källan. Men transaktioner som är större än det tilldelade minnet eller inte överförs inom den angivna tidsgränsen kommer att avlastas till disk.

• Total minnesstorlek för alla transaktioner överskrider (MB): den maximala storleken som alla transaktioner kan uppta i minnet innan de avlastas till disk. Standardvärdet är 1024.
• Transaktionens varaktighet överskrider (sekunder): den maximala tiden som varje transaktion kan uppta i minnet innan de avlastas till disk. Varaktigheten beräknas från tiden som Qlik Talend Data Integration började registrera transaktionen. Standardvärdet är 60.

Finjustering av batchar

• Maximalt antal ändringar per transaktion: Det minsta antalet ändringar som ska tas med i varje transaktion. Som standard är värdet 1000.

  Anteckning om information

  Ändringarna tillämpas i målet antingen när antalet ändringar är lika med eller större än värdet Minsta antalet ändringar per transaktion ELLER när värdet Maximal tid att samla transaktioner i batcher före tillämpning (sekunder) som beskrivs nedan nås, beroende på vilket som kommer först. Eftersom frekvensen av ändringar som tillämpas på målet styrs av dessa två parametrar kommer ändringar i källposterna eventuellt inte att återspeglas omedelbart i målposterna.

• Maxtid att samla transaktioner i batcher före tillämpning (sekunder): maxtiden för att samla transaktioner i batcher innan en tidsgräns överskrids. Som standard är värdet 1.

Diverse finjusteringar

• Cachestorlek för satser (antal satser): Det maximala antalet förberedda satser som ska lagras på servern för senare körning (när ändringar tillämpas på målet). Standardvärdet är 50. Maxvärdet är 200.

• DELETE och INSERT när en primärnyckelkolumn uppdateras: För det här alternativet måste full kompletterande loggning vara aktiverat i källdatabasen.

Schemaevolution

Välj hur följande typer av DDL-ändringar i schemat ska hanteras. När du har ändrat inställningarna för schemaevolution måste du förbereda aktiviteten igen. Tabellen nedan beskriver vilka åtgärder som är tillgängliga för de DDL-ändringar som stöds.

Teckenersättning

Du kan ersätta eller ta bort källtecken i måldatabasen och/eller du kan ersätta eller ta bort källtecken som inte stöds av en vald teckenuppsättning.

Byta ut eller radera källtecken

Använd tabellen Ersätt eller ta bort källtecken för att definiera ersättningar för specifika källtecken. Detta kan exempelvis vara användbart när Unicode-representationen av ett tecken är olika på käll- och målplattformarna. Exempelvis visas minustecknet i teckenuppsättningen Shift_JIS som U+2212 på Linux, men på Windows visas det som U+FF0D.

Ersätta eller ta bort källtecken som inte stöds av den valda teckenuppsättningen.

Använd tabellen Källtecken som inte stöds av teckenuppsättning för att definiera ett enda ersättningstecken för alla tecken som inte stöds av den valda teckenuppsättningen.

Fler alternativ

Dessa alternativ visas inte i gränssnittet eftersom de bara är relevanta för specifika versioner eller miljöer. Konfigurera därför inte dessa alternativ om du inte uttryckligen har blivit instruerad att göra det av Qlik Support eller om det står i produktdokumentationen.Qlik

För att ställa in ett alternativ kopierar du bara alternativet i fältet Lägg till funktionsnamn och klickar på Lägg till. Ställ sedan in värdet eller aktivera alternativet enligt de instruktioner du har fått.

Ladda datamängdssegment parallellt

Under fullständig laddning kan du påskynda laddningen av stora datamängder genom att dela upp datamängden i segment, vilka laddas parallellt. Tabeller kan delas upp efter dataintervall, alla partitioner, alla underpartitioner eller specifika partitioner.

Mer information finns i Parallell mellanlagring av datauppsättningssegment

Schemalägga CDC-aktiviteter vid arbete utan Gateway för dataflytt

Gateway för dataflytt stöds inte med en Qlik Talend Cloud Starter-prenumeration och är valfri med andra prenumerationsnivåer. När du arbetar utan Gateway för dataflytt håller du måldata uppdaterade genom att ställa in ett schemaläggningsintervall. Schemat avgör hur ofta måldatamängderna uppdateras med ändringar i källdatamängderna. Medan schemat avgör uppdateringsfrekvensen avgör datamängdstypen uppdateringsmetoden. Om källdatamängderna stöder CDC (Change data capture) kommer endast ändringarna i källblandningen att replikeras och tillämpas på motsvarande måltabeller. Om källdatamängderna inte stöder CDC (till exempel vyer) tillämpas ändringar genom att alla källdata laddas om till motsvarande måltabeller. Om vissa av källdatamängderna stöder CDC och andra inte gör det, skapas två separata underaktiviteter: en för att ladda om de datamängder som inte stöder CDC, och den andra för att samla in ändringarna för de datamängder som stöder CDC. I det här fallet rekommenderas det starkt att ställa in samma schema för båda underaktiviteterna för att säkerställa datakonsistens.

Information om minsta schemaläggningsintervall beroende på typ av datakälla och prenumerationsnivå finns i Minsta tillåtna schemaläggningsintervall.

Så här ändrar du schemaläggningen:

1. Öppna ditt pipeline-projekt och gör sedan något av följande:

   • In aktivitetsvyn klickar du på på dataaktiviteten och väljer Schemaläggning.
   • In pipeline-vyn klickar du på på dataaktiviteten och väljer Schemaläggning.
   • Öppna mellanlagringsaktiviteten och klicka på verktygsfältsknappen Schemaläggning .
2. Ändra schemaläggningsinställningarna efter behov och klicka sedan på OK.