Inställning för mellanlagring i en datareservoar

Du kan ändra standardinställningen för mellanlagring i datareservoar efter dina behov.

Allmänt

Uppdateringsmetod

Du kan mellanlagra data i två olika lägen. Det går inte att ändra läge när mellanlagringsuppgiften för datareservoar har förberetts.

• Sammanställning av ändringsdata (CDC): Mellanlagringsuppgiften för datareservoaren börjar med en fullständig laddning (under denna mellanlagras alla valda tabeller). Mellanlagrade data hålls sedan uppdaterade med hjälp av CDC-teknik (Change Data Capture).

  Anteckning om informationCDC (Change Data Capture) av DDL-operationer stöds inte.
• Ladda: Utför en fullständig laddning av data från de valda källtabellerna till målplattformen och skapar måltabellerna vid behov. Den fullständiga laddningen sker automatiskt när uppgiften startar, men kan också utföras manuellt eller schemalagt om den behöver upprepas periodiskt.

Mapp som ska användas

Välj en av följande beroende på vilken bucketmapp du vill att filerna ska skrivas till:

• Standardmapp: Standardmappformatet är <ditt-projekt-namn>/<din-uppgifts-namn>
• Rotmapp: filerna kommer att skrivas direkt till bucketen.

• Mapp: ange mappens namn. Mappen kommer att skapas under mellanlagringsuppgiften för datareservoaren om den inte finns.

  Anteckning om information Mappnamnet får inte innehålla specialtecken (exempelvis @, #, ! och så vidare).

Ändra datauppdelning

I en vanlig mellanlagringsuppgift mellanlagras ändringar i målet utan inbördes ordning. Ändra datapartitionering möjliggör bearbetning av ändringsdata från många tabeller på ett enhetligt sätt. Du kan definiera varaktigheten för partitioner och tidsperioden för partitioneringen så att den övergripande enhetligheten för partitionerade data säkerställs (dvs. inga delvisa transaktioner, inga orderrubriker utan orderrader och så vidare).

Information om partitionerna registreras i Kontrolltabellen attrep_cdc_partitions i måldatabasen. Den här informationen kan användas för att identifiera partitionerade data som behöver bearbetas ytterligare.

Partitionsalternativen följer här:

• Partition every - Ange längden (i timmar och minuter) för varje partition.

  Anteckning om information

  Vi rekommenderar att du anger en partitionslängd på minst en timme. Även om latensen kan förbättras genom att ange en partitionslängd som är mindre än en timme kan (mål-) prestandan även påverkas genom att skapa många partitioner på målet (särskilt på system med stora volymer med ändringar).

  Om du återupptar en uppgift från före (BEFORE) den tid då den senaste partitionen skapades kommer mellanlagringsuppgiften i datareservoar skriva till en partition som redan har stängts.

• Tidsperiod för partitioner - Partitioner skapas under en 24-timmarsperiod som beräknas enligt den specificerade "tidsperiod för partitionering" på källdatabasen i UTC-tid. Ett uppdelningsintervall på 8 timmar med en "bastid för uppdelning" kl. 02:00 skapar t.ex. följande uppdelningar: 02:00-10:00, 10:00-18:00, 18:00-02:00, men inte nödvändigtvis i den ordningen. Om en aktivitet startade kl. 01:00, kommer tidsramarna för den första uppdelningen att vara 18:00-02:00. Om en aktivitet startar mitt i en uppdelning (t.ex. kl. 04:00) kommer dess ändringsdata att inkluderas i 02:00-10:00-uppdelningen även om inga ändringar registrerade före kl. 04:00.

Uppladdning av data

Filattribut

Fältavgränsare

Den avgränsare som kommer att användas för att separera fält (kolumner) i målfilerna. Standardvärdet är ett komma.

Exempel på att använda ett komma som avgränsare:

"mike","male"

Avgränsare kan vara standardtecken eller ett hexadecimalt (hex-) värde. Observera att prefixet "0x" måste användas för att ange en hexadecimal avgränsare (t.ex. 0x01 = SOH). I fälten Fältavgränsare, Postavgränsare och Null-värde kan avgränsaren bestå av konkatenerade hexvärden (t.ex. 0x0102 = SOHSTX), medan den bara kan vara ett enstaka hexvärde i fälten Citattecken och Citat-undantagstecken.

Hexadecimaltalet 0x00 stöds inte (dvs. endast 0x01-0xFF stöds).

Null-värde

Strängen som kommer att användas för att ange ett nullvärde i målfilerna.

Exempel (där \n är postavgränsaren och @ är nullvärdet):

Postavgränsare

Den avgränsare som kommer att användas för att separera fält (kolumner) i målfilerna. Standard är ett nyradstecken (\n).

Exempel:

Citattecken

Det tecken som kommer att användas i början och på slutet av en textkolumn. Standard är dubbelcitattecknet ("). När en kolumn som innehåller kolumnavgränsare är omsluten av dubbelcitattecken tolkas kolumnavgränsartecknen som verkliga data och inte som kolumnavgränsare.

Exempel (där är citattecknet):

Citat-undantagstecken

Det tecken som används för att undanta ett citattecken finns i de aktuella data. Standard är dubbelcitattecknet (").

Exempel (där " är citattecknet och \ är undantagstecknet):

Parquet-version

Välj vilken version som ska användas beroende på vilken version som målplattformen har stöd för. Observera att Parquet version 1.0 endast har stöd för tidsmarkörenheten MICRO , medan Parquet version 2.6 har stöd både för tidsmarkörerna MICRO och NANO.

Tidsmarkörenhet för Parquet

Om Parquet-versionen ställs in till 2.6 väljer du MICRO eller NANO. Om Parquet-versionen ställs in till 1.0 stöds bara MICRO.

Högsta LOB-storlek (kB) för Parquet

Standardvärdet för maximal LOB-storlek är 64 KB och maxvärdet du kan ange i det här fältet är 10 000 KB. Hantering av LOB-kolumner kräver större resurser, vilket i sin tur påverkar prestandan. Öka bara det här värdet om du replikerar LOB-data som är större än 64 KB och all LOB-data ska replikeras till målet.

Maximal filstorlek

Den maximala storleken en fil kan nå innan den stängs (och eventuellt komprimeras).

Den maximala storleken en fil kan nå innan den stängs. Mindre filer kan laddas upp snabbare (beroende på nätverket) och förbättrar prestandan när de används i kombination med alternativet parallell körning. Att belamra databasen med små filer anses emellertid generellt vara en dålig arbetsmetod.

Komprimera filer med

Välj ett av komprimeringsalternativen för att komprimera målfilerna NONE (standard) för att lämna dem okomprimerade. Observera att de tillgängliga komprimeringsalternativen beror på vilket filformat som har valts.

Lägg till metadatahuvud

Om du vill kan du lägga till en rubrikrad i datafilerna. Rubrikraden kan innehålla källkolumnens namn och/eller datatyperna på mellannivå (dvs. Data Movement gateway.

Exempel på en målfil med en rubrikrad när både Med kolumnnamn och Med datatyper har valts:

Position:DECIMAL(38,0),Color:VARCHAR(10)

1,"BLUE"

2,"BROWN"

3,"RED"

...

Ändra behandling

I det här delavsnittet beskrivs villkorliga inställningar i Ändringsbearbetning.

Tillämpa/lagra ändringar när

• Filstorleken når: Ange den maximala mängden ändringsdata som får ackumuleras innan filen laddas upp till målet.
• Tiden som har förflutit når: Tiden som har förflutit når x.

Metadatafiler

När alternativet Skapa metadatafiler i målmappen väljs kommer en motsvarande metadatafil med filtillägget .dfm att skapas i den angivna målmappen. Metadatafilerna innehåller ytterligare information om uppgiften/data, exempelvis typ av källkoppling, källtabellens namn, antalet poster i datafilen och så vidare.

En fullständig beskrivning av metadatafilen och om möjliga tillämpningar finns i Metadatafilbeskrivning

Metadata

LOB-kolumner

• Inkludera LOB-kolumner och begränsa kolumnstorleken till (kB):

  Du kan välja att inkludera LOB-kolumner i uppgiften och ställa in maximal LOB-storlek. LOB:er som är större än maximal storlek kommer att trunkeras.

Kontrolltabeller

Välj vilka av följande Kontrolltabeller du vill ska skapas på målplattformen:

• Mellanlagring Status: Tillhandahåller information om den aktuella mellanlagringsuppgiften inklusive uppgiftsstatus, mängden minne som förbrukas av uppgiften, antalet ändringar som ännu inte tillämpats på dataplattformen och positionen i källslutpunkten som Gateway för dataflytt läser in för tillfället.
• Inaktiverade tabeller: Tillhandahåller en lista med inaktiverade tabeller, och anledningen till att de inaktiverades.
• Mellanlagring Historik: Tillhandahåller information om uppgiftshistoriken, inklusive antalet och volymen med poster som bearbetas under mellanlagringsuppgifter, latensen på
• Change Data Partitions (partitionering av ändrade data): Tillhandahåller poster med partitioner som skapats på måldatabasen på Ändra datauppdelning. Du kan använda den här informationen för att identifiera partitionerade data som behöver bearbetas ytterligare.

En detaljerad beskrivning av alla kontrolltabeller finns i Kontrolltabeller.

Fullständig laddning

Finjustering av prestanda

• Maximalt antal tabeller som ska laddas parallellt: Ange det maximala antalet tabeller som ska laddas till målet samtidigt. Som standard är värdet 5.

• Tidsgräns transaktionskonsekvens (sekunder) Ange antal sekunder att vänta på att öppna transaktioner ska stängas innan Fullständig laddning-operationen påbörjas: Standardvärdet är 600 (10 minuter). Den fullständiga laddningen kommer att påbörjas efter att värdet för överskriden tidsgräns har nåtts även om det fortfarande finns öppna transaktioner.

  Anteckning om informationFör att replikera transaktioner som var öppna när fullständig laddning startades men inte överfördes förrän efter att värdet för tidsgränsen nåddes måste du ladda om måltabellerna.
• Överföringsfrekvens vid fullständig laddning: Det maximala antalet händelser som kan överföras tillsammans. Som standard är värdet 10 000.

Efter slutförd fullständig laddning

Skapa primärnyckel eller unik Välj det här alternativet om du vill fördröja skapandet av primärnycklar eller unika index på målet tills efter den fullständiga laddningen har slutförts.

Felhantering

Datafel

Datatrunkeringsfel

För datatrunkeringsfel: Välj vad du vill ska hända när en trunkering sker i en eller flera poster. Du kan välja något av följande från listan:

• Ignorera: Uppgiften fortsätter och felet ignoreras.
• Inaktivera tabell: Uppgiften fortsätter men data från tabellen med felposten flyttas till ett feltillstånd och dess data replikeras inte
• Stoppa uppgift: Uppgiften stoppas och manuellt ingrepp krävs.

Övriga datafel

För övriga datafel: Välj vad du vill ska hända när ett fel sker i en eller flera poster. Du kan välja något av följande från listan:

• Ignorera: Uppgiften fortsätter och felet ignoreras.
• Inaktivera tabell: Uppgiften fortsätter men data från tabellen med felposten flyttas till ett feltillstånd och dess data replikeras inte
• Stoppa uppgift: Uppgiften stoppas och manuellt ingrepp krävs.

Eskalera datafelhantering

Eskalera felhantering när övriga datafel når (per tabell) : Välj den här kryssrutan för att eskalera felhantering när antalet icke-trunkeringsdatafel (per tabell) når det angivna antalet: Giltiga värden är 1–10 000.

Eskaleringsåtgärd: Välj vad som ska hända när felhantering eskaleras. Observera att de tillgängliga åtgärderna beror på vilken åtgärd som väljs från listrutan För övriga datafel som beskrivs ovan.

• Inaktivera tabell (standard): Uppgiften fortsätter men data från tabellen med felposten flyttas till ett feltillstånd och dess data landed inte.

• Stoppa uppgift: Uppgiften stoppas och manuellt ingrepp krävs.

Tabellfel

När ett tabellfel hittas: Välj något av följande från listrutan:

• Inaktivera tabell (standard): Uppgiften fortsätter men data från tabellen med felposten flyttas till ett feltillstånd och dess data replikeras inte
• Stoppa uppgift: Uppgiften stoppas och manuellt ingrepp krävs.

Eskalera felhantering när tabellfel når (per tabell) : Välj den här kryssrutan för att eskalera felhantering när antalet tabellfel (per tabell) når det angivna antalet: Giltiga värden är 1–10 000.

Eskaleringsåtgärd: Eskaleringspolicyn för tabellfel är inställd till Stoppa uppgift och kan inte ändras.

Miljö

• Maximalt antal nya försök: Välj det här alternativet och ange sedan det maximala antalet försök att utföra en uppgift igen när ett återställningsbart miljöfel inträffar. Efter att uppgiften har försökt utföras det angivna antalet gånger stoppas uppgiften och manuellt ingrepp krävs.

  För att aldrig försöka utföra uppgiften igen avmarkerar du kryssrutan eller anger "0".

  För att försöka utföra uppgiften ett oändligt antal gånger anger du "-1".

  • Mellanrum mellan försök (sekunder): Använd räknaren för att välja eller ange antalet sekunder som systemet väntar mellan försöken att utföra en uppgift.

    Giltiga värden är 0–2 000.

• Förläng intervallet mellan försök vid långa avbrott: Välj den här kryssrutan för att förlänga intervallet mellan försök vid långa avbrott. När det här alternativet är aktiverat fördubblas intervallet mellan varje försök tills Maximalt intervall nås (och fortsätter att försöka enligt det angivna maximala intervallet).
  • Maximalt intervall mellan försök (sekunder): Använd räknaren för att välja eller ange antalet sekunder för väntetiden mellan försöken att utföra en uppgift när alternativet Förläng intervallet för nytt försök vid långa avbrott är aktiverat. Giltiga värden är 0–2 000.

Ändra finjustering av behandling

Optimering av avlastning av transaktioner

• Avlasta pågående transaktioner till disk om:

  Transaktionsdata behålls normalt i minnet tills det är fullständigt överfört till målet eller källan. Men transaktioner som är större än det tilldelade minnet eller inte överförs inom den angivna tidsgränsen kommer att avlastas till disk.

  • Den totala minnesstorleken för alla transaktioner överskrider (MB): Den maximala storleken som alla transaktioner kan uppta i minnet innan de avlastas till disk. Standardvärdet är 1024.
  • Transaktionen tar längre än (sekunder): Den maximala tiden som varje transaktion kan uppta i minnet innan de avlastas till disk. Varaktigheten beräknas från tiden som Data Movement gateway började registrera transaktionen. Standardvärdet är 60.

Diverse finjustering

• Cachestorlek för satser (antal satser): Det maximala antalet förberedda satser som ska lagras på servern för senare körning (när ändringar tillämpas på målet). Standardvärdet är 50. Maxvärdet är 200.

• DELETE och INSERT när en primärnyckelkolumn uppdateras: För det här alternativet måste full kompletterande loggning vara aktiverat i källdatabasen.

Finjustering av batch

• Maximalt antal ändringar per transaktion: Det minsta antalet ändringar som ska tas med i varje transaktion. Som standard är värdet 1000.

  Anteckning om information

  Ändringarna tillämpas i målet antingen när antalet ändringar är lika med eller större än värdet Minsta antalet ändringar per transaktion ELLER när värdet Maximal tid att samla transaktioner i batcher före tillämpning (sekunder) som beskrivs nedan nås, beroende på vilket som kommer först. Eftersom frekvensen av ändringar som tillämpas på målet styrs av dessa två parametrar kommer ändringar i källposterna eventuellt inte att återspeglas omedelbart i målposterna.

• Maxtid att samla transaktioner i batcher före tillämpning (sekunder): maxtiden för att samla transaktioner i batcher innan en tidsgräns överskrids. Som standard är värdet 1.

Teckenbyte

Du kan ersätta eller ta bort källtecken i måldatabasen och/eller du kan ersätta eller ta bort källtecken som inte stöds av en vald teckenuppsättning.

Byta ut eller radera källtecken

Använd tabellen Ersätt eller ta bort källtecken för att definiera ersättningar för specifika källtecken. Detta kan exempelvis vara användbart när Unicode-representationen av ett tecken är olika på käll- och målplattformarna. Exempelvis visas minustecknet i teckenuppsättningen Shift_JIS som U+2212 på Linux, men på Windows visas det som U+FF0D.

Ersätta eller ta bort källtecken som inte stöds av den valda teckenuppsättningen.

Använd tabellen Källtecken som inte stöds av teckenuppsättning för att definiera ett enda ersättningstecken för alla tecken som inte stöds av den valda teckenuppsättningen.

Fler alternativ

Dessa alternativ visas inte i gränssnittet eftersom de bara är relevanta för specifika versioner eller miljöer. Konfigurera därför inte dessa alternativ om du inte uttryckligen har blivit instruerad att göra det av Qlik Support eller om det står i produktdokumentationen.Qlik

För att ställa in ett alternativ kopierar du bara alternativet i fältet Lägg till funktionsnamn och klickar på Lägg till. Ställ sedan in värdet eller aktivera alternativet enligt de instruktioner du har fått.

SaaS-tillämpning

• För initial laddning

När data flyttas från en SaaS-programkälla kan du ställa in hur den initiala fullständiga laddningen ska utföras.

Anteckning om informationFör de här inställningarna krävs Gateway för dataflytt version 2022.11.74 eller senare.

Använd cachelagrade data	Med det här alternativet kan du använda mellanlagrade data som lästes in när metadata genererades med Fullständig datasökning valt. Då skapas mindre overhead avseende API-användning och kvoter, eftersom data redan läses in från källan. Alla ändringar sedan den initiala datasökningen kan plockas upp av Change data capture (CDC).
Ladda data från källa	Med det här alternativet utförs en ny laddning från datakällan. Det här alternativet är användbart när: Metadatasökningen inte utfördes nyligen. Källdatauppsättningen är liten, ändras ofta och du vill inte underhålla en fullständig ändringshistorik.

• Läs in ändringar var (minuter)

  Ställ in antal minuter för intervallet mellan inläsning av ändringar från källan. Giltigt intervall är 1 till 1 440.

  Anteckning om informationDetta alternativ är enbart tillgängligt med uppdateringsmetoden Samla in ändrade data (CDC).