Impostazioni per le destinazioni di archiviazione cloud

È possibile modificare le impostazioni di trasferimento su un data lake in base alle esigenze.

Generale

Metodo di aggiornamento

È possibile trasferire i dati in due modalità diverse. Non è possibile cambiare la modalità una volta preparata l'attività di trasferimento sul data lake.

• Acquisizione dei dati modificati (CDC) utilizzando tabelle di modifica: Le attività di trasferimento su data lake iniziano con un caricamento completo (durante il quale tutte le tabelle selezionate vengono caricate nella destinazione). I dati di destinazione vengono quindi mantenuti aggiornati usando la tecnologia CDC (Change Data Capture).

  Nota informaticaL'acquisizione dati di modifica (CDC) per le operazioni DDL non è supportata.

  Quando si utilizza Gateway Data Movement, tranne quando si utilizza una sorgente applicativa SaaS, le modifiche vengono acquisite dalla sorgente pressoché in tempo reale. Quando si utilizza senza Gateway Data Movement o con sorgenti di applicazioni SaaS, le modifiche vengono acquisite in base alle impostazioni dell'utilità di pianificazione. Per ulteriori informazioni, vedere Scheduling tasks.

• Ricarica: esegue un caricamento completo dei dati dalle tabelle di origine selezionate sulla piattaforma di destinazione e, se necessario, crea le tabelle di destinazione. Il caricamento completo viene eseguito automaticamente all'avvio dell'attività, ma può anche essere eseguito o pianificato in modo che venga eseguito regolarmente, in base alle necessità.

  Nota informaticaQuesta impostazione non è disponibile quando si utilizza un connettore di applicazione SaaS.

Cartella da utilizzare

Seleziona una delle seguenti opzioni, a seconda della cartella del bucket in cui desideri che vengano scritti i file:

• Cartella predefinita

  Il formato della cartella predefinita è <nome-progetto>/<nome-attività>

• Cartella radice

  I file verranno scritti nella cartella radice del bucket.

• Cartella

  Specifica un nome per la cartella. La cartella verrà creata durante l'attività dati se non esiste già.

  Nota informatica Il nome della cartella non può includere caratteri speciali (ad esempio, @, #, !, ecc.).

Caricamento dati

Attributi file

Delimitatore campo

Il delimitatore che verrà utilizzato per separare i campi (colonne) nei file di destinazione. Il valore predefinito è una virgola.

Esempio dell'utilizzo di una virgola come delimitatore:

"mike","male"

I delimitatori possono essere caratteri standard o un valore esadecimale (hex). Notare che è necessario utilizzare il prefisso "0x" per denotare un delimitatore esadecimale (ad es. 0x01 = SOH0x01 = SOH). Nei campi Delimitatore campo, Delimitatore record e Valore null, il delimitatore può essere composto da valori esadecimali concatenati (ad es. 0x0102 = SOHSTX), in cui i campi Carattere virgolette e Carattere di escape virgolette, può essere solo un unico valore esadecimale.

Il numero esadecimale 0x00 non è supportato (sono supportati solo i numeri 0x01-0xFF).

Valore null

La stringa che verrà utilizzata per indicare un valore null nei file di destinazione.

Esempio (in cui \n è il delimitatore del record e @ è il valore null):

Delimitatore record

Il delimitatore che verrà utilizzato per separare i record (righe) nei file di destinazione. Il valore predefinito è una nuova riga (\n).

Esempio:

Carattere virgolette

Il carattere che verrà utilizzato all'inizio e alla fine di una colonna di testo. Il valore predefinito è il carattere delle virgolette doppie ("). Quando una colonna che contiene delimitatori di colonna è racchiusa da virgolette doppie, i caratteri del delimitatore di colonna sono interpretati come dati effettivi e non come delimitatori di colonna.

Esempio (in cui @ è il carattere delle virgolette):

Carattere di escape virgolette

Il carattere utilizzato come carattere di escape per le virgolette nei dati effettivi. Il valore predefinito è il carattere delle virgolette doppie (").

Esempio (in cui " è il carattere delle virgolette e \ è il carattere di escape):

Versione di Parquet

Selezionare la versione da utilizzare a seconda della versione supportata dalla piattaforma di destinazione. Notare che la versione 1.0 di Parquet supporta solo l'unità di timestamp MICRO , mentre la versione Parquet 2.6 supporta le unità di timestamp MICRO e NANO.

Unità timestamp Parquet

Quando la versione di Parquet è impostata su 2.6, selezionare MICRO o NANO. Quando la versione di Parquet è impostata su 1.0, è supportata solo l'opzione MICRO.

Dimensioni LOB massime Parquet (KB)

Le dimensioni LOB massime predefinite sono di 64 KB e il valore massimo che è possibile inserire in questo campo è 10.000 KB. La gestione delle colonne LOB richiede risorse maggiori, che a loro volta hanno un impatto sulle prestazioni. Aumentare questo valore solo se si desidera replicare dati LOB superiori a 64 KB e tutti i dati LOB devono essere replicati nella destinazione.

Dimensione massima del file

Le dimensioni massime che può raggiungere un file prima che venga chiuso (e, facoltativamente, compresso).

Le dimensioni massime che può raggiungere un file prima che venga chiuso. I file di dimensioni inferiori possono essere caricati più velocemente (dipendendo dalla rete) e migliorare le prestazioni quando sono utilizzati insieme all'opzione di esecuzione parallela. Tuttavia, in generale si considera una cattiva prassi ingombrare il database con file di piccole dimensioni.

Comprimi file con

Scegliere una delle opzioni di compressione per comprimere i file di destinazione o NONE (l'opzione predefinita) per non comprimerli. Notare che le opzioni di compressione disponibili sono determinate dal formato file selezionato.

Aggiungi intestazione metadati

Facoltativamente, è possibile aggiungere una riga di intestazione ai file di dati. La riga di intestazione può contenere i nomi della colonna sorgente e/o i tipi di dati intermedi (ad es. Qlik Talend Data Integration).

Esempio di un file di destinazione con una riga di intestazione quando sono selezionate le opzioni Con nomi colonna e Con tipi di dati:

Position:DECIMAL(38,0),Color:VARCHAR(10)

1,"BLUE"

2,"BROWN"

3,"RED"

...

Cambia elaborazione

Questa sezione descrive le impostazioni condizionali in Elaborazione modifiche.

Applica/archivia modifiche nei casi descritti di seguito.

• Le dimensioni del file raggiungono: specificare le dimensioni massime di Dati di modifica da accumulare prima di caricare il file nella destinazione.
• Il tempo trascorso raggiunge: il tempo trascorso raggiunge x.

File di metadati

Quando l'opzione Crea file di metadati nella cartella di destinazione è selezionata, per ogni file di dati, verrà creato un file .dfm sotto la cartella di destinazione specificata. I file di metadati forniscono informazioni aggiuntivi su attività/dati, come il tipo di connettore di origine, il nome della tabella di origine, il numero di record nei file di dati, e così via.

Per una descrizione del file di metadati oltre ai possibili usi, vedere Descrizione dei file di metadati

Metadati

Colonne LOB

Includi colonne LOB e limita dimensione della colonna a (KB)

È possibile scegliere di includere le colonne LOB nell'attività e di impostare le dimensioni massime delle LOB. Le LOB di dimensioni maggiori rispetto alla dimensione massima verranno troncate.

Mappatura colonna JSON

Mappare le colonne JSON compatibili dell'origine alle colonne JSON della destinazione.

Quando questa opzione è selezionata, le colonne JSON sull'origine verranno mappate automaticamente alle colonne JSON sulla destinazione.

Lo stato e la visibilità di questa opzione sono determinati dai seguenti fattori:

• Nuove attività: Questa opzione sarà abilitata per impostazione predefinita se sia la sorgente che la destinazione supportano il tipo di dati JSON.

• Attività esistenti: Questa opzione sarà disabilitata per impostazione predefinita, anche se sia la sorgente che la destinazione supportano il tipo di dati JSON. Questo per preservare la compatibilità con i processi a valle, come le trasformazioni, che prevedono che i dati di destinazione siano in formato STRING (che è il comportamento legacy). È possibile lasciare l'opzione disattivata o modificare i processi a valle per renderli compatibili con il formato JSON e quindi attivare questa opzione.

• Attività nuove ed esistenti: Se solo la sorgente supporta il tipo di dati JSON, questa opzione non sarà visibile. Se il supporto JSON viene aggiunto alla destinazione in una fase successiva, l'opzione diventerà visibile ma rimarrà disabilitata. Questo per preservare la compatibilità con i processi a valle, come le trasformazioni, che prevedono che i dati di destinazione siano in formato STRING (che è il comportamento legacy).

Tabelle di controllo

Selezionare quale delle seguenti Tabelle di controllo creare nella piattaforma di destinazione:

• Stato replica: fornisce i dettagli sull'attività di trasferimento corrente, inclusi stato dell'attività, quantità di memoria consumata dall'attività, numero di modifiche non ancora applicate alla piattaforma dati e posizione nella sorgente dati da cui i dati vengono letti.
• Tabelle sospese: fornisce un elenco delle tabelle sospese, insieme al motivo della sospensione.
• Cronologia trasferimento: Fornisce informazioni sulla cronologia dell'attività, incluso il numero e il volume dei record elaborati durante un'attività di trasferimento, la latenza alla fine di un'attività CDC e altri dati.
• Modifica partizioni dati: Fornisce i record delle partizioni create nel database di destinazione a causa di Cambia partizione dati. È possibile utilizzare queste informazioni per identificare i dati partizionati che è necessario elaborare ulteriormente.

Per una descrizione dettagliata di ogni Tabella di controllo, vedere Tabelle di controllo.

Caricamento completo

Regolazione prestazioni

• Numero massimo di tabelle da caricare in parallelo: inserire il numero massimo di tabelle da caricare alla volta nella destinazione. Il valore predefinito è 5.

• Timeout coerenza transazione (secondi): inserire il numero di secondi da attendere per la chiusura delle transazioni aperte, prima di avviare l'operazione Caricamento completo. Il valore predefinito è 600 (10 minuti). Il caricamento completo verrà avviato una volta che viene raggiunto il valore di timeout, anche se vi sono transazioni ancora aperte.

  Nota informaticaPer replicare le transazioni aperte all'avvio di Caricamento completo ma che sono state applicate solo dopo che è stato raggiunto il valore di timeout, è necessario ricaricare le tabelle di destinazione.
• Frequenza di commit durante il caricamento completo: il numero massimo di eventi che è possibile trasferire insieme. Il valore predefinito è 10000.

Dopo il completamento del caricamento completo

Crea chiave primaria o univoca: selezionare questa opzione se si desidera ritardare la creazione della chiave primaria o univoca sulla piattaforma dati fino al completamento del caricamento completo.

Per il caricamento iniziale

Archivia modifiche

Quando si seleziona il metodo di aggiornamento Change Data Capture (CDC), gli aggiornamenti ai dati di origine verranno archiviati nelle tabelle di modifica sulla piattaforma di destinazione. Le tabelle di modifica acquisiscono tutte le operazioni di inserimento, aggiornamento ed eliminazione dalla sorgente, consentendo alle applicazioni a valle di elaborare le modifiche in modo incrementale.

Questa sezione descrive come configurare le opzioni della Tabella delle modifiche: gestione DDL, archiviazione delle immagini di aggiornamento e comportamento di creazione della tabella.

Per informazioni approfondite sulle Tabelle delle modifiche, vedere Utilizzo delle tabelle di modifica.

Impostazioni di base

Opzioni DDL

Le opzioni DDL (Data Definition Language) determinano come le modifiche dello schema dall'origine vengono gestite nelle tabelle di modifica.

• Applica a tabella di modifica: Quando si seleziona questa opzione, il sistema applica automaticamente le modifiche DDL dalle tabelle di origine (come l'aggiunta o la rimozione di colonne) alle tabelle di modifica corrispondenti. Utilizza questa opzione quando le tue applicazioni a valle necessitano che le tabelle di modifica riflettano tutte le modifiche dello schema dalla sorgente.

• Ignora: Il sistema ignora tutte le modifiche DDL all'origine. La struttura della tabella di modifica rimane invariata. Utilizzare questa opzione quando le modifiche DDL nell'origine non devono influire sulle modifiche memorizzate, oppure quando il sistema di destinazione richiede schemi di tabella fissi.

Impostazioni avanzate

All'aggiornamento

Le impostazioni di UPDATE controllano quali dati vengono acquisiti quando un record di origine viene aggiornato.

Archivia immagine prima e dopo: Il sistema acquisisce sia i dati originali (prima dell'aggiornamento) sia i dati modificati (dopo l'aggiornamento). Questa opzione richiede più spazio di archiviazione ma fornisce informazioni di audit complete, consentendo ai sistemi a valle di confrontare valori vecchi e nuovi o di eseguire analisi complesse delle modifiche. Utilizza questo quando le tue applicazioni richiedono il contesto completo delle modifiche.

Quando questa opzione è disabilitata, il sistema acquisisce solo i dati modificati (dopo l'aggiornamento), non i valori originali. Questa opzione riduce i requisiti di archiviazione sul target. Utilizzare questa opzione quando è necessario solo lo stato attuale dei record modificati e non si richiedono i valori precedenti storici.

Creazione di una tabella di modifica

Sovrascrivere il suffisso predefinito della tabella delle modifiche e il prefisso della colonna di intestazione

• Suffisso: consente di specificare una stringa da utilizzare come suffisso per tutte le Tabelle delle modifiche. Il valore predefinito è __ct. I nomi della Tabella delle modifiche sono il nome della tabella di destinazione con il suffisso aggiunto. Quindi, per esempio, se si utilizza il valore predefinito, il nome della Tabella delle modifiche sarà HR__ct.
• Prefisso colonna intestazione: Consente di specificare una stringa da utilizzare come prefisso per tutte le colonne di intestazione delle Tabelle delle modifiche. Il valore predefinito è header__. Per esempio, quando si utilizza il valore predefinito, la colonna di intestazione stream_position sarà denominata header__stream_position.

Determinazione di come le tabelle di modifica esistenti vengono gestite quando viene avviato il caricamento completo

Quando un caricamento completo viene avviato, queste impostazioni determinano come vengono gestite le tabelle di modifica esistenti sulla destinazione. Selezionare l'opzione che meglio si adatta alle proprie esigenze di recupero dati e archiviazione:

• ELIMINA e CREA: Il sistema rimuove completamente la tabella delle modifiche esistente e ne crea una nuova vuota. Tutte le modifiche precedentemente archiviate vengono eliminate. Utilizzare questa opzione quando si desidera un nuovo inizio con ogni ciclo di caricamento completo.

• Elimina le modifiche precedenti e archivia le nuove modifiche nella tabella di modifica esistente: Il sistema rimuove tutti i dati dalla tabella di modifica esistente senza alterarne la struttura o i metadati. Nuove modifiche vengono archiviate nella stessa tabella. Utilizza questa opzione quando si desidera mantenere la struttura della tabella ma cancellare le modifiche precedenti.

• Mantieni le vecchie modifiche e archivia le nuove modifiche nella Tabella delle modifiche esistente: Il sistema preserva tutti i dati e i metadati esistenti nella Tabella delle modifiche. Nuove modifiche vengono aggiunte ai dati esistenti. Usa questo quando devi accumulare tutte le modifiche attraverso più cicli di caricamento completo.

Cambia partizione dati

In un'attività di trasferimento standard (senza partizionamento dei dati di modifica), le modifiche vengono trasferite nella destinazione senza seguire un ordine particolare. L'opzione Cambia partizione dati abilita l'elaborazione di Dati di modifica da molte tabelle in modo coerente. È possibile definire la durata delle partizioni, oltre all'ora di base di partizione, assicurando pertanto la coerenza generale dei dati partizionati (quindi nessuna transazione parziale, nessuna intestazione ordine senza righe d'ordine e così via).

Le informazioni sulle partizioni vengono registrate nella tabella di controllo attrep_cdc_partitions nel database di destinazione. È possibile utilizzare queste informazioni per identificare i dati partizionati che è necessario elaborare ulteriormente.

Comprendere come funziona il partizionamento secondo il tipo di origine

• Da sorgenti database:

  In un'attività di trasferimento standard (senza partizionamento dei dati di modifica), le modifiche vengono trasferite nella destinazione senza seguire un ordine particolare. L'opzione Cambia partizione dati abilita l'elaborazione di Dati di modifica da molte tabelle in modo coerente. È possibile definire la durata delle partizioni, oltre all'ora di base di partizione, assicurando pertanto la coerenza generale dei dati partizionati (quindi nessuna transazione parziale, nessuna intestazione ordine senza righe d'ordine e così via).

  • CDC programmato: Le partizioni vengono create quando viene eseguita l'istanza dell'attività programmata. Quindi, ad esempio, se un'attività è pianificata per essere eseguita a mezzanotte ogni giorno, e Partiziona ogni è impostato su 4 ore, allora il numero di partizioni create rappresenterà l'ora in cui i commit si sono verificati nelle ultime 24 ore. Se i commit si sono verificati tra le 01:00 e le 03:00 e tra le 16:15 e le 18:00 e l'Ora di base di partizione è impostata su 0:00, verranno create due partizioni: 0:00-04:00 e 16:00-20:00.

  • CDC continuo: Se Partizione ogni è impostato su 4 ore, Replicate crea una partizione ogni 4 ore contenente tutti i commit avvenuti durante tale periodo. Se non ci sono stati commit per 4 ore, allora nessuna partizione verrà creata per quel periodo.

• Da sorgenti di applicazioni SaaS:

  Attività che estraggono dati dalle sorgenti dell'applicazione SaaS sono sempre pianificate. Le partizioni si basano sull'ora di estrazione dei dati, poiché la nozione di commit non esiste nelle sorgenti di applicazioni SaaS. L'estrazione dei dati inizia quando viene eseguita l'istanza dell'attività pianificata. Quindi, ad esempio, se un'attività è pianificata per essere eseguita a mezzanotte ogni giorno, e Partizione ogni è impostato su 4 ore, allora il numero di partizioni create rappresenterà la durata dell'estrazione dei dati. Se l'estrazione dei dati richiede meno di due ore, verrà creata una singola partizione. Ma se l'estrazione richiede sei ore (ad esempio), verranno create due partizioni.

Opzioni di partizionamento

• Partizione ogni: specifica la durata (in ore e minuti) di ogni partizione.

  Nota informatica

  Per la partizione, si consiglia di specificare una durata più lunga di un'ora. Sebbene una partizione con una durata inferiore a un'ora può migliorare la latenza, la creazione di molte partizioni nella destinazione può avere un impatto negativo sulle prestazioni della destinazione, soprattutto nei sistemi con grandi volumi di modifiche.

  Se si riprende un'attività da BEFORE (prima) dell'ora in cui la partizione è stata creata, l'attività di trasferimento su scriverà i dati su una partizione che è già chiusa.

• Ora di base partizione: le partizioni sono create durante un periodo di tempo di 24 ore, che viene calcolato a partire da “Ora di base di partizione” specificata nel database di origine in formato UTC. Ad esempio, un intervallo di partizione di 8 ore con 02:00 come "Ora di base di partizione" creerà le seguenti partizioni: 02:00-10:00, 10:00-18:00, 18:00-02:00, ma non necessariamente in quest'ordine. Ad esempio, se un'attività è iniziata alle 01:00, allora l'intervallo di tempo della prima partizione sarà 18:00-02:00. Inoltre, se un'attività è iniziata nel bel mezzo di una partizione (ad esempio, alle 04:00), i relativi Dati di modifica saranno inseriti nella partizione delle 02:00-10:00 anche se non sono state acquisite modifiche prima delle 04:00.

Colonne di intestazione tabella

La Tabella delle Modifiche include colonne di metadati di sistema con un prefisso configurabile. Per impostazione predefinita, queste colonne sono precedute da header__ (ad esempio, header__stream_position, header__operation). Queste colonne forniscono informazioni su ogni record di modifica, come il tipo di operazione (INSERT, UPDATE, DELETE) e l'ordine in cui si sono verificate le modifiche.

È possibile escludere specifiche colonne di intestazione dalla tabella di modifica se tali metadati non sono necessari. Questo riduce i requisiti di archiviazione sulla piattaforma di destinazione.

Gestione errori

Errori dati

Errori di troncamento dati

Per errori di troncamento di dati: selezionare l'azione da eseguire quando si verifica un troncamento in uno o più record specifici. È possibile selezionare una delle seguenti opzioni dall'elenco:

• Ignora: l'attività continua e l'errore viene ignorato.
• Sospendi tabella: l'attività continua, ma i dati dalla tabella con il record dell'errore viene spostato in uno stato di errore e i relativi dati non vengono replicati.
• Arresta attività: l'attività viene interrotta ed è richiesto l'intervento manuale.

Altri errori nei dati

Per gli altri errori nei dati: selezionare l'azione da eseguire quando si verifica un errore in uno o più record specifici. È possibile selezionare una delle seguenti opzioni dall'elenco:

• Ignora: l'attività continua e l'errore viene ignorato.
• Sospendi tabella: l'attività continua, ma i dati dalla tabella con il record dell'errore viene spostato in uno stato di errore e i relativi dati non vengono replicati.
• Arresta attività: l'attività viene interrotta ed è richiesto l'intervento manuale.

Riassegnare la gestione degli errori nei dati

Riassegna gestione errore quando gli altri errori nei dati raggiungono (per tabella): selezionare questa casella di controllo per riassegnare la gestione dell'errore quando il numero di errori nei dati che non sono relativi al troncamento (per tabella) raggiunge la quantità specificata. I valori validi sono 1-10.000.

Azione di riassegnazione: scegliere l'azione da eseguire quando si riassegna la gestione dell'errore. Notare che le operazioni disponibili dipendono dall'azione selezionata dall'elenco a discesa Per gli altri errori nei dati descritto prima.

• Sospendi tabella (opzione predefinita): l'attività continua, ma i dati dalla tabella con il record dell'errore viene spostato in uno stato di errore e i relativi dati non vengono landed.

• Arresta attività: l'attività viene interrotta ed è richiesto l'intervento manuale.

Errori tabella

Quando rileva un errore tabella: selezionare una delle opzioni descritte di seguito dall'elenco a discesa:

• Sospendi tabella: (opzione predefinita) l'attività continua, ma i dati dalla tabella con il record dell'errore passano a uno stato di errore e i dati correlati non vengono replicati.
• Interrompi attività: l'attività viene interrotta ed è richiesto l'intervento manuale.

Riassegna gestione quando gli errori di tabelle raggiungono (per tabella): selezionare questa casella di controllo per riassegnare la gestione dell'errore quando il numero di errori della tabella (per tabella) raggiunge il numero specificato. I valori validi sono 1-10.000.

Azione di riassegnazione: i criteri di riassegnazione per gli errori nella tabella sono impostati su Interrompi attività e non è possibile modificarli.

Ambientale

• Numero massimo di tentativi: selezionare questa opzione, quindi specificare il numero massimo di tentativi in cui cercare di eseguire l'attività quando si verifica un errore ambientale recuperabile. Una volta completato il numero di tentativi specificato per eseguire l'attività, questa viene interrotta ed è richiesto l'intervento manuale da parte dell'utente.

  Per fare in modo che non venga eseguito nessun tentativo, deselezionare la casella di controllo o specificare "0".

  Per impostare un numero infinito di tentativi, specificare "-1"

  • Intervallo tra nuovi tentativi (secondi): utilizzare il contatore per selezionare o digitare il numero di secondi che il sistema deve attendere tra un tentativo e l'altro quando tenta di eseguire un'attività.

    I valori validi sono 0-2.000.

• Aumenta intervallo di tentativi per interruzioni prolungate: selezionare questa casella di controllo per aumentare l'intervallo tra i tentativi per le interruzioni prolungate. Quando questa opzione è abilitata, la durata dell'intervallo tra ciascun tentativo di esecuzione dell'attività raddoppia, fino al raggiungimento dell'Intervallo massimo di tentativi (i tentativi continuano a essere eseguiti in base all'intervallo massimo specificato).
  • Intervallo massimo di tentativi (secondi): utilizzare il contatore per selezionare o digitare il numero di secondi da attendere tra un tentativo di eseguire un'attività quando l'opzione Aumenta intervallo di tentativi per interruzioni prolungate è selezionata. I valori validi sono 0-2.000.

Regolazione di elaborazione delle modifiche

Regolazione offload transazionale

• Offload delle transazioni in corso su disco se:

  i dati transazionali di norma vengono mantenuti in memoria fino a quando non vengono completamente implementati nella sorgente o destinazione. Tuttavia, per le transazioni con dimensioni più grandi rispetto alla memoria allocata o che non vengono implementate entro il limite di tempo specificato, viene effettuato l'offload su disco.

  • Le dimensioni totali della memoria per tutte le transazioni superano (MB): le dimensioni massime che tutte le transazioni possono occupare in memoria prima che venga effettuato l'offload su disco. Il valore predefinito è 1024.
  • La durata della transazione supera (secondi): l'intervallo massimo di tempo che ogni transazione può rimanere in memoria prima che venga effettuato l'offload su disco. La durata viene calcolata dall'ora in cui Qlik Talend Data Integration ha iniziato l'acquisizione della transazione. Il valore predefinito è 60.

Regolazione batch

• Numero minimo di modifiche per transazione: il numero minimo di modifiche da includere in ogni transazione. Il valore predefinito è 1000.

  Nota informatica

  Le modifiche verranno applicate alla destinazione quando il numero di modifiche è uguale o maggiore del valore dell'opzione Numero minimo di modifiche per transazione O quando il valore Tempo massimo per raggruppare le transazioni in lotti prima dell'applicazione (secondi), a seconda di quale condizione si verifica per prima. Poiché la frequenza delle modifiche applicate nella destinazione è controllata da questi due parametri, le modifiche ai record di origine potrebbero non essere riflesse immediatamente nei record di destinazione.

• Tempo massimo per raggruppare le transazioni in lotti prima dell'applicazione (secondi): il tempo massimo per raccogliere le transazioni in batch prima che venga dichiarato un timeout. Il valore predefinito è 1.

Intervallo

• Leggi modifiche ogni (minuti)

  Impostare l'intervallo tra le modifiche di lettura dalla sorgente in minuti. L'intervallo valido è compreso tra 1 e 1440.

  Nota informatica

  Questa opzione è disponibile solo per le attività che utilizzano:

  • Gateway Data Movement
  • Il metodo di aggiornamento Change Data Capture (CDC)

Verifica la presenza di modifiche

• In base all'intervallo di estrazione delta: Quando questa opzione è selezionata, l'attività dati verifica la presenza di modifiche in base all'intervallo di estrazione delta.

  Nota informaticaL'intervallo inizierà dopo ogni "round". Un round può essere definito come il tempo necessario all'attività dati per leggere le modifiche dalle tabelle di origine e inviarle alla destinazione (come singola transazione). La durata di un round varia in base al numero di tabelle e modifiche. Quindi, se si specifica un intervallo di 10 minuti e un ciclo richiede 4 minuti, il tempo effettivo tra una verifica e l'altra delle modifiche sarà di 14 minuti.

  • Intervallo di estrazione delta: La frequenza con cui i delta verranno estratti dal sistema. L'intervallo predefinito è 60 secondi.

• Come pianificato: quando questa opzione è selezionata, l'attività dati estrarrà il delta una volta e poi si arresterà. Quindi, continuerà l'esecuzione in base alla pianificazione.

  Nota informaticaQuesta opzione è rilevante solo se l'intervallo tra i cicli CDC è di 24 ore o più.

  Per informazioni sulla pianificazione:

  • Per le attività di "trasferimento dei dati in un data lake" in un progetto di replica, consultare Pianificazione delle attività CDC per i processi di trasferimento su data lake

Regolazioni varie

• Dimensione cache istruzioni (numero di istruzioni): Il numero massimo di istruzioni preparate da archiviare sul server per l'esecuzione successiva (quando si applicano modifiche alla destinazione). Il valore predefinito è 50. Il valore massimo è 200.

• ELIMINA e INSERISCI durante l'aggiornamento di una colonna chiave primaria: Questa opzione richiede l'accesso supplementare completo per poter essere attivata nel database di origine.

  Nota informaticaQuesta impostazione non è disponibile per le attività che utilizzano un connettore per applicazioni SaaS, a meno che non sia un connettore Lite.

Evoluzione automatica dello schema

Selezionare come gestire i seguenti tipi di modifiche del DDL nello schema. Una volta modificate le impostazioni di evoluzione dello schema, è necessario preparare nuovamente l'attività. La tabella seguente descrive le azioni disponibili per le modifiche del DDL supportate.

Sostituzione di caratteri

È possibile sostituire o eliminare i caratteri nel database di destinazione e/o sostituire o eliminare i caratteri di origine che non sono supportati da un set di caratteri selezionato.

Sostituzione o eliminazione dei caratteri di origine

Utilizzare la tabella Sostituisci o elimina caratteri di origine per definire le sostituzioni per caratteri di origine specifici. Questa opzione può essere utile, ad esempio, quando la rappresentazione Unicode di un carattere è differente nelle piattaforme di origine e di destinazione. Ad esempio, su Linux, il carattere meno nel set di caratteri Shift_JIS è rappresentato come U+2212, ma su Windows è rappresentato come U+FF0D.

Sostituzione o eliminazione dei caratteri di origine non supportati dal set di caratteri selezionato

Utilizzare la tabella Caratteri di origine non supportati dal set di caratteri per definire un singolo carattere di sostituzione per tutti i caratteri non supportati dal set di caratteri selezionato.

Caricamento in parallelo di segmenti del set di dati

Durante un caricamento completo, è possibile velocizzare il caricamento dei set di dati di grandi dimensioni suddividendo il set di dati in segmenti, che verranno caricati in parallelo. Le tabelle possono essere suddivise per intervalli di dati, tutte le partizioni, tutte le sottopartizioni o per partizioni specifiche.

Per ulteriori informazioni, vedere Replica in parallelo di segmenti del set di dati.

Altre opzioni

Queste opzioni non sono esposte nell'interfaccia utente, dato che sono rilevanti solo per versioni o ambienti specifici. Di conseguenza, non impostare queste opzioni a meno che non sia stato esplicitamente indicato dal Supporto Qlik o dalla documentazione dei prodotti.

Per impostare un'opzione, semplicemente copiarla nel campo Aggiungi nome funzionalità e fare clic su Aggiungi. Quindi, impostare il valore o attivare l'opzione in base alle istruzioni ricevute.

Pianificazione delle attività CDC per i processi di trasferimento su data lake

Nei casi d'uso seguenti, è necessario definire un intervallo di pianificazione per mantenere aggiornati i dati di destinazione:

• Accesso a una sorgente dati senza Gateway Data Movement
• Utilizzo di un connettore per applicazione SaaS che non è un Connettore Lite.
• Quando si acquisiscono le modifiche da un'origine SAP OData utilizzando l'opzione Come pianificato.

La pianificazione determina la frequenza con cui i set di dati di destinazione vengono aggiornati con le modifiche apportate ai set di dati di origine. Mentre la pianificazione determina la frequenza di aggiornamento, il tipo di set di dati determina il metodo di aggiornamento. Se un set di dati supporta il CDC, solo le modifiche a tale set di dati verranno recuperate e propagate alla tabella di destinazione corrispondente. Se un set di dati non supporta il CDC (ad esempio, una vista), le modifiche verranno propagate ricaricando l'intero set di dati. Con i connettori di applicazioni SaaS, verrà creata una singola attività con la possibilità di pianificare gli intervalli CDC e gli intervalli di ricaricamento durante l'onboarding e successivamente nelle impostazioni di pianificazione dell'attività. Quando si utilizzano altri tipi di connettori (ad esempio, database) con il metodo di aggiornamento CDC, se alcuni dei set di dati selezionati supportano il CDC e altri no, verranno create due sottoattività separate: una per recuperare le modifiche ai set di dati che supportano il CDC e l'altra per ricaricare i set di dati che non supportano il CDC.

Per modificare le pianificazioni:

1. Apri il tuo progetto pipeline e quindi segui una delle seguenti operazioni:

   • Nella vista attività, fare clic su su un'attività di dati e selezionare Pianificazione.
   • Nella vista pipeline, fare clic su un'attività di dati e selezionare Pianificazione.
   • Aprire l'attività di replica, quindi fare clic sul pulsante Pianificazione sulla barra degli strumenti.
2. Modificare le impostazioni di pianificazione in base alle necessità, quindi fare clic su OK.

Esecuzione di un'attività non completata basata su Gateway Data Movement

A volte un problema di rete può causare l'interruzione della connessione a Gateway Data Movement. Se la connessione a Gateway Data Movement non viene ripristinata prima dell'esecuzione programmata successiva, l'attività dati non potrà essere eseguita come previsto. In questi casi, è possibile scegliere se completare un'esecuzione immediatamente dopo il ripristino della connessione.

Le impostazioni predefinite per tutti i Gateway Data Movement sono definite nel centro attività Amministrazione. È possibile ignorare queste impostazioni per le singole attività, come descritto di seguito.

Per farlo

1. Aprire il progetto, quindi eseguire una delle operazioni descritte di seguito:

   • Nella vista attività, fare clic su sull'attività di dati e selezionare Pianificazione.

   • Nella vista pipeline, fare clic sull'attività di dati e selezionare Pianificazione.

   • Aprire l'attività dati, quindi fare clic sul pulsante Pianificazione sulla barra degli strumenti.

   Si apre la finestra di dialogo Pianificazione - <task>.

2. Attivare Utilizza impostazioni personalizzate per questa attività.

3. Nella parte inferiore della finestra di dialogo, scegliere una delle opzioni di Esegui attività pianificate non completate elencate di seguito.

   • Il prima possibile e poi come pianificato se è importante eseguire un'attività prima della prossima istanza pianificata

   • Come pianificato per eseguire l'attività alla successiva istanza pianificata

4. Salva le impostazioni.

Vedere anche: Esecuzione di un'attività dopo una pianificazione mancata.