Impostazioni di trasferimento nel lake

È possibile configurare le impostazioni per l'attività dati di trasferimento su lake.

• Aprire l'attività di trasferimento e fare clic su Impostazioni nella barra degli strumenti.

Viene visualizzata la finestra di dialogo Impostazioni: <nome-attività>. Le impostazioni disponibili sono descritte di seguito.

Generale

Metodo di aggiornamento

L'attività di trasferimento inizia sempre con un Caricamento completo. Una volta completato il Caricamento completo, è possibile mantenere aggiornati i dati trasferiti utilizzando uno dei metodi descritti di seguito:

Nota informaticaNon è possibile cambiare il metodo di aggiornamento una volta completata l'operazione di preparazione dell'attività di trasferimento dati.

• Change Data Capture (CDC)

  I dati trasferiti vengono mantenuti aggiornati usando la tecnologia CDC (Change Data Capture). Non tutte le sorgenti dati potrebbero supportate CDC. CDC non acquisisce le operazioni DDL, quali la ridenominazione di colonne o le modifiche ai metadati.

  Se i dati contengono anche visualizzazioni o tabelle che non supportano la funzione CDC, verranno create due pipeline di dati. Una pipeline con tutte le tabelle che supportano la funzione CDC, e un'altra pipeline con tutte le altre tabelle e visualizzazioni che utilizzano Ricarica come metodo di aggiornamento.

• Ricarica

  Tutti i dati trasferiti vengono ricaricati dalla sorgente. Ciò risulta utile se la sorgente dell'utente non supporta la CDC, ma è utilizzabile con qualsiasi sorgente dati supportata.

  È possibile pianificare i ricaricamenti periodicamente.

  Nota informaticaQuesta impostazione non è disponibile quando si utilizza il connettore Anteprima di un'applicazione SaaS. I connettori di anteprima sono indicati da un pulsante , sia nella finestra di dialogo Crea connessione che nella guida online.

Cartella da utilizzare

Selezionare la cartella da utilizzare durante il trasferimento dei dati nell'area di staging.

• Cartella predefinita

  Viene creata una cartella con il nome predefinito: <nome progetto>/<nome attività di dati>.

• Cartella radice

  Archivia i dati nella cartella radice dell'archivio.

• Cartella

  Specifica un nome di cartella da utilizzare.

Caricamento dati

• Dimensione massima file (MB)

  Le dimensioni massime che può raggiungere un file prima che venga chiuso. I file di dimensioni inferiori possono essere caricati più velocemente (dipendendo dalla rete) e migliorare le prestazioni quando sono utilizzati insieme all'opzione di esecuzione parallela. Tuttavia, in generale si considera una cattiva prassi ingombrare il database con file di piccole dimensioni.

  Nota informaticaQuesta impostazione è rilevante per tutte le piattaforme dati tranne Qlik Cloud.

• Usa compressione

  Se selezionata, i file CSV verranno compressi (utilizzando gzip) prima di essere caricati su Google BigQuery.

  Nota informatica

  • Questa impostazione è rilevante solo per Google BigQuery.
  • Richiede Gateway Data Movement 2023.5.16 o versioni successive.

Metadati

Colonne LOB

• Includi colonne LOB e limita la dimensione della colonna a (KB):

  È possibile scegliere di includere le colonne LOB nell'attività e impostare la dimensione massima dei LOB. I LOB che superano la dimensione massima verranno troncati.

  Nota informaticaQuando si utilizza Azure Synapse Analytics come destinazione, la dimensione massima dei LOB non può superare i 7 MB.

Tabelle di controllo

Selezionare quali delle seguenti tabelle di controllo si desidera creare sulla piattaforma di destinazione:

• Stato trasferimento: Fornisce dettagli sull'attività di trasferimento corrente, inclusi lo stato dell'attività, la quantità di memoria consumata dall'attività, il numero di modifiche non ancora applicate alla piattaforma dati e la posizione nell'endpoint di origine da cui Gateway Data Movement sta attualmente leggendo.
• Tabelle sospese: Fornisce un elenco delle tabelle sospese e il motivo per cui sono state sospese.
• Cronologia trasferimento: Fornisce informazioni sulla cronologia dell'attività, inclusi il numero e il volume di record elaborati durante un'attività di trasferimento, la latenza alla fine di un'attività CDC e altro ancora.

• Cronologia DDL: Contiene una cronologia di tutte le modifiche DDL supportate che si sono verificate durante un'attività.

  La tabella Cronologia DDL è supportata solo dalle seguenti piattaforme di destinazione:

  • Databricks

  • Microsoft Fabric
  • Amazon Redshift
  • Se si utilizza Gateway Data Movement, le seguenti destinazioni richiedono la versione 2024.11.14 o successiva:
    • Amazon S3
    • Google Cloud Storage
    • Snowflake
  • Kafka - Se si utilizza Gateway Data Movement, è richiesta la versione 2025.5.42 o successiva.
  • Se si utilizza Gateway Data Movement, le seguenti destinazioni richiedono la versione 2025.11.1 o successiva:
    • Google BigQuery
    • Google Cloud Alloy DB per PostgreSQL (tramite il connettore PostgreSQL)
    • Google Cloud SQL per PostgreSQL (tramite il connettore PostgreSQL)
    • Database di Microsoft Azure per PostgreSQL (tramite il connettore PostgreSQL)
    • PostgreSQL

Per una descrizione dettagliata di ciascuna delle tabelle di controllo, vedere Tabelle di controllo

Caricamento completo

Ottimizzazione delle prestazioni

• Numero massimo di tabelle da caricare in parallelo: Inserire il numero massimo di tabelle da caricare contemporaneamente nella destinazione. Il valore predefinito è 5.

• Timeout di coerenza delle transazioni (secondi): Inserire il numero di secondi di attesa per la chiusura delle transazioni aperte, prima di iniziare l'operazione di caricamento completo. Il valore predefinito è 600 (10 minuti). Il caricamento completo inizierà dopo il raggiungimento del valore di timeout anche se ci sono transazioni ancora aperte.

  Nota informaticaPer replicare le transazioni che erano aperte all'inizio del caricamento completo ma che sono state confermate solo dopo il raggiungimento del valore di timeout, è necessario ricaricare le tabelle di destinazione.
• Frequenza di commit durante il caricamento completo: Il numero massimo di eventi che possono essere trasferiti insieme. Il valore predefinito è 10000.

Al termine del caricamento completo

Crea chiave primaria o univoca: Selezionare questa opzione se si desidera ritardare la creazione della chiave primaria o dell'indice univoco sulla piattaforma dati fino al termine del caricamento completo.

Per il caricamento iniziale

Quando si spostano i dati dalla sorgente di un'applicazione SaaS, è possibile impostare il modo in cui viene eseguito il caricamento completo:

Gestione degli errori

Errori nei dati

Per errori di troncamento di dati: selezionare l'azione da eseguire quando si verifica un troncamento in uno o più record specifici. È possibile selezionare una delle seguenti opzioni dall'elenco:

• Ignora: l'attività continua e l'errore viene ignorato.
• Sospendi tabella: l'attività continua, ma i dati dalla tabella con il record dell'errore viene spostato in uno stato di errore e i relativi dati non vengono replicati.
• Arresta attività: l'attività viene interrotta ed è richiesto l'intervento manuale.

Per gli altri errori nei dati: selezionare l'azione da eseguire quando si verifica un errore in uno o più record specifici. È possibile selezionare una delle seguenti opzioni dall'elenco:

• Ignora: l'attività continua e l'errore viene ignorato.
• Sospendi tabella: l'attività continua, ma i dati dalla tabella con il record dell'errore viene spostato in uno stato di errore e i relativi dati non vengono replicati.
• Arresta attività: l'attività viene interrotta ed è richiesto l'intervento manuale.

Riassegna gestione errore quando gli altri errori nei dati raggiungono (per tabella): selezionare questa casella di controllo per riassegnare la gestione dell'errore quando il numero di errori nei dati che non sono relativi al troncamento (per tabella) raggiunge la quantità specificata. I valori validi sono 1-10.000.

Azione di riassegnazione: scegliere l'azione da eseguire quando si riassegna la gestione dell'errore. Notare che le operazioni disponibili dipendono dall'azione selezionata dall'elenco a discesa Per gli altri errori nei dati descritto prima.

• Sospendi tabella (opzione predefinita): l'attività continua, ma i dati dalla tabella con il record dell'errore viene spostato in uno stato di errore e i relativi dati non vengono landed.

• Arresta attività: l'attività viene interrotta ed è richiesto l'intervento manuale.

Errori nelle tabelle

Numero di tentativi prima di restituire un errore di tabella

Questa opzione permette di controllare quando verranno attivati i criteri di gestione degli errori nella tabella. Per impostazione predefinita, dopo aver riscontrato un errore nella tabella, questa viene sospesa o l'attività viene interrotta (in base all'azione selezionata) dopo tre tentativi. A volte, si verifica un errore di tabella a causa della manutenzione programmata dell'applicazione SaaS. In questi casi, il numero predefinito di tentativi potrebbe non essere sufficiente per completare la manutenzione prima che vengano attivati i criteri di gestione degli errori nella tabella. Questo dipende anche dall'intervallo di pianificazione dell'attività, in quanto verrà eseguito un tentativo ogni volta che l'attività viene eseguita. Quindi, ad esempio, se si pianifica un'attività da eseguire ogni ora e l'applicazione SaaS viene messa offline per manutenzione proprio quando l'attività inizia a essere eseguita, il valore predefinito di tre tentativi consentirà all'applicazione SaaS di essere offline per un massimo di tre ore senza che vengano attivati i criteri di gestione degli errori nella tabella. Una finestra di manutenzione più lunga richiederebbe di aumentare il numero di tentativi (o di modificare la pianificazione) per evitare che vengano attivati i criteri di gestione degli errori della tabella.

Per riassumere, se sa che la sua applicazione SaaS è sottoposta a manutenzione periodica, la prassi migliore è aumentare il numero di tentativi in base alla pianificazione, in modo che la manutenzione possa essere completata senza che venga attivato il criterio di gestione degli errori nella tabella.

Quando rileva un errore tabella: selezionare una delle opzioni descritte di seguito dall'elenco a discesa:

• Sospendi tabella: (opzione predefinita) l'attività continua, ma i dati dalla tabella con il record dell'errore passano a uno stato di errore e i dati correlati non vengono replicati.
• Interrompi attività: l'attività viene interrotta ed è richiesto l'intervento manuale.

Riassegna gestione quando gli errori di tabelle raggiungono (per tabella): selezionare questa casella di controllo per riassegnare la gestione dell'errore quando il numero di errori della tabella (per tabella) raggiunge il numero specificato. I valori validi sono 1-10.000.

Azione di riassegnazione: i criteri di riassegnazione per gli errori nella tabella sono impostati su Interrompi attività e non è possibile modificarli.

Ambientali

• Numero massimo di tentativi: selezionare questa opzione, quindi specificare il numero massimo di tentativi in cui cercare di eseguire l'attività quando si verifica un errore ambientale recuperabile. Una volta completato il numero di tentativi specificato per eseguire l'attività, questa viene interrotta ed è richiesto l'intervento manuale da parte dell'utente.

  Per fare in modo che non venga eseguito nessun tentativo, deselezionare la casella di controllo o specificare "0".

  Per impostare un numero infinito di tentativi, specificare "-1"

  • Intervallo tra nuovi tentativi (secondi): utilizzare il contatore per selezionare o digitare il numero di secondi che il sistema deve attendere tra un tentativo e l'altro quando tenta di eseguire un'attività.

    I valori validi sono 0-2.000.

• Aumenta intervallo di tentativi per interruzioni prolungate: selezionare questa casella di controllo per aumentare l'intervallo tra i tentativi per le interruzioni prolungate. Quando questa opzione è abilitata, la durata dell'intervallo tra ciascun tentativo di esecuzione dell'attività raddoppia, fino al raggiungimento dell'Intervallo massimo di tentativi (i tentativi continuano a essere eseguiti in base all'intervallo massimo specificato).
  • Intervallo massimo di tentativi (secondi): utilizzare il contatore per selezionare o digitare il numero di secondi da attendere tra un tentativo di eseguire un'attività quando l'opzione Aumenta intervallo di tentativi per interruzioni prolungate è selezionata. I valori validi sono 0-2.000.

Ottimizzazione dell'elaborazione delle modifiche

Ottimizzazione dell'offload transazionale

Offload delle transazioni in corso su disco se:

i dati transazionali di norma vengono mantenuti in memoria fino a quando non vengono completamente implementati nella sorgente o destinazione. Tuttavia, per le transazioni con dimensioni più grandi rispetto alla memoria assegnata o che non vengono implementate entro il limite di tempo specificato, viene effettuato l'offload su disco.

• Le dimensioni totali della memoria per tutte le transazioni superano (MB): le dimensioni massime che tutte le transazioni possono occupare in memoria prima che venga effettuato l'offload su disco. Il valore predefinito è 1024.
• La durata della transazione supera (secondi): l'intervallo massimo di tempo che ogni transazione può rimanere in memoria prima che venga effettuato l'offload su disco. La durata viene calcolata dall'ora in cui Qlik Talend Data Integration ha iniziato l'acquisizione della transazione. Il valore predefinito è 60.

Ottimizzazione batch

Alcune delle impostazioni in questa scheda

Impostazioni rilevanti per tutte le destinazioni tranne Qlik Cloud:

• Applica modifiche in batch a intervalli:

• Più di: La quantità minima di tempo da attendere tra ogni applicazione delle modifiche in batch. Il valore predefinito è 1.

  Aumentando il valore Più di si riduce la frequenza con cui le modifiche vengono applicate alla destinazione, aumentando al contempo la dimensione dei batch. Ciò può migliorare le prestazioni quando si applicano modifiche ai database di destinazione ottimizzati per l'elaborazione di batch di grandi dimensioni.

• Meno di: La quantità massima di tempo da attendere tra ogni applicazione delle modifiche in batch (prima di dichiarare un timeout). In altre parole, la latenza massima accettabile. Il valore predefinito è 30. Questo valore determina la quantità massima di tempo da attendere prima di applicare le modifiche, dopo che è stato raggiunto il valore Maggiore di.

• Forza l'applicazione di un batch quando la memoria di elaborazione supera (MB): La quantità massima di memoria da utilizzare per la pre-elaborazione. Il valore predefinito è 500 MB.

  Per la dimensione massima del batch, impostare questo valore sulla quantità massima di memoria che è possibile allocare all'attività dati. Ciò può migliorare le prestazioni quando si applicano modifiche ai database di destinazione ottimizzati per l'elaborazione di batch di grandi dimensioni.

• Applica modifiche in batch a più tabelle contemporaneamente: La selezione di questa opzione dovrebbe migliorare le prestazioni quando si applicano modifiche da più tabelle di origine.

  • Numero massimo di tabelle: Il numero massimo di tabelle a cui applicare contemporaneamente le modifiche in batch. Il valore predefinito è cinque.

  Nota informaticaQuesta opzione non è supportata quando si utilizza Google BigQuery come piattaforma dati.

• Limita il numero di modifiche applicate per istruzione di elaborazione delle modifiche a: Selezionare questa opzione per limitare il numero di modifiche applicate in una singola istruzione di elaborazione delle modifiche. Il valore predefinito è 10.000.

  Nota informaticaQuesta opzione è supportata solo quando si utilizza Google BigQuery come piattaforma dati.

Impostazioni rilevanti solo per Qlik Cloud:

• Numero minimo di modifiche per transazione: il numero minimo di modifiche da includere in ogni transazione. Il valore predefinito è 1000.

  Nota informatica

  Le modifiche verranno applicate alla destinazione quando il numero di modifiche è uguale o maggiore del valore dell'opzione Numero minimo di modifiche per transazione O quando il valore Tempo massimo per raggruppare le transazioni in lotti prima dell'applicazione (secondi), a seconda di quale condizione si verifica per prima. Poiché la frequenza delle modifiche applicate nella destinazione è controllata da questi due parametri, le modifiche ai record di origine potrebbero non essere riflesse immediatamente nei record di destinazione.

• Tempo massimo per raggruppare le transazioni in lotti prima dell'applicazione (secondi): il tempo massimo per raccogliere le transazioni in batch prima che venga dichiarato un timeout. Il valore predefinito è 1.

Intervallo

• Leggi modifiche ogni (Minuti)

  Impostare l'intervallo tra la lettura delle modifiche dall'origine in minuti. L'intervallo valido è compreso tra 1 e 1440.

  Nota informatica

  Questa opzione è disponibile solo quando:

  • Si utilizza Gateway Data Movement
  • Si esegue il trasferimento di dati da sorgenti di applicazione SaaS
  • L'attività è definita con il metodo di aggiornamento Change data capture (CDC)

Ottimizzazione varia

• Dimensioni della cache di istruzioni (numero di istruzioni): Il numero massimo di istruzioni preparate per l'archiviazione sul server per l'esecuzione successiva (quando si applicano modifiche alla destinazione). Il valore predefinito è 50. Il valore massimo è 200.

• Usa DELETE e INSERT per l'aggiornamento di una colonna della chiave primaria: questa opzione richiede l'accesso supplementare completo per poter essere attivata nel database di origine.

Evoluzione dello schema

Selezionare come gestire i seguenti tipi di modifiche DDL nello schema. Dopo aver modificato le impostazioni di evoluzione dello schema, è necessario preparare nuovamente l'attività. La tabella seguente descrive quali azioni sono disponibili per le modifiche DDL supportate.

Sostituzione dei caratteri

È possibile sostituire o eliminare i caratteri nel database di destinazione e/o sostituire o eliminare i caratteri di origine che non sono supportati da un set di caratteri selezionato.

Sostituzione o eliminazione dei caratteri di origine

Utilizzare la tabella Sostituisci o elimina caratteri di origine per definire le sostituzioni per caratteri di origine specifici. Questa opzione può essere utile, ad esempio, quando la rappresentazione Unicode di un carattere è differente nelle piattaforme di origine e di destinazione. Ad esempio, su Linux, il carattere meno nel set di caratteri Shift_JIS è rappresentato come U+2212, ma su Windows è rappresentato come U+FF0D.

Sostituzione o eliminazione dei caratteri di origine non supportati dal set di caratteri selezionato

Utilizzare la tabella Caratteri di origine non supportati dal set di caratteri per definire un singolo carattere di sostituzione per tutti i caratteri non supportati dal set di caratteri selezionato.

Altre opzioni

Queste opzioni non sono esposte nell'interfaccia utente, dato che sono rilevanti solo per versioni o ambienti specifici. Di conseguenza, non impostare queste opzioni a meno che non sia stato esplicitamente indicato dal Supporto Qlik o dalla documentazione dei prodotti.

Per impostare un'opzione, semplicemente copiarla nel campo Aggiungi nome funzionalità e fare clic su Aggiungi. Quindi, impostare il valore o attivare l'opzione in base alle istruzioni ricevute.

Caricamento di segmenti di set di dati in parallelo

Durante il caricamento completo, è possibile accelerare il caricamento di set di dati di grandi dimensioni suddividendo il set di dati in segmenti, che verranno caricati in parallelo. Le tabelle possono essere suddivise per intervalli di dati, tutte le partizioni, tutte le sottopartizioni o partizioni specifiche.

Per ulteriori informazioni, vedere Trasferimento in parallelo di segmenti del set di dati.

Pianificazione delle attività

Nei seguenti casi d'uso, è necessario definire un intervallo di pianificazione per mantenere aggiornati i dati di destinazione:

• Accesso a una sorgente dati senza Gateway Data Movement
• Utilizzo di un connettore di applicazione SaaS che non supporta l'impostazione Leggi modifiche ogni

La pianificazione determina la frequenza con cui i set di dati di destinazione verranno aggiornati con le modifiche ai set di dati di origine. Mentre la pianificazione determina la frequenza di aggiornamento, il tipo di set di dati determina il metodo di aggiornamento. Se i set di dati di origine supportano CDC (Change data capture), solo le modifiche ai dati di origine verranno replicate e applicate alle tabelle di destinazione corrispondenti. Se i set di dati di origine non supportano CDC (ad esempio, le Viste), le modifiche verranno applicate ricaricando tutti i dati di origine nelle tabelle di destinazione corrispondenti. Se alcuni dei set di dati di origine supportano CDC e altri no, verranno create due sotto-attività separate: una per ricaricare i set di dati che non supportano CDC e l'altra per acquisire le modifiche ai set di dati che supportano CDC. In questo caso, per garantire la coerenza dei dati, si consiglia vivamente di non mantenere lo stesso intervallo di pianificazione per entrambe le attività (se si decide di modificare la frequenza di aggiornamento in futuro).

Per informazioni sugli intervalli di pianificazione minimi in base al tipo di sorgente dati e i livelli di sottoscrizione, vedere Intervalli di pianificazione minimi consentiti.

Per modificare la pianificazione:

1. Aprire il proprio progetto dati e quindi eseguire una delle seguenti operazioni:

   • Nella vista delle attività, fare clic su sull'attività dati e selezionare Pianificazione.
   • Nella vista della pipeline, fare clic su sull'attività dati e selezionare Pianificazione.
   • Aprire l'attività di trasferimento e fare clic sul pulsante della barra degli strumenti Pianificazione.
2. Modificare le impostazioni di pianificazione in base alle esigenze e quindi fare clic su OK.

Esecuzione di un'esecuzione saltata per un'attività basata su Gateway Data Movement

A volte un problema di rete può causare l'interruzione della connessione a Gateway Data Movement. Se la connessione a Gateway Data Movement non viene ripristinata prima dell'esecuzione programmata successiva, l'attività dati non potrà essere eseguita come previsto. In questi casi, è possibile scegliere se completare un'esecuzione immediatamente dopo il ripristino della connessione.

Le impostazioni predefinite per tutti i Gateway Data Movement sono definite nel centro attività Amministrazione. È possibile sovrascrivere queste impostazioni per le singole attività come descritto di seguito.

Per fare ciò

1. Aprire il proprio progetto e quindi eseguire una delle seguenti operazioni:

   • Nella vista delle attività, fare clic su sull'attività dati e selezionare Pianificazione.

   • Nella vista della pipeline, fare clic su sull'attività dati e selezionare Pianificazione.

   • Aprire l'attività dati e fare clic sul pulsante della barra degli strumenti Pianificazione.

   Si apre la finestra di dialogo Pianificazione - <attività>.

2. Attivare Usa impostazioni personalizzate per questa attività.

3. Nella parte inferiore della finestra di dialogo, scegliere una delle seguenti opzioni Esegui attività pianificate saltate.

   • Il prima possibile e poi come pianificato se è importante eseguire un'attività prima della successiva istanza pianificata

   • Come pianificato per eseguire l'attività alla successiva istanza pianificata

4. Salvare le impostazioni.

Vedere anche: Esecuzione di un'attività dopo una pianificazione mancata.