Impostazioni di trasferimento

È possibile configurare le impostazioni per l'attività dati di trasferimento.

• Aprire l'attività di trasferimento e fare clic su Impostazioni nella barra degli strumenti.

Viene visualizzata la finestra di dialogo Impostazioni: <Task-Name>. Le impostazioni disponibili sono descritte di seguito.

Generali

• Database

  Database da utilizzare nella destinazione.

  Nota informaticaQuesta opzione non è disponibile quando si trasferiscono dati a Qlik Cloud (tramite Amazon S3).

• Schema attività

  È possibile modificare il nome dello schema dell'attività dati di trasferimento. Il nome predefinito è di trasferimento.

  Nota informaticaQuesta opzione non è disponibile quando si trasferiscono dati a Qlik Cloud (tramite Amazon S3).

• Uso predefinito di maiuscole e minuscole per il nome dello schema

  È possibile impostare l'impostazione predefinita per maiuscole e minuscole per tutti i nomi degli schemi. Se il database è configurato per applicare maiuscole e minuscole in modo forzato, questa opzione non avrà effetto.

• Prefisso per tutte le tabelle e le visualizzazioni

  È possibile impostare un prefisso per tutte le tabelle e visualizzazioni create per questa attività.

  Nota informaticaQuesta opzione non è disponibile quando si trasferiscono dati a Qlik Cloud (tramite Amazon S3).
  Nota informaticaSe si desidera utilizzare uno schema del database per più attività, è necessario usare un prefisso univoco.

• Metodo di aggiornamento

  L'attività di trasferimento inizia sempre con un Caricamento completo. Una volta completato il Caricamento completo, è possibile mantenere aggiornati i dati trasferiti utilizzando uno dei metodi descritti di seguito:

  Nota informaticaNon è possibile cambiare il metodo di aggiornamento una volta completata l'operazione di preparazione dell'attività di trasferimento dati.
Nota informaticaQuando si utilizza una sorgente di applicazione SaaS, è supportato solo il metodo di aggiornamento Change Data Capture (CDC).

• • Change Data Capture (CDC)

    I dati acquisiti vengono mantenuti aggiornati usando la tecnologia CDC (Change Data Capture). CDC potrebbe non essere supportato da tutte le origini dati. CDC non acquisisce operazioni DDL, come la ridenominazione di colonne o modifiche ai metadati.

    Nota informatica

    Quando Change data capture (CDC) è il metodo di aggiornamento e la tua sorgente dati:

    • Non è un'applicazione SaaS

    • Contiene set di dati che supportano CDC e set di dati che supportano solo il caricamento completo (come le viste)

    Due pipeline di dati verranno create. Verrà creata una pipeline per le tabelle che supportano CDC, e un'altra pipeline verrà creata per i set di dati che supportano solo Ricaricamento e confronto.

  • Ricaricamento e confronto

    Tutti i dati trasferiti vengono ricaricati dalla sorgente. Ciò risulta utile se la sorgente dell'utente non supporta la CDC, ma è utilizzabile con qualsiasi sorgente dati supportata.

    È possibile pianificare i ricaricamenti periodicamente.

• Metodo di caricamento

  Quando si effettua la replica su una destinazione Snowflake, è possibile scegliere uno dei seguenti metodi di caricamento:

  • Caricamento in blocco (impostazione predefinita)

    Se si seleziona il Caricamento in blocco, sarà possibile regolare i parametri di caricamento nella scheda Caricamento dati.

  • Snowpipe Streaming

    Nota informatica

    Snowpipe Streaming sarà disponibile per la selezione solo se sono soddisfatte le seguenti condizioni:

    • Il metodo di aggiornamento Change Data Capture (CDC) è abilitato.
    • Il Meccanismo di autenticazione nel connettore Snowflake è impostato su Coppia di chiavi.
    • Se si utilizza Gateway Data Movement, è richiesta la versione 2024.11.45 o una successiva.

    Se si seleziona Snowpipe Streaming, assicurarsi di comprendere le limitazioni e considerazioni quando si usa questo metodo. Inoltre, se si seleziona Snowpipe Streaming e poi si passa al metodo di aggiornamento Ricarica e confronta, il metodo di caricamento tornerà automaticamente al Caricamento in blocco.

  Le ragioni principali per scegliereSnowpipe Streaming anziché Caricamento in blocco sono elencate di seguito: 

  • Meno costoso: poiché Snowpipe Streaming non utilizza il warehouse di Snowflake, i costi operativi dovrebbero essere significativamente più bassi, anche se ciò dipenderà dal proprio caso d'uso specifico.

  • Latenza ridotta: poiché i dati vengono inviati in streaming direttamente alle tabelle di destinazione (anziché tramite lo staging), la replica dalla sorgente dati alla destinazione dovrebbe essere più veloce.

  Nota di suggerimentoQuando si utilizza Snowpipe Streaming, il caricamento completo iniziale potrebbe essere significativamente più lento del Caricamento in blocco. Per ottimizzare le prestazioni di caricamento, soprattutto quando si caricano set di dati di grandi dimensioni, la procedura consigliata è utilizzare Snowpipe Streaming insieme alla funzionalità di caricamento parallelo.

• Cartella da utilizzare nell'area di staging

  Per le piattaforme dati che richiedono un'area di staging (ad esempio, Databricks e Azure Synapse Analytics), è possibile selezionare la cartella da utilizzare per il trasferimento dei dati.

  • Cartella predefinita

    Viene creata una cartella con il nome predefinito: <project name>/<data task name>.

  • Cartella radice

    Archivia i dati nella cartella radice dell'archivio.

    Nota informaticaQuesta opzione è disponibile solo quando si trasferiscono dati a Qlik Cloud (tramite Amazon S3).

  • Cartella

    Specifica un nome di cartella da utilizzare.

• Cambia intervallo di elaborazione

  È possibile impostare l'intervallo tra l'elaborazione delle modifiche dalla sorgente.

  Nota informaticaQuesta opzione è disponibile solo quando si trasferiscono dati a Qlik Cloud (tramite Amazon S3).

• Server proxy in caso di utilizzo del gateway Data Movement

  Nota informaticaQuesta opzione è disponibile solo quando si accede alle destinazioni tramite il gateway di Data Movement.

  Quando il gateway di Data Movement si connette al data warehouse cloud e all'area di archiviazione, è possibile scegliere di usare un server proxy.

  Per maggiori informazioni sulla configurazione del gateway di Data Movement per fare in modo che utilizzi un server proxy, vedere Configurazione del tenant Qlik Cloud e di un server proxy.

  • Usa proxy per la connessione al data warehouse

    Nota informaticaDisponibile per l'utilizzo di Snowflake, Google BigQuery e Databricks.

  • Usa proxy per la connessione allo storage

    Nota informaticaDisponibile quando si utilizza Azure Synapse Analytics, Amazon Redshift e Databricks.

Caricamento dati

Alcune impostazioni di questa scheda sono rilevanti solo per specifiche piattaforme di destinazione.

Sono rilevanti per tutte le piattaforme dati, tranne Qlik Cloud e Snowflake

Dimensioni massime file (MB)

Le dimensioni massime che può raggiungere un file prima che venga chiuso. I file di dimensioni inferiori possono essere caricati più velocemente (dipendendo dalla rete) e migliorare le prestazioni quando sono utilizzati insieme all'opzione di esecuzione parallela. Tuttavia, in generale si considera una cattiva prassi ingombrare il database con file di piccole dimensioni.

Rilevante solo per Google BigQuery

Usa compressione

Quando questa impostazione è selezionata, i file CSV verranno compressi (utilizzando gzip) prima di essere caricati su Google BigQuery.

Rilevante solo per Snowflake

Nella scheda Generale, è possibile scegliere se caricare i dati su Snowflake utilizzando il Caricamento in blocco o Snowpipe Streaming. Quando è selezionata l'opzione Snowpipe Streaming, la scheda Caricamento dati non verrà visualizzata. Quando è selezionata l'opzione Caricamento in blocco, saranno disponibili le seguenti impostazioni:

• Dimensione massima del file (MB): Rilevante per il carico completo iniziale e il CDC. Le dimensioni massime che può raggiungere un file prima che venga caricato nella destinazione. Se si riscontrano problemi di prestazioni, provare a regolare il parametro.

• Numero di file da caricare in un batch: Rilevante solo per il caricamento completo iniziale. Il numero di file da caricare in un singolo batch. Se si riscontrano problemi di prestazioni, provare a regolare il parametro.

Per una descrizione dei metodi di caricamento Caricamento in blocco e Snowpipe Streaming , consultare Generali.

Metadati

Colonne LOB

Includi colonne LOB e limita dimensione della colonna a (KB):

È possibile scegliere di includere le colonne LOB nell'attività e di impostare le dimensioni massime delle LOB. Le LOB di dimensioni maggiori rispetto alla dimensione massima verranno troncate.

Tabelle di controllo

Selezionare quale delle seguenti tabelle di controllo si desidera creare nella piattaforma di destinazione:

• Stato trasferimento: fornisce i dettagli sull'attività di trasferimento corrente, inclusi stato dell'attività, quantità di memoria consumata dall'attività, numero di modifiche non ancora applicate alla piattaforma dati e posizione nell'endpoint di origine da cui Gateway Data Movement legge i dati.
• Tabelle sospese: fornisce un elenco delle tabelle sospese, insieme al motivo della sospensione.
• Cronologia trasferimento: Fornisce informazioni sulla cronologia dell'attività, incluso il numero e il volume dei record elaborati durante un'attività di trasferimento, la latenza alla fine di un'attività CDC e altri dati.

• Cronologia DDL: include una cronologia di tutte le modifiche DDL supportate apportate durante l'attività.

  La tabella Cronologia DDL è supportata solo dalle seguenti piattaforme di destinazione:

  • Databricks

  • Microsoft Fabric
  • Amazon Redshift
  • Se si utilizza Gateway Data Movement, le seguenti destinazioni richiedono la versione 2024.11.14 o successiva:
    • Amazon S3
    • Google Cloud Storage
    • Snowflake
  • Kafka - Se si utilizza Gateway Data Movement, è richiesta la versione 2025.5.42 o successiva.
  • Se si utilizza Gateway Data Movement, le seguenti destinazioni richiedono la versione 2025.11.1 o successiva:
    • Google BigQuery
    • Google Cloud Alloy DB per PostgreSQL (tramite il connettore PostgreSQL)
    • Google Cloud SQL per PostgreSQL (tramite il connettore PostgreSQL)
    • Database di Microsoft Azure per PostgreSQL (tramite il connettore PostgreSQL)
    • PostgreSQL

Per una descrizione dettagliata di ogni tabella di controllo, vedere Tabelle di controllo

Caricamento completo

Regolazione prestazioni

• Numero massimo di tabelle da caricare in parallelo: inserire il numero massimo di tabelle da caricare alla volta nella destinazione. Il valore predefinito è 5.

• Timeout coerenza transazione (secondi): inserire il numero di secondi da attendere per la chiusura delle transazioni aperte, prima di avviare l'operazione Caricamento completo. Il valore predefinito è 600 (10 minuti). Il caricamento completo verrà avviato una volta che viene raggiunto il valore di timeout, anche se vi sono transazioni ancora aperte.

  Nota informaticaPer replicare le transazioni aperte all'avvio di Caricamento completo ma che sono state applicate solo dopo che è stato raggiunto il valore di timeout, è necessario ricaricare le tabelle di destinazione.
• Frequenza di commit durante il caricamento completo: il numero massimo di eventi che è possibile trasferire insieme. Il valore predefinito è 10000.

Dopo il completamento del caricamento completo

Crea chiave primaria o univoca: selezionare questa opzione se si desidera ritardare la creazione della chiave primaria o univoca sulla piattaforma dati fino al completamento del caricamento completo.

Per il caricamento iniziale

Gestione errori

Errori dati

Per errori di troncamento di dati: selezionare l'azione da eseguire quando si verifica un troncamento in uno o più record specifici. È possibile selezionare una delle seguenti opzioni dall'elenco:

• Ignora: l'attività continua e l'errore viene ignorato.
• Sospendi tabella: l'attività continua, ma i dati dalla tabella con il record dell'errore viene spostato in uno stato di errore e i relativi dati non vengono replicati.
• Arresta attività: l'attività viene interrotta ed è richiesto l'intervento manuale.

Per gli altri errori nei dati: selezionare l'azione da eseguire quando si verifica un errore in uno o più record specifici. È possibile selezionare una delle seguenti opzioni dall'elenco:

• Ignora: l'attività continua e l'errore viene ignorato.
• Sospendi tabella: l'attività continua, ma i dati dalla tabella con il record dell'errore viene spostato in uno stato di errore e i relativi dati non vengono replicati.
• Arresta attività: l'attività viene interrotta ed è richiesto l'intervento manuale.

Riassegna gestione errore quando gli altri errori nei dati raggiungono (per tabella): selezionare questa casella di controllo per riassegnare la gestione dell'errore quando il numero di errori nei dati che non sono relativi al troncamento (per tabella) raggiunge la quantità specificata. I valori validi sono 1-10.000.

Azione di riassegnazione: scegliere l'azione da eseguire quando si riassegna la gestione dell'errore. Notare che le operazioni disponibili dipendono dall'azione selezionata dall'elenco a discesa Per gli altri errori nei dati descritto prima.

• Sospendi tabella (opzione predefinita): l'attività continua, ma i dati dalla tabella con il record dell'errore viene spostato in uno stato di errore e i relativi dati non vengono landed.

• Arresta attività: l'attività viene interrotta ed è richiesto l'intervento manuale.

Errori tabella

Quando rileva un errore tabella: selezionare una delle opzioni descritte di seguito dall'elenco a discesa:

• Sospendi tabella: (opzione predefinita) l'attività continua, ma i dati dalla tabella con il record dell'errore passano a uno stato di errore e i dati correlati non vengono replicati.
• Interrompi attività: l'attività viene interrotta ed è richiesto l'intervento manuale.

Riassegna gestione quando gli errori di tabelle raggiungono (per tabella): selezionare questa casella di controllo per riassegnare la gestione dell'errore quando il numero di errori della tabella (per tabella) raggiunge il numero specificato. I valori validi sono 1-10.000.

Azione di riassegnazione: i criteri di riassegnazione per gli errori nella tabella sono impostati su Interrompi attività e non è possibile modificarli.

Ambientale

• Numero massimo di tentativi: selezionare questa opzione, quindi specificare il numero massimo di tentativi in cui cercare di eseguire l'attività quando si verifica un errore ambientale recuperabile. Una volta completato il numero di tentativi specificato per eseguire l'attività, questa viene interrotta ed è richiesto l'intervento manuale da parte dell'utente.

  Per fare in modo che non venga eseguito nessun tentativo, deselezionare la casella di controllo o specificare "0".

  Per impostare un numero infinito di tentativi, specificare "-1"

  • Intervallo tra nuovi tentativi (secondi): utilizzare il contatore per selezionare o digitare il numero di secondi che il sistema deve attendere tra un tentativo e l'altro quando tenta di eseguire un'attività.

    I valori validi sono 0-2.000.

• Aumenta intervallo di tentativi per interruzioni prolungate: selezionare questa casella di controllo per aumentare l'intervallo tra i tentativi per le interruzioni prolungate. Quando questa opzione è abilitata, la durata dell'intervallo tra ciascun tentativo di esecuzione dell'attività raddoppia, fino al raggiungimento dell'Intervallo massimo di tentativi (i tentativi continuano a essere eseguiti in base all'intervallo massimo specificato).
  • Intervallo massimo di tentativi (secondi): utilizzare il contatore per selezionare o digitare il numero di secondi da attendere tra un tentativo di eseguire un'attività quando l'opzione Aumenta intervallo di tentativi per interruzioni prolungate è selezionata. I valori validi sono 0-2.000.

Regolazione di elaborazione delle modifiche

Regolazione offload transazionale

• Offload delle transazioni in corso su disco se:

  i dati transazionali di norma vengono mantenuti in memoria fino a quando non vengono completamente implementati nella sorgente o destinazione. Tuttavia, per le transazioni con dimensioni più grandi rispetto alla memoria allocata o che non vengono implementate entro il limite di tempo specificato, viene effettuato l'offload su disco.

  • Le dimensioni totali della memoria per tutte le transazioni superano (MB): le dimensioni massime che tutte le transazioni possono occupare in memoria prima che venga effettuato l'offload su disco. Il valore predefinito è 1024.
  • La durata della transazione supera (secondi): l'intervallo massimo di tempo che ogni transazione può rimanere in memoria prima che venga effettuato l'offload su disco. La durata viene calcolata dall'ora in cui Qlik Talend Data Integration ha iniziato l'acquisizione della transazione. Il valore predefinito è 60.

Regolazione batch

Alcune delle impostazioni di questa scheda potrebbero non essere applicabili a tutte le destinazioni o tutti i metodi di caricamento di destinazione.

Le impostazioni sono applicabili a tutte le destinazioni, ad eccezione di Qlik Cloud e Snowflake quando il "Metodo di caricamento" è "Snowpipe Streaming".

• Applica modifiche in batch a intervalli:

• Maggiore di: l'intervallo minimo di tempo durante il quale attendere tra ogni applicazione di modifiche in batch. Il valore predefinito è 1.

  Se si aumenta il valore nell'opzione Maggiore di, diminuisce la frequenza con la quale le modifiche vengono applicate alla destinazione quando si aumentano le dimensioni dei batch. In questo modo, è possibile migliorare le prestazioni quando si applicano modifiche ai database di destinazione che sono ottimizzati per l'elaborazione di batch di grandi dimensioni.

• Inferiore a: l'intervallo massimo di tempo durante il quale attendere tra ogni applicazione di modifiche in batch (prima di dichiarare il timeout). Quindi, corrisponde alla latenza massima accettabile. Il valore predefinito è 30. Questo valore determina l'intervallo massimo di tempo da attendere prima di applicare le modifiche, dopo che è stato raggiunto il valore Superiore a.

• Applicazione forzata batch quando la memoria di elaborazione supera i limiti (MB): la quantità massima di memoria da utilizzare per la pre-elaborazione. Il valore predefinito è 500 MB.

  Per le dimensioni massime dei batch, impostare questo valore sulla quantità massima di memoria che è possibile assegnare per le attività dati. In questo modo, è possibile migliorare le prestazioni quando si applicano modifiche ai database di destinazione che sono ottimizzati per l'elaborazione di batch di grandi dimensioni.

• Applica modifiche in lotti a più tabelle simultaneamente: la selezione di questa opzione dovrebbe migliorare le prestazioni quando si applicano le modifiche da più tabelle di origine.

  • Numero massimo di tabelle: Il numero massimo di tabelle a cui applicare contemporaneamente le modifiche in batch. Il valore predefinito è cinque.

  Nota informaticaQuesta opzione non è supportata quando si utilizza Google BigQuery come piattaforma dati.

• Limita il numero di modifiche applicate per ogni istruzione di elaborazione delle modifiche a: selezionare questa opzione per limitare il numero di modifiche applicate per ogni singola istruzione di elaborazione delle modifiche. Il valore predefinito è 10,000.

  Nota informaticaQuesta opzione è supportata solo quando si utilizza Google BigQuery come piattaforma dati.

Le impostazioni sono applicabili a Qlik Cloud e Snowflake solo quando il "Metodo di caricamento" è "Snowpipe Streaming".

• Numero minimo di modifiche per transazione: il numero minimo di modifiche da includere in ogni transazione. Il valore predefinito è 1000.

  Nota informatica

  Le modifiche verranno applicate alla destinazione quando il numero di modifiche è uguale o maggiore del valore dell'opzione Numero minimo di modifiche per transazione O quando il valore Tempo massimo per raggruppare le transazioni in lotti prima dell'applicazione (secondi), a seconda di quale condizione si verifica per prima. Poiché la frequenza delle modifiche applicate nella destinazione è controllata da questi due parametri, le modifiche ai record di origine potrebbero non essere riflesse immediatamente nei record di destinazione.

• Tempo massimo per raggruppare le transazioni in lotti prima dell'applicazione (secondi): il tempo massimo per raccogliere le transazioni in batch prima che venga dichiarato un timeout. Il valore predefinito è 1.

Intervallo

• Leggi modifiche ogni (minuti)

  Impostare l'intervallo tra le modifiche di lettura dalla sorgente in minuti. L'intervallo valido è compreso tra 1 e 1440.

  Nota informatica

  Questa opzione è disponibile solo per le attività che utilizzano:

  • Gateway Data Movement
  • Il metodo di aggiornamento Change Data Capture (CDC)

Verifica la presenza di modifiche

• In base all'intervallo di estrazione delta: Quando questa opzione è selezionata, l'attività dati verifica la presenza di modifiche in base all'intervallo di estrazione delta.

  Nota informaticaL'intervallo inizierà dopo ogni "round". Un round può essere definito come il tempo necessario all'attività dati per leggere le modifiche dalle tabelle di origine e inviarle alla destinazione (come singola transazione). La durata di un round varia in base al numero di tabelle e modifiche. Quindi, se si specifica un intervallo di 10 minuti e un ciclo richiede 4 minuti, il tempo effettivo tra una verifica e l'altra delle modifiche sarà di 14 minuti.

  • Intervallo di estrazione delta: La frequenza con cui i delta verranno estratti dal sistema. L'intervallo predefinito è 60 secondi.

• Come pianificato: quando questa opzione è selezionata, l'attività dati estrarrà il delta una volta e poi si arresterà. Quindi, continuerà l'esecuzione in base alla pianificazione.

  Nota informaticaQuesta opzione è rilevante solo se l'intervallo tra i cicli CDC è di 24 ore o più.

  Per informazioni sulla pianificazione:

  • Per le attività di trasferimento in un progetto di pipeline di dati, vedere Attività di pianificazione

Regolazioni varie

• Dimensione cache istruzioni (numero di istruzioni): Il numero massimo di istruzioni preparate da archiviare sul server per l'esecuzione successiva (quando si applicano modifiche alla destinazione). Il valore predefinito è 50. Il valore massimo è 200.

• ELIMINA e INSERISCI durante l'aggiornamento di una colonna chiave primaria: Questa opzione richiede l'accesso supplementare completo per poter essere attivata nel database di origine.

  Nota informaticaQuesta impostazione non è disponibile per le attività che utilizzano un connettore per applicazioni SaaS, a meno che non sia un connettore Lite.

Evoluzione automatica dello schema

Selezionare come gestire i seguenti tipi di modifiche del DDL nello schema. Una volta modificate le impostazioni di evoluzione dello schema, è necessario preparare nuovamente l'attività. La tabella seguente descrive le azioni disponibili per le modifiche del DDL supportate.

Sostituzione di caratteri

È possibile sostituire o eliminare i caratteri nel database di destinazione e/o sostituire o eliminare i caratteri di origine che non sono supportati da un set di caratteri selezionato.

Sostituzione o eliminazione dei caratteri di origine

Utilizzare la tabella Sostituisci o elimina caratteri di origine per definire le sostituzioni per caratteri di origine specifici. Questa opzione può essere utile, ad esempio, quando la rappresentazione Unicode di un carattere è differente nelle piattaforme di origine e di destinazione. Ad esempio, su Linux, il carattere meno nel set di caratteri Shift_JIS è rappresentato come U+2212, ma su Windows è rappresentato come U+FF0D.

Sostituzione o eliminazione dei caratteri di origine non supportati dal set di caratteri selezionato

Utilizzare la tabella Caratteri di origine non supportati dal set di caratteri per definire un singolo carattere di sostituzione per tutti i caratteri non supportati dal set di caratteri selezionato.

Altre opzioni

Queste opzioni non sono esposte nell'interfaccia utente, dato che sono rilevanti solo per versioni o ambienti specifici. Di conseguenza, non impostare queste opzioni a meno che non sia stato esplicitamente indicato dal Supporto Qlik o dalla documentazione dei prodotti.

Per impostare un'opzione, semplicemente copiarla nel campo Aggiungi nome funzionalità e fare clic su Aggiungi. Quindi, impostare il valore o attivare l'opzione in base alle istruzioni ricevute.

Caricamento in parallelo di segmenti del set di dati

Durante un caricamento completo, è possibile velocizzare il caricamento dei set di dati di grandi dimensioni suddividendo il set di dati in segmenti, che verranno caricati in parallelo. Le tabelle possono essere suddivise per intervalli di dati, tutte le partizioni, tutte le sottopartizioni o per partizioni specifiche.

Per ulteriori informazioni, vedere Trasferimento in parallelo di segmenti del set di dati.

Attività di pianificazione

In alcuni casi, potrebbe essere necessario pianificare l'attività per propagare le modifiche dalla sorgente dati alla piattaforma di destinazione.

Per ulteriori informazioni, vedere Scheduling tasks.