Impostazioni attività replica dati

È possibile configurare le impostazioni per l'attività di replica dati.

• Aprire l'attività di replica e fare clic su Impostazioni nella barra degli strumenti.

Viene visualizzata la finestra di dialogo Impostazioni: <nome-attività>. Le impostazioni disponibili sono descritte di seguito.

Generali

In questa scheda, è possibile modificare la modalità di replica, le impostazioni di staging (quando sono disponibili) e la modalità di applicazione delle modifiche alla destinazione.

Modalità di replica

Sono disponibili le seguenti modalità di replica:

• Caricamento completo: carica i dati dalle tabelle di origine selezionate sulla piattaforma di destinazione e, se necessario, crea le tabelle di destinazione. Il caricamento completo viene eseguito automaticamente all'avvio dell'attività, ma può anche essere eseguito manualmente in caso di necessità.

• Applica le modifiche: mantiene le tabelle di destinazione aggiornate riportando qualsiasi modifica apportata alle tabelle di origine.

• Archivia modifiche: archivia le modifiche alle tabelle di origine nelle Tabelle di modifica (una per ogni tabella di origine).

  Per ulteriori informazioni, vedere Archivia modifiche.

Quando si utilizza il Gateway di Data Movement, le modifiche vengono acquisite dalla sorgente pressoché in tempo reale. Quando non si utilizza il Gateway di Data Movement (per esempio, con una sottoscrizione Avvio Qlik Talend Cloud o quando si seleziona Nessuno), le modifiche vengono acquisite in base alle impostazioni dell'utilità di pianificazione. Per ulteriori informazioni, vedere Pianificazione di attività quando non si utilizza il Gateway di Data Movement.

Se si seleziona Archivia modifiche o Applica modifiche e i dati di origine contengono tabelle che non supportano la funzione CDC o le visualizzazioni, verranno create due pipeline di dati. Una pipeline per le tabelle che supportano la proprietà CDC, e un'altra pipeline per tutte le altre tabelle e visualizzazioni che supportano solo il Caricamento completo.

Connessione a un'area di staging

Quando si effettua la replica nei data warehouse elencati di seguito, è necessario impostare un'area di staging. I dati vengono elaborati e preparati nell'area di staging prima di essere trasferiti nel warehouse.

• Amazon Redshift
• Microsoft Fabric
• Databricks

Selezionare un'area di staging o fare clic su Crea nuovo per definire una nuova area di staging, quindi seguire le istruzioni nella sezione Connessione a un'archiviazione cloud.

Per modificare le impostazioni della connessione, fare clic su Modifica. Per testare la connessione (procedura consigliata), fare clic su Prova connessione.

Per informazioni su quali aree di staging sono supportate con determinati data warehouse, vedere la colonna Supportata come area di staging inCasi d'uso della piattaforma di destinazione e versioni supportate.

Applica modalità di modifica

Le modifiche vengono applicate nelle tabelle di destinazione utilizzando uno dei metodi seguenti:

• Batch ottimizzato: è il batch predefinito. Quando questa opzione è selezionata, le modifiche vengono applicate in batch. Viene eseguita un'azione di pre-elaborazione per raggruppare le transazioni in batch nel modo più efficace.
• Transazionale: selezionare questa opzione per applicare ogni transazione individualmente, nell'ordine di esecuzione del relativo commit. In questo caso, una rigida integrità referenziale è garantita per tutte le tabelle.

Caricamento dati

Dimensione massima del file

Le dimensioni massime che può raggiungere un file prima che venga chiuso. I file di dimensioni inferiori possono essere caricati più velocemente (dipendendo dalla rete) e migliorare le prestazioni quando sono utilizzati insieme all'opzione di esecuzione parallela. Tuttavia, in generale si considera una cattiva prassi ingombrare il database con file di piccole dimensioni.

Metadati

Base

• Schema tabella di destinazione: lo schema nella destinazione in base al quale le tabelle di origine verranno replicate se non si desidera utilizzare lo schema della tabella di origine (o se non è presente nessuno schema nel database di origine).

  Nota informaticaQuando si utilizza la replica per una destinazione Oracle, lo schema della tabella di destinazione predefinita è "system". Notare anche che se si lascia questo campo vuoto (nel quale caso verrà utilizzato lo schema di origine), è necessario assicurarsi che lo schema di origine esiste già nella destinazione. In caso contrario, l'attività non verrà completata.
  Nota informaticaLa lunghezza massima consentita per il nome dello schema è di 128 caratteri.

Impostazioni delle colonne LOB

Le impostazioni disponibili per le colonne LOB differiscono in base alla destinazione selezionata per la replica. Poiché le destinazioni del data warehouse non supportano colonne LOB di dimensioni illimitate, questa opzione non sarà disponibile quando si effettua la replica su un data warehouse.

Impostazioni delle LOB per le destinazioni che non sono dei data warehouse

• Non includere colonne LOB: selezionare questa opzione se non si desidera che le colonne LOB di origine vengano replicate.

• Limita dimensione colonna LOB a (KB): questa è l'opzione predefinita. Selezionare questa opzione se è necessario replicare solo un numero ridotto di LOB o se la piattaforma di destinazione non supporta dimensioni illimitate per le LOB. Il valore massimo consentito per questo campo è 102.400 KB (100 MB).

  Quando si replica un numero ridotto di LOB, questa opzione è più efficiente di Consenti dimensioni LOB illimitate, poiché le LOB vengono replicate "inline" anziché tramite un'operazione di "lookup" dalla sorgente. Durante l'elaborazione delle modifiche, le LOB di piccole dimensioni di solito vengono replicate tramite un'operazione di "lookup" dalla sorgente.

  Il limite si applica al numero di byte della LOB letti dall'endpoint di origine. Per le colonne BLOB, la dimensione BLOB di destinazione sarà esattamente conforme al limite specificato. Per le colonne CLOB ed NCLOB, la dimensione LOB di destinazione potrebbe differire dal limite specificato se la tabella LOB di origine e quella di destinazione non hanno lo stesso set di caratteri. In questo caso, l'attività dati eseguirà la conversione del set di caratteri, il che potrebbe causare una discrepanza tra le dimensioni della LOB di origine e quella di destinazione.

  Poiché il valore limite per le dimensioni delle LOB è espresso in byte, queste devono essere calcolate utilizzando le formule elencate di seguito.

  • BLOB: la lunghezza della LOB più grande.
  • NCLOB: la lunghezza di TEXT (testo) più lunga in caratteri moltiplicata per due (poiché ogni carattere viene gestito da due byte). Se i dati includono caratteri di 4 byte, è necessario moltiplicare il numero per quattro.
  • CLOB: la lunghezza di TEXT (testo) più lunga in caratteri (poiché ogni carattere viene gestito come un carattere UTF8). Se i dati includono caratteri di 4 byte, è necessario moltiplicare il numero per due.
  Nota informatica

  • Qualsiasi LOB le cui dimensioni superino quelle specificate verrà troncata.
  • Durante l'elaborazione delle modifiche da una sorgente Oracle, le BLOB inline vengono replicate inline.
  • Le modifiche a questa impostazione verranno applicate alle tabelle esistenti solo dopo il loro ricaricamento.

• Non limitare dimensione colonna LOB: quando questa opzione è selezionata, le colonne LOB verranno replicate, indipendentemente dalle dimensioni.

  Nota informaticaLa replica delle colonne LOB può avere un impatto sulle prestazioni. Questo vale in particolare nel caso di colonne LOB di grandi dimensioni, per le quali l'attività deve eseguire un'operazione di ricerca dalla tabella di origine per recuperare il valore LOB di origine.

  • Ottimizza quando la dimensione LOB è inferiore a: selezionare questa opzione quando bisogna replicare colonne LOB di grandi e piccole dimensioni, ma la maggior parte di queste ha dimensioni ridotte.

    Nota informatica

    Questa opzione è supportata solo con le destinazioni e sorgenti descritte di seguito.

    • Sorgenti: Oracle, Microsoft SQL server, MySQL, PostgreSQL e IBM DB2 per LUW

    • Destinazioni: Oracle, Microsoft SQL Server, MySQL, PostgreSQL.

    Quando questa opzione è selezionata, durante il caricamento completo, le LOB di piccole dimensioni verranno replicate "inline" (un processo più efficiente), mentre le LOB di grandi dimensioni verranno replicate eseguendo una ricerca (lookup) nella tabella di origine. Durante l'elaborazione delle modifiche, tuttavia, le LOB sia di piccole che di grandi dimensioni verranno replicate eseguendo una ricerca dalla tabella di origine.

    Nota informatica

    Quando questa opzione è selezionata, l'attività di replica verificherà le dimensioni di tutte le LOB per determinare quelle da trasferire "inline". Le LOB con dimensioni maggiori di quelle specificate verranno replicate utilizzando la modalità LOB completa.

    Pertanto, se si sa che la maggior parte delle LOB hanno dimensioni maggiori dell'impostazione specificata, è preferibile utilizzare l'opzione Replica colonne LOB illimitate .

  • Dimensione blocco (KB): facoltativamente, modificare le dimensioni dei blocchi LOB per utilizzare quando si effettua la replica dei dati nella destinazione. Le dimensioni predefinite dei blocchi dovrebbero essere sufficienti nella maggior parte dei casi, ma se si rilevano problemi nelle prestazioni, regolare le dimensioni potrebbe aiutare a migliorarle.

    Nota informatica

    Con alcuni database, la convalida del tipo di dati viene completata quando i dati vengono inseriti o aggiornati. In tali casi, la replica dei tipi di dati strutturati (ad es. XML, JSON, GEOGRAPHY, ecc.) potrebbe non riuscire se le dimensioni dei dati sono maggiori delle dimensioni del blocco specificate.

Impostazioni delle colonne LOB per le destinazioni supportate per i data warehouse

• Includi colonne LOB e limita dimensione della colonna a (KB):

  è possibile scegliere di includere le colonne LOB nell'attività e di impostare le dimensioni massime LOB. Le LOB di dimensioni superiori rispetto alle dimensioni massime verranno troncate.

Avanzate

Impostazioni tabella di controllo

• Schema tabelle di controllo: specificare lo schema di destinazione per le tabelle di controllo se non si desidera che vengano create nello schema di origine (l'opzione predefinita) o nello schema di destinazione.

  Nota informaticaLa lunghezza massima consentita per il nome dello schema è di 128 caratteri.
• Crea tabelle di controllo di destinazione nello spazio tabelle: ​ Quando la destinazione della replica è Oracle, specificare lo spazio tabelle dove si desidera creare le tabelle di controllo di destinazione. Se non si inserisce alcuna informazione in questo campo, le tabelle verranno create nello spazio tabelle predefinito nel database di destinazione.
• Crea indici per le tabelle di controllo di destinazione nello spazio tabelle: Quando la destinazione della replica è Oracle, specificare lo spazio tabelle dove si desidera creare gli indici delle tabelle di controllo. Se non si inserisce alcuna informazione in questo campo, gli indici verranno creati nello stesso spazio tabelle delle tabelle di controllo.
• Timeslot cronologia replica (minuti): la durata di ogni slot temporale nella tabella di controllo Cronologia replica. Il valore predefinito è 5 minuti.

Selezione della tabella di controllo

Applica le modifiche

Queste impostazioni sono disponibili quando la modalità Archivia modifiche è abilitata.

Base

Applicazione delle modifiche del DDL alla tabella di destinazione

Le opzioni determinano se le operazioni DDL eseguite nella tabella di origine corrispondente verranno eseguite anche nella tabella di destinazione.

Avanzate

Vedere Regolazione di elaborazione delle modifiche.

Archivia modifiche

Queste impostazioni sono disponibili quando è selezionata la modalità di replica Archivia modifiche.

Base

Opzioni DDL

Selezionare una delle seguenti opzioni per determinare la modalità di gestione delle operazioni DDL nelle tabelle di origine:

• Applica a tabella delle modifiche: le operazioni DDL nelle tabelle di origine (ad esempio una colonna che viene aggiunta) verranno applicate solo alle tabelle delle modifiche corrispondenti.
• Ignora: tutte le operazioni DDL nelle tabelle di origine verranno ignorate.

Avanzate

All'aggiornamento

Selezionare Archivia immagine prima e dopo per archiviare i dati prima e dopo l'operazione di UPDATE. Quando questa opzione non è selezionata, verranno archiviati solo i dati successivi all'operazione di UPDATE.

Creazione di una tabella delle modifiche

La sezione seguente descrive le opzioni che sono disponibili quando si archiviano le modifiche nelle Tabelle delle modifiche.

• Suffisso: consente di specificare una stringa da utilizzare come suffisso per tutte le Tabelle delle modifiche. Il valore predefinito è __ct. I nomi della Tabella delle modifiche sono il nome della tabella di destinazione con il suffisso aggiunto. Quindi, per esempio, se si utilizza il valore predefinito, il nome della Tabella delle modifiche sarà HR__ct.
• Prefisso colonna intestazione: consente di specificare una stringa da utilizzare come prefisso per tutte le colonne di intestazione delle Tabelle delle modifiche. Il valore predefinito è header__. Per esempio, quando si utilizza il valore predefinito, la colonna di intestazione stream_position sarà denominata header__stream_position.

Per maggiori informazioni sulle Tabelle delle modifiche, vedere Utilizzo delle tabelle di modifica.

Se la tabella delle modifiche esiste quando viene avviato il caricamento completo: selezionare una delle opzioni elencate descritte di seguito per determinare come caricare le tabelle delle modifiche quando viene avviata la replica Caricamento completo.

• Elimina e crea tabella delle modifiche: la tabella viene eliminata e al suo posto viene creata una nuova tabella.

• Elimina modifiche anteriori e archivia le nuove modifiche nella tabella di modifica esistente: i dati vengono troncati e aggiunti senza alterare i metadati della tabella.

  Nota informaticaLa funzionalità non è supportata se la piattaforma di destinazione è Microsoft Fabric.
• Mantieni vecchie modifiche e archivia nuove modifiche in una tabella di modifica esistente: i dati e i metadati della Tabella delle modifiche esistente non vengono modificati.

Colonne di intestazione tabella

Le colonne di intestazione della Tabella di modifica forniscono informazioni sulle operazioni di Elaborazione modifica operazione come il tipo operazione (ad es. INSERT), l'ora in cui è stato eseguito il commit, e così via. Se tali informazioni non sono necessarie, è possibile configurare l'attività di spostamento per creare le tabelle di modifica con le colonne di intestazione selezionate (o nessuna), pertanto l'ingombro di memoria nel database di destinazione.

Per una descrizione delle colonne di intestazione, vedere Tabelle di modifica.

Gestione errori

Base

Conflitti di applicazione

Duplica chiave quando si applica INSERT: selezionare l'azione da eseguire quando si verifica un conflitto con un'operazione INSERT.

• Ignora: l'attività continua e l'errore viene ignorato.

   

• Aggiorna il record di destinazione esistente con UPDATE: viene aggiornato il record di destinazione con la stessa chiave primaria del record di origine inserito con operazione INSERT.

• Registra record nella tabella delle eccezioni (opzione predefinita): l'attività continua e l'errore viene scritto nella tabella delle eccezioni.

• Sospendi tabella: l'attività continua, ma i dati dalla tabella con il record dell'errore passano a uno stato di errore e i dati correlati non vengono replicati.

• Interrompi attività: l'attività viene interrotta ed è richiesto l'intervento manuale.

Nessun record trovato per l'applicazione di un UPDATE: Selezionare l'azione da intraprendere quando si verifica un conflitto con un'operazione di UPDATE.

• Ignora: l'attività continua e l'errore viene ignorato.

• Inserisci il record di destinazione mancante con INSERT: il record di destinazione mancante verrà inserito nella tabella di destinazione. Quando l'endpoint di origine è Oracle, la selezione di questa opzione richiede un accesso supplementare per poter accedere a tutte le colonne della tabella di origine.

• Registra record nella tabella delle eccezioni (opzione predefinita): l'attività continua e l'errore viene scritto nella tabella delle eccezioni.

• Sospendi tabella: l'attività continua, ma i dati dalla tabella con il record dell'errore passano a uno stato di errore e i dati correlati non vengono replicati.

• Interrompi attività: l'attività viene interrotta ed è richiesto l'intervento manuale.

Avanzate

Errori dati

Per errori di troncamento di dati: selezionare l'azione da eseguire quando si verifica un troncamento in uno o più record specifici. È possibile selezionare una delle seguenti opzioni dall'elenco:

• Ignora: l'attività continua e l'errore viene ignorato.
• Registra record nella tabella delle eccezioni (opzione predefinita): l'attività continua e l'errore viene scritto nella tabella delle eccezioni.
• Sospendi tabella: l'attività continua, ma i dati dalla tabella con il record dell'errore viene spostato in uno stato di errore e i relativi dati non vengono replicati.
• Arresta attività: l'attività viene interrotta ed è richiesto l'intervento manuale.

Per gli altri errori nei dati: selezionare l'azione da eseguire quando si verifica un errore in uno o più record specifici. È possibile selezionare una delle seguenti opzioni dall'elenco:

• Ignora: l'attività continua e l'errore viene ignorato.
• Registra record nella tabella delle eccezioni (opzione predefinita): l'attività continua e l'errore viene scritto nella tabella delle eccezioni.
• Sospendi tabella: l'attività continua, ma i dati dalla tabella con il record dell'errore viene spostato in uno stato di errore e i relativi dati non vengono replicati.
• Arresta attività: l'attività viene interrotta ed è richiesto l'intervento manuale.

Riassegna gestione errore quando gli altri errori nei dati raggiungono (per tabella): selezionare questa casella di controllo per riassegnare la gestione dell'errore quando il numero di errori nei dati che non sono relativi al troncamento (per tabella) raggiunge la quantità specificata. I valori validi sono 1-10.000.

Azione di riassegnazione: scegliere l'azione da eseguire quando si riassegna la gestione dell'errore. Notare che le operazioni disponibili dipendono dall'azione selezionata dall'elenco a discesa Per gli altri errori nei dati descritto prima.

• Sospendi tabella (opzione predefinita): l'attività continua, ma i dati dalla tabella con il record dell'errore viene spostato in uno stato di errore e i relativi dati non vengono spostato.

  Nota informatica

  Il comportamento è differente a seconda della Modalità di elaborazione modifiche:

  • Nella modalità di Applicazione transazionale, le ultime modifiche non vengono spostato.

  • Nella modalità Applicazione ottimizzata in batch, può verificarsi una situazione in cui i dati verranno spostato solo parzialmente o non verranno spostato affatto.

• Arresta attività: l'attività viene interrotta ed è richiesto l'intervento manuale.
• Registra record nella tabella delle eccezioni: l'attività continua e il record viene scritto nella tabella delle eccezioni.

Errori tabella

Quando viene rilevato un errore nella tabella: selezionare una delle opzioni descritte di seguito dall'elenco.

• Sospendi tabella (opzione predefinita): l'attività continua, ma i dati dalla tabella con il record dell'errore viene spostato in uno stato di errore e i relativi dati non vengono replicati.
• Arresta attività: l'attività viene interrotta ed è richiesto l'intervento manuale.

Riassegna gestione errore quando gli altri errori nella tabella raggiungono (per tabella): selezionare questa casella di controllo per riassegnare la gestione dell'errore quando il numero di errori nella tabella (per tabella) raggiunge la quantità specificata. I valori validi sono 1-10.000.

Azione di riassegnazione: La politica di riassegnazione per gli errori nella tabella è impostata su Interrompi attività e non è possibile modificarla.

Applica conflitti

Nessun record trovato per l'applicazione di DELETE: selezionare l'azione da intraprendere quando si verifica un conflitto con un'operazione di DELETE.

• Ignora: l'attività continua e l'errore viene ignorato.
• Registra record nella tabella delle eccezioni: l'attività continua e il record viene scritto nella tabella delle eccezioni.
• Sospendi tabella: l'attività continua, ma i dati dalla tabella con il record dell'errore passano a uno stato di errore e i dati correlati non vengono replicati.
• Interrompi attività: l'attività viene interrotta ed è richiesto l'intervento manuale.

Riassegna gestione dell'errore quando Conflitti di applicazione raggiunge (per tabella): selezionare questa casella di controllo per riassegnare la gestione dell'errore quando il numero di Conflitti di applicazione nella tabella (per tabella) raggiunge la quantità specificata. I valori validi sono 1-10.000.

Azione di riassegnazione: scegliere l'azione da eseguire quando si riassegna la gestione dell'errore.

• Registra record nella tabella delle eccezioni (opzione predefinita): l'attività continua e l'errore viene scritto nella tabella delle eccezioni.

• Sospendi tabella: l'attività continua, ma i dati dalla tabella con il record dell'errore passano a uno stato di errore e i dati correlati non vengono replicati.

  Nota informatica

  Il comportamento è differente a seconda della Modalità di elaborazione modifiche:

  • Nella modalità di applicazione Transazionale, le ultime modifiche non vengono replicate.

  • Nella modalità di applicazione Batch ottimizzato, si può verificare una situazione in cui non sarà disponibile la replica dei dati o quest'ultima sarà solo parziale.

• Interrompi attività: l'attività viene interrotta ed è richiesto l'intervento manuale.

Errori ambientali

• Numero massimo di tentativi: selezionare questa opzione, quindi specificare il numero massimo di tentativi in cui cercare di eseguire l'attività quando si verifica un errore ambientale recuperabile. Una volta completato il numero di tentativi specificato per eseguire l'attività, questa viene interrotta ed è richiesto l'intervento manuale da parte dell'utente.

  Per fare in modo che non venga eseguito nessun tentativo, deselezionare la casella di controllo o specificare "0".

  Per impostare un numero infinito di tentativi, specificare "-1"

  • Intervallo tra nuovi tentativi (secondi): utilizzare il contatore per selezionare o digitare il numero di secondi che il sistema deve attendere tra un tentativo e l'altro quando tenta di eseguire un'attività.

    I valori validi sono 0-2.000.

• Aumenta intervallo di tentativi per interruzioni prolungate: selezionare questa casella di controllo per aumentare l'intervallo tra i tentativi per le interruzioni prolungate. Quando questa opzione è abilitata, la durata dell'intervallo tra ciascun tentativo di esecuzione dell'attività raddoppia, fino al raggiungimento dell'Intervallo massimo di tentativi (i tentativi continuano a essere eseguiti in base all'intervallo massimo specificato).
  • Intervallo massimo di tentativi (secondi): utilizzare il contatore per selezionare o digitare il numero di secondi da attendere tra un tentativo di eseguire un'attività quando l'opzione Aumenta intervallo di tentativi per interruzioni prolungate è selezionata. I valori validi sono 0-2.000.

Regolazione di elaborazione delle modifiche

Regolazione offload della transazione

• Offload della transazione in corso al disco se:

  L'attività di replica di norma mantiene i dati delle transazioni in memoria fino a quando non vengono completamente implementate nella sorgente e/o destinazione. Tuttavia, per le transazioni con dimensioni più grandi rispetto alla memoria assegnata o che non vengono implementate entro il limite di tempo specificato, viene effettuato l'offload su disco.

  • Le dimensioni della memoria delle transazioni totali superano (MB): le dimensioni massime che tutte le transazioni possono occupare in memoria prima che venga effettuato l'offload su disco. Il valore predefinito è 1024.
  • La durata della transazione supera (secondi): l'intervallo massimo di tempo che ogni transazione può rimanere in memoria prima che venga effettuato l'offload su disco. La durata viene calcolata dall'ora in cui l'attività di replica ha iniziato l'acquisizione della transazione. Il valore predefinito è 60.

Regolazione batch

Le seguenti impostazioni sono disponibili solo quando l'opzione Modalità di applicazione è impostata su Batch ottimizzato.

• Applica modifiche in batch a intervalli:

• Superiore a: l'intervallo minimo di tempo durante il quale attendere tra ogni applicazione di modifiche in batch. Il valore predefinito è 1.

  Se si aumenta il valore nell'opzione Più a lungo di diminuisce la frequenza con la quale le modifiche vengono applicate alla destinazione quando si aumentano le dimensioni dei batch. In questo modo, è possibile migliorare le prestazioni quando si applicano modifiche ai database di destinazione che sono ottimizzati per l'elaborazione di batch di grandi dimensioni.

• Inferiore a: l'intervallo massimo di tempo durante il quale attendere tra ogni applicazione di modifiche in batch (prima di dichiarare il timeout). Quindi, corrisponde alla latenza massima accettabile. Il valore predefinito è 30. Questo valore determina l'intervallo massimo di tempo da attendere prima di applicare le modifiche, dopo che è stato raggiunto il valore Più a lungo di.

• Applicazione forzata batch quando la memoria di elaborazione supera i limiti (MB): la quantità massima di memoria da utilizzare per la pre-elaborazione nella modalità di applicazione Batch ottimizzato. Il valore predefinito è 500.

  Per le dimensioni massime dei batch, impostare questo valore sulla quantità massima di memoria che è possibile assegnare per le attività di replica. In questo modo, è possibile migliorare le prestazioni quando si applicano modifiche ai database di destinazione che sono ottimizzati per l'elaborazione di batch di grandi dimensioni.

Intervallo

• Leggi modifiche ogni (minuti)

  Impostare l'intervallo tra le modifiche di lettura dalla sorgente in minuti. L'intervallo valido è compreso tra 1 e 1440.

  Nota informatica

  Questa opzione è disponibile solo nei seguenti casi:

  • Utilizzo di Gateway di Data Movement
  • Trasferimento dati da sorgenti di applicazioni SaaS
  • L'attività viene definita con il metodo di aggiornamento Change data capture (CDC)

Regolazioni varie

Dimensioni della cache di istruzioni (numero di istruzioni)

Il numero massimo di istruzioni preparate per l'archiviazione sul server per l'esecuzione successiva (quando si applicano modifiche alla destinazione). Il valore predefinito è 50. Il valore massimo è 200.

Archivia attività dati di recupero nel database di destinazione

Selezionare questa opzione per archiviare le informazioni di recupero specifiche per l'attività nel database di destinazione. Quando questa opzione è selezionata, l'attività di replica crea una tabella denominata attrep_txn_state nel database di destinazione. Nella seguente tabella sono riportati i dati delle transazioni che possono essere utilizzati per recuperare un'attività nel caso in cui i file nella cartella Dati di Gateway di Data Movement siano danneggiati o in caso di errore da parte del dispositivo contenente la cartella Dati.

Applica modifiche usando SQL MERGE

Quando questa opzione non è selezionata, l'attività di replica eseguirà le istruzioni INSERT, UPDATE e DELETE in blocco separate per ognuno dei differenti tipi di modifica nella tabella delle variazioni nette.

Sebbene questo metodo sia altamente efficiente, l'abilitazione dell'opzione Applica modifiche usando SQL MERGE è ancora più efficiente quando si utilizzano endpoint che supportano l'opzione.

Ciò è dovuto alle seguenti ragioni:

• Riduce il numero di istruzioni SQL eseguite per ogni tabella da tra a una. La maggior parte delle operazioni di UPDATE in database cloud immutabili e di grandi dimensioni (come ad esempio Google Cloud BigQuery), prevede la riscrittura dei file interessati. Con tali operazioni, la riduzione delle istruzioni SQL per tabella da tre a una è molto importante.
• Il database di destinazione deve scansionare la tabella delle variazioni nette una volta, riducendo in modo significativo le operazioni di I/O.

Ottimizza inserimenti

Quando l'opzione Applica modifiche usando SQL MERGE è selezionata insieme a Ottimizza inserimenti e le modifiche consistono unicamente di operazioni INSERT, l'attività di replica eseguirà queste ultime anziché utilizzare SQL MERGE. Notare che mentre ciò normalmente migliori le prestazioni riducendo i costi, potrebbe anche causare report duplicati nel database di destinazione.

Applicazione transazionale

Le seguenti impostazioni sono disponibili solo quando l'opzione Modalità di applicazione è impostata su Transazionale.

• Numero minimo di modifiche per transazione: il numero minimo di modifiche da includere in ogni transazione. Il valore predefinito è 1000.

  Nota informaticaL'attività di replica applica le modifiche nella destinazione quando il numero di modifiche è uguale o maggiore del valore dell'opzione Numero minimo di modifiche per transazione OPPURE quando viene raggiunto il valore di timeout del batch (vedere sotto), a seconda di quale condizione si verifica per prima. Poiché la frequenza delle modifiche applicate nella destinazione è controllata da questi due parametri, le modifiche ai record di origine potrebbero non essere riflesse immediatamente nei record di destinazione.
• Tempo massimo per raggruppare le transazioni in lotti prima dell'applicazione (secondi): il tempo massimo per raccogliere le transazioni in batch prima che venga dichiarato un timeout. Il valore predefinito è 1.

Evoluzione dello schema

Selezionare come gestire i seguenti tipi di modifiche del DDL nello schema. Una volta modificate le impostazioni di evoluzione dello schema, è necessario preparare nuovamente l'attività. La tabella seguente descrive le azioni disponibili per le modifiche del DDL supportate.

Sostituzione di caratteri

È possibile sostituire o eliminare i caratteri nel database di destinazione e/o sostituire o eliminare i caratteri di origine che non sono supportati da un set di caratteri selezionato.

Sostituzione o eliminazione dei caratteri di origine

Utilizzare la tabella Sostituisci o elimina caratteri di origine per definire le sostituzioni per caratteri di origine specifici. Questa opzione può essere utile, ad esempio, quando la rappresentazione Unicode di un carattere è differente nelle piattaforme di origine e di destinazione. Ad esempio, su Linux, il carattere meno nel set di caratteri Shift_JIS è rappresentato come U+2212, ma su Windows è rappresentato come U+FF0D.

Sostituzione o eliminazione dei caratteri di origine non supportati dal set di caratteri selezionato

Utilizzare la tabella Caratteri di origine non supportati dal set di caratteri per definire un singolo carattere di sostituzione per tutti i caratteri non supportati dal set di caratteri selezionato.

Altre opzioni

Queste opzioni non sono esposte nell'interfaccia utente, dato che sono rilevanti solo per versioni o ambienti specifici. Di conseguenza, non impostare queste opzioni a meno che non sia stato esplicitamente indicato dal Supporto Qlik o dalla documentazione dei prodotti.

Per impostare un'opzione, semplicemente copiarla nel campo Aggiungi nome funzionalità e fare clic su Aggiungi. Quindi, impostare il valore o attivare l'opzione in base alle istruzioni ricevute.

Pianificazione di attività quando non si utilizza il Gateway di Data Movement

Il Gateway di Data Movement non è supportato con una sottoscrizione Avvio Qlik Talend Cloud ed è facoltativo con altri livelli di sottoscrizione. Quando non si utilizza il Gateway di Data Movement, i processi CDC (Change data capture) quasi in tempo reale non sono supportati. I dati di destinazione vengono mantenuti aggiornati impostando un intervallo di pianificazione. La pianificazione determina la frequenza con cui i set di dati di destinazione vengono aggiornati con le modifiche apportate ai set di dati di origine. Mentre la pianificazione determina la frequenza di aggiornamento, il tipo di set di dati determina il metodo di aggiornamento. Se i set di dati di origine supportano il processo CDC, solo le modifiche ai dati di origine verranno replicate e applicate alle tabelle di destinazione corrispondenti. Se i set di dati di origine non supportano il processo CDC (ad esempio, le viste), le modifiche verranno applicate ricaricando tutti i dati di origine nelle tabelle di destinazione corrispondenti. Se alcuni dei set di dati di origine supportano il processo CDC e altri no, verranno create due sottoattività separate (supponendo che le opzioni di replica Applica modifiche o Memorizza modifiche siano selezionate): una per ricaricare i set di dati che non supportano il CDC e l'altra per acquisire le modifiche ai set di dati che supportano il CDC. In questo caso, per assicurare la coerenza dei dati, si consiglia vivamente di impostare la stessa pianificazione per entrambe le sottoattività.

Per informazioni sugli intervalli di pianificazione minimi in base al tipo di sorgente dati e i livelli di sottoscrizione, vedere Intervalli di pianificazione minimi consentiti.

Per modificare le pianificazioni:

1. Aprire il progetto, quindi eseguire una delle operazioni descritte di seguito.

   • Nella vista Attività, fare clic su su un'attività di replica e selezionare Pianificazione.
   • Nella vista Pipeline, fare clic su su un'attività di replica e selezionare Pianificazione.
   • Aprire l'attività di replica, quindi fare clic sul pulsante Pianificazione sulla barra degli strumenti.
2. Modificare le impostazioni di pianificazione in base alle necessità, quindi fare clic su OK.