Impostazioni del progetto della pipeline di dati

È possibile modificare le impostazioni per un progetto di pipeline di dati in Qlik Talend Data Integration. Le proprietà sono comuni al progetto e a tutte le attività sui dati incluse. Alcune impostazioni sono disponibili solo per piattaforme dati specifiche.

• Fare clic su Impostazioni nel progetto.

Impostazioni per i progetti di pipeline di dati del data warehouse

Piattaforma dati

È possibile modificare le seguenti impostazioni:

• Connessione

  Connessione per il progetto.

• Connessione all'area di staging

  Questa opzione non è disponibile quando la piattaforma dati è Snowflake.

Metadati

È possibile impostare un suffisso per gli artefatti interni e suffissi predefiniti per le viste create.

• Preferenze artefatti

  • Prefisso per tutti gli schemi: Il prefisso da aggiungere agli schemi dati creati nel progetto. Questo è utile quando un progetto importato si trova nello stesso data warehouse cloud di un progetto esportato.

  • Suffisso per lo schema interno: Il suffisso da utilizzare per gli schemi usati per archiviare gli artefatti interni.

  • Maiuscole/minuscole predefinite del nome dello schema: L'uso predefinito di maiuscole/minuscole per tutti i nomi di schema. Se il database è configurato per forzare l'uso di maiuscole/minuscole, questa opzione non avrà alcun effetto.

• Suffissi per le viste esterne

  Impostare i suffissi predefiniti per le viste create nelle attività dati incluse nel progetto.

Impostazioni predefinite per le nuove attività

È possibile impostare valori predefiniti per le attività sui dati create nel progetto. Quando si crea un'attività sui dati, è possibile modificarne il valore.

È possibile impostare il database predefinito per creare artefatti di destinazione per tutti i tipi di attività sui dati.

Impostazioni predefinite dell'attività di trasferimento

Database predefinito

È possibile utilizzare il database predefinito del progetto o specificare un altro database.

Accesso alla destinazione tramite un proxy quando si utilizza Data Movement gateway

• Quando si utilizza Data Movement gateway, connettersi tramite proxy a

  Quando si utilizza Data Movement gateway, è possibile connettersi alla piattaforma di destinazione e alla piattaforma (area) di staging tramite un proxy.

  Per ulteriori informazioni sulla configurazione di Data Movement gateway per l'utilizzo di un server proxy, vedere Impostazione del tenant Qlik Cloud e di un server proxy.

  • Piattaforma di destinazione

    Nota informaticaDisponibile quando si utilizzano Snowflake, Google BigQuery e Databricks.

  • Piattaforma di staging

    Nota informaticaDisponibile quando si utilizzano Azure Synapse Analytics, Amazon Redshift e Databricks.

Impostazioni predefinite dell'attività di archiviazione

• Archivio dati storici (Tipo 2)

  È possibile conservare i dati storici delle modifiche per consentire di ricreare facilmente i dati così come apparivano in un momento specifico. È possibile utilizzare le viste cronologiche e le viste cronologiche in tempo reale per visualizzare i dati storici.

• Viste in tempo reale

  Le viste in tempo reale mostrano una vista per ogni tabella di origine selezionata che unisce la tabella con le modifiche dalla tabella delle modifiche. Ciò fornisce alle query una vista in tempo reale dei dati senza dover attendere il ciclo di applicazione successivo.

Database predefinito

È possibile utilizzare il database predefinito del progetto o specificare un altro database.

Catalogo

• Pubblica nel catalogo

  Selezionare questa opzione per pubblicare questa versione dei dati nel Catalogo come set di dati. Il contenuto del Catalogo verrà aggiornato la prossima volta che si prepara questa attività.

Tipo di vista predefinito

• Viste standard

  Utilizzare le viste standard per visualizzare i risultati di una query come se fosse una tabella.

• Viste sicure di Snowflake

  Utilizzare le viste sicure di Snowflake per le viste designate per la privacy dei dati o la protezione delle informazioni sensibili, come le viste create per limitare l'accesso ai dati sensibili che non dovrebbero essere esposti a tutti gli utenti delle tabelle sottostanti. Le viste sicure di Snowflake possono essere eseguite più lentamente rispetto alle viste standard.

Impostazioni predefinite dell'attività sui dati registrati

Database predefinito

È possibile utilizzare il database predefinito del progetto o specificare un altro database.

Catalogo

• Pubblica nel catalogo

  Selezionare questa opzione per pubblicare questa versione dei dati nel Catalogo come set di dati. Il contenuto del Catalogo verrà aggiornato la prossima volta che si prepara questa attività.

Impostazioni di caricamento incrementale

Queste impostazioni sono disponibili quando è selezionato Incrementale utilizzando l'high watermark.

• Tabelle delle modifiche

  Se le modifiche si trovano nella stessa tabella, selezionare Le modifiche sono all'interno della stessa tabella.

  In caso contrario, deselezionare Le modifiche sono all'interno della stessa tabella e specificare un modello di tabella delle modifiche.

• Colonna watermark

  Impostare il nome della colonna watermark in Nome.

• Colonna "Dalla data"

  È possibile indicare la "Dalla data" in base all'ora di inizio o utilizzando una colonna selezionata.

  Se si seleziona Colonna "Dalla data" selezionata, è necessario definire un Modello "Dalla data".

• Eliminazioni logiche

  È possibile includere le eliminazioni logiche nelle modifiche selezionando Le modifiche includono eliminazioni logiche e definendo un'espressione di indicazione.

  L'espressione di indicazione deve restituire True se la modifica è un'eliminazione logica.

  Esempio: ${is_deleted} = 1

• Immagine precedente

  È possibile filtrare i record dell'immagine precedente nelle modifiche delle tabelle delle modifiche selezionando Immagine precedente e definendo un'espressione di indicazione.

  L'espressione di indicazione deve restituire True se la riga contiene l'immagine prima dell'aggiornamento.

  Esempio: ${header__change_oper} = 'B'

Impostazioni predefinite dell'attività di trasformazione

• Archivio dati storici (Tipo 2)

  È possibile conservare i dati storici delle modifiche per consentire di ricreare facilmente i dati così come apparivano in un momento specifico. È possibile utilizzare le viste cronologiche e le viste cronologiche in tempo reale per visualizzare i dati storici.

Materializzazione

• Non materializzato (Solo viste)

  Selezionare questa opzione per creare solo viste che eseguono trasformazioni al volo.

• Materializzato (Tabelle e viste)

  Selezionare questa opzione per creare sia tabelle che viste.

Database predefinito

È possibile utilizzare il database predefinito del progetto o specificare un altro database.

Catalogo

• Pubblica nel catalogo

  Selezionare questa opzione per pubblicare questa versione dei dati nel Catalogo come set di dati. Il contenuto del Catalogo verrà aggiornato la prossima volta che si prepara questa attività.

Tipo di vista predefinito

• Viste standard

  Utilizzare le viste standard per visualizzare i risultati di una query come se fosse una tabella.

• Viste sicure di Snowflake

  Utilizzare le viste sicure di Snowflake per le viste designate per la privacy dei dati o la protezione delle informazioni sensibili, come le viste create per limitare l'accesso ai dati sensibili che non dovrebbero essere esposti a tutti gli utenti delle tabelle sottostanti. Le viste sicure di Snowflake possono essere eseguite più lentamente rispetto alle viste standard.

Tipo di tabella predefinito

Queste impostazioni sono disponibili solo nei progetti con Snowflake come piattaforma dati.

• Tipo di tabella

  È possibile selezionare il tipo di tabella da utilizzare:

  • Tabelle Snowflake

  • Tabelle Iceberg gestite da Snowflake

    È necessario impostare il nome predefinito del volume esterno in Volume esterno Snowflake.

• Archiviazione cloud da utilizzare

  Selezionare la cartella da utilizzare durante il trasferimento dei dati nell'area di staging.

  • Cartella predefinita

    Viene creata una cartella con il nome predefinito: <nome progetto>/<nome attività di dati>.

  • Cartella radice

    Archivia i dati nella cartella radice dell'archivio.

  • Cartella

    Specifica un nome di cartella da utilizzare.

• Sincronizza con Snowflake Open Catalog

  Abilitare questa opzione per consentire a Snowflake Open Catalog di gestire i file nell'archiviazione cloud.

Impostazioni predefinite dell'attività del data mart

Database predefinito

È possibile utilizzare il database predefinito del progetto o specificare un altro database.

Catalogo

• Pubblica nel catalogo

  Selezionare questa opzione per pubblicare questa versione dei dati nel Catalogo come set di dati. Il contenuto del Catalogo verrà aggiornato la prossima volta che si prepara questa attività.

Impostazioni predefinite di runtime

È possibile definire le impostazioni predefinite delle prestazioni di runtime per gli asset di dati inclusi nel progetto.

Impostazioni predefinite di trasferimento

• È possibile impostare il numero massimo di connessioni al database in Esecuzione parallela.

Impostazioni predefinite di archiviazione

• È possibile impostare le impostazioni di pianificazione predefinite su una pianificazione basata sul tempo. Questo sarà il valore predefinito per ogni attività di archiviazione creata.

• È possibile impostare il data warehouse predefinito se la piattaforma del progetto è Snowflake.

Impostazioni predefinite di trasformazione

• È possibile impostare le impostazioni di pianificazione predefinite su una pianificazione basata sul tempo o su Al completamento con esito positivo di qualsiasi attività sui dati di input. Questo sarà il valore predefinito per ogni attività di trasformazione creata.

• È possibile impostare il data warehouse predefinito se la piattaforma del progetto è Snowflake.

Impostazioni predefinite del data mart

• È possibile impostare le impostazioni di pianificazione predefinite su una pianificazione basata sul tempo o su Al completamento con esito positivo di qualsiasi attività sui dati di input. Questo sarà il valore predefinito per ogni attività del data mart creata.

• È possibile impostare il data warehouse predefinito se la piattaforma del progetto è Snowflake.

Impostazioni predefinite di mirroring

• È possibile impostare il data warehouse predefinito se la piattaforma del progetto è Snowflake.

Impostazioni per i progetti di pipeline di dati Qlik Open Lakehouse

Piattaforma dati

È possibile modificare le seguenti impostazioni:

• Connessione al catalogo dati: Selezionare una connessione esistente o fare clic su Crea nuova per aggiungere una nuova connessione al catalogo dati. È inoltre possibile modificare una connessione esistente e verificare che la connessione funzioni facendo clic su Testa connessione.

• Connessione di destinazione del trasferimento: Selezionare il bucket S3 per il trasferimento dei dati o fare clic su Crea nuova per aggiungere una nuova posizione del bucket. È inoltre possibile modificare una connessione esistente e verificare che la connessione funzioni facendo clic su Testa connessione.

Metadati

È possibile impostare un suffisso per gli artefatti interni e suffissi predefiniti per le viste create.

• Preferenze artefatti

  • Prefisso per tutti gli schemi: Il prefisso da aggiungere agli schemi dati creati nel progetto. Questo è utile quando un progetto importato si trova nello stesso data warehouse cloud di un progetto esportato.

  • Suffisso per lo schema interno: Il suffisso da utilizzare per gli schemi usati per archiviare gli artefatti interni.

  • Maiuscole/minuscole predefinite del nome dello schema: L'uso predefinito di maiuscole/minuscole per tutti i nomi di schema. Se il database è configurato per forzare l'uso di maiuscole/minuscole, questa opzione non avrà alcun effetto.

• Suffissi per le viste esterne

  Impostare i suffissi predefiniti per le viste create nelle attività dati incluse nel progetto.

• Hash

  È possibile impostare una stringa salt di hash da utilizzare durante l'hashing di una colonna, ad esempio per mascherare informazioni sensibili. Ciò genererà un hash SHA-256 della colonna di input dopo averla concatenata con la stringa salt di hash.

  È possibile utilizzare l'ID del progetto come stringa salt o impostare una stringa salt personalizzata.

Impostazioni predefinite per le nuove attività

È possibile impostare valori predefiniti per le attività sui dati create nel progetto. Quando si crea un'attività sui dati, è possibile modificarne il valore.

È possibile impostare il database predefinito per creare artefatti di destinazione per tutti i tipi di attività sui dati.

Impostazioni predefinite dell'attività di trasferimento nel lake

Cartella da utilizzare

Seleziona una delle seguenti opzioni, a seconda della cartella del bucket in cui desideri che vengano scritti i file:

• Cartella predefinita

  Il formato della cartella predefinita è <nome-progetto>/<nome-attività>

• Cartella radice

  I file verranno scritti nella cartella radice del bucket.

• Cartella

  Specifica un nome per la cartella. La cartella verrà creata durante l'attività dati se non esiste già.

  Nota informatica Il nome della cartella non può includere caratteri speciali (ad esempio, @, #, !, ecc.).

Impostazioni predefinite dell'attività di archiviazione

• Archivio dati storici (Tipo 2)

  È possibile conservare i dati storici delle modifiche per consentire di ricreare facilmente i dati così come apparivano in un momento specifico. È possibile utilizzare le viste cronologiche e le viste cronologiche in tempo reale per visualizzare i dati storici.

Catalogo

• Pubblica nel catalogo

  Selezionare questa opzione per pubblicare questa versione dei dati nel Catalogo come set di dati. Il contenuto del Catalogo verrà aggiornato la prossima volta che si prepara questa attività.

Cartella da utilizzare nell'area di staging

Seleziona una delle seguenti opzioni, a seconda della cartella del bucket in cui desideri che vengano scritti i file:

• Cartella predefinita

  Il formato della cartella predefinita è <nome-progetto>/<nome-attività>

• Cartella radice

  I file verranno scritti nella cartella radice del bucket.

• Cartella

  Specifica un nome per la cartella. La cartella verrà creata durante l'attività dati se non esiste già.

  Nota informatica Il nome della cartella non può includere caratteri speciali (ad esempio, @, #, !, ecc.).

Impostazioni predefinite dell'attività di trasferimento in streaming

È possibile impostare valori predefiniti per le attività di trasferimento in streaming create nel progetto.

Cartella da utilizzare

Seleziona una delle seguenti opzioni, a seconda della cartella del bucket in cui desideri che vengano scritti i file:

• Cartella predefinita

  Il formato della cartella predefinita è <nome-progetto>/<nome-attività>

• Cartella radice

  I file verranno scritti nella cartella radice del bucket.

• Cartella

  Specifica un nome per la cartella. La cartella verrà creata durante l'attività dati se non esiste già.

  Nota informatica Il nome della cartella non può includere caratteri speciali (ad esempio, @, #, !, ecc.).

Conservazione della cartella

Selezionare per quanto tempo conservare i dati:

• I dati e i metadati non vengono eliminati

  Né i dati né i metadati vengono eliminati.

• Elimina dati e metadati dopo il periodo di conservazione

  I dati e i metadati vengono eliminati al termine del periodo di conservazione.

• Elimina i metadati dopo il periodo di conservazione. I dati vengono eliminati dal sistema esterno.

  I metadati vengono eliminati al termine di questo periodo. I dati sottostanti, ad esempio l'oggetto S3, non vengono eliminati da Qlik ma vengono eliminati da un sistema esterno.

Impostazioni predefinite dell'attività di trasformazione in streaming

È possibile impostare valori predefiniti per le attività di trasformazione in streaming create nel progetto.

Catalogo

• Pubblica nel catalogo

  Selezionare questa opzione per pubblicare questa versione dei dati nel Catalogo come set di dati. Il contenuto del Catalogo verrà aggiornato la prossima volta che si prepara questa attività.

Cartella da utilizzare

Seleziona una delle seguenti opzioni, a seconda della cartella del bucket in cui desideri che vengano scritti i file:

• Cartella predefinita

  Il formato della cartella predefinita è <nome-progetto>/<nome-attività>

• Cartella radice

  I file verranno scritti nella cartella radice del bucket.

• Cartella

  Specifica un nome per la cartella. La cartella verrà creata durante l'attività dati se non esiste già.

  Nota informatica Il nome della cartella non può includere caratteri speciali (ad esempio, @, #, !, ecc.).

Definizioni di tabella

Configurare le colonne di intestazione della vista standard che vengono visualizzate per impostazione predefinita nelle viste standard per tutte le attività di trasformazione in streaming in questo progetto.

• hdr__from_timestamp

  Quando questa opzione è abilitata, la colonna di intestazione hdr__from_timestamp apparirà nelle viste standard. Inoltre, quando si seleziona Partiziona per data di acquisizione dell'evento nella procedura guidata di onboarding, hdr__from_timestamp verrà utilizzata come colonna di partizione predefinita. È possibile sovrascrivere questa impostazione a livello di attività o di set di dati.

  Nota informaticaLe viste cronologia includono sempre tutte le colonne di intestazione della vista standard, indipendentemente da questa impostazione.

Runtime

È possibile definire le impostazioni predefinite delle prestazioni di runtime per le attività sui dati incluse nel progetto.

Impostazioni predefinite dell'attività di trasferimento nel lake

• È possibile impostare il numero massimo di connessioni al database in Esecuzione parallela.

Impostazioni predefinite dell'attività di archiviazione

Cluster Lakehouse

Facoltativamente, scegliere un cluster Lakehouse dedicato per le attività di archiviazione.

Impostazioni predefinite dell'attività di trasferimento in streaming

Numero di lettori

Selezionare il numero di lettori da utilizzare. Il valore deve essere compreso tra 1 e 1.000.

Cluster Lakehouse

Facoltativamente, scegliere un cluster Lakehouse dedicato per le attività di archiviazione.

Impostazioni predefinite dell'attività di trasformazione in streaming

Cluster Lakehouse

Facoltativamente, scegliere un cluster Lakehouse dedicato per le attività di archiviazione.

Impostazioni predefinite di mirroring

• È possibile impostare il data warehouse predefinito se la piattaforma del progetto è Snowflake.