Creazione e gestione di data mart

Una volta eseguito l'onboarding dei dati, è possibile creare data mart utilizzando i dati delle attività Archiviazione o Trasformazione . È possibile creare un numero qualsiasi di data mart a seconda delle esigenze aziendali. Idealmente, i data mart dovrebbero contenere repository di dati riepilogativi raccolti per l'analisi su una specifica sezione o unità all'interno di un'organizzazione, ad esempio il reparto Vendite.

Oltre a memorizzare le tabelle nel data warehouse, è possibile anche memorizzare le tabelle come tabelle Iceberg, che è possibile gestire dalla piattaforma dati. Questa opzione attualmente è disponibile solo con i progetti Snowflake. È possibile utilizzarla selezionando le Tabelle Iceberg gestite da Snowflake alla voce Tipo di tabella nelle impostazioni dell'attività.

Prerequisiti

È possibile utilizzare attività dati dei seguenti tipi come origine per un data mart:

• Archiviazione

• Trasformazione

Prima di poter creare un data mart, è necessario eseguire le seguenti operazioni nelle attività dati di origine:

• Popolare i set di dati con i dati che si desidera utilizzare nel data mart. Per ulteriori informazioni, vedere Acquisizione di dati in un data warehouse.

• Creare un modello relazionale del set di dati per definire le relazioni tra i set di dati di origine. Per ulteriori informazioni, vedere Creazione di un modello dati.

  Nota di avvisoTutti i set di dati di origine devono avere chiavi.

Creazione di un data mart

Per creare un data mart:

1. Aprire il progetto.

2. Effettuare una delle seguenti operazioni:

   • Fare clic su Crea in alto a destra e selezionare Crea data mart.

   • Nell'attività dati di origine, fare clic su nell'angolo in basso a destra, quindi selezionare Crea data mart.

   Si aprirà la finestra di dialogo Crea data mart .

   

3. Fornire un nome per il data mart e, facoltativamente, fornire anche una descrizione.

4. Se si desidera configurare il data mart in un secondo momento, deselezionare la casella di controllo Apri , quindi fare clic su Crea. In caso contrario, fare semplicemente clic su Crea.

   Il data mart si apre nella scheda Data mart.

   

5. Selezionare i dati di origine come descritto in Selezione dei dati di origine
6. Se si desidera che il data mart contenga dimensioni, aggiungere le dimensioni come descritto in Aggiunta di dimensioni e di un fatto al data mart
7. Se si desidera che il data mart contenga un fatto, aggiungere un fatto come descritto in Aggiunta di un fatto
8. Se il data mart contiene sia dimensioni che un fatto, aggiungere le dimensioni allo schema a stella come descritto in Creazione di uno schema a stella
9. Creare i set di dati nel data mart e popolarli con i dati come descritto in Popolamento del data mart

Selezione dei dati di origine

I dati di origine vengono selezionati dai set di dati nell'attività dati di origine.

Per farlo:

1. Fare clic sul pulsante Seleziona dati di origine al centro della scheda o fare clic sul pulsante della barra degli strumenti Seleziona dati di origine.

   Si aprirà la finestra di dialogo Seleziona dati di origine.

2. Dall'elenco a discesa Progetti pipeline, selezionare il progetto da cui ottenere i dati di origine.

   È possibile aggiungere set di dati dal progetto corrente o da un altro progetto. Per aggiungere set di dati da un altro progetto:

   • È necessario disporre almeno del ruolo Può consumare nello spazio del progetto consumato.

   • Entrambi i progetti devono trovarsi sulla stessa piattaforma dati.

   Se il progetto selezionato è sotto controllo della versione, è possibile selezionare quale ramo utilizzare come origine. Per ulteriori informazioni sulle pipeline tra progetti, vedere Creazione di pipeline tra progetti.

3. Dall'elenco a discesa Attività dati, selezionare un'attività di Archiviazione o un'attività di Trasformazione se sono state create trasformazioni.

4. Lasciare il valore predefinito % per cercare tutti i set di dati o inserire il nome di un set di dati specifico da trovare. Quindi fare clic su Cerca.

5. Selezionare i set di dati desiderati, quindi fare clic su Aggiungi tabelle selezionate.

6. Fare clic su OK per chiudere la finestra di dialogo, quindi procedere con Aggiungi un fatto e/o Aggiungi dimensioni.

Aggiunta di dimensioni e di un fatto al data mart

Una volta selezionati i dati di origine, è possibile procedere alla creazione del data mart. Un data mart può avere un set di dati dei fatti, set di dati delle dimensioni o una combinazione di entrambi (in cui i set di dati delle dimensioni sono logicamente correlati al set di dati dei fatti).

Aggiunta di dimensioni

Per aggiungere una dimensione.

1. Fare clic sul pulsante Aggiungi dimensione.

   Si aprirà la finestra di dialogo Aggiungi dimensione.

2. Sono disponibili le seguenti impostazioni:

   • Set di dati più granulare: Selezionare un set di dati.
   • Nome: Specificare un nome visualizzato per la dimensione. L'impostazione predefinita è il nome del set di dati più granulare.
   • Descrizione: Facoltativamente, fornire una descrizione.
   • Tipo di cronologia: Selezionare una delle seguenti opzioni:
     • Tipo 1: Il record esistente nella dimensione verrà aggiornato ogni volta che viene aggiornato il record corrispondente nell'Archiviazione.
     • Tipo 2: Un nuovo record verrà aggiunto alla dimensione ogni volta che viene aggiornato il record corrispondente nell'Archiviazione.

   • Set di dati correlato da denormalizzare: Qualsiasi set di dati che può essere denormalizzato nel set di dati della dimensione (in base alle relazioni nel modello di asset di dati di origine) sarà disponibile per la selezione qui.

     

3. Fare clic su OK per salvare le impostazioni.

   La dimensione verrà aggiunta all'elenco Dimensioni a sinistra.

Vedere anche Dimensioni role-playing.

Visualizzazione delle informazioni su una dimensione

Quando si seleziona una dimensione, la scheda Modello relazionale di origine verrà mostrata nel riquadro centrale. Questa scheda mostra i set di dati di origine consolidati nella dimensione. I set di dati che si è scelto di denormalizzare quando è stata aggiunta la dimensione verranno mostrati selezionati (e disattivati).

Aggiunta di un fatto

Per aggiungere un fatto:

1. Fare clic sul pulsante Aggiungi fatto.

   Si aprirà la finestra di dialogo Aggiungi fatto.

2. Sono disponibili le seguenti impostazioni:

   • Fatto: Selezionare un set di dati che funga da fatto. Il set di dati deve definire la granularità del fatto che si sta creando.
   • Nome: Specificare un nome visualizzato per il fatto. L'impostazione predefinita è il nome del fatto.
   • Descrizione: Facoltativamente, fornire una descrizione.
   • Set di dati correlati da denormalizzare: Qualsiasi set di dati che può essere denormalizzato nel set di dati dei fatti sarà disponibile per la selezione qui.
   • Avanzate
     • Usa dati correnti: Se selezionata (impostazione predefinita), il fatto non conterrà una colonna della data della transazione.

     • Scegli data transazione: Per individuare i dati in base a una data di transazione specifica, selezionare questa opzione e quindi selezionare una colonna della data. Ciò è utile se lo schema a stella contiene dimensioni di tipo 2 ed è necessario trovare i dati corretti per una transazione specifica. Ad esempio, se un cliente ha più indirizzi, potrebbe essere possibile trovare l'indirizzo corretto in base alla data dell'ordine.

       Esempio di caso d'uso:

       Un rivenditore deve creare un data mart per analizzare la relazione tra ordini e clienti. Il data mart dovrebbe essere in grado di rispondere a query come: Quale stato degli Stati Uniti ha registrato la somma più alta di ordini nel quarto trimestre del 2022?

       Se il rivenditore seleziona l'opzione Usa dati correnti, solo la versione del record più recente nella tabella Clienti verrà inclusa nel calcolo.

       Ignorare la data della transazione comporterà dati imprecisi, come illustrato di seguito:

       

       Se il rivenditore seleziona l'opzione Scegli data transazione, tuttavia, gli ordini del cliente verranno associati alla versione del record corretta nella tabella Clienti .

       Ciò consentirà al rivenditore di calcolare con precisione la somma totale degli ordini per stato nel quarto trimestre del 2022.

       

       Nota di suggerimentoSi noti che la data della transazione può essere sfruttata in modo diverso in ogni data mart, a seconda delle esigenze aziendali. Ad esempio, in un data mart potrebbe essere utilizzata per analizzare le date degli ordini, mentre in un altro data mart potrebbe essere utilizzata per analizzare le date di spedizione.

3. Fare clic su OK per salvare le impostazioni.

   Il fatto verrà aggiunto all'elenco Fatti a sinistra.

Visualizzazione delle informazioni sul fatto

Quando si seleziona un fatto, nel riquadro centrale vengono visualizzate le seguenti schede:

• Modello schema a stella (predefinito): Mostra una rappresentazione grafica delle relazioni del set di dati all'interno del data mart.

• Modello dei fatti: Mostra tutti i set di dati correlati al set di dati dei fatti. I set di dati che si è scelto di denormalizzare quando è stato aggiunto il fatto verranno mostrati selezionati (e disattivati).

  

• Data transazione: Il nome della colonna della transazione se è stata selezionata l'opzione Scegli data transazione durante l'aggiunta del fatto.

Gestione delle dimensioni sconosciute e in ritardo

Ogni dimensione contiene le righe -1 e 0, che rappresentano la chiave di business della dimensione (ID oggetto). La riga -1 è riservata alle dimensioni in ritardo, mentre 0 è riservata alle dimensioni sconosciute.

Dimensioni sconosciute

I dati "Sconosciuti" sono dati che non erano disponibili quando la dimensione è stata originariamente creata. Ad esempio, supponiamo di avere un fatto ORDINE con una colonna SPEDIZIONIERE che è la chiave di business per la dimensione SPEDIZIONIERE. Se la riga del fatto ORDINE non è stata ancora spedita - e quindi ha NULL per la colonna SPEDIZIONIERE - diventerà correlata al record 0 (che denota uno Sconosciuto per la dimensione). Quando il fatto ORDINE viene successivamente aggiornato con un valore SPEDIZIONIERE (ad esempio, USPS), l'ID dimensione correlato (0) verrà aggiornato a sua volta.

Dimensioni in ritardo

Una dimensione in ritardo ha una chiave che esiste nei nuovi dati dei fatti, ma che non esiste ancora nella dimensione. Ad esempio, se lo SPEDIZIONIERE nel fatto ORDINE ha un valore "NUOVOSPED" per un nuovo spedizioniere e tale chiave di business non esiste ancora nella dimensione DIM_SPEDIZIONIERE, l'elaborazione del data mart metterà in relazione quel fatto con la riga -1. Ciò denota un membro della dimensione mancante nella tabella delle dimensioni. Quando la chiave di business "NUOVOSPED" arriva per la dimensione DIM_SPEDIZIONIERE, verrà creata la sua riga della dimensione e il record del fatto verrà aggiornato per allinearsi con la dimensione precedentemente mancante.

Creazione di uno schema a stella

Una volta aggiunte le dimensioni al data mart, è possibile procedere a collegarle al set di dati dei fatti, creando così uno schema a stella.

Per farlo:

1. Selezionare il fatto nell'elenco Fatti a sinistra.

2. Selezionare quali dimensioni aggiungere dall'elenco Dimensioni consigliate a destra.

   Le dimensioni consigliate vengono mostrate collegate al set di dati dei fatti con una linea tratteggiata.

   Nell'immagine seguente, alcune delle dimensioni sono state aggiunte in precedenza e sono quindi collegate con una linea grigia continua.

   

3. Fare clic su Applica per aggiungere le dimensioni.

   Le dimensioni verranno mostrate collegate al set di dati dei fatti con una linea grigia continua.

4. Per chiudere il pannello Dimensioni consigliate, fare clic su .

Popolamento del data mart

Una volta progettato il data mart, è possibile procedere a popolarlo.

Per farlo:

1. Fare clic sul pulsante della barra degli strumenti Prepara in alto a destra.

   Il processo di preparazione include la creazione di set di dati e viste nel data mart e l'aggiornamento del Catalogo.

   È possibile seguire l'avanzamento in Avanzamento preparazione nella parte inferiore dello schermo.

   Al termine della preparazione, il pulsante Prepara cambia in Esegui.

2. Facoltativamente, convalidare il data mart come descritto in Convalida e sincronizzazione del data mart di seguito.

3. Fare clic sul pulsante Esegui .

   La finestra passa alla vista Monitoraggio , mostrando l'avanzamento del caricamento e lo stato dei set di dati nel data mart.

   

Ogni record di origine verrà elaborato dal data mart, anche i record eliminati. Questo viene fatto per garantire che le informazioni storiche vengano conservate.

Convalida e sincronizzazione del data mart

La convalida del data mart garantisce che i metadati del data mart siano identici ai metadati corrispondenti nell'Archiviazione (o Trasformazione, se definita). La convalida del data mart confronta inoltre i metadati creati con la progettazione corrente dello schema a stella. Ad esempio, se si esegue la convalida dopo aver aggiunto una dimensione a un data mart già creato, la convalida non andrà a buon fine.

Per convalidare il data mart:

1. Selezionare Convalida set di dati dal menu a destra del pulsante Esegui oppure fare clic sul pulsante Convalida set di dati in basso a destra nella finestra.

   Verrà visualizzato un messaggio Convalida completata.

2. Se i metadati non sono sincronizzati o se sono presenti conflitti di progettazione dello schema a stella, il riquadro Convalida e regola nella parte inferiore della finestra si aprirà automaticamente con il report di convalida.

   Esempio di un data mart con un conflitto di progettazione dello schema a stella:

   

   Esempio di un data mart con errori di convalida:

   

3. Per risolvere eventuali problemi di Modifiche di progettazione in attesa, fare clic sul pulsante in alto a destra e selezionare Prepara. Se il valore della colonna Può essere modificato senza perdita di dati è Sì, verrà eseguita un'operazione ALTER. In caso contrario, le tabelle del data mart verranno ricreate.

   Si noti che tutti gli Errori di convalida devono essere risolti manualmente.

Gestione dei data mart

Questa sezione descrive le varie opzioni disponibili per la gestione dei set di dati e dei data mart.

Perfezionamento di fatti o dimensioni

Nella scheda Set di dati , è possibile eseguire varie operazioni per perfezionare i fatti e le dimensioni, come la creazione di regole di trasformazione (ad esempio, la sostituzione dei valori delle colonne) e l'aggiunta di espressioni a livello di colonna. La scheda Set di dati si trova a destra della scheda Data mart :

Aggiunta di regole

Per una spiegazione su come aggiungere regole globali, vedere Creazione di regole per la trasformazione di set di dati

Aggiunta di nuove colonne

È possibile aggiungere nuove colonne al set di dati di destinazione.

• Aggiunta di una nuova colonna da zero

  Fare clic su + Aggiungi.

  Fornire un nome per la colonna e impostare un'espressione per definire i dati della colonna.

  Per ulteriori informazioni, vedere Aggiunta di colonne a una serie di dati.

• Aggiunta di una colonna dall'origine

  Fare clic su accanto a Aggiungi e selezionare Aggiungi colonna dall'origine.

  Selezionare una colonna dal set di dati di origine.

Riordino delle colonne

È possibile modificare la posizione ordinale di una colonna.

1. Selezionare una colonna.

2. Fare clic su e quindi su Riordina.

3. Utilizzare le frecce per spostare la colonna verso l'alto o verso il basso.

4. Chiudere Modifica ordinale quando si è pronti.

Dimensioni role-playing

Una dimensione role-playing è la stessa dimensione utilizzata più volte all'interno dello stesso schema a stella, ma con significati diversi. Questo si verifica comunemente con le dimensioni Data e Cliente. Ad esempio, lo schema a stella potrebbe avere due entità Data, una che rappresenta la Data dell'ordine e l'altra che rappresenta la Data di ricezione.

Per aggiungere o modificare il nome del ruolo di una dimensione:

1. Fare clic sull'icona nel nodo della dimensione e selezionare Modifica nome dimensione in questo schema a stella.

2. Nella finestra di dialogo Modifica nome dimensione in questo schema a stella, inserire un nome (o modificare il nome esistente) nel campo Nome dimensione in questo schema a stella e fare clic su OK.

   Il nuovo nome apparirà sotto il nome originale della dimensione.

Opzioni di gestione aggiuntive

La tabella seguente descrive le opzioni di gestione aggiuntive:

Pianificazione di un'attività data mart

È possibile pianificare l'aggiornamento periodico di un'attività data mart. È possibile impostare una pianificazione basata sul tempo o impostare l'esecuzione dell'attività al termine dell'esecuzione delle attività dati di input.

Fare clic su ... su un'attività dati e selezionare Pianificazione per creare una pianificazione. L'impostazione di pianificazione predefinita viene ereditata dalle impostazioni nel progetto. Per ulteriori informazioni sulle impostazioni predefinite, vedere Valori predefiniti data mart.

È necessario impostare Pianificazione su On per abilitare la pianificazione.

Pianificazioni basate sul tempo

È possibile utilizzare una pianificazione basata sul tempo per eseguire l'attività indipendentemente da quando vengono aggiornate le diverse origini di input.

• Selezionare A un'ora specifica in Esegui l'attività dati.

È possibile impostare una pianificazione oraria, giornaliera, settimanale o mensile.

Pianificazioni basate su eventi

È possibile utilizzare una pianificazione basata su eventi per eseguire l'attività al termine dell'esecuzione delle attività dati di input.

• Selezionare Su un evento specifico in Esegui l'attività dati.

È possibile selezionare se si desidera eseguire l'attività quando una qualsiasi delle attività di input è stata completata correttamente o quando una qualsiasi di una selezione di attività di input è stata completata correttamente.

Ricaricamento dei dati

È possibile eseguire un ricaricamento manuale dei dati. Ciò è utile in caso di problemi con una o più tabelle.

1. Aprire l'attività dati e selezionare la scheda Monitoraggio.

2. Selezionare le tabelle che si desidera ricaricare.

   Quando una dimensione viene selezionata per il ricaricamento, anche tutti i fatti che utilizzano tale dimensione verranno ricaricati per mantenere l'integrità.

3. Fare clic su Ricarica tabelle.

È possibile annullare il ricaricamento per le tabelle in attesa di ricaricamento facendo clic su Annulla ricaricamento. Ciò non influirà sulle tabelle già ricaricate e i ricaricamenti attualmente in esecuzione verranno completati.

Il ricaricamento viene eseguito tramite:

1. Troncamento delle dimensioni e dei fatti selezionati.

2. Caricamento delle tabelle delle dimensioni selezionate dall'attività dati a monte.

3. Caricamento delle tabelle dei fatti dall'attività dati a monte. Ciò include:

   • Tabelle dei fatti selezionate esplicitamente.

   • Tabelle dei fatti correlate a una dimensione che viene ricaricata.

Eliminazione di un'attività

È possibile eliminare l'attività di dati se non è in esecuzione e non ci sono dipendenze da attività downstream nello stesso progetto.

• Nella vista Progetto pipeline del progetto, fare clic su su un'attività e selezionare Elimina.

Anche gli artefatti (tabelle e viste) creati dall'attività verranno eliminati, a meno che non si scelga di mantenerli.

Visualizzazione delle informazioni sull'attività

Fare clic su sulla barra dei menu per visualizzare le informazioni sull'attività, ad esempio:

• Proprietario

• Spazio

• Piattaforma dati

• ID progetto

• ID tempo di esecuzione attività dati

Impostazioni del data mart

Fare clic sul pulsante della barra degli strumenti Impostazioni per aprire la finestra di dialogo Impostazioni: <nome-data-mart>.

Impostazioni generali

Nella scheda Generale , sono disponibili le seguenti impostazioni:

• Database: Il database in cui verrà creato il data mart
• Schema dell'attività dati: Lo schema in cui verranno creati i set di dati
• Schema interno: Lo schema in cui verranno creati i set di dati interni

• Maiuscole/minuscole predefinite del nome dello schema

  È possibile impostare le maiuscole/minuscole predefinite per tutti i nomi di schema. Se il database è configurato per forzare le maiuscole/minuscole, questa opzione non avrà effetto.

• Prefisso per tutte le tabelle e le visualizzazioni

  È possibile impostare un prefisso per tutte le tabelle e visualizzazioni create per questa attività.

  Nota informaticaSe si desidera utilizzare uno schema del database per più attività, è necessario usare un prefisso univoco.

• Pubblica nel catalogo

  Selezionare questa opzione per pubblicare questa versione dei dati nel Catalogo come un set di dati. Il contenuto del Catalogo verrà aggiornato la volta successiva che si prepara l'attività.

  Per ulteriori informazioni sul Catalogo, vedere Informazioni sui dati con gli strumenti del catalogo.

Impostazioni di runtime

Nella scheda Runtime , sono disponibili le seguenti impostazioni:

• Esecuzione parallela: Inserire il numero massimo di connessioni al database che Qlik Cloud è autorizzato ad aprire per l'attività. Il numero predefinito è 10.
• Warehouse: Rilevante solo per Snowflake. Il nome del data warehouse Snowflake.

Impostazioni del tipo di vista

Le impostazioni del tipo di vista sono applicabili solo per Snowflake.

• Viste standard

  Utilizzare le viste standard per la maggior parte dei casi.

• Viste sicure Snowflake

  Utilizzare le viste sicure Snowflake per le viste designate per la privacy dei dati o la protezione delle informazioni sensibili, come le viste create per limitare l'accesso ai dati sensibili che non dovrebbero essere esposti a tutti gli utenti delle tabelle sottostanti.

  Nota informatica Le viste sicure Snowflake possono essere eseguite più lentamente rispetto alle viste standard.

Impostazioni del tipo di tabella

Queste impostazioni sono disponibili solo nei progetti con Snowflake come piattaforma dati.

• Tipo di tabella

  È possibile selezionare il tipo di tabella da utilizzare:

  • Tabelle Snowflake

  • Tabelle Iceberg gestite da Snowflake

    È necessario impostare il nome predefinito del volume esterno in Volume esterno Snowflake.

• Archiviazione cloud da utilizzare

  Selezionare la cartella da utilizzare durante il trasferimento dei dati nell'area di staging.

  • Cartella predefinita

    Viene creata una cartella con il nome predefinito: <nome progetto>/<nome attività di dati>.

  • Cartella radice

    Archivia i dati nella cartella radice dell'archivio.

  • Cartella

    Specifica un nome di cartella da utilizzare.

• Sincronizza con Snowflake Open Catalog

  Abilitare questa opzione per consentire a Snowflake Open Catalog di gestire i file nell'archiviazione cloud.

Best practice

• Non è possibile modificare l'origine per un set di dati se sono stati aggiunti fatti e dimensioni. Se si desidera essere flessibili, è possibile aggiungere un'attività di Trasformazione precedente con viste non materializzate che possono essere utilizzate per modificare le origini e anche per avere un modello per tutte le attività di origine.

Limitazioni

Vi sono delle limitazioni quando si utilizzano set di dati di origine che corrispondono a tutte queste condizioni:

• Creati da una trasformazione SQL o da un flusso di trasformazione

• Non materializzato

• Archivio dati cronologico (Tipo 2) disattivato

Questi set di dati vengono considerati aggiornati a ogni esecuzione, il che può influire sull'efficienza e sui costi. È possibile attenuare questo problema tramite le seguenti operazioni:

• Modifica dei set di dati di origine da materializzare.

• Utilizzo di trasformazioni esplicite del set di dati.

• Creazione di regole globali per trasformare più set di dati.

Relazioni

• Non è possibile mettere in relazione i dati di due set di dati. Creare un'attività di trasformazione in cui si definisce la relazione nel modello dati e utilizzare l'attività di trasformazione come sorgente dell'attività.

• Quando due set di dati sono correlati nel modello dati, entrambi i set di dati saranno disponibili nell'attività, anche se si è selezionato solo uno dei set di dati.