Vai al contenuto principale Passa a contenuto complementare

Dati di trasferimento su un lakehouse

È possibile trasferire i dati in un data lakehouse Snowflake. Ciò comporta il trasferimento dei dati dalla sorgente dati all'archiviazione file cloud, gestita dalla piattaforma dati.

Il trasferimento dei dati su un lakehouse non comporta un utilizzo costoso del warehouse durante il trasferimento dei dati, rispetto al normale trasferimento su un data warehouse. Questo permette di trasferire i dati in alta frequenza e di consumare in bassa frequenza in base alle necessità. Potrebbe anche essere possibile condividere più facilmente i dati con altre piattaforme. È possibile sincronizzare le tabelle Iceberg con Snowflake Open Catalog per consentire l'interoperabilità con altri strumenti, come Apache Spark.

Il trasferimento dei dati su un lakehouse è disponibile solo nei progetti con Snowflake come piattaforma dati.

Preparazioni

  • Se si desidera sincronizzare le tabelle Iceberg con Snowflake Open Catalog, è necessario impostare un'integrazione del catalogo nell'istanza di Snowflake. Il nome di questa integrazione è necessario al momento della creazione dell'attività. Per maggiori informazioni, vedere CREATE CATALOG INTEGRATION (CREARE UN'INTEGRAZIONE DEL CATALOGO) (Snowflake Open Catalog).

  • Sebbene sia possibile configurare le impostazioni della connessione nell'installazione guidata dell'attività, per semplificare la procedura di configurazione, si consiglia di farlo prima di creare l'attività.

Creare un'attività di trasferimento su data lake

  1. Creare un progetto, quindi selezionare Pipeline di dati in Caso di utilizzo.

  2. Selezionare Snowflake in Piattaforma dati e impostare una connessione al data warehouse.

    Per maggiori informazioni sulle impostazioni per la destinazione Snowflake, consultare Snowflake.

  3. Selezionare Archiviazione cloud in Destinazione trasferimento.

  4. Configurare un'area di staging in Connessione di archiviazione cloud.

    È possibile utilizzare i seguenti tipi di connessioni:

  5. Impostare il nome dell'Integrazione di archiviazione Snowflake. Per ulteriori informazioni, consultare la documentazione di Snowflake per l'area di archiviazione selezionata.

  6. Scegliere il tipo di tabella da creare per impostazione predefinita per le attività di Archiviazione, Trasformazione e Data mart. Questa impostazione può essere modificata in seguito nelle impostazioni del progetto. È possibile anche impostare il tipo di tabella per ogni singola attività del progetto.

    • Tabelle Snowflake

    • Tabelle Iceberg gestite da Snowflake

      In questo caso, è necessario impostare il nome predefinito del volume esterno in Volume esterno predefinito.

      Nota informaticaLe tabelle Iceberg erediteranno la politica di serializzazione per l'archiviazione impostata a livello di schema, database o account. Questo può influire sull'interoperabilità con altri prodotti che leggono le tabelle direttamente attraverso Snowflake.
  7. Fare clic su Crea per creare il progetto.

Quando si effettua l'onboarding dei dati o si crea un'attività di trasferimento nel progetto, viene creata un'attività di Trasferimento su lake anziché un'attività di Trasferimento. Le attività di Trasferimento su lake funzionano e si comportano per lo più come le attività di Trasferimento, tranne per il fatto che trasferiscono i dati nell'archiviazione cloud. Per ulteriori informazioni, vedere Trasferimento dati da sorgenti dati.

Tutti i file vengono trasferiti nel formato CSV. L'attività di archiviazione che consuma il l'attività di trasferimento si assicurerà che le tabelle esterne vengano aggiornate dopo l'aggiornamento dei dati di trasferimento.

Impostazioni

Per ulteriori informazioni sulle impostazioni delle attività, vedere Impostazioni di trasferimento su data lake.

Limitazioni

  • Non è possibile modificare il percorso di una tabella dopo che è stata creata. Questo include la ridenominazione della tabella.

  • Se le tabelle di trasferimento sono utilizzate come tabelle esterne, le visualizzazioni live per l'archiviazione sono disabilitate.

  • Quando si sincronizzano le tabelle con Snowflake Open Catalog, vengono sincronizzate le tabelle dello schema interno e non le viste generate nello schema dell'attività dati. Questa limitazione potrebbe essere rimossa in futuro. Per maggiori informazioni sulle tabelle dello schema interno, consultare Tabelle.

Hai trovato utile questa pagina?

Se riscontri problemi con questa pagina o con il suo contenuto – un errore di battitura, un passaggio mancante o un errore tecnico – facci sapere come possiamo migliorare!