將資料登陸至湖存放庫
您可以將資料登陸至 Snowflake 資料湖存放庫。這涉及將資料從資料來源傳輸到由資料平台管理的雲端檔案儲存空間。
與登陸至資料倉庫的一般情況相比,將資料登陸到湖存放庫不需要在登陸資料時使用昂貴的倉庫使用空間。這讓您可以頻繁登陸,並根據需要以較低的頻率取用。您也可以更輕鬆地與其他平台共用資料。您可以同步 Iceberg 表格與 Snowflake Open Catalog,以實現與其他工具 (例如 Apache Spark) 的互通性。
將資料登陸至湖存放庫僅可用於以 Snowflake 作為資料平台的專案。
準備
-
如果您想要同步 Iceberg 表格與 Snowflake Open Catalog,必須在 Snowflake 執行個體中設定目錄整合。建立任務時需要此整合的名稱。如需更多資訊,請參閱建立目錄整合 (Snowflake Open Catalog)。
-
雖然您可以在任務設定精靈中設定來源和目標連線設定,但為了簡化設定程序,建議在建立任務之前就這麼做。
建立湖登陸任務
-
建立專案,並在使用案例中選取資料管道。
-
在資料平台中選取 Snowflake 並設定與資料的連線。
如需更多關於 Snowflake 目標設定的資訊,請參閱 Snowflake。
-
在登陸目標中選取雲端儲存。
-
在雲端儲存連線中設定暫存區。
您可以使用以下類型的連線:
-
設定 Snowflake 儲存整合的名稱。如需更多資訊,請參閱您選取的儲存區域的 Snowflake 文件。
-
按照儲存、轉換和資料超市任務預設選取要建立的表格類型。之後可以在專案設定中變更此設定。您也可以為專案中的每個個別任務設定表格類型。
-
Snowflake 表格
-
Snowflake 管理的 Iceberg 表格
在此情況下,您必須在預設外部磁碟區中設定外部磁碟區的預設名稱。
資訊備註Iceberg 表格將繼承在結構描述、資料庫或帳戶層級設定的儲存序列化政策。這會影響與其他直接透過 Snowflake 讀取表格之產品的互通性。
-
-
按一下「建立」以建立專案。
若您在專案中上線資料或建立登陸任務,會建立湖登陸任務,而不是登陸任務。湖登陸任務的操作和行為與登陸任務非常相似,只是前者將資料登陸到雲端儲存空間。如需詳細資訊,請參閱從資料來源登陸資料。
所有檔案均採用 CSV 格式登陸。取用登陸任務的儲存任務會確保登陸資料更新後,外部表格也會更新。
設定
如需更多關於任務設定的資訊,請參閱 湖登陸設定。
限制
-
建立表格路徑後,就無法改變。這包括重新命名表格。
-
如果登陸表格作為外部表格使用,則會停用儲存即時檢視。
-
同步表格與 Snowflake Open Catalog 時,會同步內部架構表格,而不是在資料任務架構中產生的檢視。未來可能會取消此限制。如需更多關於內部架構表格的資訊,請參閱 表格。