Перейти к основному содержимому Перейти к дополнительному содержимому

Промежуточное хранение данных в хранилище в озере данных

Можно помещать данные на промежуточное хранение в хранилище в озере данных Snowflake. Это предполагает передачу данных из источника данных в облачное хранилище файлов, которым управляет платформа данных.

Промежуточное хранение данных в хранилище в озере данных не требует больших затрат на использование хранилища, как при обычном промежуточном хранении. Это позволяет чаще осуществлять промежуточное хранение и реже использовать платные ресурсы, только по мере необходимости. Это также позволит легче обмениваться данными с другими платформами. Можно синхронизировать таблицы Iceberg с Snowflake Open Catalog, чтобы обеспечить совместимость с другими инструментами, такими как Apache Spark.

Промежуточное хранение данных в хранилище в озере данных доступно только в проектах, где в качестве платформы данных используется Snowflake.

Подготовка

  • Если требуется синхронизировать таблицы Iceberg с Snowflake Open Catalog, необходимо настроить интеграцию с каталогом в установленном экземпляре Snowflake. Имя этой интеграции необходимо указать при создании задачи. Для получения дополнительной информации см. раздел СОЗДАНИЕ ИНТЕГРАЦИИ С КАТАЛОГОМ (Snowflake Open Catalog).

  • Хотя можно задать параметры для подключения источника и цели в мастере настройки задачи, с целью упрощения процедуры настройки рекомендуется сделать это до настройки задачи.

Создание задачи промежуточного хранения данных в озере

  1. Создайте проект и выберите Конвейер данных в поле Пример использования.

  2. Выберите Snowflake в поле Платформа данных и настройте подключение к хранилищу данных.

    Для получения дополнительной информации о параметрах для цели Snowflake см. раздел Snowflake.

  3. Выберите Облачное хранилище в поле Цель промежуточного хранения.

  4. Настройте промежуточную область в разделе Подключение к облачному хранилищу.

    Можно использовать следующие типы подключений:

  5. Задайте имя в поле Интеграция с хранилищем Snowflake. Для получения дополнительной информации см. документацию Snowflake для выбранной области хранилища.

  6. Выберите тип таблицы, который будет создаваться по умолчанию для задач хранения, преобразования и киоска данных. Этот параметр можно изменить позже в настройках проекта. Также можно настроить тип таблицы для каждой отдельной задачи в проекте.

    • Таблицы Snowflake

    • Таблицы Iceberg под управлением Snowflake

      В данном случае необходимо задать имя по умолчанию для внешнего тома в поле Внешний том по умолчанию.

      Примечание к информацииТаблицы Iceberg наследуют политику сериализации хранилища, установленную на уровне схемы, базы данных или учетной записи. Это может повлиять на совместимость с другими продуктами, читающими таблицы непосредственно через Snowflake.
  7. Нажмите кнопку «Создать», чтобы создать проект.

Когда подключаются данные или создается задача промежуточного хранения в проекте, создается задача Промежуточное хранение в озере вместо задачи Промежуточное хранение. Задачи Промежуточное хранение в озере выполняются и ведут себя по большей части как задачи Промежуточное хранение, за исключением того, что данные помещаются в облачное хранилище. Для получения дополнительной информации см. раздел Промежуточное хранение данных, полученных из источников данных.

Все файлы помещаются на промежуточное хранение в формате CSV. Задача хранения, которая потребляет задачу промежуточного хранения, будет обеспечивать обновление внешних таблиц данных после обновления данных, помещенных на промежуточное хранение.

Параметры

Для получения дополнительной информации о параметрах задачи см. раздел Параметры промежуточного хранения в озере данных.

Ограничения

  • Невозможно изменить путь к таблице после того, как она создана. Это относится и к переименованию таблицы.

  • Если таблицы промежуточного хранения используются в качестве внешних таблиц, виды хранилища в реальном времени отключены.

  • При синхронизации таблиц с Snowflake Open Catalog синхронизируются таблицы внутренней схемы, а не виды, созданные в схеме задачи данных. Это ограничение может быть снято в будущем. Для получения дополнительной информации о таблицах внутренних схем см. раздел Таблицы.

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице и с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом, чтобы мы смогли ее исправить!