Перейти к основному содержимому Перейти к дополнительному содержимому

Snowflake

Можно использовать Snowflake как целевая платформа данных в конвейере данных. В конвейере данных можно выполнять различные операции на целевой платформе, включая промежуточное хранение, постоянное хранение, преобразование, регистрацию данных и создание киоска данных.. В этом разделе объясняется настройка подключения к цели Snowflake с использованием коннектора Цель Snowflake. Прежде чем подключаться к цели Snowflake, необходимо настроить Необходимые разрешения в базе данных. Если подключение к Snowflake осуществляется через Data Movement Gateway, также требуется установить необходимый драйвер, как описано в Настройка драйвера.

Для получения дополнительной информации об ограничениях и замечаниях при использовании коннектора Цель Snowflake см. раздел Ограничения и замечания.

Настройка свойств подключения

В этом разделе описаны доступные свойства подключения. Если не указано иное, все свойства являются обязательными.

Шлюз для перемещения данных

Шлюз данных: Data Movement Gateway требуется, только если целевая база данных недоступна из Qlik Cloud и доступна только по ссылке PrivateLink (например, если она расположена или в виртуальном частном облаке). В таком случае выберите Data Movement Gateway, через который требуется обращаться к целевой базе данных.

В зависимости от конкретной ситуации, это будет либо тот же Data Movement Gateway, развернутый для промежуточного хранения данных, либо другой шлюз. Для получения дополнительной информации о доступных возможностях развертывания Data Movement Gateway см. Общие случаи использования.

Примечание к информацииТребуется Data Movement Gateway 2022.11.70 или более поздней версии.

Если целевая база данных напрямую доступна из Qlik Cloud, выберите Нет.

Примечание к информацииПри обращении к целевой базе данных через Data Movement Gateway, также необходимо установить соответствующий драйвер на компьютер с Data Movement Gateway. Для получения подробных сведений см. Настройка драйвера ниже.

Свойства подключения

  • Сервер: URL-адрес для доступа к Snowflake. Например, myaccount.snowflakecomputing.com.

  • Порт: порт, через который будет осуществляться доступ к базе данных Snowflake. По умолчанию используется порт 443.

Свойства учетной записи

Имя пользователя и пароль: имя пользователя и пароль пользователя, которому предоставлен доступ к базе данных Snowflake.

Свойства базы данных

  • Хранилище по умолчанию: имя хранилища Snowflake. можно переопределить в настройках проекта.
  • Имя базы данных: задать базу данных можно двумя способами:

    • Способ 1: выбор из списка. Щелкните Загрузить базы данных, а затем выберите базу данных.
    • Способ 2: вручную. Выберите Ввести имя базы данных вручную, а затем введите имя базы данных.

Внутренние свойства

Внутренние свойства предназначены для особых вариантов использования и поэтому не отображаются в диалоговом окне. Их можно использовать только по указанию службы поддержки Qlik.

Используйте кнопки Создать и Отмена справа от полей, чтобы при необходимости добавить или удалить свойства.

Имя

Отображаемое имя подключения.

Условия

Необходимые разрешения

Требуются следующие разрешения:

  • USAGE ON DATABASE;
  • CREATE SCHEMA ON DATABASE.
  • USAGE ON DATABASE;
  • USAGE ON SCHEMA;
  • CREATE FILE FORMAT ON SCHEMA;
  • CREATE STAGE ON SCHEMA;
  • CREATE TABLE ON SCHEMA.

Настройка драйвера

Драйвер требуется только в случае обращения к базе данных через Data Movement Gateway.

driver можно установить с помощью программы для установки драйверов (рекомендуется) или вручную. Ручную установку следует выполнять только в том маловероятном случае, если возникла проблема с программой для установки драйверов.

Использование программы для установки драйверов для установки драйвера

В этом разделе описывается процедура установки необходимого driverа. Она включает загрузку driverа, копирование его в нужную папку (см. ниже) и выполнение скрипта, который автоматически установит и настроит его. Также можно выполнять скрипты для обновления и удаления driverа по необходимости.

  • Убедитесь, что на сервере шлюза Перемещение данных установлена версия Python 3.6 или более поздняя.

    Python предустанавливается в большинстве дистрибутивов Linux. Чтобы проверить, какая версия Python установлена в системе, выполните следующую команду:

    python3 --version

  • Загрузите драйвер Snowflake ODBC «snowflake-odbc-<версия>.x86_64.rpm». Прямую ссылку для загрузки поддерживаемой версии можно найти в разделе binary-artifacts в /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml. После завершения загрузки скопируйте файл в:

    /opt/qlik/gateway/movement/drivers/snowflake

Чтобы установить driver, выполните следующие действия.

  1. Остановите службу Data Movement Gateway:

    sudo systemctl stop repagent

  2. Если нужно, подтвердите, что служба остановлена:

    sudo systemctl status repagent

    Статус должен быть следующим:

    Active: inactive (dead) since <timestamp> ago

  3. На компьютере шлюза Перемещение данных измените рабочую папку на:

    opt/qlik/gateway/movement/drivers/bin

  4. Выполните следующую команду:

    Синтаксис:

    ./install snowflake

    В противном случае откроется лицензионное соглашение с конечным пользователем driverа.

  5. Выполните одно из следующих действий:

    • Нажмите клавишу [Enter] несколько раз, чтобы медленно прокрутить лицензионное соглашение.
    • Нажимайте клавишу «Пробел» несколько раз, чтобы быстро прокрутить лицензионное соглашение.
    • Нажмите клавишу «q», чтобы закрыть текст лицензионного соглашения и перейти к шагу принятия/отклонения.
  6. Затем выполните одно из следующих действий:

    • Введите «y» и нажмите клавишу [Enter], чтобы принять лицензионное соглашение и запустить установку.
    • Введите «n» и нажмите клавишу [Enter], чтобы отклонить лицензионное соглашение и отменить установку.
    • Введите «v» и нажмите клавишу [Enter], чтобы снова открыть лицензионное соглашение для просмотра.

  7. Будет установлен driver.

  8. Дождитесь завершения установки (появится сообщение «Завершено!»), а затем запустите службу Data Movement Gateway:

    sudo systemctl start repagent

  9. Если нужно, подтвердите, что сервис запущен:

    sudo systemctl status repagent

    Статус должен быть следующим:

    Active: active (running) since <timestamp> ago

Выполните команду обновления, если требуется удалить предыдущие версии driverа перед установкой предоставленной версии driverа.

Чтобы обновить driver, выполните следующие действия.

  1. Остановите службу Data Movement Gateway:

    sudo systemctl stop repagent

  2. Если нужно, подтвердите, что служба остановлена:

    sudo systemctl status repagent

    Статус должен быть следующим:

    Active: inactive (dead) since <timestamp> ago

  3. На компьютере шлюза Перемещение данных измените рабочую папку на:

    opt/qlik/gateway/movement/drivers/bin

  4. Выполните следующую команду:

    Синтаксис:

    ./update snowflake

    В противном случае откроется лицензионное соглашение с конечным пользователем driverа.

  5. Выполните одно из следующих действий:

    • Нажмите клавишу [Enter] несколько раз, чтобы медленно прокрутить лицензионное соглашение.
    • Нажимайте клавишу «Пробел» несколько раз, чтобы быстро прокрутить лицензионное соглашение.
    • Нажмите клавишу «q», чтобы закрыть текст лицензионного соглашения и перейти к шагу принятия/отклонения.
  6. Затем выполните одно из следующих действий:

    • Введите «y» и нажмите клавишу [Enter], чтобы принять лицензионное соглашение и запустить установку.
    • Введите «n» и нажмите клавишу [Enter], чтобы отклонить лицензионное соглашение и отменить установку.
    • Введите «v» и нажмите клавишу [Enter], чтобы снова просмотреть лицензионное соглашение от начала.
  7. Будет удален старый driver и установлен новый driver.

  8. Дождитесь завершения установки (появится сообщение «Завершено!»), а затем запустите службу Data Movement Gateway:

    sudo systemctl start repagent

  9. Если нужно, подтвердите, что сервис запущен:

    sudo systemctl status repagent

    Статус должен быть следующим:

    Active: active (running) since <timestamp> ago

Выполните команду удаления, если требуется удалить driver.

Чтобы удалить driver, выполните следующие действия.

  1. Остановите все задачи, использующие данный коннектор.

  2. На компьютере шлюза Перемещение данных измените рабочую папку на:

    opt/qlik/gateway/movement/drivers/bin

  3. Выполните следующую команду:

    Синтаксис:

    ./uninstall snowflake

    driver будет удален.

Установка драйвера вручную

Установку driver вручную следует пытаться выполнить только в том случае, если автоматическая установка драйвера не завершилась успешно.

Необходимо установить и драйвер ODBC, и драйвер JDBC.

  1. После установки Data Movement Gateway загрузите файл драйвера snowflake-odbc-<версия>x86_64.rpm из раздела binary-artifacts в /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml, затем скопируйте его на компьютер Data Movement Gateway.
  2. Установите драйвер на машину Data Movement Gateway.
  1. Загрузите файл snowflake-jdbc-<версия>.jar из раздела binary-artifacts in /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml, затем скопируйте его в следующую папку на компьютере Data Movement Gateway:

    /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

  2. Перезапустите службу Data Movement Gateway и проверьте, что она запустилась, выполнив команды, описанные в Команды службы Data Movement Gateway

Порт

Для исходящего трафика необходимо открыть порт брандмауэра 443.

Оптимизация производительности и эффективности облачных сервисов

Для получения дополнительной информации о плате за использование облачных сервисов Snowflake см. раздел Snowflake: дополнительные изменения в выставлении счетов (уровень облачных сервисов)

Ограничения и замечания

При перемещении данных в целевой объект Snowflake применяются следующие ограничения:

  • Репликация таблиц с обратной косой чертой в имени (например, SPECIAL\\TABLE\N) не поддерживается.

Типы данных

В следующей таблице показаны типы данных Snowflake, которые поддерживаются при использовании Qlik Cloud, и сопоставление типов данных из Qlik Cloud по умолчанию.

Информация о собственном типе данных сохраняется и отображается в столбце Собственный тип данных в видах набора данных. Если этот столбец не отображается, необходимо открыть инструмент «Управление столбцами» в виде набора данных и выбрать столбец Собственный тип данных.

Поддерживаемые типы данных
Типы данных Qlik Cloud Типы данных Snowflake

BOOLEAN

BOOLEAN

BYTES

BINARY (длина в байтах)

DATE

DATE

TIME

TIME (точность)

DATETIME

TIMESTAMP_NTZ (точность)

INT1

BYTEINT

INT2

SMALLINT

INT4

INTEGER

INT8

BIGINT

NUMERIC

NUMBER (точность, масштаб)

REAL4

FLOAT4

REAL8

FLOAT8

UINT1

BYTEINT

UINT2

INTEGER

UINT4

INTEGER

UINT8

BIGINT

STRING

VARCHAR (длина в байтах)

WSTRING

NVARCHAR (длина в байтах)

BLOB

BINARY (8388608)

NCLOB

NVARCHAR (8388608)

CLOB

VARCHAR (8388608)

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице и с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом, чтобы мы смогли ее исправить!