Перейти к основному содержимому Перейти к дополнительному содержимому

Qlik Data Gateway — Data Movement

Qlik Data Gateway — Data Movement (далее Data Movement Gateway) позволяет перемещать данные из корпоративных источников данных и приложения SaaS в поддерживаемые цели через исключительно исходящее зашифрованное подключение с двусторонней проверкой подлинности. Так как порты брандмауэра закрыты для входящего трафика, Data Movement Gateway обеспечивает безопасное и надежное перемещение корпоративных данных.

Когда требуется Data Movement Gateway?

Примечание к информацииData Movement Gateway поддерживается только при использовании подписок Standard, Premium и Enterprise.

Data Movement Gateway требуется в следующих случаях:

  • Источник данных или цель не доступны напрямую из Qlik Cloud. В качестве примера источников данных и целей, которые не доступны напрямую из Qlik Cloud, можно привести источники данных или цели, расположенные в виртуальном частном облаке (VPC), или за брандмауэром, блокирующим входящие подключения.

    Для получения дополнительной информации о частных подключениях см. раздел Поддержка частных подключений в Qlik Talend Data Integration.

  • Требуется CDC из источников ― баз данных практически в реальном времени
  • Требуется доступ к целевым платформам через прокси-сервер
  • Имеется подписка Premium или Enterprise и требуется выполнять инкрементные загрузки из источников ― приложений SaaS с интервалом меньше 30 минут. При использовании Data Movement Gateway с этими подписками можно настроить интервал от 5 минут.

    Для получения информации о минимальных интервалах планирования в зависимости от типа источника данных и уровня подписки см. раздел Минимально допустимые интервалы планирования.

  • В качестве источника данных используется:
    • IBM DB2 для z/OS
    • IBM DB2 для iSeries
    • IBM DB2 для LUW
    • SAP Extractor
    • SAP (приложение)
    • SAP ODP
    • SAP HANA (база данных)
    • Oracle
    • Microsoft SQL Server (на основе журнала Microsoft)
  • Требуется дополнительный уровень безопасности, обеспечиваемый с помощью Data Movement Gateway, который предотвращает прохождение данных через Qlik Cloud и позволяет заказчикам управлять путем перемещения данных. Это имеет значение только для источников данных RDBMS, SAP и мейнфреймов.

В следующем примере Data Movement Gateway не требуется, так как источник (приложение SaaS) и цель (хранилище данных) напрямую доступны из Qlik Cloud:

Перемещение данных из приложения SaaS в целевое хранилище данных без использования Data Movement Gateway

Перемещение данных из приложения SaaS в целевое хранилище данных без использования Data Movement Gateway

Защита данных

Для каждого сервера Data Movement Gateway, подключенного к клиенту Qlik Cloud, генерируется уникальная пара ключей. Эта пара ключей используется для проверки подлинности и для сквозного шифрования поверх шифрования транспортного уровня HTTPS. Более того, так как связь с Qlik Cloud и передача данных осуществляются только через исходящие порты, нет необходимости открывать какие-либо входящие порты в вашей корпоративной сети.

Примечание о Qlik Cloud для правительства

Qlik Cloud для правительства поддерживает использование Data Movement Gateway, когда платформа Linux, на которой установлено ПО Data Movement Gateway, настроена для работы в режиме, утвержденном FIPS 140-2 (также известном как «режим FIPS»).

Примечание к информацииВ документации по Data Movement Gateway всегда описаны возможности последней версии приложения. Если используется не самая новая версия приложения, системный администратор должен как можно быстрее выполнить обновление. Для получения дополнительной информации об обновлении см. раздел Обновление и удаление Data Movement Gateway

Общие случаи использования

В следующем разделе подробно описывается два общих случая использования: перемещение данных в цель, доступ к которой возможен только через частное подключение и перемещение данных в цели, доступные напрямую из Qlik Cloud.

Qlik Data Gateway — Data Movement играет центральную роль в процессе перемещения данных. Приведенные ниже схемы иллюстрируют, как Data Movement Gateway взаимодействует с Qlik Cloud и источниками данных для обеспечения безопасного перемещения данных в поддерживаемые цели.

Примечание к информации

Количество шлюзов Data Movement Gateway, которые необходимо развернуть, зависит от конкретной среды и варианта использования. Если источники данных находятся близко друг к другу и целевая база данных напрямую доступна из Qlik Cloud, то обычно бывает достаточно одного шлюза Data Movement Gateway. Однако в следующих случаях рекомендуется использовать несколько шлюзов шлюзы данных:

  • Прием данных из источников данных, географически удаленных друг от друга
  • Перемещение больших объемов данных из нескольких источников данных
  • Перемещение данных в целевую базу данных, которая недоступна из Qlik Cloud (например, SQL Server в виртуальном частном облаке)

Поддержка частных подключений в Qlik Talend Data Integration

Частное подключение означает, что источник или цель данных закрыт от Интернета и поэтому недоступен из Qlik Cloud.

Существует несколько типов частного подключения, в том числе:

  • Snowflake AWS PrivateLink, где отключено общедоступное подключение (через порт 443)
  • Microsoft SQL Server (или другой RDBMS) в виртуальном частном облаке, у которого есть только частный IP-адрес
Примечание к подсказкеТогда как для доступа к источнику данных должен быть развернут шлюз Data Movement Gateway, даже если этот источник доступен напрямую из Qlik Cloud, развертывание шлюза Data Movement Gateway для доступа к целевой платформе требуется только в том случае, если цель не доступна напрямую из Qlik Cloud.

Data Movement Gateway, развернутый для доступа к целевым платформам, выполняет операции ELT, в том числе некоторые или все из перечисленных далее: регистрация данных, хранение, преобразования и киоски данных.

Обратите внимание, что хотя один шлюз возможно использовать для доступа и к источнику данных, и к цели данных, для повышения производительности рекомендуется использовать два шлюза: один для доступа к источнику, а второй для доступа к цели. Например, если исходная база данных — локальный экземпляр Oracle, а целевая база данных — Snowflake AWS PrivateLink, один шлюз (определенный в подключении к источнику Oracle) будет использоваться для промежуточного хранения данных при перемещении из Oracle в Snowflake, а второй шлюз (определенный в подключении к цели Snowflake) будет использоваться для выполнения операций ELT. Использование двух шлюзов особенно рекомендуется в случаях, когда исходная и целевая базы данных не расположены в непосредственной близости друг к другу. В таком сценарии шлюз промежуточного хранения должен находиться максимально близко к источнику, а шлюз цели должен быть как можно ближе к цели. Если данные добавляются из нескольких источников данных, также может быть целесообразным настроить выделенный шлюз для каждого источника данных в зависимости от его типа и местоположения. Пример такого типа конфигурации показан на схеме ниже.

Перемещение данных из распределенных источников данных в цель в виртуальном частном облаке и последующее выполнение операций ELT в целевой базе данных

Перемещение данных из корпоративных источников данных в поддерживаемые цели

Имеет место следующая последовательность обмена данными в соответствии с протоколом высокого уровня:

  1. Data Movement Gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.

  2. Qlik Cloud отправляет инструкции по выполнению задачи шлюзу Data Movement Gateway, который в свою очередь сообщает о состоянии выполнения задачи в Qlik Cloud.

  3. Data Movement Gateway получает данные из источника и передает их в указанную целевую базу данных.

Data Movement Gateway - Перемещение данных из корпоративных источников данных в поддерживаемые цели

Перемещение данных из приложений SaaS в поддерживаемые цели

Имеет место следующая последовательность обмена данными в соответствии с протоколом высокого уровня:

  1. Data Movement Gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.

  2. Qlik Cloud отправляет инструкции по выполнению задачи в шлюз Data Movement Gateway, который сообщает о состоянии выполнения задачи в Qlik Cloud.

  3. Когда запускается задача промежуточного хранения (Qlik Cloud, извлекает данные из приложения SaaS и сохраняет их (зашифровывая с использованием ключа клиента).

  4. Data Movement Gateway получает данные приложения SaaS из Qlik Cloud и передает их в указанную целевую базу данных.

Примечание к подсказкеВ данном случае применения Data Movement Gateway не требуется устанавливать за брандмауэром, так как ни источник (приложение SaaS), ни цель не защищены брандмауэром.

Data Movement Gateway — перемещение данных из приложений SaaS в поддерживаемые цели

Перемещение данных из приложений SaaS и корпоративных источников данных в поддерживаемые цели

Примечание к подсказкеВ данном случае применения установлены два шлюза Data Movement Gateway (на разных компьютерах): на одном располагается источник корпоративных данных, а на втором — приложение SaaS. Data Movement Gateway, на котором размещено приложение SaaS, не требуется устанавливать за брандмауэром, так как ни источник (приложение SaaS), ни цель не защищены брандмауэром.

Последовательность обмена данными на верхнем уровне — это комбинация описанных выше случаев применения «Перемещение данных из корпоративных источников данных» и «Перемещение данных из приложений SaaS».

Data Movement Gateway — перемещение данных из приложений SaaS и корпоративных источников данных в поддерживаемые цели

Перемещение данных из приложений SaaS и корпоративных источников данных в виртуальном частном облаке (VPC) в поддерживаемые цели в VPC

Для перемещения данных из приложения SaaS применяется следующая последовательность обмена данными:

  1. Data Movement Gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.

  2. Qlik Cloud отправляет инструкции по выполнению задачи в шлюз Data Movement Gateway, который сообщает о состоянии выполнения задачи в Qlik Cloud.

  3. Когда запускается задача промежуточного хранения (Qlik Cloud, извлекает данные из приложения SaaS и сохраняет их (зашифровывая с использованием ключа клиента).

  4. Data Movement Gateway получает данные приложения SaaS из Qlik Cloud и передает их в указанную целевую базу данных.

Для перемещения данных из приложения SaaS применяется следующая последовательность обмена данными:

  1. Data Movement Gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.

  2. Qlik Cloud отправляет инструкции по выполнению задачи в шлюз Data Movement Gateway, который сообщает о состоянии выполнения задачи в Qlik Cloud.

  3. Data Movement Gateway получает данные из источника и передает их в указанную целевую базу данных.

Data Movement Gateway — перемещение данных из приложений SaaS и корпоративных источников данных в виртуальном частном облаке (VPC) в поддерживаемые цели в VPC

СОПУТСТВУЮЩИЕ УЧЕБНЫЕ МАТЕРИАЛЫ:

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице и с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом, чтобы мы смогли ее исправить!