Qlik Data Gateway — Data Movement

Qlik Data Gateway — Data Movement (далее Data Movement Gateway) позволяет перемещать данные из корпоративных источников данных и приложения SaaS в поддерживаемые цели через исключительно исходящее зашифрованное подключение с двусторонней проверкой подлинности. Так как порты брандмауэра закрыты для входящего трафика, Data Movement Gateway обеспечивает безопасное и надежное перемещение корпоративных данных.

Когда требуется Data Movement Gateway?

Data Movement Gateway требуется в следующих случаях:

• Источник данных или цель не доступны напрямую из Qlik Cloud. В качестве примера источников данных и целей, которые не доступны напрямую из Qlik Cloud, можно привести источники данных или цели, расположенные в виртуальном частном облаке (VPC), или за брандмауэром, блокирующим входящие подключения.

  Для получения дополнительной информации о частных подключениях см. раздел Поддержка частных подключений в Qlik Talend Data Integration.

• Требуется CDC из источников ― баз данных практически в реальном времени.
• Требуется доступ к целевым платформам через прокси-сервер.

• Имеется подписка Premium или Enterprise и требуется выполнять инкрементные загрузки из источников ― приложений SaaS с интервалом меньше 30 минут. При использовании Data Movement Gateway с этими подписками можно настроить интервал от 5 минут.

  Для получения информации о минимальных интервалах планирования в зависимости от типа источника данных и уровня подписки см. раздел Минимально допустимые интервалы планирования.

• В качестве источника данных используется:
  • IBM DB2 для z/OS
  • IBM DB2 для iSeries
  • IBM DB2 для LUW
  • SAP Extractor
  • SAP (приложение)
  • SAP ODP
  • SAP HANA (база данных)
  • Oracle
  • Microsoft SQL Server (на основе журнала Microsoft)
• Требуется дополнительный уровень безопасности, обеспечиваемый с помощью Data Movement Gateway, который предотвращает прохождение данных через Qlik Cloud и позволяет заказчикам управлять путем перемещения данных. Это имеет значение только для источников данных RDBMS, SAP и мейнфреймов.

В следующем примере Data Movement Gateway не требуется, так как источник (приложение SaaS) и цель (хранилище данных) напрямую доступны из Qlik Cloud:

Защита данных

Для каждого сервера Data Movement Gateway, подключенного к клиенту Qlik Cloud, генерируется уникальная пара ключей. Эта пара ключей используется для проверки подлинности и для сквозного шифрования поверх шифрования транспортного уровня HTTPS. Более того, так как связь с Qlik Cloud и передача данных осуществляются только через исходящие порты, нет необходимости открывать какие-либо входящие порты в вашей корпоративной сети.

Общие случаи использования

В следующем разделе подробно описывается два общих случая использования: перемещение данных в цель, доступ к которой возможен только через частное подключение и перемещение данных в цели, доступные напрямую из Qlik Cloud.

Qlik Data Gateway — Data Movement играет центральную роль в процессе перемещения данных. Приведенные ниже схемы иллюстрируют, как Data Movement Gateway взаимодействует с Qlik Cloud и источниками данных для обеспечения безопасного перемещения данных в поддерживаемые цели.

Поддержка частных подключений в Qlik Talend Data Integration

Частное подключение означает, что источник или цель данных закрыт от Интернета и поэтому недоступен из Qlik Cloud.

Существует несколько типов частного подключения, в том числе:

• Snowflake AWS PrivateLink, где отключено общедоступное подключение (через порт 443)
• Microsoft SQL Server (или другой RDBMS) в виртуальном частном облаке, у которого есть только частный IP-адрес

Data Movement Gateway, развернутый для доступа к целевым платформам, выполняет операции ELT, в том числе некоторые или все из перечисленных далее: регистрация данных, хранение, преобразования и киоски данных.

Обратите внимание, что хотя один шлюз возможно использовать для доступа и к источнику данных, и к цели данных, для повышения производительности рекомендуется использовать два шлюза: один для доступа к источнику, а второй для доступа к цели. Например, если исходная база данных — локальный экземпляр Oracle, а целевая база данных — Snowflake AWS PrivateLink, один шлюз (определенный в подключении к источнику Oracle) будет использоваться для промежуточного хранения данных при перемещении из Oracle в Snowflake, а второй шлюз (определенный в подключении к цели Snowflake) будет использоваться для выполнения операций ELT. Использование двух шлюзов особенно рекомендуется в случаях, когда исходная и целевая базы данных не расположены в непосредственной близости друг к другу. В таком сценарии шлюз промежуточного хранения должен находиться максимально близко к источнику, а шлюз цели должен быть как можно ближе к цели. Если данные добавляются из нескольких источников данных, также может быть целесообразным настроить выделенный шлюз для каждого источника данных в зависимости от его типа и местоположения. Пример такого типа конфигурации показан на схеме ниже.

Перемещение данных из корпоративных источников данных в поддерживаемые цели

Имеет место следующая последовательность обмена данными в соответствии с протоколом высокого уровня:

1. Data Movement Gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.

2. Qlik Cloud отправляет инструкции по выполнению задачи шлюзу Data Movement Gateway, который в свою очередь сообщает о состоянии выполнения задачи в Qlik Cloud.

3. Data Movement Gateway получает данные из источника и передает их в указанную целевую базу данных.

Перемещение данных из приложений SaaS в поддерживаемые цели

Имеет место следующая последовательность обмена данными в соответствии с протоколом высокого уровня:

1. Data Movement Gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.

2. Qlik Cloud отправляет инструкции по выполнению задачи в шлюз Data Movement Gateway, который сообщает о состоянии выполнения задачи в Qlik Cloud.

3. Когда запускается задача промежуточного хранения (Qlik Cloud, извлекает данные из приложения SaaS и сохраняет их (зашифровывая с использованием ключа клиента).

4. Data Movement Gateway получает данные приложения SaaS из Qlik Cloud и передает их в указанную целевую базу данных.

Перемещение данных из приложений SaaS и корпоративных источников данных в поддерживаемые цели

Последовательность обмена данными на верхнем уровне — это комбинация описанных выше случаев применения «Перемещение данных из корпоративных источников данных» и «Перемещение данных из приложений SaaS».

Перемещение данных из приложений SaaS и корпоративных источников данных в виртуальном частном облаке (VPC) в поддерживаемые цели в VPC

Для перемещения данных из приложения SaaS применяется следующая последовательность обмена данными:

1. Data Movement Gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.

2. Qlik Cloud отправляет инструкции по выполнению задачи в шлюз Data Movement Gateway, который сообщает о состоянии выполнения задачи в Qlik Cloud.

3. Когда запускается задача промежуточного хранения (Qlik Cloud, извлекает данные из приложения SaaS и сохраняет их (зашифровывая с использованием ключа клиента).

4. Data Movement Gateway получает данные приложения SaaS из Qlik Cloud и передает их в указанную целевую базу данных.

Для перемещения данных из приложения SaaS применяется следующая последовательность обмена данными:

1. Data Movement Gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.

2. Qlik Cloud отправляет инструкции по выполнению задачи в шлюз Data Movement Gateway, который сообщает о состоянии выполнения задачи в Qlik Cloud.

3. Data Movement Gateway получает данные из источника и передает их в указанную целевую базу данных.