Qlik Data Gateway — Data Movement
Qlik Data Gateway — Data Movement (далее Data Movement gateway) позволяет перемещать данные из корпоративных источников данных и приложения SaaS в поддерживаемые цели через исключительно исходящее зашифрованное подключение с двусторонней проверкой подлинности. Так как порты брандмауэра закрыты для входящего трафика, Data Movement gateway обеспечивает безопасное и надежное перемещение корпоративных данных.
Когда требуется Data Movement gateway?
Data Movement gateway требуется в следующих случаях:
-
Источник данных или цель не доступны напрямую из Qlik Cloud. В качестве примера источников данных и целей, которые не доступны напрямую из Qlik Cloud, можно привести источники данных или цели, расположенные в виртуальном частном облаке (VPC), или за брандмауэром, блокирующим входящие подключения.
Для получения дополнительной информации о частных подключениях см. раздел Поддержка частных подключений в Qlik Talend Data Integration.
- Требуется CDC из источников ― баз данных практически в реальном времени.
- Требуется доступ к целевым платформам через прокси-сервер.
-
Имеется подписка Premium или Enterprise и требуется выполнять инкрементные загрузки из источников ― приложений SaaS с интервалом меньше 30 минут. При использовании Data Movement gateway с этими подписками можно настроить интервал от 5 минут.
Для получения информации о минимальных интервалах планирования в зависимости от типа источника данных и уровня подписки см. раздел Минимально допустимые интервалы планирования.
- В качестве источника данных используется:
- IBM DB2 для z/OS
- IBM DB2 для iSeries
- IBM DB2 для LUW
- SAP Extractor
- SAP (приложение)
- SAP ODP
- SAP HANA (база данных)
- Oracle
- Microsoft SQL Server (на основе журнала Microsoft)
- Требуется дополнительный уровень безопасности, обеспечиваемый с помощью Data Movement gateway, который предотвращает прохождение данных через Qlik Cloud и позволяет заказчикам управлять путем перемещения данных. Это имеет значение только для источников данных RDBMS, SAP и мейнфреймов.
В следующем примере Data Movement gateway не требуется, так как источник (приложение SaaS) и цель (хранилище данных) напрямую доступны из Qlik Cloud:
Перемещение данных из приложения SaaS в целевое хранилище данных без использования Data Movement gateway

Защита данных
Для каждого сервера Data Movement gateway, подключенного к клиенту Qlik Cloud, генерируется уникальная пара ключей. Эта пара ключей используется для проверки подлинности и для сквозного шифрования поверх шифрования транспортного уровня HTTPS. Более того, так как связь с Qlik Cloud и передача данных осуществляются только через исходящие порты, нет необходимости открывать какие-либо входящие порты в вашей корпоративной сети.
Qlik Cloud для правительства поддерживает использование Data Movement gateway, когда платформа Linux, на которой установлено ПО Data Movement gateway, настроена для работы в режиме, утвержденном FIPS 140-2 (также известном как «режим FIPS»).
Общие случаи использования
В следующем разделе подробно описывается два общих случая использования: перемещение данных в цель, доступ к которой возможен только через частное подключение и перемещение данных в цели, доступные напрямую из Qlik Cloud.
Qlik Data Gateway — Data Movement играет центральную роль в процессе перемещения данных. Приведенные ниже схемы иллюстрируют, как Data Movement gateway взаимодействует с Qlik Cloud и источниками данных для обеспечения безопасного перемещения данных в поддерживаемые цели.
Количество шлюзов Data Movement gateway, которые необходимо развернуть, зависит от конкретной среды и варианта использования. Если источники данных находятся близко друг к другу и целевая база данных напрямую доступна из Qlik Cloud, то обычно бывает достаточно одного шлюза Data Movement gateway. Однако в следующих случаях рекомендуется использовать несколько шлюзов шлюзы данных:
- Прием данных из источников данных, географически удаленных друг от друга
- Перемещение больших объемов данных из нескольких источников данных
- Перемещение данных в целевую базу данных, которая недоступна из Qlik Cloud (например, SQL Server в виртуальном частном облаке)
Поддержка частных подключений в Qlik Talend Data Integration
Частное подключение означает, что источник или цель данных закрыт от Интернета и поэтому недоступен из Qlik Cloud.
Существует несколько типов частного подключения, в том числе:
- Snowflake AWS PrivateLink, где отключено общедоступное подключение (через порт 443)
- Microsoft SQL Server (или другой RDBMS) в виртуальном частном облаке, у которого есть только частный IP-адрес
Data Movement gateway, развернутый для доступа к целевым платформам, выполняет операции ELT, в том числе некоторые или все из перечисленных далее: регистрация данных, хранение, преобразования и киоски данных.
Обратите внимание, что хотя один шлюз возможно использовать для доступа и к источнику данных, и к цели данных, для повышения производительности рекомендуется использовать два шлюза: один для доступа к источнику, а второй для доступа к цели. Например, если исходная база данных — локальный экземпляр Oracle, а целевая база данных — Snowflake AWS PrivateLink, один шлюз (определенный в подключении к источнику Oracle) будет использоваться для промежуточного хранения данных при перемещении из Oracle в Snowflake, а второй шлюз (определенный в подключении к цели Snowflake) будет использоваться для выполнения операций ELT. Использование двух шлюзов особенно рекомендуется в случаях, когда исходная и целевая базы данных не расположены в непосредственной близости друг к другу. В таком сценарии шлюз промежуточного хранения должен находиться максимально близко к источнику, а шлюз цели должен быть как можно ближе к цели. Если данные добавляются из нескольких источников данных, также может быть целесообразным настроить выделенный шлюз для каждого источника данных в зависимости от его типа и местоположения. Пример такого типа конфигурации показан на схеме ниже.
Перемещение данных из распределенных источников данных в цель в виртуальном частном облаке и последующее выполнение операций ELT в целевой базе данных

Перемещение данных из корпоративных источников данных в поддерживаемые цели
Имеет место следующая последовательность обмена данными в соответствии с протоколом высокого уровня:
-
Data Movement gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.
-
Qlik Cloud отправляет инструкции по выполнению задачи шлюзу Data Movement gateway, который в свою очередь сообщает о состоянии выполнения задачи в Qlik Cloud.
-
Data Movement gateway получает данные из источника и передает их в указанную целевую базу данных.
Data Movement gateway - Перемещение данных из корпоративных источников данных в поддерживаемые цели

Перемещение данных из приложений SaaS в поддерживаемые цели
Имеет место следующая последовательность обмена данными в соответствии с протоколом высокого уровня:
-
Data Movement gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.
-
Qlik Cloud отправляет инструкции по выполнению задачи в шлюз Data Movement gateway, который сообщает о состоянии выполнения задачи в Qlik Cloud.
-
Когда запускается задача промежуточного хранения (Qlik Cloud, извлекает данные из приложения SaaS и сохраняет их (зашифровывая с использованием ключа клиента).
-
Data Movement gateway получает данные приложения SaaS из Qlik Cloud и передает их в указанную целевую базу данных.
Data Movement gateway — перемещение данных из приложений SaaS в поддерживаемые цели

Перемещение данных из приложений SaaS и корпоративных источников данных в поддерживаемые цели
Последовательность обмена данными на верхнем уровне — это комбинация описанных выше случаев применения «Перемещение данных из корпоративных источников данных» и «Перемещение данных из приложений SaaS».
Data Movement gateway — перемещение данных из приложений SaaS и корпоративных источников данных в поддерживаемые цели

Перемещение данных из приложений SaaS и корпоративных источников данных в виртуальном частном облаке (VPC) в поддерживаемые цели в VPC
Для перемещения данных из приложения SaaS применяется следующая последовательность обмена данными:
-
Data Movement gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.
-
Qlik Cloud отправляет инструкции по выполнению задачи в шлюз Data Movement gateway, который сообщает о состоянии выполнения задачи в Qlik Cloud.
-
Когда запускается задача промежуточного хранения (Qlik Cloud, извлекает данные из приложения SaaS и сохраняет их (зашифровывая с использованием ключа клиента).
-
Data Movement gateway получает данные приложения SaaS из Qlik Cloud и передает их в указанную целевую базу данных.
Для перемещения данных из приложения SaaS применяется следующая последовательность обмена данными:
-
Data Movement gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.
-
Qlik Cloud отправляет инструкции по выполнению задачи в шлюз Data Movement gateway, который сообщает о состоянии выполнения задачи в Qlik Cloud.
-
Data Movement gateway получает данные из источника и передает их в указанную целевую базу данных.
Data Movement gateway — перемещение данных из приложений SaaS и корпоративных источников данных в виртуальном частном облаке (VPC) в поддерживаемые цели в VPC

Подробнее
- Требования к системе Data Movement gateway
- Настройка шлюза Data Movement
- Управление сервером Data Movement gateway
- Управление Data Movement gateway в Администрирование
- Обновление и удаление Data Movement gateway
- Поиск и устранение неисправностей Data Movement gateway
- Шлюз данных Qlik — перемещение данных: обзор