Qlik Data Gateway — Data Movement

Qlik Data Gateway — Data Movement позволяет перемещать данные из корпоративных источников данных и приложения SaaS в поддерживаемые цели через исключительно исходящее зашифрованное подключение с двусторонней проверкой подлинности. Так как порты брандмауэра закрыты для входящего трафика, Qlik Data Gateway — Data Movement обеспечивает безопасное и надежное перемещение корпоративных данных.

Для каждого сервера шлюза Перемещение данных, подключенного к клиенту Qlik Cloud, генерируется уникальная пара ключей Эта пара ключей используется для проверки подлинности и для сквозного шифрования поверх шифрования транспортного уровня HTTPS. Более того, так как связь с Qlik Cloud и передача данных осуществляются только через исходящие порты, нет необходимости открывать какие-либо входящие порты в вашей корпоративной сети.

Общие случаи использования

В следующем разделе подробно описывается два общих случая использования: перемещение данных в цель, доступ к которой возможен только через частное подключение и перемещение данных в цели, доступные напрямую из Qlik Cloud.

Qlik Data Gateway — Data Movement играет центральную роль в процессе перемещения данных. Приведенные ниже схемы иллюстрируют, как Data Movement Gateway взаимодействует с Qlik Cloud и источниками данных для обеспечения безопасного перемещения данных в поддерживаемые цели.

Поддержка частных подключений в Интеграция данных Qlik Cloud

Частное подключение означает, что источник или цель данных закрыт от Интернета и поэтому недоступен из Qlik Cloud.

Существует несколько типов частного подключения, в том числе:

• Snowflake AWS PrivateLink, где отключено общедоступное подключение (через порт 443)
• Microsoft SQL Server (или другой RDBMS) в виртуальном частном облаке, у которого есть только частный IP-адрес

Data Movement Gateway, развернутый для доступа к целевым платформам, выполняет операции ELT, в том числе некоторые или все из перечисленных далее: регистрация данных, хранение, преобразования и киоски данных.

Обратите внимание, что хотя один шлюз возможно использовать для доступа и к источнику данных, и к цели данных, для повышения производительности рекомендуется использовать два шлюза: один для доступа к источнику, а второй для доступа к цели. Например, если исходная база данных — локальный экземпляр Oracle, а целевая база данных — Snowflake AWS PrivateLink, один шлюз (определенный в подключении к источнику Oracle) будет использоваться для промежуточного хранения данных при перемещении из Oracle в Snowflake, а второй шлюз (определенный в подключении к цели Snowflake) будет использоваться для выполнения операций ELT. Использование двух шлюзов особенно рекомендуется в случаях, когда исходная и целевая базы данных не расположены в непосредственной близости друг к другу. В таком сценарии шлюз промежуточного хранения должен находиться максимально близко к источнику, а шлюз цели должен быть как можно ближе к цели. Если данные добавляются из нескольких источников данных, также может быть целесообразным настроить выделенный шлюз для каждого источника данных в зависимости от его типа и местоположения. Пример такого типа конфигурации показан на схеме ниже.

Перемещение данных из корпоративных источников данных в поддерживаемые цели

Имеет место следующая последовательность обмена данными в соответствии с протоколом высокого уровня:

1. Data Movement Gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.

2. Qlik Cloud отправляет инструкции по выполнению задачи шлюзу Data Movement Gateway, который в свою очередь сообщает о состоянии выполнения задачи в Qlik Cloud.

3. Data Movement Gateway получает данные из источника и передает их в указанную целевую базу данных.

Перемещение данных из приложений SaaS в поддерживаемые цели

Имеет место следующая последовательность обмена данными в соответствии с протоколом высокого уровня:

1. Data Movement Gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.

2. Qlik Cloud отправляет инструкции по выполнению задачи в шлюз Data Movement Gateway, который сообщает о состоянии выполнения задачи в Qlik Cloud.

3. Когда запускается задача промежуточного хранения (Qlik Cloud, извлекает данные из приложения SaaS и сохраняет их (зашифровывая с использованием ключа клиента).

4. Data Movement Gateway получает данные приложения SaaS из Qlik Cloud и передает их в указанную целевую базу данных.

Перемещение данных из приложений SaaS и корпоративных источников данных в поддерживаемые цели

Последовательность обмена данными на верхнем уровне — это комбинация описанных выше случаев применения «Перемещение данных из корпоративных источников данных» и «Перемещение данных из приложений SaaS».

Перемещение данных из приложений SaaS и корпоративных источников данных в виртуальном частном облаке (VPC) в поддерживаемые цели в VPC

Для перемещения данных из приложения SaaS применяется следующая последовательность обмена данными:

1. Data Movement Gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.

2. Qlik Cloud отправляет инструкции по выполнению задачи в шлюз Data Movement Gateway, который сообщает о состоянии выполнения задачи в Qlik Cloud.

3. Когда запускается задача промежуточного хранения (Qlik Cloud, извлекает данные из приложения SaaS и сохраняет их (зашифровывая с использованием ключа клиента).

4. Data Movement Gateway получает данные приложения SaaS из Qlik Cloud и передает их в указанную целевую базу данных.

Для перемещения данных из приложения SaaS применяется следующая последовательность обмена данными:

1. Data Movement Gateway устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.

2. Qlik Cloud отправляет инструкции по выполнению задачи в шлюз Data Movement Gateway, который сообщает о состоянии выполнения задачи в Qlik Cloud.

3. Data Movement Gateway получает данные из источника и передает их в указанную целевую базу данных.