Шлюз данных Qlik — движение данных

Шлюз данных Qlik — движение данных (далее Шлюз движения данных) позволяет перемещать данные из корпоративных источников данных и приложения SaaS в поддерживаемые цели через исключительно исходящее зашифрованное подключение с двусторонней проверкой подлинности. Так как порты брандмауэра закрыты для входящего трафика, Шлюз движения данных обеспечивает безопасное и надежное перемещение корпоративных данных.

Когда требуется Шлюз движения данных?

Шлюз движения данных поддерживается только при использовании подписок Standard, Premium и Enterprise.

Шлюз движения данных требуется в следующих случаях:

Источник данных или цель не доступны напрямую из Qlik Cloud. В качестве примера источников данных и целей, которые не доступны напрямую из Qlik Cloud, можно привести источники данных или цели, расположенные в виртуальном частном облаке (VPC), или за брандмауэром, блокирующим входящие подключения.

Для получения дополнительной информации о частных подключениях см. раздел Поддержка частных подключений в Qlik Talend Data Integration.
Требуется CDC из источников ― баз данных практически в реальном времени.
Требуется доступ к целевым платформам через прокси-сервер.
Вы хотите использовать хранилища знаний.
Имеется подписка Premium или Enterprise и требуется выполнять инкрементные загрузки из источников ― приложений SaaS с интервалом меньше 30 минут. При использовании Шлюз движения данных с подписками Premium и Enterprise можно настроить интервал от 5 минут.

Для получения информации о минимальных интервалах планирования в зависимости от типа источника данных и уровня подписки см. раздел Минимально допустимые интервалы планирования.
В качестве источника данных используется:
- IBM DB2 для z/OS
- IBM DB2 для iSeries
- IBM DB2 для LUW
- SAP Extractor
- SAP (приложение)
- SAP ODP
- SAP OData
- SAP HANA (база данных)
- Oracle
- Microsoft SQL Server (на основе журнала Microsoft)
Примечание к информацииМожно использовать Шлюз движения данных для любого источника данных. Для перечисленных выше источников данных требуется Шлюз движения данных. Для всех остальных источников данных можно использовать инструмент Шлюз движения данных, если требуется дополнительная функциональность, которую он предлагает, но это не является стандартным требованием.
Требуется дополнительный уровень безопасности, обеспечиваемый с помощью Шлюз движения данных, который предотвращает прохождение данных через Qlik Cloud и позволяет заказчикам управлять путем перемещения данных. Это имеет значение только для источников данных RDBMS, SAP и мейнфреймов.

В следующем примере Шлюз движения данных не требуется, так как источник (приложение SaaS) и цель (хранилище данных) напрямую доступны из Qlik Cloud:

Перемещение данных из приложения SaaS в целевое хранилище данных без использования Шлюз движения данных

Матрица развертывания Шлюз движения данных

Пример использования	Развертывание Шлюз движения данных
Использование разных экземпляров Шлюз движения данных для коннекторов источника и цели	Задача перемещения данных всегда выполняется на Шлюз движения данных, определенном для коннектора источника. Это означает, что машина, на которой установлен шлюз источника, должна иметь доступ как к источнику данных, так и к целевой платформе. Адрес Шлюз движения данных, определенный для коннектора цели, позволяет Qlik Cloud получить доступ к цели для выполнения преобразований и других операций ELT.
Перемещение данных из источника SaaS на целевую платформу, расположенную в виртуальном личном облаке (VPC)	Хотя Шлюз движения данных не требуется для доступа к источникам данных SaaS, он необходим, если целевая платформа, определенная в задаче данных, находится в VPC или недоступна с Qlik Cloud. В этом случае задача перемещения данных будет выполняться на экземпляре Шлюз движения данных, определенном для коннектора SaaS.
Определение Шлюз движения данных для коннектора цели	Необходимо определить Шлюз движения данных для коннектора цели только в том случае, если целевая платформа находится в VPC или недоступна при обращении из Qlik Cloud. Шлюз движения данных цели не выполняет операции перемещения данных – это исключительно роль Шлюз движения данных на источнике. Вместо этого, он позволяет облаку Qlik Cloud получить доступ к цели для выполнения преобразований и других операций ELT.

Защита данных

Для каждого сервера Шлюз движения данных, подключенного к клиенту Qlik Cloud, генерируется уникальная пара ключей. Эта пара ключей используется для проверки подлинности и для сквозного шифрования поверх шифрования транспортного уровня HTTPS. Более того, так как связь с Qlik Cloud и передача данных осуществляются только через исходящие порты, нет необходимости открывать какие-либо входящие порты в вашей корпоративной сети.

Qlik Cloud для правительства поддерживает использование Шлюз движения данных, когда платформа Linux, на которой установлено ПО Шлюз движения данных, настроена для работы в режиме, утвержденном FIPS 140-2 (также известном как «режим FIPS»).

В документации по Шлюз движения данных всегда описаны возможности последней версии приложения. Если используется не самая новая версия приложения, системный администратор должен как можно быстрее выполнить обновление. Для получения дополнительной информации об обновлении см. раздел Обновление и удаление Шлюз движения данных

Общие случаи использования

В следующем разделе подробно описывается два общих случая использования: перемещение данных в цель, доступ к которой возможен только через частное подключение и перемещение данных в цели, доступные напрямую из Qlik Cloud.

Шлюз данных Qlik — движение данных играет центральную роль в процессе перемещения данных. Приведенные ниже схемы иллюстрируют, как Шлюз движения данных взаимодействует с Qlik Cloud и источниками данных для обеспечения безопасного перемещения данных в поддерживаемые цели.

Количество шлюзов Шлюз движения данных, которые необходимо развернуть, зависит от конкретной среды и варианта использования. Если источники данных находятся близко друг к другу и целевая база данных напрямую доступна из Qlik Cloud, то обычно бывает достаточно одного шлюза Шлюз движения данных. Однако в следующих случаях рекомендуется использовать несколько шлюзов шлюзы данных:

Прием данных из источников данных, географически удаленных друг от друга
Перемещение больших объемов данных из нескольких источников данных
Перемещение данных в целевую базу данных, которая недоступна из Qlik Cloud (например, SQL Server в виртуальном частном облаке)

Поддержка частных подключений в Qlik Talend Data Integration

Частное подключение означает, что источник или цель данных закрыт от Интернета и поэтому недоступен из Qlik Cloud.

Существует несколько типов частного подключения, в том числе:

Snowflake AWS PrivateLink, где отключено общедоступное подключение (через порт 443)
Microsoft SQL Server (или другой RDBMS) в виртуальном частном облаке, у которого есть только частный IP-адрес

Развертывание Шлюз движения данных для доступа к целевой платформе требуется только в том случае, если цель не доступна напрямую из Qlik Cloud.

Шлюз движения данных, развернутый для доступа к целевым платформам, выполняет операции ELT, в том числе некоторые или все из перечисленных далее: регистрация данных, хранение, преобразования и киоски данных.

Обратите внимание, что хотя один шлюз возможно использовать для доступа и к источнику данных, и к цели данных, для повышения производительности рекомендуется использовать два шлюза: один для доступа к источнику, а второй для доступа к цели. Например, если исходная база данных — локальный экземпляр Oracle, а целевая база данных — Snowflake AWS PrivateLink, один шлюз (определенный в подключении к источнику Oracle) будет использоваться для промежуточного хранения данных при перемещении из Oracle в Snowflake, а второй шлюз (определенный в подключении к цели Snowflake) будет использоваться для выполнения операций ELT. Использование двух шлюзов особенно рекомендуется в случаях, когда исходная и целевая базы данных не расположены в непосредственной близости друг к другу. В таком сценарии шлюз промежуточного хранения должен находиться максимально близко к источнику, а шлюз цели должен быть как можно ближе к цели. Если данные добавляются из нескольких источников данных, также может быть целесообразным настроить выделенный шлюз для каждого источника данных в зависимости от его типа и местоположения. Пример такого типа конфигурации показан на схеме ниже.

Нажмите для просмотра в полном размере — Перемещение данных из распределенных источников данных в цель в виртуальном частном облаке и последующее выполнение операций ELT в целевой базе данных

Перемещение данных из корпоративных источников данных в поддерживаемые цели

Имеет место следующая последовательность обмена данными в соответствии с протоколом высокого уровня:

Шлюз движения данных устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.
Qlik Cloud отправляет инструкции по выполнению задачи шлюзу Шлюз движения данных, который в свою очередь сообщает о состоянии выполнения задачи в Qlik Cloud.
Шлюз движения данных получает данные из источника и передает их в указанную целевую базу данных.

Перемещение данных из приложений SaaS в поддерживаемые цели

Имеет место следующая последовательность обмена данными в соответствии с протоколом высокого уровня:

Шлюз движения данных устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.
Qlik Cloud отправляет инструкции по выполнению задачи в шлюз Шлюз движения данных, который сообщает о состоянии выполнения задачи в Qlik Cloud.
Когда запускается задача промежуточного хранения (Qlik Cloud, извлекает данные из приложения SaaS и сохраняет их (зашифровывая с использованием ключа клиента).
Шлюз движения данных получает данные приложения SaaS из Qlik Cloud и передает их в указанную целевую базу данных.

В данном случае применения Шлюз движения данных не требуется устанавливать за брандмауэром, так как ни источник (приложение SaaS), ни цель не защищены брандмауэром.

Перемещение данных из приложений SaaS и корпоративных источников данных в поддерживаемые цели

В данном случае применения установлены два шлюза Шлюз движения данных (на разных компьютерах): на одном располагается источник корпоративных данных, а на втором — приложение SaaS. Шлюз движения данных, на котором размещено приложение SaaS, не требуется устанавливать за брандмауэром, так как ни источник (приложение SaaS), ни цель не защищены брандмауэром.

Последовательность обмена данными на верхнем уровне — это комбинация описанных выше случаев применения «Перемещение данных из корпоративных источников данных» и «Перемещение данных из приложений SaaS».

Перемещение данных из приложений SaaS и корпоративных источников данных в виртуальном частном облаке (VPC) в поддерживаемые цели в VPC

Для перемещения данных из приложения SaaS применяется следующая последовательность обмена данными:

Шлюз движения данных устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.
Qlik Cloud отправляет инструкции по выполнению задачи в шлюз Шлюз движения данных, который сообщает о состоянии выполнения задачи в Qlik Cloud.
Когда запускается задача промежуточного хранения (Qlik Cloud, извлекает данные из приложения SaaS и сохраняет их (зашифровывая с использованием ключа клиента).
Шлюз движения данных получает данные приложения SaaS из Qlik Cloud и передает их в указанную целевую базу данных.

Для перемещения данных из приложения SaaS применяется следующая последовательность обмена данными:

Шлюз движения данных устанавливает зашифрованное подключение к Qlik Cloud с двусторонней проверкой подлинности с помощью протокола HTTPS.
Qlik Cloud отправляет инструкции по выполнению задачи в шлюз Шлюз движения данных, который сообщает о состоянии выполнения задачи в Qlik Cloud.
Шлюз движения данных получает данные из источника и передает их в указанную целевую базу данных.

Подробнее

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице или с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом!

Оставьте свой отзыв здесь