Шлюз данных Qlik — движение данных

Шлюз данных Qlik — движение данных (далее Шлюз движения данных) упрощает перемещение данных из корпоративных источников данных и приложений SaaS в поддерживаемые целевые системы через строго исходящее, зашифрованное и взаимно аутентифицированное подключение. Устраняя необходимость открывать входящие порты брандмауэра, Шлюз движения данных обеспечивает безопасный и надежный способ перемещения корпоративных данных.

Когда требуется Шлюз движения данных?

Шлюз движения данных доступен только клиентам с подписками Standard, Premium или Enterprise.

Шлюз движения данных требуется в следующих случаях:

Ваш источник данных или целевая система не доступны напрямую из Qlik Cloud. Примеры источников данных или целевых систем, которые не доступны напрямую из Qlik Cloud, включают источники данных или целевые системы, расположенные в VPC или за брандмауэром, закрытым для входящих подключений.

Для получения дополнительной информации о частных подключениях см. раздел Поддержка частных подключений в Qlik Talend Data Integration ниже.
Вам требуется CDC (сбор измененных данных) из источников баз данных почти в реальном времени.
Вам необходимо получить доступ к целевым платформам через прокси-сервер.
Вы хотите использовать витрины знаний.
У вас есть подписка Premium или Enterprise, и вам требуются инкрементальные загрузки из источников приложений SaaS чаще, чем каждые 30 минут. При использовании Шлюз движения данных вы можете установить интервал до 5 минут с подписками Premium и Enterprise.

Для получения информации о минимальных интервалах планирования в зависимости от типа источника данных и уровня подписки см. раздел Минимально допустимые интервалы планирования.
Ваш источник данных является одним из следующих:
- IBM DB2 for z/OS
- IBM DB2 for iSeries
- IBM DB2 for LUW
- SAP Extractor
- SAP (Application)
- SAP ODP
- SAP OData
- SAP HANA (Database)
- Oracle
Примечание к информацииВы можете использовать Шлюз движения данных для любого источника данных. Вышеуказанные источники данных — это те, которые требуют Шлюз движения данных. Для всех остальных источников данных Шлюз движения данных можно использовать, если вам нужны дополнительные функции, которые он предлагает, но это не является стандартным требованием.
Вам нужен дополнительный слой безопасности, обеспечиваемый Шлюз движения данных, который предотвращает прохождение данных через Qlik Cloud и позволяет клиентам контролировать путь данных. Это актуально только для источников данных RDBMS, мейнфреймов и SAP.

В следующем примере Шлюз движения данных не требуется, так как и источник приложения SaaS, и целевое хранилище данных доступны напрямую из Qlik Cloud:

Перемещение данных из приложения SaaS в целевое хранилище данных без Шлюз движения данных

Матрица развертывания Шлюз движения данных

Сценарий использования	Развертывание Шлюз движения данных
Использование разных Шлюз движения данных для коннекторов источника и целевой системы	Задача перемещения данных всегда выполняется на Шлюз движения данных, определенном для коннектора источника. Это означает, что машина, на которой установлен шлюз источника, должна иметь доступ как к источнику данных, так и к целевой платформе. Шлюз движения данных, определенный для коннектора целевой системы, позволяет Qlik Cloud получать доступ к целевой системе для выполнения преобразований и других операций ELT.
Перемещение данных из источника SaaS на целевую платформу, расположенную в VPC	Хотя Шлюз движения данных не требуется для доступа к источникам SaaS, он необходим, если целевая платформа задачи данных расположена в VPC или иным образом недоступна из Qlik Cloud. В таком случае задача перемещения данных будет выполняться на Шлюз движения данных, определенном для коннектора SaaS.
Определение Шлюз движения данных для коннектора целевой системы	Вам нужно определить Шлюз движения данных для коннектора целевой системы только в том случае, если целевая платформа расположена в VPC или иным образом недоступна из Qlik Cloud. Целевой Шлюз движения данных не выполняет никакого перемещения данных, так как это исключительно роль исходного Шлюз движения данных. Вместо этого он позволяет Qlik Cloud получать доступ к целевой системе для выполнения преобразований и других операций ELT.

Защита ваших данных

Для каждого сервера Шлюз движения данных, подключенного к клиенту Qlik Cloud, создается уникальная пара ключей. Эта пара ключей используется для аутентификации и сквозного шифрования данных поверх шифрования транспортного уровня HTTPS. Более того, поскольку связь с Qlik Cloud и передача данных инициируются только через исходящие порты, вам не нужно открывать какие-либо входящие порты в вашей корпоративной сети.

Qlik Cloud для правительства поддерживает использование Шлюз движения данных, когда платформа Linux, на которой установлен Шлюз движения данных, настроена для работы в утвержденном режиме работы FIPS 140-2, также известном как «режим FIPS».

Документация Шлюз движения данных всегда отражает возможности последней версии приложения. Если вы не используете последнюю версию, вашему системному администратору рекомендуется немедленно выполнить обновление. Для получения информации об обновлении см. раздел Обновление и удаление Шлюз движения данных

Общие сценарии использования

В следующем разделе выделены два общих сценария использования: перемещение данных в целевую систему, к которой можно получить доступ только через частное подключение, и перемещение данных в целевые системы, которые доступны напрямую из Qlik Cloud.

Шлюз данных Qlik — движение данных играет центральную роль в процессе перемещения данных. Приведенные ниже диаграммы иллюстрируют, как Шлюз движения данных взаимодействует с Qlik Cloud и вашими источниками данных для безопасного перемещения данных в поддерживаемые целевые системы.

Количество шлюзов Шлюз движения данных, которые необходимо развернуть, зависит от конкретной среды и варианта использования. Если источники данных находятся близко друг к другу и целевая база данных напрямую доступна из Qlik Cloud, то обычно бывает достаточно одного шлюза Шлюз движения данных. Однако в следующих случаях рекомендуется использовать несколько шлюзов шлюзы данных:

Прием данных из источников данных, географически удаленных друг от друга
Перемещение больших объемов данных из нескольких источников данных
Перемещение данных в целевую базу данных, которая недоступна из Qlik Cloud (например, SQL Server в виртуальном частном облаке)

Поддержка частных подключений в Qlik Talend Data Integration

Частное подключение означает, что ваш источник данных или целевая система не открыты для Интернета, что делает их недоступными из Qlik Cloud.

Существует несколько типов частных подключений, примеры которых включают:

Snowflake AWS PrivateLink, где общедоступное подключение (через порт 443) было отключено
Microsoft SQL Server (или любая другая СУБД), работающий в VPC, который имеет только частный IP-адрес

Развертывание Шлюз движения данных для доступа к вашей целевой платформе требуется только в том случае, если целевая система не доступна напрямую из Qlik Cloud.

Шлюз движения данных, развернутый для доступа к вашей целевой системе, выполняет операции ELT, которые включают некоторые или все из следующих: регистрация данных, хранение, преобразования и витрины данных.

Обратите внимание, что хотя можно использовать один и тот же шлюз для доступа как к источнику данных, так и к целевой системе данных, использование двух шлюзов — одного для доступа к источнику, а другого для доступа к целевой системе — часто обеспечивает лучшую производительность. Например, если исходная база данных — это локальная Oracle, а целевая база данных — Snowflake AWS PrivateLink, один шлюз (определенный в подключении источника Oracle) будет использоваться для промежуточного хранения данных из Oracle в Snowflake, в то время как другой шлюз (определенный в подключении целевой системы Snowflake) будет использоваться для выполнения операций ELT. Использование двух шлюзов особенно рекомендуется, если исходная и целевая базы данных не находятся в непосредственной близости друг от друга. В таком сценарии шлюз промежуточного хранения должен находиться как можно ближе к источнику, в то время как целевой шлюз должен находиться как можно ближе к целевой системе. Если данные загружаются из нескольких источников данных, также может иметь смысл настроить выделенный шлюз для каждого источника данных, в зависимости как от типа, так и от местоположения источников данных. Пример такого типа настройки показан на изображении ниже.

Нажмите для просмотра в полном размере — Перемещение данных из распределенных источников данных в целевую систему в VPC и последующее выполнение операций ELT в целевой системе

Перемещение данных из корпоративных источников данных в поддерживаемые целевые системы

Высокоуровневая последовательность связи выглядит следующим образом:

Шлюз движения данных устанавливает взаимно аутентифицированное и зашифрованное подключение к Qlik Cloud с использованием HTTPS.
Qlik Cloud отправляет инструкции по выполнению задачи на Шлюз движения данных, который, в свою очередь, сообщает статус задачи в Qlik Cloud.
Шлюз движения данных извлекает данные из источника данных и отправляет их в назначенную целевую систему.

Перемещение данных из приложений SaaS в поддерживаемые целевые системы

Высокоуровневая последовательность связи выглядит следующим образом:

Шлюз движения данных устанавливает взаимно аутентифицированное и зашифрованное подключение к Qlik Cloud с использованием HTTPS.
Qlik Cloud отправляет инструкции по выполнению задачи промежуточного хранения на Шлюз движения данных, который сообщает статус задачи обратно в Qlik Cloud.
Когда задача промежуточного хранения запущена, Qlik Cloud извлекает данные из приложения SaaS и сохраняет их (зашифрованные ключом клиента).
Шлюз движения данных извлекает данные приложения SaaS из Qlik Cloud и отправляет их в назначенную целевую систему.

В этом сценарии использования Шлюз движения данных не обязательно устанавливать за брандмауэром, так как ни источник (приложение SaaS), ни целевая система не расположены за брандмауэром.

Перемещение данных из приложений SaaS и корпоративных источников данных в поддерживаемые целевые системы

В этом сценарии использования установлены два Шлюз движения данных (на разных машинах): один обслуживает корпоративный источник данных, а другой обслуживает приложение SaaS. Шлюз движения данных, обслуживающий приложение SaaS, не обязательно устанавливать за брандмауэром, так как ни источник (приложение SaaS), ни целевая система не расположены за брандмауэром.

Высокоуровневая последовательность связи представляет собой комбинацию сценариев использования «Перемещение данных из корпоративных источников данных» и «Перемещение данных из приложений SaaS», описанных выше.

Перемещение данных из приложений SaaS и корпоративных источников данных в VPC в целевые системы в VPC

Высокоуровневая последовательность связи для перемещения данных из приложения SaaS выглядит следующим образом:

Шлюз движения данных устанавливает взаимно аутентифицированное и зашифрованное подключение к Qlik Cloud с использованием HTTPS.
Qlik Cloud отправляет инструкции по выполнению задачи промежуточного хранения на Шлюз движения данных, который сообщает статус задачи обратно в Qlik Cloud.
Когда задача промежуточного хранения запущена, Qlik Cloud извлекает данные из приложения SaaS и сохраняет их (зашифрованные ключом клиента).
Шлюз движения данных извлекает данные приложения SaaS из Qlik Cloud и отправляет их в назначенную целевую систему.

Высокоуровневая последовательность связи для перемещения данных из корпоративного источника данных выглядит следующим образом:

Шлюз движения данных устанавливает взаимно аутентифицированное и зашифрованное подключение к Qlik Cloud с использованием HTTPS.
Qlik Cloud отправляет инструкции по выполнению задачи промежуточного хранения на Шлюз движения данных, который сообщает статус задачи обратно в Qlik Cloud.
Шлюз движения данных извлекает данные из источника данных и отправляет их в назначенную целевую систему.

Подробнее

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице или с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом!

Оставьте свой отзыв здесь