PostgreSQL
В этом разделе описано, как настроить источник PostgreSQL в задаче данных. Прежде чем запустить задачу данных, проверьте, что выполнены Предварительные требования, настройте Ограничения и замечания и ознакомьтесь с ограничениями, перечисленными в разделе Необходимые разрешения.
Необходимо настроить обмен данными с PostgreSQL, если промежуточное хранение данных производится из одной следующих баз данных:
-
Локально:
-
PostgreSQL
Примечание к информацииЛокальный источник PostgreSQL также поддерживает перемещение через Azure Database для PostgreSQL - Flexible Server.
-
-
В облаке:
-
Amazon Aurora
-
Amazon RDS для PostgreSQL
-
Microsoft Azure Database для PostgreSQL
-
Google Cloud SQL для PostgreSQL: требуется Data Movement Gateway 2022.11.42 или более поздней версии
-
Google Cloud AlloyDB для PostgreSQL: Требуется Data Movement Gateway 2023.5.10 или более поздней версии.
-
Настройка свойств подключения
В этом разделе описаны доступные свойства подключения. Если не указано иное, все свойства являются обязательными.
Чтобы открыть коннектор, выполните следующие действия.
-
В виде Подключения нажмите Создать подключение.
-
Выберите коннектор для источника PostgreSQL, затем задайте следующие параметры:
Источник данных
-
Шлюз данных
Выберите шлюз Data Movement Gateway, если этого требует текущий сценарий использования.
Примечание к информацииЭто поле недоступно при использовании подписки Qlik Talend Cloud Starter, так как она не поддерживает Data Movement Gateway. Если используется другой уровень подписки или не требуется использовать Data Movement Gateway, выберите Нет.
Для получения информации о преимуществах Data Movement Gateway и о сценариях, требующих его использования, см. раздел Qlik Data Gateway — Data Movement.
-
Поставщик облака: выберите поставщика облака, если база данных PostgreSQL находится в облаке:
-
Нет (выберите, если база данных PostgreSQL размещена локально)
-
Amazon Aurora
-
Amazon RDS
-
Microsoft Azure
-
Google Cloud — требуется Data Movement Gateway 2022.11.42 или более поздней версии.
-
-
Сервер: имя сервера или IP-адрес компьютера, на котором установлена база данных PostgreSQL.
-
Порт: порт, через который Data Movement Gateway получает доступ к базе данных PostgreSQL. Значение по умолчанию: 5432.
Свойства учетной записи (Account properties)
Имя пользователя и Пароль: имя и пароль пользователя для авторизованного доступа к базе данных PostgreSQL.
Свойства базы данных
Имя базы данных: задать базу данных можно двумя способами:
- Способ 1: выбор из списка. Щелкните Загрузить базы данных, а затем выберите базу данных.
- Способ 2: вручную. Выберите Ввести имя базы данных вручную, а затем введите имя базы данных.
Параметры SSL
Настройте Qlik Data Gateway — Data Movement, чтобы подключаться к источнику данных с использованием SSL.
- Режим SSL: выберите одно из значений, указанных ниже.
- Отсутствует: подключение только с помощью фамилии и пароля.
- Рекомендуется: устанавливает подключение с шифрованием, если сервер поддерживает такие подключения, и переключается обратно на подключение без шифрования, если подключение с шифрованием не может быть установлено.
- Обязательно: устанавливает подключение с шифрованием, если сервер поддерживает такие подключения. Если подключение с шифрованием не может быть установлено, попытка подключения завершается ошибкой.
- Проверка ЦС: аналогично значению Обязательно, но также проверяется сертификат центра сертификации (ЦС) сервера на соответствие настроенным сертификатам ЦС. Если соответствующие действующие сертификаты ЦС не найдены, попытка подключения завершается ошибкой.
- Полная проверка: аналогично значению Проверка ЦС, но также выполняется проверка удостоверения имени хоста путем сопоставления имени хоста, который клиент (т. е. Qlik Data Gateway — Data Movement) использует для подключения к серверу, с именем в удостоверении сертификата, который сервер отправляет клиенту. Клиент проверяет, совпадает ли имя хоста, который он использует для подключения, со значением Общее имя в сертификате сервера. Если имена не совпадают, попытка подключения завершается ошибкой.
- Доверенный сертификат: файл сертификата клиента, выпущенного центром сертификации (ЦС), в формате PEM.
- Сертификат клиента: сертификат клиента, запрашиваемый сервером.
- Ключ сертификата клиента: файл закрытого ключа клиента в формате PEM.
- CRL: сертификат CRL. Этот файл содержит сертификаты, отозванные центрами сертификации. Если сертификат сервера присутствует в этом списке, попытка подключения завершается ошибкой.
- Сжатие SSL: выберите этот параметр для сжатия данных перед их шифрованием.
Свойства CDC
Такты WAL (WAL heartbeat)– задача CDC, которая не отслеживает изменения, когда задача не активна, однако продолжает занимать позицию LSN в слоте, назначенному задаче, что предотвращает прекращение WAL. Так как WAL – ресурс, который используется всеми процессами PostgreSQL на сервере, он может сильно увеличиваться в размере, если долго не отслеживать изменения.
Чтобы не допустить такой ситуации, активируйте опцию WAL heartbeat. Если эта опция активна, источник PostgreSQLконнектор имитирует активность задачи, периодически подтверждая псевдотранзакции (называемые «Heartbeats») в таблице тактов и таким образом поддерживая позицию LSN слота задачи.
- Схема для артефактов тактов (Schema for heartbeat artifacts): Схема, в которой будет создана таблица тактов WAL (attrep_wal_heartbeat). Значение по умолчанию: "public".
- Частота тактов в минуту (Heartbeat frequency (minutes)): Частота, с которой регистрируются транзакции в таблице тактов.
Свойства DDL
- Захват событий DDL: когда выбран этот вариант, выполняются следующие операции:
- Чтобы упростить захват событий DDL, Data Movement Gateway создает триггеры и другие операционные артефакты в базе данных PostgreSQL, когда запускается задача. Затем можно будет удалить эти артефакты, как описано в разделе Удаление артефактов из базы данных ниже.
- Осуществляется захват событий DDL из потока.
- Создавать артефакты DDL в схеме: схема, в которой будут создаваться оперативные артефакты базы данных DDL. Значение по умолчанию: Public (Общедоступная).
Удаление артефактов из исходной базы данных
Для захвата DDL Data Movement Gateway создает различные артефакты в базе данных PostgreSQL , когда запускается задача. Эти артефакты можно удалить, если в будущем потребуется удалить задачу.
Чтобы удалить артефакты, выполните следующие операторы (в порядке их перечисления ниже), где public
― это схема по умолчанию, в которой были созданы артефакты:
-
drop event trigger attrep_intercept_ddl
Примечание к информацииТриггер события (event
trigger
) не относится к какой-то специфической схеме. - drop function public.attrep_intercept_ddl()
- drop table public.attrep_ddl_audit
- drop schema public
-
drop table schema.attrep_wal_heartbeat
где schema ― это Схема для артефактов тактов, заданная в параметрах коннектора.
Отбрасывание схемы следует выполнять с большой осторожностью, а лучше вообще не предпринимать. Никогда не отбрасывайте оперативную схему, особенно public
.
Внутренние свойства
Внутренние свойства предназначены для особых вариантов использования и поэтому не отображаются в диалоговом окне. Их можно использовать только по указанию службы поддержки Qlik.
Используйте кнопки и справа от полей, чтобы при необходимости добавить или удалить свойства.
- Сопоставление типа данных BOOLEAN с BOOLEAN (вместо STRING (5)): Выберите этот вариант, если требуется сопоставить столбцы BOOLEAN с типом данных BOOLEAN в Qlik Cloud вместо STRING (5), который используется по умолчанию.
Имя
Отображаемое имя подключения источника.