Конфигурация и устранение неполадок Шлюз данных Qlik — прямой доступ

Настройка Direct Access Gateway в клиенте Qlik Cloud

Хотя параметры Direct Access Gateway по умолчанию подходят для большинства сред, их можно переопределить для повышения производительности, устранения неполадок (с помощью параметров ведения журнала) или решения проблем с подключением.

Для редактирования параметров в Qlik Cloud необходимо иметь одно из следующих разрешений:

• администратор клиента и владелец пространства шлюза;

• участник клиента с разрешением Может использовать данные в пространстве шлюза.

Чтобы открыть параметры шлюза:

1. В клиенте Qlik Cloud перейдите в меню Администрирование > Шлюзы данных и найдите Direct Access Gateway.

2. Нажмите кнопку в конце строки и выберите Настройки шлюза.

   Откроется диалоговое окно Настройки шлюза для <имя> .

   Параметры делятся на общие (представлены ниже) и параметры коннекторов. Обратите внимание: для изменения параметров может также понадобиться перезапустить службу Direct Access Gateway.

Общие параметры

Эти параметры относятся к общей функциональности Direct Access Gateway, независимо от используемого коннектора.

ID агента

Идентификатор агента для использования с общедоступным API-интерфейсом Direct Access Gateway.

Порт агента коннектора

Порт, который должен использоваться при подключении к агенту коннектора. Этот параметр невозможно изменить.

Порог отказа работоспособности агента коннектора

Компоненты Direct Access Gateway периодически проверяются на работоспособность. Иногда проверки завершаются сбоем при первом запуске, но затем проходят успешно. Если проверки работоспособности продолжают завершаться сбоем после достижения указанного порога, служба Direct Access Gateway будет перезапущена. Этот параметр можно изменять только по запросу от службы поддержки Qlik.

Тайм-аут запроса на загрузку

Когда возникают прерывания сетевого подключения, могут возникать следующие ошибки при перезагрузке:

Connector error: The session does not exist (DirectAccess-1509)

Connector error: The stream session expired for the load data request (DirectAccess-1012)

Если часто возникают подобные ошибки, попробуйте продлить тайм-аут на 5–10 минут.

Уровень ведения журнала агента коннектора

Для устранения неполадок вам может потребоваться изменить уровень ведения журнала компонентов агента коннектора. Этот параметр можно изменять только по запросу от службы поддержки Qlik.

Параметры ведения журнала агента коннектора

Для устранения неполадок, связанных с определенным компонентом агента коннектора, может потребоваться выбрать соответствующий файл журнала. Этот параметр можно изменять только по запросу от службы поддержки Qlik.

Ограничить размер файла журнала агента коннектора до

Задайте максимальный размер файла журнала агента коннектора в МБ перед ротацией в новый файл.

Ограничить срок хранения файлов агента коннектора до

Задайте количество дней, в течение которых хранятся файлы журнала агента коннектора до их автоматического удаления.

Память для кэшированных блоков данных

Для каждой операции перезагрузки Direct Access Gateway может кэшировать блоки данных в памяти и выгружать их на диск (при превышении размера, выделенного для кэширования). Это особенно полезно, если не используется автоматическое восстановление и часто возникают ошибки 4025, 4020 и 4021. При достижении заданного порога шлюз выгружает следующие зашифрованные блоки на диск компьютера Direct Access Gateway. Значение 0 (по умолчанию) отключает Chunks Recovery.

Порог восстановления блоков

Это порог (в минутах) для продолжительности восстановления блоков. Если перезагрузка не возобновилась к моменту достижения порога продолжительности восстановления, она завершится ошибкой с соответствующим сообщением.

Эта функция полезна для перезагрузок, которые в противном случае могут продолжаться дольше трехчасового предела в рамках длительного восстановления. Например, на извлечение данных из базы данных уходит 90 минут, но когда начинается перезагрузка, один из блоков становится поврежденным. В этом случае все блоки будут храниться в кэше и отправляться из кэша. При таком сценарии весь процесс перезагрузки (сохранение в кэше + собственно перезагрузка) может занять три часа.

Переопределить каталог кэша по умолчанию

Задайте новый каталог кэша.

Порт DCaaS

Порт, который должен использоваться при подключении к DCaaS. Этот параметр невозможно изменить.

Уровень ведения журнала DCaaS

Для устранения неполадок вам может потребоваться изменить уровень ведения журналов DCaaS. Этот параметр можно изменять только по запросу от службы поддержки Qlik.

Ограничить срок хранения файлов журнала DCaaS до (дней)

Вы можете ограничить количество дней, в течение которых Шлюз данных Qlik — прямой доступ хранит файлы журналов компонентов (коннекторы, DCaaS, агент и т. д.). Файлы журналов старше указанного количества дней удаляются автоматически.

Начало диапазона портов данных

Задайте начало диапазона портов данных для изоляции процессов.

Метрики производительности загрузки

Эти параметры конфигурации относятся к результатам производительности под нагрузкой. Эти свойства определяют, какой объем данных хранится на компьютере шлюза и как со временем выполняется их очистка.

• Запись метрик производительности загрузки включена: выберите, следует ли сохранять метрики производительности загрузки.

• Включена очистка устаревших бенчмарков: выберите, следует ли автоматически очищать записи бенчмарков.

• Срок хранения бенчмарков: укажите количество дней хранения записей бенчмарков перед очисткой.

• Интервал проверки срока хранения бенчмарков: задайте интервал проверки записей бенчмарков, подлежащих очистке.

• Размер базы данных для хранения контрольных показателей: задайте целевой размер базы данных в МБ для записей контрольных показателей.

• Размер пакета очистки устаревших данных бенчмарков: Задайте количество записей бенчмарков, удаляемых за один пакет очистки.

Параметры коннекторов

Чтобы изменить параметры коннектора, выберите тип коннектора слева, а затем измените настройки ниже по мере необходимости.

Порт

Порт, который должен использоваться при подключении к источнику данных. Этот параметр невозможно изменить.

Уровень ведения журнала

Для устранения неполадок вам может потребоваться изменить уровень ведения журналов коннектора. Этот параметр можно изменять только по запросу от службы поддержки Qlik.

Изоляция процессов

Изоляция процессов позволяет администраторам, которые имеют доступ к операционной системе сервера Direct Access Gateway, контролировать количество процессов, доступных для перезагрузок и/или команд метаданных по типу коннекторов. Распространение перезагрузок и/или команд метаданных по нескольким процессам коннектора повышает степень изоляции путем уменьшения количества перезагрузок и/или команд метаданных, выполняемых одновременно для каждого процесса коннектора. Это, в свою очередь, улучшает общую стабильность Direct Access Gateway в случаях, когда коннектор неожиданно завершает работу.

По умолчанию при чистой установке изоляция процессов включена. По умолчанию количество одновременных перезагрузок или команд метаданных для каждого типа коннектора составляет 9. Вы можете переопределить значение по умолчанию, как описано в разделе Количество одновременных процессов перезагрузки/команд ниже.

Доступны следующие параметры.

• Отключено: Поддержка Qlik может попросить вас отключить изоляцию процессов для устранения неполадок.

• Метаданные: Включить изоляцию процессов только для команд метаданных. Это может быть полезно в ситуации, когда команды метаданных должны выполняться параллельно (как правило, для предварительного просмотра), но драйвера ODBC не поддерживают многопоточность, .

  Примечание к информацииПоддерживается с Direct Access Gateway 1.7.9.

• Перезагрузка (по умолчанию): включает изоляцию процессов только для команд перезагрузки.

• Все: Включить изоляцию процессов для обеих команд — reload и metadata.

  Примечание к информацииПоддерживается с Direct Access Gateway 1.7.9.

Количество параллельных процессов перезагрузки/команд

Количество параллельных процессов перезагрузки/команд, выделенных для коннектора, включая процесс команды. Так, например, значение 30 будет означать максимум 29 параллельных перезагрузок/команд. Обратите внимание: этот параметр актуален только в том случае, если включена изоляция процессов.

Тайм-аут сеанса перезагрузки

Если подключение между Direct Access Gateway и Qlik Cloud бездействует в течение 20 секунд и больше, операция перезагрузки иногда завершается ошибкой:

Invalid object name '#<TempTableName>' (indicating that the Direct Access Gateway temp tables are unavailable).

По умолчанию тайм-аут сеанса составляет 20 секунд, но если эта ошибка возникает часто, при необходимости его можно увеличить.

Максимальное количество выгружаемых таблиц

По умолчанию из базы данных извлекается не более 10 000 таблиц. Если база данных содержит более 10 000 таблиц, это значение по умолчанию можно переопределить.

Показать подробное сообщение об ошибке

По соображениям безопасности, сообщение об ошибке, по умолчанию возвращаемое драйвером ODBC, содержит минимум информации. Однако в некоторых случаях может понадобиться больше информации для устранения конкретной проблемы. Чтобы сгенерировать более подробное сообщение об ошибке, включите эту опцию. Настоятельно рекомендуется отключить эту опцию после устранения проблемы, чтобы обеспечить оптимальную безопасность.

Ограничение URL-адресов, к которым Direct Access Gateway имеет доступ через коннектор REST

Вы можете ограничить доступ к определенным URL-адресам или путям для коннектора REST.

Чтобы ограничить доступ к некоторому URL-адресу, введите этот адрес в поле Разрешенные URL-адреса и нажмите Добавить. Сделайте то же самое, если нужно ограничить доступ по пути URL-адреса, но в этом случае добавьте к URL-адресу звездочку (*). Повторите при необходимости.

Пример

В следующем примере список Разрешенные URL-адреса содержит две записи:

• Первая запись разрешает доступ только к https://mypublicrestservice.com/restricted/source.

• Вторая запись разрешает доступ к https://mypublicrestservice.com/open и любому пути по этому адресу, например https://mypublicrestservice.com/open/shared

Редактирование или удаление URL-адресов

Чтобы изменить URL-адрес, нажмите кнопку в конце строки и измените URL-адрес. Затем нажмите , чтобы сохранить изменения, или , чтобы отменить.

Для удаления URL-адреса нажмите кнопку в конце строки.

См. также: Создание подключения REST (только английский язык).

Ограничение списка путей, к которым Direct Access Gateway имеет доступ через коннектор File

Вы можете ограничить доступ к путям для коннектора File. Вы также можете дополнительно ограничить доступ, связав путь с одним или несколькими пространствами.

Чтобы ограничить доступ по некоторому пути, введите соответствующий путь в поле Пути к файлам и нажмите Добавить. Повторите при необходимости.

Чтобы связать пространство с путем, после добавления пути нажмите кнопку в конце строки и выберите одно или несколько пространств из раскрывающегося списка в столбце Связанные пространства . Если путь связан с пространствами, по указанному пути доступ предоставляется только пользователям, принадлежащим хотя бы к одному из пространств. Необходимо учитывать, что участники указанных пространств могут получать доступ по указанному пути из любого пространства, к которому они принадлежат (даже если они принадлежат неявно), в том числе из личного пространства.

Пример

В следующем примере в списке Разрешенные URL-адреса содержатся две записи:

• Первая запись позволяет любому пользователю с требуемой ролью получить доступ к C:\mypath\source.

• Вторая запись позволяет только участникам пространства mosheSharedSpace получить доступ к C:\restricted.

Редактирование или удаление записей

Чтобы изменить запись, нажмите кнопку в конце строки и измените запись. Затем нажмите , чтобы сохранить изменения, или , чтобы отменить сделанные изменения.

Для удаления записи нажмите кнопку в конце строки.

См. также: Файл (через Direct Access Gateway) (только английский язык).

Отключение восстановления фрагментов для каждого подключения

Direct Access Gateway автоматически восстанавливает поврежденные чанки (сегменты зашифрованных данных) во время операций перезагрузки. Это помогает успешно выполнять перезагрузки, даже если сбои в сети или проблемы с источником данных приводят к потере фрагментов.

По умолчанию восстановление фрагментов включено для всех соединений. Однако вы можете отключить эту функциональность для каждого подключения отдельно, если хотите отдать приоритет скорости перезагрузки перед отказоустойчивостью или если ваша рабочая нагрузка не требует восстановления.

Чтобы отключить восстановление чанков для конкретных подключений:

1. В клиенте Qlik Cloud откройте соответствующий коннектор.
2. Найдите раздел Расширенные.
3. Установите для disableDataChunksRecovery (Имя) значение true (Значение)
4. Сохранить изменения.

Вы также можете отключить восстановление чанков с помощью публичного API Direct Access Gateway. Подробные сведения об API см. в Direct Access Gateway REST API.

Мониторинг производительности перезагрузки в 1.7.16

Direct Access Gateway 1.7.16 включает автоматические улучшения производительности для повышения пропускной способности потока перезагрузки. Эти оптимизации включены по умолчанию и не требуют настройки.

Включены следующие улучшения:

• Оптимизация пула потоков: Улучшенное управление пулом потоков снижает накладные расходы и повышает эффективность использования ресурсов при перезагрузках в условиях высокой конкурентности.

• Улучшения протокола WebSocket: улучшенная обработка WebSocket между Direct Access Gateway и Qlik Cloud снижает задержку и повышает пропускную способность.

• Адаптивное регулирование темпа: динамические алгоритмы регулирования темпа корректируют скорость передачи данных в зависимости от состояния сети и глубины очереди, предотвращая возникновение перегрузок и тайм-аутов.

Чтобы проверить улучшения производительности, отслеживайте время перезагрузки и журналы в вашей среде. Вы должны заметить сокращение времени перезагрузки по сравнению с предыдущими версиями. Если вы столкнулись с неожиданным поведением или снижением производительности, обратитесь в поддержку Qlik.

Дополнительные настройки коннектора ODBC (через Direct Access Gateway)

При использовании коннектора ODBC (через Direct Access Gateway) можно ограничить использование определенных DSN и драйверов, а также переопределить сопоставления типов данных по умолчанию.

Разрешение только определенных DSN

По соображениям безопасности или администрирования вы можете захотеть ограничить использование определенных DSN.

Для этого

1. Выберите ODBC из списка коннекторов и прокрутите вниз до раздела DSNs.

2. Включите только те DSN, которые вы хотите разрешить.

   В диалоговом окне коннектора ODBC (через Direct Access Gateway) , когда выбрано Системное DSN, только разрешенные DSN появятся в раскрывающемся списке источников ODBC.

3. Перезапустите службу Шлюз данных Qlik — прямой доступ.

Разрешение только определенных драйверов

По соображениям безопасности или администрирования вы можете захотеть ограничить использование определенных драйверов.

Для этого

1. Выберите ODBC из списка коннекторов и прокрутите вниз до раздела Драйверы.
2. Включите только те драйверы, которые вы хотите разрешить.

3. Перезапустите службу Шлюз данных Qlik — прямой доступ.

   В диалоговом окне коннектора ODBC (через Direct Access Gateway) , когда выбран драйвер ODBC, в раскрывающемся списке источника ODBC появятся только разрешенные драйверы.

Переопределение сопоставлений типов данных Qlik Cloud по умолчанию

Иногда проблемы с обработкой типов исходных данных драйвером ODBC поставщика приводят к тому, что во время перезагрузки возникает ошибка или неправильные данные загружаются в Qlik Cloud. В таких случаях можно переопределить сопоставление по умолчанию между типом исходных данных и типом данных Qlik Cloud.

Для этого

1. Выберите ODBC из списка коннекторов и прокрутите вниз до раздела Драйверы.
2. Найдите свой драйвер и нажмите в конце строки, чтобы развернуть раздел.

3. Нажмите Добавить сопоставление типов данных.

   Будут отображены следующие столбцы (свойства):

   • Тип исходных данных: Тип исходных данных.

   • Тип данных Qlik Cloud: Тип данных в Qlik Cloud, с которым будет сопоставлен исходный тип данных.

   • Размер: Размер (Πрецизионность ) сопоставленного типа данных в Qlik Cloud.

   • IsBit: Указывает, является ли сопоставленный тип данных битовым (хранит значения 1 или 0).

4. Задайте каждое из свойств и сохраните свои настройки.

   Сопоставление будет сохранено, как в следующем примере:

   Тип исходных данных	Тип данных Qlik Cloud	Размер	IsBit
   Метка времени с часовым поясом	Дата и время	27	ложь

5. Перезапустите службу Шлюз данных Qlik — прямой доступ.
6. Загрузите данные.

Редактирование и удаление сопоставлений

Редактирование сопоставления

• Нажмите на в конце строки и при необходимости отредактируйте столбцы.

Чтобы удалить сопоставление

• Нажмите кнопку в конце строки.

Перезапуск Direct Access Gateway после изменения параметров

Некоторые параметры будут применены только после перезапуска службы Direct Access Gateway. В этом случае после сохранения параметров будет предложено перезапустить службу. Если идут активные перезагрузки, службу можно будет перезапустить только после их завершения. Если нет активных перезагрузок, службу можно перезапустить в любое время, как описано ниже.

1. В клиенте Qlik Cloud перейдите в меню Администрирование > Шлюзы данных и найдите Direct Access Gateway.

2. Нажмите кнопку в конце строки и выберите Перезапустить службу (Restart service).

Перезапустить службу также можно непосредственно на компьютере Direct Access Gateway, как описано в разделе Запуск, остановка или перезапуск службы.

Настройка Direct Access Gateway непосредственно на компьютере Direct Access Gateway

Хотя большинство параметров Direct Access Gateway можно настроить в Qlik Cloud, некоторые параметры можно изменить только путем редактирования файлов конфигурации непосредственно на компьютере Direct Access Gateway.

Переопределение каталога кэша блоков по умолчанию

Для каждой операции перезагрузки Direct Access Gateway может кэшировать блоки данных в памяти и выгружать их на диск (при превышении размера, выделенного для кэширования). Можно переопределить каталог кэша блоков по умолчанию(C:\ProgramData\Qlik\Gateway\tmp), если на системном диске недостаточно места.

Действие:

1. С помощью текстового редактора откройте следующий файл от имени администратора. Если для этого используется Проводник Windows, убедитесь, что установлен флажок Показывать > Скрытые элементы.

   • Windows Установка сервера:

     C:\ProgramData\Qlik\Gateway\configuration.properties

   • Контейнерная установка:

     /usr/share/Qlik/Gateway/configuration.properties

2. Найдите свойство OVERRIDE_CHUNKS_CACHE_DIR и задайте в нем каталог по своему выбору.

   Пример:

   OVERRIDE_CHUNKS_CACHE_DIR=C:\tmp

   Примечание к информацииНе заключайте путь в кавычки.
3. Сохраните файл configuration.properties.

4. Выполните одно из следующих действий в зависимости от рабочего процесса установки:

   • Windows Установка сервера:

     ПереЗапустите сервис Шлюз данных Qlik — прямой доступ, как описано в разделе Конфигурация и устранение неполадок Шлюз данных Qlik — прямой доступ.

   • Контейнерная установка:

     Перезапустите контейнер direct-access-agent.

См. также: Память для кэшированных блоков данных

Принудительное восстановление подключения Direct Access Gateway к Qlik Cloud

По умолчанию, если Direct Access Gateway отсоединяется от Qlik Cloud, подключение должно восстановиться через 45 секунд. Если вы замечаете, что для переподключения требуется значительно больше времени, можно принудительно восстановить подключение шлюза.

Действие:

1. С помощью текстового редактора откройте следующий файл от имени администратора. Если для этого используется Проводник Windows, убедитесь, что установлен флажок Показывать > Скрытые элементы. Этот файл содержит пример сопоставления источника с типами данных Qlik Cloud.

   • Windows Установка сервера:

     C:\ProgramData\Qlik\Gateway\configuration.properties

   • Контейнерная установка:

     /usr/share/Qlik/Gateway/configuration.properties

2. Добавьте AGENT_PONG_TIMEOUT_SECONDS=<time-in-seconds> в раздел # Connector Agent в начале файла.

   Пример:

   AGENT_PONG_TIMEOUT_SECONDS=30

   Примечание к информацииМинимальное время составляет 30 секунд.
3. Сохраните файл configuration.properties.

4. Выполните одно из следующих действий в зависимости от рабочего процесса установки:

   • Windows Установка сервера:

     ПереЗапустите сервис Шлюз данных Qlik — прямой доступ, как описано в разделе Конфигурация и устранение неполадок Шлюз данных Qlik — прямой доступ.

   • Контейнерная установка:

     Перезапустите контейнер direct-access-agent.

Асинхронное выполнение запросов на загрузку данных

Асинхронное выполнение запроса на загрузку данных в агенте значительно сокращает время ожидания облачным сервисом ответов от агента.

Чтобы активировать асинхронные запросы на загрузку данных:

1. С помощью текстового редактора откройте следующий файл от имени администратора. Если для этого используется Проводник Windows, убедитесь, что установлен флажок Показывать > Скрытые элементы.

   • Windows Установка сервера:

     C:\ProgramData\Qlik\Gateway\configuration.properties

   • Контейнерная установка:

     /usr/share/Qlik/Gateway/configuration.properties

2. Добавьте следующую строку в файл, если ее еще нет:

   OPTIONAL_CAPABILITIES=AsyncLoadDataRequest

   Если OPTIONAL_CAPABILITIES= уже есть с другим параметром (AsyncLoadSlotRequest, например), просто добавьте нужный параметр к существующему, разделив их запятой без пробела.

   Пример:

   OPTIONAL_CAPABILITIES=AsyncLoadSlotRequest,AsyncLoadDataRequest

3. Сохраните файл configuration.properties.

4. Только для контейнеризированных установок: перезапустите контейнер direct-access-agent.

Чтобы отключить асинхронные запросы на загрузку данных:

1. С помощью текстового редактора откройте следующий файл от имени администратора. Если для этого используется Проводник Windows, убедитесь, что установлен флажок Показывать > Скрытые элементы.

   • Windows Установка сервера:

     C:\ProgramData\Qlik\Gateway\configuration.properties

   • Контейнерная установка:

     /usr/share/Qlik/Gateway/configuration.properties

2. Введите OPTIONAL_CAPABILITIES=None или просто удалите AsyncLoadDataRequest, если есть другие параметры OPTIONAL_CAPABILITIES.

3. Сохраните файл configuration.properties.

4. Только для контейнеризированных установок: перезапустите контейнер direct-access-agent.

Запрос слотов загрузки в асинхронном режиме

Запрос слотов в асинхронном режиме снижает временную перегрузку командного канала к шлюзу Direct Access Gateway во время создания WebSocket-подключения к Qlik Cloud. Это может быть эффективно, когда параллельно выполняется большое количество перезагрузок.

Чтобы активировать запросы слотов на загрузку данных в асинхронном режиме:

1. С помощью текстового редактора откройте следующий файл от имени администратора. Если для этого используется Проводник Windows, убедитесь, что установлен флажок Показывать > Скрытые элементы.

   • Windows Установка сервера:

     C:\ProgramData\Qlik\Gateway\configuration.properties

   • Контейнерная установка:

     /usr/share/Qlik/Gateway/configuration.properties

2. Добавьте следующую строку в файл, если ее еще нет:

   OPTIONAL_CAPABILITIES=AsyncLoadSlotRequest

   Если OPTIONAL_CAPABILITIES= уже есть с другим параметром (AsyncLoadDataRequest, например), просто добавьте нужный параметр к существующему, разделив их запятой без пробела.

   Пример:

   OPTIONAL_CAPABILITIES=AsyncLoadDataRequest,AsyncLoadSlotRequest

3. Сохраните файл configuration.properties.

Чтобы отключить запросы слотов на загрузку данных в асинхронном режиме:

1. С помощью текстового редактора откройте следующий файл от имени администратора. Если для этого используется Проводник Windows, убедитесь, что установлен флажок Показывать > Скрытые элементы.

   • Windows Установка сервера:

     C:\ProgramData\Qlik\Gateway\configuration.properties

   • Контейнерная установка:

     /usr/share/Qlik/Gateway/configuration.properties

2. Введите OPTIONAL_CAPABILITIES=None или просто удалите AsyncLoadSlotRequest, если есть другие параметры OPTIONAL_CAPABILITIES.

3. Сохраните файл configuration.properties.

Настройка запуска коннектора

Можно увеличить значение времени ожидания или число попыток на запуск коннектора. Это может быть эффективно, когда параллельно выполняется большое количество перезагрузок. Чем больше значения этих параметров, тем больше времени и попыток будет у Direct Access Gateway для запуска коннектора. После истечения времени ожидания и достижения максимального числа попыток коннектор завершит работу с ошибкой, требующей перезагрузки.

Чтобы изменить параметры запуска коннектора:

1. С помощью текстового редактора откройте следующий файл от имени администратора. Если для этого используется Проводник Windows, убедитесь, что установлен флажок Показывать > Скрытые элементы.

   • Windows Установка сервера:

     C:\ProgramData\Qlik\Gateway\configuration.properties

   • Контейнерная установка:

     /usr/share/Qlik/Gateway/configuration.properties

2. Добавьте в файл следующую строку:

   # CONNECTOR STARTUP TIMEOUT between 30 and 120 seconds

   CONNECTOR_STARTUP_TIMEOUT_SECONDS=your-value

   # CONNECTOR STARTUP MAX ATTEMPTS between 1 and 5

   CONNECTOR_STARTUP_MAX_ATTEMPTS=your-value

   Примечание к информации Чтобы предотвратить перегрузку командного канала, для настройки этих значений необходимо включить AsyncLoadDataRequest, как описано выше в разделе Запрос слотов загрузки в асинхронном режиме. При отключении AsyncLoadSlotRequest в этих настройках будут использоваться фиксированные значения (30 и 3 соответственно).
3. Сохраните файл configuration.properties.

4. Только для контейнеризированных установок: перезапустите контейнер direct-access-agent.

Переопределение стандартного порта запуска, указанного в механизме изоляции процесса

Если активен механизм изоляции процессов, можно переопределить стандартный порт запуска (49152), через который Direct Access Gateway обменивается данными со всеми изолированными процессами коннектора. Это может быть полезно, когда стандартный порт используется другим процессом.

Действие:

1. В текстовом редакторе откройте файл C:\ProgramData\Qlik\Gateway\configuration.properties от имени администратора. Если для этого используется Проводник Windows, убедитесь, что установлен флажок Показывать > Скрытые элементы.

2. В разделе # Connector Agent файла добавьте следующую строку:

   DATA_PORT_RANGE_START=port-value

   где port-value— порт запуска по умолчанию.

3. Сохраните файл configuration.properties.

4. Выполните одно из следующих действий в зависимости от рабочего процесса установки:

   • Windows Установка сервера:

     ПереЗапустите сервис Шлюз данных Qlik — прямой доступ, как описано в разделе Конфигурация и устранение неполадок Шлюз данных Qlik — прямой доступ.

   • Контейнерная установка:

     Перезапустите контейнер direct-access-agent.

Сборщик метрик

В типичной клиентской среде через Direct Access Gateway в Аналитика Qlik Cloud ежедневно проходят многочисленные перезагрузки данных. Сохраняя в журналах и отслеживая потребление и использование ресурсов, затронутых этими перезагрузками, клиенты смогут соответствующим образом планировать свои перезагрузки.

Новый коллектор метрик (который работает в фоновом режиме на машине Direct Access Gateway) предлагает базовые инструменты для журналирования и мониторинга ресурсов, используемых Direct Access Gateway, коннекторами и операционной системой. Коннектор метрик можно настроить локально в файле JSON или через публичный API.

Настройка сборщика метрик

На Direct Access Gateway компьютере откройте следующий файл и настройте его по мере необходимости:

• Windows Установка сервера:

  <INSTALL_DIR>\ConnectorAgent\MetricsCollector\metricscollectorsettings.json

• Контейнерная установка:

  /usr/runMetricsCollector/metricscollectorsettings.json

Настройка параметров сборщика (MetricsCollectorSettings)

• Enabled: Установите значение true (по умолчанию), чтобы включить сбор метрик, или false, чтобы отключить его.

• BaseScrapeIntervalSeconds: Как часто опрашивать метрики коннектора в секундах. Каждый коннектор имеет собственный интервал опроса.

• Port: Порт, используемый API или коннектором метрик (REST через Direct Access Gateway).

• LocalDataRetentionDays: Данные старше указанного значения будут удалены из локальной базы данных.

• localDataRetentionDatabaseSizeInMb: Общий размер данных метрик для хранения на компьютере шлюза (в МБ). Значение по умолчанию — 500 МБ. Старые данные будут удалены, чтобы не допустить превышения квоты.

  Примечание к информации

  • Требуется Direct Access Gateway 1.7.10 или более поздней версии.

  • Большое количество одновременных перезагрузок может потребовать увеличения значения по умолчанию. Например, клиент с 60 одновременными перезагрузками может потребовать до 1 ГБ.

• DataRetentionCheckIntervalMinutes: Частота проверки срока хранения.

• LocalDatabaseFileLocation: Местоположение локальной базы данных. Это также может быть UNC-путь. Местоположение по умолчанию следующее:

  • Windows Установка сервера:

    C:\ProgramData\Qlik\Gateway\tmp

  • Контейнерная установка:

    /usr/share/Qlik/Gateway/tmp

Настройка параметров коннектора (ConnectorConfigurations)

Для всех Direct Access Gateway коннекторов можно задать интервал опроса метрик (ScrapeIntervalSeconds) и включить (true) или отключить (false) сбор метрик.

Пример файла metricscollectorsettings.json

{
  "MetricsCollectorSettings": {
    "Enabled": true,
    "BaseScrapeIntervalSeconds": 1,
    "Port": 5052,
    "LocalDataRetentionDays": 30,
    "localDataRetentionDatabaseSizeInMb": 500,
    "DataRetentionCheckIntervalMinutes": 60,
    "LocalDatabaseFileLocation": ""
  },
  "ConnectorConfigurations": {
    "OdbcConnector": {
      "MetricsCollectionEnabled": true,
      "ScrapeIntervalSeconds": 30
    },
    "SystemMetrics": {
      "MetricsCollectionEnabled": true,
      "ScrapeIntervalSeconds": 30
    },
    "ConnectorAgent": {
      "MetricsCollectionEnabled": false,
      "ScrapeIntervalSeconds": 30
    },
    "RestConnector": {
      "MetricsCollectionEnabled": false,
      "ScrapeIntervalSeconds": 30
    },
    "SapSqlConnector": {
      "MetricsCollectionEnabled": false,
      "ScrapeIntervalSeconds": 30
    },
    "SapBwConnector": {
      "MetricsCollectionEnabled": false,
      "ScrapeIntervalSeconds": 30
    },
    "SapPackageConnector": {
      "MetricsCollectionEnabled": false,
      "ScrapeIntervalSeconds": 30
    },
    "FileConnector": {
      "MetricsCollectionEnabled": false,
      "ScrapeIntervalSeconds": 30
    }
  }
}

Загрузка метрик

Используйте коннектор REST (через Direct Access Gateway) для сбора метрик с Direct Access Gateway машины.

Действие:

1. В настройках подключения REST (через Direct Access Gateway) включите Разрешить работу с подключением localhost.

   Подробнее см. Создание подключения REST (только английский язык).

2. Добавьте http://localhost:5052/api/metrics в список разрешенных URL-адресов.

   См. Ограничение URL-адресов, к которым Direct Access Gateway имеет доступ через коннектор REST выше.

3. Перезапустите службу Direct Access Gateway.

4. Создайте приложение и загрузите метрики из http://localhost:5052/api/metrics через подключение REST (через Direct Access Gateway).

Поддерживаемые метрики

• Системные метрики:

  • network_bytes_sent_total: Общее количество байтов, переданных через Direct Access Gateway с момента запуска системы

  • network_bytes_received_total: Общее количество байтов, полученных через Direct Access Gateway с момента запуска системы

• Метрики коннектора:

  • process_start_time_seconds: Время, прошедшее с момента запуска процесса, в секундах.

  • process_cpu_seconds_total: Совокупное количество секунд, в течение которых ЦП находился в определенном состоянии

  • process_virtual_memory_bytes: Текущий размер виртуальной памяти, потребляемой процессом, в байтах.

  • process_working_set_bytes: Текущий размер рабочего набора процесса в байтах.

  • process_private_memory_bytes: Текущий размер частной памяти, потребляемой процессом, в байтах.

  • process_num_threads: Количество потоков, используемых процессом.

Просмотр и загрузка файлов журналов

Файлы журнала содержат информацию об операциях Direct Access Gateway. Qlik Служба поддержки может попросить журналы для поиска и устранения неполадок. Можно просматривать или загружать файлы журнала в средстве просмотра журнала. В нормальных обстоятельствах не возникает причин изучать файлы журналов, но если возникают повторяющиеся сбои или другие проблемы, то журналы часто помогают выявить их причину.

Чтобы открыть средство просмотра журнала, выполните следующие действия.

1. В центре активности Администрирование перейдите в раздел Шлюзы данных и найдите Direct Access Gateway.

2. Нажмите кнопку в конце строки и выберите Просмотреть журналы.

   Откроется окно Средство просмотра журнала.

3. В раскрывающемся списке вверху слева выберите тип журнала, который служба поддержки Qlik просит просмотреть или загрузить.

   Доступны следующие журналы:

   • Журналы Direct Access Gateway (DirectAccessAgent)
   • Журналы DCaaS(dcaas_logs)
   • Журналы коннектора на основе ODBC (odbc-connector_logs)
   • Журналы коннектора SAP BW (QvSAPBwConnector-<дата + метка времени>)
   • Журналы коннектора SAP SQL (QvSqlBwConnector-<дата +метка времени>)

   • Журналы агента коннектора (connector-agent_logs_<дата>)

   • Журналы коннектора SAP ODP и SAP Report (QvSapConnectorPackage-<id_процесса>)

   • Журналы коннектора REST (rest-connector_logs_<метка времени>)

   • Журналы коннектора файлов (file-connector_logs_<метка времени>)

   Примечание к информацииНачиная с Direct Access Gateway 1.7.1 события запуска, выхода и перезапуска коннектора будут записываться в файл журнала Direct Access Gateway(DirectAccessAgent). В предыдущих версиях они записывались в файл журнала Журналы агента коннектора (connector-agent_logs_<дата>).

4. В соседнем раскрывающемся списке выберите журнал, который требуется просмотреть или загрузить. Файлы журналов упорядочены от самого нового (текущий активный журнал) до самого старого. Выбрав файл журнала, используйте кнопки и , чтобы переходить в начало или в конец журнала соответственно.

   Примечание к подсказкеФайл журнала не обновляется автоматически в соответствии с последними сообщениями. Для обновления вида нажмите , чтобы перейти в конец журнала, где будут отображаться самые недавние сообщения.

5. Чтобы загрузить файл журнала, нажмите кнопку Загрузить.

   В зависимости от настроек браузера файл будет загружен на компьютер, либо появится запрос сохранить его.

Открытие журналов Direct Access Gateway на компьютере Direct Access Gateway

Помимо возможности загружать журналы Direct Access Gateway (DirectAccessAgent) из центра активности Администрирование, их также можно открывать непосредственно на компьютере с Direct Access Gateway.

При установке по умолчанию эти журналы находятся в папке:

C:\Program Files\Qlik\ConnectorAgent\data\logs

• Windows Установка сервера:

  C:\Program Files\Qlik\ConnectorAgent\data\logs

• Контейнерная установка:

  /usr/data/logs

Изменение уровня журнала DirectAccessAgent

Для устранения неполадок может потребоваться изменить уровень ведения журнала для DirectAccessAgent. DirectAccessAgent отвечает за подключение к службам Qlik Cloud. Чтобы просмотреть и изменить уровень детализации журналов DirectAccessAgent, выполните следующие команды из подпапки ConnectorAgent (C:\Program Files\Qlik\ConnectorAgent\ConnectorAgent при установке по умолчанию):

• Для просмотра текущего уровня журнала выполните:

  • Windows Установка сервера:

    connectoragent configuration getloggers

  • Контейнерная установка:

    dotnet ConnectorAgent.dll configuration getloggers

• Чтобы перейти на уровень журнала «Отслеживание», выполните:

  • Windows Установка сервера:

    connectoragent configuration setloggers -l Root -v DEBUG

  • Контейнерная установка:

    dotnet ConnectorAgent.dll configuration setloggers -l Root -v DEBUG

• Чтобы перейти на уровень журнала «Подробно«, выполните:

  • Windows Установка сервера:

    connectoragent configuration setloggers -l Root –v DETAILED_DEBUG

  • Контейнерная установка:

    dotnet ConnectorAgent.dll configuration setloggers -l Root –v DETAILED_DEBUG

Дополнительные параметры ведения журнала см. ниже в разделе «Настройка Direct Access Gateway» в Qlik Cloud.

Обновление регистрационного ключа

Изменение регистрационного ключа может потребоваться в маловероятном случае, когда ключ оказывается поврежденным или есть подозрение, что к серверу шлюза данных получил доступ неавторизованный пользователь.

Чтобы обновить регистрационный ключ, выполните следующие действия.

1. Выполните одно из следующих действий в зависимости от процесса установки:

   • Windows Установка сервера:

     На сервере шлюза прямого доступа откройте командную строку от имени администратора и измените рабочий каталог на вложенную папку ConnectorAgent (C:\Program Files\Qlik\ConnectorAgent\ConnectorAgent при установке по умолчанию).

   • Контейнерная установка:

     Откройте консоль внутри контейнера direct-access-agent.

2. Выполните следующую команду:

   • Создайте новый ключ:

     • Windows Установка сервера:

       connectoragent qcs generate_keys

     • Контейнерная установка:

       dotnet ConnectorAgent.dll qcs generate_keys

   • Отобразите ключ:

     • Windows Установка сервера:

       connectoragent qcs get_registration

     • Контейнерная установка:

       dotnet ConnectorAgent.dll qcs get_registration

     Ключ отображается:

     

3. Скопируйте ключ полностью, как показано в примере выше.

4. В центре активности Администрирование откройте настройки шлюза данных, нажав кнопку в конце соответствующей строки и выбрав Изменить.

5. Вставьте ключ в поле Ключ (заменяя текущий ключ) и сохраните настройки.

6. Вернитесь на сервер Direct Access gateway и выполните одно из следующих действий в зависимости от процесса установки:

   • Windows Установка сервера:

     ПереЗапустите сервис Шлюз данных Qlik — прямой доступ, как описано в разделе Конфигурация и устранение неполадок Шлюз данных Qlik — прямой доступ.

   • Контейнерная установка:

     Перезапустите контейнер direct-access-agent.