Конфигурация и устранение неполадок Qlik Data Gateway — Direct Access

В этой теме описаны различные способы конфигурации и устранения неполадок Direct Access Gateway.

Настройка Direct Access Gateway в клиенте Qlik Cloud

Хотя параметры Direct Access Gateway по умолчанию подходят для большинства сред, их можно переопределить для повышения производительности, устранения неполадок (с помощью параметров ведения журнала) или решения проблем с подключением.

Для редактирования параметров в Qlik Cloud необходимо иметь одно из следующих разрешений:

• администратор клиента и владелец пространства шлюза;

• участник клиента с разрешением Может использовать данные в пространстве шлюза.

Чтобы открыть параметры шлюза:

1. В клиенте Qlik Cloud перейдите в меню Администрирование > Шлюзы данных и найдите Direct Access Gateway.

2. Нажмите кнопку в конце строки и выберите Настройки шлюза.

   Откроется диалоговое окно Настройки шлюза для <имя> .

   Параметры делятся на общие (представлены ниже) и параметры коннекторов. Обратите внимание: для изменения параметров может также понадобиться перезапустить службу Direct Access Gateway.

Общие параметры

Эти параметры относятся к общей функциональности Direct Access Gateway, независимо от используемого коннектора.

ID агента

Идентификатор агента для использования с общедоступным API-интерфейсом Direct Access Gateway.

Порт агента коннектора

Порт, который должен использоваться при подключении к агенту коннектора. Этот параметр невозможно изменить.

Порог отказа работоспособности агента коннектора

Компоненты Direct Access Gateway периодически проверяются на работоспособность. Иногда проверки завершаются сбоем при первом запуске, но затем проходят успешно. При превышении заданного порога неудачных проверок служба Direct Access Gateway будет перезапущена. Этот параметр можно изменять только по запросу от службы поддержки Qlik.

Тайм-аут запроса на загрузку

Когда возникают прерывания сетевого подключения, могут возникать следующие ошибки при перезагрузке:

Connector error: The session does not exist (DirectAccess-1509)

Connector error: The stream session expired for the load data request (DirectAccess-1012)

Если часто возникают подобные ошибки, попробуйте продлить тайм-аут на 5–10 минут.

Уровень ведения журнала агента коннектора

Для устранения неполадок может потребоваться изменить уровень ведения журнала для компонентов агента коннектора. Этот параметр можно изменять только по запросу от службы поддержки Qlik.

Параметры ведения журнала агента коннектора

Для устранения неполадок с конкретным компонентом агента коннектора может понадобиться выбрать соответствующий файл журнала. Этот параметр можно изменять только по запросу от службы поддержки Qlik.

Память для кэшированных блоков данных

Для каждой операции перезагрузки Direct Access Gateway может кэшировать блоки данных в памяти и выгружать их на диск (при превышении размера, выделенного для кэширования). Это особенно полезно, если не используется автоматическое восстановление и часто возникают ошибки 4025, 4020 и 4021. При достижении заданного порога шлюз выгружает следующие зашифрованные блоки на диск компьютера Direct Access Gateway.

Порог восстановления блоков

Это порог (в минутах) для продолжительности восстановления блоков. Если перезагрузка не возобновилась к моменту достижения порога продолжительности восстановления, она завершится ошибкой с соответствующим сообщением.

Эта функция полезна для перезагрузок, которые в противном случае могут продолжаться дольше трехчасового предела в рамках длительного восстановления. Например, на извлечение данных из базы данных уходит 90 минут, но когда начинается перезагрузка, один из блоков становится поврежденным. В этом случае все блоки будут храниться в кэше и отправляться из кэша. При таком сценарии весь процесс перезагрузки (сохранение в кэше + собственно перезагрузка) может занять три часа.

Порт DCaaS

Порт, который должен использоваться при подключении к DCaaS. Этот параметр невозможно изменить.

Уровень ведения журнала DCaaS

Для устранения неполадок может потребоваться изменить уровень ведения журнала для DCaaS. Этот параметр можно изменять только по запросу от службы поддержки Qlik.

Параметры коннекторов

Чтобы изменить параметры коннекторов, выберите тип коннектора слева и внесите необходимые изменения.

Порт

Порт, который должен использоваться при подключении к источнику данных. Этот параметр невозможно изменить.

Уровень ведения журнала

Для устранения неполадок может потребоваться изменить уровень ведения журнала для коннектора. Этот параметр можно изменять только по запросу от службы поддержки Qlik.

Изоляция процессов

Изоляция процессов позволяет администраторам, которые имеют доступ к операционной системе сервера Direct Access Gateway, контролировать количество процессов, доступных для перезагрузок по типу коннекторов. Распространение перезагрузок по нескольким процессам коннектора повышает степень изоляции путем уменьшения количества перезагрузок, выполняемых одновременно для каждого процесса коннектора. Это, в свою очередь, улучшает общую стабильность Direct Access Gateway в случаях, когда коннектор неожиданно завершает работу.

По умолчанию при чистой установке изоляция процессов включена. По умолчанию число параллельных перезагрузок для каждого типа коннекторов равно 9. Значение по умолчанию можно переопределить, как описано в разделе Количество параллельных процессов перезагрузки ниже.

Отключение изоляции процессов

Служба поддержки Qlik может попросить вас отключить изоляцию процессов в целях устранения неполадок.

Чтобы выключить изоляцию процессов, выберите Отключено.

Количество параллельных процессов перезагрузки

Количество параллельных процессов перезагрузки, выделенных для коннектора, включая процесс команды. Так, например, значение 30 означает максимум 29 параллельных перезагрузок. Обратите внимание: этот параметр актуален только в том случае, если включена изоляция процессов.

Тайм-аут сеанса перезагрузки

Если подключение между Direct Access Gateway и Qlik Cloud бездействует в течение 20 секунд и больше, операция перезагрузки иногда завершается ошибкой:

Invalid object name '#<TempTableName>' (indicating that the Direct Access Gateway temp tables are unavailable).

По умолчанию тайм-аут сеанса составляет 20 секунд, но если эта ошибка возникает часто, при необходимости его можно увеличить.

Максимальное количество выгружаемых таблиц

По умолчанию из базы данных извлекается не более 10 000 таблиц. Если база данных содержит более 10 000 таблиц, это значение по умолчанию можно переопределить.

Перезапуск Direct Access Gateway после изменения параметров

Некоторые параметры будут применены только после перезапуска службы Direct Access Gateway. В этом случае после сохранения параметров будет предложено перезапустить службу. Если идут активные перезагрузки, службу можно будет перезапустить только после их завершения. Если нет активных перезагрузок, службу можно перезапустить в любое время, как описано ниже.

1. В клиенте Qlik Cloud перейдите в меню Администрирование > Шлюзы данных и найдите Direct Access Gateway.

2. Нажмите кнопку в конце строки и выберите Перезапустить службу (Restart service).

Перезапустить службу также можно непосредственно на компьютере Direct Access Gateway, как описано в разделе Запуск, остановка или перезапуск службы.

Настройка Direct Access Gateway непосредственно на компьютере Direct Access Gateway

Хотя большинство параметров Direct Access Gateway можно настроить в Qlik Cloud, некоторые параметры можно изменить только путем редактирования файлов конфигурации непосредственно на компьютере Direct Access Gateway.

Переопределение каталога кэша блоков по умолчанию

Для каждой операции перезагрузки Direct Access Gateway может кэшировать блоки данных в памяти и выгружать их на диск (при превышении размера, выделенного для кэширования). Можно переопределить каталог кэша блоков по умолчанию(C:\ProgramData\Qlik\Gateway\tmp), если на системном диске недостаточно места.

Порядок действий:

1. В текстовом редакторе откройте файл C:\ProgramData\Qlik\Gateway\configuration.properties от имени администратора. Если для этого используется Проводник Windows, убедитесь, что установлен флажок Показывать > Скрытые элементы.

2. Найдите свойство OVERRIDE_CHUNKS_CACHE_DIR и задайте в нем каталог по своему выбору.

   Пример:

   OVERRIDE_CHUNKS_CACHE_DIR=C:\tmp

   Примечание к информацииНе заключайте путь в кавычки.
3. Сохраните файл configuration.properties и перезапустите службу Qlik Data Gateway — Direct Access.

См. также: Память для кэшированных блоков данных

Переопределение типа данных Qlik Cloud по умолчанию при работе с коннектором ODBC (через Direct Access Gateway)

Иногда проблемы с обработкой типов исходных данных драйвером ODBC поставщика приводят к тому, что во время перезагрузки возникает ошибка или загружаются неправильные данные в Qlik Cloud. В таких случаях можно переопределить тип данных Qlik Cloud или их спецификацию (например, масштаб или точность).

Порядок действий:

1. В текстовом редакторе откройте файл C:\ProgramData\Qlik\Gateway\custom_type_mappings.json от имени администратора. Если для этого используется Проводник Windows, убедитесь, что установлен флажок Показывать > Скрытые элементы. Этот файл содержит пример сопоставления источника с типами данных Qlik Cloud.

2. Добавьте раздел, который сопоставляет проблемный тип данных с желаемым типом данных Qlik Cloud.

   В следующем примере (который включен в файл custom_type_mappings.json) клиенту необходимо изменить размер типа данных Qlik Cloud DateTime на 27.

    

3. Сохраните файл custom_type_mapping.json и перезапустите службу Qlik Data Gateway — Direct Access.
4. Загрузите данные.

Принудительное восстановление подключения Direct Access Gateway к Qlik Cloud

По умолчанию, если Direct Access Gateway отсоединяется от Qlik Cloud, подключение должно восстановиться через 45 секунд. Если вы замечаете, что для переподключения требуется значительно больше времени, можно принудительно восстановить подключение шлюза.

Порядок действий:

1. В текстовом редакторе откройте файл C:\ProgramData\Qlik\Gateway\configuration.properties от имени администратора. Если для этого используется Проводник Windows, убедитесь, что установлен флажок Показывать > Скрытые элементы. Этот файл содержит пример сопоставления источника с типами данных Qlik Cloud.

2. Добавьте AGENT_PONG_TIMEOUT_SECONDS=<time-in-seconds> в раздел # Connector Agent в начале файла.

    

   Пример:

   {
   "Identifier": "Amazon Athena ODBC (x64)",
   "NativeDataType": "timestamp with time zone",
   "QlikDataType": "DateTime",
   "Size": 27,
   "IsBit": false
   }

   AGENT_PONG_TIMEOUT_SECONDS=30

   Примечание к информацииМинимальное время составляет 30 секунд.
3. Сохраните файл configuration.properties и перезапустите службу Qlik Data Gateway — Direct Access.

Асинхронное выполнение запросов на загрузку данных

Асинхронное выполнение запроса на загрузку данных в агенте значительно сокращает время ожидания облачным сервисом ответов от агента.

Включение асинхронных запросов на загрузку данных.

1. В текстовом редакторе откройте файл C:\ProgramData\Qlik\Gateway\configuration.properties от имени администратора. Если для этого используется Проводник Windows, убедитесь, что установлен флажок Показывать > Скрытые элементы.

2. Добавьте в файл следующую строку:

   OPTIONAL_CAPABILITIES=AsyncLoadDataRequest

3. Сохраните файл configuration.properties.

Отключение асинхронных запросов на загрузку данных.

1. В текстовом редакторе откройте файл C:\ProgramData\Qlik\Gateway\configuration.properties от имени администратора. Если для этого используется Проводник Windows, убедитесь, что установлен флажок Показывать > Скрытые элементы.

2. Замените значение AsyncLoadDataRequest значением None как указано далее.

   OPTIONAL_CAPABILITIES=None

3. Сохраните файл configuration.properties.

Разрешение подключений к localhost с помощью коннектора REST (через Direct Access Gateway)

Вы можете разрешить коннектору REST (через Direct Access Gateway) подключаться к localhost. Это упрощает использование локальных (для сервера шлюза) конечных точек REST, таких как конечная точка connector-agent/ status, для определения активного количества нагрузок на агенте.

1. В текстовом редакторе откройте файл C:\ProgramData\Qlik\Gateway\configuration.properties от имени администратора. Если для этого используется Проводник Windows, убедитесь, что установлен флажок Показывать > Скрытые элементы.

2. Установите REST_ALLOW_LOCALHOST_CONNECTION=true (установите значение false, чтобы отключить эту возможность)

3. Сохраните файл configuration.properties.

Увеличение детализации сообщений об ошибках при подключении к источникам данных ODBC

По соображениям безопасности, сообщение об ошибке, по умолчанию возвращаемое драйвером ODBC, содержит минимум информации. Однако в некоторых случаях может понадобиться больше информации для устранения конкретной проблемы. Чтобы получить более подробное сообщение об ошибке, добавьте свойство ShowErrorDetailMessage в раздел Дополнительно в диалоговом окне коннектора и задайте ему значение True. Настоятельно рекомендуется после устранения проблемы либо удалить это свойство, либо установить для него значение False, чтобы обеспечить оптимальную безопасность.

Просмотр и загрузка файлов журналов

Файлы журнала содержат информацию об операциях Direct Access Gateway. Qlik Служба поддержки может попросить журналы для поиска и устранения неполадок. Можно просматривать или загружать файлы журнала в средстве просмотра журнала. В нормальных обстоятельствах не возникает причин изучать файлы журналов, но если возникают повторяющиеся сбои или другие проблемы, то журналы часто помогают выявить их причину.

Чтобы открыть средство просмотра журнала, выполните следующие действия.

1. В центре активности Администрирование перейдите в раздел Шлюзы данных и найдите Direct Access Gateway.

2. Нажмите кнопку в конце строки и выберите Просмотреть журналы.

   Откроется окно Средство просмотра журнала.

3. В раскрывающемся списке вверху слева выберите тип журнала, который служба поддержки Qlik просит просмотреть или загрузить.

   Доступны следующие журналы:

   • Журналы Direct Access Gateway (DirectAccessAgent)
   • Журналы DCaaS(dcaas_logs)
   • Журналы коннектора на основе ODBC (odbc-connector_logs)
   • Журналы коннектора SAP BW (QvSAPBwConnector-<дата + метка времени>)
   • Журналы коннектора SAP SQL (QvSqlBwConnector-<дата +метка времени>)

   • Журналы агента коннектора (connector-agent_logs_<дата>)

   • Журналы коннектораSAP ODP (QvSapConnectorPackage-<ид_процесса>)

   • Журналы коннектора REST (rest-connector_logs_<метка времени>)

   • Журналы коннектора файлов (file-connector_logs_<метка времени>)

   Примечание к информацииНачиная с Direct Access Gateway 1.7.1 события запуска, выхода и перезапуска коннектора будут записываться в файл журнала Direct Access Gateway(DirectAccessAgent). В предыдущих версиях они записывались в файл журнала Журналы агента коннектора (connector-agent_logs_<дата>).

4. В соседнем раскрывающемся списке выберите журнал, который требуется просмотреть или загрузить. Файлы журналов упорядочены от самого нового (текущий активный журнал) до самого старого. Выбрав файл журнала, используйте кнопки и , чтобы переходить в начало или в конец журнала соответственно.

   Примечание к подсказкеФайл журнала не обновляется автоматически в соответствии с последними сообщениями. Для обновления вида нажмите , чтобы перейти в конец журнала, где будут отображаться самые недавние сообщения.

5. Чтобы загрузить файл журнала, нажмите кнопку Загрузить.

   В зависимости от настроек браузера файл будет загружен на компьютер, либо появится запрос сохранить его.

Открытие журналов Direct Access Gateway на компьютере Direct Access Gateway

Помимо возможности загружать журналы Direct Access Gateway (DirectAccessAgent) из центра активности Администрирование, их также можно открывать непосредственно на компьютере с Direct Access Gateway. При установке по умолчанию эти журналы находятся в папке:

C:\Program Files\Qlik\ConnectorAgent\data\logs

Изменение уровня ведения журнала DirectAccessAgent

Для устранения неполадок может потребоваться изменить уровень ведения журнала для DirectAccessAgent. DirectAccessAgent отвечает за подключение к службам Qlik Cloud. Чтобы просмотреть и изменить уровень детализации журналов DirectAccessAgent, выполните следующие команды из подпапки ConnectorAgent (C:\Program Files\Qlik\ConnectorAgent\ConnectorAgent при установке по умолчанию):

• Для просмотра текущего уровня журнала выполните:

  connectoragent configuration getloggers

• Чтобы перейти на уровень журнала «Отслеживание», выполните:

  connectoragent configuration setloggers -l Root -v DEBUG

• Чтобы перейти на уровень журнала «Подробно», выполните:

  connectoragent configuration setloggers -l Root –v DETAILED_DEBUG

Дополнительные параметры ведения журнала см. ниже в разделе «Настройка Direct Access Gateway» в Qlik Cloud.

Обновление регистрационного ключа

Изменение регистрационного ключа может потребоваться в маловероятном случае, когда ключ оказывается поврежденным или есть подозрение, что к серверу шлюза данных получил доступ неавторизованный пользователь.

Чтобы обновить регистрационный ключ, выполните следующие действия.

1. На сервере шлюза прямого доступа откройте командную строку от имени администратора и измените рабочий каталог на вложенную папку ConnectorAgent (C:\Program Files\Qlik\ConnectorAgent\ConnectorAgent при установке по умолчанию).

2. Выполните следующую команду:

   • Создайте новый ключ:

     connectoragent qcs generate_keys

   • Отобразите ключ:

     connectoragent qcs get_registration

     Ключ отображается:

     

3. Скопируйте ключ полностью, как показано в примере выше.

4. В центре активности Администрирование откройте настройки шлюза данных, нажав кнопку в конце соответствующей строки и выбрав Изменить.

5. Вставьте ключ в поле Ключ (заменяя текущий ключ) и сохраните настройки.

6. Вернитесь на сервер шлюза прямого доступа и перезапустите сервис Qlik Data Gateway — Direct Access, как описано в Управление службой Qlik Data Gateway — Direct Access.