Configuration et résolution des problèmes de Qlik Data Gateway - Direct Access

Cette rubrique décrit plusieurs actions à entreprendre pour configurer et résoudre les problèmes rencontrés par Direct Access gateway.

Configuration de Direct Access gateway à partir de votre client Qlik Cloud

Même si les paramètres par défaut Direct Access gateway conviennent à la plupart des environnements, vous pouvez écraser les valeurs par défaut pour améliorer les performances, résoudre un problème (via les paramètres de journalisation) ou surmonter différents problèmes de connectivité.

Pour pouvoir modifier les paramètres dans Qlik Cloud, vous devez disposer de l'une des autorisations suivantes :

• Administrateur de clients et propriétaire de l'espace de la passerelle

• Membre du client titulaire de l'autorisation Peut consommer des données dans l'espace de la passerelle

Pour ouvrir les paramètres de la passerelle :

1. Dans votre client Qlik Cloud, accédez à Administration > Passerelles de données et localisez votre Direct Access gateway.

2. Cliquez sur à la fin de la ligne et sélectionnez Paramètres de la passerelle.

   La boîte de dialogue Paramètres de la passerelle pour <nom> s'ouvre.

   Les paramètres sont divisés en paramètres généraux (ci-dessous) et en Paramètres de connecteur. Notez que la modification des paramètres peut également nécessiter le redémarrage du service Direct Access gateway.

Paramètres généraux

Ces paramètres concernent la fonctionnalité générale de Direct Access gateway, quel que soit le connecteur que vous utilisez.

ID de l'agent

ID de l'agent à utiliser avec l'API publique Direct Access gateway.

Port de l'agent du connecteur

Port à utiliser lors de la connexion à l'agent du connecteur. Ce paramètre ne peut pas être modifié.

Seuil d'échec de l'intégrité de l'agent du connecteur

Des contrôles d'intégrité périodiques sont effectués sur les composants Direct Access gateway. Les contrôles d'intégrité peuvent échouer d'abord et se terminer correctement. Si les contrôles d'intégrité continuent à échouer après le seuil spécifié, le service Direct Access gateway redémarre. Vous ne devez modifier ce paramètre qu'à la demande du Support Qlik.

Expiration de la requête de chargement

En cas d'interruptions de réseau, il se peut que les chargements échouent avec les erreurs suivantes :

Connector error: The session does not exist (DirectAccess-1509)

Connector error: The stream session expired for the load data request (DirectAccess-1012)

Si vous rencontrez souvent les erreurs ci-dessus, essayez de définir le délai d'expiration sur 5-10 minutes.

Niveau de log de l'agent du connecteur.

À des fins de dépannage, vous devrez peut-être modifier le niveau de journalisation des composants de l'agent du connecteur. Vous ne devez modifier ce paramètre qu'à la demande du Support Qlik.

Option de log de l'agent du connecteur

Pour résoudre les problèmes liés à un composant spécifique de l'agent du connecteur, vous devrez peut-être sélectionner le fichier journal correspondant. Vous ne devez modifier ce paramètre qu'à la demande du Support Qlik.

Mémoire pour les blocs de données en cache

Pour chaque opération de chargement, Direct Access gateway peut mettre en cache des blocs de données en mémoire et les décharger sur le disque (lorsque la taille allouée à la mise en cache est dépassée). Cela s'avère particulièrement utile si vous n'utilisez pas la récupération automatique et si vous rencontrez régulièrement des erreurs 4025, 4020 et 4021. Lorsque le seuil spécifié est atteint, la passerelle décharge les blocs chiffrés suivants sur le disque du poste Direct Access gateway.

Seuil de la durée de récupération des blocs

Il s'agit du seuil (en minutes) pour la durée de récupération des blocs. Si le chargement n'a pas repris au moment où le seuil de la durée de récupération est atteint, il échoue en affichant un message approprié.

Cette option est utile pour les chargements qui, sinon, pourraient dépasser la limite de trois heures, suite à une longue récupération. Par exemple, supposons qu'il faille 90 minutes pour récupérer les données de la base de données, mais que dès le début du chargement, l'un des blocs soit corrompu. Dans ce cas, tous les blocs seront stockés dans le cache et envoyés du cache. Dans un tel scénario, l'ensemble du processus de chargement (stockage dans le cache + chargement proprement dit) pourrait prendre trois heures.

Port DCaaS

Port utilisé lors de la connexion à DCaaS. Ce paramètre ne peut pas être modifié.

Niveau de log DCaaS

À des fins de dépannage, vous devrez peut-être modifier le niveau de journalisation des journaux DCaaS. Vous ne devez modifier ce paramètre qu'à la demande du Support Qlik.

Paramètres de connecteur

Pour modifier les paramètres de connecteur, sélectionnez le type de connecteur à gauche, puis modifiez les paramètres selon les besoins.

Port

Port à utiliser lors de la connexion à la source de données. Ce paramètre ne peut pas être modifié.

Niveau de log

À des fins de dépannage, vous devrez peut-être modifier le niveau de journalisation des journaux du connecteur. Vous ne devez modifier ce paramètre qu'à la demande du Support Qlik.

Isolement des processus

L'isolation de processus permet aux administrateurs disposant d'un accès au système d'exploitation du serveur Direct Access gateway de contrôler le nombre de processus disponibles pour les chargements par type de connecteur. La diffusion des chargements sur plusieurs processus de connecteur augmente le niveau d'isolement en réduisant le nombre de chargements exécutés simultanément sur chaque processus de connecteur. Cette opération, à son tour, améliore la stabilité générale de Direct Access gateway en cas de plantage de certains connecteurs.

Dans le cas d'une nouvelle installation, l'isolation de processus est activée par défaut. Le nombre par défaut de chargements simultanés pour chaque type de connecteur est de 9. Vous pouvez modifier la valeur par défaut comme indiqué à la section Nombre de processus de chargement simultanés ci-dessous.

Désactivation de l'isolement de processus

Le Support Qlik peut vous demander de désactiver l'isolation de processus à des fins de dépannage.

Pour désactiver l'isolation de processus, sélectionnez Désactivé.

Nombre de processus de chargement simultanés

Nombre de processus de chargement simultanés alloués au connecteur, y compris le processus de commande. Par exemple, une valeur 30 signifie un maximum de 29 chargements simultanés. Notez que ce paramètre n'est pertinent que lorsque l'isolation de processus est activée.

Durée de vie d'une session de chargement

Si la connexion entre Direct Access gateway et Qlik Cloud est inactive pendant au moins 20 secondes, l'opération de chargement peut parfois échouer en affichant l'erreur suivante :

Invalid object name '#<TempTableName>' (indicating that the Direct Access gateway temp tables are unavailable).

La durée de vie par défaut d'une session est de 20 secondes, mais, si vous rencontrez souvent cette erreur, vous pouvez prolonger la durée de vie de la session selon les besoins.

Nombre maximal de tables à décharger

Par défaut, 10 000 tables maximum sont extraites de la base de données. Vous pouvez écraser la valeur par défaut lorsque votre base de données contient plus de 10 000 tables.

Redémarrage de Direct Access gateway après modification des paramètres

Certains paramètres ne seront appliqués qu'après le redémarrage du service Direct Access gateway. Dans ce cas, vous serez invité à redémarrer le service lorsque vous enregistrerez vos paramètres. En cas de chargements actifs, vous ne pourrez pas redémarrer le service tant qu'ils ne seront pas terminés. En l'absence de chargements actifs, vous pouvez redémarrer le service à tout moment comme suit :

1. Dans votre client Qlik Cloud, accédez à Administration > Passerelles de données et localisez votre Direct Access gateway.

2. Cliquez sur à la fin de la ligne et sélectionnez Redémarrer le service.

Vous pouvez également redémarrer le service directement sur le poste Direct Access gateway, comme décrit dans la section Démarrage, arrêt ou redémarrage du service.

Configuration de Direct Access gateway directement sur le poste Direct Access gateway

Même si la plupart des paramètres de Direct Access gateway peuvent être configurés dans Qlik Cloud, certains paramètres ne peuvent être changés qu'en modifiant les fichiers de configuration directement sur le poste Direct Access gateway.

Remplacement du répertoire de cache de blocs par défaut

Pour chaque opération de chargement, Direct Access gateway peut mettre en cache des blocs de données en mémoire et les décharger sur le disque (lorsque la taille allouée à la mise en cache est dépassée). Vous pouvez remplacer le répertoire de cache de blocs par défaut (C:\ProgramData\Qlik\Gateway\tmp) si vous ne disposez pas de suffisamment d'espace disque sur le lecteur système.

Pour effectuer cette action :

1. À l'aide d'un éditeur de texte, ouvrez C:\ProgramData\Qlik\Gateway\configuration.properties en tant qu'administrateur. Si vous le faites via Windows Explorer, assurez-vous que l'option Afficher >Éléments masqués est sélectionnée.

2. Localisez la propriété OVERRIDE_CHUNKS_CACHE_DIR et définissez-la sur le répertoire de votre choix.

   Exemple :

   OVERRIDE_CHUNKS_CACHE_DIR=C:\tmp

   Note InformationsNe placez pas le chemin d'accès entre guillemets.
3. Enregistrez le fichier configuration.properties et redémarrez le service Qlik Data Gateway - Direct Access.

Consultez aussi : Mémoire pour les blocs de données en cache

Remplacement du type de données Qlik Cloud par défaut lors de l'utilisation du connecteur ODBC (via Direct Access gateway)

Parfois, en raison d'un problème lié à la gestion des types de données sources par le pilote ODBC du fournisseur, une erreur se produit lors du chargement ou des données incorrectes sont chargées sur Qlik Cloud. Dans ce cas, vous pouvez remplacer le type de données Qlik Cloud ou sa spécification (échelle ou précision, par exemple).

Pour effectuer cette action :

1. À l'aide d'un éditeur de texte, ouvrez C:\ProgramData\Qlik\Gateway\custom_type_mappings.json en tant qu'administrateur. Si vous le faites via Windows Explorer, assurez-vous que l'option Afficher >Éléments masqués est sélectionnée. Ce fichier contient un exemple de source mappé vers des types de données Qlik Cloud.

2. Ajoutez une section qui mappe le type de données problématique au type de données Qlik Cloud souhaité.

   Dans l'exemple suivant (qui est inclus dans le fichier custom_type_mappings.json), le client doit remplacer la taille du type de données Qlik Cloud DateTime par 27.

    

3. Enregistrez le fichier custom_type_mappings.json et redémarrez le service Qlik Data Gateway - Direct Access.
4. Rechargez les données.

Forcer Direct Access gateway à se reconnecter à Qlik Cloud

Par défaut, si Direct Access gateway se déconnecte de Qlik Cloud, il doit se reconnecter au bout de 45 secondes. Si vous notez que cela prend beaucoup plus de temps, vous pouvez forcer la passerelle à se reconnecter plus tôt.

Pour effectuer cette action :

1. À l'aide d'un éditeur de texte, ouvrez C:\ProgramData\Qlik\Gateway\configuration.properties en tant qu'administrateur. Si vous le faites via Windows Explorer, assurez-vous que l'option Afficher >Éléments masqués est sélectionnée. Ce fichier contient un exemple de source mappé vers des types de données Qlik Cloud.

2. Ajoutez AGENT_PONG_TIMEOUT_SECONDS=<time-in-seconds> à la section # Connector Agent au début du fichier.

    

   Exemple :

   {
   "Identifier": "Amazon Athena ODBC (x64)",
   "NativeDataType": "timestamp with time zone",
   "QlikDataType": "DateTime",
   "Size": 27,
   "IsBit": false
   }

   AGENT_PONG_TIMEOUT_SECONDS=30

   Note InformationsLa durée minimale est de 30 secondes.
3. Enregistrez le fichier configuration.properties et redémarrez le service Qlik Data Gateway - Direct Access.

Exécution asynchrone de requêtes Charger les données

L'exécution asynchrone de requêtes Charger les données sur l'agent réduit considérablement le temps pendant lequel le service cloud doit attendre les réponses de l'agent.

Pour activer les requêtes Charger les données asynchrones :

1. À l'aide d'un éditeur de texte, ouvrez C:\ProgramData\Qlik\Gateway\configuration.properties en tant qu'administrateur. Si vous le faites via Windows Explorer, assurez-vous que l'option Afficher >Éléments masqués est sélectionnée.

2. Ajoutez la ligne suivante au fichier :

   OPTIONAL_CAPABILITIES=AsyncLoadDataRequest

3. Enregistrez le fichier configuration.properties.

Pour désactiver les requêtes Charger les données asynchrones :

1. À l'aide d'un éditeur de texte, ouvrez C:\ProgramData\Qlik\Gateway\configuration.properties en tant qu'administrateur. Si vous le faites via Windows Explorer, assurez-vous que l'option Afficher >Éléments masqués est sélectionnée.

2. Remplacez AsyncLoadDataRequest par None comme suit :

   OPTIONAL_CAPABILITIES=None

3. Enregistrez le fichier configuration.properties.

Autorisation des connexions à localhost à l'aide du connecteur REST (via Direct Access gateway)

Vous pouvez autoriser le connecteur REST (via Direct Access gateway) à se connecter à localhost. Cela facilite l'utilisation de points de terminaison REST locaux (au serveur de passerelle), comme le point de terminaison connector-agent/ status pour déterminer le nombre actif de charges sur un agent.

1. À l'aide d'un éditeur de texte, ouvrez C:\ProgramData\Qlik\Gateway\configuration.properties en tant qu'administrateur. Si vous le faites via Windows Explorer, assurez-vous que l'option Afficher >Éléments masqués est sélectionnée.

2. Définissez REST_ALLOW_LOCALHOST_CONNECTION=true (définissez cette valeur sur false pour désactiver cette fonctionnalité).

3. Enregistrez le fichier configuration.properties.

Augmentation du détail des messages d'erreur lors de la connexion à des sources de données ODBC

Pour des raisons de sécurité, le message d'erreur par défaut renvoyé par le pilote ODBC contient un minimum d'informations. Toutefois, dans certains cas, vous pourriez avoir besoin de plus d'informations pour résoudre un problème spécifique. Pour obtenir un message d'erreur plus détaillé, ajoutez la propriété ShowErrorDetailMessage à la section Avancé de la boîte de dialogue du connecteur et définissez-la sur True. Une fois le problème résolu, pour une sécurité optimale, il est vivement recommandé de supprimer la propriété ou de la définir sur False.

Affichage et téléchargement de fichiers journaux

Les fichiers journaux fournissent des informations sur les opérations Direct Access gateway. Qlik Support peut vous demander de fournir des fichiers journaux à des fins de dépannage. Vous pouvez afficher ou télécharger les fichiers journaux dans la visionneuse du journal. Dans des circonstances normales, il n'y a pas de raison d'examiner les fichiers journaux ; mais si vous rencontrez des échecs répétés ou d'autres problèmes, les fichiers journaux permettront généralement de repérer la cause.

Pour ouvrir la visionneuse du journal :

1. Dans le centre d'activités Administration, accédez à Passerelles de données et repérez votre Direct Access gateway.

2. Cliquez sur à la fin de la ligne et sélectionnez Afficher les journaux.

   La fenêtre Visionneuse du journal s'ouvre.

3. Dans la liste déroulante dans le coin supérieur gauche, sélectionnez le type de journal que Qlik Support vous a demandé d'afficher ou de télécharger.

   Les journaux suivants sont disponibles :

   • Journaux Direct Access gateway (DirectAccessAgent)
   • Journaux DCaaS(dcaas_logs)
   • Journaux de connecteur basé sur ODBC (odbc-connector_logs)
   • Journaux de connecteur SAP BW (QvSAPBwConnector-<date + horodatage>)
   • Journaux de connecteur SAP SQL (QvSqlBwConnector-<date + horodatage>)

   • Journaux d'agent de connecteurs (connector-agent_logs_<date>)

   • Journaux de connecteur SAP ODP (QvSapConnectorPackage-<id_de_processus>)

   • Journaux de connecteur REST (rest-connector_logs_<horodatage>)

   • Journaux de connecteur File (file-connector_logs_<horodatage>)

   Note InformationsÀ partir de Direct Access gateway 1.7.1, les événements de démarrage, de sortie et de redémarrage du connecteur seront écrits dans le fichier journal Direct Access gateway(DirectAccessAgent). Dans les versions précédentes, ils étaient écrits dans le fichier journal Connector agent logs (connector-agent_logs_<date>).

4. Dans la liste déroulante adjacente, sélectionnez le journal à afficher ou télécharger. Les fichiers journaux sont triés du plus récent (le fichier journal actuellement actif) au plus ancien. Après avoir sélectionné un fichier journal, vous pouvez utiliser les boutons et pour passer au début ou à la fin du fichier journal, respectivement.

   Note ConseilLa vue du fichier journal n'est pas mis à jour automatiquement avec les messages les plus récents. Pour mettre la vue à jour, cliquez sur pour passer à la fin du fichier journal, qui sera actualisé à l'aide des messages les plus récents.

5. Pour télécharger le fichier journal, cliquez sur Télécharger.

   Suivant les paramètres de votre navigateur, le fichier est téléchargé sur votre ordinateur ou vous serez invité à l'enregistrer.

Ouverture des journaux Direct Access gateway sur le poste Direct Access gateway

Outre le fait de pouvoir télécharger les journaux Direct Access gateway (DirectAccessAgent) depuis le centre d'activités Administration, vous pouvez également les ouvrir directement depuis le poste Direct Access gateway. Avec une installation par défaut, ces journaux sont placés dans :

C:\Program Files\Qlik\ConnectorAgent\data\logs

Modification du niveau de journalisation DirectAccessAgent

À des fins de dépannage, vous devrez peut-être modifier le niveau de journalisation des journaux DirectAccessAgent. DirectAccessAgent est responsable de la connexion aux services Qlik Cloud. Pour afficher et modifier le niveau de détail de journalisation des journaux DirectAccessAgent, exécutez les commandes suivantes depuis le sous-dossier ConnectorAgent (C:\Program Files\Qlik\ConnectorAgent\ConnectorAgent avec une installation par défaut) :

• Pour afficher le niveau de journalisation existant, exécutez :

  connectoragent configuration getloggers

• Pour définir le niveau de journalisation sur Trace, exécutez :

  connectoragent configuration setloggers -l Root -v DEBUG

• Pour définir le niveau de journalisation sur Verbose, exécutez :

  connectoragent configuration setloggers -l Root –v DETAILED_DEBUG

Pour connaître les options de journalisation supplémentaires, consultez la section Configuration de Direct Access gateway dans Qlik Cloud ci-dessous.

Mise à jour de la clé d'inscription

Il peut être nécessaire de modifier la clé d'inscription en cas de corruption éventuelle de la clé ou si vous pensez qu'un utilisateur non autorisé a accédé au serveur de passerelles de données.

Pour mettre la clé d'inscription à jour :

1. Sur le serveur de la passerelle Accès direct, ouvrez une invite de commande en tant qu'administrateur et définissez le répertoire de travail sur le sous-dossier ConnectorAgent (C:\Program Files\Qlik\ConnectorAgent\ConnectorAgent avec une installation par défaut).

2. Exécutez les commandes suivantes :

   • Générez la nouvelle clé :

     connectoragent qcs generate_keys

   • Affichez la clé :

     connectoragent qcs get_registration

     La clé s'affiche :

     

3. Copiez la clé complète, comme indiqué dans l'exemple ci-dessus.

4. Dans le centre d'activités Administration, ouvrez les paramètres de la passerelle de données en cliquant sur le bouton à la fin de la ligne correspondante et en sélectionnant Modifier.

5. Collez la clé dans le champ Clé (en remplaçant la clé existante) et enregistrez les paramètres.

6. Revenez au serveur de la passerelle Accès direct et redémarrez le service Qlik Data Gateway - Direct Access, comme décrit dans Gestion du service Qlik Data Gateway - Direct Access.