Accéder au contenu principal Passer au contenu complémentaire
Ressources Qlik
Chargement de la recherche avec SearchUnify Si vous avez besoin d'aide avec votre produit, contactez le Support Qlik.
Qlik Customer Portal
Chargement de la recherche avec SearchUnify Si vous avez besoin d'aide avec votre produit, contactez le Support Qlik.
Qlik Customer Portal

Snowflake

Vous pouvez utiliser Snowflake comme plateforme de données cible dans un pipeline de données ou une tâche de réplication. Dans un pipeline de données, il est possible d'effectuer différentes opérations ELT sur la plateforme cible, notamment le stockage de données, la transformation de données, la création de datamarts et l'enregistrement de données. Par ailleurs, une tâche de réplication implique la réplication de données directement d'un système de source vers un système cible avec des fonctionnalités de transformation de base, mais sans support des opérations ELT.

La configuration de Snowflake comme cible implique les conditions suivantes :

  • La configuration des Autorisations requises sur la base de données.
  • L'installation du pilote requis. Notez que cela est obligatoire uniquement si vous vous connectez à Snowflake via Passerelle de déplacement des données.
  • Configuration d'une connexion à Snowflake

Définition des propriétés de connexion

Pour configurer le connecteur, procédez comme suit :

  1. Dans Connexions, cliquez sur Créer une connexion.

  2. Sélectionnez le Snowflake connecteur cible et fournissez les paramètres suivants :

Passerelle de déplacement des données

Passerelle de données

Note InformationsCe champ n'est pas disponible avec l'abonnement Démarreur Qlik Talend Cloud, car Passerelle de déplacement des données n'est pas supporté avec ce niveau d'abonnement.

Une Passerelle de déplacement des données est nécessaire uniquement si la base de données cible n'est pas accessible depuis Qlik Cloud et est accessible uniquement via un lien privé (par exemple, si elle est située dans un cloud privé virtuel). Si c'est le cas, sélectionnez la Passerelle de déplacement des données via laquelle vous souhaitez accéder à la base de données cible.

Suivant votre cas d'utilisation, il s'agira soit de la même Passerelle de déplacement des données que celle déployée pour déplacer des données provenant de la source de données, soit d'une autre.

Pour des informations sur les cas d'utilisation de Passerelle de déplacement des données, consultez Quand Passerelle de déplacement des données est-elle obligatoire ? et Cas d'utilisation courants.

Si la base de données cible est directement accessible depuis Qlik Cloud, sélectionnez Aucune.

Note InformationsLors de l'accès à la base de données cible via Passerelle de déplacement des données, vous devez également installer le pilote approprié sur le poste Passerelle de déplacement des données. Pour des informations détaillées, voir la section Configuration du pilote ci-dessous.

Propriétés de connexion

  • Serveur : votre URL pour accéder à Snowflake. Par exemple, moncompte.snowflakecomputing.com.

  • Port : port via lequel vous souhaitez accéder à votre base de données Snowflake. La valeur par défaut est 443.

Authentification

Sélectionnez une méthode d'authentification :

  • Nom d'utilisateur et mot de passe

    Note InformationsLorsque cette méthode est sélectionnée, la méthode de chargement Flux Snowpipe de l'onglet Général des paramètres de tâche n'est pas supportée.

  • Paire de clés

    Votre base de données Snowflake doit être configurée de sorte à pouvoir utiliser l'authentification par paire de clés. La procédure est décrite à la section Configuration de l'authentification par paires de clés.

    Note InformationsSi vous utilisez Passerelle de déplacement des données, la version 2024.5.14 ou une version supérieure est obligatoire pour pouvoir utiliser l'authentification par paire de clés.

Propriétés de compte

Nom d'utilisateur et mot de passe

Nom d'utilisateur et Mot de passe : nom d'utilisateur et mot de passe d'un utilisateur autorisé à accéder à la base de données Snowflake.

Paire de clés

Propriétés de la paire de clés
Propriétés du compte Description
Utilisateur·trice Utilisateur dans Snowflake.
Private Key File (Fichier de clé privée) Cliquez sur Parcourir pour sélectionner votre fichier de clé privée.
Private Key File Password (Mot de passe du fichier de clé privée) Mot de passe permettant de déchiffrer votre clé privée si elle est chiffrée.

Propriétés de base de données

  • Entrepôt par défaut : Nom de votre entrepôt Snowflake. Vous pouvez remplacer cette valeur dans les paramètres de votre projet.

  • Nom de base de données : il existe deux méthodes à utiliser pour spécifier une base de données :

    • Méthode 1 - Sélection à partir d'une liste : Cliquez sur Charger des bases de données et sélectionnez une base de données.

    • Méthode 2 - Manuellement : Sélectionnez Saisir le nom de base de données manuellement et saisissez le nom de la base de données.

Propriétés de connexion supplémentaires

Vous pouvez spécifier des propriétés de connexion ODBC et JDBC supplémentaires, si nécessaire. Les propriétés qui sont pertinentes tant pour les connexions ODBC que pour les connexions JDBC (par exemple, Rôle) doivent être ajoutées aux deux.

Note Informations
  • Si vous utilisez Passerelle de déplacement des données, les propriétés de connexion supplémentaires sont supportées à partir de la version 2024.5.54.
  • Les propriétés sécurisées (par exemple, les clés de chiffrement) ne sont pas supportées.
  • N'ajoutez pas de propriétés qui ont des champs dédiés dans les paramètres de connexion.

Propriétés ODBC

Vous pouvez spécifier des propriétés de connexion supplémentaires qui seront utilisées par les tâches de déplacement de données (Dépôt temporaire, Réplication et Dépôt temporaire dans un lac de données) lors de la connexion via un pilote ODBC.

Utilisez les boutons Créer et Annuler à droite des champs pour ajouter ou supprimer des propriétés, suivant les besoins.

Propriétés JDBC

Vous pouvez spécifier des propriétés de connexion supplémentaires qui seront utilisées par les tâches ELT (Enregistrer, Stockage, Transformer et Datamart) lors de la connexion via un pilote JDBC.

Utilisez les boutons Créer et Annuler à droite des champs pour ajouter ou supprimer des propriétés, suivant les besoins.

Propriétés internes

Les propriétés internes s'adressent à des cas d'utilisation spéciaux et ne sont par conséquent pas exposées dans la boîte de dialogue. Utilisez-les uniquement si Qlik Support vous le demande.

Utilisez les boutons Créer nouveau et Annuler à droite des champs pour ajouter ou supprimer des propriétés, suivant les besoins.

Nom

Nom d'affichage de la connexion.

Prérequis

Autorisations requises

Les autorisations suivantes sont nécessaires :

Autorisations requises si vous souhaitez créer automatiquement des schémas qui n'existent pas

  • USAGE ON DATABASE
  • CREATE SCHEMA ON DATABASE

Autorisations requises si le schéma existe déjà

  • USAGE ON DATABASE
  • USAGE ON SCHEMA
  • CREATE FILE FORMAT ON SCHEMA
  • CREATE STAGE ON SCHEMA
  • CREATE TABLE ON SCHEMA

Configuration du pilote

Un pilote est obligatoire uniquement si vous accédez à la base de données via Passerelle de déplacement des données.

Vous pouvez installer le driver via l'utilitaire d'installation de pilote (recommandé) ou manuellement. Tentez une installation manuelle uniquement dans le cas improbable où vous rencontriez un problème avec l'utilitaire d'installation de pilote.

Utilisation de l'utilitaire d'installation de pilote pour installer le pilote

Cette section explique comment installer le driver requis. Le processus implique le téléchargement du driver, sa copie dans le dossier requis (voir ci-dessous) et l'exécution d'un script qui l'installera et le configurera automatiquement. Vous pouvez également exécuter des scripts permettant de mettre à jour et de désinstaller le driver, si nécessaire.

Préparation de l'installation

  • Assurez-vous que Python 3.6 ou une version ultérieure est installé sur le serveur de passerelle Déplacement des données.

    Python est préinstallé sur la plupart des distributions Linux. Vous pouvez vérifier la version de Python installée sur votre système en exécutant la commande suivante :

    python3 --version

  • Téléchargez le pilote ODBC Snowflake "snowflake-odbc-<version>.x86_64.rpm". Vous trouverez un lien de téléchargement direct vers la version supportée sous binary-artifacts dans /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml. Une fois le téléchargement terminé, copiez le fichier dans :

    /opt/qlik/gateway/movement/drivers/snowflake

Installation de driver

Pour installer le driver :

  1. Arrêtez le service Data Movement gateway :

    sudo systemctl stop repagent

  2. Confirmez éventuellement l'arrêt du service :

    sudo systemctl status repagent

    Le statut doit être comme suit :

    Active: inactive (dead) since <timestamp> ago

  3. Sur le poste de passerelle Déplacement des données, remplacez le répertoire de travail par :

    opt/qlik/gateway/movement/drivers/bin

  4. Exécutez la commande suivante :

    Syntaxe :

    ./install snowflake

    Sinon, le CLUF du driver apparaîtra.

  5. Procédez de l'une des manières suivantes :

    • Appuyez à plusieurs reprises sur [Entrée] pour parcourir lentement le CLUF.
    • Appuyez à plusieurs reprises sur la barre d'espace pour parcourir rapidement le CLUF.
    • Appuyez sur q pour quitter le texte de licence et faire apparaître les options d'acceptation du CLUF.

  6. Procédez de l'une des manières suivantes :

    • Saisissez « y » et appuyez sur [Entrée] pour accepter le CLUF et démarrer l'installation.
    • Saisissez « n » et appuyez sur [Entrée] pour rejeter le CLUF et quitter l'installation.

    • Saisissez « v » et appuyez sur [Entrée] pour afficher de nouveau le CLUF.

    7. Le driver sera installé.

  7. Attendez la fin de l'installation (indiquée par « Complete! »), puis démarrez le service Data Movement gateway :

    sudo systemctl start repagent

  8. Confirmez éventuellement le lancement du service :

    sudo systemctl status repagent

    Le statut doit être comme suit :

    Active: active (running) since <timestamp> ago

Mise à jour du driver

Exécutez la commande update si vous souhaitez désinstaller des versions précédentes du driver avant d'installer le driver fourni.

Pour mettre à jour le driver :

  1. Arrêtez le service Data Movement gateway :

    sudo systemctl stop repagent

  2. Confirmez éventuellement l'arrêt du service :

    sudo systemctl status repagent

    Le statut doit être comme suit :

    Active: inactive (dead) since <timestamp> ago

  3. Sur le poste de passerelle Déplacement des données, remplacez le répertoire de travail par :

    opt/qlik/gateway/movement/drivers/bin

  4. Exécutez la commande suivante :

    Syntaxe :

    ./update snowflake

    Sinon, le CLUF du driver apparaîtra.

  5. Procédez de l'une des manières suivantes :

    • Appuyez à plusieurs reprises sur [Entrée] pour parcourir lentement le CLUF.
    • Appuyez à plusieurs reprises sur la barre d'espace pour parcourir rapidement le CLUF.
    • Appuyez sur q pour quitter le texte de licence et faire apparaître les options d'acceptation du CLUF.

  6. Procédez de l'une des manières suivantes :

    • Saisissez « y » et appuyez sur [Entrée] pour accepter le CLUF et démarrer l'installation.
    • Saisissez « n » et appuyez sur [Entrée] pour rejeter le CLUF et quitter l'installation.
    • Saisissez « v » et appuyez sur [Entrée] pour passer le CLUF en revue depuis le début.

    7. L'ancien driver sera désinstallé et le nouveau driver sera installé.

  7. Attendez la fin de l'installation (indiquée par « Complete! »), puis démarrez le service Data Movement gateway :

    sudo systemctl start repagent

  8. Confirmez éventuellement le lancement du service :

    sudo systemctl status repagent

    Le statut doit être comme suit :

    Active: active (running) since <timestamp> ago

Désinstallation du driver

Exécutez la commande uninstall si vous souhaitez désinstaller le driver.

Pour désinstaller le driver :

  1. Arrêtez toutes les tâches configurées pour utiliser ce connecteur.

  2. Sur le poste de passerelle Déplacement des données, remplacez le répertoire de travail par :

    opt/qlik/gateway/movement/drivers/bin

  3. Exécutez la commande suivante :

    Syntaxe :

    ./uninstall snowflake

    le driver sera désinstallé.

Installation manuelle du pilote

Vous devez tenter d'installer manuellement le driver uniquement si l'installation de pilote automatisée n'a pas fonctionné.

Vous devez installer un pilote ODBC et un pilote JDBC.

Installation du pilote ODBC

  1. Une fois la Passerelle de déplacement des données installée, téléchargez le fichier de pilote snowflake-odbc-<version>x86_64.rpm répertorié sous binary-artifacts dans /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml et copiez-le sur le poste Passerelle de déplacement des données.
  2. Installez le pilote sur le poste Passerelle de déplacement des données.

Installation du pilote JDBC

  1. Téléchargez le fichier snowflake-jdbc-<version>.jar répertorié sous binary-artifacts dans /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml et copiez-le dans le dossier suivant sur le poste Passerelle de déplacement des données :

    /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

  2. Redémarrez le service Passerelle de déplacement des données et vérifiez qu'il a effectivement démarré en exécutant les commandes décrites à la section Passerelle de déplacement des données service commands.

Port

Le port du pare-feu 443 doit être ouvert pour la communication sortante.

Limitations et considérations générales

Les restrictions suivantes s'appliquent lors du déplacement de données vers une cible Snowflake :

  • La réplication de tables avec des barres obliques inverses dans leurs noms (par ex., SPECIAL\\TABLE\N) n'est pas supportée.

Limitations et considérations lors de l'utilisation de la méthode de chargement Snowpipe Streaming

  • Lorsque vous utilisez Snowpipe Streaming comme méthode de chargement, les limitations suivantes s'appliquent :

    • Pour les tâches de dépôt temporaire uniquement :

      • Comme Snowpipe ne supporte que les opérations INSERT, la méthode de mise à jour Charger et comparer n'est pas supportée.

    • Pour les tâches de réplication uniquement :

      • Comme Snowpipe ne supporte que les opérations INSERT, le mode de réplication Appliquer les modifications n'est pas supporté.

      • L'arrêt de la réplication Stocker les modifications lors d'une transaction et sa reprise au bout de 30 jours ou plus peuvent entraîner la génération d'enregistrements en double sur la cible. Snowflake supprime automatiquement les canaux au bout de 30 jours.

    • Pour les tâches de dépôt temporaire et de réplication :

      • L'authentification par nom d'utilisateur et mot de passe n'est pas supportée.
      • Le sous-type XML n'est pas supporté.

    • Types de données

    Le tableau suivant indique les types de données Snowflake supportés lors de l'utilisation de Qlik Cloud et le mapping par défaut depuis les types de données Qlik Cloud.

    Les informations de type de données natif sont préservées et affichées dans la colonne Type de données natif des vues d'ensemble de données. Si la colonne n'est pas visible, vous devez ouvrir le sélecteur de colonnes de la vue d'ensemble de données et sélectionner la colonne Type de données natif.

    Types de données supportés
    Types de données Qlik Cloud Types de données Snowflake

    BOOLEAN

    BOOLEAN

    BYTES

    BINARY (length in Bytes)

    DATE

    DATE

    TIME

    TIME (precision)

    DATETIME

    Snowflake :

    • TIMESTAMP

    Pour Snowflake Iceberg :

    • TIMESTAMP

    • Si scale > 7 : STRING(37)

    INT1

    BYTEINT

    INT2

    SMALLINT

    INT4

    INTEGER

    INT8

    BIGINT

    NUMERIC

    NUMBER (precision, scale)

    REAL4

    FLOAT4

    REAL8

    FLOAT8

    UINT1

    BYTEINT

    UINT2

    INTEGER

    UINT4

    INTEGER

    UINT8

    BIGINT

    Chaîne de caractères

    VARCHAR (length in Bytes)

    WSTRING

    NVARCHAR (length in Bytes)

    BLOB

    BINARY (8388608)

    NCLOB

    NVARCHAR (8388608)

    CLOB

    VARCHAR (8388608)
    JSON VARIANT

    Lorsque vous utilisez des types de données tableau, objet ou TIMESTAMP_TZ dans Snowflake, vous devez les convertir au format BINARY si :

    • Vous avez une tâche de données enregistrées avec l'un de ces types, puis une tâche qui stocke les tables au format Iceberg.

    • Vous avez une tâche Iceberg avec l'un de ces types, puis une tâche sans Iceberg.

    Cette page vous a-t-elle aidé ?

    Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

    Laissez vos commentaires ici