Propriétés du tSnowflakeOutputBulkExec Standard
Ces propriétés sont utilisées pour configurer le tSnowflakeOutputBulkExec s'exécutant dans le framework de Jobs Standard.
Le composant tSnowflakeOutputBulkExec Standard appartient à la famille Cloud.
Le composant de ce framework est disponible dans tous les produits Talend nécessitant une souscription.
Basic settings
Base de données |
Sélectionnez le type de base de données dans la liste et cliquez sur Apply (Appliquer). |
Property Type |
Sélectionnez la manière de configurer les informations de connexion.
Cette propriété est disponible lorsque l'option Use this Component est sélectionnée dans la liste déroulante Connection Component. |
Connection Component |
Sélectionnez le composant établissant la connexion à la base de données à réutiliser par ce composant. |
Account |
Dans le champ Account, saisissez, entre guillemets doubles, le nom qui vous a été assigné par Snowflake. Ce champ est disponible lorsque l'option Use this Component est sélectionnée dans la liste déroulante Connection Component. |
Authentication Type |
Configurez le type d'authentification.
Note InformationsRemarque : Avant de sélectionner l'option Key Pair, assurez-vous de configurer les données d'authentification par paire de clés dans la vue Basic settings du composant tSetKeystore, comme suit.
|
OAuth token endpoint | Saisissez l'endpoint du jeton OAuth 2.0. Cette option est disponible uniquement lorsque l'option OAuth 2.0 est sélectionnée dans la liste déroulante Authentication Type. |
Client ID | Saisissez l'ID du client de votre application. Cette option est disponible uniquement lorsque l'option OAuth 2.0 est sélectionnée dans la liste déroulante Authentication Type. |
Client Secret | Saisissez le secret du client de votre application. Cette option est disponible uniquement lorsque l'option OAuth 2.0 est sélectionnée dans la liste déroulante Authentication Type. |
Grant type | Configure le type d'attribution pour récupérer le jeton d'accès. Deux options sont fournies : Client Crendentials et Password. Cliquez sur Client Credentials et Resource Owner Password Credentials pour plus d'informations. Cette option est disponible uniquement lorsque l'option OAuth 2.0 est sélectionnée dans la liste déroulante Authentication Type. |
OAuth username | Saisissez l'identifiant de connexion à OAuth. Cette option est disponible uniquement lorsque l'option Password est sélectionnée dans la liste déroulante Grant type. |
OAuth password | Saisissez le mot de passe de connexion à OAuth. Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres. Cette option est disponible uniquement lorsque l'option Password est sélectionnée dans la liste déroulante Grant type. Note InformationsRemarque : Le mot de passe OAuth ne supporte pas les espaces.
|
Scope | Saisissez la limite des rôles et accès. Consultez Scopes (en anglais) pour plus d'informations. Cette option est disponible uniquement lorsque l'option OAuth 2.0 est sélectionnée dans la liste déroulante Authentication Type. |
User Id et Password |
Saisissez entre guillemets doubles, vos informations d'authentification à Snowflake.
Ce champ est disponible lorsque l'option Use this Component est sélectionnée dans la liste déroulante Connection Component. |
Warehouse |
Saisissez, entre guillemets doubles, le nom de l'entrepôt Snowflake à utiliser. Ce nom est sensible à la casse et est normalement en lettres capitales dans Snowflake. Ce champ est disponible lorsque l'option Use this Component est sélectionnée dans la liste déroulante Connection Component. |
Schema |
Saisissez, entre guillemets doubles, le nom du schéma de la base de données à utiliser. Ce nom est sensible à la casse et est normalement en lettres capitales dans Snowflake. Ce champ est disponible lorsque l'option Use this Component est sélectionnée dans la liste déroulante Connection Component. |
Database |
Saisissez, entre guillemets doubles, le nom de la base de données Snowflake à utiliser. Ce nom est sensible à la casse et est normalement en lettres capitales dans Snowflake. Ce champ est disponible lorsque l'option Use this Component est sélectionnée dans la liste déroulante Connection Component. |
Table |
Cliquez sur le bouton [...] et, dans l'assistant qui s'affiche, sélectionnez la table Snowflake à utiliser. Pour charger les données dans une nouvelle table, sélectionnez Use custom object dans l'assistant et saisissez le nom de la nouvelle table dans le champ Object Name. |
Schema et Edit Schema |
Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs. Built-in : le schéma est créé et conservé localement pour ce composant seulement. Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets. Si le type de données Snowflake à gérer est VARIANT, OBJECT ou ARRAY, lorsque vous définissez le schéma dans le composant, sélectionnez String pour les données correspondantes dans la colonne Type de l'éditeur de schéma. Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :
Notez que, si la valeur d'entrée d'un champ primitif non nullable est nulle, la ligne de données comprenant ce champ sera rejetée. Ce composant offre la fonction de schéma dynamique. Cela vous permet de récupérer des colonnes inconnues de fichiers sources ou de copier des lots de colonnes d'une source sans avoir à mapper chaque colonne individuellement. Pour plus d'informations concernant les schémas dynamiques, consultez Schéma dynamique. Cette fonctionnalité de schéma dynamique est conçue pour permettre de récupérer des colonnes inconnues d'une table. Il est recommandé de l'utiliser uniquement à cet effet et non pour créer des tables. |
Table Action | Sélectionnez l'action à effectuer sur la table.
|
Output Action | Sélectionnez l'opération à effectuer sur les données et les enregistrements de données entrants dans la table de base de données Snowflake. Sélectionnez l'opération permettant d'insérer, supprimer, mettre à jour ou fusionner des données dans la table Snowflake. Cette option suppose que la table Snowflake spécifiée dans le champ Table existe déjà.
|
Storage | Sélectionnez le type de stockage dans lequel charger les données entrantes et duquel charger les données de la table.
|
Stage Folder | Spécifiez le dossier sous l'étape Snowflake dans lequel écrire les données entrantes et depuis lequel charger les données. Ce champ est disponible lorsque vous sélectionnez Internal dans la liste déroulante Storage, dans la vue Basic settings. |
Region | Spécifiez la région où le bucket S3 est situé. Ce champ est disponible lorsque l'option S3 est sélectionnée dans la liste déroulante Storage, dans la vue Basic settings. |
Access Key et Secret Key | Renseignez les informations d'authentification requises pour vous connecter au bucket Amazon S3 à utiliser. Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres. Ce champ est disponible lorsque l'option S3 est sélectionnée dans la liste déroulante Storage, dans la vue Basic settings. |
Bucket | Saisissez le nom du bucket (entre guillemets doubles) à utiliser pour stocker les données entrantes et duquel charger les données. Ce bucket doit déjà exister. Ce champ est disponible lorsque l'option S3 est sélectionnée dans la liste déroulante Storage, dans la vue Basic settings. |
Folder | Saisissez le nom du dossier (entre guillemets doubles) à utiliser pour stocker les données entrantes et duquel charger les données. Ce dossier sera créé s'il n'existe pas lors de l'exécution. Cette propriété est disponible unqiuement lorsque l'option S3 ou Azure est sélectionnée dans la liste déroulante Storage. |
Server-Side Encryption | Cochez cette case pour chiffrer les fichiers à charger dans le bucket S3 côté serveur. Cette propriété est cochée par défaut. Ce champ est disponible lorsque l'option S3 est sélectionnée dans la liste déroulante Storage, dans la vue Basic settings. |
Protocol | Sélectionnez le protocole utilisé pour créer la connexion Azure. Ce champ est disponible lorsque vous sélectionnez Azure dans la liste déroulante Storage, dans la vue Basic settings. |
Account Name | Saisissez le nom du compte Azure Storage (entre guillemets doubles). Ce champ est disponible lorsque vous sélectionnez Azure dans la liste déroulante Storage, dans la vue Basic settings. |
Container et Folder | Saisissez le nom du conteneur Azure et des dossiers (entre guillemets doubles). Ce champ est disponible lorsque vous sélectionnez Azure dans la liste déroulante Storage, dans la vue Basic settings. |
SAS Token | Spécifiez le jeton SAS donnant un accès limité aux objets de votre compte de stockage. Pour saisir le jeton SAS, cliquez sur le bouton [...] à côté du champ du jeton SAS, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres. Ce champ est disponible lorsque vous sélectionnez Azure dans la liste déroulante Storage, dans la vue Basic settings. |
Advanced settings
Additional JDBC Parameters |
Définissez des propriétés de connexion supplémentaires pour la connexion à la base de données que vous créez. Les propriétés sont séparées par un point-virgule et chaque propriété est une paire clé-valeur. Par exemple, encryption=1;clientname=Talend. Ce champ est disponible uniquement lorsque vous sélectionnez Use this Component dans la liste déroulante Connection Component et que vous sélectionnez Internal dans la liste déroulante Storage dans la vue Basic settings. |
Login Timeout |
Spécifiez le délai avant expiration (en minutes) des tentatives de connexion à Snowflake. Une erreur sera générée si aucune réponse n'est reçue au cours de cette période. |
Rôle |
Saisissez, entre guillemets doubles, le rôle de contrôle des accès par défaut à utiliser pour initialiser la session Snowflake. Ce rôle doit déjà exister et doit avoir été assigné à l'ID de l'utilisateur ou de l'utilisatrice que vous utilisez pour vous connecter Snowflake. Si vous laissez ce champ vide, le rôle PUBLIC est automatiquement assigné. Pour plus d'informations concernant le modèle de contrôle des accès Snowflake, consultez Understanding the Access Control Model (en anglais). |
Region ID (Déprécié) | Region ID : saisissez, entre guillemets doubles, un ID de région, par exemple eu-west-1 ou east-us-2.azure. Pour plus d'informations concernant les ID de régions Snowflake, consultez Supported Cloud Regions (en anglais). Pour les composants Snowflake différents du tSnowflakeConnection, ce champ est disponible lorsque l'option Use This Component est sélectionnée dans la liste déroulante Connection Component, dans la vue Basic settings. |
URL suffix |
Saisissez, entre guillemets doubles, l'URL personnalisée du domaine Snowflake. Pour plus d'informations concernant les formats d'URL Snowflake, consultez URLs de compte standards. Pour les composants Snowflake différents du tSnowflakeConnection, ce champ est disponible lorsque l'option Use This Component est sélectionnée dans la liste déroulante Connection Component, dans la vue Basic settings. |
Allow Snowflake to convert columns and tables to uppercase | Cochez cette case pour passer les minuscules en majuscules, dans le nom de la table et des colonnes du schéma définies. Notez que les identifiants doivent correspondre à la syntaxe des identifiants Snowflake. Lorsque cette case est décochée, tous les identifiants sont automatiquement placés entre guillemets. Cette propriété est disponible uniquement lorsque la case Manual Query est cochée. Pour plus d'informations concernant la syntaxe des identifiants Snowflake, consultez Identifier Syntax (en anglais). |
Use schema keys for upsert | Cochez cette case pour utiliser les clés de schéma pour l'opération d'upsert. Cette option est disponible uniquement lorsque vous sélectionnez UPSERT dans la liste déroulante Output Action de la vue Basic settings. |
Temporary Table Schema | Spécifiez un schéma pour la table temporaire Le schéma doit déjà exister. |
Use strict schema matching | Sélectionnez cette option pour charger les données entrantes dans des colonnes de tables dont les noms de colonnes sont identiques à ceux des données entrantes. Les noms de colonnes sont sensibles à la casse. Si cette option n'est pas sélectionnée, il est possible de les données entrantes ne soient pas chargées dans les colonnes de tables correspondantes. Cette option est disponible uniquement lorsque vous sélectionnez INSERT dans la liste déroulante Output Action de la vue Basic settings. Note InformationsRemarque : Cette option est disponible uniquement lorsque vous avez installé la mise à jour mensuelle 8.0.1-R2023-04 du Studio Talend ou une mise à jour plus récente fournie par Talend. Pour plus d'informations, contactez votre administrateur ou administratrice.
|
Custom DB Type | Cochez cette case pour spécifier le type de base de données pour chaque colonne du schéma. Cette propriété est disponible uniquement lorsque vous sélectionnez une action avec Create Table dans la liste déroulante Table Action de la vue Basic settings. |
Custom Date type mapping | Cochez cette case pour utiliser un mapping personnalisé pour votre date de type Date, puis sélectionnez le mapping dans la liste déroulante Convert Date values to. Cette option est disponible lorsque vous utilisez un schéma dynamique et que vous sélectionnez l'option suivante dans la liste déroulante Table Action de la vue Basic settings :
|
Use schema date pattern |
Sélectionnez cette option afin de convertir les données des colonnes de schémas de type Date à l'aide du modèle de date défini dans le schéma. Pour ce faire, vous devez également spécifier le type de base de données des colonnes du schéma, comme STRING, TEXT ou VARCHAR dans le champ Custom DB Type. |
Delete Storage Files On Success | Supprime tous les fichiers dans le dossier de stockage une fois les données chargées dans la table. Le champ n'est pas disponible lorsque vous sélectionnez Use Custom Storage Location. |
Use Custom Stage Path | Cochez cette case afin de charger les données dans les fichiers générés dans un dossier sous l'étape. Vous devez également saisir le chemin d'accès au dossier dans le champ fourni. Par exemple, pour charger les données stockées dans les fichiers générés dans myfolder1/myfolder2 sous l'étape, vous devez saisir "@~/myfolder1/myfolder2" dans le champ. Ce champ est disponible lorsque vous sélectionnez Internal dans la liste déroulante Storage, dans la vue Basic settings. Une fois sélectionné, le dossier Stage Folder de la vue Basic settings devient indisponible. |
Use Custom S3 Connection Configuration | Cochez cette case si vous souhaitez utiliser la configuration S3 personnalisée.
Ce champ est disponible lorsque l'option S3 est sélectionnée dans la liste déroulante Storage, dans la vue Basic settings. |
Copy Command Options | Configurez les paramètres pour la commande COPY INTO en sélectionnant les options suivantes dans la liste déroulante. La commande COPY INTO est fournie par Snowflake. Elle charge des données dans une table de base de données Snowflake.
|
Put Command Options | Configurez les paramètres pour la commande PUT en sélectionnant les options suivantes dans la liste déroulante. La commande PUT est fournie par Snowflake. Elle charge les données dans un dossier d'étape Snowflake.
Ce champ est disponible lorsque vous sélectionnez Internal dans la liste déroulante Storage, dans la vue Basic settings. |
Put Command Error Retry | Spécifiez le nombre maximum de tentatives lorsqu'une erreur survient lors du chargement des données vers le stockage Snowflake interne. La valeur par défaut de ce paramètre est 3. Une valeur de -1 spécifie le nombre maximal de tentatives. Les valeurs -1 ou les entiers positifs sont acceptés. Ce champ est disponible lorsque vous sélectionnez Internal dans la liste déroulante Storage, dans la vue Basic settings. |
Snowflake access to storage |
Spécifie la méthode d'authentification pour la commande COPY lorsque vous accédez au bucket S3. Consultez Paramètres supplémentaires du fournisseur de Cloud pour plus d'informations. Note InformationsRemarque : Cette option est disponible uniquement lorsque vous sélectionnez S3 dans la liste déroulante Storage de la vue Basic settings.
|
S3 assume role |
Si vous avez temporairement besoin d'autorisations d'accès relatives à un rôle AWS IAM qui n'est pas octroyé à votre compte d'utilisateur ou d'utilisatrice, cochez cette case afin d'assumer ce rôle. Puis, spécifiez les valeurs des paramètres suivants pour créer une session du rôle. Assurez-vous que l'accès à ce rôle a été octroyé à votre compte d'utilisateur ou d'utilisatrice par la politique de sécurité associée à ce rôle. En cas de doute, adressez-vous au propriétaire de ce rôle ou à votre administrateur AWS. Note InformationsRemarque :
|
S3 Max Error Retry | Spécifiez le nombre maximal de tentatives de chargement des données lorsqu'une erreur survient lors du chargement depuis ou vers le dossier S3. La valeur par défaut de ce paramètre est 3. Une valeur de -1 spécifie le nombre maximal de tentatives. Les valeurs -1 ou les entiers positifs sont acceptés. Ce champ est disponible lorsque l'option S3 est sélectionnée dans la liste déroulante Storage, dans la vue Basic settings. |
Azure Max Error Retry | Spécifiez le nombre maximal de tentatives de chargement des données lorsqu'une erreur survient lors du chargement depuis ou vers le dossier Azure. La valeur par défaut de ce paramètre est 3. Une valeur de -1 spécifie le nombre maximal de tentatives. Les valeurs -1 ou les entiers positifs sont acceptés. Ce champ est disponible lorsque vous sélectionnez Azure dans la liste déroulante Storage, dans la vue Basic settings. |
Non-empty Storage Folder Action | Sélectionnez n'importe laquelle des options suivantes :
|
Chunk Size (bytes) | Spécifiez la taille des fichiers générés, avec une valeur par défaut de 52428800 octets. Avec cette option spécifiée, les données entrantes peuvent être stockées dans plusieurs fichiers. Comme les données sont stockées dans des fichiers sur une base d'enregistrements, la taille réelle de chaque fichier peut être supérieure ou inférieure à la valeur spécifiée, mais elle ne peut pas être supérieure à celle du dernier enregistrement stocké dans le fichier. Cette option peut avoir un impact sur les performances. Il est donc recommandé de la configurer avec prudence. Consultez File Sizing Best Practices and Limitations pour plus d'informations (en anglais). |
Number of file requests threads | Spécifiez le nombre de process utilisés pour envoyer des requêtes Put en parallèle lorsque les données sont partitionnées dans les fichiers. |
tStatCatcher Statistics |
Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant. |
Global Variables
NB_LINE |
Nombre de lignes traitées. Cette variable est une variable After et retourne un entier. |
NB_SUCCESS |
Nombre de lignes correctement traitées. Cette variable est une variable After et retourne un entier. |
NB_REJECT |
Nombre de lignes rejetées. Cette variable est une variable After et retourne un entier. |
ERROR_MESSAGE |
Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. |
Utilisation
Règle d'utilisation |
Ce composant est un composant de fin de flux de données dans votre Job. Il reçoit des données depuis d'autres composants via le lien .Il peut également envoyer des messages d'erreur à d'autres composants via un lien Row > Rejects. Les informations fournies à propos d'une erreur peuvent être :
|