Propriétés du tAzureSynapseBulkExec Standard

Type de propriété

Sélectionnez la manière de configurer les informations de connexion.

• Built-In : les paramètres de connexion seront définis localement pour ce composant. Vous devez spécifier manuellement les valeurs pour toutes les propriétés de connexion.

• Repository : les paramètres de connexion stockés centralement dans le Repository > Metadata seront réutilisés par ce composant.

  Vous devez cliquer sur le bouton [...] et, dans la boîte de dialogue Repository Content, sélectionnez les détails de connexion à réutiliser. Toutes les propriétés de connexion seront automatiquement renseignées.

Use an existing connection

Cochez cette case et sélectionnez le composant de connexion adéquat dans la liste Component list pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

Notez que lorsqu'un Job contient un Job parent et un Job enfant, si vous devez partager une connexion existante entre ces deux niveaux, par exemple pour partager la connexion créée par le Job parent au Job enfant, vous devez :

1. au niveau du Job parent, enregistrer la connexion à la base de données à partager dans la vue Basic settings du composant de connexion créant cette connexion à la base de données.

2. au niveau du Job enfant, utiliser un composant de connexion dédié afin de lire cette connexion enregistrée.

Pour un exemple de partage d'une connexion à une base de données à travers différents niveaux de Jobs, consultez Partager une connexion à une base de données.

Sélectionnez le fournisseur du pilote JDBC à utiliser.

Saisissez l'adresse IP ou le nom d'hôte du serveur de la base de données ou de l'instance Azure Synapse Analytics à utiliser.

Si le service SQL Server Browser est en cours d'exécution sur la machine où se situe le serveur, vous pouvez vous connecter à une instance nommée via un port TCP dynamique et fournir le nom d'hôte et le nom d'instance dans ce champ, au format {host_name}\{instance_name}. Dans ce cas, laissez le champ Port vide. Consultez Service SQL Server Browser pour plus d'informations.

Saisissez le numéro du port d'écoute du serveur de la base de données ou de l'instance Azure Synapse Analytics à utiliser.

Si le service SQL Server Browser est en cours d'exécution sur la machine où se situe le serveur, vous pouvez vous connecter à une instance nommée via un port TCP dynamique en fournissant le nom d'hôte et le nom d'instance dans le champ Host et en laissant ce champ vide. Consultez Service SQL Server Browser pour plus d'informations.

Pour saisir le mot de passe, cliquez sur le bouton [...] près du champ Password, saisissez le mot de passe entre guillemets doubles dans la boîte de dialogue et cliquez sur OK.

Vous pouvez utiliser Type 2 integrated authentication sous Windows en ajoutant integratedSecurity=true dans Additional JDBC Parameters et en laissant ces deux champs vides. Consultez la section Connexion avec une authentification intégrée sous Windows dans la page Création de l’URL de connexion, pour plus d'informations.

Définissez des propriétés de connexion supplémentaires pour la connexion à la base de données que vous créez. Les propriétés sont séparées par un point-virgule et chaque propriété est une paire clé-valeur. Par exemple, encrypt=true;trustServerCertificate=false; hostNameInCertificate=*.database.windows.net;loginTimeout=30; pour une connexion à la base de données Azure SQL.

Sélectionnez une opération à effectuer sur la table définie, vous pouvez effectuer l'une des opérations suivantes :

• None : n'effectuer aucune opération de table.

• Drop and create table : la table est supprimée et de nouveau créée.

• Create table : la table n'existe pas et est créée.

• Create table if not exists : créer la table si nécessaire.

• Drop table if exists and create : la table est supprimée si elle existe déjà et de nouveau créée.

• Clear table : le contenu de la table est supprimé. Vous pouvez annuler cette opération.

• Truncate table : le contenu de la table est supprimé. Vous ne pouvez pas annuler l'opération (rollback).

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

• Built-in : le schéma est créé et conservé localement pour ce composant seulement.

• Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets.

Créez le schéma en cliquant sur le bouton Edit Schema. Si vous effectuez des modifications, le schéma passe automatiquement en type built-in.

• View schema : sélectionnez cette option afin de voir uniquement le schéma.

• Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

• Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs.

  Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.

Configurez la méthode de chargement des données. Deux options sont fournies : Copy et PolyBase. Consultez Stratégies de chargement des données pour le pool SQL Synapse pour plus d'informations.

L'option Data Lake Storage Gen1 n'est pas disponible si l'option Copy est sélectionnée dans la liste déroulante Load method.

Si vous sélectionnez PloyBase dans la liste Load method, Data Lake Storage Gen2 dans la liste Azure Storage, dans la vue Basic settings et Secure transfer required dans la vue Advanced settings, l'option Authentication with managed identity s'affichera dans la vue Basic settings. Consultez Documentation sur les identités managées pour des ressources Azure pour plus d'informations.

Cette option est disponible uniquement lorsque l'option Copy (Copier) est sélectionnée dans la liste déroulante Load method (Méthode de chargement).

Saisissez la clé associée au compte de stockage auquel vous devez accéder. Deux clés sont disponibles pour chaque compte. Par défaut, n'importe laquelle peut être utilisée pour accéder au compte. Sélectionnez dans la liste déroulante le composant dont les informations de connexion seront utilisées pour configurer la connexion à Azure Storage.

Cette option est disponible uniquement lorsque l'option Blob Storage est sélectionnée dans la liste déroulante Azure Storage.

Saisissez la valeur du jeton SAS. Pour plus d'informations, consultez Accorder un accès limité aux ressources du Stockage Azure à l’aide des signatures d’accès partagé (SAP). Cette option est disponible uniquement lorsque l'option Shared access signatures (Signatures d'accès partagées) est sélectionnée dans la liste déroulante Authentication method (Méthode d'authentification).

Saisissez l'endpoint du service Azure Storage.

La combinaison du nom de compte et de l'endpoint de service Azure Storage forme l'endpoint du compte de stockage.

La valeur par défaut varie selon le paramètre Azure Storage, "dfs.core.windows.net" pour Data Lake Storage Gen2 et "blob.core.windows.net" pour Blob Storage.

Cette option est disponible uniquement lorsque l'option Copy (Copier) est sélectionnée dans la liste déroulante Load method (Méthode de chargement).

Cette option est disponible uniquement lorsque l'option Blob Storage est sélectionnée dans la liste déroulante Azure Storage.

Saisissez les chemins externes desquels charger les données. Vous pouvez ajouter plusieurs chemins externes en cliquant sur le bouton +, en bas. Notez que les chemins externes sont des chemins relatifs, avec le conteneur comme racine.

Cette option est disponible uniquement lorsque l'option Copy (Copier) est sélectionnée dans la liste déroulante Load method (Méthode de chargement) de la vue Basic settings (Paramètres simples) .

Cette option est disponible uniquement lorsque l'option Data Lake Storage Gen1 est sélectionnée dans la liste déroulante Azure Storage.

Dans le champ Token endpoint, copiez-collez l'endpoint du jeton OAuth 2.0 que vous pouvez obtenir à partir de la liste Endpoints dans la page App registrations de votre portail Azure.

Cette option est disponible uniquement lorsque l'option Data Lake Storage Gen1 est sélectionnée dans la liste déroulante Azure Storage.

Cette option est disponible uniquement lorsque l'option Data Lake Storage Gen2 est sélectionnée dans la liste déroulante Azure Storage et que l'option PloyBase est sélectionnée dans la liste déroulante Load method dans la vue Basic settings.

Cochez cette option pour utiliser l'authentification Azure Active Directory lors de l'établissement de la connexion. Consultez Utiliser Authentification Microsoft Entra pour des informations associées.

Cette option est disponible uniquement lorsque l'option PloyBase est sélectionnée dans la liste déroulante Load method (Méthode de chargement) de la vue Basic settings.

Pour plus d'informations concernant les formats de fichiers, consultez CREATE EXTERNAL FILE FORMAT (en anglais).

Cette option est disponible uniquement lorsque l'option Copy (Copier) est sélectionnée dans la liste déroulante Load method (Méthode de chargement) de la vue Basic settings (Paramètres simples) .

Pour plus d'informations concernant les formats de fichiers, consultez CREATE EXTERNAL FILE FORMAT (en anglais).

Si cette option n'est pas sélectionnée, les champs du fichier source seront mappés aux colonnes de schéma dans l'ordre par défaut.

Cette option est disponible uniquement lorsque l'option Copy (Copier) est sélectionnée dans la liste déroulante Load method (Méthode de chargement) de la vue Basic settings (Paramètres simples) .

First row

Cette option est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings et que l'option CSV est sélectionnée dans la liste déroulante File type.

Cette option est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings et que l'option CSV est sélectionnée dans la liste déroulante File type.

Cette option est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings et que l'option CSV est sélectionnée dans la liste déroulante File type.

Cette option est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings et que l'option CSV est sélectionnée dans la liste déroulante File type.

Cette option est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings et que l'option CSV est sélectionnée dans la liste déroulante File type.

Cette option est disponible uniquement lorsque l'option Copy est sélectionnée dans la liste déroulante Load method, dans la vue Basic settings et que l'option CSV est sélectionnée dans la liste déroulante File type.

Identity insert

Cette option est disponible uniquement lorsque l'option Copy (Copier) est sélectionnée dans la liste déroulante Load method (Méthode de chargement) de la vue Basic settings (Paramètres simples) .

Cette option est disponible uniquement lorsque l'option Copy (Copier) est sélectionnée dans la liste déroulante Load method (Méthode de chargement) de la vue Basic settings (Paramètres simples) .

Cette option est disponible uniquement lorsque l'option PloyBase est sélectionnée dans la liste déroulante Load method de la vue Basic settings et que l'option Delimited Text est sélectionnée dans la liste déroulante File format.

Cette option est disponible uniquement lorsque l'option PloyBase est sélectionnée dans la liste déroulante Load method de la vue Basic settings et que l'option Delimited Text est sélectionnée dans la liste déroulante File format.

Cette option est disponible uniquement lorsque l'option PloyBase est sélectionnée dans la liste déroulante Load method de la vue Basic settings et que l'option Delimited Text est sélectionnée dans la liste déroulante File format.

Décochez cette case pour stocker chaque valeur manquante dans le fichier délimité en tant que NULL.

Cette option est disponible uniquement lorsque l'option PloyBase est sélectionnée dans la liste déroulante Load method de la vue Basic settings et que l'option Delimited Text est sélectionnée dans la liste déroulante File format.

Cette option est disponible uniquement lorsque l'option Hive RCFile est sélectionnée dans la liste déroulante File format.

• Reject type : spécifiez comment traiter les lignes rejetées.

  • Value : si le nombre de lignes rejetées dépasse la valeur spécifiée dans le champ Reject value, le chargement échoue.
  • Percentage : si le pourcentage de lignes rejetées dépasse la valeur spécifiée dans le champ Reject value, le chargement échoue.

• Reject value : valeur de rejet selon le type de rejet. Pour un pourcentage, la valeur est celle du pourcentage, sans le symbole %.

• Reject sample value : nombre de lignes à tenter de récupérer avant le calcul du pourcentage des lignes rejetées.

Cette option n'est disponible que pour l'option PolyBase de la liste déroulante Load method (Méthode de chargement).

Pour plus d'informations concernant les options de rejet, consultez CREATE EXTERNAL TABLE.

Cette option est disponible uniquement lorsqu'une option relative à la création de table est sélectionnée dans la liste déroulante Action on table.

Cette option est disponible uniquement lorsque l'option Hash est sélectionnée dans la liste déroulante Distribution Option.

Cette option est disponible uniquement lorsqu'une option relative à la création de table est sélectionnée dans la liste déroulante Action on table.

Cette option est disponible uniquement lorsque l'option Clustered Index est sélectionnée dans la liste déroulante Table Option.

• Partition column name : spécifiez le nom de la colonne utilisée pour partitionner la table.

• Range : spécifiez la manière d'inclure la valeur limite dans la plage de limite.

  • Left : la valeur limite est incluse dans la plage gauche de la limite.

  • Right : la valeur limite est incluse dans la plage droite de la limite.

• Partition For Values : spécifiez les valeurs (séparées par une virgule) utilisées pour la partition.

Pour plus d'informations concernant les partitions de tables, consultez Partitionnement de tables dans SQL Data Warehouse.

Cette option est disponible uniquement lorsqu'une option relative à la création de table est sélectionnée dans la liste déroulante Action on table.

tStatCatcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant.

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères.

NB_LINE_INSERTED

Nombre de lignes insérées. Cette variable est une variable After et retourne un entier.

Règle d'utilisation

Ce composant peut être utilisé en standalone dans un Job ou un sous-Job.

Limitation

Certaines fonctionnalités supportées par d'autres bases de données ne sont pas supportées par Azure Synapse Analytics. Pour plus d'informations, consultez Fonctionnalités de table non supportées.