Propriétés du tAzureAdlsGen2Output Standard

Type de propriété

Sélectionnez la manière de configurer les informations de connexion.

• Built-In : les paramètres de connexion seront définis localement pour ce composant. Vous devez spécifier manuellement les valeurs pour toutes les propriétés de connexion.

• Repository : les paramètres de connexion stockés centralement dans le Repository > Metadata seront réutilisés par ce composant.

  Vous devez cliquer sur le bouton [...] et, dans la boîte de dialogue Repository Content, sélectionnez les détails de connexion à réutiliser. Toutes les propriétés de connexion seront automatiquement renseignées.

Use an existing connection

Cochez cette case et sélectionnez le composant de connexion adéquat dans la liste Component list pour réutiliser les paramètres d'une connexion que vous avez déjà définie.

Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.

• Built-in : le schéma est créé et conservé localement pour ce composant seulement.

• Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets.

Créez le schéma en cliquant sur le bouton Edit Schema. Si vous effectuez des modifications, le schéma passe automatiquement en type built-in.

• View schema : sélectionnez cette option afin de voir uniquement le schéma.

• Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

• Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs.

  Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.

Sync columns

Cliquez sur ce bouton pour récupérer le schéma du composant précédent connecté dans le Job.

Authentication method

Sélectionnez l'une des méthodes d'authentification suivantes dans la liste déroulante.

• Shared key, qui nécessite une clé d'accès au compte. Consultez Gérer les clés d’accès au compte de stockage pour plus d'informations.
• Shared Access Signature, qui nécessite une signature d'accès partagé. Pour plus d'informations, consultez Créer une SAP de compte.
• Azure Active Directory, cochez cette option pour utiliser l'authentification Azure Active Directory lors de l'établissement de la connexion. Consultez Utiliser Authentification Microsoft Entra pour des informations associées.

Nom du compte

Saisissez le nom du compte Data Lake Store auquel accéder. Assurez-vous que l'administrateur du système a donné les droits d'accès appropriés à ce compte de stockage.

Endpoint suffix

Saisissez l'endpoint du service Azure Storage.

La combinaison du nom de compte et de l'endpoint de service Azure Storage forme l'endpoint du compte de stockage.

Shared key

Saisissez la clé associée au compte de stockage auquel vous devez accéder. Deux clés sont disponibles pour chaque compte. Par défaut, n'importe laquelle peut être utilisée pour accéder au compte. Pour plus d'informations concernant l'obtention de votre clé, consultez Gérer les clés d’accès au compte de stockage.

Ce champ est disponible si vous sélectionnez Shared key dans la liste déroulante Authentication method.

SAS Token

Saisissez le jeton SAS de votre compte. Vous pouvez obtenir le jeton de la signature d'accès partagé pour chaque service autorisé sur le portail de Microsoft Azure, après génération de la signature. Le format du jeton SAS est le suivant : https://<$storagename><$service>.core.windows.net/<$sastoken>, où <$storagename> est le nom du compte de stockage, <$service> le nom du service autorisé (blob, file, queue ou table) et <$sastoken> la valeur du jeton de signature d'accès partagé. Pour plus d'informations, consultez Constructing the Account SAS URI (en anglais).

Ce champ est disponible si vous sélectionnez Shared Access Signature (Signature d'accès partagé) dans la liste déroulante Authentication method (Méthode d'authentification).

Tenant ID

Saisissez l'ID du tenant Azure AD. Consultez Obtenir un jeton à partir d’Azure AD pour autoriser les requêtes à partir d’une application cliente pour plus d'informations.

Cette option est disponible uniquement lorsque vous sélectionnez Azure Active Directory dans la liste déroulante Authentication method (Méthode d'authentification).

Client ID

Saisissez l'ID du client de votre application. Consultez Obtenir un jeton à partir d’Azure AD pour autoriser les requêtes à partir d’une application cliente pour plus d'informations.

Cette option est disponible uniquement lorsque vous sélectionnez Azure Active Directory dans la liste déroulante Authentication method (Méthode d'authentification).

Client Secret

Saisissez le secret du client de votre application. Consultez Obtenir un jeton à partir d’Azure AD pour autoriser les requêtes à partir d’une application cliente pour plus d'informations.

Pour saisir le secret du client, cliquez sur le bouton [...] près du champ Client secret pour ouvrir la boîte de dialogue Enter a new password et saisissez le secret du client dans le champ de texte, puis cliquez sur OK. Vous pouvez saisir le secret du client comme une chaîne de caractères JSON en mode pure password ou comme une expression Java en mode Java mode. Vous pouvez passer d'un mode à l'autre en cliquant sur switch to Java mode ou switch to pure password mode au-dessus du champ de texte.

Cette option est disponible uniquement lorsque vous sélectionnez Azure Active Directory dans la liste déroulante Authentication method (Méthode d'authentification).

Check connection

Cliquez sur ce bouton pour valider les paramètres de connexion fournis.

Filesystem

Saisissez le nom du conteneur d'objets Blob cible.

Vous pouvez également cliquer sur le bouton ... à droite de ce champ et sélectionner le conteneur de Blobs voulu dans la liste de dans la boîte de dialogue.

Blobs path

Saisissez le chemin d'accès au blob cible.

Format

Configurez le format des données entrantes. Les formats suivants sont supportés : CSV, AVRO, JSON et Parquet.

Field Delimiter

Configurez le séparateur de champs. Vous pouvez sélectionner Semicolon, Comma, Tabulation et Space dans la liste déroulante. Vous pouvez également sélectionner Other et saisir votre séparateur personnalisé dans le champ Custom field delimiter.

Record Separator

Configurez le séparateur d'enregistrments. Vous pouvez sélectionner LF, CR et CRLF dans la liste déroulante. Vous pouvez également sélectionnée Other et saisir votre séparateur personnalisé dans le champ Custom Record Separator.

Text Enclosure Character

Saisissez le caractère utilisé pour entourer le texte.

Escape character

Saisissez le caractère d'échappement de la ligne.

Header

Cochez cette case pour insérer une ligne d'en-tête aux données. L'en-tête utilisera le schéma des noms de colonnes.

File Encoding

Sélectionnez l'encodage du fichier dans la liste déroulante.

Statistiques du tStatCatcher

Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant.

Max batch size

Configurez le nombre maximal de lignes autorisées dans chaque lot.

Ne modifiez pas la valeur par défaut, à moins de rencontrer un problème de performance. Augmenter la taille des lots peut améliorer les performances mais paramétrer une valeur trop haute peut causer des échecs dans les Jobs.

Timeout

Spécifiez un délai avant expiration (en secondes) pour la création de la connexion. Une erreur sera générée si la connexion n'est pas créée correctement au cours du délai evant expiration.

Blob Template Name

Saisissez une chaîne de caractères servant de préfixe aux fichiers Blob générés. Le nom d'un fichier Blob généré correspondra au préfixe du nom, suivit d'une chaine de caractères différente.

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères.

NB_LINE

Nombre de lignes correctement traitées. Cette variable est une variable After et retourne un entier.

Ce composant est généralement utilisé comme composant de fin dans un Job ou un sous-Job et nécessite un lien d'entrée.