Propriétés du tSnowflakeInput pour Apache Spark Batch (aperçu technique)

Ces propriétés sont utilisées pour configurer le tSnowflakeInput s'exécutant dans le framework de Jobs Spark Batch.

Le composant tSnowflakeInput Spark Batch appartient à la famille Bases de données.

Le composant de ce framework est disponible dans tous les produits Talend avec Big Data nécessitant une souscription et dans Talend Data Fabric.

Basic settings

Use an existing configuration	Cochez cette case et sélectionnez le composant de connexion adéquat dans la liste Component list pour réutiliser les paramètres d'une connexion que vous avez déjà définie.
Account	Dans le champ Account, saisissez, entre guillemets doubles, le nom qui vous a été assigné par Snowflake.
Region	Sélectionnez une région AWS ou Azure dans la liste déroulante.
Authentication method	Sélectionnez la méthode d'authentification. Key Pair : sélectionnez cette option si l'authentification par paire de clés est activée. Pour plus d'informations concernant l'authentification par paire de clés, consultez Using Key Pair Authentication (en anglais). Note InformationsRemarque : Avant de sélectionner l'option Key Pair, assurez-vous de configurer les données d'authentification par paire de clés dans la vue Basic settings du composant tSetKeystore, comme suit. Laissez le champ TrustStore type tel quel. Configurez TrustStore file à `""`. Effacez le contenu du champ TrustStore password. Sélectionnez Need Client authentication. Saisissez le chemin d'accès au fichier KeyStore, entre guillemets doubles dans le champ KeyStore file (ou cliquez sur le bouton […] à droite du champ KeyStore file et parcourez votre système jusqu'au fichier KeyStore). Saisissez le mot de passe du fichier KeyStore dans le champ KeyStore password. Décochez la case Check server identity. Note InformationsRemarque : L'option Key Pair est disponible uniquement avec les distributions EMR 5.29 et CDH 6.1 lorsque vous utilisez Spark v2.4 ou supérieure en mode Spark local.
Username et Password	Saisissez entre guillemets doubles, vos informations d'authentification à Snowflake. Dans le champ User ID, saisissez, entre guillemets doubles, votre identifiant défini dans Snowflake via le paramètre LOGIN_NAME de Snowflake. Pour plus d'informations, contactez l'administrateur de votre système Snowflake. Pour saisir le mot de passe, cliquez sur le bouton [...] à côté du champ Password, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles et cliquez sur OK afin de sauvegarder les paramètres.
Database	Saisissez, entre guillemets doubles, le nom de la base de données Snowflake à utiliser. Ce nom est sensible à la casse et est normalement en lettres capitales dans Snowflake.
Warehouse	Saisissez, entre guillemets doubles, le nom de l'entrepôt Snowflake à utiliser. Ce nom est sensible à la casse et est normalement en lettres capitales dans Snowflake.
Schema et Edit Schema	Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé `line` lors du nommage des champs. Built-in : le schéma est créé et conservé localement pour ce composant seulement. Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets. Si le type de données Snowflake à gérer est VARIANT, OBJECT ou ARRAY, lorsque vous définissez le schéma dans le composant, sélectionnez `String` pour les données correspondantes dans la colonne Type de l'éditeur de schéma. Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles : View schema : sélectionnez cette option afin de voir uniquement le schéma. Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales. Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content. Notez que, si la valeur d'entrée d'un champ primitif non nullable est nulle, la ligne de données comprenant ce champ sera rejetée. Ce composant offre la fonction de schéma dynamique. Cela vous permet de récupérer des colonnes inconnues de fichiers sources ou de copier des lots de colonnes d'une source sans avoir à mapper chaque colonne individuellement. Pour plus d'informations concernant les schémas dynamiques, consultez Schéma dynamique. Cette fonctionnalité de schéma dynamique est conçue pour permettre de récupérer des colonnes inconnues d'une table. Il est recommandé de l'utiliser uniquement à cet effet et non pour créer des tables.
Table Name	Saisissez, entre guillemets doubles, le nom de la table Snowflake à utiliser. Ce nom est sensible à la casse et est normalement en majuscules dans Snowflake.
Read from	Sélectionnez `Table` ou `Query` dans la liste déroulante.
Propriétés de la connexion	Saisissez, entre guillemets doubles, une propriété de connexion et sa valeur associée dans les colonnes correspondantes. Vous pouvez trouver les propriétés disponibles dans Setting Configuration Options for the Connector, dans la documentation officielle de Snowflake.

Paramètres avancés

Allow Snowflake to convert columns and tables to uppercase	Cochez cette case pour passer les minuscules en majuscules, dans le nom de la table et des colonnes du schéma définies. Notez que les identifiants doivent correspondre à la syntaxe des identifiants Snowflake. Lorsque cette case est décochée, tous les identifiants sont automatiquement placés entre guillemets. Cette propriété est disponible uniquement lorsque la case Manual Query est cochée. Pour plus d'informations concernant la syntaxe des identifiants Snowflake, consultez Identifier Syntax (en anglais).
Use Custom Region	Cochez cette case pour utiliser les régions Snowflake personnalisées.
Custom Region	Saisissez, entre guillemets doubles, le nom de la région à utiliser. Ce nom est sensible à la casse et est normalement en majuscules dans Snowflake.
Trim all the String/Char columns	Cochez cette case pour supprimer les espaces en début et en fin de champ dans toutes les colonnes contenant des chaînes de caractères.
Trim columns	Supprimez les espaces en début et en fin de champ dans les colonnes sélectionnées.

Utilisation

Règle d'utilisation	Ce composant est utilisé en tant que composant de début et nécessite un lien de sortie. Utilisez un composant tSnowflakeConfiguration : mettez à jour le composant du même Job pour vous connecter à Snowflake.
Connexion à Spark	Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers : Yarn mode (Yarn Client ou Yarn Cluster) : Lorsque vous utilisez Google Dataproc, spécifiez un bucket dans le champ Google Storage staging bucket de l'onglet Spark configuration. Lorsque vous utilisez HDInsight, spécifiez le blob à utiliser pour le déploiement du Job, dans la zone Windows Azure Storage configuration de l'onglet Spark configuration. Lorsque vous utilisez Altus, spécifiez le bucket S3 ou le stockage Azure Data Lake Storage (aperçu technique) pour le déploiement du Job, dans l'onglet Spark configuration. Lorsque vous utilisez des distributions sur site (on-premises), utilisez le composant de configuration correspondant au système de fichiers utilisé par votre cluster. Généralement, ce système est HDFS et vous devez utiliser le tHDFSConfiguration. Standalone mode : utilisez le composant de configuration correspondant au système de fichiers que votre cluster utilise, comme le tHDFSConfiguration Apache Spark Batch ou le tS3Configuration Apache Spark Batch. Si vous utilisez Databricks sans composant de configuration dans votre Job, vos données métier sont écrites directement dans DBFS (Databricks Filesystem). Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Règle d'utilisation

Ce composant est utilisé en tant que composant de début et nécessite un lien de sortie.

Utilisez un composant tSnowflakeConfiguration : mettez à jour le composant du même Job pour vous connecter à Snowflake.

Connexion à Spark

Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :

Yarn mode (Yarn Client ou Yarn Cluster) :
- Lorsque vous utilisez Google Dataproc, spécifiez un bucket dans le champ Google Storage staging bucket de l'onglet Spark configuration.
- Lorsque vous utilisez HDInsight, spécifiez le blob à utiliser pour le déploiement du Job, dans la zone Windows Azure Storage configuration de l'onglet Spark configuration.
- Lorsque vous utilisez Altus, spécifiez le bucket S3 ou le stockage Azure Data Lake Storage (aperçu technique) pour le déploiement du Job, dans l'onglet Spark configuration.
- Lorsque vous utilisez des distributions sur site (on-premises), utilisez le composant de configuration correspondant au système de fichiers utilisé par votre cluster. Généralement, ce système est HDFS et vous devez utiliser le tHDFSConfiguration.
Standalone mode : utilisez le composant de configuration correspondant au système de fichiers que votre cluster utilise, comme le tHDFSConfiguration Apache Spark Batch ou le tS3Configuration Apache Spark Batch.

Si vous utilisez Databricks sans composant de configuration dans votre Job, vos données métier sont écrites directement dans DBFS (Databricks Filesystem).

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici