Profiler un fichier ADLS Databricks via Hive

Le pilote JDBC est un fichier Jar que vous devez créer afin de créer une connexion JDBC.

1. Allez à la page de téléchargement des pilotes (uniquement en anglais) de Databricks et enregistrez-vous.
2. Téléchargez le pilote JDBC.
3. Rendez-vous sur la page Studio Talend.
4. Dans le menu, cliquez sur Window > Show view....
5. Dans la boîte de dialogue Show view, commencez à saisir Modules.
6. Sous Talend, sélectionnez Modules et cliquez sur Open (Ouvrir).

   

7. Dans la vue Modules, cliquez sur .
8. Parcourez votre système jusqu'au fichier Jar et cliquez sur Open.

Vous devez créer une table externe et configurer un paramètre pour profiler un fichier ADLS Databricks Gen2.

1. Dans l'onglet Configuration de la page de votre cluster Databricks, développez Advanced options.
2. Dans l'onglet Spark, ajoutez les propriétés Spark suivantes : spark.hadoop.fs.azure.account.key.<storage_account>.dfs.core.windows.net <key>

   Cette clé est associée au compte de stockage à utiliser. Cette clé se trouve dans le panneau Access keys de ce compte de stockage. Deux clés sont disponibles pour chaque compte. Par défaut, n'importe laquelle peut être utilisée pour accéder au compte.

   Assurez-vous que le compte à utiliser contient les droits d'accès en lecture écriture appropriés.

1. Dans l'arborescence DQ Repository, développez Metadata et cliquez-droit sur DB Connections.
2. Cliquez sur Create DB Connection.
   L'assistant Database Connection s'affiche.
3. Saisissez un nom puis cliquez sur Next. Les autres champs sont requis.
4. Sélectionnez JDBC dans DB Type.
5. Dans le champ JDBC URL, saisissez l'URL de votre cluster ADLS Databricks. Pour obtenir l'URL :
   1. Allez dans Azure Databricks.
   2. Dans la liste des clusters, cliquez sur le cluster auquel vous souhaitez vous connecter.
   3. Développez la section Advanced Options et sélectionnez l'onglet JDBC/ODBC.
   4. Copiez le contenu du champ JDBC URL. Le format d'URL est jdbc:spark://<server-hostname>:<port>/default;transportMode=http;ssl=1;httpPath=<http-path>;AuthMech=3.
      Note InformationsNote: Pour chiffrer le jeton de manière sécurisée, il est recommandé de saisir les paramètres UID et PWD dans l'assistant Database Connection du Studio Talend.
6. Retournez dans l'assistant Database Connection.
7. Collez l'URL JDBC.
8. Ajoutez le pilote JDBC à la liste Drivers :
   1. Cliquez sur le bouton [+]. Une nouvelle ligne est ajoutée à la liste.
   2. Cliquez sur le bouton […] près de la nouvelle ligne. La boîte de dialogue Module s'ouvre.
   3. Dans la liste Platform, sélectionnez le pilote JDBC et cliquez sur OK. Vous retournez dans l'assistant Database Connection.
9. Cliquez sur Select class name à côté du champ Driver Class et sélectionnez com.simba.spark.jdbc4.Driver.
10. Saisissez l'identifiant User Id et le mot de passe Password.
11. Dans le fichier Mapping file, sélectionnez Mapping Hive.
12. Cliquez sur Test Connection.
    • Si le test est réussi, cliquez sur Finish pour fermer l'assistant.
    • Si le test échoue, vérifiez la configuration.

Après avoir créé une connexion à un cluster ADLS Databricks via Hive, vous pouvez créer une analyse de profiling sur un fichier spécifique.

1. Dans la vue DQ Repository, développez Metadata > DB Connections > la connexion JDBC > Tables.
2. Dans le dossier Columns, sélectionnez les colonnes à analyser et cliquez-droit sur celles-ci.
   Note InformationsTip: Pour créer une analyse sur toutes les colonnes, cliquez-droit sur le nom de la table.
3. Passez votre curseur sur Column Analysis et sélectionnez le type d'analyse.
   L'assistant Create New Analysis s'ouvre.
4. Saisissez un nom et cliquez sur Finish. Les autres champs sont facultatifs.
   Une nouvelle analyse sur le fichier ADLS sélectionné est automatiquement créée et s'ouvre dans l'éditeur d'analyse. Selon le type d'analyse sélectionné, les indicateurs sont automatiquement attribués aux colonnes.

   L'analyse s'applique à la table Hive, mais calcule les statistiques des données depuis ADLS en utilisant le mécanisme External tables. External tables conserve les données du fichier original en dehors de Hive. Si le fichier ADLS que vous avez choisi d'analyser est supprimé, l'analyse ne peut plus s'exécuter.

5. Si nécessaire :
   • Modifiez les colonnes à analyser : Dans l'onglet Data Preview, cliquez sur Select Columns.
   • Ajoutez plus d'indicateurs ou de nouveaux modèles aux colonnes : Dans l'onglet Analyzed Columns, cliquez sur Select Indicators.
6. Exécutez l'analyse pour afficher les résultats dans la vue Analysis Results de l'éditeur.