Centraliser les métadonnées BigQuery

Vous pouvez utiliser l'assistant de métadonnées BigQuery dans le Studio Talend pour créer une connexion à BigQuery réutilisable et récupérer des schémas de tables pour vos Jobs.

Procédure

Dans la vue Repository (Référentiel), développez Metadata (Métadonnées), cliquez-droit sur le nœud Google BigQuery et sélectionnez l'option permettant de créer une nouvelle connexion à BigQuery.
Dans l'assistant de métadonnées BigQuery, saisissez un nom et une description pour la connexion.
Cliquez sur Next (Suivant).

Renseignez les paramètres requis de la connexion pour votre environnement Google BigQuery :

Propriété	Description
Mode d'authentification	Sélectionnez le mode à utiliser pour vous authentifier à votre projet : Service account : authentification à l'aide d'un compte Google associé à votre projet Google Cloud Platform. Lorsque vous sélectionnez ce mode, les identifiants doivent être fournis dans le champ Service account credentials file. Workload Identity Federation : authentifiez-vous via un pool d'identités de Workload Google, vous permettant l'intégration avec des fournisseurs d'identité comme AWS, Azure ou OIDC, sans nécessiter de clé de compte de service. Lorsque vous sélectionnez ce mode, la configuration de la fédération d'identités doit être fournie dans le champ Client Library Configuration File (Fichier de configuration de la bibliothèque cliente). Application Default Credentials (Identifiants par défaut pour l'application) : authentification à l'aide de la méthode Application Default Credentials (Identifiants par défaut pour l'application). Lorsque vous sélectionnez ce mode, aucun paramètre supplémentaire ne doit être défini, car les identifiants sont automatiquement trouvés en se basant sur l'environnement de l'application. OAuth2 - Authorization Code grant (Attribution du code d'autorisation) : authentification à l'aide des identifiants OAuth. Lorsque vous sélectionnez ce mode, les identifiants OAuth doivent être fournis dans les champs Client ID (ID du client), Client Secret (Secret du client) et Authorization Code (Code d'autorisation). OAuth Access Token : authentifiez-vous à l'aide d'un jeton d'accès OAuth. Lorsque vous sélectionnez ce mode, le jeton doit être fourni dans le champ OAuth Access Token. Pour plus d'informations concernant l'authentification Google Cloud, consultez la documentation relative à l'authentification Google Cloud.
Project ID	Collez l'ID du projet hébergeant le service Google BigQuery à utiliser. L'ID de votre projet se trouve dans l'URL de la console de l'API Google ou en passant votre curseur sur le nom du projet dans BigQuery Browser Tool.
Service account credentials file	Saisissez le chemin d'accès au fichier contenant les identifiants créé pour le compte de service à utiliser. Ce fichier doit être stocké sur la machine sur laquelle le Job Talend est actuellement lancé et exécuté. Cette propriété est disponible uniquement lorsque vous vous authentifiez à l'aide d'un Service account (Compte de service).
Use a custom region endpoint (Utiliser un endpoint de région personnalisé)	Cochez cette case pour utiliser un endpoint (point de terminaison) privé plutôt que l'endpoint par défaut. Lorsque la case est cochée, saisissez l'URL en respectant le format suivant : "https://bigquery.goggleapis.com". Pour plus d'informations, consultez Accéder aux API Google via des points de terminaison dans la documentation Google. Cette propriété est disponible uniquement lorsque vous vous authentifiez à l'aide d'un Service account (Compte de service).
Client ID et Client Secret	Collez l'ID et le secret du client pour que le client OAuth configuré puisse accéder à Google BigQuery et Cloud Storage. Cette propriété est disponible uniquement lorsque vous vous authentifiez à l'aide de la méthode OAuth2 - Authorization Code grant (Attribution du code d'autorisation).
Redirect URI	Saisissez l'URI de redirection configuré pour votre client OAuth dans Google Cloud. Cette valeur doit correspondre exactement à l'URI de redirection autorisé. Cette propriété est disponible uniquement lorsque vous vous authentifiez à l'aide de la méthode OAuth2 - Authorization Code grant (Attribution du code d'autorisation).
Authorization Code	Collez le code d'autorisation fourni par Google pour l'accès en cours de configuration. Pour obtenir le code d'autorisation pour la configuration des métadonnées, laissez ce champ vide et cliquez sur Check Connection (Vérifier la connexion). Ouvrez l'URL affichée par le Studio, autorisez la requête et copiez-collez dans ce champ le code d'autorisation retourné.
OAuth Access Token	Saisissez un jeton d'accès. La durée de vie d'un jeton est d'une heure. Le composant n'effectue pas d'opération d'actualisation du jeton mais récupère le nouveau jeton pour une opération après la limite d'une heure. Cette propriété est disponible uniquement lorsque vous vous authentifiez à l'aide d'un Jeton d'accès OAuth.

Cliquez sur Check Connection (Vérifier la connexion) pour vérifier vos paramètres et cliquez sur Next (Suivant).
Cochez les cases correspondant aux tables dont vous souhaitez récupérer les schémas, puis cliquez sur Finish (Terminer).
La nouvelle connexion à BigQuery s'affiche sous le nœud BigQuery dans la vue Repository (Référentiel).

Résultats

Vous pouvez glisser-déposer la connexion ou l'un de ses schémas depuis la vue Repository (Référentiel) dans l'espace de modélisation graphique afin de réutiliser les informations de connexion et de schéma. Pour plus d'informations, consultez Comment utiliser les métadonnées centralisées dans un Job.

Pour mettre à jour les métadonnées de connexion, cliquez-droit sur la connexion dans la vue Repository (Référentiel) et sélectionnez l'option de modification pour les métadonnées BigQuery.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici