Définir les paramètres de connexion Synapse avec Spark Universal
Avant de commencer
Procédure
- Cliquez sur la vue Run sous l'espace de modélisation graphique, puis cliquez sur la vue Spark configuration.
-
Sélectionnez Built-in dans la liste déroulante Property type.
Si vous avez déjà configuré les paramètres de connexion dans le Repository, comme expliqué dans Centraliser une connexion à Hadoop, vous pouvez réutiliser ces paramètres. Pour ce faire, sélectionnez Repository dans la liste Property type, cliquez sur le bouton [...] pour ouvrir la boîte de dialogue Repository Content et sélectionnez la connexion à Hadoop à utiliser.Note InformationsConseil : Configurer la connexion dans le Repository vous permet d'éviter de configurer cette connexion chaque fois que vous en avez besoin dans la vue Spark Configuration de vos Jobs Spark. Les champs sont automatiquement renseignés.
- Sélectionnez Universal dans la liste déroulante Distribution, la version Spark de votre choix dans la liste déroulante Version et Synapse dans la liste déroulante Runtime mode/environment (Mode/environnement du Runtime).
-
Saisissez les informations simples de configuration pour vous connecter à Azure Synapse :
Paramètre Utilisation Endpoint Saisissez le point de terminaison de développement dans le champ Development endpoint de votre compte Azure Synapse. Vous pouvez le trouver dans la section Overview de votre espace de travail Azure Synapse. Authorization token Saisissez le jeton généré pour votre compte Azure Synapse. Note InformationsRemarque : Pour générer un jeton, vous devez saisir la commande suivante :curl -X post -H "Content-Type: application/x-www-form-urlencoded" -d 'client_id=<YourClientID>&scope=https://dev.azuresynapse.net/.default&client_secret=<YourClientSecret>&grant_type=client_credentials' 'https://login.microsoftonline.com/<YourTenantID>/oauth2/v2.0/token'Vous pouvez récupérer votre ID client, votre Secret client et votre ID de tenant depuis votre portail Azure.
L'authentification à Azure Synapse est effectuée via l'application Azure Active Directory. Pour plus d'informations concernant l'enregistrement dans Azure Active Directory, consultez Utiliser le portail pour créer une application et un principal du service Azure AD pouvant accéder aux ressources dans la documentation Microsoft officielle.
Note InformationsImportant : Le jeton est valide pendant une heure. Après une heure, générez un nouveau jeton pour éviter une erreur 401 : Not authorized error (Utilisateur non autorisé).Apache Spark pools Saisissez, entre guillemets doubles, le nom du pool Apache Spark à utiliser. Note InformationsRemarque : Du côté de l'espace de travail Azure Synapse, assurez-vous que :- l'option Autoscale dans la vue Basic settings et l'option Automatic pausing dans la vue Additional settings sont activées lors de la création d'un pool Apache Spark
- la version sélectionnée d'Apache Spark est configurée à 3.0 (preview)
Poll interval when retrieving Job status (in ms) Saisissez, sans guillemet, l'intervalle de temps (en millisecondes) à la fin duquel vous souhaitez que le demande à Spark le statut de votre Job. La valeur par défaut est 3000, ce qui signifie 30 secondes.
Maximum number of consecutive statuses missing Saisissez le nombre maximal de tentatives de demandes de statut du lorsqu'il n'y a pas de réponse. La valeur par défaut est 10.
-
Saisissez les informations simples de stockage d'Azure Synapse :
Paramètre Utilisation Authentication method Sélectionnez dans la liste déroulante le mode d'authentification à utiliser : - Secret Key
- Azure Active Directory
Storage Sélectionnez le stockage à utiliser dans la liste déroulante. ADLS Gen2 est le stockage par défaut pour l'espace de travail Azure Synapse Analytics. Si vous utilisez l'authentification Azure Active Directory, assurez-vous que l'application est liée à ADLS Gen2 avec le rôle Storage Blob Data Contribution attribué.
Nom d'hôte Saisissez le compte Primary ADLS Gen2 account de votre compte Azure Synapse. Vous pouvez le trouver dans la section Overview de votre espace de travail Azure Synapse. Container Saisissez le compte Primary ADLS Gen2 account de votre compte Azure Synapse. Vous pouvez le trouver dans la section Overview de votre espace de travail Azure Synapse. Username Saisissez le nom du compte de stockage lié à votre espace de travail Azure Synapse. Cette propriété est disponible uniquement lorsque vous sélectionnez Secret Key dans la liste déroulante Authentication method.
Password Saisissez les clés d'accès liées à votre espace de travail Azure Synapse. Pour plus d'informations concernant la récupération de vos clés d'accès, consultez Gérer les clés d’accès au compte de stockage dans la documentation Microsoft officielle.
Cette propriété est disponible uniquement lorsque vous sélectionnez Secret Key dans la liste déroulante Authentication method.
Directory ID Saisissez l'ID du répertoire lié à votre application Azure Active Directory. Vous pouvez récupérer votre ID depuis l'onglet Azure Active Directory > Overview de votre portail Azure. Cette propriété est disponible uniquement lorsque vous sélectionnez l'option Azure Active Directory dans la liste déroulante Authentication method.
Application ID Saisissez l'ID de l'application liée à votre application Azure Active Directory. Vous pouvez récupérer votre ID depuis l'onglet Azure Active Directory > Overview de votre portail Azure. Cette propriété est disponible uniquement lorsque vous sélectionnez l'option Azure Active Directory dans la liste déroulante Authentication method.
Use certificate to authenticate Cochez cette case pour vous authentifier à votre application Azure Active Directory à l'aide d'un certificat et saisissez l'emplacement de stockage du certificat dans le champ Path to certificate. Assurez-vous de charger le certificat dans la section Certificates & secrets > Certificates de votre application Azure Active Directory. Pour plus d'informations concernant les certificats, consultez la documentation Microsoft officielle.
Cette propriété est disponible uniquement lorsque vous sélectionnez l'option Azure Active Directory dans la liste déroulante Authentication method.
Client key Saisissez la clé client·e liée à votre application Azure Active Directory. Vous pouvez générer la clé client·e depuis l'onglet Certificates & secrets de votre portail Azure. Cette propriété est disponible uniquement lorsque vous sélectionnez l'option Azure Active Directory dans la liste déroulante Authentication method et que vous décochez la case Use certificate to authentication.
Deployment Blob Saisissez l'emplacement où vous souhaitez stocker le Job et ses bibliothèques dépendantes dans votre stockage. -
Saisissez les informations simples de configuration :
-
Saisissez les propriétés d'ajustement de Synapse en suivant le processus présenté dans Personnalisation de Spark pour les Jobs Apache Spark Batch.
Note InformationsImportant : Pour éviter une erreur 400 : Bad Request error (Erreur - syntaxe incorrecte), assurez-vous de définir les paramètres d'ajustement.
Résultats
Cette page vous a-t-elle aidé ?
Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.