Laissez vos commentaires ici
Définir les paramètres de connexion à Amazon EMR Serverless avec Spark Universal
Pourquoi et quand exécuter cette tâche
Le se connecte à EMR Serverless afin d'exécuter le Job depuis ce cluster.
Procédure
- Cliquez sur la vue Run sous l'espace de modélisation graphique, puis cliquez sur la vue Spark configuration.
-
Sélectionnez Built-in dans la liste déroulante Property type.
Si vous avez déjà configuré les paramètres de connexion dans le Repository, comme expliqué dans Centraliser une connexion à Hadoop, vous pouvez réutiliser ces paramètres. Pour ce faire, sélectionnez Repository dans la liste Property type, cliquez sur le bouton [...] pour ouvrir la boîte de dialogue Repository Content et sélectionnez la connexion à Hadoop à utiliser.Note InformationsConseil : Configurer la connexion dans le Repository vous permet d'éviter de configurer cette connexion chaque fois que vous en avez besoin dans la vue Spark Configuration de vos Jobs Spark. Les champs sont automatiquement renseignés.
- Sélectionnez Universal dans la liste déroulante Distribution, la version Spark de votre choix dans la liste déroulante Version et EMR Serverless dans la liste déroulante Runtime mode/environment (Mode/environnement du Runtime).
-
Saisissez les informations simples de configuration :
-
Saisissez les informations de configuration d'EMR Serverless :
Paramètre Utilisation AWS role ARN (Rôle ARN AWS) Spécifiez l'ARN du rôle IAM attribuant à vos Jobs Spark les autorisations nécessaires pour accéder aux ressources AWS. AWS access Key (Clé d'accès AWS) Fournissez l'ID de la clé d'accès pour l'authentification de vos Jobs Spark aux services AWS. AWS region (Région AWS) Spécifiez la région géographique dans laquelle vos Jobs Spark s'exécutent et dans laquelle les ressources AWS sont utilisées. AWS secret Key Fournissez la clé d'accès secrète pour l'authentification de vos Jobs Spark aux services AWS. AWS session token (Jeton de session AWS) Fournissez le jeton de session temporaire pour l'authentification de vos Jobs Spark aux services AWS. Thread pool size for deployments tasks (Taille du pool de threads pour les tâches de déploiement) Configurez le nombre maximal de threads simultanés utilisés pour exécuter les opérations de déploiement. AWS socket timeout in ms (Délai avant expiration du socket AWS en ms) Configurez la période maximale de temps, en millisecondes, durant laquelle vos Jobs Spark attendent une réponse des services AWS avant leur expiration. AWS connection timeout in ms (Délai avant expiration de la connexion AWS en ms) Configurez la période maximale de temps, en millisecondes, durant laquelle vos Jobs Spark attendent l'établissement d'une connexion aux services AWS avant leur expiration. EMR application deployment timeout in ms (Délai avant expiration en ms du déploiement d'applications EMR) Configurez la période maximale de temps, en millisecondes, durant laquelle vos Jobs Spark attendent le déploiement d'une application EMR avant leur expiration. S3 JAR upload timeout in ms (Délai avant expiration en ms du chargement de JAR S3) Configurez la période maximale de temps, en millisecondes, durant laquelle vos Jobs Spark attendent le chargement des fichiers JAR vers Amazon S3 avant leur expiration. Deploy new application (Déployer une nouvelle application) Cochez cette case pour activer le déploiement automatique d'une nouvelle application EMR Serverless pour vos Jobs Spark, plutôt que d'utiliser une application existante. Application ID (ID de l'application) Spécifiez l'identifiant unique de l'application EMR Serverless utilisée pour exécuter vos Jobs Spark. AWS S3 bucket name (Nom du bucket AWS S3) Spécifiez le nom du bucket Amazon S3 dans lequel vos Jobs Spark stockent et récupèrent les données. AWS S3 key (Clé AWS S3) Spécifiez la clé de l'objet (chemin et nom de fichier) de votre bucket Amazon S3 dans lequel vos Jobs Spark stockent ou récupèrent des fichiers.
Résultats
Cette page vous a-t-elle aidé ?
Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.