Propriétés du tDynamoDBLookupInput pour Apache Spark Streaming
Ces propriétés sont utilisées pour configurer le tDynamoDBLookupInput s'exécutant dans le framework de Jobs Spark Streaming.
Le composant tDynamoDBLookupInput Spark Streaming appartient à la famille Bases de données.
Le composant de ce framework est disponible dans Talend Real Time Big Data Platform et dans Talend Data Fabric.
Basic settings
Use an existing connection |
Cochez cette case et sélectionnez le composant de connexion adéquat dans la liste Component list pour réutiliser les paramètres d'une connexion que vous avez déjà définie. |
Access Key |
Saisissez l'ID de la clé d'accès identifiant de manière unique un compte AWS. Pour plus d'informations concernant l'obtention de vos Access Key et Secret Key, consultez Obtention de vos clés d'accès AWS (uniquement en anglais). |
Secret Key |
La Secret Access Key, combinée à la clé d'accès, constitue votre accès sécurisé à Amazon S3. Pour saisir la clé secrète, cliquez sur le bouton [...] à côté du champ Secret key, puis, dans la boîte de dialogue qui s'ouvre, saisissez le mot de passe entre guillemets doubles puis cliquez sur OK afin de sauvegarder les paramètres. |
Region |
Spécifiez la zone géographique AWS en sélectionnant le nom d'une zone géographique dans la liste ou en saisissant le nom de la zone entre guillemets doubles ("us-east-1" par exemple) dans la liste. Pour plus d'informations concernant les zones géographiques AWS, consultez Régions et points de terminaison AWS (uniquement en anglais). |
Use End Point |
Cochez cette case et dans le champ Server Url affiché, spécifiez l'URL du service Web du service de base de données DynamoDB. |
Schema et Edit schema |
Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs.
|
|
Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :
|
Table Name |
Spécifiez le nom de la table de laquelle les données de référence sont extraites. |
Advanced key condition expression |
Saisissez les expressions de condition clé utilisée pour déterminer les éléments à lire depuis la table ou l'index. Le résultat de la requête doit contenir uniquement les enregistrements correspondant à la clé de jointure à utiliser dans le tMap. En d'autres termes, vous devez utiliser le schéma du flux principal vers le tMap pour construire l'instruction SQL ici, afin de charger uniquement les enregistrements correspondants dans le flux Lookup. Cette approche assure qu'aucun enregistrement redondant n'est chargé en mémoire et écrit en sortie dans le composant qui suit. |
Value mapping |
Spécifiez les valeurs factices pour les valeurs des attributs des expressions.
Pour plus d'informations, consultez Expression de noms d'attributs (uniquement en anglais). |
Die on error |
Cochez cette case pour arrêter l'exécution du Job lorsqu'une erreur survient. |
Advanced settings
Propriétés avancées |
Ajoutez des propriétés pour définir les opérations supplémentaires que vous souhaitez que le tDynamoDBInput effectue lors de la lecture des données. Cette table est présente pour les évolutions futures du composant et l'utiliser requiert un haut niveau de connaissances en développement DynamoDB. Actuellement, aucune propriété personnalisable n'est disponible. |
Utilisation
Règle d'utilisation |
Ce composant est utilisé en tant que composant de début et nécessite un lien de sortie. Ce composant doit utiliser un tDynamoDBConfiguration dans le même Job pour se connecter à une base de données DynamoDB. Vous devez déposer un tDynamoDBConfiguration près de ce composant et en configurer les propriétés simples (Basic settings) pour utiliser le tDynamoDBConfiguration. Ce composant, ainsi que les composants Spark Streaming de la Palette à laquelle il appartient, s'affichent uniquement lorsque vous créez un Job Spark Streaming. Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données. |
Connexion à Spark |
Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :
Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie. |