Propriétés du tSample MapReduce (déprécié)
Ces propriétés sont utilisées pour configurer le tSample s'exécutant dans le framework de Jobs MapReduce.
Le composant tSample MapReduce appartient à la famille Processus en cours.
Le composant de ce framework est disponible dans tous les produits Talend avec Big Data et dans Talend Data Fabric.
Le framework MapReduce est déprécié à partir de la version 7.3 de Talend. Utilisez des Jobs Talend pour Apache Spark afin d'accomplir vos tâches d'intégration.Basic settings
Schema et Edit Schema |
Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs. Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :
|
Sampling fraction |
Saisissez un ratio pour la taille de l'échantillon à traiter. Par exemple, saisissez 0.1. Le ratio des données de l'échantillon par rapport au total de données traitées est de 10 %. |
Use a seed for random number generator |
Saisissez un nombre positif de graine (le nombre qui commence une séquence aléatoire de nombres générés) afin de pouvoir reproduire le même échantillon. |
Global Variables
Variables globales |
ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, lorsque le composant contient cette case. Une variable Flow fonctionne durant l'exécution d'un composant. Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. À partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser. Pour plus d'informations concernant les variables, consultez le Guide d'utilisation du Studio Talend. |
Utilisation
Règle d'utilisation |
Ce composant est un composant intermédiaire passant des échantillons d'ensembles de données au composant suivant. Cet échantillonnage s'effectue sans remplacement. Vous devez être familiarisé avec les statistiques et l'échantillonnage. Ce composant, ainsi que la famille MapReduce à laquelle il appartient, n'apparaît que lorsque vous créez un Job Map/Reduce. Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données et non des Jobs Map/Reduce. |
Hadoop Connection |
Vous devez utiliser l'onglet Hadoop Configuration de la vue Run afin de définir la connexion à une distribution Hadoop donnée pour le Job complet. Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie. |