Propriétés du tLinearRegressionModel pour Apache Spark Batch

Ces propriétés sont utilisées pour configurer le tLinearRegressionModel s'exécutant dans le framework de Jobs Spark Batch.

Le composant tLinearRegressionModel Spark Batch appartient à la famille Apprentissage automatique.

Ce composant est disponible dans les produits Talend Platform avec Big Data et dans Talend Data Fabric.

Basic settings

Schema et Edit schema	Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé `line` lors du nommage des champs. Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles : View schema : sélectionnez cette option afin de voir uniquement le schéma. Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales. Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.
Label column	Sélectionnez la colonne d'entrée utilisée pour fournir des libellés de type Double (valeurs des variables dépendantes en termes de régression linéaire). Les enregistrements de cette colonne sont utilisés en tant que situations potentielles (la variation des variables dépendantes en termes de régression linéaire) dans lesquelles peut tomber un élément donné.
Feature column	Sélectionnez la colonne d'entrée utilisée pour fournir des caractéristiques de type Vector (valeurs des variables indépendantes ou explicatives en termes de régression linéaire). Très souvent, cette colonne est la sortie des calculs de pré-traitement des caractéristiques effectués par le tModelEncoder.
Save the model on file system	Cochez cette case pour stocker le modèle dans un système de fichiers donné. Sinon, le modèle est stocké dans la mémoire. Le bouton pour parcourir votre système ne fonctionne pas en mode Local de Spark. Si vous utilisez le mode Yarn ou Standalone de Spark, assurez-vous d'avoir correctement configuré la connexion dans un composant de configuration au sein du même Job, comme le tHDFSConfiguration.
ElasticNet mixing parameter	Saisissez le coefficient ElasticNet (valeur numérique) utilisé pour le calcul de régularisation afin de contrôler le compromis biais/variance dans la sélection des caractéristiques. ElasticNet est la combinaison des régularisations L1 et L2. La valeur à saisir varie entre 0.0 et 1.0, indiquant les poids des régularisations L1 et L2 dans la combinaison ElasticNet. Lorsque la valeur est 0.0, la régularisation est équivalente à la régularisation L2. Lorsque la valeur est 1.0, elle est égale à la régularisation L1. Pour plus d'informations concernant l'implémentation d'ElasticNet dans Spark, consultez ML linear methods (uniquement en anglais) (en anglais). La formule associée montre comment la valeur saisie (α dans cette formule) est utilisée pour calculer la régularisation ElasticNet. Pour plus d'informations concernant ElasticNet, consultez Regularization and variable selection via the elastic net (uniquement en anglais) (en anglais).
Fit an intercept term	Cochez cette case pour permettre au tLinearRegressionModel de calculer automatiquement les ordonnées à l'origine et les inclure dans les calculs de régression. De manière générale, les ordonnées à l’origine doivent être présentes afin de garantir que les résidus de votre modèle ont une moyenne de zéro.
Standardize features before fitting model	Cochez cette case pour mettre à l'échelle les caractéristiques, afin de les distribuer normalement.
Nombre maximal d'itérations	Saisissez le nombre d'itérations que vous souhaitez que le Job effectue pour apprendre le modèle.
Régularisation	Saisissez le coefficient de régularisation (valeur numérique) à utiliser avec ElasticNet pour le calcul de régularisation. Pour plus d'informations concernant l'implémentation de ce paramètre dans Spark, consultez ML linear methods (uniquement en anglais) (en anglais). La formule associée montre comment la valeur saisie (λ dans cette formule) est utilisée pour calculer une éventuelle régularisation.
Convergence tolerance	Saisissez le score de convergence attendu par les itérations. En général, une valeur plus faible permet une plus grande précision de prédiction mais demande plus d'itérations. Dans certains cas, votre modèle peut ne pas pouvoir atteindre la convergence configurée, malgré le nombre d'itérations que vous souhaitez que le Job effectue. L'échec de convergence peut indiquer que le score de convergence que vous avez utilisé n'est pas réaliste par rapport aux caractéristiques que vous traitez et donc, vous devez traiter ces caractéristiques à un degré supérieur.
Solver algorithm	Sélectionnez l'algorithme utilisé pour l'optimisation. Normal : cet algorithme utilise des équations normales. L-BFGS : cet algorithme effectue une approximation de l'algorithme BFGS à l'aide de ressources limitées de mémoire. Auto : le composant sélectionne l'un des algorithmes mentionnés ci-dessus.

Utilisation

Règle d'utilisation	Ce composant est utilisé en tant que composant de fin et requiert un lien d'entrée. Vous pouvez accélérer le processus d'apprentissage en ajustant les conditions d'arrêt, par exemple le nombre maximal d'itérations ou la tolérance de convergence.
Model evaluation	Les paramètres que vous devez configurer sont des paramètres libres. Leur valeur peut être fournie par des essais, des suppositions empiriques ou autres. Ils n'ont aucune valeur optimale applicable pour les ensembles de données. Vous devez effectuer un apprentissage pour le modèle de relation que vous générez avec différents jeux de valeurs de paramètres, jusqu'à ce que vous obteniez le meilleur résultat d'évaluation. Cependant, vous devez écrire vous-même le code d’évaluation, afin de noter votre modèle avec des scores. Pour des informations générales concernant la validation d'un modèle de relation basé sur une régression, consultez https://en.wikipedia.org/wiki/Regression_validation (uniquement en anglais) (en anglais).
Spark Connection	Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers : Yarn mode (Yarn Client ou Yarn Cluster) : Lorsque vous utilisez Google Dataproc, spécifiez un bucket dans le champ Google Storage staging bucket de l'onglet Spark configuration. Lorsque vous utilisez HDInsight, spécifiez le blob à utiliser pour le déploiement du Job, dans la zone Windows Azure Storage configuration de l'onglet Spark configuration. Lorsque vous utilisez Altus, spécifiez le bucket S3 ou le stockage Azure Data Lake Storage (aperçu technique) pour le déploiement du Job, dans l'onglet Spark configuration. Lorsque vous utilisez Qubole, ajoutez tS3Configuration à votre Job pour écrire vos données métier dans le système S3 avec Qubole. Sans tS3Configuration, ces données métier sont écrites dans le système Qubole HDFS et détruites une fois que vous arrêtez votre cluster. Lorsque vous utilisez des distributions sur site (on-premises), utilisez le composant de configuration correspondant au système de fichiers utilisé par votre cluster. Généralement, ce système est HDFS et vous devez utiliser le tHDFSConfiguration (en anglais). Standalone mode : utilisez le composant de configuration correspondant au système de fichiers que votre cluster utilise, comme le tHDFSConfiguration Apache Spark Batch ou le tS3Configuration Apache Spark Batch (en anglais). Si vous utilisez Databricks sans composant de configuration dans votre Job, vos données métier sont écrites directement dans DBFS (Databricks Filesystem). Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Règle d'utilisation

Ce composant est utilisé en tant que composant de fin et requiert un lien d'entrée.

Vous pouvez accélérer le processus d'apprentissage en ajustant les conditions d'arrêt, par exemple le nombre maximal d'itérations ou la tolérance de convergence.

Model evaluation

Les paramètres que vous devez configurer sont des paramètres libres. Leur valeur peut être fournie par des essais, des suppositions empiriques ou autres. Ils n'ont aucune valeur optimale applicable pour les ensembles de données.

Vous devez effectuer un apprentissage pour le modèle de relation que vous générez avec différents jeux de valeurs de paramètres, jusqu'à ce que vous obteniez le meilleur résultat d'évaluation. Cependant, vous devez écrire vous-même le code d’évaluation, afin de noter votre modèle avec des scores.

Pour des informations générales concernant la validation d'un modèle de relation basé sur une régression, consultez https://en.wikipedia.org/wiki/Regression_validation (uniquement en anglais) (en anglais).

Spark Connection

Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :

Yarn mode (Yarn Client ou Yarn Cluster) :
- Lorsque vous utilisez Google Dataproc, spécifiez un bucket dans le champ Google Storage staging bucket de l'onglet Spark configuration.
- Lorsque vous utilisez HDInsight, spécifiez le blob à utiliser pour le déploiement du Job, dans la zone Windows Azure Storage configuration de l'onglet Spark configuration.
- Lorsque vous utilisez Altus, spécifiez le bucket S3 ou le stockage Azure Data Lake Storage (aperçu technique) pour le déploiement du Job, dans l'onglet Spark configuration.
- Lorsque vous utilisez Qubole, ajoutez tS3Configuration à votre Job pour écrire vos données métier dans le système S3 avec Qubole. Sans tS3Configuration, ces données métier sont écrites dans le système Qubole HDFS et détruites une fois que vous arrêtez votre cluster.
- Lorsque vous utilisez des distributions sur site (on-premises), utilisez le composant de configuration correspondant au système de fichiers utilisé par votre cluster. Généralement, ce système est HDFS et vous devez utiliser le tHDFSConfiguration (en anglais).
Standalone mode : utilisez le composant de configuration correspondant au système de fichiers que votre cluster utilise, comme le tHDFSConfiguration Apache Spark Batch ou le tS3Configuration Apache Spark Batch (en anglais).

Si vous utilisez Databricks sans composant de configuration dans votre Job, vos données métier sont écrites directement dans DBFS (Databricks Filesystem).

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici