tEmbeddingAI

Schema et Edit schema

Un schéma est une description de lignes et définit les champs à traiter et à passer au composant suivant.

• Built-in : le schéma est créé et conservé localement pour ce composant seulement.

• Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets.

Créez le schéma en cliquant sur le bouton Edit Schema. Si vous effectuez des modifications, le schéma passe automatiquement en type built-in.

• View schema : sélectionnez cette option afin de voir uniquement le schéma.

• Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales.

• Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs.

  Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.

• Si vous utilisez Amazon Bedrock, seuls les modèles Amazon Titan Text Embedding v1 et v2 sont supportés. La méthode d'authentification Chaîne de fournisseurs d'informations d'identification par défaut est utilisée, ce qui signifie que l'accès au Service AWS peut être configuré dans une chaîne.
• Si vous utilisez Google Vertex AI, la méthode d'authentification Identifiants par défaut de l'application  est utilisée, ce qui signifie qu'aucun paramètre supplémentaire ne doit être configuré, car les identifiants sont automatiquement récupérés en fonction de l'environnement de l'application.
• Si vous utilisez Hugging Face, l'exception "Model thenlper/gte-large is currently loading" du seveur peut survenir occasionnellement. Elle est due au fait que le modèle utilisé est un cold model (en anglais). L'erreur ne s'affiche plus lors de la tentative suivante.
• Si vous utilisez ONNX, des erreurs de dépassement de mémoire peuvent survenir, car les modèles ONNX sont locaux et consomment de la mémoire. Il est recommandé de configurer les paramètres de la JVM à 2 Go minimum dans les profils d'exécution de Jobs.

• Model name : cliquez sur le bouton [...] près du champ pour sélectionner le modèle intégré.
• Token/API Key : cliquez sur le bouton [...] près du champ pour saisir le jeton d'accès à votre plateforme Dashscope.

Vous pouvez renseigner l'URL du serveur d'API dans le paramètre Base URL de la vue Advanced settings.

• Model name : cliquez sur le bouton [...] près du champ pour sélectionner le modèle intégré.
• Region : cliquez sur le bouton [...] près du champ pour sélectionner l'emplacement Amazon multi-région à utiliser.

• Model name : cliquez sur le bouton [...] près du champ pour sélectionner le modèle intégré.
• Token/API Key : cliquez sur le bouton [...] près du champ pour saisir le jeton d'accès à votre plateforme Azure OpenAI.
• Azure endpoint : saisissez le point de terminaison via lequel accéder à votre API de service Azure OpenAI.

• Model name : cliquez sur le bouton [...] près du champ pour sélectionner le modèle intégré.
• Token/API Key : cliquez sur le bouton [...] près du champ pour saisir le jeton d'accès à votre plateforme Cohere.

Vous pouvez renseigner l'URL du serveur d'API dans le paramètre Base URL de la vue Advanced settings.

• Model name : cliquez sur le bouton [...] près du champ pour sélectionner le modèle intégré.
• Location : saisissez l'emplacement Google Cloud multi-région à utiliser. Consultez Emplacements Vertex AI pour plus d'informations.
• Google endpoint : saisissez le point de terminaison régional correspondant à votre emplacement. Consultez Emplacements Vertex AI pour plus d'informations.
• Google project ID : saisissez l'ID de votre projet Google Cloud. Consultez Trouver votre ID de projet Google Cloud pour plus d'informations.

  Exemple : my-sample-project-370819

• Model name : cliquez sur le bouton [...] près du champ pour sélectionner le modèle intégré.
• Token/API Key : cliquez sur le bouton [...] près du champ pour saisir le jeton d'accès à votre plateforme Hugging Face.

Vous pouvez renseigner l'URL du serveur d'API dans le paramètre Base URL de la vue Advanced settings.

• Model name : cliquez sur le bouton [...] près du champ pour sélectionner le modèle intégré.
• Token/API Key : cliquez sur le bouton [...] près du champ pour saisir le jeton d'accès à votre plateforme Mistral AI.

Vous pouvez renseigner l'URL du serveur d'API dans le paramètre Base URL de la vue Advanced settings.

Cochez la case Use local ONNX file pour utiliser un fichier tokenizer local de segmentation. Spécifiez le chemin du modèle et du tokenizer, ainsi que le mode de pooling à appliquer. Si cette case n'est pas cochée, le fichier tokenizer embarqué par défaut est utilisé.

Consultez Introduction to ONNX (en anglais) pour plus d'informations.

Sélectionnez ou saisissez la colonne de schéma à appliquer sur le modèle d'intégration.

tStatCatcher Statistics

Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant.

Cette option est disponible pour les plateformes Ali Bailian, Cohere, Hugging Face et Mistral AI.

ERROR_MESSAGE

Message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères.

Ce composant peut être utilisé en standalone ou en tant que composant de début dans un Job ou un sous-Job.