Indexer des évaluations de téléphones avec une base de données et des intégrations vectorielles

• Dans le champ Directory, saisissez ou sélectionnez : "<folder_path>/phone-reviews/"
• Dans le champ Files, ajoutez une ligne et saisissez : "*.txt" pour lister tous les fichiers texte dans le répertoire (LG.txt et Iphones.txt).

• Dans le champ Filename, saisissez : ((String)globalMap.get("tFileList_1_CURRENT_FILEPATH")) pour lire chaque fichier d'évaluation de téléphones dans la liste.

• chunk (String)

• Cliquez sur Sync columns afin de récupérer le schéma du composant précédent.
• Dans le champ Start code, saisissez le code suivant :

  //String regex = "(?:\\d(?:\\.\\d)?[A-Z]{5})\\b";
  //Pattern pattern = Pattern.compile(regex);
  int nbParts=2;

• Dans le champ Main code, saisissez le code suivant pour convertir le contenu d'octets en chaîne de caractères et le diviser en morceaux plus petits :

   //System.out.println(part);
  String input = row7.content.toString();
  String[] lines = input.split("\\r?\\n");
  int nbLines=lines.length;
  int linesPerPart = nbLines / nbParts;
  int remainder = nbLines % nbParts;
  int linesProcessed = 0;
  //System.out.println("nb lines:"+nbLines); 
   for (int i = 0; i < nbParts; i++) {
              StringBuilder partBuilder = new StringBuilder();
              int linesInThisPart = linesPerPart + (remainder > 0 ? 1 : 0);
              remainder--;
              for (int j = 0; j < linesInThisPart; j++) {
              partBuilder.append(lines[linesProcessed]).append(" ");
              linesProcessed++;
              }
                             
              String body=partBuilder.toString();
              row8.chunk=body;
              //System.out.println("text:"+body);
              globalMap.put("id",((String)globalMap.get("tFileList_1_CURRENT_FILE"))+i);
              globalMap.put("chunk",body);
                          

  Note InformationsRemarque : Ce code scinde le texte d'évaluation des téléphones en morceaux plus petits, afin d'en faciliter l'analyse et de rendre la recherche sémantique plus précise dans la base de données vectorielle.
• Dans le champ End code, saisissez le code suivant :

  
  }

Ce composant affiche dans la console le texte d'évaluation des téléphones, scindé en morceaux, sous forme de table.

• Cliquez sur Edit schema et vérifiez que le schéma comporte la colonne suivante : embedding (List).
• Dans la liste Platform, sélectionnez Azure OpenAI.
• Dans le champ Model name, cliquez sur le bouton [...] et sélectionnez text-embedding-3-small.
• Dans le champ Token/API Key, cliquez sur le bouton [...] et saisissez votre clé API Azure OpenAI, puis cliquez sur OK.
• Dans le champ Azure endpoint, saisissez votre endpoint (point de terminaison) Azure OpenAI (par exemple : https://your-resource-name.openai.azure.com/).
• Dans la liste Column for embedding, sélectionnez chunk.

Ce composant génère des intégrations vectorielles pour chaque morceau de texte d'évaluation de téléphones.

Ce composant affiche les intégrations générées dans la console.

• id (String)
• vector (List) - Mappez-la à la colonne d'entrée embedding
• text (String)

Ce mapping vérifie que toutes les métadonnées sont bien transférées au composant tPineconeClient. Les colonnes id et values sont requises par Pinecone pour les opérations d'upsert.

• Cliquez sur Edit schema et vérifiez que le schéma comporte la colonne suivante : upsertedCount (Int).
• Dans le champ API Key, cliquez sur le bouton [...] et saisissez votre clé API Pinecone, puis cliquez sur OK.
• Dans le champ Host, saisissez l'hôte de votre index Pinecone (par exemple : "your-index-name.svc.environment.pinecone.io").
• Dans la liste Operation, sélectionnez Upsert pour charger les données d'évaluation vectorisées dans l'index Pinecone.
• Dans le champ Namespace, saisissez le nom de l'espace de noms (par exemple : phones") ou laissez le champ vide pour utiliser l'espace de noms par défaut.

  

Ce composant affiche les enregistrements ayant subi l'opération d'upsert dans la console, confirmant ainsi le bon chargement dans Pinecone.