組み込みとベクターデータベースを使用して電話レビューをインデックス化する

• [ディレクトリー]フィールドに、"<folder_path>/phone-reviews/"と入力または選択します。
• [ファイル]フィールドに、行を追加して"*.txt"と入力し、ディレクトリー内のすべてのテキストファイル(LG.txtとIphones.txt)を一覧表示します。

• [ファイル名]フィールドに、((String)globalMap.get("tFileList_1_CURRENT_FILEPATH"))と入力して、リストから各電話レビューファイルを読み込みます。

• チャンク (文字列)

• [カラムを同期]をクリックし、前のコンポーネントからカラムスキーマを取得します。
• [開始コード]フィールドに次のコードを入力します。

  //String regex = "(?:\\d(?:\\.\\d)?[A-Z]{5})\\b";
  //Pattern pattern = Pattern.compile(regex);
  int nbParts=2;

• [メインコード]フィールに、バイトコンテンツを文字列に変換してより小さなチャンクに分割するための次のコードを入力します。

   //System.out.println(part);
  String input = row7.content.toString();
  String[] lines = input.split("\\r?\\n");
  int nbLines=lines.length;
  int linesPerPart = nbLines / nbParts;
  int remainder = nbLines % nbParts;
  int linesProcessed = 0;
  //System.out.println("nb lines:"+nbLines); 
   for (int i = 0; i < nbParts; i++) {
              StringBuilder partBuilder = new StringBuilder();
              int linesInThisPart = linesPerPart + (remainder > 0 ? 1 : 0);
              remainder--;
              for (int j = 0; j < linesInThisPart; j++) {
              partBuilder.append(lines[linesProcessed]).append(" ");
              linesProcessed++;
              }
                             
              String body=partBuilder.toString();
              row8.chunk=body;
              //System.out.println("text:"+body);
              globalMap.put("id",((String)globalMap.get("tFileList_1_CURRENT_FILE"))+i);
              globalMap.put("chunk",body);
                          

  情報メモ注: このコードは、電話レビューのテキストをより小さなチャンクに分割することで、ベクターデータベースにおける分析の精度向上や、より正確なセマンティック検索を可能にします。
• [終了コード]フィールドに次のコードを入力します。

  
  }

このコンポーネントは、分割された電話レビューテキストをテーブル形式でコンソールに表示します。

• [スキーマを編集]をクリックし、スキーマに組み込み(リスト)のカラムがあることを確認します。
• [プラットフォーム]リストから[Azure OpenAI]を選択します。
• [モデル名]フィールドで[...]ボタンをクリックし、[text-embedding-3-small]を選択します。
• [トークン/APIキー]フィールドで[...]ボタンをクリックし、Azure OpenAI APIキーを入力して[OK]をクリックします。
• [Azureエンドポイント]フィールドに、Azure OpenAIのエンドポイントを入力します(例: https://your-resource-name.openai.azure.com/)。
• [組み込み用のカラム]リストで、[チャンク]を選択します。

このコンポーネントは、各電話レビューのテキストチャンクごとにベクターの組み込みを生成します。

このコンポーネントは、生成された組み込みデータをコンソールに表示します。

• id (文字列)
• vector(リスト) - 組み込み入力カラムにマッピングします
• text (文字列)

このマッピングにより、すべてのメタデータがtPineconeClientに正しく転送されていることが確認されます。idおよびvaluesカラムは、Pineconeでのアップサート操作に必須です。

• [スキーマを編集]をクリックし、スキーマにupsertedCount(Int)のカラムがあることを確認します。
• [APIキー]フィールドで[...]ボタンをクリックし、Pinecone APIキーを入力して[OK]をクリックします。
• [ホスト]フィールドに、Pineconeインデックスのホストを入力してください(例: "your-index-name.svc.environment.pinecone.io"）。
• [操作]リストで[アップサーと]を選択し、ベクター化された電話レビューデータをPineconeインデックスにロードします。
• [ネームスペース]フィールドにネームスペース名(例: phones)を入力するか、空欄のままにしてデフォルトのネームスペースを使用します。

  

このコンポーネントは、アップサートされたレコードをコンソールに表示し、Pineconeへのロードが成功したことを確認します。