# tEmbeddingAI

利用対象...

* Cloud Data Fabric
* Data Fabric
* Qlik Talend Cloud Enterprise Edition
* Real-Time Big Data Platform

組み込みモデルを活用し、AIによってデータを効率的に処理します。

このコンポーネントをジョブで使用する方法の簡単な紹介については、以下の動画をご覧ください:

## tEmbeddingAIの標準プロパティ

これらのプロパティは、標準ジョブのフレームワークで実行されているtEmbeddingAIを設定するために使われます。

標準のtEmbeddingAIコンポーネントは、AIファミリーに属しています。

## 基本設定

| [Properties] (プロパティ) | 説明 |
| --- | --- |
| [Schema] (スキーマ)と[Edit schema] (スキーマを編集) | スキーマとは行の説明で、処理された後に次のコンポーネントに渡されるフィールドを定義するものです。<br><br><ul> <li> <p> <span>[Built-in] (組み込み)</span>: そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。</p> </li> <li> <p> <span>[Repository] (リポジトリー)</span>: スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。</p> </li> </ul><br><br>スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。変更を加えると、スキーマは自動的に組み込みになります。<br><br><ul> <li> <p> <span>[View schema] (スキーマを表示)</span>: スキーマのみを表示する場合は、このオプションを選択します。</p> </li> <li> <p> <span>[Change to built-in property] (組み込みのプロパティに変更)</span>: ローカルで変更を行うためにスキーマを<span>組み込み</span>に変更する場合は、このオプションを選択します。</p> </li> <li> <p> <span>[Update repository connection] (リポジトリー接続をアップデート)</span>: リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。</p> <p>変更を現在のジョブにのみ反映する場合は、変更後、<span>[No] (いいえ)</span>を選択し、<span>[Repository Content] (リポジトリーコンテンツ)</span>ウィンドウで再びこのスキーマのメタデータを選択します。</p> </li> </ul> |
| [Guess Schema] (推測スキーマ) | このボタンをクリックすると、設定に応じたスキーマを取得できます。 |
| Platform | 入力データの組み込みに使用するプラットフォームを選択します。<br><br><ul> <li><span>Amazon Bedrock</span>を使用している場合は、<a href="https://docs.aws.amazon.com/bedrock/latest/userguide/titan-embedding-models.html" target="_blank">Amazon Titan Text Embedding v1およびv2</a>モデルのみがサポートされ、<a href="https://docs.aws.amazon.com/sdk-for-java/latest/developer-guide/credentials-chain.html" target="_blank">デフォルトの認証情報プロバイダーチェーン</a>認証方式が使用されるので、AWSサービスへのアクセスはチェーンで設定できるようになります。</li> <li><span>Google Vertex AI</span>を使用している場合は、<a href="https://cloud.google.com/docs/authentication/provide-credentials-adc" target="_blank">アプリケーションのデフォルトの認証情報</a>による認証が使用されます。つまり、認証情報がアプリケーション環境に基づいて自動的に検出されるため、追加のパラメーターを定義する必要がありません。</li> <li><span>Hugging Face</span>を使用している場合、<span>"Model thenlper/gte-large is currently loading"</span>というサーバー例外が発生することがありますが、これは使われているモデルが<a href="https://huggingface.co/docs/api-inference/supported-models" target="_blank">コールドモデル</a>であることが原因です。このエラーは、次回の再試行で表示されなくなります。</li> <li><span>ONNX</span>を使用している場合、ONNXモデルはローカルであり、メモリを消費するため、メモリ不足エラーが発生することがあります。<a href="https://help.qlik.com/talend/ja-JP/remote-engine-user-guide-windows/cloud/job-run-profile" target="_blank">ジョブ実行プロファイルの設定</a>で、JVMパラメーターを2GB以上に設定することをお勧めします。</li> </ul> |
| Ali Bailian (DashScope)のパラメーター | <ul> <li> <span>[Model name] (モデル名)</span>: フィールドの横にある<span>[...]</span>ボタンをクリックし、目的の組み込みモデルを選択します。</li> <li> <span>[Token/API Key] (トークン/APIキー)</span>: フィールドの横にある<span>[...]</span>ボタンをクリックし、お使いのDashscopeプラットフォームへのアクセストークンを入力します。</li> </ul><br><br>APIサーバーのURLは、[詳細設定]の[ベースURL]パラメーターに入力できます。 |
| Amazon Bedrockのパラメーター | <ul> <li> <span>[Model name] (モデル名)</span>: フィールドの横にある<span>[...]</span>ボタンをクリックし、目的の組み込みモデルを選択します。</li> <li> <span>[Region] (リージョン)</span>: フィールドの横にある<span>[...]</span>ボタンをクリックし、使用したいAmazonのリージョンを1つ選択します。 </li> </ul> |
| Azure OpenAIのパラメーター | <ul> <li> <span>[Model name] (モデル名)</span>: フィールドの横にある<span>[...]</span>ボタンをクリックし、目的の組み込みモデルを選択します。</li> <li> <span>[Token/API Key] (トークン/APIキー)</span>: フィールドの横にある<span>[...]</span>ボタンをクリックし、お使いのAzure OpenAIプラットフォームへのアクセストークンを入力します。</li> <li> <span>[Azure endpoint] (Azureエンドポイント)</span>: Azure OpenAIサービス API にアクセスするためのエンドポイントを入力します。 </li> </ul> |
| Cohereのパラメーター | <ul> <li> <span>[Model name] (モデル名)</span>: フィールドの横にある<span>[...]</span>ボタンをクリックし、目的の組み込みモデルを選択します。</li> <li> <span>[Token/API Key] (トークン/APIキー)</span>: フィールドの横にある<span>[...]</span>ボタンをクリックし、お使いのCohereプラットフォームへのアクセストークンを入力します。</li> </ul><br><br>APIサーバーのURLは、[詳細設定]の[ベースURL]パラメーターに入力できます。 |
| Google Vertex AIのパラメーター | <ul> <li> <span>[Model name] (モデル名)</span>: フィールドの横にある<span>[...]</span>ボタンをクリックし、目的の組み込みモデルを選択します。</li> <li> <span>[Location] (ロケーション)</span>: 使用したいGoogle Cloudマルチリージョンのいずれかのロケーションを入力します。詳細は、<a href="https://cloud.google.com/vertex-ai/docs/general/locations" target="_blank">Vertex AI locations</a>をご覧ください。</li> <li> <span>[Google endpoint] (Googleエンドポイント)</span>: お住まいのリージョンに対応する適切なリージョンのエンドポイントを入力します。詳細は、<a href="https://cloud.google.com/vertex-ai/docs/general/locations" target="_blank">Vertex AI locations</a>をご覧ください。</li> <li> <span>[Google project ID] (GoogleプロジェクトID)</span>: お使いのGoogle CloudプロジェクトIDを入力します。詳細は、<a href="https://cloud.google.com/vertex-ai/docs/tutorials/tabular-bq-prediction/prerequisites#find-project-id" target="_blank">Find your Google Cloud project ID</a>をご覧ください。<p>例: <kbd>my-sample-project-370819</kbd> </p></li> </ul> |
| Hugging Faceのパラメーター | <ul> <li> <span>[Model name] (モデル名)</span>: フィールドの横にある<span>[...]</span>ボタンをクリックし、目的の組み込みモデルを選択します。</li> <li> <span>[Token/API Key] (トークン/APIキー)</span>: フィールドの横にある<span>[...]</span>ボタンをクリックし、お使いのHugging Faceプラットフォームへのアクセストークンを入力します。</li> </ul><br><br>APIサーバーのURLは、[詳細設定]の[ベースURL]パラメーターに入力できます。 |
| Mistral AIのパラメーター | <ul> <li> <span>[Model name] (モデル名)</span>: フィールドの横にある<span>[...]</span>ボタンをクリックし、目的の組み込みモデルを選択します。</li> <li> <span>[Token/API Key] (トークン/APIキー)</span>: フィールドの横にある<span>[...]</span>ボタンをクリックし、お使いのMistral AIプラットフォームへのアクセストークンを入力します。</li> </ul><br><br>APIサーバーのURLは、[詳細設定]の[ベースURL]パラメーターに入力できます。 |
| ONNXのパラメーター | ローカルのトークナイザーファイルを使用する場合は、[Use local ONNX file] (ローカルのONNXファイルを使用)チェックボックスをオンにします。モデルとトークナイザーのパス、および適用するプーリングモードを指定します。未選択の場合は、デフォルトで組み込まれているトークナイザーファイルが使用されます。<br><br>詳細は、[Introduction to ONNX](https://onnx.ai/onnx/intro/index.html)をご覧ください。 |
| [Column for embedding] (組み込み用のカラム) | 組み込みモデルを適用したいスキーマカラムを選択、または入力します。 |

## 詳細設定

| [Properties] (プロパティ) | 説明 |
| --- | --- |
| [tStatCatcher Statistics] (tStatCatcher統計) | このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。 |
| [Base URL] (ベースURL) | アクセスするAPIサーバーのベースURLを入力します。<br><br>このオプションは、Ali Bailian、Cohere、Hugging Face、Mistral AIプラットフォームで利用できます。 |

## [Global Variables] (グローバル変数)

| 変数 | 説明 |
| --- | --- |
| ERROR\_MESSAGE | エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。 |

## 使用方法

| 使用方法のガイダンス | 説明 |
| --- | --- |
| 使用ルール | このコンポーネントはスタンドアロンコンポーネントとして、またはジョブまたはサブジョブの開始コンポーネントとして使えます。 |

**関連タスク**

* [組み込みとベクターデータベースを使用して電話レビューをインデックス化する](https://help.qlik.com/talend/ja-JP/components/8.0/ai/tembeddingai-tpineconeclient-tmap-indexing-phone-reviews-with-embeddings-and-vector-db "このジョブは、フォルダー内の電話レビューのテキストファイルを読み込み、分析しやすいように内容を小さなチャンクに分割し、Azure OpenAIを使用してベクターの組み込みを生成し、それらをPineconeのベクターデータベースに保存することで、セマンティック検索を可能にします。")