tEmbeddingAI

[Schema] (スキーマ)と[Edit schema] (スキーマを編集)

スキーマとは行の説明で、処理された後に次のコンポーネントに渡されるフィールドを定義するものです。

• [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

• [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。変更を加えると、スキーマは自動的に組み込みになります。

• [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

• [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

• [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

  変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

• Amazon Bedrockを使用している場合は、Amazon Titan Text Embedding v1およびv2モデルのみがサポートされ、デフォルトの認証情報プロバイダーチェーン認証方式が使用されるので、AWSサービスへのアクセスはチェーンで設定できるようになります。
• Google Vertex AIを使用している場合は、アプリケーションのデフォルトの認証情報による認証が使用されます。つまり、認証情報がアプリケーション環境に基づいて自動的に検出されるため、追加のパラメーターを定義する必要がありません。
• Hugging Faceを使用している場合、"Model thenlper/gte-large is currently loading"というサーバー例外が発生することがありますが、これは使われているモデルがコールドモデルであることが原因です。このエラーは、次回の再試行で表示されなくなります。
• ONNXを使用している場合、ONNXモデルはローカルであり、メモリを消費するため、メモリ不足エラーが発生することがあります。ジョブ実行プロファイルの設定で、JVMパラメーターを2GB以上に設定することをお勧めします。

• [Model name] (モデル名): フィールドの横にある[...]ボタンをクリックし、目的の組み込みモデルを選択します。
• [Token/API Key] (トークン/APIキー): フィールドの横にある[...]ボタンをクリックし、お使いのDashscopeプラットフォームへのアクセストークンを入力します。

• [Model name] (モデル名): フィールドの横にある[...]ボタンをクリックし、目的の組み込みモデルを選択します。
• [Region] (リージョン): フィールドの横にある[...]ボタンをクリックし、使用したいAmazonのリージョンを1つ選択します。

• [Model name] (モデル名): フィールドの横にある[...]ボタンをクリックし、目的の組み込みモデルを選択します。
• [Token/API Key] (トークン/APIキー): フィールドの横にある[...]ボタンをクリックし、お使いのAzure OpenAIプラットフォームへのアクセストークンを入力します。
• [Azure endpoint] (Azureエンドポイント): Azure OpenAIサービス API にアクセスするためのエンドポイントを入力します。

• [Model name] (モデル名): フィールドの横にある[...]ボタンをクリックし、目的の組み込みモデルを選択します。
• [Token/API Key] (トークン/APIキー): フィールドの横にある[...]ボタンをクリックし、お使いのCohereプラットフォームへのアクセストークンを入力します。

• [Model name] (モデル名): フィールドの横にある[...]ボタンをクリックし、目的の組み込みモデルを選択します。
• [Location] (ロケーション): 使用したいGoogle Cloudマルチリージョンのいずれかのロケーションを入力します。詳細は、Vertex AI locationsをご覧ください。
• [Google endpoint] (Googleエンドポイント): お住まいのリージョンに対応する適切なリージョンのエンドポイントを入力します。詳細は、Vertex AI locationsをご覧ください。
• [Google project ID] (GoogleプロジェクトID): お使いのGoogle CloudプロジェクトIDを入力します。詳細は、Find your Google Cloud project IDをご覧ください。

  例: my-sample-project-370819

• [Model name] (モデル名): フィールドの横にある[...]ボタンをクリックし、目的の組み込みモデルを選択します。
• [Token/API Key] (トークン/APIキー): フィールドの横にある[...]ボタンをクリックし、お使いのHugging Faceプラットフォームへのアクセストークンを入力します。

ローカルのトークナイザーファイルを使用する場合は、[Use local ONNX file] (ローカルのONNXファイルを使用)チェックボックスをオンにします。モデルとトークナイザーのパス、および適用するプーリングモードを指定します。未選択の場合は、デフォルトで組み込まれているトークナイザーファイルが使用されます。

詳細は、Introduction to ONNXをご覧ください。

組み込みモデルを適用したいスキーマカラムを選択、または入力します。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

このコンポーネントはスタンドアロンコンポーネントとして、またはジョブまたはサブジョブの開始コンポーネントとして使えます。