# tChunking

利用対象...

* Cloud Data Fabric
* Data Fabric
* Qlik Talend Cloud Enterprise Edition
* Real-Time Big Data Platform

大型のテキストをより扱いやすい小さなチャンクに分割します。

デフォルトで、このコンポーネントはTalend Studioと共には出荷されていません。機能マネージャーを使ってインストールする必要があります。 詳細は、[機能マネージャーを使って機能をインストール](https://help.qlik.com/talend/r/ja-JP/8.0/studio-user-guide/install-features-to-talend-studio)をご覧ください。

## tChunkingの標準のプロパティ

これらのプロパティは、標準ジョブのフレームワークで実行されているtChunkingを設定するために使われます。

標準のtChunkingコンポーネントは、AIファミリーに属しています。

## 基本設定

| [Properties] (プロパティ) | 説明 |
| --- | --- |
| [Schema] (スキーマ)と[Edit Schema] (スキーマを編集) | <ul> <li> <p>スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語の<kbd>line</kbd>を避けます。</p> <p>ジョブで接続している先行コンポーネントからスキーマを取得するためには、<span>[Sync columns] (カラムを同期)</span>をクリックします。</p> <p>スキーマを変更するには<span>[Edit schema] (スキーマを編集)</span>をクリックします。現在のスキーマが<span>リポジトリー</span>タイプの場合は、3つのオプションを利用できます。</p> <ul> <li> <p> <span>[View schema] (スキーマを表示)</span>: スキーマのみを表示する場合は、このオプションを選択します。</p> </li> <li> <p> <span>[Change to built-in property] (組み込みのプロパティに変更)</span>: ローカルで変更を行うためにスキーマを<span>組み込み</span>に変更する場合は、このオプションを選択します。</p> </li> <li> <p> <span>[Update repository connection] (リポジトリー接続をアップデート)</span>: リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。</p> <p>変更を現在のジョブにのみ反映する場合は、変更後、<span>[No] (いいえ)</span>を選択し、<span>[Repository Content] (リポジトリーコンテンツ)</span>ウィンドウで再びこのスキーマのメタデータを選択します。</p> </li> </ul> </li> <li> <p> <span>[Built-in] (組み込み)</span>: そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。</p> </li> <li> <p> <span>[Repository] (リポジトリー)</span>: スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。</p> </li> </ul> |
| [Split column] (カラムを分割) | チャンクに分割しなければならないカラムを選択します。 |
| [Chunking method] (チャンキング方式) | ドロップダウンリストから方式を選択:<br><br><ul> <li> <span>[Fixed-size] (固定サイズ)</span>: 各チャンクには同じ文字数が含まれています。</li> <li> <span>[Token-based] (トークンベース)</span>: 各チャンクには同じ数のトークンが含まれています。</li> </ul><br><br>チャンクは、定義されたものかそれ以下のサイズになります。 |
| [Chunk size] (チャンクサイズ) | チャンクに含める必要がある文字やトークンの最大数を入力します。<br><br>[Chunking method] (チャンキング方式)が:<br><br><ul> <li> <span>[Fixed-size] (固定サイズ)</span>の場合。サイズは文字数によって決まります。たとえば、<kbd>How are you?</kbd>は12文字と等しくなります。</li> <li> <span>[Token-based] (トークンベース)</span>の場合。サイズはトークンによって決まります。<kbd>How are you?</kbd>は４トークンと等しくなります。<kbd>How</kbd>、<kbd>are</kbd>、<kbd>you</kbd>、<kbd>?</kbd>はそれぞれ1トークンです。</li> </ul> |
| [Chunk overlap] (チャンクの重複) | 隣接する2つのチャンク間で重複している文字やトークンの数を入力します。この数は[Chunk size] (チャンクサイズ)よりも小さくなる必要があります。<br><br>重複により、チャンク間の連続性とコンテキストが確保され、セグメンテーションによってテキストの流れと一貫性が損なわれることがなくなります。<br><br>重複は、チャンキング方式、[Fixed-size] (固定サイズ)、[Token-based] (トークンベース)のいずれかにに基づきます。 |
| [Tokenizer] (トークナイザー) | このオプションは、[Chunking method] (チャンキング方式)として[Token-based] (トークンベース)が選択されている場合に利用できます。<br><br>ドロップダウンリストでモデルを選択します。<br><br>Hugging Faceの場合は、他のモデルより時間がかかることがあります。 |

## 詳細設定

| [Properties] (プロパティ) | 説明 |
| --- | --- |
| [tStatCatcher Statistics] (tStatCatcher統計) | このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。 |

## 使用方法

| 使用方法のガイダンス | 説明 |
| --- | --- |
| **使用ルール** | このコンポーネントは中間ステップとして使用されます。入力フロート出力フローが必要になります。 |