tJapaneseTokenize

日本語のテキストをトークンに分割します。

トークン化は重要な前処理ステップであり、後続の分析、翻字、テキストマイニングまたは自然言語処理タスクのためのテキストデータを準備します。

英語やフランス語と違って、日本語では単語の境界を示すスペースがありません。日本語のテキストをトークンに分割することは、より困難です。

IPADICディクショナリーに基づいて、tJapaneseTokenizeは単語の境界が存在する場所を推測し、トークンを区切るためのスペースを追加します。

IPADICディクショナリーは、情報技術振興機構(IPA)によって開発されたものです。このディクショナリーはIPAコーパスに基づいており、日本のトークン化で最も広く使われているディクショナリーです。

ローカルモードでは、Apache Spark 2.4.0以降のバージョンがサポートされています。

デフォルトで、このコンポーネントはTalend Studioと共には出荷されていません。機能マネージャーを使ってインストールする必要があります。 詳細は、機能マネージャーを使って機能をインストールをご覧ください。