日本語テキストをトークン化する
このシナリオは、Talend Data Management Platform、Talend Big Data Platform、Talend Real-Time Big Data Platform、Talend Data Services Platform、Talend Data Fabricにのみ適用されます。
tJapaneseTokenizeコンポーネントを使って、日本語のテキストをトークンに分割できます。
以下で説明する例を複製するには、tJapaneseTokenize_standard_scenario.zipファイルをダウンロードします。
tJapaneseTokenize_standard_scenario.zipファイルは、以下によって構成されています。
- 日本語のテキスト、文字起こし、英語の翻訳が含まれたプレーンテキストファイルinputJapaneseText.txt。
- ジョブが含まれたtJapaneseTokenizeJob.zipファイル。