tJapaneseTokenize

Ce composant segmente du texte japonais.

La segmentation est une étape de pré-traitement importante et prépare du texte pour une analyse ultérieure, la translittération, la fouille de textes ou des tâches de traitement du langage naturel.

Contrairement à l'anglais et au français, aucun espace ne marque les limites entre les mots en japonais. Segmenter du texte japonais est donc plus difficile.

En se basant sur le dictionnaire IPADIC, le tJapaneseTokenize déduit l'existence des limites entre les mots et ajoute un espace pour séparer les segments.

Le dictionnaire IPADIC a été développé par l'Agence de Promotion des technologies de l'Information japonaise (IPA). Ce dictionnaire est basé sur le corpus de l'IPA et est le dictionnaire le plus utilisé pour segmenter du texte en japonais.

En mode local, les versions 2.4.0 et supérieures d'Apache Spark sont supportées.

Ce composant n'est pas intégré par défaut à votre Studio Talend. Vous devez l'installer à l'aide du gestionnaire des fonctionnalités. Pour plus d'informations, consultez Installer les fonctionnalités à l'aide du Gestionnaire des fonctionnalités.