Accéder au contenu principal

tJapaneseTokenize

Ce composant segmente du texte japonais.

La segmentation est une étape de pré-traitement importante et prépare du texte pour une analyse ultérieure, la translittération, la fouille de textes ou des tâches de traitement du langage naturel.

Contrairement à l'anglais et au français, aucun espace ne marque les limites entre les mots en japonais. Segmenter du texte japonais est donc plus difficile.

En se basant sur le dictionnaire IPADIC, le tJapaneseTokenize déduit l'existence des limites entre les mots et ajoute un espace pour séparer les segments.

Le dictionnaire IPADIC a été développé par l'Agence de Promotion des technologies de l'Information japonaise (IPA). Ce dictionnaire est basé sur le corpus de l'IPA et est le dictionnaire le plus utilisé pour segmenter du texte en japonais.

En mode local, les versions 1.6, 2.1, 2.3, 2.4 et 3.0 d'Apache Spark sont supportées.

Pour plus de technologies supportées par Talend, consultez Composants Talend.

Selon le produit Talend que vous utilisez, ce composant peut être utilisé dans un framework de Jobs, dans plusieurs, ou dans tous les frameworks :

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.