Tinysegmenter. Sehr kompakter japanischer Tokenizer
Jetzt downloaden

Tinysegmenter. Ranking & Zusammenfassung

Tinysegmenter. Stichworte

japanisch Python-Bibliothek Python Tokenizer

Tinysegmenter. Beschreibung

Tinysegmenter ist ein Python-Hafen von Tinysegmenter (ein extrem kompakter (23 kb) japanischer Tokenizer, das ursprünglich in JavaScript von Mr. Taku Kudo verfasst wurde. Es funktioniert auf Python 2.5 oder oben. Installationsee Installieren Sie Datei.UsageExample-Code für die direkte Verwendung:> TinySegment-Code importieren Segmenter = TinySegmenter.tinysegmenter ()> drucken '|' .join (Segmenter.Token (U " ")) | | | | | "TinySegmenter in Python" ist die Schnittstelle Kompatibel mit NLTK-Tokenizeri, obwohl die untenstehende Verteilungsdatei nicht direkt von NLTK abhängt. Wenn Sie es als Tokenizer in NLTK verwenden möchten, müssen Sie die ersten Zeilen des Codes wie unten ändern (so können Sie nicht Verwenden Sie jetzt die PYPI-Repository-Version, wenn Sie dies tun möchten. Holen Sie sich die Quellen.): Importieren NLTKIMPORT REFROM NLTK.Tokenize.API Import * Klasse TinySegmenter (Tokenizeri): Homepage des Produkts

Tinysegmenter. Zugehörige Software