学習方法

$ ./extract< corpus.txt> features.txt

$ g++ -O3 -o train train.cpp# コンパイル$ ./train -t 0.001 -n 10000 features.txt model# 学習

$ ./segment model私の名前は中野です私 の 名前 は 中野 です

マルチスレッドで学習

$ g++ -DMULTITHREAD -lboost_thread-mt -O3 -o train train.cpp

学習済みモデル

再学習

$ ./train -t 0.0001 -n 10000 -M model features.txt model_new

ライブラリの作成

$ ./maker javascript< model$ ./maker perl< model$ ./maker ruby< medel$ ./maker python< model$ ./maker cpp< model$ ./maker tex< model$ ./maker vim< model$ ./maker go< model$ ./maker jsx< model$ ./maker csharp< model$ ./maker all< model# 上のライブラリをすべて作成します

JavaScript

<scriptsrc="tinysegmenter.js"></script><script>varsegmenter=newTinySegmenter();// インスタンス生成varsegs=segmenter.segment("私の名前は中野です");// 単語の配列が返るalert(segs.join(" | "));// 表示</script>

varTinySegmenter=require('./tinysegmenter.js').TinySegmenter;varsegmenter=newTinySegmenter();// インスタンス生成varsegs=segmenter.segment("私の名前は中野です");// 単語の配列が返るconsole.log(segs);

Perl

use utf8;use tinysegmenter;my$str ='私の名前は中野です';my@words = tinysegmenter->segment($str);

Ruby

require'./tinysegmenter'ts=TinySegmenter.newputsts.segment("私の名前は中野です");

Python

fromtinysegmenterimportTinySegmentersegmenter=TinySegmenter()printsegmenter.segment(u'私の名前は中野です')

C++

#include<iostream>#include<string>#include<vector>#include"tinysegmenter.hpp"usingnamespacestd;intmain() {    TinySegmenter segmenter;    string s ="私の名前は中野です";    vector<string> v = segmenter.segment(s);for(int i =0; i < v.size(); ++i) {        cout << v[i] << endl;    }}

TeX

\documentclass{jsarticle}\usepackage{tinysegmenter}\begin{document}\TinySegmenter{-}{私の名前は中野です}\end{document}

Vim script

:echotinysegmenter#segment('私の名前は中野です')

Go

package mainimport ("fmt""tinysegmenter")funcmain() {s:=tinysegmenter.NewSegmenter()segs:=s.Segment("私の名前は中野です")for_,seg:=rangesegs {fmt.Printf("%s\n",seg)}}

JSX

import"tinysegmenter.jsx";class_Main{staticfunctionmain(args :string[]) :void{logTinySegmenter.segment("私の名前は中野です");}}

Csharp

staticvoidMain(string[]args){tinysegmentersegmenter=newtinysegmenter();List<string>segments=segmenter.Segment("私の名前は中野です");for(inti=0;i<segments.Count;i++){Console.WriteLine(segments[i]);}}

Julia

using TinySegmentertokenize("私の名前は中野です")