TL;DR

pip install --upgrade'sudachipy>=0.6.10'

$ git clone https://github.com/WorksApplications/sudachi.rs.git$cd ./sudachi.rs$ cargo build --release$ cargo install --path sudachi-cli/$ ./fetch_dictionary.sh$echo"高輪ゲートウェイ駅"| sudachi高輪ゲートウェイ駅  名詞,固有名詞,一般,*,*,*    高輪ゲートウェイ駅EOS

Example

$echo 選挙管理委員会| sudachi選挙管理委員会  名詞,固有名詞,一般,*,*,*        選挙管理委員会EOS$echo 選挙管理委員会| sudachi --mode A選挙    名詞,普通名詞,サ変可能,*,*,*    選挙管理    名詞,普通名詞,サ変可能,*,*,*    管理委員    名詞,普通名詞,一般,*,*,*        委員会      名詞,普通名詞,一般,*,*,*        会EOS

$echo 打込む かつ丼 附属 vintage| sudachi打込む  動詞,一般,*,*,五段-マ行,終止形-一般     打ち込む        空白,*,*,*,*,*かつ丼  名詞,普通名詞,一般,*,*,*        カツ丼        空白,*,*,*,*,*附属    名詞,普通名詞,サ変可能,*,*,*    付属        空白,*,*,*,*,*vintage 名詞,普通名詞,一般,*,*,*        ビンテージEOS

$ cat lemon.txtえたいの知れない不吉な塊が私の心を始終圧えつけていた。焦躁と言おうか、嫌悪と言おうか――酒を飲んだあとに宿酔があるように、酒を毎日飲んでいると宿酔に相当した時期がやって来る。それが来たのだ。これはちょっといけなかった。$ sudachi --wakati lemon.txtえたい の 知れ ない 不吉 な 塊 が 私 の 心 を 始終 圧え つけ て い た 。焦躁 と 言おう か 、 嫌悪 と 言おう か ― ― 酒 を 飲ん だ あと に 宿酔 が ある よう に 、 酒 を 毎日 飲ん で いる と 宿酔 に 相当 し た 時期 が やっ て 来る 。それ が 来 た の だ 。 これ は ちょっと いけ なかっ た 。

Setup

1. Get the source code

git clone https://github.com/WorksApplications/sudachi.rs.git

2. Download a Sudachi Dictionary

Convenience Script

# fetch latest core dictionary./fetch_dictionary.sh# fetch dictionary of specified version and type./fetch_dictionary.sh 20241021 small

3. Build

cargo build --release

Build (bake dictionary into binary)

# Download dictionary to resources/system.dic$ ./fetch_dictionary.sh# Build with bake_dictionary feature (relative path)$ env SUDACHI_DICT_PATH=resources/system.dic cargo build --release --features bake_dictionary# or# Build with bake_dictionary feature (absolute path)$ env SUDACHI_DICT_PATH=/path/to/my-sudachi.dic cargo build --release --features bake_dictionary

4. Install

$cd sudachi.rs/$ cargo install --path sudachi-cli/$ which sudachi/Users/<USER>/.cargo/bin/sudachi$ sudachi -hsudachi 0.6.0A Japanese tokenizer...

Usage as a command

$ sudachi -hA Japanese tokenizerUsage: sudachi [OPTIONS] [FILE] [COMMAND]Commands:  build          Builds system dictionary  ubuild          Builds user dictionary  dumphelp          Print this message or thehelp of the given subcommand(s)Arguments:  [FILE]          Input text file: If not present,read from STDINOptions:  -r, --config-file<CONFIG_FILE>          Path to the setting filein JSON format  -p, --resource_dir<RESOURCE_DIR>          Path to the root directory of resources  -m, --mode<MODE>          Split unit:"A" (short),"B" (middle), or"C" (Named Entity) [default: C]  -o, --output<OUTPUT_FILE>          Output text file: If not present, use stdout  -a, --all          Prints all fields  -w, --wakati          Outputs only surface form  -d, --debug          Debug mode: Print the debug information  -l, --dict<DICTIONARY_PATH>          Path to sudachi dictionary. If None, it refer config andthen baked dictionary      --split-sentences<SPLIT_SENTENCES>          How to split sentences [default: yes]  -h, --help          Printhelp (see more with'--help')  -V, --version          Print version

Output

$echo"外国人参政権"| sudachi -a外国人参政権    名詞,普通名詞,一般,*,*,*        外国人参政権    外国人参政権    ガイコクジンサンセイケン      0       []EOS

echo"阿quei"| sudachipy -a阿      名詞,普通名詞,一般,*,*,*        阿      阿              -1      []      (OOV)quei    名詞,普通名詞,一般,*,*,*        quei    quei            -1      []      (OOV)EOS

$echo"外国人参政権"| sudachi -m A -w外国 人 参政 権

API

ToDo

References

Sudachi

Morphological Analyzers in Rust

Logo