특징

설치

C++

컴파일된 바이너리 다운로드

Windows

Linux

gcc >= 7 이상 혹은 기타 c++17 호환 컴파일러 사용가능 환경

$git clone https://github.com/bab2min/Kiwi$cd Kiwi$git lfs pull$git submodule sync$git submodule update --init --recursive$mkdir build&&cd build$cmake -DCMAKE_BUILD_TYPE=Release ../$make$make install$ldconfig

$./kiwi-evaluator --model ../models/base ../eval_data/* --largestLoading Time : 981.745 msArchType : avx2LM Size : 34.1853 MBMem Usage : 278.129 MBTest file: eval_data/web.txt0.862114, 0.852863Total (158 lines) Time : 301.702 msTime per Line : 1.9095 ms================Test file: eval_data/written.txt0.942892, 0.943506Total (33 lines) Time : 62.3999 msTime per Line : 1.89091 ms================Test file: eval_data/web_with_typos.txt0.754417, 0.720886Total (97 lines) Time : 99.7661 msTime per Line : 1.02852 ms================================Avg Score0.853141, 0.839085================

$./kiwi-evaluator --model ../models/base ../eval_data/* --largest --typo 6Loading Time : 9414.45 msArchType : avx2LM Size : 34.1853 MBMem Usage : 693.945 MBTest file: eval_data/web.txt0.86321, 0.85566Total (158 lines) Time : 432.236 msTime per Line : 2.73567 ms================Test file: eval_data/written.txt0.941712, 0.942217Total (33 lines) Time : 95.3079 msTime per Line : 2.88812 ms================Test file: eval_data/web_with_typos.txt0.869582, 0.865393Total (97 lines) Time : 169.416 msTime per Line : 1.74656 ms================================Avg Score0.891501, 0.887757================

C API

컴파일된 바이너리 다운로드

C# Wrapper

Python3 Wrapper

Java Wrapper

Android Library

R Wrapper

GO Wrapper

Web Assembly (Javascript/Typescript)

응용 프로그램

업데이트 내역

품사 태그

성능

프랑스의 세계적인 의상 디자이너 엠마누엘 웅가로가 실내 장식용 직물 디자이너로 나섰다.(정답) 프랑스/NNP의/JKG세계/NNG적/XSN이/VCPㄴ/ETM의상/NNG디자이너/NNG엠마누엘/NNP웅가로/NNP가/JKS실내/NNG장식/NNG용/XSN직물/NNG디자이너/NNG로/JKB나서/VV었/EP다/EF./SF(Kiwi) 프랑스/NNP의/JKG세계/NNG적/XSN이/VCPᆫ/ETM의상/NNG디자이너/NNG엠마누/NNP에/JKBᆯ/JKO웅가로/NNP가/JKS실내/NNG장식/NNG용/XSN직물/NNG디자이너/NNG로/JKB나서/VV었/EP다/EF./SF둥글둥글한 돌은 아무리 굴러도 흔적이 남지 않습니다.(정답) 둥글둥글/MAG하/XSAㄴ/ETM돌/NNG은/JX아무리/MAG구르/VV어도/EC흔적/NNG이/JKS남/VV지/EC않/VX습니다/EF./SF(Kiwi) 둥글둥글/MAG하/XSAᆫ/ETM돌/NNG은/JX아무리/MAG구르/VV어도/EC흔적/NNG이/JKS남/VV지/EC않/VX습니다/EF./SF하늘을 훨훨 나는 새처럼(정답) 하늘/NNG을/JKO훨훨/MAG날/VV는/ETM새/NNG처럼/JKB(Kiwi) 하늘/NNG을/JKO훨훨/MAG날/VV는/ETM새/NNG처럼/JKB아버지가방에들어가신다(정답) 아버지/NNG가/JKS방/NNG에/JKB들어가/VV시/EPㄴ다/EF(Kiwi) 아버지/NNG가/JKS방/NNG에/JKB들어가/VV시/EPᆫ다/EC

데모

라이센스

기여하기

인용하기

@article{43508,title = {Kiwi: 통계적 언어 모델과 Skip-Bigram을 이용한  한국어 형태소 분석기 구현},journal = {디지털인문학},volume = {1},number = {1},page = {109-136},year = {2024},issn = {3058-311X},doi = {https://doi.org/10.23287/KJDH.2024.1.1.6},url = {https://kjdh/v.1/1/109/43508},author = {민철 이},keywords = {한국어, 자연어처리, 형태소 분석기, 모호성 해소, 언어 모델},abstract = {한국어 형태소 분석 시 모델이 마주하는 어려움 중 하나는 모호성이다. 이는 한국어에서 기저형이 전혀 다른 형태소 조합이 동일한 표면형을 가질 수 있기 때문에 발생하며 이를 바르게 분석하기 위해서는 문맥을 고려하는 능력이 모델에게 필수적이다. 형태소 분석기 Kiwi는 이를 해결하기 위해 근거리 맥락을 고려하는 통계적 언어 모델과 원거리 맥락을 고려하는 Skip-Bigram 모델을 조합하는 방식을 제안한다. 제안된 방식은 모호성 해소에서 평균 정확도 86.7%를 달성하여 평균 50~70%에 머무르는 기존의 오픈소스 형태소 분석기, 특히 딥러닝 기반의 분석기들보다도 앞서는 결과를 보였다. 또한 최적화된 경량 모델을 사용한 덕분에 타 분석기보다 빠른 속도를 보여 대량의 텍스트를 분석하는 데에도 유용하게 쓰일 수 있다. 오픈소스로 공개된 Kiwi는 전술한 특징들 덕분에 텍스트 마이닝, 자연어처리, 인문학 등 다양한 분야에서 널리 사용되고 있다. 본 연구는 형태소 분석의 정확도와 효율성을 모두 개선했으나, 미등록어 처리와 한국어 방언 분석 등의 과제에서 한계를 보여 이에 대한 추가 보완이 필요하다.},}

@article{43508,title = {Kiwi: Developing a Korean Morphological Analyzer  Based on Statistical Language Models and Skip-Bigram},journal = {Korean Journal of Digital Humanities},volume = {1},number = {1},page = {109-136},year = {2024},issn = {3058-311X},doi = {https://doi.org/10.23287/KJDH.2024.1.1.6},url = {https://kjdh/v.1/1/109/43508},author = {Min-chul Lee},keywords = {한국어, 자연어처리, 형태소 분석기, 모호성 해소, 언어 모델},abstract = {One of the challenges faced by models in Korean morphological analysis is ambiguity. This arises because different combinations of morphemes with completely different base forms can share the same surface form in Korean, necessitating the model's ability to consider context for accurate analysis. The morphological analyzer Kiwi addresses this issue by proposing a combination of a statistical language model that considers local context and a Skip-Bigram model that considers global context. This proposed method achieved an average accuracy of 86.7% in resolving ambiguities, outperforming existing open-source morphological analyzers, particularly deep learning-based ones, which typically achieve between 50-70%. Additionally, thanks to the optimized lightweight model, Kiwi shows faster speeds compared to other analyzers, making it useful for analyzing large volumes of text. Kiwi, released as open source, is widely used in various fields such as text mining, natural language processing, and the humanities due to these features. Although this study improved both the accuracy and efficiency of morphological analysis, it shows limitations in handling out-of-vocabulary problem and analyzing Korean dialects, necessitating further improvements in these areas.},}