概要

データ

「A 単位語のみ」の資源

追加学習用のフルモデル

利用方法

テキスト

480443 300の -0.08274004 -0.091033645 -0.08744463 -0.14393683 -0.053159036 ...、 -0.014216528 -0.1027064 -0.07763326 -0.16008057 -0.16116066 ...て -0.06049706 -0.15483096 0.052628547 -0.12448246 -0.14404581 ......

gensim

importgensimvectors=gensim.models.KeyedVectors.load("./chive-1.1-mc90_gensim/chive-1.1-mc90.kv")"すだち"invectors# False, v1.1 では正規化されているため"酢橘"invectors# Truevectors["酢橘"]# array([-5.68204783e-02, -1.26615226e-01,  3.53190415e-02, -3.67305875e-01, ...])vectors.similarity("酢橘","徳島")# 0.3993048vectors.most_similar("徳島",topn=5)# [('愛媛', 0.8229734897613525),# ('徳島県', 0.786933422088623),# ('高知', 0.7795713543891907),# ('岡山', 0.7623447179794312),# ('徳島市', 0.7415297031402588)]vectors.most_similar(positive=["阿波","高知"],negative=["徳島"],topn=5)# [('土佐', 0.620033860206604),# ('阿波踊り', 0.5988592505455017),# ('よさこい祭り', 0.5783430337905884),# ('安芸', 0.564490556716919),# ('高知県', 0.5591559410095215)]

Magnitude (~v1.2)

frompymagnitudeimportMagnitudevectors=Magnitude("chive1.1-mc90.magnitude")"すだち"invectors# False, v1.1 では正規化されているため"酢橘"invectors# Truevectors.query("すだち")# Magnitudeによるサブワードを使った未知語サポートによる# array([ 0.03974148,  0.11290773,  0.01493122, -0.05296252,  0.12616251, ...])vectors.most_similar("すだち",topn=5)# [('あだち', 0.5930323079944302),# ('すだ椎', 0.5872662462335323),# ('だち', 0.5797546444016177),# ('ムクノキ', 0.46228053338159725),# ('椨', 0.4482612387097178)]vectors.similarity("酢橘","徳島")# 0.3993048vectors.most_similar("徳島",topn=5)# [('愛媛', 0.8229735),# ('徳島県', 0.78693324),# ('高知', 0.7795714),# ('岡山', 0.7623447),# ('徳島市', 0.7415296)]vectors.closer_than("徳島","徳島市")# ['愛媛', '徳島県', '高知', '岡山']vectors.most_similar(positive=["阿波","高知"],negative=["徳島"],topn=5)# [('土佐', 0.62003386),# ('阿波踊り', 0.5988593),# ('よさこい祭り', 0.578343),# ('安芸', 0.56449056),# ('高知県', 0.55915594)]vectors.most_similar_cosmul(positive=["阿波","高知"],negative=["徳島"],topn=5)# [('土佐', 0.83830714),# ('よさこい祭り', 0.82048166),# ('阿波踊り', 0.8168015),# ('安芸', 0.80880433),# ('伊予', 0.80250806)]

frompymagnitudeimportMagnitude,MagnitudeUtils# ダウンロードvectors=Magnitude(MagnitudeUtils.download_model("chive-1.1-mc90-aunit",remote_path="https://sudachi.s3-ap-northeast-1.amazonaws.com/chive/"))# デフォルトのダウンロード先: `~/.magnitude/`# ファイルが既にダウンロードされている場合は、再度ダウンロードしない# 引数 `download_dir` でローカルのダウンロード先を変更できる# リモートでのロードvectors=Magnitude("https://sudachi.s3-ap-northeast-1.amazonaws.com/chive/chive-1.1-mc90-aunit.magnitude")# HTTP上のリモートでのストリームvectors=Magnitude("https://sudachi.s3-ap-northeast-1.amazonaws.com/chive/chive-1.1-mc90-aunit.magnitude",stream=True)vectors.query("徳島")# ローカルにファイルをダウンロードせず、ベクトルをすばやく取得

ライセンス

v1.0, v1.1, v1.2

v1.3

Slack

chiVe の引用

@INPROCEEDINGS{manabe2019chive,    author    = {真鍋陽俊, 岡照晃, 海川祥毅, 髙岡一馬, 内田佳孝, 浅原正幸},    title     = {複数粒度の分割結果に基づく日本語単語分散表現},    booktitle = "言語処理学会第25回年次大会(NLP2019)",    year      = "2019",    pages     = "NLP2019-P8-5",    publisher = "言語処理学会",}

@INPROCEEDINGS{kawamura2020chive,    author    = {河村宗一郎, 久本空海, 真鍋陽俊, 高岡一馬, 内田佳孝, 岡照晃, 浅原正幸},    title     = {chiVe 2.0: SudachiとNWJCを用いた実用的な日本語単語ベクトルの実現へ向けて},    booktitle = "言語処理学会第26回年次大会(NLP2020)",    year      = "2020",    pages     = "NLP2020-P6-16",    publisher = "言語処理学会",}

@INPROCEEDINGS{hisamoto2020chive,    author    = {久本空海, 山村崇, 勝田哲弘, 竹林佑斗, 髙岡一馬, 内田佳孝, 岡照晃, 浅原正幸},    title     = {chiVe: 製品利用可能な日本語単語ベクトル資源の実現へ向けて},    booktitle = "第16回テキストアナリティクス・シンポジウム",    year      = "2020",    pages     = "IEICE-NLC2020-9",    publisher = "電子情報通信学会",}