更新履歴

目次

環境構築

$ pip install -r requirements.txt

データセット

ダウンロード

$ bash scripts/download_data.sh<output_dir><output_dir>|- wiki/||- jawiki-20210503-paragraphs.tsv.gz|- aio/||- abc_01-12_retriever.json.gz# 訓練セット||- aio_01_dev_retriever.json.gz# 開発セット||- aio_01_test_retriever.json.gz# 評価セット||- aio_01_unused_retriever.json.gz# 「質問」と「正解」からなる TSV 形式のファイル||- abc_01-12_retriever.tsv# 訓練セット||- aio_01_dev_retriever.tsv# 開発セット||- aio_01_test_retriever.tsv# 評価セット||- aio_01_unused_retriever.tsv

学習データ

{"question":"明治時代に西洋から伝わった「テーブル・ターニング」に起源を持つ占いの一種で、50音表などを記入した紙を置き、参加者全員の人差し指をコインに置いて行うのは何でしょう?","answers": ["コックリさん"    ],"positive_ctxs": [        {"id":278397,"title":"コックリさん","text":"コックリさん(狐狗狸さん)とは、西洋の「テーブル・ターニング(Table-turning)」に起源を持つ占いの一種。机に乗せた人の手がひとりでに動く現象は心霊現象だと古くから信じられていた。科学的には意識に関係なく体が動くオートマティスムの一種と見られている。「コックリさん」と呼ばれるようになったものは、日本で19世紀末から流行したものだが、これは「ウィジャボード」という名前の製品が発売されたりした海外での流行と同時期で、外国船員を通して伝わったという話がある。"        }    ],"negative_ctxs": [],"hard_negative_ctxs": [        {"id":3943003,"title":"星座占い","text":"喫茶店などのテーブル上には、星座占いの機械が置かれていることがある。硬貨を投入して、レバーを動かすと、占いの内容が印刷された用紙が排出される。"        },    ]}

文書集合（Wikipedia）

id      text    title1       "モルガナイト(morganite)はピンク色ないし淡赤紫色の緑柱石(ベリル)である。呈色はマンガン(Mn)に由来する。" モルガナイト

Dense Passage Retrieval

ダウンロード

$ save_dir="model"$ targets="retriever,reader,embeddings"# {retriever, reader, embeddings} からダウンロード対象を「スペースなしの ',' 区切り」で指定して下さい$ bash scripts/download_model.sh$targets$save_dir$ du -h${save_dir}/*  2.2G    biencoder.pt.gz  1.1G    reader.pt.gz  18.0G   embedding.pickle.gz

設定

$ vim scripts/configs/config.pth

Retriever

1. BiEncoder の学習

# 実行例$ exp_name="baseline"$ config_file="scripts/configs/retriever_base.json"$ bash scripts/retriever/train_retriever.sh \    -n$exp_name \    -c$config_file# 実行結果$ ls$DIR_DPR/$exp_name/retriever    dpr_biencoder.*.*.pt# モデルファイル    hps.json# パラメータ    score_train_retriever_*.jsonl# 訓練時スコアログ    logs/      run_*.sh# 実行時シェルスクリプト      train_*.log# 実行時ログ    tensorboard/# tensorboard ログディレクトリ (if `--tensorboard_logdir`)

2. 文書集合のエンコード

# 実行例$ exp_name="baseline"$ model_file="path/to/model"$ bash scripts/retriever/encode_ctxs.sh \    -n$exp_name \    -m$model# 実行結果$ ls$DIR_DPR/$exp_name/embeddings    emb_${model}.pickle# 文書エンベッディング    logs/      embs_*.log# 実行時ログ

3. データセットの質問に関連する文書抽出

# 実行例$ exp_name="baseline"$ model="path/to/model"$ embed="path/to/embeddings"$ bash scripts/retriever/retrieve_passage.sh \    -n$exp_name \    -m$model \    -e$embed# 実行結果$ ls$DIR_DPR/$exp_name/retrieved    train_*.*.json   dev_*.*.json   test_*.*.json# 予測結果（reader 学習データ）    train_*.*.tsv    dev_*.*.tsv    test_*.*.tsv# 予測スコア（Acc@k を含む）    logs/      predict_*_*.log# 実行時ログ

Reader

4. Reader の学習

# 実行例$ exp_name="baseline"$ config_file="scripts/configs/reader_base.json"$ train_file="path/to/retrieved/train/file"$ dev_file="path/to/retrieved/dev/file"$ bash scripts/reader/train_reader.sh \    -n$exp_name \    -c$config_file \    -t$train_file \    -d$dev_file# 実行結果$ ls$DIR_DPR/$exp_name/reader    dpr_reader.*.*.pt# モデルファイル    hps.json# パラメータ    logs/      run_*.sh# 実行時シェルスクリプト      train_*.log# 実行時ログ    results/# dev セットの評価結果の出力ディレクトリ    tensorboard/# tensorboard ログディレクトリ (if `--tensorboard_logdir`)

5. 評価

# 実行例$ exp_name="baseline"$ test_file="path/to/retrieved/test/file"$ model_file="path/to/reader/file"$ bash scripts/reader/eval_reader.sh \    -n$exp_name \    -e$test_file \    -m$model_file$ ls$DIR_DPR/$exp_name/reader/results/    test_prediction_resuls.json# test セットの評価結果の出力ディレクトリ    eval_accuracy.txt# 正解率 (Exact Match) の出力ファイル

# 出力例$ cat$DIR_DPR/$exp_name/reader/results/eval_accuracy.txt### AIO2_DPR_baseline/outputs/baseline/retrieved/dev_jaqket_59.230.json2021-10-12 11:28:17#239 INFO __main__ :::  n=100       EM 56.93

謝辞・ライセンス