概要

前提

使い方

自前のElasticsearchに接続する場合

サンプルのElasticsearchを利用する場合

GPUがない場合

poetry install （初回時のみ）

$ poetry install

QAの実行例（sample_es利用）

$ poetry run python haystack_qa.py(中略)INFO:haystack.modeling.utils:Using devices: CUDA:0 - Number of GPUs: 1質問を入力してください（exit で終了）>>ラグビーの日本監督は？Inferencing Samples: 100%|█| 1/1 [00:00<00:00,  4.41 Batches/sQuery: ラグビーの日本監督は？Answers:[   <Answer {'answer': '神戸製鋼コベルコスティーラーズ', 'type': 'extractive', 'score': 0.9501436948776245, 'context': '大会と日本選手権の2冠連覇を成し遂げた。また日本代表としても第2～4回ラグビーワールドカップに出場した。\n2004年4月、現役を引退し、神戸製鋼コベルコスティーラーズの監督に就任。\n（2012年）早稲田大学ラグビー部アドバイザー(2015年退任)及び女子ラグビー７人制チーム【ラガール７】の総監督を務', 'offsets_in_document': [{'start': 524, 'end': 539}], 'offsets_in_context': [{'start': 68, 'end': 83}], 'document_id': 'VvhNJYUBLyfAJxXYRL5-', 'meta': {'article_id': '322679', 'revid': '1980193', 'url': 'https://ja.wikipedia.org/wiki?curid=322679', 'title': '増保輝則'}}>,    <Answer {'answer': '萩本光威', 'type': 'extractive', 'score': 0.842361569404602, 'context': 'クネームつけるラグビ日本代表愛称向井監督世界背中見えるコメント大会終了後解任2004年3月22日神戸神戸製鋼製鋼コベルコスティーラーズヘッドコーチ萩本光威監督就任当初同年スーパスーパーパワーズカップパワーズカップロシアカナダ破る優勝導く幸先よいスタート思う続くイタリア敗戦11月欧州遠征スコットランド', 'offsets_in_document': [{'start': 390, 'end': 394}], 'offsets_in_context': [{'start': 73, 'end': 77}], 'document_id': 'afpNJYUBLyfAJxXY7zWG', 'meta': {'article_id': '190986', 'revid': '703098', 'url': 'https://ja.wikipedia.org/wiki?curid=190986', 'title': 'ラグビー日本代表'}}>,...

フォルダ構成

.├── README.md├── farm_reader_model・・・Readerのモデルを保存（キャッシュ）しておく置き場│   └── .gitkeep├── haystack_qa.py・・・QAモジュール├── poetry.lock├── pyproject.toml└── sample_es・・・サンプル用のEs    ├── README.md・・・サンプルEs構築のREADME    ├── analyzer.json・・・サンプルEsのAnalyzer設定    ├── docker-compose.yml・・・サンプルEsのDocker    ├── （output・・・wikiextractの結果を保存する）    ├── test_wiki_iindex_create.py・・・のテストコード    └── wiki_iindex_create.py