固有表現抽出(NER)タスクを続けていきます。gpt-5.xやgemini xにやらせればいいといわれますが、その通りです。一方で、ローカルLLMモデルを利用してLoRAで学習させても思いの他、精度を上げるのは大変でした。 という訳で、modernBERTという優秀でお手軽なencoder系モデルを引き続き取り扱います。 以前の検討と今回の流れ bwgift.hatenadiary.jp この検討の時には後はTokenizerとしてsudachiを入れていけば良いのかなと漠然と思っていました。現に味見の時にはそういう印象を持つ結果となっていました。しかし、意外とうまく行きません。そこで、仮想境…