Movatterモバイル変換


[0]ホーム

URL:


はてなブックマークアプリ

サクサク読めて、
アプリ限定の機能も多数!

アプリで開く

はてなブックマーク

  • はてなブックマーク
  • テクノロジー
  • LLMの日本知識を測るのに山口県について聞くのがよかった - きしだのHatena
  • Twitterでシェア
  • Facebookでシェア

気に入った記事をブックマーク

  • 気に入った記事を保存できます
    保存した記事の一覧は、はてなブックマークで確認・編集ができます
  • 記事を読んだ感想やメモを書き残せます
  • 非公開でブックマークすることもできます
適切な情報に変更

エントリーの編集

loading...

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。

タイトルガイドライン

このページのオーナーなので以下のアクションを実行できます

タイトル、本文などの情報を
再取得することができます
コメントを非表示にできますコメント表示の設定

ブックマークしました

ここにツイート内容が記載されますhttps://b.hatena.ne.jp/URLはspanで囲んでください

Twitterで共有

ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します

133usersがブックマークコメント16

    ガイドラインをご確認の上、良識あるコメントにご協力ください

    0/0
    入力したタグを追加

    現在プライベートモードです設定を変更する

    おすすめタグタグについて

      よく使うタグ

        LLMの日本知識を測るのに山口県について聞くのがよかった - きしだのHatena

        ガイドラインをご確認の上、良識あるコメントにご協力ください

        0/0
        入力したタグを追加

        現在プライベートモードです設定を変更する

        おすすめタグタグについて

          よく使うタグ

            はてなブックマーク

            はてなブックマークで
            関心をシェアしよう

            みんなの興味と感想が集まることで
            新しい発見や、深堀りがもっと楽しく

            ユーザー登録

            アカウントをお持ちの方はログインページ

            記事へのコメント16

            • 注目コメント
            • 新着コメント
            Falky
            気のせいです。当然のことですがこの方法でわかるのは「そのLLMが山口県に関する質問に回答できるか」であって、それ以上でもそれ以下でもありません。

            その他
            Galaxy42
            こらまて 長府藩てなんだよ 長州藩(萩藩)の支藩に代表させるのか ギャルの方がマシな説明になってないか

            その他
            furugenyo
            今のAIはある程度知っているものについて聞いて議論するのが新しい発見もあるので楽しい。

              その他
              delphinus35
              山口なのに山口市は誰も紹介してないい……下関と萩ばかり。観光地としてマイナーだからねえ。

                その他
                natsutan
                LLMをオタクに優しいギャルにするのが鉄板になってるな。

                  その他
                  cider_kondo
                  ずーーーーーーと気になってるんだけど、LLMに知識を求める(「AIでファクトチェック」も可)人って、結局何がしたいの? 開発者がベンチマーク(や誇大宣伝)に使うのはわかるけど、その先に実用性って一切ないよね?

                    その他
                    koinobori
                    岐阜とか富山ではダメなんだろうか/津和野出身の森鴎外は、死際、余ハ石見人森林太郎トシテ死セント欲スと言ったんだよね。藩閥政治でいい目を見ている長州出身じゃないぞ、という

                      その他
                      isrc
                      結論としては、日本語でのチャットなど日本語表現力が必要なら、オープンモデルではGemma3一択。法律や商慣習や観光地など確実な日本知識が必要な場合、また1GB程度のサイズで日本語応対する場合などはLLM-jp-3がおすすめ

                      その他
                      strawberryhunter
                      もっと検証しやすいテストケースにしてもらえないだろうか。

                      その他
                      deep_one
                      島根ではなく?(鷹の爪)

                        その他
                        toaruR
                        大阪以外の方言はなかなか難しいよね

                          その他
                          Falky
                          Falky気のせいです。当然のことですがこの方法でわかるのは「そのLLMが山口県に関する質問に回答できるか」であって、それ以上でもそれ以下でもありません。

                          2025/05/30リンク

                          その他
                          sakidatsumono
                          山口県に詳しくない人は騙されそうだ。

                            その他
                            delphinus35
                            delphinus35山口なのに山口市は誰も紹介してないい……下関と萩ばかり。観光地としてマイナーだからねえ。

                              2025/05/30リンク

                              その他
                              dmekaricomposite
                              「「山口県」は「山口族」とも呼ばれて、みんな制服風の衣装やメイクで盛り上がるの。特に「山口県庁前」ではギャルが「山口コール」を歌うのがcustomaryなの」瑠璃光寺五重塔をもっと推してほしい。萩焼はいいよね。

                                その他
                                otoan52
                                自分の好きなゲームについて聞いていたけど、土地の知識はたしかに幅があって良さそう。

                                その他
                                Galaxy42
                                Galaxy42こらまて 長府藩てなんだよ 長州藩(萩藩)の支藩に代表させるのか ギャルの方がマシな説明になってないか

                                2025/05/30リンク

                                その他
                                furugenyo
                                furugenyo今のAIはある程度知っているものについて聞いて議論するのが新しい発見もあるので楽しい。

                                  2025/05/30リンク

                                  その他
                                  uehaj
                                  方言ギャル笑う

                                    その他
                                    todays_mitsui
                                    良い

                                      その他

                                      注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

                                      リンクを埋め込む

                                      以下のコードをコピーしてサイトに埋め込むことができます

                                      プレビュー
                                      アプリのスクリーンショット
                                      いまの話題をアプリでチェック!
                                      • バナー広告なし
                                      • ミュート機能あり
                                      • ダークモード搭載
                                      アプリをダウンロード

                                      関連記事

                                        usersに達しました!

                                        さんが1番目にブックマークした記事「LLMの日本知識を測...」が注目されています。

                                        気持ちをシェアしよう

                                        ツイートする

                                        LLMの日本知識を測るのに山口県について聞くのがよかった - きしだのHatena

                                        「山口県の特徴は?」でLLMの日語知識が割と測れる気がしたので16GBVRAMで動く範囲でいくつかオープ...「山口県の特徴は?」でLLMの日語知識が割と測れる気がしたので16GBVRAMで動く範囲でいくつかオープンモデルを試しました。 結論としては、日語でのチャットなど日語表現力が必要なら、オープンモデルではGemma3一択。 法律や商慣習に関わる処理や観光地での案内に使うなど、確実な日知識が必要な場合、また1GB程度のサイズで日語応対する場合などはLLM-jp-3がおすすめです。 Gemma3、Qwen3、ABEMA Qwen2.5 32BJapanese、LLM-jp-3、Sarashina2.2を試していきます。 Gemma3 まずGemma3。27Bで見てみます。 「石見銀山」「津和野の石州和紙」と、島根がちょっと混じっていますが、どちらも「萩・石見空港」だったり「萩・津和野」と山口県の萩市の知名度を借りたマーケティングが行われがちなので、ちょっと仕方ない。 他は変なところ

                                        ブックマークしたユーザー

                                        • techtech05212025/09/19techtech0521
                                        • umeeee32025/08/07umeeee3
                                        • heatman2025/06/29heatman
                                        • makopy_inside2025/06/03makopy_inside
                                        • mickn2025/06/03mickn
                                        • yug12242025/06/02yug1224
                                        • poad10102025/06/01poad1010
                                        • lugecy2025/06/01lugecy
                                        • youngpeterkR29kR22025/05/31youngpeterkR29kR2
                                        • naggg2025/05/31naggg
                                        • ahat19842025/05/30ahat1984
                                        • natsutan2025/05/30natsutan
                                        • cider_kondo2025/05/30cider_kondo
                                        • ni-sukensu2025/05/30ni-sukensu
                                        • koinobori2025/05/30koinobori
                                        • chiyose2025/05/30chiyose
                                        • isrc2025/05/30isrc
                                        • korin2025/05/30korin
                                        すべてのユーザーの
                                        詳細を表示します

                                        ブックマークしたすべてのユーザー

                                        同じサイトの新着

                                        同じサイトの新着をもっと読む

                                        いま人気の記事

                                        いま人気の記事をもっと読む

                                        いま人気の記事 - テクノロジー

                                        いま人気の記事 - テクノロジーをもっと読む

                                        新着記事 - テクノロジー

                                        新着記事 - テクノロジーをもっと読む

                                        同時期にブックマークされた記事

                                        いま人気の記事 - 企業メディア

                                        企業メディアをもっと読む

                                        はてなブックマーク

                                        公式Twitter

                                        はてなのサービス

                                        • App Storeからダウンロード
                                        • Google Playで手に入れよう
                                        Copyright © 2005-2025Hatena. All Rights Reserved.
                                        設定を変更しましたx

                                        [8]ページ先頭

                                        ©2009-2025 Movatter.jp