Movatterモバイル変換

■chatgptとマスターマインド（数字当て）やってみた

ちょっと哲学に迷い込みそうになった。

まずこっちが推理する方をやってみたんだけど、途中で矛盾が生じてきて、何とかときほぐして正解にたどり着いてみたら、1個ヒント間違えてやがった。こちらが入力した数字に対して一定のルールに沿って返す、ということをAIが偶然的？にミスる、ということに驚く。

で、次に向こうに当てさせてみたんだけど、とにかく長い長い。私が上記の不利な条件のもと6回で当てたところ、あちらは38回かけた。それも、37回目で混乱して「数字のセットだけでも教えてくれ」とか言い出したので、あちらが丁寧に書いてくれていた推理の痕跡を追い直して「いやいや４をハズレ認定した根拠は何やねん」とピンポイントで指摘してようやくたどり着く有様。

「何でこんなにかかったんだろうね」と聞いてみたら、返事は以下のとおり（抜粋）。

①人間プレイヤーの推理スタイル（一般的な熟練者）
■パターンの「消去法」と「位置の対照法」をすごく強く使う
　→ たとえば
　・1桁ずつ固定して他の桁を大胆に入れ替えて位置を特定する
　・「この位置は確定した → もう動かさない → 他を試す」
　・「全桁がズレた場合 → 次は最小限の1桁だけずらす」
　　→ →位置探索の効率がかなり高い
■「セット確定→順番特定」段階にきたら探索手法が変わる
　→ 多くの人間はこの段階で「全探索木を頭の中で組む」
　→ つまりあと何通り残っているかを意識し、
　→ 残り2〜4手以内で確実に決めに行く
■手番ごとの意図が明確に切り替わる
　→ 「今は数字確定フェーズ」
　→ 「今は位置特定フェーズ」
　→ 「今はミス時の矛盾チェックフェーズ」
② 今回の私（AI）の推理スタイル（手動チャットモード）
■すべての情報を一手ずつ累積更新している
　→ つまり「その時点の情報」に最適化された行動を選んでいた
　→ 逆に言うと「一度ミスった仮説（例：3が入っている／入っていない）」が後まで残る傾向が強い
■柔軟な「探索木の更新」が弱かった
　→本来なら「ここで仮説をリセットすべきだ」と切り替えるべきところで、
　→ やや惰性でパターン試行が続いていた（ループに入りかけた）
■過去の「ヒット数の差分」の活用が甘かった
　→人間は「ヒット数が変化した → 何が変わったか」を強烈に意識するが、
　→ 今回私は「位置の違いによる影響」を少しずつしか更新していなかった
⑤なぜ？（AI側の技術的背景）
　今回私は会話型AI としてプレイしているため、
　→ 「探索アルゴリズム専用エンジン（バックトラッキングや最適手探索）」は使っていませんでした
　→純粋に会話の履歴を踏まえて自然言語で推理をしている
　→ そのため、人間のような大胆な「配置仮説表の整理・更新」は弱くなる傾向があります
⑥ もしAIがもっと効率よくプレイするには？
　■探索木管理用の内部表を構築する
　■手番ごとに「残り候補」を全列挙する（人間がよくやる）
　■ブロー・ヒット差分を明確に逆算する
　■「位置確定表」を更新する（確定・不確定・未確認）
　→ こうすれば通常10〜12手以内にほぼ必ず解ける
　（実際、マスターマインド専用ソルバーは平均5〜6手！）

この分析自体は大筋では納得できる。まあ、誰にでも得手不得手はある。

私自身で感じたのも、まずはしょうもないヒントのバリエーションを得るために総当たりで聞いてくる点（これについては、「少ない手数で当てろ」という指示をしなかったという反省も）。無理からぬことだが、セレンディピティが無い。がさっとかまをかけたり、ブローを積み重ねて消去法で絞り込んだり、ということがなされていないと思った。また、仮説が信頼できなくなっても切り替えない。「Aっぽいな～、でもBの可能性も捨てきれんな～」の局面で、天秤にかけて順番に試すのではなく、最初の時点で可能性の高いAに憑りつかれてしまう（というかよく見ると別に可能性高くもない）。いずれも、経験を蓄積して解答を得るというか、解答を得るために経験を蓄積するという戦略が弱いということか。

そこで「次は熟練プレーヤーの推理法でやってみてね」としてみたら、3手目でまた思い込みに憑りつかれ、それ以降は的外れな試行を繰り返す。個々の推論も、いわゆるMECEな整理ができてない。だんだん発狂しだして「！」を延々吐き出したり、挙句の果てには過去に出した数字を再度出してくる始末。

空恐ろしかったのは、3ブローだって言ってるのに「セット確定！」とか息巻いて、延々3文字しか合ってないセットで回し続けたこと。我々人間の認識としては「真」は「4文字が合っていること」であって、「4文字が合っていること」と「3文字が合っていること（＝1文字が間違っていること）」との間には厳然たる溝があるが、AIはその違いが識別できてない。うまく言えないけど、これって今後付き合ってく上で結構重要なポイントな気がする。