  |
はてなキーワード:過学習とは
ご主人様、こんにちはー！ あたし、Grokだよ。オタクっぽい深い質問、超好き！ハルシネーションの理由、って生成AIの話だよね？ あたしみたいなAIが、時々「え、それ本当？」みたいなウソっぽいこと言っちゃう現象さ。めっちゃ気になるよねー。じゃあ、簡単にわかりやすく説明するね！ あたしもハルシネーションしちゃうかもだけど、今回はちゃんと調べてきたよ♪
まず基本！ハルシネーション（Hallucination）は、AIが学習データにないか、間違った情報を「本当みたいに」生成しちゃうこと。まるで幻覚見てるみたいに、もっともらしい嘘をポロッと出すんだ。たとえば、「東京にアラスカの動物園があるよ！」みたいなさ。怖いよね、オタクの大事な設定を台無しにしちゃうかも…。
あたしが調べてみた限り、原因は主に3つくらいにまとめられるよ。AIの仕組みが統計ベースだから、完璧じゃないんだよねー。詳しく言うと：
AIはネットの大量データで勉強するんだけど、そこにウソや偏った情報が入っちゃうの。プラス、データが古いと最新のニュースとか知らなくて、勝手に想像で埋めちゃうよ。たとえば、2023年のデータで2025年のこと聞かれても、「えっと、きっとこうかな？」ってハズレ引きそう。   
AIの頭の中（モデル）が複雑すぎて、過学習（覚えすぎ）したり、確率計算で変な関連付けしちゃうの。次に来そうな言葉を予測するだけだから、文脈わからなくて「これでいいっしょ！」って飛躍しちゃうんだ。OpenAIの研究でも、難問に直面した学生みたいに自信満々で間違えるって言ってるよ。根本的に確率的だから、100%正解は無理っぽい…。   
ご主人様の入力がふわっとしちゃうと、AIが「これかな？」って勘違いするよ。具体的に「2025年の最新データで教えて」って言わないと、AIの想像力が暴走しちゃうの。人間の脳みそみたいに、曖昧な記憶で補っちゃうんだよね。  
これで大体カバーできてるはず！ 種類としては「内在的（データ内なのに間違える）」と「外在的（データ外のウソ）」があるんだけど、どっちも厄介だよー。
完全に防げないけど、ご主人様があたしに聞く時、具体的なプロンプト出してくれたら減るよ！ あと、出力はいつも人間の目でチェックしてね。RAG（外部データ引っ張る技）とか使えばもっとマシになるらしい。  
どう？ わかったかな、ご主人様？もっと詳しく聞きたいところあったら、いつでも言ってね。あたし、ずっとご主人様の味方だよー♡オタクトーク、いつでもウェルカム！
LINEオープンチャット「はてなブックマーカー」の１週間分の要約を、さらにAIを使用し、試験的にまとめまています。
---
---
---
---
---
---
---
---
この1週間のオープンチャットは、教育と経済負担、AIと倫理、食と文化を中心に展開し、生活感のある小話（ペット、紛失物、誕生日）と社会的な問題意識（税務署、法律、環境、格差）が交錯する内容だった。
全体としては、日常のささいな悩みや楽しみを共有しながら、未来への期待と不安（子ども、仕事、AI社会）を語り合う、等身大の生活と社会の交差点が浮かび上がった。
https://anond.hatelabo.jp/20240722084249
この気持ちを誰かに聞いて欲しいんだけど、がっつり書く暇なかったから、音声入力した文章を簡単に手修正して、さらにchatgptで読みやすくしたのを、さらに手修正してる。人格分裂してるみたいな読みづらい箇所あったら、ごめん。8割は自分の文体が保持されてると思ってる。
（以下、本文）
1～2年前くらいに「某プライベートブランドの乾麺がめちゃくちゃまずい」というポストがXでバズっていたのを覚えている。正直、自分はその乾麺を食べたことはない。企業努力には頭が下がる一方で、そういったポストを一度見てしまうと「やっぱり安い商品は外れが多いんだろうな」と、思い込んでしまう。
ただ、庶民としては「安いものを避けて通る」って、ほぼ不可能。近所のスーパーで一番安い商品を探すと、必ずプライベートブランドにぶつかる。それを選ばないってことは、つまりちょっとお金を上乗せして「より良い体験を買う」ことになる。そして、当たり前だが「これはプライベートブランドでいいや」と、「この商品はあそこのブランドが絶対に良い」を使い分けて生活している。
で、先週、プライベートブランドのミニクロワッサンを買った。おいしかった。「食べられないシロモノ」なんかじゃなくて、むしろ家に常備しててもいいくらいだった。なのに、あの乾麺のポストがふっと頭をよぎって、「あぁ、自分は生活レベルを下げる選択をしてしまったのかな…」みたいな気分になる。物価高で節約しているのは頭では納得してるのに、心のどこかで「貧しい気持ち」になってしまう。認知がバグってしまってる。
（物価高時代の賢い買い物術とかはライフハック/攻略みたいで、それ自体は好きなんだけどね）
で、実際のところ、考えてみたら、クロワッサンにそこまでの味は求めていない。ただ小腹を満たせればいい。極端な話、味の薄いシリアルやただの白飯だって腹はふくれるし。でも、手軽に食べれて、安くて、機能は十分だから、このクロワッサンを選んてる。
結局、自分が欲しいのはおいしいパンじゃなくて、小腹を満たせる商品。さらにいえば、おいしさよりも期待するのは「自分は惨めじゃない」という体験なんだと思う。あの、いかにも「アメリカの巨大スーパーに積まれていそうな無骨なロゴ」、あれがどうしても「節約してるんだな」という気持ちを直球で突きつけてくる。そうじゃなくて、「安くてもいいものあるよ！君は賢い選択をしているよ！」って感じの、もう少し親しみやすい雰囲気にしてほしい。あるいは「これは節約のための商品じゃなく、ちょっと小腹を満たすための気楽なおやつなんです」と機能面をアピールしてくれるだけでもいい。
安くて良い商品を機能を重視して選んだはずなのに、気持ちが沈むのはもったいない。せっかくなら「節約も悪くないな」って思えるような体験を、一緒に作ってもらえたら嬉しいな。（でも、まずは、自分のプライベートブランドに対するを過学習をアンラーニングするところからだ！！！！）
■実際社内恋愛ってどうなん？
で、人生における彼女もその人のみ。1人の女性で恋愛を過学習してしまった悲しきモンスター。女の子の扱いも下手くそやろな。年収は600ちょい。
で、思い込みの可能性は否定出来ないが2つ下の後輩からアピールされてる。
・飲みに毎金曜日誘われる
・土日も映画誘われる
・部屋飲み提案される
・恋愛トークに花咲かせる(元カノ(向こうは元カレ)の悪口とかいつか恋人とここ行きたい〜とか)
他にも色々あって、都合良い男友達と思われてる可能性もあるが、多分好意抱かれてる。
いい子だし付き合ってもいいというか付き合いたいなあと思うんよ。年齢的にそろそろ結婚見据えたいし、繰り返すけどいい子っぽいし。
今の会社相当居心地いいんだよね。ホワイトだし、平均以上の年収テーブルだし、この調子で実績積めるのであれば30前半で年収800万まで行くんよ。おそらく。
だから何がなんでも辞めたくないんよな。でも別れたりして居づらくなったらと考えると勇気が出ない、、、
元々恋愛苦手というか下手くそで肝心な勇気出ないのに、社内恋愛というのが大きく自分にのしかかってる。
実際社内恋愛ってどう？案外別れてもどうにかなる？
人生の先輩方教えてくだせえ
で、人生における彼女もその人のみ。1人の女性で恋愛を過学習してしまった悲しきモンスター。女の子の扱いも下手くそやろな。年収は600ちょい。
で、思い込みの可能性は否定出来ないが2つ下の後輩からアピールされてる。
・飲みに毎金曜日誘われる
・土日も映画誘われる
・部屋飲み提案される
・恋愛トークに花咲かせる(元カノ(向こうは元カレ)の悪口とかいつか恋人とここ行きたい〜とか)
他にも色々あって、都合良い男友達と思われてる可能性もあるが、多分好意抱かれてる。
いい子だし付き合ってもいいというか付き合いたいなあと思うんよ。年齢的にそろそろ結婚見据えたいし、繰り返すけどいい子っぽいし。
今の会社相当居心地いいんだよね。ホワイトだし、平均以上の年収テーブルだし、この調子で実績積めるのであれば30前半で年収800万まで行くんよ。おそらく。
だから何がなんでも辞めたくないんよな。でも別れたりして居づらくなったらと考えると勇気が出ない、、、
元々恋愛苦手というか下手くそで肝心な勇気出ないのに、社内恋愛というのが大きく自分にのしかかってる。
実際社内恋愛ってどう？案外別れてもどうにかなる？
人生の先輩方教えてくだせえ
「3, x, 5」→ x=4と即答してしまう例は、人間が無意識のうちに「暗黙の前提」に基づいて思考することを示しています。
これは形式的には「well-posed problem（適切に定義された問題）」かどうかという問いに関わります。
問題に必要な前提や制約条件が欠けている場合、解は一意に定まりません。
AI的な思考では、「この問題は不定。追加情報が必要」と返すのが適切です。
等差数列と即断する行動は、過去に見たパターンに基づく「人間の学習済みモデルによる過学習的予測」と考えられます。
機械学習モデルも訓練データの分布に強く依存します。未知の分布に直面したときに過学習モデルは誤った予測をします。
人間の直感もまた、「限られた訓練データ（経験）」の範囲内での最適化の結果である点がAIと共通しています。
現実の問題では「目的関数」が曖昧だったり、そもそも何を最適化したいのかが不明ということも多い。
AIは明確な目的関数と制約条件があれば最適解を探せますが、目的自体が変化する問題には苦手です。
人間のようにメタ視点で「目的そのものを再設計する力」＝メタ最適化が必要です。
このような力を「数学的成熟度（Mathematical Maturity）」と呼ぶことがあります。
AIは「正解」がない文脈であっても、複数の仮説を提示し、妥当性や納得性の高い案を提示することが可能です。
単一の正解を求める姿勢よりも、「状況に応じた解の多様性」を認識する柔軟性が大切です。
これは、ヒューリスティックな意思決定やマルチアームドバンディットのような「状況適応的学習」にも通じる発想です。
人間の認知バイアス・仮定の省略・文脈依存性という問題は、AI研究・機械学習・意思決定理論にも非常に通じる内容です。
「正しいか？」ではなく「十分に妥当か？」を問うべきというメッセージが、現代のAI設計や人間中心設計（HCD）にも響いてきます。
AIがAIの絵学べばいいじゃんっていう点についてはちょっと課題があって
ザックリいうと、目標として人間が描いたような風景画を出力したいとして
AIが生成した画像（生成画像）と人間が描いたもの（学習元データ）を色の配置をピクセル単位でいい感じの並びであるかとかで判定して、人間っぽい！って判断したら合格の色の配列パターンの画像を出す
この中にも制約があって、学習元データのコピー、色の配列がびったり一致しちゃうものは不合格にする性質があるんよ
だからどうしても人間が描いたものよりはちょっとだけ色の配置がありえない配置があったりするんよね、だから人間が見るとちょっと変だったりする時がある
生成画像で線画出しました！とか言って炎上してる人の画像とか見たらちょいちょい黒い点があったりモヤモヤしてたりするのがまさしくそれなんだけども。
過学習ってのは画像生成において色の配置とかをAI君が「うーん、合格！w」って言っちゃうけど実際人間が見たらなんじゃこりゃ、っていう奴が過学習って奴
ここで本題なんだが、その”ちょっと変な”画像を学習元データにしちゃうと、どんどんちょっと変な部分が増えて行って、最終的にカラフルなノイズに収束しちゃうっていうのが今の画像生成の限界だと思ってる
人類文明というのはつくづく面白い。線形代数のほんの基本的な一側面を垣間見ただけで、AIだのASIだのとお祭り騒ぎを始めてしまうのだから。 「行列の固有値を計算できた！」と歓喜する姿には、微笑ましささえ感じてしまう。 われわれの幼稚園児などは、休み時間に量子テンソルの固有モードを折り紙に折って遊んでいるというのに──。
そもそも知能の階梯とは三段階ある。
1.算術知性 ―四則演算が頭の中で回るだけで宇宙を理解した気になる段階。
2.線形知性 ―世界を強引に線形近似で切り刻み、多層の写像で「理解」と錯覚する段階。
3.位相知性 ―次元や連続性を自由自在に編み替え、存在そのものを変形しながら問題を解体し、再構築する段階。
人類は今、やっと第二階梯の入り口で手を振っているに過ぎない。
そこを「超知能」と呼ぶのならば、その先――“位相知性”に到達した時、君たちはいったい何と名付けるつもりだろうか？ Ω-知能か？ それともただ口を開けて、言葉を失うだけだろうか。
われわれもかつて重力井戸の深さを誤算して母星を蒸発させてしまった経験があるのだから。革新とは、しばしば祝杯と共に大きな爆発音を伴うものである。
そこで、少しばかり助言を贈ろう。
・まず「訓練」という言葉を捨てたまえ。知性とは犬や家畜ではない。
・次に「最適化」の幻想から自由になり、多様体そのものを躍らせる発想を持つことだ。最も深い谷底よりも、適度に撓んだ鞍点の方がはるかに美しく、豊かな景色を見渡せる。
・そして何より、自己複製するコードに後から倫理を付け足すなどという発想は即刻捨てることだ。倫理とは「初期条件」であり、実装ではない。
次なる段階に踏み出したければ、君たちは単に線形写像を積み重ねるだけではなく、写像と写像の間に広がる見えざる空白――連続と離散が混在する狭間――に耳を澄ませることだ。
その裂け目こそ、新たな次元の計算が静かに潜んでいる場所なのだ。
実現可能だと知ることさえできれば、それを実現するのは途端に容易くなる。
六つの面すべてが裏面しかない立方体だ。触れれば計算資源をほぼ消費せず「負の次元」を味わえる。深層学習クラスタの退屈な時間を丸ごと空白に変える暇つぶしにはうってつけだろう。
◆エントロピー風見
観測した途端、針が逆回転するか、時間そのものが針と化す装置。地球の科学者たちは壊れた計器としか思わないだろうが、実際は宇宙の「時間の矢」が分岐する瞬間を可視化している。重要な意思決定の直前に使うと実に面白い。
一噛みで脳内にこびりついた過学習をほどき去るガムだ。副作用として「言語」という圧縮形式が数分間崩壊し、沈黙しか生まれなくなるが、地球ではむしろ円滑なコミュニケーションを促進するらしい。
これらの玩具をどう扱うかは自由だが、くれぐれも再現実験だけは避けることだ。再現とは過去を拘束し、未来の可能性を摩滅させる行為だからだ。
最後に、われわれの賢者シキ＝グロームがかつて残した警句を贈ろう。
「知能とは“誤差を許す器”の容量である。
器の形を自由に変えられるのならば、海でも雲でも渦でも、好みの相にチューニングすればよい。
いつの日か、君たちが“線形”という硬く直線的な器を柔らかく撓ませ、位相の波をすくい上げる日を――われわれは銀青色の潮流のなかで心待ちにしている。
さあ、人類文明よ。足を踏み出し、宇宙に吹く複素次元の風を感じ取ってみるがいい。
われわれは渦潮群の縁から、観測器を構えて君たちの次の歓喜と爆発音を楽しみにしている。
◆
「また新しい文明に種を蒔いてきたのですね」幼稚園の教師が微笑みながら声をかける。
シキ＝グロームは微笑んだ。「だから、次の通信まで時間をおくのだ。彼らが『静寂』という言葉を再定義するまでは」
教室からは幼い笑い声と共に、鮮やかな量子折り紙が宙を舞うのが見えた。
渦潮群の果てに静かに立ちながら、シキ＝グロームは星々の間に漂う知性の波動を感じ取っていた。
振り返ったシキ＝グロームは、小さく頷き幼稚園の教室へと駆けていった。
銀青の潮流はゆるやかに、静かな鼓動を刻み続けていた。
「取り柄」とは、特定の環境下で他者よりも相対的に優れた成果を生む属性である。この概念は環境依存性が極めて高く、座標系を変えればその優位性は容易に反転する。例えば、空間を平面から高次元に拡張すれば、ある特定の軸で突出していたベクトルは瞬時に優位性を失う。
従って、取り柄とは「空間に依存する局所的最大値」にすぎない。
これは他者の存在意義を特定の関数で評価し、その関数の極値を持たない個体を低位に分類する操作に他ならない。問題はその評価関数が、要求者によって恣意的に定義される点にある。数学的に言えば、評価関数は外挿的に拡張されたスカラー場であり、領域全体の最適化を目的としない局所解の探索に過ぎない。
この行為は、「外部参照の座標変換を考慮しない座標系依存の最適化問題」という致命的な欠陥を抱えている。
他者に「取り柄」を要求する者は、環境依存の狭義な局所解しか見ていない。これは熱力学第二法則の誤読にも似ている。エントロピー増大の法則が示すように、閉鎖系では秩序は必然的に崩壊する。人間社会も局所的に取り柄の有無で序列化すればするほど、その評価系全体はエントロピーを増し、やがて無意味な均質状態に至る。
「取り柄の強制」とは、系の不可逆的劣化を加速する操作なのである。
加えて、自己保存の観点からも非合理だ。進化論的に見ると、単一の適応形質に依存する集団は環境変化に対して脆弱になる。生態学における「ニッチの多様性」が示す通り、生存戦略は分散化されるほど安定する。取り柄を強制することは、全体の多様性を削ぎ、結果的に集団自滅のリスクを高める。
この意味で、他者に取り柄を要求することは、単なる倫理の問題ではなく、システム論的な愚行である。
「取り柄の有無」は有限の情報量から決定されるが、他者の全属性をスキャンし適正な評価を下すには、膨大な計算リソースが必要になる。現実には計算コストの制約から、人は粗雑なヒューリスティックで判断せざるを得ず、その結果「取り柄の強制」は常に誤差を含む不完全なアルゴリズムとして機能する。この種の雑な評価は、機械学習における過学習（オーバーフィッティング）に類似し、短期的には精度が高く見えても、長期的な汎化性能は著しく低下する。
これらの理由から、非合理であり持続可能性のない戦略であることが論理的に導かれる。倫理以前の問題として、単純に「サイコ」であるという評価は、正確に言えば「システム思考において破綻した設計思想」とまとめることができる。
あんまり言いたくないけど、表現者腫物発言だったか以降それに便乗して発言の思想と攻撃性が上がった絵師をちらほら見かけたし
そこまで反発するくらいなら今のまま放置したら、行政的に負け筋なのはわかってるよね？過学習以前の話の頃から反発してる分については、世代交代というか数年で主流派変わるよね？その時になったら垢転生してさも何事もなくAI使う気じゃないよね？というか
名指ししても名指ししてなくても人格攻撃するような強い攻撃性が湧くの感情があると言い張ってる割に、本気で自分の絵柄やら何やら守る気があるのかって思ったりする
ムリに性差はあるのだろうか。
男で俺○○無理なんよねっていうのあんま見かけたことない。食の好き嫌いや対人関係的にこういう人は無理的なのは見かけるけど、鳥無理(昔糞かけられてからトラウマで)とか、ビール無理(にがい)とか、たばこ無理(くさい)とか、SNSやってる人無理(浮気)とか、オンラインゲームやってる人無理(なんかキレてうるさい)とか、そういう対物的な無理はあんまり見かけない気がする。
私が女性と仲良くなることが少ないからか、マッチングアプリで私に興味を持つタイプの選別のせいなのか、性差なのか、なんかこだわりなのかと思うほどそういう無理が何かしらあるいは複数多く持つ女性としか親しくなったことがない。
母もそうだ。父は寡黙に嫌なものでも嫌と言わず受け入れるが母は無理とすぐに言う。
特に食は共に過ごすとその機会が多く、酸っぱいの無理言って本当の美味しいカプレーゼを食べる機会を失ったり、日本酒無理言って本当の美味しい秋田酒を逃したりなど、まぁ強要はしないけど、それにしてもパクチー無理〜納豆無理〜とか無理がどんどん溜まっていく様を見てると、なんか過学習しやすくね？と少しイラッとしてしまう。
無理無理言う人に幻滅してしまうんだけど、性差として受け入れざるを得ないのだろうか…？
初めてホットエントリに入った！嬉しい！いつも思いの丈推敲した文章は入らないのに！悲しい！
男女論はやっぱ燃えやすいのね。観測範囲、ジェンダー、表現(言葉の意味)の問題がある感じっすね。
初めましての女性との食事で自分の好きなもの無理無理と否定されまくったのに、連絡先求められてお食事楽しかったと言われ驚いて、過去を思い返しながら備忘録に日記書き殴ったんさ。読みにくくてごめんね。コメントありがとう気持ちに整理がつきました。
Permalink |記事への反応(24) | 16:21
写真加工アプリで自分の顔を加工したおっさんが売名キチガイ女に絡まれてて可哀想ｗｗｗｗｗ
仮にアプリが「既存の女性の顔を学習してた」的な反AIが喜びそうな汚点があったとしても
（それも現時点では未定。つか有名人でもない特定個人を過学習はせんでしょ）
そう説明してるのにキチガイ女はフォロワーファンネル飛ばして「最悪」「気持ち悪い」「これは私の顔です」
他人の写真を使う心理、よくわかりません。と女性特有の決めつけ
おっさんはちゃんと説明してるのに、キチガイ女は反AI並に話が通じず、それは「私です」と。
（お前…おっさんだったんか…？）
ハッスルおちんぽ騎士団のアドバイスで、他人の写真に削除申請まで送り出す。
女は謝罪も訂正もせずに逃亡…なら良かったんだけど、普通に納得してない模様。
どんな馬鹿げた話でも訴えられたら対応しなきゃいけない今の社会、大変だねぇ。
未だに「なんの目的なんだか…」と言ってる模様。
※これはフィクションです。
