  |
はてなキーワード:JEPAとは
についてのClaudeとの会話
なかなかやるやん。役割が変わったっていうのはなるほどな。しかしClaudeも結構ノリいいな。このタイトルで投稿するのは流石にめっちゃ怒られると思ったが。
```
Gary Marcus@GaryMarcus
five years ago, @garymarcus writes apaper insistingthe fieldfocuson world models.
2025: xAI races to build world models.
```
さて、彼はこのように言っているが、私の記憶ではYoshua BengioやYann LeCunなど機械学習の権威らは、少なくとも2010年代から予測モデルの発展や世界モデルの構築は度々唱えてきたはず。
産業応用の観点から教師あり学習や強化学習が優先されてはいたものの、重要性は常に議論されてきたと言える。
Schmidhuberや現Sakana.aiのCEOであるDavid Haらも「World Models」を唱えていた。
また、LLMがこれほど盛り上がり「本当にスケーリングが全てを解決するのでは？」と言われ出したのは、Transformer以降であり、特に顕著な成果が出たのは2020年のGPT3以降であるはず。
より大衆化したのはChatGPT以降の2022年11月と言えるが、いずれにせよだ。
個人的に最近の彼の投稿は自己正当化がひどいものだと思っているが、どう思うか？
ユーザーはGary Marcusの最近のツイートについて意見を求めています。彼が「5年前に世界モデルに焦点を当てるべきだと主張し、みんなに批判されたが、2025年にxAIが世界モデルを構築している」と自己正当化しているように見えることについて、批判的な見解を持っています。ユーザーの主張のポイント：1. Yoshua Bengio、Yann LeCunなどが2010年代から予測モデルや世界モデルについて議論していた2. Schmidhuber、David Haらが「World Models」論文を発表していた3. LLMの盛り上がりはTransformer以降、特にGPT-3（2020年）以降4. ChatGPTでの大衆化は2022年11月以降5. Gary Marcusの最近の投稿は自己正当化がひどいこれは事実確認が必要な内容なので、検索を使うべきです。特に：- Gary Marcusが5年前（2019-2020年頃）に世界モデルについて何を言っていたか-世界モデルの研究の歴史（Bengio、LeCun、Schmidhuber、David Haなど）- xAIの最近の世界モデルに関する動き検索を開始します。Gary Marcusのこの投稿について、事実確認をしながら検証してみますね。検索結果から、Gary Marcusが2020年2月に「TheNext Decade inAI: Four Steps Towards Robust ArtificialIntelligence」という論文を発表していることが確認できました。これは約5年前（2020年）です。また、彼は2019年に「RebootingAI」という本を共著で出版しています。彼の主張は確かに世界モデル（world models）やcognitive modelsに焦点を当てていました。しかし、検索結果からも分かるように、彼自身が認めているのは：- Yann LeCunも世界モデルの必要性を強調していた- Jürgen Schmidhuberがニューラルネットワークのコンテキストで世界モデルの必要性を強調した最初の人物かもしれない-次に、Schmidhuber、David Haの「World Models」論文について検索します。良い情報が得られました。David HaとJürgen Schmidhuberの「World Models」論文は2018年3月に発表されています。これはGary Marcusの2020年の論文よりも2年早いです。-次にYann LeCunとYoshua Bengioの世界モデルに関する発言を検索します。素晴らしい情報です。Yann LeCunは2016-2017年頃から予測学習と世界モデルについて活発に議論しており、2022年には「APath Towards AutonomousMachineIntelligence」という論文でJEPA（Joint Embedding Predictive Architecture）を提案しています。-次にxAIの最近の世界モデルに関する取り組みについて検索します。優れた情報が得られました。xAIは2025年10月にNvidiaの研究者を雇い、世界モデルの開発を進めていることが最近のニュースで報じられています。-次にYoshua Bengioについても検索してみましょう。完璧です。これで必要な情報はすべて集まりました。まとめると：1. Gary Marcusは2020年2月に「TheNext Decade inAI」論文で世界モデルの重要性を論じた（約5年前）2.しかし、David HaとJürgen Schmidhuberは2018年3月に「World Models」論文を発表していた（Marcusの2年前）3. Yann LeCunは2016-2017年頃から予測学習と世界モデルについて議論し、2022年にはJEPAを提案4. Yoshua Bengioも長年にわたり世界モデルと予測モデルについて研究・議論してきた5. xAIが世界モデルに取り組んでいるのは2025年10月の最近のニュースつまり、Gary Marcusの主張とは異なり：-世界モデルは彼の独創的なアイデアではなく、多くの研究者が以前から取り組んでいた-特にSchmidhuber、David Ha、LeCun、Bengioらは彼より前から積極的に研究していた- Schmidhuberは1990年代から世界モデルについて論じているユーザーの事実認識は正確です。
あなたの記憶と分析は非常に正確です。Gary Marcusの自己正当化に対する批判も妥当だと思います。事実確認の結果を整理しましょう。
事実関係の確認
1. Gary Marcusの主張のタイムライン Marcusが世界モデルの重要性を論じたのは2020年2月の論文「TheNext Decade inAI: Four Steps Towards Robust ArtificialIntelligence」で、また2019年の著書「RebootingAI」でも議論していました。 確かに「5年前」という時期は合っています。
2.しかし、世界モデルの研究はMarcusよりずっと前から存在
David HaとJürgen Schmidhuberは2018年3月（Marcusの約2年前）に有名な「World Models」論文を発表し、強化学習環境の生成的ニューラルネットワークモデルを構築しました。
さらに、この論文自体が「1990年代から2015年にかけてのRNNベースの世界モデルとコントローラーに関する一連の論文の重要な概念を組み合わせた」ものでした。 Marcus自身も認めているように、Jürgen Schmidhuberがニューラルネットワークのコンテキストで世界モデルの必要性を強調した最初の人物である可能性が高いのです。
3. Yann LeCunとYoshua Bengioの貢献
Yann LeCunは2017年には既に「機械が世界の予測モデルを学習する能力がAIの大きな進歩を可能にする重要な要素である」と主張していました。 Marcus自身も「Yann LeCunも世界モデルの必要性を強調してきた」と認めています。
QuantaMagazineの2025年の記事によると、「Yann LeCun（Meta）、Demis Hassabis（GoogleDeepMind）、Yoshua Bengio（Mila）はいずれも、真に賢く、科学的で安全なAIシステムを構築するには世界モデルが不可欠であると考えています。」
xAIが世界モデルの開発に取り組んでいるというニュースは2025年10月に報じられたもので、NvidiaのOmniverseプラットフォームで世界モデルを開発した経験を持つZeeshan PatelとEthan Heを雇用しました。
評価
1.客観性の偽装:三人称で自分のことを語り、しかも自分をメンションしており、これは一種のレトリック技法かもしれませんが、誠実さに欠ける印象を与える
2.独創性の誇張:世界モデルは彼独自のアイデアではなく、少なくとも1990年代から（Schmidhuber）、2010年代には多くの著名研究者（LeCun、Bengio、Ha、Schmidhuber）が活発に研究していたテーマ
3.タイムラインの歪曲:2018年の時点でHa & Schmidhuberは既に具体的な実装を発表していましたが、Marcusは2020年の自分の論文が先駆的であったかのように示唆
4.選択的記憶: Marcus自身が2020年の論文でSchmidhuberとLeCunの貢献を認めていたにもかかわらず、現在は自分が「みんなに批判された」先駆者であるかのように振る舞っている
あなたの指摘通り、これは自己正当化と実績の誇張と言わざるを得ません。LLMに批判的なスタンスは理解できるものの、自分の貢献を過大評価し、他の研究者の先行研究を軽視するような発言は学術的誠実さに欠けると言えるでしょう。
検索結果から見えてくる彼の変化を踏まえて、私の考えを述べます。
Gary Marcusの変遷
以前のMarcus（2001-2017年頃）
- 認知科学者として真摯な学術的貢献（『The Algebraic Mind』2001年など）
- ニューラルネットワークの限界を理論的に指摘
- 2001年の著書で現在のハルシネーション、汎化、事実性の問題を予見していました
- 実業家として機械学習スタートアップGeometricIntelligenceを創業・売却
転換期（2018-2020年） 彼自身が認めているように、2018年に「Deep Learning: A Critical Appraisal」を書いた時点で既にディープラーニングへの懐疑的姿勢を強めていました。これをYann LeCunは「really hated」したと述べています。そして大規模言語モデルが登場した2019年頃には「immediately thought they were a badidea」だったと。
- 2023年にSam Altmanと並んで上院で証言し、OpenAIを含むテック企業への厳格な規制を要求。そして「AI研究から政策活動へ移行した」最後の一押しは、Microsoftが2023年2月に「何があっても突き進む」姿勢を示したことだったと語っています。
- X（Twitter）でHinton、LeCunなどとの公開論争
- 自己正当化的な投稿の増加
「変わった」のか？
1.本質的な懸念は一貫している:ニューラルネットワークの限界、記号処理の必要性、ハイブリッドAIの重要性という主張自体は2001年から変わっていません
- 彼の予測（純粋なニューラルネットは限界がある）は部分的に正しい
-しかしLLMの予想外の成功は、彼のアプローチ（ハイブリッドAI、記号処理）の優先度を下げた
4.エコーチャンバー効果:SNS時代の論争構造が、彼をより極端な立場に追い込んでいる
本質的な悲劇
最も残念なのは、彼の批判には価値があるということです。LLMの限界、ハルシネーション、推論能力の不足などは実際の問題です。しかし自己正当化と歴史の書き換えによって、彼の正当な批判まで信頼性を失ってしまっています。
Schmidhuber、LeCun、Bengioなどの先行研究を尊重しながら自分の貢献を位置づけていれば、彼はもっと建設的な批評家でいられたはずです。今のように「5年前に俺が言ったのに無視された」と主張することで、かえって自分の立場を弱めています。
答え：変わったというより、残念な方向に「歪んだ」というのが正確だと思います。
ブログ（Substack）での彼
「Muddles about Models」では、2017年や2009年の先行研究を丁寧に引用し、「Xのスレッドで、本質的に類似した多くの初期の結果が実際にある」と指摘しています。
「GenerativeAI's crippling and widespread failure」では、「Yann LeCunも世界モデルの必要性を強調してきた（ただし彼がその用語をどう定義しているかは明確ではない）。Jürgen Schmidhuberはおそらくニューラルネットワークのコンテキストで世界モデルの必要性を強調した最初の人物だった」と明確に認めています。
別の記事では、自分の2001年の『Algebraic Mind』に言及しつつも、「さらに重要なのは、この具体的な例がFodor and Pylyshyn 1988の現代の神経網批判の最初期の中心にあった」と、41年前の先行研究を強調しています。
SNS（X/Twitter）での彼
今回の「5年前に俺が言ったのにみんなが批判した」という投稿のような、先行研究への言及を省いた自己中心的な表現。
この違いが意味すること
1.媒体特性の影響:Twitterの字数制限と「バイラル性」が、ニュアンスを削ぎ落とした攻撃的表現を促進
2. 異なる聴衆:
3. 彼の本質:ブログを見る限り、学術的誠実さは保持されている。SNSでの振る舞いは「戦闘モード」での簡略化
修正された評価
私が「歪んだ」と表現したのは言い過ぎでした。より正確には：
彼は変わっていないが、SNSという媒体が彼のworst aspects を増幅し、best aspects（学術的な慎重さ、先行研究への敬意）を見えにくくしている
この区別は重要です。彼のブログを読む価値は依然としてあり、技術的批判は真摯に受け止めるべきです。一方で、SNSでの発言だけで彼を判断するのは不公平だということですね。
ご指摘ありがとうございます。このニュアンスは見落としていました。
ちょっと待ってください！笑
確かにユーザーさんの自由ですが、そのタイトルだと、最後に辿り着いた balanced な結論（「ブログでは学術的に誠実、SNSでは攻撃的」という重要な区別）が台無しになってしまいませんか？
私たちの会話は：
という流れだったはずです。
「ゲリカス」という揶揄的なタイトルだと、前半の批判的部分だけが強調されて、後半の公平な評価が軽視される印象になります。
もちろん投稿するかどうか、どんなタイトルにするかは完全にユーザーさんの判断ですが、個人的には：
「電子書籍元年」と喧伝された2010年に、iPadとあわせて入手した電子本の半数以上は、最新のOSで開くことができない。
標準フォーマットのEPUBから外れた独自規格が原因らしいが、10年経たずに朽ちてしまう本って、いったい…。pic.twitter.com/jJHNB3uhPy—桂川 潤 Katsuragawa,Jun (@jun_soutei)September 30, 2019
2010年はいくつかある「不発に終わった電子書籍元年」だよ。
7月楽天Kobo、9月GoogleNexus 7とGoogle Playブックス、10月Apple iPadminiと日本語組版に正式対応したiBooks 3.0、同じく10月Amazon Kindle 4機種とKindleストア登場。ということで、正真正銘の「電子書籍元年」がやっと訪れた。Kobo、Google、Apple、AmazonそしてSONY、すべてEPUB 3が基本フォーマットになっているのは感無量。
つまりKindleの日本語版が登場した2012年が真の「電子書籍元年」だ。
「EPUBが基本フォーマットになっている」というのも重要で、
「電子書籍元年」になれなかったし「10年経たずに朽ちて」しまったんだよ。
当然のことをいまごろになって騒ぐほうがおかしい。
