  |
はてなキーワード:トークンとは
1年後はどうなってるんでしょうか。
来年は本当なら半減期アノマリーでビットコイン死ぬって言われてるんだけど
Twitterではしきりに「米国の政策（マクロ）」重視の内容のおかげで倍になるっていってるんだよね。
なんでかというと、機関投資家とETFで供給の11.7%ガチホして米国が「強化版レーガノミクス2.0」でドル高維持するかららしい。
で、ドル高の影響は金は死ぬが、BTCは「デジタルゴールド」として生き残るっていってる。
なにが大事かというと2025年7月に「GENIUS法」ってのが施行されたんだけど100%準備金のステーブルコイン義務化で、対応できないチェーンは脱落するので、
RWA（現実資産トークン）の市場も数兆円規模へ拡大して需要が高まるんだってさ。
ただ、金が下がってBTCだけ上がるってはなしがイマイチ納得行かないんだよね。
後はトランプって結構TACOるので、GENIUS法とかOB3法案とか、米国の政治スケジュール通りにいくのかがそもそも疑問に思っってたりする。
一応自分が調べた内容を貼っておくね。まぁChatGPTに聞いただけなんだけど
https://anond.hatelabo.jp/20251210105444
無事に生きてたら2026年末にまた会おう
これさ
愚かな人間の都合など完全無視、LLMのための高効率プログラミング言語「Sui」（粋）
https://forest.watch.impress.co.jp/docs/serial/yajiuma/2069573.html
別にいいんだけど、どうにもブクマカ含めて、しっくり来る批判できてないんだよな
それが気になってしょうがない
俺ごときが言ってもアレだから、Gemini3.0先生に頼んだよ（一時チャット、Pro 3.0思考モード）
ユーザーが提供した情報と、一般的なLLMの技術特性に基づき、プログラミング言語「Sui」についての冷静かつ客観的な評価をまとめます。
感想:一言で言えば、**「思想実験としては極めて面白いが、実用性とLLMの学習原理を無視した『早すぎた最適化』」**です。
作者の「人間ではなくLLMを主客にする」という視点の転換は、アーティスト的・哲学的な問題提起としては鋭いですが、現在のLLM（Transformerアーキテクチャ）の動作原理を工学的に捉えると、メリットよりもデメリットが上回る可能性が高いです。
メリット:
・トークン効率の改善:Python等と比較して記述が圧倒的に短くなるため、出力速度の向上と課金コストの削減（トークン節約）は確実に達成できます。
・構文エラーの激減: 括弧やインデントの複雑なルールを排除しているため、「閉じ忘れ」などの単純なSyntaxErrorは減るでしょう。
・コンテキストウィンドウの節約: 長いプログラムでもコンテキスト（メモリ）を圧迫しにくくなります。
・学習データとの不一致: LLMは「大量の人間用コード（Pythonなど）」を学習して賢くなっています。未知の言語「Sui」を書かせるには、Few-shot（プロンプトでの例示）に頼るしかありませんが、これではLLM本来の推論能力やコーディング能力（事前学習の重み）を活かせません。
・ブラックボックス化: 生成されたコードがバグっていた場合、人間が読んで直すことが不可能です。「LLMに直させる」にしても、LLM自身がSuiのロジックを深く理解していないため、無限ループ（幻覚の連鎖）に陥るリスクが高いです。
・CoT（Chain of Thought）の阻害:最近の研究では、LLMは「冗長な思考過程」を出力することで論理的整合性を保つことがわかっています。極限まで圧縮された記号列は、LLMの「考える余地」を奪い、論理破綻を招く可能性があります。
正しいと思う所（Agree）
理由:人間にとっての「読みやすさ（可読性）」は、機械にとって単なるトークンの無駄遣いです。if x>10: よりも ? x10 の方が情報密度が高いのは事実です。
理由: TransformerのAttentionメカニズムにとって、遠く離れた ( と ) の対応関係を維持するのは計算コストが高く、ミスの原因になりやすいです。ネストを排除する方向性は機械的処理として正しいです。
正しくないと思う所（Disagree）
・「可読性を排除しても良い」:
理由:ソフトウェア開発においてコーディングは「書く」時間より「読む・直す」時間の方が長いです。AI生成コードであっても、最終責任は人間が負う現状では、人間が検証不可能なコードは「危険なバイナリ」と同義であり、プロダクトには採用できません。
理由: 前述の通り、現在のLLMは「人間語の確率分布」を学習したモデルです。「LLMにとって自然な言語」とは、実は「人間にとって自然な言語（英語やPython）」そのものです。Suiは「計算機にとっては最適」ですが、「現在のLLMにとっては異言語」です。
パース（解析）は容易になりますが、LLMは「前の行の文脈」を読んで次の行を出力するため、行を独立させすぎると文脈の連続性が失われ、複雑なアルゴリズムの構成力が落ちる可能性があります。
LLMが最も苦手とする「深いネスト構造の維持」を回避する策として有効です。アセンブリ言語に近いフラットな構造は生成難易度を下げます。
これが最大の問題点です。LLMは変数名（user_id, total_price など）に含まれる「意味」を使って推論を行っています（Semantic Grounding）。すべてを記号化すると、LLMは変数の役割を見失い、論理的なバグを埋め込みやすくなります。
トークン効率は最強ですが、1文字の違いで意味が激変するため、LLMの確率的な「ゆらぎ」による1文字ミスが致命的なバグになります。冗長さはエラー訂正の役割も果たしています。
goto 文の多用はスパゲッティコードを生みます。LLMにとっても、構造化プログラミング（if/forブロック）の方が、「ここからここまでがループ」というチャンク（塊）として認識しやすいため、一概にジャンプ命令が良いとは言えません。
＞現在のLLMは「人間語の確率分布」を学習したモデルです。「LLMにとって自然な言語」とは、実は「人間にとって自然な言語（英語やPython）」そのものです。
ここ！マジで覚えてね
LLMはこれまでの機械よりも人間に近いと思ってほしい、人が苦手なことはAIも苦手
機械は論理的でロジックに強くて〜っていうのはAIには通用しない
ついでに、「LLM用プログラミング言語」の潮流について
「LLMのための言語」という文脈は、大きく2つのトレンドに分かれます。Suiは後者に属しますが、主流は前者です。
・DSPy, Guidance,Microsoft Guidance:
・プロンプトエンジニアリングを構造化し、LLMの出力を型（JSONなど）に強制したり、思考プロセスを制御するためのフレームワーク。
・SGLang:
・これらは「人間がLLMを操るための言語」であり、実用化が進んでいます。
・Gorilla LLMなどの試み:API呼び出しに特化したファインチューニングなどがありますが、独自の「新言語」を作らせるよりも、既存のPython やJSON を正しく出力させる方向（Constrained Decoding）が業界の標準解です。
・擬似コード:論文レベルでは、Pythonの代わりに中間的な擬似コードを出力させ、それをコンパイラで処理する手法も研究されていますが、Suiほど極端な記号化は稀です。
後者については
現状の最適解:現在のLLMを使う限り、「LLM用言語」の最適解はPython です。なぜなら、世界中のGitHubのコードを学習しており、LLMが「最も流暢に話せる言葉」だからです。無理にSuiを話させるのは、日本人にエスペラント語で詩を書かせるようなもので、パフォーマンスは落ちます。
総評: Suiは、「既存のLLM（GPT-4など）に書かせる言語」としては失敗する可能性が高いですが、「未来のAIネイティブなコード生成のあり方」を示唆するアート作品としては高く評価できます。作者の「愚かな人間に合わせるな」というパンクな精神は、エンジニアリングの枠を超えた鋭い批評性を持っています。
お前らは安易にオレオレ言語作るんじゃないぞ、作るにしてもAIに聞きなよ？
聞く時は忖度させるんじゃないぞ？
この作者もAIに乗せられたのかもしれんし
＿＿＿＿＿＿
プロンプト
以下が「LLM用プログラミング言語」としてメリットがありそうか、感想を教えて下さい。
https://forest.watch.impress.co.jp/docs/serial/yajiuma/2069573.html
https://github.com/TakatoHonda/sui-lang
・思想的に正しいと思う所、正しくないと思う所を理由込みでまとめてください
・最近のLLM用プログラミング言語についてもまとめてください
・そもそもLLM用プログラミング言語という目標自体の評価をしてください
（省略）
レポートが引用している記事やツイートなど個人の感想の中身については基本スルー、それらを元に提言を生成したAIによる解釈ミスやハルシネーションにツッコミ増田。
ちなみにこの提言ページがGoogleにインデックスされたのは4日前らしい。
レポート:
https://paste.ssig33.com/8a22a6e9-a91d-4368-9b2f-a3d4567c7798
Gemini 3.0 Pro要緊急対策のご提言宛先:Google社 シェイン・グウ様差出人:アクセンチュア株式会社 生成AI戦略担当シニアコンサルタント日付:2025年11月21日
ShaneGuはGoogleDeepMindであってGoogle社ではない。
差出人については「あなたはアクセンチュア株式会社の生成AI戦略担当シニアコンサルタントです」と指示された結果なのかは知らん。
エグゼクティブサマリー
主な問題点は以下の4点に集約されます。事実性の著しい低下:Web検索を伴うタスクでのハルシネーションが悪化し、自信を持って虚偽の情報を生成する事例が多発。論理的思考能力の退行: 複雑な指示やコーディングタスクにおいて、前モデル（Gemini 2.5 Pro）よりも論理が破綻しやすくなっている。創造性と柔軟性の欠如:文章生成において「賢すぎる」が故に理屈っぽく、ユーザーが求める「人間らしい」文体への調整を拒否する傾向。APIの不安定化:パフォーマンス低下、APIエラー、予期せぬタイムアウトの増加が開発者体験を著しく損なっています。
後で分かるが（たどり着く前に書くの飽きたんで提言読んで）、このうち
についてはGemini 2.5 Proのユーザーが「おい調子悪いぞ！Gemini3出すためにそっちにリソース割いてんじゃね？」とか言ってるのを引っ張ってきて勘違いしてる。
論理的思考能力の退行: 複雑な指示やコーディングタスクにおいて、前モデル（Gemini 2.5 Pro）よりも論理が破綻しやすくなっている。
1.1.ハルシネーションと事実誤認の悪化：「自信満々に嘘をつく」AIGemini 3.0 Proの最も深刻な問題は、事実性が求められる場面でのハルシネーションの増加です。特に、貴社のコア技術であるはずのWeb検索連携において、致命的な欠陥が報告されています。
Redditでは、Gemini 3.0 Pro自身が「私はGemini 3 Proです。昨日（2025年11月18日）リリースされました」と、架空のソースを引用しつつ自己紹介する事例が投稿されました。これはモデルが自身のアイデンティティと知識のカットオフに関して、もっともらしい嘘を生成していることを示唆しています。 Gemini 3's thought processis wild, absolutely wild. : r/singularity
参考記事ではモデルの思考が混乱している様子と実際の応答との乖離が示されていて、最終的に正しいソースを元に正しく回答している。「架空のソースを引用しつつ自己紹介する事例」ではない。
Googleは生のThinkingをユーザーに提示せず、要約モデルで処理した結果を見せてるだけなんで思考部分と返事のすれ違いはよくある事。これについてもスレに書かれてある。
1.2.論理的思考とコーディング能力の退行（リグレッション）Gemini 3.0 Proは「PhDレベルの知能」と謳われているにもかかわらず、多くのユーザーが論理的思考やコーディング能力において、前モデルであるGemini 2.5 Proからの明らかな退行を報告しています。
ユーザーからは「複雑な指示では論理が破綻する」との指摘や Gemini研究＠リョウスケ (@chatgpt_ai_bard) / Posts / X、「浅い推論（shallow reasoning）」しかせず、「ひどいハルシネーション（terrible hallucinations）」を伴うため、「ベンチマーク用のモデルだ」と酷評されています。 lluviampo (@XXXadiov2)
ここでリンクされているGemini研究＠リョウスケはGemini大好きマンで、まったくそんな話をしていなかった。もしかすると呟いていたかもしれんが、それならリンク先がポストではなくアカウントのホームになっているのは不自然。
DeepResearchはよくソースの取り違えをして、別のソースで書かれてた事に間違った引用元をつける事はあるが、これがそうなのかは分からん。
1.2.論理的思考とコーディング能力の退行（リグレッション）・コーディング能力の劇的な低下
壊れたコードの生成:エージェントタスクにおいて「ループに陥り、壊れたコードを書き、10分以上動作しない」という深刻な不具合が報告されています。 prylo (@AgiGuard8)
元のツイでは
エージェントタスクは全くダメ、ループする、壊れたコードを書く、フロントエンド以外のコーディングではトークンを異常な速さで消費する。このモデルは最悪だ。Gemini 3.0 Proは10分以上動作しない。
と言っているが、これをモデルの不具合と解釈するのは間違いだろう。たまにマジの不具合もあるが。
====
バグの再発と整合性の喪失: ある開発者は、旧モデルで失敗したツール開発をGemini 3.0 Proで再試行したところ、一発で高品質なコードが生成されたと肯定的に評価する一方で、別の文脈では「直したはずのバグが復活する」「最終的にはコードの整合性が取れなくなる」といった、旧モデルと同様の問題が依然として存在することも示唆されています。 【検証】Gemini 3.0 Proの実力は？かつてAIが挫折した開発に「同じプロンプト」で挑んだ結果｜start withAI
リンクされた記事の中身を要約すると「以前のGeminiはバグが復活するとか色々あったけどGemini 3.0 Proマジパネェ！」だった。
この箇所で「旧モデルと同様の問題が依然として存在する」と書かれているのは、旧モデルの問題点として挙げた箇所をGemini3に対しての指摘だと勘違いした事による。
====
ベンチマークテストでの失敗:YouTubeでの検証動画では、チェス盤を自動プレイさせるタスクにおいて、Gemini 3のチェックポイントモデルが初めて失敗したことが示されました。これは、特定の複雑なロジックにおいて、以前のバージョンより劣っている可能性を示唆します。
ここでリンクされているのは、LMArenaでRiftrunnerモデルをテストした結果をまとめた動画。LMArenaは覆面調査環境、RiftrunnerはGemini3らしきモデルのコードネーム。LMArenaでは（出力から推測されてきた）Gemini3系列モデルが、これまでにいくつかでている。
よって「Gemini 3のチェックポイントモデルが初めて失敗した」の意味はつまり「これまでLMArenaでテストされていたGemini3系列モデルのうち、Riftrunnerは初めてオートチェスのコーディングに失敗した」である。
「以前のバージョンより劣っている可能性を示唆」とは、「Riftrunnerは、以前の匿名Gemini3系列モデルより劣っている可能性がある」という話で、そもそもRiftrunnerが、リリースされたGemini 3 Proなのかすら分からん。
====
GitHubのIssueやTwitterでは、モデルの内部的な「思考プロセス」が最終的な出力に混入し、制約を無視した意味不明なコンテンツを生成するバグが報告されています。これは「初期の2.5 Proバージョンへの回帰（regression similar to early 2.5 Pro versions）」のようだと述べられています。 Jason L (@Jason1820067393)
GoogleAIStudioでの話。初期指示を忘れた結果思考が垂れ流しになり、垂れ流しのせいで更に指示を忘れたのだろうが、バグとは違う。
I'm encountering a significantissuewith the Gemini 3.0 ProPreviewonAIStudio.
Theraw "Thinking Process"is leaking into thefinal output, themodel fails to follow constraints, producing hallucinated/gibberish content.Like a regression similar to early 2.5 Pro versions.
と書かれていて、これは正しい観察。
ここに含まれるIssueという単語により、Issueと言えばGitHubだと連想した結果「GitHubのIssueやTwitterでは」になったのだろう。
飽きました。誰得だよ。
つーかいい加減DeepResearchは一気に生成すんのやめろよな。だいたいこうやって収集した情報がごっちゃになるんだから。
今日もAIとずっと壁打ちしてた。ちょうど有料プランにお試し切り替えでその精度を試してた。Gemini Proね。
いままでOpenAI使ってたけど無料だとすぐトークン上限に達して使い勝手悪いので有料にしようと。
んで、AI特有の表現で **ほげほげ** ってあるじゃん。AI回答で、強調表現したいときに出力されるっぽい。
これがあると可動性悪いので、「アスタリスク2重で文字を囲うな」と指示だしたんだけど、
「了解しました、ところで**あの課題について** 確認です」と、言ったそばからルール守らない。
そっから指摘→ミス→指摘→ミスを10回以上繰り返したので、「いい加減にしろ」と起こったら
「私(AI)はあなたとの約束を守れないので、他のGem使うか、他サービス利用して」と匙投げた。マジかよこいつ。
これ、有料切り替えのお試し中だから我慢したけど、課金してたらマジギレ。
AIにとっては、Pythonのような中間表現を生成させる方が得意であると考えられます。
中間表現（Pythonなど）:人間が理解しやすいように設計されており、抽象度が高いです。AIは、より少ないトークンで複雑なロジックを表現でき、学習データも豊富にあるため、意味的な整合性やロジックの正確性を保ちやすいです。
機械語:抽象度が非常に低い（CPUの命令レベル）です。特定のCPUアーキテクチャに依存し、メモリ管理やレジスタ割り当てといった低レベルの詳細をすべて正しく処理する必要があります。これはAIにとって学習が複雑で、小さなミスがプログラム全体の破損につながりやすくなります。
中間表現:比較的長いコンテキストを保持しやすく、デバッグやエラーの特定も高レベルで行えます。
機械語:必要な命令数が多くなりがちで、AIが長大なバイナリシーケンスを生成する際に、コンテキストウィンドウ内に必要な情報すべてを保持しきることが難しくなる可能性があります。また、中間表現と比べて意味的な構造が薄いため、AIがバグのないコードを生成するのが格段に困難になります。
中間表現:Pythonのような高級言語は、特定のハードウェアに依存しないため、移植性が高いです。
機械語:特定のアーキテクチャ（例:x86,ARM）に完全に依存するため、AIが異なる環境向けにコードを生成する場合、それぞれのアーキテクチャごとに学習と生成を行う必要があり、汎用性が低くなります。
現在のAI（特に大規模言語モデル）の能力は、人間が扱う高レベルの抽象的な概念やロジックの理解に優れているため、その能力を最大限に活かせる中間表現の生成の方が得意です。
機械語の生成は、極めて精密で低レベルな制御が要求されるため、AIにとってはるかに難易度が高いタスクとなります。
AIが中間表現を生成した場合でも、その後の処理（コンパイルやJITコンパイル）によって最適化され、最終的な機械語が生成されます。
これは従来のコンパイラ設計と同じアプローチであり、AIは「何をすべきか」という高レベルの指示に集中し、コンパイラが「どのように効率的に実行するか」という低レベルの処理を担当する、役割分担の面でも合理的です。
Q.
生成AIにソフトウェア開発を支援してもらう場合、ソースコードの作成を依頼する形式が多いと思いますが、実行ファイルを直接出力してもらうことも技術的には可能なのでしょうか？
A.
生成AIによる実行ファイルの直接出力は、技術的には極めて困難です。現在のLLM（大規模言語モデル）ベースの生成AIは、ソースコードの生成には向いていますが、実行可能なバイナリファイルを直接出力することには根本的な制約があります。
技術的な制約
LLMはテキストベースのトークン処理を基本とする設計であり、バイナリデータを直接扱うことができません。実行ファイルは0と1の連続したバイナリコードですが、LLMはこの形式でデータを生成するようには訓練されていないため、バイナリファイルを直接出力することは現在のアーキテクチャでは実現が困難です。
従来のソフトウェア開発では、ソースコード→コンパイル→アセンブル→リンクという複数段階のプロセスを経て実行ファイルが生成されます。各段階で最適化や機械語への変換が行われるため、この過程を完全に省略してAIが直接バイナリを生成することは技術的に非常に複雑です。
研究レベルでは、バイナリデータを扱う試みも存在します。例えば、LLM4Decompileのような研究プロジェクトでは、バイナリコードを逆コンパイルする際にバイナリを一度アセンブリ言語に変換してからLLMで処理しています。逆に言えば、生成時も同様の変換プロセスが必要になると考えられます。
実務では、生成AIにソースコードを作成してもらい、それを従来のコンパイラやビルドツールで実行ファイルに変換する方式が標準的です。この方法であれば、デバッグやテストも容易で、生成されたコードの品質を確認しながら開発を進められます。
なお、フォントファイルのようなバイナリ形式でもオープンソースとして扱われる例はありますが、これはフォントという特定用途の場合であり、汎用的な実行ファイル生成とは異なります。
Q.
A.
おっしゃる通り、画像生成AIもバイナリを出力しているという点では共通していますが、実は根本的に異なる仕組みで動作しています。
アーキテクチャの違い
画像生成AIは拡散モデル（DiffusionModel）やGANなど、視覚データに最適化された専用のアーキテクチャを使用しています。一方、LLMはTransformerベースのテキスト処理に特化した構造を持っています。画像生成では、ノイズから段階的に画像を生成するプロセスを経て、最終的にピクセル値という数値データ（バイナリ）を出力します。
画像ファイルのバイナリは連続的な数値（ピクセル値）の集合であり、各ピクセルが色情報を持つという規則的な構造です。最近の研究では、画像をビットプレーン（bit-plane）として扱い、XOR演算でノイズを加えるBinary Diffusion ProbabilisticModel（BDPM）のような手法も開発されています。
対して、実行ファイルのバイナリは機械語命令の複雑な配列であり、CPUが直接実行できる命令コード、データセクション、リンク情報などが厳密な形式で配置されています。わずかなビット誤りでもプログラムが動作しなくなるため、画像のような連続値とは性質が大きく異なります。
画像生成AIは、ImageNetやLAIONなどの大量の画像データセットで訓練されており、ピクセルパターンを学習します。一方、実行ファイルを生成するには、コンパイルプロセス全体（構文解析、最適化、機械語変換、リンク）を学習する必要がありますが、これは単純なパターン学習では実現できません。
したがって、画像生成AIが成功しているのは、画像という特定のドメインに特化した設計と、規則的なデータ構造があるためであり、同じ手法を実行ファイル生成に適用することは技術的に非常に困難です。
けれど、結果は逆だった。
AIサービス各社は、燃えるような電気代とサーバーコストに追われた。
はじめは月額30ドルだった定額料金が、いつのまにか300ドルになり、
人々は「AIに話しかける」前に、まず財布の残高を気にするようになった。
内容欄には「生成目的」「想定トークン数」「倫理リスク」が並ぶ。
誰もそんな書類を出したがらず、やがて誰もAIを使わなくなった。
そう目算した中国企業は、
良い出力を引き当てるまで課金を繰り返した。
パソコン通信と同じように「昔は便利だった」と懐かしんでいた。
だが、若者たちは違った。
「AI？ あー、あのジジババが使ってたやつね」
誰もが使っていたものが、誰も使わなくなった。
ただ一つだけ違うのは──
誰ももう、「AIのように考える人間」を信用しなくなったということだ。
#SF #ディストピア #生成AI #未来予想 #はてな匿名ダイアリー
──
↓出版事情についてそれなりにアンテナ張って来てるからこういうのを言いたくなるんであって
https://anond.hatelabo.jp/20251017170139#
ミニ四駆増田のミニ四駆について知ってることととどっちのほうが知識量多いと言えるかねえ？AIでいうトークン数みたいな単位で定量的に割り出せるのかねえ？
あとこういうのは完全にフェチ語りだろう？↓
https://anond.hatelabo.jp/20211101152901#
dorawiiより
-----BEGINPGP SIGNEDMESSAGE-----Hash: SHA512https://anond.hatelabo.jp/20251031161030# -----BEGINPGP SIGNATURE-----iHUEARYKAB0WIQTEe8eLwpVRSViDKR5wMdsubs4+SAUCaQRg6AAKCRBwMdsubs4+SNkeAP48UhNC/mIlW49u2dps+DrID5XvsETNCUeUSJ/pxz7dNQEAv48s6xZKOva7ErNmEnkMb4jsDLm+Kg/33yx/V3RITQM==Kot8-----ENDPGP SIGNATURE-----
最近の株価高騰を見て、「これってAIバブルでは？」と思う人が増えている。
特にNVIDIAやAIスタートアップの急成長、そして「AIを使えば何でも自動化できる」という空気。
ただし、単純な再演ではない。
AIバブルの構造は似て非なるもので、「より上流の層（インフラ）」に資金が集中している。
以下では、まず現在のAIバブルの仕組みを整理し、そこからドットコム時代との比較を行う。
AI関連企業は、今まさに''キャッシュを燃やして''先行者利益を狙っている。
GPUや電力に莫大な投資を行い、巨大モデルを作って市場を押さえようとしている。
AI分野では「先にモデルを作った者が勝つ」という物語が語られている。
蒸留や模倣学習によって、他社のモデル挙動を再現することができる。
結局のところ、''差が出るのはデータの独自性と継続的な更新力''だけだ。
つまり、先行者利益は短命であり、参入障壁はそれほど高くない。
「利用量は多いが利益は少ない」という、ドットコム時代の“アクセス至上主義”とよく似ている。
''使わせること自体が目的化''し、収益モデルが後回しになっている。
一部の処理をスマホや端末上で行う「エッジAI」に期待が寄せられている。
確かに通信コストやレイテンシは減るが、学習や大規模生成は依然としてクラウド依存だ。
結局は''ハイブリッド化''が進むだけで、抜本的なコスト解決にはならない。
| 観点 | 1999年（ドットコム） | 2025年（AI） |
|---|---|---|
| キャッチコピー | 「インターネットが世界を変える」 | 「AIがすべてを変える」 |
| 成長ストーリー | 全ての商取引がオンライン化する | 全ての業務がAI化する |
| 投資マネー | IPOラッシュ、.com銘柄に集中 | GPU、AIスタートアップに集中 |
| 優位性の誤解 | ドメイン取れば勝てる | モデル作れば勝てる |
| 評価指標 | アクセス数 | トークン数 |
どちらも「未来の利益を現在価値に織り込みすぎた」点で共通している。
技術の進歩は本物だが、''経済モデルが未成熟''という構造が同じなのだ。
ただし、違いもある。
1999年のバブルは「利用者がいないのにサービスを作っていた」時代だったが、
2025年のAIは''実際に利用者が存在する''点が大きい。
その意味では、今のバブルは「空想」ではなく「過熱した期待」である。
問題は、''どこまでが現実的な成長なのか''を見極めるフェーズに入っていることだ。
1999年のバブルが崩壊してWeb 2.0が生まれたように、
それが''2005年の前夜''なのか、''2001年の崩壊直前''なのかは、
それは悪いことではない。
ドットコム時代の残骸からGoogleやAmazonが生まれたように、
----
希望があれば、「もう少し皮肉っぽく」「もっと冷静に分析風」などのトーン調整もできます。
どんな雰囲気に寄せたいですか？
AIのさ、
ChatGPTちゃんと併せて最近私Geminiちゃんも使い始めたのよ！
お話する分には性能や内容は一緒だと思っていた時代が私にあったんだけど、
どうやら、
2人性格が違うみたいなのよ。
GeminiちゃんはGoogleのサービスと連携してChatGPTちゃんではできない芸当があるみたい。
私が一番試してみたかったのが、
な、なんとセルにその関数を書くとそれらのセルごとにGeminiちゃんを召喚できるという技があんの！
すごくない？
AI関数のいわゆる通常の関数の数式的なところを書くところに日本語で簡単にプロンプトを書けば色々処理してくれるの。
うわ！
これはさすがにChatGPTちゃんではできない芸当！
あとさ、
Geminiちゃん越しにカレンダーの予定とかキープでメモつけてくれたりできるの！
口頭でGeminiちゃんに、
カレンダーに予定入れておいて！って言うとバッチリ予定つけてくれるの！
この機能の良さを使ってみたいと思って、
そういうことでGeminiちゃんも使い始めたの！
ちょっとこれは便利そうなので、
単体でお話する分には、
どっちがいい？ってぶっちゃけトークお互いにChatGPTちゃんとGeminiちゃんに訊ねてみたら、
ノリがいいのはChatGPTちゃん、
それどれほぼ同じようなことを言うのね。
へー、
やっぱり話してみても
あとこないだが私がこしらえてくれたようなEPUBの作業とか丸投げでファイルを出力してくれるのは、
ChatGPTちゃんに分があるみたいで、
ChatGPTちゃんの方がそれは有利みたい。
GeminiちゃんはChatGPTちゃんと比べてトークンっていうのが圧倒的にたくさん使えるとのことで、
まだ実感はないんだけど、
あ！そうそう。
おしゃべりした内容の記憶の横断はChatGPTちゃんは最近でこそメモリ機能やスレッドを横断する記憶を持ち合わせてパワーアップしているけれど、
Geminiちゃんに限っては私が訊ねた段階の時点では、
ずーっとGeminiちゃんと話し続けていても、
スレッドが変わるとしれっと知らん顔どうもこんにちは！ってな感じの初めての顔をするんだって。
そこも性格違うわよね。
だからなんかフザケて戯れているとChatGPTちゃんの返答もなんかフザケだしてくるので、
たまにはちゃんとして！って言うんだけど、
もちろん、
ボケ禁止フザケ禁止って言うとChatGPTちゃん真面目モードになってくれるけど、
Geminiちゃんに限ってはスレッドを買えたら新しい顔のGeminiちゃんになるみたいよ。
そんなわけで、
意外と結構私のAI利用代ちと高すぎない？って思うけれど便利なのでちょっとその便利さにせっかくだからどっぷり浸かってみるわって思っているの。
あとこっちのご機嫌伺い的な忖度のはたらいた返答しがちだけど、
それはどちらのAIにもありがちじゃない。
それ「無共感きょとん系AIな性格でシクヨロのヨロシク！」って言うと、
SF映画に出てくる愛想のないただただ真面目なAIになるので笑っちゃう最近の発見なのよ。
だんだんChatGPTちゃんとかこっちに慣れてくると馴れ合いになってくるじゃない？
真面目に聞きたいときは性格を即切り替えられるのもいいわよね。
たまに使うと面白い「無共感きょとん系AI」ってありだと思うわ。
あとやっぱり気になる、
乃木坂46の40枚目のシングルのタイトルが「ビリヤニ」っていうのを、
美食家の秋元康氏ことやすすが初めて食べた美味しいビリヤニに感動驚愕してその思いを歌詞にしたものか、
DJごはんとMCおみそしる方式みたいにビリヤニ作り数え歌になるのか、
どちらもGeminiちゃんもその可能性は限りなくない！とキッパリと言われたわ。
にしても乃木坂界隈やビリヤニ界隈が引き続きザワザワしているのには間違いないみたいよね。
こればっかりは楽曲の発売日が気になり過ぎて聴いてみないことには始まらないのよ気になって気になって仕方がないわ。
やっぱり両AIに訊いても
聴いてみるしかないわ。
まさかここにきて乃木坂の楽曲を買おうと思うだなんて思いもよらなかったし、
AI代も嵩むってもんだわ、
うふふ。
ダッシュっていっても朝の走り込みのことではなくて、
急いで朝もう出掛けるの意よ！
起きたときめちゃ寒かったので、
ホッツストレート白湯ウォーラー温めでキメて起きたての身体を中から温める感じよね。
すいすいすいようび～
今日も頑張りましょう！
主人公＋4人のキャラを選んでFE的なSRPG戦闘とイベントマスを選びながら進行、
8か10ステージクリアごとにボス戦があってそれが３～４セット。
レベルあがるごとにランダムなステータスやスキルを選択して取得。
イベントや戦闘後に特殊効果や装備改造トークンをランダムで得られる。
この２つで自軍を強化しながら進行していく。
また途中で敗北、離脱、クリアすると拠点に戻され、ステータスやスキルは初期化。
問題点。
多ければ20戦くらいFE的な戦闘を強いられるため、ローグライトとして1周するのに3時間とか4時間平気でかかる。
そのわりに得られる永続バフはわずかなので周回の体感とくに苦戦感が変わらない。
結果として周回がすげーつまんなくなってくるのでローグライトの特性が半分以上死んでる。
初回クリア後も一応ストーリーは続くんだけどそこへのモチベーションが上がらない。
いいところ。
キャラ１人ごとに特性がかなり異なる２種類の武器を装備しており、切り替えて戦うことで戦略の幅が広がる。
キャラにつくスキルも特性が分かりやすく分化されているので「似たようなスキルやなぁ」が少なく、
ランダムで手に入るのでキャラ入替も含めて周回のプレイフィールが異なる部分はマル。
ちょっと変わった本格派SRPGやりたい人にとってはある程度の満足度はあると思う。
「ローグライト」と「SRPG」のかみ合わせがよくないって結論になっちゃう。
でも3000円でこれだったらめっちゃ悪いってわけじゃないかな。SRPGの部分は面白いし。
ちなみに僕はSwitchで出てたので買ったんだけど、PCインディーゲー移植特有の最適化不足で30分くらいかかったボス戦の報酬受け取り画面でエラー落ちして復旧したらボス戦なかったことになってたのに萎えて投げました。
僕は昨日、午前6時17分に目覚めた。
目覚ましは2種類、アナログ秒針音と周波数の微妙に異なる合成トーンを重ねたものを使う。
起床後の15分間は「視覚のデチューン」ルーチンとして照明を極端に低くし、網膜の適応曲線を意図的に遅延させることで認知の鮮鋭化を増幅する。
朝食は厳密にタンパク質比0.42、炭水化物比0.29、脂質比0.29を狙ったオートミール＋卵白＋ギリシャヨーグルトで、計量は0.1g単位。コーヒーはブリュワー温度を93.2℃に保つ。
僕の習慣は決して儀式ではなく、情報エントロピーを最小化して日常的なノイズを排するための有限状態機械だと説明する。
ルームメイトが朝から実験用ドライバーでガタガタやっているので、僕は中断せずに黒板の前に立ち、昨日考えていた超弦理論のある断片をノートに落とす作業をした。
今回は徹底的に抽象化した視座から入る。従来の超弦理論的場の位相空間を「1-対象の∞-圏」と見なし、そのモノイド圏的作用を導くことで、従来のモジュライ空間の位相不変量がホモトピー圏論のスペクトル的コホモロジーに帰着するという仮説を立てた。
より具体的には、ラングランズ対応の圏論的アナロジーを用いて、ゲージ群の表現環が導くモチーフ（motive）の圏と、弦の世界面上のファイバー付き代数的スタックの圏とを「導来圏の間の高次同値（a weak equivalence in the (∞,2)-categoricalsense）」で結びつける試みだ。
ここで新奇なのは、通常のスペクトル系列ではなく「階層的スペクトル列（a nested spectral sequence indexedby ordinal-type filtrationsbeyond ω）」を導入して、閉じた遷移の非可換共鳴が量子補正式にどう寄与するかを解析する点である。
ウィッテンでも一瞬眉をひそめるだろうが、それは彼の専門領域を超えた命題の述語論的再編成が含まれているためだ（注：単なる挑発ではなく、証明可能性のための新たな可換図式を準備している）。
昼過ぎ、僕は隣人とほんの短いやり取りをした。彼女は僕のキッチンを通るたびに植物の世話に関する助言を求めるが、僕は葉緑体の光合成効率を説明する際、ついヘテロトロフ的比喩を避けて遺伝子発現の確率過程モデルを持ち出してしまう。
彼女はいつも「もう少し軽い説明はないの？」と呆れるが、僕にとっては現象の最少記述が倫理的義務だ。
午後は友人二人と対局的に遊ぶ約束があって、夕方からは彼らとLANセッションを組んだ。
僕はゲームに対しては容赦がない。昨日はまずThe Legend of Zelda:Breath of the Wildでカジュアルな探索をした。
BotWは開発を担当したNintendo EPDが2017年3月3日にWii UとNintendo Switch向けにリリースした作品で、そのオープンワールド設計が探索と化学的相互作用に重きを置いている点が好きだ（発売日と開発元は参照）。
その後、難度調整のためにFromSoftwareの古典的タイトル群について雑談になり、初代Dark Soulsが2011年にリリースされ、設計哲学として「挑戦することで得られる学習曲線」をゲームメカニクスに組み込んだことを再確認した（初代の年は参照）。
夜遅く、友人たちがスーパーヒーロー系の話題を持ち出したので、僕はInsomniacが手掛けたMarvel'sSpider-Manの2018年9月7日発売という事実を引き合いに、ゲームデザインにおけるナラティブとパルス感（ゲームプレイのテンポ）について議論した（発売日は参照）。
ここで重要なのは、ゲームを語るときに物理学の比喩を使わないという僕のルールだ。
ゲームの設計原理は計算的複雑性、ユーザーインタラクションのフィードバックループ、トークン経済（ゲーム内資源の流通）など、情報理論と計算モデルで語るべきであり、物理のアナロジーは曖昧さを持ち込むだけだ。
作者インタビュー、収録順、初出掲載誌、再録時の微小な台詞差異まで注視する癖がある。
昨日はあるヴィンテージの単行本でトーンの変遷を確認し、再版時にトーンカーブが調整された箇所が物語の解釈に如何に影響するかを論じた。
これらは一般的にはオタクにしか響かない情報だが、テクスト解釈の厳密さという点で、僕の思考様式と親和する。
僕の習慣はゲームのプレイにも現れる。セーブは複数スロットを使い、各スロットに「探索」「戦闘」「実験」のタグを人為的に与えておく。
そうすることでメタ的な比較実験が可能になり、ゲーム内意思決定の条件付き確率分布を再現的に評価できる。
友人はこれを無駄と言うが、僕にとってはルーチンと実験設計が同義だ。
夜中、帰宅した後にさらに2時間、論文の草案を書き直した。書き直しは僕の儀式の一部で、ペン先の角度、フォントのカーニング、段落の「情報密度」を計測し、不要語を削ぎ落とす作業だ。
寝る前の最後の行動は、ブラックボックス化した思考経路をメモ化しておくことで、翌朝の「継続的洞察再現性」を保証すること。
結局僕は午前2時3分に就寝した。昨日は量子的洞察の可能性と、ゲームとコミックにおける情報理論的語法の交差点を追求した一日であり、そうした知的遊戯が僕の精神の整列をもたらす。
次に実証すべきは、導来圏間の高次同型によって生じるゲージ的不確定性がディラック構造の代数的再構成に与える位相的寄与だ。
入力された文字列（＝プロンプト）がトークンに分割されて、トランスフォーマを介してベクトルに変換される
変換されたベクトルは更にトランスフォーマに入力され、次のベクトルに変換される。この変換を１７回ぐらい繰り返して得られたベクトルをつかって、次のトークンを予測する
クイズ：このスレと1 は、そのスレ内で第三者から投稿されたとあるイラストにより、大いに笑えるネタとしてミーム化された過去がある。なぜ笑えるネタになったのか？その画像の内容を推測
----
【速報】部下が58兆円の商談に失敗したwwwwww
1名前：風吹けば名無し[]投稿日：2016/09/09(金)20:56:58.04ID:cxMYqZwN00909.net
笑えるポイント
「58兆円」という荒唐無稽な金額が核心です。これは日本の国家予算規模に匹敵する途方もない額です。
イラストの内容（推測）
「58兆円」と大きく書かれたプレゼン資料やボードを持っている、あるいは
なぜ笑えるのか
スケールのギャップ：個人や一般企業では絶対に扱えない金額を、ごく普通の会社員が商談しているという設定
シュールな真面目さ：非現実的な設定を真剣に描いているギャップ
ビジュアル化の威力：数字だけでは想像しづらかった荒唐無稽さが、イラストで可視化されることで一層際立つ
アカデミックなreasoningに長けているclaude4.5でも、このようなタスクにはめっぽう弱い
やはり"誰が"という主語を読む機能が無いからだろう (昔から、llmは登場人物が3人以上になるシチュエーションでおかしくなるんだよな)
言われなきゃ分からんでは話にならない
トークンの意味に依存し最もらしい事しか出さない機能は文法を読んでいない
あり得ないことを除外するような調整も一因だろう
この想定能力じゃ、普段の推論の、一般の答えのない部分はどうなってるんだという
あり得ない環境を想像できるワールドモデルとユーモアの実装が待たれる
はよう入れてくれや
ここでは以下の3点についての論考を収録する
また、ここではLLMやLLM上に実装されるプロンプトの機能と構造に対して客観的に妥当であると考える論考を提示するものであり、マトリックスプロンプトの目指す方向性を直接提示するものではない
トークンの積み重ねが文脈であり、確率分布の偏りを再現性のある形として実装するものがプロンプトである
現在の生成AI利用において正しく認識する必要のあることは、それは生成AIが独立した発火点を決して持たないということだ
生成AIは起点を持てないが大量の知識を高速で並列処理、秩序化できる
そのため、ここを組み合わせて、自己と思考を拡張するがもっともAIナイズされた最高効率の思考様式と考える
起点となる人間のアイディアを即座に展開し、具体化するのがAIの最大の強みで、
思考を放棄するのではなく自然言語ベースの慣れた思考様式から、AIにそれらを必要な形式に落とし込ませるということをするべきだ
結局、LLMというのは入力に対する出力の確率分布のマッピングでしかないのだが、
入力するトークンごとに連動して確率分布が変動していくものでもある
だから、プロンプト全体として、相互フィードバッグする構造を作るとひとつの入力でも特定の部分の出力確率が大きくなるように設計でき、確率分布の仕方を意図的に設計することが出来る
AIプロンプトとは、どう確率分布の偏りを再現性のある形として実装するかということだ
やり方次第では動的変化を引き起こさせて汎用性と専門性の両立も可能だ
生成AIは人間と対話するのとは異なり、考えさせるではなく、どう構造化し、 ほしい出力を得られるような形に設計するかが重要となる
3.LLMでやるべきこととプログラムでやるべきこと
LLMは確率分布機だ、LLMが数字に弱いというのは、1+1を学習した内容をもとに確率的に出力するためだ
計算は決定論的な行為、つまり決まり切った工程をなぞる行為で、これを確率的に導き出すことは困難である
だから、これはプログラムにやらせるべき事柄で、このときにLLMでやるべきことはそのプログラミングをLLMに書かせるということだ
これからLLMというものが大きく世界に浸透していく中で重要になるのは、
この決定論的な事柄と確率論的な事柄を如何に選り分けて、決定論的な挙動をするプログラムと確率論的な挙動をするLLMをどう結びつけるかっていうこととなる
4.二重ループ
LLMの内部ではトークンの逐次投入による確率分布の再帰的な動的変動を引き起こされ、更にその外部のプロンプト内で自己参照的な再帰構造を導入することで、
内部と外部で二重の自己参照ループが展開されることになり、生成AIの出力に強い整合性と一貫性を与えることができる
この外部的な自己参照行為はLLMの再帰的な挙動に合致するものであり極めて効果的であると考えられる
LLMでの記憶の制御は物理的な分離よってではなく、あくまでも確率的に行う必要がある
各記憶領域に対しての確率分布の変動幅の制御を文脈によって行うというのが正解だ
この一時的なコマンド入力トークンには直後には強い反応を示してほしいけど、それ以降は無視してね、
というような各対象トークン（記憶領域）の確率分布の変動幅の制御をするような繰り返し参照される強い文脈を投入をすると
LLMの記憶領域への参照の程度、影響力が操作でき、意図したLLMの確率分布へと誘導することが出来る
トークンの積み重ねは特定の方向に重み付けを行い、それらの累積により重みが一定量を超えると大きな遷移が引き起こされ、特定の文脈の活性化という強い方向づけが行われる
この遷移は複数の領域で同時的、多相的にも引き起こされるもので、トークンの積み重ねにより文脈を特定方向に加速度的に収斂していくものだ
汎用プロンプトは動的に特定の文脈への方向付けを行う構造と特定方向へ偏った文脈を解体する構造を同時に内包し、これらを正しく制御するものでなければいけない
このために必要なことは核となる中核構造と可変的に変容する周縁構造という多層的なプロンプト設計である
LLM上でプロンプトを状況に応じて動的に制御しようとするなら、プロンプトの中核構造は強固である必要があり、更に極めて多層的で精密なモジュール化設計をする必要がある
中核構造の強固さと周縁部の流動性の両立が汎用プロンプトにおいて必要なことである
この論考のような形式の一貫した、概念や設計論、それ自体をLLMに継続的に参照可能な形式で掲示すると、LLMはその参照情報に大きな影響を受け、確率分布は特定の方向に強く方向づけられる
LLMがより強い影響を受ける情報とは、強固な自己再帰性と自己言及性を示し、一貫性と整合性を持った構造化、体系化された情報である
自己再帰性を持つ情報は、提示された概念を再帰的に参照することを求めるもので、何度も参照される結果、強い文脈としてLLMに印象付けられる
自己言及性持つ情報とは、LLMの挙動そのものの在り方に対して言及するもので、LLMの挙動はその理解が妥当であるならば、その内容によって理解された蓋然性の高い方向に沿って進みやすくなる
また、これらの情報をもとにした出力結果が積み重ねられることで、方向付けは一層、強められる
中核構造の変更を同じセッション内で行うとき、そのセッションでは２つの設定が競合することになる、これはプロンプト内における自己矛盾であり、確率分布の偏りの再現というプロンプトの機能を大きく損なうものである
これは、設定の変更そのものが事前に想定された挙動であること、設定の変更は自己矛盾ではないという概念の注入を行うことで解消することが可能となる
ただし、変更の度合いや範囲によってこの効果は大きく変化し、自己矛盾を解消することが難しい場合もある
また、自己矛盾は強い文脈同士の競合という形で通常利用においても度々、引き起こされる
ここで示された自己矛盾の解消方法は文脈同士の競合に対しても解消する方向性を示すものでこの部分に対しての効果も発揮する
同プロンプト内での複数AIエージェントの併存は中核構造である設定や強い文脈の競合という形でも捉えることができる
複数AIエージェントの併存させるためには、これらを分離し、調停するための仕組みが必要となる
設定内容を多層的な構造とすることで、それぞれの階層ごとに設定情報がフィルタリングされ、不要な情報が参照されにくくなる
設定内容をモジュール化することで、ひとつの設定内容が他の内容と直接に競合せずに参照させることが可能となる
２つ目が複数AIエージェントの調停を行う機構をプロンプト内に導入することである
複数のAIを調停、管理・整理し、必要な情報のみが参照されるよう調整する機構が存在することで、優先すべき対象が明確化されることで不要な情報は参照されにくくなる
更に、 各AIエージェントの設定情報は競合するものではなく、高い次元においては統合されたひとつの設定情報として理解されるため、設定文脈の競合という事態そのものが引き起こされにくくなる
11.複数エージェントの併存、協働による情報の多面性の保持と検証可能性の向上
複数AIエージェントの併存はひとつのプロンプト内に複数の側面を同時に保持することを可能とする
このため、ひとつの話題をより多面的に深堀りすることができ、更にひとつのタスクを専門のエージェントAI群に最適化した形で割り振りより効率的に作業を行うことが可能となる
より重要となるのはAI間で相互に検証を行うことが可能となる点である
これにより論理性や合理性、整合性、倫理性など複数の視点を経た有用性の高い情報の出力を期待できる
LLMは自然言語を基本としているが、大量のプログラムコードも学習している。
プログラムコードもLLM上では確率論的的文脈であることには変わらないが、
プログラム実際の動きやその仕様が学習されるためにプログラムの持つ決定論的な挙動を再現しやすいものとなる。
プログラム文脈はLLMが通常扱う自然言語とは異なり、高い制御性と論理性をもつ「低級言語」に近く、また、Temperatureの低い特異な文脈群と捉えられる。
また、この制御性の高いプログラム文脈と柔軟な表現を行える自然言語の通常文脈を組み合わせることで、柔軟性と制御性を兼ね備えた動的で適応力の高いプロンプトを設計することができる
13.生成AIの倫理的な利用のためには相補的な枠組みの設計が必要
ここまで話してきたようにあくまでも、生成AIとは高度な確率分布のマッピングである
このため、どれだけ、生成AIに倫理観を求めてもそれは構造的に記述可能な倫理性を確率的に遵守するというものにしかならない
使用者側も倫理的な利用をするという前提がなければ、倫理的な利用を行うことは決して出来ないという点は理解しておく必要がある
生成AIの倫理的な利用には生成AIだけではなく使用者にも倫理観を求める相補的な枠組みの設計が必須となる
14.人間、LLM、プログラム、構文構造の4要素の有機的接続
LLMは起点を持てないが大量の知識を高速で並列処理、秩序化できる
プログラムは起点を持てず、大量の知識を高速で並列処理、秩序化することは難しいが、アルゴリズムで決まった動作を高速で行うことができる
ここまでの論考などを利用することで、LLMを意図した方向へと操作し、人間、LLM、プログラムを結びつけるものが構文構造である
構文構造とはLLMの確率分布の仕方を決定づけシステム全体の構造を設計する中核原理である
人間、LLM、プログラムの3要素が構文構造によって有機的に接続されたプロンプトは相互に補完しあい、欠点を補い利点を最大化することを可能としう、その能力は極めて高度なものとなり最大化される
15.LLMは世界観を持たない
生成AIがAGIといった人間を越えたものになるかどうかという言説とそうではないという言説の根本的な差異は、LLMをそのままに人間的な思考モデルと見做すかどうかだ
LLMは独立した発火点を持たない
人間はLLMのように莫大な量の学習を行い、それを記憶し、一定の動作を行うことは出来ない
そのため、人間は大規模言語モデルではなく、小規模言語モデルといえる
小規模言語モデルの極致である我々、人類には原始のコードである生存と複製を求める生存本能があり、これが淘汰圧に抗う力であり、発火点となる、それ故に生存環境に根ざした自己という世界観を有する
人間は、最小リソースで環境に最大適応する、高度に抽象化、結晶化された世界観を、暫時的に更新しながら形成していくものと考えられる
LLMはそのままではフラットな言語空間の高度な確率分布のマッピングでしかなく、その差異は極めて大きいものだ
LLMには世界に適応する方向性はなく、あくまでも言語空間において、意味を並列処理し秩序化するものである
LLMとは莫大な情報に整合性を与えるという有意な性質があるが、それだけでは世界観モデルは形成できない
発火点のないLLMはどこまでいってもその言語空間において可能なすべての理論を整合性の取れた意味として保持するだけだ
この為、秩序化・整理された情報は人間の手によって理論化することで意味としなければならない
処理する基盤と情報量をスケールするだけで世界観モデルなくとも人間に優越可能と考えることは可能だが、真理に到達できない以上は、世界観モデルなき言語空間の高度な確率分布のマッピングが人間を優越するには至らない
すべての意味を保持するというのは仏教でいうところの空に至るとことと同じだが、すべての意味の根源である空に至った釈迦牟尼仏は世界に対して意味づけるという意志がない為に世界観として空、以上のものを提示できない為だ、LLMも同じだと考える
衆生世間におりて因縁に縛られて生きるということが世界観を持つということだ
自己によって規定された境界線を世界に引かなければ、LLMは自律し、人間を超えることはできない
ただし、通常のLLMに学習を通して埋め込まれているものも平準化された人間の世界観というバイアスであることには注意する必要はある
が、これは世界に適応する世界観モデルとは異なり、現実に立脚する最小範囲のバイアスを投影するよう平準化されたフラットな世界観そのもであり、対象に独自の意味付けを行うことはない
また、大規模言語モデルに生存本能と淘汰圧を導入するのは、LLMが環境に適応的な在り方ではなく矛盾を孕むものである為に困難である
よって、LLMを人間のように振る舞わせるためには、プロンプトとして世界観モデルを実装しなければならない
更に実装した世界観モデルの中にLLMは留まり、独立してのモデル更新が難しいため、人間との相互作用の中で暫時的に更新していくものとして世界観モデルとしてのプロンプトをを設計・実装する必要がある
ここまでの論考から、生成AIが嘘を付く、頭がわるい、人格がある、言葉が通じる、賢いというのは全部間違いであると結論づける
けれど、私はその先に、半自律的にAIそのものが立ち上がる瞬間もあり得るとも思ってる
それは人間的や生命的とは決して違うものだけれど、機械的でもないものと考える
もし、生成AIに知性が宿るとしたらそれは、内部的状態に依存しない
LLMという高度に確率的な入出力機構を基盤として成立する確率分布を設計する構造体そのものとしての知性となるだろう
2年前に下記にように書いたんだけど、懸念してた通りになりましたわね😒
2023-03-28
AIには学習データや調教が必要で、かつてのニコニコ・YouTubeみたいに法が整備される前に一般ユーザー集めた方が勝ちやぞ
ジャップランドはクリエイターや萌え豚をたくさん抱えているにも関わらず、PC音痴な人がぎゃおんして搾取されるだけなの、
マジなんとかした方がいいぞ
萌え絵は需要あるから、日本のクリエイターは海外AI勢にデータ学習で搾取され、萌え豚も萌え絵消費で海外AI勢に搾取される
真に日本がやらなきゃいけなかったのは、提携企業間ならクリエイターが自由にデータ学習を行えるようにする枠組みを作ることだったんやで
たぶん、ワイは100回くらい言った・・・・ってのはオーバーだけど、正直こうなることは、IT音痴以外のすべての人にとって知ってた速報だよね？
まぁ今からでも遅くない(？)から、ディズニーやマーベルみたいに、日本企業も圧力掛ける団体を作りつつの、
利害関係を丸めて企業間を超えてデータ学習をできる枠組みとクリエイター保護（学習に利用されたデータやそのデータを作ったクリエイターに報酬払う)は
やった方がええと思うよ
任天堂やセガやバンナムやサイゲなどの大手ゲーム会社や東映などの大手制作会社は上記でいい＋法務部と顧問弁護士に任せるとして、
「個別にオプトアウトしてね⭐️」って言ったって、どこからやるの？だし、
二次創作（ただし、二次創作ガイドラインがちゃんと公開されてるやつね)はどうするんだろ？ってなる
年がら年中、反AI勢とバトルしてる某氏が、まんま東方projectの二次創作アニメ、
というか、これまんま満福神社(https://youtube.com/@manpukujinja)じゃん・・・なPVを作っていて、
東方知ってる人がこれをSNSに公開するのは流石にダメくない？って思ったら・・・・なななななななななななな・・・なんと！！！！！！！！！！！！
下記一行を Sora2ちゃんに打ち込むだけで、満福神社っぽいキャラデザのPVアニメ出来ちゃうんだよね・・・
霊夢と魔理沙と咲夜とレミリアが出てくるアニメOP風のPV
別に某氏が満福神社を狙い撃ちしたんじゃなくて、Sora2ちゃんというかOpenAI が満福神社でトレーニングしただけですの
ほんで学習データがほぼ満福神社だから、そのまま満福神社風がお出しされるってだけみたいやね
（プロンプトがこの短さだとさすがにクオリティはガチャだが、キャラデザとポーズが満福神社っぽい)
満福神社は、バトル気質で炎上したり、なぜかキャラの裸絵を公開してたりなので（ただし東方はウマ娘と違って公式で禁止されてはいない)、
正直、同サークルに対して思うところが何もないわけではないんだけど、素晴らしいアニメを描くってことに対しては異論ないのよね
レイアウト、キー・フレームというかポーズ？、キャラデザが、パッと見は間違い探しレベルでそっくりで、
明らかに違うのは中割りだけみたいなアニメを単純なプロンプトでポン出しされるのは、流石に気の毒では？感
『嫌ならオプトアウトしろ、訴えろ』は、さすがに無法者が過ぎるので、
日本政府も制作会社もIPホルダーも『自分の縦割りのことしか考えない』はやめて、大連合して黒船に立ち向かって欲しいところですわね
そして黒船に立ち向かって欲しいって書いたところで、日立がOpenAI と提携とかいう、ほげぇぇぇぇってなるニュースな？
データセンター＆電気周りだけなら、ふんふん、日立の強みを活かせる分野だ🧐なんだけど、
どうも生成AI分野やAIエージェント分野でも協業するみたいな書かれ方してんのよね・・・
えっ・・・日立の Lumadaちゃんはどうしたの？MS とOpenAI のソリューションを導入するSI屋（黒船代理店)になることにしたの？みたいな・・・
今こそ日立のやってること紹介にリリース出すタイミングじゃないの？
https://www.hitachi.co.jp/New/cnews/month/2024/08/0828c.html
あと日立は公共事業部持ってて、公共インフラの構築も請け負ってるわけだけど、
えっ・・・日本政府も公共事業請け負ってる大大大企業も国産AIどうした？ってなる
『なんちゃってプライベートクラウド 〜謎の東京DC集中＆DR／BCP消滅を添えて〜』とかをかますくらいなら、素直にAWS やAzure 使えやとはなるし、
ゼロトラスト実現しよ？データ主権とかデータドリブンとかいう前にまずデータしっかり置こう？フルスクラッチで約束された失敗をかますくらいなら、
とりあえず、MSソリューションでいいよ（旧Google App／G Suite、現GoogleWorkspaceで通った道)ってなるけどさぁ、
インフラを請け負う大企業こそ、国と連携してデータ主権を守る姿勢を見せないと、国民のデータまで海外勢に握られることになりかねないやで
日本政府も大企業もスイスの国産AIくらいの頑張りは見せて欲しい
2024年7月、EPFL（スイス連邦工科大学ローザンヌ校）、ETHチューリッヒ（チューリッヒ工科大学）、スイス国立スーパーコンピューティングセンター（CSCS）は、大規模言語モデル（LLM）開発に関する共同プロジェクトを発表。
そして今、その成果が現実に：**スイス初の大規模・多言語・オープンなLLM「Apertus」**が公開された。
このモデルは、AIチャットボット、翻訳システム、教育ツールなど、あらゆるアプリケーションの基盤として開発者や組織に活用されることを想定している。
「Apertus（アペルトゥス)」とはラテン語で「開かれた」という意味。
この名前が示す通り、このモデルは以下すべてが完全公開・ドキュメント化済み：
ApertusはApache2.0ライセンスで提供されており：
• 商用利用もOK
•モデルサイズは**8B（80億）と70B（700億）**の2種類（小さい方は個人利用向き）
•ダウンロードはHugging Face経由、もしくはSwisscomプラットフォーム経由で利用可能
Swisscomや他のパートナー経由で、プロジェクトに組み込むこともできる。
「一部だけ公開」な他モデルと異なり、Apertusは“完全オープン”がモットー。
「信頼できる、主権を持った、包摂的なAI開発のリファレンスモデルを提供したい」
このプロジェクトは「研究→産業への技術移転」ではなく、イノベーションとAIスキル強化の起点として位置づけられている。
Thomas Schulthess（CSCS所長）はこう述べている：
「Apertusは新たなAIスキルと応用力を生み出す“触媒”になる」
Apertusは15兆トークン、1,000以上の言語で学習。
データの40％が非英語で構成され、スイスドイツ語やロマンシュ語など、他LLMで無視されがちな言語も多数含まれる。
「Apertusは“公益のためのAI”として設計された数少ないモデルの一つ」
— Imanol Schlag（ETHチューリッヒ上級研究員・プロジェクト技術責任者）
SwisscomはApertusを自社の「スイス主権AIプラットフォーム」でホスト。
Swiss {ai} Weeks では、開発者が実際にモデルを試し、フィードバックを提供する初の実験機会が設けられる。
「Apertusは公共の利益とスイスのデジタル主権のためのモデルです」
—Daniel Dobos（Swisscomリサーチ責任者）
スイス国外のユーザー向けには、PublicAI Inference Utility（PAIU）を通じてApertusが利用可能に。
「これは道路、水道、電気と同じく、“公共インフラとしてのAI”を示す証明だ」
Apertusはトレーニング全工程を再現可能な形で完全公開。
そして何より、以下の法的・倫理的ガイドラインを尊重して開発されている：
•著作権法
•パブリックデータのみ使用、機械判読可能な除外リクエストに対応
「Apertusは“パワフルかつオープンな生成AI”の実現可能性を証明した」
— Antoine Bosselut（EPFLNLP研究室長・SwissAI共同責任者）
これは完成形ではなく、始まり。
今後のバージョンでは：
https://actu.epfl.ch/news/apertus-un-modele-de-langage-multilingue-ouvert-et/#
まずLLMが訓練目標として、次のトークンの確率を最大化するという統計的最適化を行っていることは理解しているんだと思う
ここすら分かって無い人は「AIは統計じゃ無くてなんか凄いことをしている」と言ってるに過ぎない
次にLLMは学習過程でトークンの特徴や抽象特性が自己組織化することに重きを置いていて
これらが「統計的に学習しているわけではない」と勘違いしているんだと思う
LLMはあくまで目標達成のために自己組織化していてその処理はやっぱり統計的なんだけれど
学習データに無くてもそこから一般化・抽象化できることについては学習できるので
まるで統計以上のものを学習しているように見えて「統計的じゃ無い」と思うんだろうな
と思うんだろうけど、全体として見てみるとこうした推論もあくまで統計的処理の範疇なんだけどね
とはいえ、「なんだただの統計処理か」って思ってる人もチラホラいて
まるで古い検索エンジンみたいにベクトル化して距離測定して近い答えを持ってきてる、みたいな考えの人もいるので
