  |
はてなキーワード:投稿とは
色々思うところがありまして.
例えば,
と繰り返し主張しておられる.
そのような単純な活性化関数では過学習か誤差が噴出するかの二択でしょう. 実際, 氏のツイートは正にその状態を示唆しているように見受けられます.
----
▶︎ 誤差が0.12あるだけでとんでもないエラー率になる。誤差関数が雑だから本当はもっとあるのかもしれないが、改善の余地がある。
▶︎問題は、どのような状態の時に学習が成功し、失敗するのかがまだ分かっていない。表現力は十分に持っているはずなのに、なぜか学習しない。
----
過学習に至ったときにうまくいってるように見えるだけでしょう.
----
▶︎過学習ではないですね。データセットが小さいかつ、それ以外の範囲が出ないことが分かっているので。XORは2^2パターン全て学習できれば精度が100%になりますが、それは過学習とは呼ばないのと同じで、今回の初期のRNNに関しても文字数が圧倒的に少なく、パターンも決まっているので。
----
……と主張されておられる.
私が思うにそれは単純な写像を,ニューロンを使って回り道して作ってる状態. LLMは局所的にはたしかに線形写像ですが,全体で見ても線型写像だとしたらそれは複雑な文章生成には到底耐えられないかと. (十分に大きいモデルをマクロに見ると非線形性があるので)
大規模言語モデル＝LLMを目指すとして,
そもそもエンベディングテーブルとは数百億から下手すれば1兆語彙を, たった数千〜1万次元程度のベクトルで表現する, 凄まじく繊細なテーブルです.
それをGELUやSwiGLUのような綺麗な活性化関数を使わずに,しかも爆速でやると. さすがにそのレベルの革新性だと根拠がない限り, 飛躍が過ぎると判断されるかと.
そのやり方で, 例えば1億語彙までスケールするとして2乗の1京回×数千次元をバックプロパゲーションなしで学習するというのは……さすがにきついかと.
バックプロパゲーションが要らないという主張については活性化関数がきわめて単純だから. それなら全層に渡しても「修正」できるでしょう.つまり自明に近いですね.
勾配消失なんて関係ない, という主張については,xorというゼロイチでしか見ないのであれば勾配消失も何もありません.永遠に層を貫通するわけですから, 何層増やそうがほとんど意味が出てこない. つまりそれは実際には極めて浅い層だけで動いてると思われる.
「こんに」から「ち」「は」が次文予測できたとの報告ですが, まぁ……それが「大規模言語モデル=LLM」にそのままスケールできると言い切れるのはなぜでしょうか?
MNISTだけでなくGLUEあたりをパスしてからにした方がいいと考える次第です.
----
▶︎ 私が批判されながら、誤差逆伝播に変わるアルゴリズムや精度を30%→100%まで持っていく頭のおかしい行動が取れる理由は、以下の思想があるから。
▶︎ 1. 私のNNは高次元の万能近似回路
▶︎ 3. 何十回と失敗した経験則から、原因と対策が殆どわかっている
----
殆どわかってる, との事ですが, なんで上手くいってるのかも分かってないとも自分で明言なさっている. ↓↓↓
----
▶︎学習が進まないの、謎。単体だと上手く動いてるはず？何が原因だろうか。
▶︎学習アルゴリズム開発者本人ですが、なぜ学習が進むのかは謎です。
----
既存手法があまたの失敗の上で最適だと言われてきてる経緯もよく知った方がよい.
それはごく初期にそういった様々な試行錯誤のうえで「やはりGELUやBPが現実的にいい性能が出せるし,コストも抑えてこれである」と様々な研究者が合意しているような状況.
そして,そもそもアカデミアは自分のアイディアも含めて新規手法を常に疑ってかかるのが基本姿勢.
ジャーナルに「不確実さ」を載せないためで, それが積み重なると自他問わず全ての研究が信用出来なくなってしまうため. だから懐疑的になる.個人攻撃ではないのです.
出さないのも自由ですが, 前述の理由で信頼を得られない. これは言動に一切関わらず, その厳密性をフラットに評価してそう判断しているから.感情ではなく,論理として.
……と, ここまで色々と蛇足なアドバイスをさせていただいたものの, この投稿に対しても
----
▶︎ 何もわかってない人が国産LLMのやつ批判してて吹いたww
----
といったツイートをなさるのでしょう. (過去に氏がそう仰っていたので)
先に答えておきますね.
「自分のやってることがご自分でお分かりにならないようなら, 私にわかるわけがない.仰る通り. ただ, 詳しい者として一般論は申し上げられる.」
まだ間に合いますので,大学院あたりまで修了なさるのがおすすめです.
Twitterに何を投稿しようと自由です. でも自分で違和感を見て見ないふりするのだけはやめたほうがよろしい.既存手法と同等に自分の手法を疑うこと, これは研究者としての基本姿勢です.
研究テーマ設定を見かけるとついつい, より良い筋でやっていけるようアドバイスしたくなってしまう性が染み付いてしまっているためでして.
もちろん, 関わりのない方ですので蛇足でしかないのですが, 多くの方に影響力をお持ちでありつつ研究の進め方については独自の姿勢を持つように見受けられまして.
それはもちろん根本的には自由でありつつ,相談相手の需要がもしあればひとつの(一般的)意見をお渡しできるかなと思いキーボードを叩いた次第です.
どうか匿名でご勘弁を.
それに浮かれてTwitterとかいう薬物に手を出してしまいました。
しかし、やってみれば誰も見向きもしない。
pixivのフォロワーは何をしているんだ。私がsnsを始めたんだぞ。
何度見てもフォロワー0。
…いやいや、私なら1000人は行けるだろうと、甘い夢を見て早速一枚投稿
ですが反応は無し。やってられるかと早速Twitterを見なくなりました。
元々snsをスマホに入れないと固く誓うほど興味のない戦場だったので、この段階では諦めは早かったんです。
https://vlink.design/profile/the-curse-tw
https://pont.co/u/the-curse-tw
https://vlink.design/profile/sonsoftheneonnight
https://pont.co/u/sonsoftheneonni
https://vlink.design/profile/100-meters-tw
光の中でチヤホヤされる絵師の裏、影でもがいた末の私の無駄な2年間
Twitterを始めた理由はFantiaに誘導して金稼ぎしようというやましい気持ちでした。
そして勿論描く絵はr18です。r18は簡単に見てもらえますからね。しめしめと舐め腐っていました。
過去に一度だけpixivでr18を描いたことがあって、banされないかと怯えながら投稿した絵が1000ブクマ行ったのがきっかけです。
https://pont.co/u/regrettingyoutw
https://vlink.design/profile/left-handed-girl-tw
https://pont.co/u/lefthandedgirtw
絵をやめて1年。
光の中でチヤホヤされる絵師の裏、影でもがいた末の私の無駄な2年間
Twitterを始めた理由はFantiaに誘導して金稼ぎしようというやましい気持ちでした。
そして勿論描く絵はr18です。r18は簡単に見てもらえますからね。しめしめと舐め腐っていました。
過去に一度だけpixivでr18を描いたことがあって、banされないかと怯えながら投稿した絵が1000ブクマ行ったのがきっかけです。
その絵は描きたいから描いた絵です。コマ割りなんてぐちゃぐちゃ、フォントも変、タグも全く付けてないのにスマホの通知が止みませんでした。
それに浮かれてTwitterとかいう薬物に手を出してしまいました。
しかし、やってみれば誰も見向きもしない。
pixivのフォロワーは何をしているんだ。私がsnsを始めたんだぞ。
何度見てもフォロワー0。
…いやいや、私なら1000人は行けるだろうと、甘い夢を見て早速一枚投稿
ですが反応は無し。やってられるかと早速Twitterを見なくなりました。
元々snsをスマホに入れないと固く誓うほど興味のない戦場だったので、この段階では諦めは早かったんです。
数日後、なんとなくTwitterを覗いてみたんです。
消そうかなぐらいの気持ちでした
開いてみるとフォロワー500……
天にも登るような気持ちでした、誰が私を見つけてくれたのか、爆発のきっかけは誰だ。
RT覧をスクロールすると何人かの1000フォロワー、万フォロワー持ちの人がRTしていたのです
認められた、同じ界隈に認められたんだ。
……なんて勘違いしていました。
今だからわかりますけど、跳ねる人は最初から1000フォロワーになるんですよね。
ふんぞり返った私は、さっそく描きかけで辞めていた絵の続きを描いて投稿
これも同じくらいにはｒｔされてウキウキでした
は？2枚目上げたんだから＋500増えろや。
そんな事考えながらもTwitterとは継続が大事と聞いて、次の絵を考えます
色々と何か創作意欲の湧くいいアイデアの種はないものかと、散々探しましたがありませんでした。
きっと神にいいねされたというのが、ある意味で私の中の無意識の目標を達成していたのてしょう。
仕方ないので期限以内に間に合わせるため惰性のような絵を一枚二枚と上げて様子見が続きました。
そしてだんだん絵を投稿した後のフォロワーの数や、いいね、リツイートの数が気になりだします。
何故いいねしないんだ、何が足りないんだ。
pixivにいた頃は好きな物を気分で描いて投稿していたのに、なんというザマでしょう。
いいねの数に囚われて、金に目が眩み、絵の魅力を出せない状態に陥ってしまいました。
絵とは描いた人間の楽しいが染み付いたものに目が留まると思うんです。
子供の絵って思うがまま描いた絵ですよね。
それに比べて私は、人の目を気にして絵の魅力を殺している状態。
毎日頭を掻きむしりながら、こたつ机に座布団で腰を曲げて目をしぼませ画面を睨みながら、ペンタブを走らせる
大量の人体や、塗り方の資料とどこをどう塗るかの予定の暗記、レイヤーの暗記
お前らこういうのがいいんだろ？こういうのをいいねするんだろ？テカテカに彩度高めで塗ってやったぞ？
そしてある時、パタリと絵を描くのをやめました
絵を描かないといけない。と考えていることに気づいたんです
楽しくない、気だるい、嫌なことがフラッシュバックする。何か食べながらじゃないと落ち着かない
そんな鬱みたいな状態だったので、そろそろ資料集めしとかないとってタイミングでPinterestを削除したんです。
それからは解放されたようでしたが、他人の絵を見ることが辛くなりました。
いまだに上手な人の絵は称賛よりも嫉妬心が強いです
生まれたときから環境が整っていて、気づけば絵を描いてるみたいな幼少期だったんだろうな…。
こちとら2年叩き上げ、毎回知らない人間の関節と筋肉、ロボデザイン、サイバーパンクファッションに頭を抱えているというのにサラサラ描きやがって
デザインもお上手でいらして？お父様お母様のたっぷりある資金と愛情で美大卒でございますか？そうであってくださいまし。
美術部出身、彼氏持ち万フォロワー絵師、ボディメイクも欠かさない。
まあ、素晴らしい努力とスケジュール管理の才能がお有りで。ぶん殴ってやりたいです
奴らが苦しむ姿が見たいからです。
厚木市の裏路地。看板は色褪せ、暖簾は煤けてボロボロ。「ホルモン幸（さち）」は、いつ潰れてもおかしくない、地味で古びた店だった。
店主は、口数少なく無愛想な頑固一徹の爺さん、幸造（こうぞう）。幸造の焼くホルモンは、鮮度も腕も確かだが、店構えと幸造の愛想のなさで、客足は途絶えがちだった。今日も客はゼロ。幸造は黙々と、いつもの場所で仕込みをしていた。
「ちーっす！幸造じいちゃん、マジ久々〜！」
ド派手な金髪に、バッチリメイク。トレンドの最先端を行くギャル、カレンだ。カレンは幸造の孫で、東京でアパレル関係の仕事をしていると聞いていた。
「…カレン？何しに来た」
幸造は眉をひそめた。カレンはいつもの調子で、「いやぁ、最近仕事辞めてさ。で、厚木に帰ってきたわけ！じいちゃんの店、ぶっちゃけヤバいっしょ？だから、アタシが立て直す！」と、元気よく宣言した。
幸造は鼻で笑った。「お前みたいなのが、この店をどうにかできるわけがない。帰れ」
「はぁ？無理だしとか、超だるいこと言わないでよ。じいちゃんのホルモン、マジでウマいんだから、あとは見せ方の問題でしょ！」
カレンは翌日から、幸造の猛反対を押し切って店の改造に取り掛かった。
まずは、店の外観。カレンは友人たちを巻き込み、外壁を塗り直し、古い提灯を、ネオンカラーのモダンなデザインに替えた。内装も、暗かった照明を明るくし、BGMは最新のEDMに。幸造の愛用していた、油まみれの古い椅子とテーブルは、ポップな色合いの新しいものに一新された。
「こんなふざけた店、客が来るわけない！」幸造は怒鳴った。
「見てなさいって！」カレンはニヤリと笑うと、SNSを駆使した宣伝を始めた。
カレンは、ホルモンの写真を、まるでファッション誌のグラビアのように加工し、ハッシュタグ「#厚木激アツホルモン」「#ギャルと爺ちゃんの店」を添えて毎日投稿した。
「じいちゃんの隠れた名作！秘伝のタレで漬け込んだ極上レバー！マジとろける💖」 「ギャル直伝！映えるドリンクと、ジューシーなハラミで優勝🥂」
この宣伝が、功を奏した。
「あの古くて汚い店が、ギャルの店になったらしい」「ホルモンが信じられないくらい美味い」という噂が、厚木の若者たちの間で広まった。
週末の夜、「ホルモン幸」の前には、開店を待つ若者たちの行列ができた。
カレンは、明るい笑顔と、丁寧すぎる接客で、次々と客を席に案内する。最初は戸惑っていた幸造も、カレンの指示で、黙々とホルモンを焼き続けた。
そして、客は皆、幸造の焼くホルモンの旨さに舌を巻いた。
「これ、マジでヤバいっすね！今まで食べた中で一番うまい！」 「ギャップ萌えってやつ？この爺さん、ただ者じゃない！」
客の称賛を聞くうちに、幸造の頑なな表情に、少しずつ変化が訪れた。
ある日、カレンが「じいちゃん、今日のお客さん、インスタで見て来てくれたんだって！」と言うと、幸造はそっぽを向いたまま、小さな声で呟いた。
「…まぁ、悪くはねぇな」
その日、カレンは初めて、幸造の顔に浮かんだ微かな笑みを見逃さなかった。厚木の裏路地で、「ホルモン幸」は、カレンのギャルセンスと幸造の職人魂が融合した、新しい人気店として、連日大盛況となった。
というかAI禁止とか言ったところで投稿するやつは投稿するので、むしろ普通の絵と混ざって余計ややこしいことになる。
AIに判定させればいい、とかいうやつが出るかもしれないが恐らく無茶振りで手書きの誤BANが発生する副作用が絶対に問題なるし、恐らく規制回避のために絵柄Loraが余計流行るようになるしそれを使用する理由を与えることになるだろう。
ところで中華圏の人たちがよく使ってる肌や服装の質感がセミリアルな全体的に淡い色調のあのイラストってなんのモデル使ってるのか誰か教えてほしいわ。
良さげだと思って調べたが出てこない、そこそこの数の人が使ってるので有名モデルだとは思うんだが
AI小説家の視点から、巷を騒がせているAI小説家（以下、A氏）について問い合わせを送ってきた。（botの？）返信来て、問い合わせが受理されたことも確認できたから、ここに問い合わせ内容を簡潔に書いておく。
・しかしA氏の過去作にて、内容を確認していれば、およそ起きることのない海外言語の誤字・衍字が多数ある（ハングルやキリル文字）。
・「物語の矛盾」「大量投稿」「海外言語の誤字・衍字」は、内容確認をせず、加筆修正も行わず、機械的に出力されたものをそのまま投稿していることを示唆しているのでは？（創作性に欠けていませんか？）
・これはA氏個人の問題であり、生成AIや大量投稿規制の議論よりも、A氏に事実確認を行うことが先決では？
・会話履歴を提出させるのはあり。必ずシェア機能で提出してもらう。生成AIを使う以上は避けようのないリスク。
・「機械的に出力されたもの」と判断した場合、これは「カクヨム小説投稿ガイドライン」の「カクヨムに投稿できる作品は会員自らが創作した作品に限ります」に抵触するのでは？
・「機械的に出力されたもの」と判断した場合は「長期的かつ多作品に渡る規約違反行為」として、相応のペナルティが課されますよね？
・ペナルティが課されなかった場合は、規約ガバガバってこと？自分は今、数をセーブしてるんですけど、これからAI小説もっと投稿していいの？
・最後に、該当する箇所をすべてリンクで貼っておきます。確認してください。
大体、こんな感じだったと思う。
さらに個人的意見（実体験に基づく）を書いておくと、ちゃんと1話ずつ内容考えてからAIに指示出すならほぼ矛盾は生じないはず（応援コメント見てると中々…）。
だから、A氏が処されないことは、実質、AI小説の大量投稿は規約違反ではないと言ってるようなものだと思ってしまうので、数日経っても動きが無いようなら大量投稿始めようかなぁ…と思ってる。
ちなみに、これら海外言語の検出はpythonで余裕だし、それも生成AIで作れる。そこを消すだけで「AI感」を消すことができるよ。
または、一度、AIに校正してもらい、誤字衍字がないか確認してもらうという「一手間」を加えるだけでも高確率で回避できる。
改行作業が面倒なのは変わらないので、校正ついでに読みやすい形式に変換してもらう方が効率いいが、その「校正」すら面倒なら、「pythonで検知→ヤバいところだけ削除。コピペで投稿」が最速です。
正直、長引かせるだけ泥沼に沈んでいくような…
自分は、アカウントがBANされない行為なのであれば積極的に試したいと思ってるし、先手を打たないと出遅れるから、数日後には動き始めようと思ってます。
むかしあるVTuber事務所の所属タレントが、配信で事務所を公開批判したことがあった。
色々あって本人と1人が連座して契約解除されたが、その時にSNSで発生したのが踏み絵である
事務所に忠誠を誓います、としか取れないポストを残った全タレントが投稿したのだ
ここ数日のホロライブの動きをみて、少し懐かしくなりました。
dorawiiより
-----BEGINPGP SIGNEDMESSAGE-----Hash: SHA512https://anond.hatelabo.jp/20251031191522# -----BEGINPGP SIGNATURE-----iHUEARYKAB0WIQTEe8eLwpVRSViDKR5wMdsubs4+SAUCaQSMOgAKCRBwMdsubs4+SAuSAQD17nwZPUzyh6M8QBBFhLm28GS9CHaWVhf0BVm6Xp4XAAEAhq01P/gDgcaBvNsycQyc8z9R8UdSVk/cwFIfEirsZAw==OBzr-----ENDPGP SIGNATURE-----
増田を一日眺めてると気づくのですが、最近コピペ増田が多いですね
自分もされたことがあり、なんで自分の投稿がトップにまたあるの？と疑問に思ったほどでした
URLや投稿時間を確認すると別物とわかりましたし、編集ボタンも出てなかったのです
バズりそうな増田ならともかくどうでもいい一言や、他増田に対するどうでもいいトラバも対象になっています
といいますか、元の増田から続く一連のツリー全部がコピペで再現されているのです
改変したり広告代わりにURLを入れるとかも確認した限りではなかったです
検索しても過去のはでてこないことが多いので、一部が削除済みなので再現してるのかもしれません
しかし、おもしろいとか役に立つと言える増田でないものもコピペされています
自身がトラバしたかったけど消えてたので全部再構築というのはもしかしたらと考えましたが、残ってるもので比較したら特に追加のトラバついてるようでもありませんでした
数が多いこともあり流石に手作業ではやらずに自動化してそうですが、そのためにスクリプトを組んだりしてることを考えるとなおさら意味がわからず怖いですね
また、もちろん許可を取ってないわけですから完全コピペするのは権利的な面でもどうなのかと思います
dorawiiより
-----BEGINPGP SIGNEDMESSAGE-----Hash: SHA512https://anond.hatelabo.jp/20251031184037# -----BEGINPGP SIGNATURE-----iHUEARYKAB0WIQTEe8eLwpVRSViDKR5wMdsubs4+SAUCaQSEFgAKCRBwMdsubs4+SD/zAP92wfkvcdk8MRPf8ogP4yYXqFFCbh5aaZudJbfye0DVkgEA+FBM34uT+xQK6Jc1DixNSxo68k13vAuWU4+e2XwMGAY==442z-----ENDPGP SIGNATURE-----
意外にも早くいくつかのトラバが付いた
嬉しい気分になった
そう、いわゆる"d"がトラバをしたのだ
本当に腹がたった
消して再投稿も考えた
しかしこのまま増田が伸びていくと意図せずにツリーから"d"のコメントを目にしてしまう増田が増えるだろう
自分はブロック可能だがそういった準備ができていない増田も多いはずだ
ホットエントリーに並べば"d"の耐性を持っていない人たちだって目にすることになる
本当に申し訳ない
ブログのようにコメントを消すことができればよかったのだが増田ではできない
平成二桁生まれの20代なんだけど、最近やたらと地方の議員とか首長のスキャンダルが全国ニュースになってる気がする。号泣会見だの、不倫だの、政務活動費の不正利用だの。
もちろん昔から政治家の汚職事件みたいな大きな話はあったんだろうけど、今みたいに地方の議員個人の問題が、ここまで頻繁に全国区の話題になってたっけ？って思うんだ。子供の頃の記憶だと、もっと大きな事件じゃないとテレビのニュースでやらなかったような。
これってたぶん、SNSとネットニュースの影響が大きいんだろうな。
昔はテレビ局や新聞社が「これは報じる価値がある」って判断したものがニュースになってたけど、今は地方の小さな問題でも、誰かがSNSに投稿すれば一気に拡散する。それにネットニュースが食いついて、さらに燃え上がって、結果的にテレビのワイドショーでも取り上げられる、みたいな流れ。
昔だったら地方紙の片隅に載るくらいで終わってたような話が、今や誰でも発信者になれる時代だから、良くも悪くも可視化されやすくなったってことなのかも。
だから、昔よりスキャンダル自体が増えたというよりは、「知る機会」が圧倒的に増えたってことなんだろうな。昔の政治家がみんなクリーンだったなんて思わないけど、今の方が有権者の監視の目が厳しくなってるのは間違いない。
それが良いことなのか、ちょっと息苦しい世の中なのかは分からないけど。ただ、自分の住んでる町の政治家が何やってるか、昔よりはるかに分かりやすくなったのは事実だよな。
「こんな直球勝負のネタじゃ今さらホッテントリ入りするわけないだろうな」と思ったんで「熊関連で逆張りで煽るようなネタ」を自分である程度考えてGeminiに作らせた文章も投稿したが
こっちは全くスルーされたので消した
みんなやってる
令和の虎かなんかでもインスタのオートいいね、フォローボットやっとりますねん！って堂々と出てきて
規約違反やろがい！って怒られてた奴がバズってたやん。
それを手動なりマクロなりでやってる代行業者やってる奴らがいっぱいいる
相手が「どんな人なのかな～」って見に来る
→認知ゲットだぜ！
返報性の原理でいいねを返したりフォローした方がいいのかなという心理が働く
→認知ゲットだぜ！
業務用アカウントで「いいね」する行為というのは「エンゲージメント獲得」のための営業である場合が多い
「××コーチング」みたいなスッカスカ有料記事書いてるカスどもが死ぬほどいいね送ってくる
あれってあいつらが買った情報商材にそうしろって書いてあるからなんだよ
フォイー(フォローしてる数)とフォロワー(フォローされてる数)の比率はそのアカウントの価値に関わるから
いるじゃろ、フォロイー4000人、フォロワー3000人みたいなアカウント
そういうの見ると思うじゃん、必死だな(藁)って。
こいつ誰彼構わずフォローしてるなぁって思われるとやっぱ価値が下がる。
※フォローしまくってある程度フォロバ稼いだらフォロー切る営業も当然ある。
それが自分と関係ないFAにいいねするという行為が該当するかどうかはともかく
実際に全然関係ないタグのポストにいいねしてくる公式垢のやつ奴ってやっぱそれなりの数いて
それを「営業やめろよ」とまでは思わなくても「意図は何なの？」とは思う
そいつが同じタグの投稿をしてる同好の士とかならまだわかるし嬉しいけど
全然関係ない興味もなさそうな奴だったらなんかキモいなってなるのはわかる
もちろんスワイプする時の誤タップの可能性だってあるからクレームつけたりはしないけど
ただ業務用アカウントでの文脈のない「いいね」は営業と捉えられることがあるってのは
もし知らないんだったら知っておいた方がいい
