  |
はてなキーワード:poisonedとは
そもそもの話、X社は画像生成AIなど作っていない。彼らがつくっているのは検索支援AI Grok。学習に使いたいのはテキストの方であって画像ではない。
わかりやすさのために ChatGPTと比較してみる。2023年にリリースされたGPT-4 に試しに今期のアニメについて質問してみよう。
今期最も人気のアニメはなんですか？
ChatGPT:
2024年の今期で人気のアニメはいくつかありますが、「進撃の巨人」や「呪術廻戦」が特に注目を集めています。また、新作では「東京リベンジャーズ」や「スパイファミリー」も話題です。どの作品に興味がありますか？
アニメに詳しい人ならちょっと古い話をしているのがわかるだろう。GPT-4 が学習を行なったのは2023年までの情報だ。なので最新の話題に対応できないのである。
一方、Grok は Xの投稿をリアルタイムに検索して反映する。もし Grok で同じ質問をすればダンダダンやリゼロ、ブリーチ辺りの話をするはずだ。つまり、Xが収集したいのは「ダンダダンの７話泣かされたわ・・・」みたいな投稿のことであってイラストではない。
Grokには画像生成機能がついているが、これは自前の物ではなく BlackForest Labs社 のFLUX.1 というモデルである。X社が Xに投稿されたイラストを収集して学習させているわけではないのだ。それではFLUX.1 の訓練に使ったのはどこの画像なのだろうか？データセットは明らかにされていないが十中八九使っていそうなのがLAION-5Bである
現在大手の企業は「著作権的にクリーンな」画像生成AIをつくっているが実際には版権物が出てくることが知られている。なぜそんなことが起こるのだろうか？
このからくりは LAION のデータセットにある。LAIONはドイツにある非営利組織。ネット上のありとあらゆる画像を収集しタグをつけたデータセットを公開している。
A. LAIONは非営利の研究組織です。ドイツの著作権法（§60d UrhG）に従いあらゆる著作物の利用が許されています。
とあるようにドイツの法律上合法である。実際に訴えられた後LAION側が勝訴している。とはいえこの組織にはAI関連企業からの多額の寄付金があることが知られており、パチンコ３店方式のような意味合いでの合法とも言える。
尚、反AIさんと反々AIさんが著作権法第30条の4を巡って喧嘩をしていますが、世界では日本の法律は関係ないです。いちおう念の為。
他の絵師さんに Glaze を使うように詰め寄ったり、使わないやつはAIに加担していると攻撃したり。挙げ句の果てには「自分の絵にGrazeをかけました」と宣言したり。
もう、全てが間違っている
そもそも、Glaze も Nightshade もAI学習を阻害するものではない。学習したモデルをぶっ壊す毒なのである（poisoned って書いてあるでしょう？！）
相手に食わせなければ意味がないんだ。Glazeかけたとか自分で言うな。対策されるでしょう？（後述）
それと他の人に強要する意味はない。使いたい人が使えば十分なんだ。
事実すでに効果は上がっていてOpenAIは悲鳴をあげ対策を急いでいる。
反AIさんの考えるよりも Glaze/Nightshade はずっと強力だ。それはデータセットを汚染する攻撃である。簡単に言えば Nightshadeは「学習中に他の絵に変換されてしまう」ノイズをかける。この操作を毒入り（poisoned)と呼ぶ。ピクセル毎の微小な変更なので Nightshade をかけた後もイラストはぱっと見はかわらない。
Nightshadeを使って例えば 犬の画像を猫の画像になるノイズをかけたとする。するとAIは犬と猫が混ざったまま学習を進め「犬」と言う概念が無茶苦茶になってしまう。
図：毒入りモデルの変化 (arXiv:2310.13828から引用)
上の図は毒入りの画像を２００枚食わせたときの変化の様子だ。犬が猫になってしまっている。それだけではなく”犬”に近い概念、”子犬”、”ハスキー”、”狼”もぐちゃぐちゃになっている。
図：毒入り枚数による変化 （同引用）
こちらは50、100、300、と毒入り枚数を変化させたときの様子。50枚の時点ですでにめちゃくちゃになっている。
もし私が反AIだったなら、イラストに Nightshadeをかけてdanbooru に投稿するだろう。二次元イラスト特化の画像生成AIはdanbooru2021/danbooru2022 などのデータセットを使っているものと見られる。これらはイラスト投稿サイトdanbooruから収集したものである。
ところで Glaze も Nightshade もその内部で画像生成AIを使っているということを知ったら反AIさんはどんな顔をするだろう？
Glaze は特徴量抽出を行う。おそらく Stable Diffusion の VAE（Variational Autoencoder）を使っている。そしてNightshade の方も 内部ではStable Diffusion 等の画像生成モデルを用いて別の画像を生成する。
Glaze が機能しない？あるいは解毒方法が見つかったかもしれない
上のスレッドのコメント欄では Glaze が論文のようには機能しないことについて議論され「画像のリサイズをしたのではないか」と予想している。Glazeをかけた後に画像を縮小、データが圧縮されてノイズ効果が消えたのではないかということだ。
A)絵師さんが Glaze をかけたあと画像を縮小した可能性
B)画像サイズやファイルタイプによってはプラットフォーム側が勝手に加工をする
C)学習の際にリサイズを行う (Stable DifusionXL では1024px, 古いモデルは512px)
A,B については絵師さん側に知識があれば対処可能だけれども C の方はなんともし難い。小さい画像を投稿したところで [縮小→拡大] でノイズは落とせそうだ（解像度は悪くなるだろうが）
LAIONは収集画像そのものを所有せず、データセットはウェブ上にある画像のurlとタグをまとめた物であるらしい。
ということは、LAIONの新しいデータセットが公開されたタイミングで画像のurlを変更すれば学習に使われることを回避できそうだ。特に、個人サイト／ブログの所有者ならば古いurl に●んこ画像でも差し替えておけば嫌がらせになる。（タグ差し替えはこのグラフのSimple Attak に相当）
90年代においては画像に直リンクされたときの報復としてうん●画像に差し替えたものです。まさか令和になっても有効とはね
この記事をぼちぼち書いているいるうちに2日が経過した。今、私のXのタイムラインもおすすめもとても静かだ。攻撃的な人たちやデマに流されやすい人達は皆どこかに行ってしまったようだ。残ったのはこれまで静かにイラストを描き続けてきた人たちでとても穏やかな空気が流れている。ずっとこのままがいい。
Translated fromhttp://anond.hatelabo.jp/20110907020451
For a longtime, Iam in a darkbox.
According tosomeone's comment I heardoutside of thebox, a tiny bottle containing deadlypoison is located in thisbox. Although the bottle is completely sealed, a hammer is positioned in the vicinity of the bottle. And they said the hammer would fall downat a certaintime.
When is "the certaintime"? Idon't know. In this verymoment? Or distant future? Possibly,it alreadyhas come (Idon't want to think aboutit). Noone can affect the hammer.As an independent event,it will fall down with probability 50%. The probability is exactly 50%. Possibly, the bottlemay be broken, ormay not. About myself, dead, or,alive.
I must say, how terrible the situation is.
It is impossible for me to avoid having a furious indignation.My life,the most important issue for me, is completelyaway from me, and is solely dependenton the simple figure, FIFTY PERCENT! Too much terrible.
Additionally, and Ithink it is completely unreasonable, Iam shackled in many ways to keep the probabilityat exactly 50%.
Visualperception. Thebox is completely shielded from anylight.It's for avoiding me from finding and destroying the bottleand apparatus. Complete darkness. Iam in thetotal darkness. Thus, now I can’t see even theoutline of myself. Possiblyit sounds strange,the darkness makes me have a doubt aboutthe existence of mybodyitself.
Acousticperception.Maybe, fromthe reason I mentioned above, a perfect sound insulation is used. I can’t hear even thevoice of my own. Idon't know the mechanism. In the first place,as I can’t seeanything, how can I investigateit? So, this isonly a speculation, possibly, mydrum membranes were damaged before enclosure in thisbox, or, some special material is used for the wall of thebox.
Anyway, in a darkbox too much goodat shieldinglight and sound, my visualand acousticperceptionis dead justas the term indicates.
As if further confirmation are needed, ahuge fatigue weighing heavily upon me isanother shackle for me.It seems that they gave me some kind of muscle relaxant to avoid me from struggling.As I can’tchange from the same posture, my tactileperception is almost paralyzed.
Nolight. No sound. Smell and taste are unreliable. Tactileperception is in malfunction. Iam like apuppet.All thefive senses areout of control ofmine. Too much cruel. Perfect shackles.I wish if they had given a sleeping medicine. I feel Iam in agony without any external injury.My life, my existenceitself, is completely ignored. Such a humiliation keeps my sanity.Only such a humiliation can.
The right to control thelife anddeath of myself is completely deprived. I hate such situation. Thecore determinant of the continuity ofmy life is completely dependent upon, solely upon, a pure probability. Completelyaway from anyone's will. I hateit,again, I hateit!
Why do I have to be enclosed in such abox? In such a ridiculousbox,why do I have to be infear oflife anddeath with such perfect shackles?
Iam lonely.Am I feelingempty andflat? Difficult to avoid sobbing? No. My loneliness is much deeper. Iam in a sea ofvoid. Iam alone. Completely alone.As an orphan, Iwas thrown into thisendless darkness. Iam quivering in theabsolutezero.
There is no perspective in thisbox.Onlythe darkness is here. I can’t feel the bottle and the hammer. I can’t feel the wall, the bottom, and the ceiling neither. They should be there. Butall thefive senses ofmine are deprived. I feel like there isnothing. While those things have some meanings.
Speaking honestly, Iam not so sure Iam in abox. Iam sure that what Iam exists. Iam thinking. Iam fantasizing.It is the evidence showing the uniqueness ofmine, which is called theego or the consciousness or the mind, is solid. But, is the uniqueness is truly enclosed in thebox? Isit possible thatit is floating inanother space? I can’t eliminate such doubts.
Possibly, what Iam here is floating in the end of the universe, or is lying downat the bottom of the Mariana Trench. Or going down from a vent of the Kilauea volcano,maybe.
Idon't have any method to know how thebox (enclosing me) is.All the senses ofmine are dead.It is impossible for me to determine whether here is inside of abox or not.
In addition to that, Iam not so sure that Iam trulyalive. Idon't have any way to confirm such a simple thing. Possibly, the 50% probabilityhas already passedbeyond me.Maybe Iam already dead. Iam stillalive,maybe. Injected with muscle relaxant, shallow breathes, weak heartbeats. Or, cessation ofall of them, simply leaving meat bolus.
Iam deprived of any capability of controlling my ownbody.Who can say that my mind resides in thebody continuing vitalactivities? Thefive senses have beenpoisoned with thetotal darkness. They can’t functionas sensory organs. Idon't have any chance to know thetruth. Possibly, any supposition is fabricatedby myself. The situation surrounding me and the uniqueness of myself are components of programmed role-play, possibly.
Aboutthe existence ofmine, I can’t determine the behavior. I hate to admitit, but Iam in the middle of fluctuation.
I wishsomeone could find me.I wishsomeone couldopen thebox and observe how Iam, and determine what Iam. There is not enoughpower inside me to do so.All I can do is tocontinue to quiver in the loneliness.
If I were the Almighty, I could say "Let there belight".I knowit is impossible. But I can‘t help feeling how niceit would be if I could say so.
My own free will!It couldfix every fluctuation surrounding myself!
At the sametime, longing producesshadow. If thebox isopened,I will be found and observed.As a result, what Iam will be determined. To tell thetruth, I can’tlookaway fromthe fact Iam anxious aboutbeing determined.
Although Iam unable to determine whether Iamalive or deadby myself, Iam afraid of thedeath. Iam afraid that Iam determinedas a dead. I can’taccept. Still I can’t feel, I can’t imagine thedeathas a specific phenomenon. Probably, that iswhy Iam afraid ofdeath.
No,it should not be restricted to me.King of virtue. Deadly murderer. Regular folks.All the same.Maybe, the elder people or patients of bad disease could have some imagination sufficiently close to the truedeath. But, even so,it is impossible to know the specific experience ofdeath.
In the end,death is thefinaldestination with overwhelming significance.The time and the consciousness have anabsolute irreversibility.Death alsohas theabsoluteness which can’t bechanged. Even ifit is a ritual passpoint or anoutstanding impressive event.
Myself, the mind ofmine here is, will be vanishedat themomentat which how Iam is determined. If they deprive the lukewarm water, in which I can’t feel the temperature,it is impossible for me to avoid exposing myself to theair.
Iam afraid of such an irreversiblechange.It is not limited to the determination ofdeath. Also Iam so anxious that Iam determinedbeingalive.
The current existence of myself is like a tiny, tinyillusion standingon anendlesspoint. Not larger than that. Not smaller than that. Not longer than that. Not shorter than that. No expansion. No shrinkage. Standing upon a unique singlepoint.It is mathematically correct. Iam something like aghost staying upon such apoint, having confusion about identity of myself.
Thepoint existsat every positionon aplane of coordinates,at the sametime, not existingat a certain position. If a certain event occurs,on thatmoment,it willconverge me to a singlepointamongall the space-times, in which the eventhas occurred,as if having me step off a bus. Without anyconcern. Even if thepoint and I have been aone. Theillusion, whichhas stayed in such apoint,has possibilities ofbeing real andbeing vanished like amist, to anequal degree.
Now, Iam existing in everytime-space, I have everynature.At the sametime, Iam suffering from the loneliness that Iamaway from everynature.I wishsomeone can find me.At the sametime, Iam so anxious that whereI will be, and that howI will beat thatmoment.
I have been released from the law of cause and effect. Iam undetermined ever, for ever.
