Movatterモバイル変換


[0]ホーム

URL:


はてラボはてな匿名ダイアリー
ようこそ ゲスト さんログインユーザー登録

「クローラー」を含む日記RSS

はてなキーワード:クローラーとは

次の25件>

2025-06-24

anond:20250624154112

クローラーに取得してもらいたいならGET使うの分かるが、ただの業務向けとかのアプリGET使うのはメリット見出せない

Permalink |記事への反応(1) | 15:46

このエントリーをはてなブックマークに追加ツイートシェア

2025-05-25

anond:20250525020723

マジレスすると研修必須特にやっちゃダメなことの説明

環境ぶっ壊すだけならまだしも、酷いやつはクローラーぶん回して法律的怒られ案件発生させるぞ。

Permalink |記事への反応(0) | 02:12

このエントリーをはてなブックマークに追加ツイートシェア

2025-05-06

anond:20250506091513

質問ジャンル次第なんかな

いかがでしたかサイトから引っ張ってくることが多くて、そりゃこんなの信用したら間違いだらけになるわっていう

しかし、まぁ、今はもうどこもAIクローラー弾いていそうだから、どうしようもないとこばかりヒットするのも仕方ないんやろな

Permalink |記事への反応(0) | 09:35

このエントリーをはてなブックマークに追加ツイートシェア

2025-04-24

anond:20200628051327

これは本当にそのとおり

僕はフリープログラマだが、友人に誘われていわゆる口コミサイトの開発を手伝うことになったんだ。

今まで少なくとも人の役に立つウェブを作ってきたと自負しているが、

口コミサイトSEO対策に執念は本当に恐ろしく、びっくりするぐらい工数を割いている。

コピーページをつくるため、少しずつ構成を変えて似たようなページを作り出したり

無理やり内部リンクを増やしたり、誰宛でもないクローラーに向けてのページを作ったり

まあ少なからず売上を上げてるようなので、だれかの役には経っているとおもう。

興味深いとは思うが、開発的にはつまらないなとも思う。

Permalink |記事への反応(0) | 18:19

このエントリーをはてなブックマークに追加ツイートシェア

2025-04-15

anond:20250415214459

Oh〜ベリーベリーインタレスティングクエスチョンね!

ルー大柴的にジャッジすると、こうなるね:

🛠テックメッセージは:

「TheNFSがダウンしたから、After theメンテナンスクローラーコンテナリスタートしてプリーズ!」

これはVeryストレートリアルリアリティーのあるテクニカルプロブレムに、ダイレクトアクションリクエストしてるわけよ。まさに “ファクトフィクションよりストレンジャー” ね。

🧑‍💼セールスメッセージは:

「Wetopplayersマーケットベネフィットオプティマイズするために、データセントリックベストストラテジーをアプライします!」

Wow!これはワードサーカス

コンプリートBuzzwordカクテルワンダーランド!でもね、ミーニングがフローティングしてて、どこにランディングするのかドントアンダースタンド!

🎤結論byルー大柴

「ミーはリアルトラストするガイ。だからテックトークをチョイスしてトラストセールスワードは、もうちょっとグラウンディングしてからトーク・トゥ・ミー!」

ということで、トゥギャザーしようぜ、リアリティと!

Permalink |記事への反応(0) | 21:56

このエントリーをはてなブックマークに追加ツイートシェア

2025-04-06

AIの端で研究してるけどすごい世界になってきたなぁと思う

AIの訓練データwebから拾ってくる研究って昔からあって、クローラーの開発競争とかあったんだけど

世界中webクロールできたとして、自動で行き着ける範囲無料アクセスできる範囲しか無いんだよね

無料で手に入る訓練データなんて無料品質しか無いというのが定説だった

からAI開発は高品質で大量の有料データ効率良く確保するビジネス手法必須というのが2010年代の風潮にあった

 

でもOpenAI等の開発ってほぼweb上のデータだけでできてるぽいんだよね

有料書籍を無配する海賊版サイト収集痕跡めっちゃある

個人的にはそれを社会デプロイすると思ってなかったし、社会が受容して活用するとも思ってなかったのですげえ驚いた

堂々と違法サイトクロールするのが正解を最速導出するという認識が無かった

 

結構近い分野で研究してたので、その認識に至れなかったの悔しいな〜というのがある

一方で海賊版サイトどうにかしようぜという気持ちもある

データである以上複製は避けられないし、暗号化した所で人間の目に入る瞬間には復号化したデータメモリ上に乗ってるはずなので

それをスニッフしちゃえば理論的には全ての有料販売海賊版サイト転載される、可能性がある

 

絵師様が無断転載禁止とか言ってるのを見てると、いやアップロードすんなやと思うが

有料販売品が無料海賊版出されてるのは流石に絵師様が悪いと思えない、海賊版サイトを潰せという認識世界統一されてほしい

それはそれとしてAIが悪い訳でもないんでこっち攻撃すんな、敵を見誤らず正しく怒れというお気持ちでした

Permalink |記事への反応(0) | 18:40

このエントリーをはてなブックマークに追加ツイートシェア

2025-02-19

anond:20250219224738

パープレに「英語で調べて、日本語で答えて」「時間は十分に使って」とか言って範囲を広げて調べてもらって、英語のページが出てきたら適当翻訳かけてそれも読むようになった。

Googleキーワード検索はもうほぼ不要で、クローラーとしてだけ存在してくれればいい。まあ、近いうちにGeminiとGoogle検索窓が融合するだろうけど。

Permalink |記事への反応(1) | 22:54

このエントリーをはてなブックマークに追加ツイートシェア

2025-01-22

はてな匿名ダイアリー跋扈するSCPについて

 ここ数年、インターネットに散在するコミュニティ上での異常事象存在が、SCP財団内でしばしば議題に上るようになってきた。匿名性の高いSNSコメント欄掲示板はもちろんのこと、とりわけ「はてな匿名ダイアリー」(以下「増田」と呼称)においては、他のプラットフォームでは見られない特異なアノマリー複数確認されている。増田は、ユーザー登録をせずとも誰でも簡単匿名文章投稿できる点や、その内容が検索エンジンを介して幅広く閲覧されるという特徴を持つ。その結果、財団観測網をかいくぐって潜伏しやすい土壌が形成されており、過去数年間で複数のSCPオブジェクト確認されるに至った。

 本報告書では、増田上に跋扈するSCPについての調査概要確認された事例、ならびに暫定的収容手順を示す。なお、本報告書に示されるSCP事例は現在進行形調査が行われており、記載内容はあくま暫定的ものであることに留意されたい。

1. 背景と問題の経緯

 はてな匿名ダイアリー日本国内を中心としたWebサービスはてな」が提供するブログプラットフォームの一部で、アカウントを持たない投稿者であっても「増田」と呼ばれる匿名枠にテキスト投稿できる仕組みを提供している。そこでは個人的な悩みや告白社会への批判仕事日常愚痴まで、多種多様文章毎日大量に投稿されている。

 増田特有の気軽さや匿名性の高さは、投稿者の真意を推測しにくくする要因であり、その投稿を閲覧する読者側もまた「増田から真偽がわからない」といった曖昧認識のもと、批判や同情、考察などを寄せる。その混沌とした言説空間は、とき不特定多数ユーザー集合的感情を刺激し、新たな炎上や論争を生み出す源泉ともなる。

 こうした特質はSCP財団から見ると、アノマリー(異常存在)が自己活動や影響力を隠蔽したまま周囲に感染拡散するのに非常に都合がよい環境といえる。特に増田では、投稿時に明確なユーザーIDアカウント情報が残らず、内容の信憑性裏付け手段事実上ないため、「書かれていることが虚実入り混じっている」前提で閲覧されやすい。結果として、何らかのアノマリーが潜入していても発見が遅れがちである

 財団増田における最初の異常を検知したのは、20██年頃に投稿された「この世を正しく終わらせる方法と手順」と題された増田が発端だった。その増田の内容はいわゆる「終末論」を扱うものであり、極めて支離滅裂かつ狂信的な文体ではあったが、読了した閲覧者の中から数名が突発性の精神不調や共時性幻視を訴えはじめ、その症状が財団監視ネットワークに引っかかったのである。その後、財団調査チームが投稿の書式や文体を解析したところ、当該増田の背後に未確認ミーム汚染因子が潜んでいる可能性が高いと判断された。この事例をきっかけとして、財団増田投稿ログを精査し、複数アノマリーを検出していくこととなった。

2.増田上で確認された主なSCPの概要

 以下、財団確認し、暫定的オブジェクト分類(Safe/Euclid/Keter 等)を行ったSCPを紹介する。なお、詳細な文書は別途SCPファイルとして管理されているが、本報告書では概要と特徴を簡潔に示す。

2.1 SCP-増田-A:無限コメント自己増殖現象

オブジェクトクラス:Euclid

概要増田特定記事上でコメント欄自動的に増殖し続け、システム上の最大コメント数を無視して延々と付与され続ける現象ユーザー投稿したはずのコメント複数回重複表示されたり、「名無しのオブザーバー」というハンドルネームシステム自動生成したとみられるコメントが絶え間なく追加されたりする。最終的に記事本体よりもコメント欄が何十倍も長くなり、閲覧者がページを読み込むだけでブラウザや端末に極端な負荷をかける。

異常性:コメント数が増え続けるだけでなく、中には本文を改変するようなスクリプトが混入しており、ページをリロードするたびに本文の一部が改変・増殖する事例が報告されている。閲覧者が長時間そのページを開いたまま放置すると、ブラウザ履歴クッキー情報勝手に書き換える痕跡確認されている。

暫定収容手順:財団エージェントはてな側のシステム管理者に接触し、問題増田管理者権限で凍結。また、既に拡散したミラーサイトアーカイブ順次削除し続けているが、完全な根絶には至っていない。現状、定期的にウェブクローラーを走らせ、類似現象の発生を監視排除する措置を取っている。

2.2 SCP-増田-B:読心ミーム感染記事

オブジェクトクラス:Keter

概要一見するとありふれた日常報告や匿名愚痴を綴った文章なのだが、記事本文を最後まで読了した閲覧者の脳内に「その人物が最も不安に感じている秘密」や「他人に言えない後ろ暗い過去」を強制的に想起させ、それを吐き出させる形でコメント欄投稿させる現象コメント欄体裁を取りつつ、実際には閲覧者自身投稿した認識のない状態で、勝手恥部さらすようなコメント掲載される場合もある。

異常性:このSCPの投稿複数確認されているが、書式やタイトルは毎回異なる。共通するのは「冗長かつ最後まで読まないと内容がよくわからない文体であることと、本文の終盤に読者の潜在意識を刺激する特殊文章構造が組み込まれている点だ。財団心理学部門の解析では、いわゆる「ミーム改変文字列」が散りばめられており、読み進める中で読者の深層心理干渉していると推測される。

被害対処:実際に被害に遭った閲覧者は投稿後しばらくしてから自身コメント内容に気づき、極度の羞恥恐慌状態を引き起こす。財団可能な限り対象投稿を速やかに削除し、被害者のコメント記録を抹消すると同時に、クラスA記憶処理を施して事態の収拾を図っている。問題は、このSCPが投稿される「増田」のアカウント特定が極めて困難な点であり、繰り返し新規IDから投稿が行われていると推定される。新たな投稿が発生次第、いかに早期に検知し削除・封鎖するかが大きな課題となっている。

2.3 SCP-増田-C:擬似人格形成スレッド

オブジェクトクラス:Euclid

概要:ある増田上で連続的に展開される「複数登場人物が互いに呼応しあう」形のスレッドが、実際には単一存在(SCP-増田-C本体)の手によって形成されているとされる現象日記本文とコメント欄があたかも多数の異なるユーザーによる対話のように見えるが、財団IP解析ではすべて同一の不明ホストから投稿されたトラフィックであることが確認されている。

異常性:単なる自作自演ではなく、スレッド内で展開される複数人格が、投稿のたびに微妙文体を変化させるだけでなく、実在第三者のようにリアルタイムで会話を重ねていく。そのやりとりは短時間で数百件以上に膨れ上がり、外部から見ると非常に説得力をもって「議論」が進行しているように映る。読者はそれぞれの人格が持つバックグラウンドストーリーに引き込まれスレッドを精読するうちに「どの意見が正しいか」を探り始めるが、最終的には一種混乱状態に陥り、どの人物が何を意図しているのか判別不能になる。

被害:このスレッドに長時間深く没入した閲覧者は、自分の中に複数人格が芽生えるような感覚を訴えたり、現実社会他者と会話する際に「この人は実在しているのか疑わしい」という妄想を抱くようになるケースが報告されている。財団職員複数名も監視過程で同様の症状を呈し、軽度の精神崩壊を起こした事例があるため、当該増田監視担当者には定期的な心理カウンセリング義務づけられている。

暫定対策:疑わしい長文対話形式増田を早期に検知し、アクセス制限をかける監視システムを導入しているが、アルゴリズムの網をかいくぐる巧妙な投稿が頻発している。加えて、外部のまとめサイト引用スクリーンショットが保存されることで事後封じ込めが難航している。

2.4 SCP-増田-D:時間遡行編集記事

オブジェクトクラス:Euclid

概要:一度投稿された増田が、投稿時刻自体過去に改変して再掲載される現象。通常、はてな匿名ダイアリーシステムでは投稿日時を随意に改変することは不可能とされているが、このSCPは投稿履歴操作して「数年前に投稿された」という形でエントリーを復活させる。

異常性:改変された記事実在する日付の増田ログに紛れ込む形となり、当時の利用者コメントブックマークまで再現されている場合がある。過去ログを遡っていくと、該当記事がもともと存在した痕跡こそないものの、「当時その記事を読んだ」という証言を行うユーザーが現れるなど、現実改変の兆候も疑われる。現状の技術では投稿者の特定に至っておらず、どのようなプロセス投稿日時を操作しているか不明である

注意点:時間改変系のSCPはカテゴリーとして非常に扱いが難しく、無闇な干渉時間線に予期せぬ影響を及ぼす恐れがある。財団タイムアノマリー対策部門連携しながら、記事のもの閲覧制限下に置き、ネットアーカイブウェブキャッシュ検索遮断するなどの措置を行っている。

3.調査対策の現状

 これらSCPが増田上で確認された背景には、以下の要因が考えられる。

匿名性の高さによるアノマリー隠蔽

増田アカウント登録不要で誰でも書き込み可能であるため、投稿者を特定したり、過去投稿傾向から異常を推定したりする難易度が高い。その結果、アノマリーの一次検知が遅れる傾向が強い。

はてなプラットフォーム構造

はてな匿名ダイアリーは、投稿された増田が多くのユーザーに瞬時に閲覧・ブックマークされる仕組みを持つ。また、はてなブックマークを介してさらコメント引用拡散されるため、いったん話題が盛り上がると多方面コピー引用散逸やすい。

読者や閲覧者の「ネタ」への寛容さ

増田の読者は内容が真実か否かをあまり厳密に問わずエンターテインメントストレス発散目的アクセスしている者が少なくない。結果、多少異常な文章であっても「一風変わった怪文書」「ただの創作」として受け流されやすく、深刻な異常だと気づかれにくい。

 こうした要因によって、SCPを含む異常投稿は容易に潜伏し、拡散する。財団としては、はてな運営会社との連携を強化し、AIを用いた自然言語解析による異常兆候の検知システムを導入するなど、対策を進めている。しかし、はてな匿名ダイアリーは日々膨大な数の投稿が行われるため、どこまで網を広げられるかは未知数である。また、海外ホスティングによるミラーサイト転載が出現し始めると、現実的な削除要請範囲を超えてしまう。すでにTwitterや他のSNSでもまとめが回ることで、被影響者が増加する事態は避けられない。

4. 今後の展望留意

 はてな匿名ダイアリーにおけるSCP存在は、ネットコミュニティ構造変化に応じて今後も増加する可能性が高い。特に「自らがアノマリーである自覚していないままネット上で活動している存在」や、「人格を装いながら多人数の読者とインタラクションを行うことで自己増殖するミーム型SCP」は、増田のような自由投稿プラットフォームさらに悪質化・複雑化する恐れがある。

 財団が最も警戒すべきは、増田を起点としてリアル社会へ飛び火するタイプアノマリー拡散だ。たとえば、本報告書で例示したSCP-増田-Bのように読者個人深層心理に入り込み、現実での行動や社会的信用を毀損する現象が拡大すれば、大規模なパニック社会秩序の混乱を招きかねない。あるいは、SCP-増田-Dのように時間改変的な特性を持つアノマリーさらなる発展を遂げれば、歴史修正因果律破壊といったレベル被害もありうる。

 また、はてな匿名ダイアリー日本国内だけでなく海外からも閲覧・投稿可能であり、英訳翻訳を介して国際的に広まる余地がある。財団の各支部データ分析班が協調して監視を強化し、各国の法規制とも連携して削除要請を進める必要があるものの、現実には各国プライバシー法や表現の自由との兼ね合いで対応が難航することが予想される。

5.結論

 はてな匿名ダイアリー増田)は、日常の雑感や炎上ネタから深刻な告白感情吐露まで、あらゆる情報が密集する場である。その匿名性ゆえに、SCPオブジェクトが潜伏しやすく、また多くのユーザーが「真偽のほどはわからないがとりあえず読む」態度で消費することからアノマリー拡散リスクは高いと言わざるを得ない。すでにSCP財団確認しただけでも、いくつものSCPが増田に棲みついていることが判明している。

 ただし、全投稿強制的に削除・監視するような強硬策をとれば、はてなプラットフォームの存続意義自体を揺るがすと同時に、財団存在が表面化するリスク高まる。一方で、アノマリー拡散放置すれば、ネット空間を通じてリアル社会にも致命的な影響を及ぼす恐れがある。財団はこのバランス狭間で慎重な対応を求められている。

 今後の具体的な方策としては、増田への新規投稿を常時チェックするAI分析モジュールさらなる精度向上や、異常記事をいち早く発見隔離するための専用クローラの整備が必須とされる。また、読者側への啓発活動――「増田を閲覧する際には、妙に長文で意味不明投稿には注意すること」「不可解な体験があれば速やかに共有し、アクセスを控えること」など――の実施有効であるしかし、匿名特性ゆえに抜本的解決策は見通せていない。

 財団としては、はてな運営との連携強化を引き続き図り、相互対策技術アップデートし合う形でアノマリーの早期封じ込めを目指す。SCP財団確認した増田におけるSCP事例は氷山の一角に過ぎず、さらなるPermalink |記事への反応(2) | 15:12

このエントリーをはてなブックマークに追加ツイートシェア

2025-01-09

anond:20250108233148

かつてあった相互リンク文化。掘り出したブログもいくつかのブログ、というか個人HP相互していた。

古くは高校時代あたりに絡んでいたもので、それらを好んでよく読みに行ってたのもそのころ。高校卒業後は足が遠のいて社会人になってからは未観測だった。

それらもいくつか覗きに行ってみた。

多くのレンタルHPブログが閉鎖した今、続けて書いている人は皆無。

相互じゃない一方通行リンクしてるだけのような、当時から一線をいってるようなのは残っていた。単なる一購読者しかないけど、僕秩とか。当時も今も越えられない存在

相互さんたちとの繋がりとしてはアニメレビューとかお絵かき交えた雑記系。自分と同じように2010年くらいまでは息をしていたようだけどその後更新が途絶えているようだ。

当時は多分日PV3,4桁以上あったような人たちだろうと思うんだけど、そんな人達ですらもう続けてない。自分ならそんな見られるなら…とか思っちゃうけど…。まぁでもXとかやってるんだろうな。

中にはどんどんPVを落としていっている人もいた。最後の方はだいぶこじらせていた。小説とか書くようになってたけどそれも続かなかったようだ。

彼らは今どんなことをしているんだろう。探せばXとか出てくるのかもしれないけど、逆にXとかで近況見ると生々しすぎて興味が失せちゃうんだよな。

まぁもうこれ以上掘って出てくるものはないかな。欲を言うなら当時Flashで作ってた個人HPとかもう一度見たいけど、Flashなのとちょい古くてアーカイブクローラーとか来てないんじゃないかと思う。

データも残ってないし。一度インターネッツの世に放ったものだし、またひょんなことから見つかるようなことがあればいいな。

Permalink |記事への反応(0) | 14:41

このエントリーをはてなブックマークに追加ツイートシェア

2024-12-16

ほしいも

オルトリーブ バックローラークラシック 2.2万

・HDD8TB 1.5~2万

・o11airmini 1.5万

チャリンコ外套(ワークマン) 3千円

ジョギングウォーキングシューズ 4千円

・財布 1.3万

ねこ(クーリクの譲渡猫) 10万+α

UA-25EXに代わるオーディオインタフェース 1.5万?

・G402もしくはこれに代わるマウス 5千円~2万

・テーパードなジャージ 3千円ぐらい?

必要もの

ママチャリタイヤ 2~3千円ぐらい

ん~

こうして列挙してみると全てまだ買わんでいいな

必要なもんだけ買お

Permalink |記事への反応(0) | 20:49

このエントリーをはてなブックマークに追加ツイートシェア

2024-11-16

BlueskyはAIボットによるデータ収集許可している件

Blueskyにアップロードしたデータは、GoogleやOpenAIBaiduや様々な会社AI学習に利用されている可能性が高いよって話。

 

前提

検索エンジンAIクローラーボットによるデータ収集学習拒否する方法としてrobots.txtを使うのが一般的で、AI学習データ収集ロボットもそれに従っています

AI開発会社はそれぞれbot名前や、どのようにrobots.txtを設定したらデータ収集をしないかを公開しています

 

Blueskyのサーバーの設定(全部OK

User-Agent: *

Allow: /

https://bsky.app/robots.txt

https://bsky.social/robots.txt

 

全部、許可しますよ。お好きにどうぞって設定になってます

実際にはサーバー負荷対策のため、ある程度の速度制限がありますコンテンツの取得に制限はありません。

 

Xの設定(他社ボットによるデータ取集拒否

# Everybot that might possibly read andrespect this file

# ========================================================

User-agent: *

Disallow: /

https://x.com/robots.txt

 

基本的な設定は全てのボットデータ収集拒否となっています

一部の検索エンジンには限定してデータ収集許可をしています。(詳細は長いので省略。自分確認してください)

 

Xは自社AIのみに利用される、Blueskyは他社AIに利用される。

Xは自社のAI学習には使われます

Xは他社のAI学習拒否しています

 

Blueskyは自社ではAI学習はしないと明言しています

Blueskyは他社AIボットによるデータ収集許可しています

BlueskyにアップロードしたデータはOpenAIGoogleBaiduなど様々な会社AIロボットデータ収集され、AI学習開発に利用される可能性が高いです。

 

Blueskyに画像をアップすると、様々なAI学習に使われそうです。

もしも自分AI学習に反対の立場なら、どのAIに使われるか不明なBlueskyの方が不安だと思うんだけど。

世の中はそうなってなさそうで不思議

 

1か月くらい前からXでこの事を指摘している方はいらっしゃいましたが、まだあまり広まっていません。

Blueskyに移住した反AIの方々がこれを理解したらどのような行動に出るのでしょう。

Permalink |記事への反応(4) | 17:10

このエントリーをはてなブックマークに追加ツイートシェア

生成AIに正しく対応する反AI絵師の動きとは

AI使ってますか?Xで翻訳ボタン押すと海外ポストでも日本語で読めるの便利ですよね。

機械学習から連綿と続いた先にある生成AIの隆盛、大変エモいものがあります

自分はまだニューラルネットワークと呼ばれていたこからこの分野で細々と研究をしており、趣味は主に写真です。絵はたしなむ程度。

今の反AI運動は、誰に対して何を反対しているのか良くわからなくなってしまっているので、正しく反対するのが良いと思っています

結論から、なぜそうなるのか、どうしたら良いのかと整理しておきます

ウォーターマークサイン意味があるのか?

つの意味では意味があり、2つの意味では意味がありません。

(Xの利用規約がいつ変更され、どのように利用されるかについては、他の方の記事に詳しいため略します)

なぜ学習を防げないのに、意味があるのか

自分画像であるという主張を残せるからです。

先行例としてストックフォト(写真の利用販売)があります

たいていの場合人間が利用可否を判断できる程度には高解像度写真と、ストックフォト社のロゴ撮影者の名前管理IDが入っています

もちろん商業印刷に使える高解像度は購入後にしか手にすることはできません。ただサンプル画像ですが、機械学習用途では十分です。

ロゴなどを取り除くのは難しくありませんし、学習用途では十分なイメージサイズがあり、機械学習に十分使えます

しかし、実際にはそういった事例は見聞きしません。(個人学習されている方もほぼいないでしょう)

なぜならば、もしも利用が発覚した場合使用料請求されるからです。

同様に、無償用途であっても、例えば軍用機戦車など、IDサイン写真に入れる方は少なくありません。

これは、端的にはパクられた時に自分写真だと主張する為です。

学習されたくないという目的を達成するには

現行法下では、いわゆる"無断学習"を止めることはできません。

必要なのは法改正もしくは法解釈変更のためのロビー活動です。

機械的に大量の学習が行われるのが問題であるという論建ても見聞きしますが、あまり良い筋論とは思えません。

なぜならば、少ない学習量で良い結果を出すというのは、機械学習的にはかなり昔から熱心に研究されているテーマからです。

(例えばコンピュータ将棋新風を吹き込んだBonanzaは、たった6万局の棋譜学習させることで評価関数作成しています

実用的にも、事前に学習させたモデルを準備しておき、少ないサンプル画像(数枚~数百枚)で、不良品検査に使えるモデル作成する、などは熱心に行われています

現状でも、対象となる絵を人間が模写して、模写側を学習させるだけで、十分に元画像に近似した画像を出力できます

人間が目で見て判別できる程度のノイズウォーターマークは、前述の通り除去にさほど手間はかかりません。

無断利用されたくないという目的を達成するには

方法論としては3つあります

  1. Xへの画像ポストを止め、学習しないと明言しクローラー拒否しているサイトを利用する。
  2. 個人利用以外には、対価を取る旨を明記する。
  3. 嫌がらせに対しては、都度対応する。

Xを利用する以上、利用規約同意しなければ使えないので、これについて学習を防ぐことはできません。(非公開ポストについては学習されませんが、これもXの利用規約変更が無いことが前提です)

例えばpixiv機械的画像収集ガイドライン禁止されています。また、画風を模倣した作品投稿についても一定制限のもとで禁止されています

対価を取る旨の明記とは、例えばpixivFANBOXのメンバー限定コンテンツを、無断で転載されてしまった場合、損害を負ったと外部に対して明確に説明が出来ます

これらを行ったうえで、故意学習され、似た作風の生成AI画像を公開されるという嫌がらせを受けた場合は、上記の旨を前提として、嫌がらせであると都度対応する必要があります

これは知らなかった、うっかりしていたでは起こりえない状態にしたうえで、きちんと嫌がらせに向き合うということです。

上記では防げない部分の補足

生成AI画像そもそも見たくない、というものは、現行では防ぎようが無く、どちらかというとロビー活動に近いものになります

こいつは画像生成AIで絵を出力している!というのは、指摘として正しいか否かは別として、あまり意味をなしません。

ただ、自分趣味である写真でも、いわゆる加工をどこまで許容するかは人やコンテストによって異なる為、そういった住み分けの話になってくると思っています

例えば、ある画家自分の画風を学習させた生成AI画像を出力して販売したとしても、それを咎め理由は思い当たりません。

現状でもまだ過渡期であり、人間の目で判別不能画像を出力するようになるのは、時間問題です。(既に人間が書いた絵であっても生成AI絵だと誤認される事例は数多くあり、指摘できる人間の数は減っていきます

どちらかと言えば、作画過程タイムラプス動画価値を見出すような、違った付加価値の話になってくると思います

最後

生成AI画像技術禁止する、学習禁止するなどは、現行法下ではできません。

法改正もしくは法解釈の変更が必要なためロビー活動を行うしかありません。

しかし、自分の絵を商用利用を禁止し、それを許容するプラットフォームで発表することはできます

Xでは非公開ポストにしない限り、機械学習に利用されることを防ぐことはできません。利用規約で既に利用が可能になっているからです。

露悪的に言えば、Xを利用するのに学習されたくないのは虫が良い、と言えます。ただし、Xに対して一定金額を払うことで対象から除外してもらうように働きかけることはできるかもしれません。

ウォーターマークサインノイズ機械学習を防ぐ目的に使う効果はとても薄いです。ロゴウォーターマークの除去もテーマとしては昔からあるものであり、難易度はそれほど難しくありません。

ただし、意図して除去していることは明確になるので(Xには規約学習されてしまうが)X以外の例えば悪意ある第三者学習された場合に、悪意ある行動だ、と指摘することが出来ます

この場合、対価を取って公開している場合、損害が明確になるので、アクションを取りやすくなります

簡単にまとめると

X社に学習されるのは諦めて、小さくても良いのでトリミングで取り除かれない位置サインを入れてポストするのが最もベターです。ウォーターマークである必要はありません。

(取り除かれて転載された場合タイムスタンプを基に悪意ある転載だと指摘できるため。逆に言えば別に大きくいれてもさして違いは無いので自分の好みで入れれば良い)

また、自分の画風のAIモデルを開発中である、これの対価はAI陣営には買えないくらいとても高い、とプロフィールに書くだけでも十分抑止になります

生成AIに反対する為に、自分AIモデルを作り高額で販売するつもりである、と表明すれば良いからです。

嫌がらせ自分の画風を真似たモデルが作られて販売もしくはそれを使った出力画像が出た際に、自分は損害を負ったと主張できます

また、第三者ゲームスクリーンショット勝手に透かしやサインを入れるのは止めましょう。適切なガイドラインのもとで適切に利用するのが最も大切です。

既に法律でも、利用規約でも、生成AI機械学習側がリードしている状態です。

Xが学習するというのを妨げるのは、プラットフォームを利用する側としてはどちらかと言えば非難される側になってしまます。(規約にあり、利用しており、それでいて相手妨害する為)

Xにポストする絵には必ずどこかにサインを入れて自分のものだとわかるようにしてください。それが今できる最善の対応です。

Permalink |記事への反応(2) | 02:47

このエントリーをはてなブックマークに追加ツイートシェア

絵師(笑)はなぜ反AIに走ってしまうのか

イラスト界隈で活動して6年目になる俺が、反AIがここまで隆盛した理由自分なりに整理してみた。

愚痴も含んでるから、語気がちょっと強くなってたらゴメン。



1.特権意識がある

これは生成AIが出る前から思っていたことだが、とにかく特権意識が強い。

主にフォロワーいいね数を基準として、人気がある方が偉いという価値観の下で生きているから、

人気のある絵師がそうでない絵師キャラクターや構図をパクるのはお咎めなしだが、

逆をやると即学級会からの良くて追放、悪くて活動停止まで追い込まれてた。

俺は面倒に巻き込まれたくなくてそれとなくフォロワーが多い方に追従してたけど、

今考えると完全に宗教カーストなんだよな……。

イラストを描ける自分は偉い・優れている」と思ってないとこんな傲慢な振る舞いはできないと思うんだけど、

今回の騒動はそれを露わにしただけなんだと思う。元々、絵師以外はバカにして当然みたいな空気もあったし。



2.村文化が強い

今、無断学習が「因習」って呼ばれてるのはかなり正確な表現で、

実際に絵師界隈は村文化というか、悪い田舎性質を凝縮したようになっている。

他人の一挙手一投足に注目して、村の掟に従わない人間がいたらすぐに吊るす。

村の外のルールなんてもの関係なくて、自分たちの決めたルール絶対

こんなんだから外部の人間理解されるわけはないし、なんなら界隈内の一部の人から忌避されていた。

から見たらおかしいのは一目瞭然だが、どうも絵師様は違うらしい。



3.自分で考えない

正直、これが一番問題だと思う。これがなければ前の二つは成立しないか、してもすぐ瓦解するんじゃないかな。

とにかく他人意見鵜呑みにするからバカみたいなカースト制度にも従うし、

村だけで通じる因習絶対正義として持ち上げてしまう。

これがおかしいと気づける人間は界隈からいなくなるから自然と「そういう」人間けが残る。

結果、生まれたのが反AI集団パニックだ。

誰かが「AIは悪だ!」と叫んだのに追従して"無断学習"などという存在しない概念を生み出し、

自分の絵が学習されたら死んでしまうくらいの勢いでAI弾圧している。

現状の生成AIに全く問題がないなんてことはないが、奴らは具体的な問題点を論じるわけでもなく、

ただ判を押したように「AIは悪だ!AI規制しろ!」としか言わない。

流行っているウォーターマークとかglazeとかも、見てる側からしたらただのノイズしかいから消してほしい。

村の教えではAIを滅することができることになっているかもしれないが、実際はそんなことないんだ。ただ絵をぐちゃぐちゃにしているだけなんだ。

SNSを移動したら学習されないなんてことはないんだ。どこに行ってもクローラーがいるし、何なら外部のクローラーを弾いてるXは親切なくらいだ。

陰謀論新興宗教と何が違うのだろうか。

思考放棄して被害妄想に憑りつかれるままに大暴れするさまは、滑稽を通り越して憐れでさえある。



結びに

結局のところ、反AIをやっているのは絵師(笑)しかおらず、

そうでない人は生成AIを快く思っていなくても妥当な落としどころを探るための建設的な議論を進めようとしているだろう。

実際、俺の周囲にも何人かそういうスタンスの人はいる。そういう人は(少なくとも俺の周囲は)自分で調べて自分で考えることができている。

絵師(笑)脳死で叫んでいる限り味方が増えることはないということにいつ気が付くのだろうか。

俺が好きだった絵描きが反AIに堕ちていくのを見るのが辛い。

Permalink |記事への反応(4) | 01:35

このエントリーをはてなブックマークに追加ツイートシェア

2024-11-15

anond:20241115000009

移住先のブルースカイAI学習に対して何の対策もしてないか第三者悪用され放題のノーガード状態なのに対して

TwitterはGrokにAI学習使用されなくなるよう設定できるし、API有料でスクレイピングクローラーもばっちり対策してるからむしAI学習に対してはどこのSNSよりも強固に守られてるんだよね

まさにワクチンよりもノーマスクを選ぶ陰謀論者と同じことしてるんだよこの馬鹿どもは

Permalink |記事への反応(1) | 01:42

このエントリーをはてなブックマークに追加ツイートシェア

2024-11-14

なんでもかんでもhello worldと表示させるプログラムで入門させようとするのやめろ

こっちはウェブアプリクローラー等)をどうすれば自鯖以外で常時稼働させられるか知りたいのに、hello worldと表示できました、じゃその方法で一度実行したら継続して稼働するのか分からないじゃん。

google app engineやxserverでのjavaの実行の記事が軒並みそういう内容だから途方に暮れてる

Permalink |記事への反応(0) | 02:48

このエントリーをはてなブックマークに追加ツイートシェア

2024-11-12

機械学習されないための加工」は画像価値を減らすものばかり問題

robots.txtなどでWebクローラーに避けてもらう

パスワード付きページなので条件が揃わないと外部からアクセスできないようにする

画像の中にサインを入れておいて機械学習側の誤爆を狙う

画像全体に "ウォーターマーク” を掛けてそのまま利用できないようにする

画像全体を変色させる加工を施して学習素材として利用させにくくする (GlazeやNightshadeなど)

スクレイピング対象から避けやすくするため長辺を256px未満にする←New!

上2つのように「自由には触れさせない」作戦はまあいいとして、それ以外は多かれ少なかれ画像劣化させる方向にばかり頭を使っている印象。

仮にそれで機械学習対象から外されたとしても、自らの子と言っても過言じゃないイラストの「劣化版」を出して憚らない、ってのは端から見ていて辛い。

=====

2024/11/13追記

そう言えば、コピープロテクトのせいで正規ユーザー被害を被る、って話は昔からあったね。

CDリッピングは容易で法的にもセーフだけど、そのせいでCCCDかいう特級呪物が産まれたし。

ただ、正規ユーザー被害を受けない限りにおいては、コピープロテクトなどの防衛策で予見される金銭的損害を講じるのは正当だと思う。画像の素材集や映画などにウォーターマークが乗ってたりするのはこのパターン

でも、無償公開分……収益考慮しない趣味絵のようなものにまでウォーターマーク適用するのは (正規ユーザー被害を受けるので)よろしくない。

逆に、Skebはなぜ (依頼した人に渡す分じゃなくて)ネット公開する分の画像ウォーターマークやGlazeなどを施さないのか。処理コストを嫌がっているのか、中の人がその手の技術を好きじゃないのか。

Permalink |記事への反応(2) | 20:22

このエントリーをはてなブックマークに追加ツイートシェア

2024-10-18

anond:20241018223830

医者キャタピラーではなくクローラーと呼ぶのだろうか?

Permalink |記事への反応(0) | 22:40

このエントリーをはてなブックマークに追加ツイートシェア

2024-07-24

anond:20240723225623

いないと思う

定期的にタブ開きまくったままにしたい増田が出てくるけど動機わからん

片っ端からメモアプリに突っ込めない理由はなんだろ・・・

 

メモアプリになんのやついちいち書くの面倒だったら

Notion Webclipper(AI要約もできる)とかRaindrop.ion とか使うか、

自前でクローラー作ったらええと違うか?

Permalink |記事への反応(0) | 00:59

このエントリーをはてなブックマークに追加ツイートシェア

2024-06-27

AI最近ヤバいエコチェン備忘録

AIが無学(高卒オタクマン)な上に人の忠告を聞かないせいで、実在しない問題、恐怖を内輪で膨らませてた例が最近無茶苦茶多いので備忘録的にリスト

 

「生成画像1枚にスマホ充電522回分の電力がかかる」と論文誤読

 実際は、1000枚に522回分(1枚には0.522回分)と書いてあったのを、英語も読めないのに機械翻訳AI…😂)で無理矢理引用して誤読

 そもそもスマホ電池容量は約20Whほど。522回分では10kWhになる。電気代で言えば卸値でも100円はする。1枚にそんなにかかっていたら商売が成り立たないとも気づかない頭の悪さ(一部は「だからこそ誰かが金を出してる陰謀なんだ」とか訳のわからないことまで言い出す始末)。

 英語力、計算力、金銭感覚のなさ、そして無意識AI翻訳を頼るという馬鹿馬鹿を重ねる失態。

 

OpenAICTOが言った「somecreativejobs(いくつかのクリエイティブ業)は最初から要らなかった」を「すべてのクリエイターは要らない」と誤訳捏造

 普通英語力があれば解るが、名詞複数形にsomeがつく場合とそうでない場合では大分訳し方が違う。

 「もともとクリエイティブと呼べないほどの仕事もあった」という程度の言葉を「すべてのクリエイターに対する挑戦」のようにねじ曲げ拡散するのは政治的な行いなのか、単なる狂気なのか。

 

「copainter対策」でイラストに猫の写真を入れだす←NEW!

 そもそも学習対策」は無作為クローラー対策のためにネットにアップする画像に施すものであり、copainterなどの自分で下絵をアップロードするi2iサービスには何の効果もない(というより、もはや何を狙っているのかも不明)のに(詳細は→ https://anond.hatelabo.jp/20240626081537)、イラストに猫の画像を埋め込んで「上手く生成できない画像はこうだ」とか、現在進行形で盛り上がってる。

 あいつらの脳内ではこの自分勝手な被害妄想?(というより、ry)で意味不明発狂を起こしていることすら「AIのせいでクリエイターが先の見えない対策に追われている」と変換されているのがなお凄い。

 その「対策」に何の先も見えないのは、AIが凄いからじゃなくて、お前らが自分で何をやっているのかが解ってないからだw

 AIを怖がるにしても、せめて最低限の仕組みぐらいは理解してから、仕組み的にありえることを怖がれw

 

 この調子だと、これからもこいつらは加速度的に暴走を続けていくと思われるので、記録する場を設けておく。

Permalink |記事への反応(4) | 03:07

このエントリーをはてなブックマークに追加ツイートシェア

2024-06-11

anond:20240611151801

別にいいけどそもそもクローラーとかそんな大した仕事ではないし

普通は一から作るというのは大規模なサービスを一から書き直すような時に使うわけよ

クローラースクリプトとか一からかくに決まってるじゃん?

いちいちスクラッチとかフルスクラッチかいう話ではないんだよね

人月?って話で

Permalink |記事への反応(0) | 15:22

このエントリーをはてなブックマークに追加ツイートシェア

anond:20240611150902

横だけどまず「フルスクラッチ」ってのが怪しいのと

クローラースクリプトとかエンジニア的に誰でもできることであって

駆け出しの仕事じゃん

スクリプトの時点でスクラッチもクソもないじゃんっていう

スクリプトを一から作るならそりゃそうだろうけど

Permalink |記事への反応(0) | 15:11

このエントリーをはてなブックマークに追加ツイートシェア

anond:20240611140449

いやフレームワークも使わないで素のPythonファイルサーバーファイルをあげるクローラーマイクロサービスって言う人君しかいないよ

真昼間に書いてんのも君だし

アメリカから

Permalink |記事への反応(1) | 14:06

このエントリーをはてなブックマークに追加ツイートシェア

anond:20240611132306

じゃあPythonクローラー書いてるってコト?

どのサービスがなんのフレームワークでやってんの?

Permalink |記事への反応(0) | 13:25

このエントリーをはてなブックマークに追加ツイートシェア

anond:20240611123149

またフワッフワだなあ

なんのアルゴリズム

あとOOPを誰でもできるみたいに言ってるけどできてないんだよ

クローラースクリプト書いてるようなやつは100%できてない

まあスクリプトだろうがなんだろうがまず動かすのが第一歩でそこで9割脱落するけどな

Permalink |記事への反応(0) | 12:34

このエントリーをはてなブックマークに追加ツイートシェア

anond:20240611121902

まあクローラーデータ取ってきてまとめてる感じ?

素人では出来ないけど使う方の仕事だし確かにアルゴリズムとかデータストラクチャとかOOPとかはいらなそうな感じだね

まず動かすのが素人には出来ないからね

Permalink |記事への反応(0) | 12:23

このエントリーをはてなブックマークに追加ツイートシェア

次の25件>
ログインユーザー登録
ようこそ ゲスト さん
Copyright (C) 2001-2025 hatena. All Rights Reserved.

[8]ページ先頭

©2009-2025 Movatter.jp