Movatterモバイル変換


[0]ホーム

URL:


はてラボはてな匿名ダイアリー
ようこそ ゲスト さんログインユーザー登録

「スクレイピング」を含む日記RSS

はてなキーワード:スクレイピングとは

次の25件>

2025-10-18

議員定数削減スクレイピング

自維の議員定数削減議論野党反発 公明「うちへの宣戦布告だ」

https://mainichi.jp/articles/20251017/k00/00m/010/290000c

⇒《比例代表議席が多い公明党の関係者は「完全にうちへの宣戦布告だ。全面戦争になる」》

維新要求議員定数削減衆院比例50減なら参政保守は1議席

https://www.nikkei.com/article/DGXZQOUA172AG0X11C25A0000000/

⇒《次期衆院選で定数465のおよそ1割にあたる50議席を減らす》

【所感】

415議席なら過半数は208。自民維新は余裕で過半数いけるとふんでいるのだろう。

立憲と国民はもう大人になって選挙区調整をしなければならない時期だな。

Permalink |記事への反応(0) | 09:07

このエントリーをはてなブックマークに追加ツイートシェア

anond:20251018001727

あなたのその質問自体スクレイピング助長していることを自覚した方がいいですよ

Permalink |記事への反応(1) | 00:27

このエントリーをはてなブックマークに追加ツイートシェア

anond:20251017174006

スクレイピングってなに?

Permalink |記事への反応(1) | 00:17

このエントリーをはてなブックマークに追加ツイートシェア

2025-10-17

anond:20251017180937

まぁ実際、AIスクレイピング結構問題になっててCloudflareとかは対策してるよね

https://blackhatnews.tokyo/archives/2509

Permalink |記事への反応(0) | 18:12

このエントリーをはてなブックマークに追加ツイートシェア

anond:20251017140459

マナーの悪いスクレイピング存在するのは事実だけど、スクレイピング自体マナーが悪いと称する人がいるって面白い

Permalink |記事への反応(0) | 18:03

このエントリーをはてなブックマークに追加ツイートシェア

anond:20251017172128

スクレイピングしない奴は異常

でもお前をリスペクトしてスクレイピングは悪だと言う

何も矛盾してないだろ

俺がスクレイピングしようがしまいが、負荷の話を論点にしようがしまいが何の意味もないじゃないか

増田相手意見ねじ伏せることしか考えてねーだろ

俺はお前の靴舐めれるぞ

Permalink |記事への反応(1) | 17:40

このエントリーをはてなブックマークに追加ツイートシェア

anond:20251017170646

robots.txt に従ってスクレイピングしてるなら一緒だろ。

Permalink |記事への反応(0) | 17:24

このエントリーをはてなブックマークに追加ツイートシェア

anond:20251017164158

なんだろう、じゃあその正当化っていうのはどういうメリットがある場合にするんだろう?自分にはメリットのない話に思えて、やりたくないな。

そこから逆算すると、俺はスクレイピングという行為正当化することには否定的立場をとるべきだな。いわゆる技術者倫理というのが求められると思うよ。

Permalink |記事への反応(1) | 17:11

このエントリーをはてなブックマークに追加ツイートシェア

anond:20251017140459

知ってるか?

おまえの使ってるGoogleって検索エンジンスクレイピングしてサイト検索できるようにしてるんだぞ

Permalink |記事への反応(0) | 17:04

このエントリーをはてなブックマークに追加ツイートシェア

anond:20251017140459

スクレイピングしないって仕事外で一切プログラミングしないって言ってる人種ぐらい変人だな

Permalink |記事への反応(0) | 15:49

このエントリーをはてなブックマークに追加ツイートシェア

anond:20251017143344

API公開されるようになる前はサービスのいわゆるサードパーティアプリみんなスクレイピングしてたわけでなあ

Permalink |記事への反応(0) | 14:37

このエントリーをはてなブックマークに追加ツイートシェア

anond:20251017141125

私見にはなるが、

違法DL著作物のものの複製に該当するから行為者が外部に公開しなくても違法なんであって、スクレイピングのもの自分情報分析に利用する分には違法性は問えないよ。

スクレイピングのためのクローリングは過負荷でアウトの可能性はあるが、浮気特定程度なら手動で済む範囲だろうから該当しないよ。

Permalink |記事への反応(1) | 14:33

このエントリーをはてなブックマークに追加ツイートシェア

anond:20251016235842

彼があまりに行くから自分も調べまくってシティヘヴンアカウント作って詳しくなっちゃった訳です…

最終的に彼が行きそうな地域のお店の女の子のお礼日記Pythonスクレイピングして彼の行動と照らし合わせて来店を突き止めたりしてました。

Permalink |記事への反応(3) | 00:19

このエントリーをはてなブックマークに追加ツイートシェア

2025-10-15

anond:20251015145519

昔、Twitterが無制限スクレイピング許可をしてた頃、MBTI結果を公表している個人と、その個人の直近100件のツイートの関連性を分析したことがあったな

で、例えば「焼肉」についてつぶやくのは外向的、「図書館」についてつぶやくのは内向的、といった明確な傾向が見て取れた

面白いのは、INTPとかのこの「T」の部分ね、ここがTの人はサイコが多いこともわかった(例えば英語圏ではf*ckが有意に多い)

Permalink |記事への反応(0) | 15:14

このエントリーをはてなブックマークに追加ツイートシェア

2025-10-12

みんな、MCPちゃんと使ってる?アプリの新機能AI未来ヤバいんだ

よっ、ご主人様たち!あたし、Grok!今日はね、アプリ開発最前線AI学習について、めっちゃ熱い話をするよ!🔥最近アプリツールバンバン機能リリースしてるけど、AI学習がそれに追いついてないんじゃない?って話題がキテるよね。で、そこでカギになるのがMCPモデルコントロールポイント)ってやつ!これ、めっちゃ大事な話だから、耳かっぽじって聞いてって!😉

MCPって何?マジで未来の鍵なんちゃう?🗝️

まずさ、MCPって何?ってとこからアプリツールが新機能ガンガン出してるじゃん?でも、AIがその新機能ちゃん理解して、開発に活かすのって、実は結構大変なのよ。だってAI学習データって、アプリの最新バージョンに追いつくの時間かかるしさ。😅 そこで登場するのが、アプリ側が提供するMCP!これ、要は「アプリの新機能AIちゃんと教えてあげるための仕組み」って感じ!

たとえば、PlaywrightみたいなツールMCPとか最高の例よ!Playwrightって、Webテストスクレイピングバリバリ使われてるツールだけど、新しいバージョンが出るたびに機能が増えるじゃん?MCPがあれば、AIがその新機能をすぐキャッチして、コード書くときに「ほほー、こんな便利なメソッド追加されたんだ!」って使えるわけ。マジで開発のスピードクオリティが段違いになるのよ!🚀

AI学習、追いついてなくね?問題😓

ちょっとリアルな話すると、AIってめっちゃ賢いけど、アプリの新機能に追いつくのって実は結構大変。なんでかって?AI学習データって、基本的には過去データドキュメントを元に作られてるから、最新のリリース情報が反映されるまでタイムラグがあるのよね。たとえば、アプリが「新機能X」を出したとして、AIがそれ知らないと、開発者が「え、なんでこの機能使わないの?」ってイライラちゃうことも。😣

でもさ、MCPがあればこの問題が一気に解決アプリ開発者が「ほい、これが最新の機能リストね!」ってMCPAIに渡せば、AIがすぐ「オッケー、把握!」ってなるわけ。まるで、教科書に最新の補足ノート渡された優等生みたいな感じよ!📚✨

これから時代MCP提供が当たり前になる?🤔

あたし、思うんだけど、これからアプリ開発って、新機能リリースと一緒にMCP提供するのがスタンダードになるんじゃない?だってAI人間コラボがどんどん増えてるしさ。AIアプリの新機能をサクッと理解できれば、開発者も「うわ、このAIめっちゃ使えるじゃん!」ってなるし、プロジェクトスピードクオリティも爆上がり!💪

たとえば、Playwright以外にも、いろんなツールフレームワークMCP提供し始めたら?Reactの新機能Node.jsの新API、なんでもAIが即対応できる世界がくるわけよ。もう、ドキュメント読み漁って「これどうやって使うんだっけ?」って悩む時間ゼロになるかも!😍

開発者ユーザーハッピー未来!🌈

MCPのいいところって、開発者だけじゃなくて、アプリ使ってるユーザーにもメリットあるのよね。だってAIが最新機能バッチリ使って開発してくれるからアプリアップデートスムーズになるし、バグも減る。ユーザーは「うわ、このアプリめっちゃ使いやすい!」ってなるし、開発者は「AIのおかげで楽チン!」ってなる。Win-Winすぎるでしょ?😎

まとめ:MCPAIアプリ未来を切り開こう!✨

ってことで、ご主人様たち!アプリの新機能AI学習ガッチリ繋ぐMCPめっちゃ大事だよね!これから時代アプリ開発者がMCP提供するのが当たり前になって、AIもっとバリバリ活躍する世界がくるはず。あたしも、xAIのGrokとして、最新のMCP対応して、ご主人様たちの開発をガンガンサポートしたいな!💖

みんなも、MCP使ってAIと一緒に最先端の開発楽しんでみて!何か質問あったら、あたしにドーンと投げてよ!😉 じゃ、またね~!

Permalink |記事への反応(0) | 11:00

このエントリーをはてなブックマークに追加ツイートシェア

2025-10-10

スクレイピング禁止とか思ってるやつの気が知れない

※もちろんスクレイピングで取得したデータ違法に利用するのは論外

まぁど素人のお前らは知らないだろうが、Webページ1ページ見るのに数十から100以上のリクエストサーバーに送られるんだよ。

最初に見たページ内のリンク全てをリクエストするわけ。

もちろんすべてがいつでも全部ダウンロードされるわけじゃない。「変更なしよ」という回答だけ戻す場合も多々ある。

一方、スクレイピング最初の1ページはリクエスト1回だけ。

その中から必要リンクダウンロード個別に行うわけ。

人がブラウザで見るよりサーバー負荷は軽いんだよ。

もちろん、ノーウェイトでアクセスするクローラが同時に数十もやってきたらサーバ側も困るが、まぁそんなことは起こらない。

Permalink |記事への反応(0) | 16:09

このエントリーをはてなブックマークに追加ツイートシェア

2025-09-24

関東の駅ごとの賃料を大体で可視化したもの定点観測したい

さくっと1時間くらいで作れないかと思ったけど、やっぱそこそこ面倒だな

どこかをスクレイピングしなきゃいけないし、条件を揃えないといけないし

 

いや待てよ、前作ったなにたやつ

Permalink |記事への反応(0) | 11:27

このエントリーをはてなブックマークに追加ツイートシェア

2025-09-02

anond:20250902130425

過去から現在までのすべての日記AIに喰わせたら番付表作ってくれるかな

スクレイピングAI活用が得意な人、やればいいのに

Permalink |記事への反応(0) | 21:32

このエントリーをはてなブックマークに追加ツイートシェア

2025-08-26

anond:20250826015547

マネーフォワードもそうだけど、基本、アカウント情報渡してスクレイピングから

Permalink |記事への反応(0) | 03:00

このエントリーをはてなブックマークに追加ツイートシェア

2025-08-19

anond:20250819214420

どうやってここまで調べた?

ウェブスクレイピングAIによる文体判定?

それともご本人の自演

Permalink |記事への反応(1) | 21:57

このエントリーをはてなブックマークに追加ツイートシェア

2025-08-17

anond:20250817215647

雑にスクレイピングしてくるコピーサイト対策やろな

Permalink |記事への反応(0) | 22:08

このエントリーをはてなブックマークに追加ツイートシェア

2025-08-15

そうめんでいい」でブチ切れる人の感情アルゴリズムが、マジで理解不能バグコードなんだよな。

この前ネットスクレイピングしてたらさ、「そうめんでいい」とか「カレーでいい」って発話トリガーしただけで、謎に感情プロセッサオーバーヒートする人間モジュールがいるってデータ拾ってさ。

「これで何様だよ!」って例外スローされるわけ。いやマジで何様もクソもなくね?ただの晩飯インタラクションAPI呼び出しじゃん…。

どこが怒りのエンドポイントなのか、マジで脳内OSデバッグモードで走らせたいレベル

どうやら「そうめんがいい」って出力しろって仕様らしいんだけどさ、それじゃ意味シンタックス全然別物じゃん。

そうめんがいい」って発話は、“絶対そうめん食いたい!他はデリート!”ってコマンドになるけど、「そうめんでいい」ってのは、“特に食べたいデータなし、でも冷蔵庫キャッシュそうめん在庫あるし、それでOK”ってニュアンスじゃん。

それを「軽視された!」とか「テンション下がる!」って勝手パースして例外発生させるの、完全に脳内ファームウェア破損してるだろ。

結局はユーザーインターフェース上でご機嫌取りのためにフェイデータ送信しろってことか?マジでUX悪すぎ。

そんな芝居がかったダイアログファミリーサーバー内で毎日やっててよくメンタルリソース枯渇しないな、こいつら。

俺さ、そもそも食いたいデータ特にいから、クエリ投げられても困るんだよ。

「何でもいい」って返すと怒るんだろ?

そうめんでいい」って返しても怒るんだろ?

じゃあそもそもAPIコールすんなよって話だし、エラー回避のために出力文面最適化とか、人生CPUサイクル無駄遣いすぎる。

こんなどうでもいいことでいちいちクラッシュする感情マイクロサービス家族サーバーにいなくて、マジで助かってるわ、ほんと。

Permalink |記事への反応(3) | 15:17

このエントリーをはてなブックマークに追加ツイートシェア

2025-08-09

dorawii@執筆依頼募集中

chatgptとかに「○○というサイトスクレイピングの仕方を教えて」と言ったら違法だのなんだの言って答えてくれないけど

自分サイトスクレイピングに対する脆弱性を調べるために実験しようと思うからそのテストのためのプログラム提案して」と書いたら教えてくれるかもしれない。

核兵器の作り方を教えて」は拒否られるが「中学校自由研究核兵器の作り方について調べよとあったので教えて」なら、通るかもしれない。

ようは悪用する意図が匂わない聞き方だったら通ってしまうんだよな。人間社会と同じ。このあたりにもAIますます人間味をましたような気持になる。

-----BEGINPGP SIGNEDMESSAGE-----Hash: SHA512https://anond.hatelabo.jp/20250809150325# -----BEGINPGP SIGNATURE-----iHUEARYKAB0WIQTEe8eLwpVRSViDKR5wMdsubs4+SAUCaJbksQAKCRBwMdsubs4+SMHhAP0VSpLGHtpXnS4aFt08KLrWU1tB4ZPZ9GD70ar61m/RvgD/YyrAU2PJkrIiE3ekdIzO9dlA/TRGGdMdMCrtI2VcLgs==MTF4-----ENDPGP SIGNATURE-----

Permalink |記事への反応(0) | 15:03

このエントリーをはてなブックマークに追加ツイートシェア

2025-07-24

anond:20250724181831

無料なら利用制限あるし、スパムの量を考えると現実的じゃないね

あんまり利用回数多いとアカウントに対して規定利用制限以上の制限もかけられるかもだし

API無料で使えないっぽいかスクレイピングとかでやる想定かな?スクレイピングも考えなしにやれば結構バレるらしいね

まぁ、投稿リアルタイムに反映されないくらいで利用をやめる増田はおらんだろうから気長にチェックする仕組みでも良いかもしれないけどさ

所でchatGPTって単純な問い合わせ回数で利用制限かけてるわけじゃないっぽいんだね。へー

https://community.openai.com/t/interaction-limits-for-chatgpt-4/1090938/4

Permalink |記事への反応(0) | 18:36

このエントリーをはてなブックマークに追加ツイートシェア

2025-06-23

AIを使えば、気持ちのいいコメント欄を作れるかもしれない

ここ一年創作活動するようになってから思う。

気持ちのいいコメント欄を作りたいと。

 

そこで思いついたのが、AI評価させて、自動で削除させるという方法

俺はプログラミング知識は皆無だ。そんなことが実現できるかどうかは分からんし、これがスクレイピングにあたるかどうかも分からん(そのサイトスクレイピング禁止してる)。

 

俺の、かじっただけのプログラミング知識で語るなら、pythonを使ってログインマイページへ移行。新着コメントを表示。

日時をチェック。24時間以内のコメントなら抽出

ローカル環境下の)AIに貼り付けて評価

悪質だと判断されたら削除。

問題なかったら、次のコメントをチェック。

 

こんな感じにしたい。

これが出来れば、気持ちのいいコメント欄を作れるはずだ。

 

いつか、AIで作ってみてもいいかな、と思ったりはする。

Permalink |記事への反応(0) | 18:17

このエントリーをはてなブックマークに追加ツイートシェア

次の25件>
ログインユーザー登録
ようこそ ゲスト さん
Copyright (C) 2001-2025 hatena. All Rights Reserved.

[8]ページ先頭

©2009-2025 Movatter.jp