Downloaded 90 times
![クローリング• 英語の意味は、[はう、ゆっくり進む]• Webページのリンクの内容をたどる• Webページの内容をダウンロードして収集• クローラー、スパイダーと呼ばれる](/image.pl?url=https%3a%2f%2fimage.slidesharecdn.com%2fpython-151124033759-lva1-app6892%2f75%2fPython-10-2048.jpg&f=jpg&w=240)
![スクレイピング• 英語の意味は、[ 削ること ]• ページの内容から必要な情報を抽出](/image.pl?url=https%3a%2f%2fimage.slidesharecdn.com%2fpython-151124033759-lva1-app6892%2f75%2fPython-11-2048.jpg&f=jpg&w=240)
Recommended
![[CEDEC 2021] 運用中タイトルでも怖くない！ 『メルクストーリア』におけるハイパフォーマンス・ローコストなリアルタイム通信技術の導入事例](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fcedec2021-210825103749-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
More Related Content
What's hot
Similar to スクレイピングとPython
スクレイピングとPython
- 1.
- 2.自己紹介• 関根裕紀（せきね ひろのり）•株式会社SQUEEZE• Twitter: @checkpoint
- 3.業務でのPython• ホームシェア（民泊）などの物件の管理、またそれに伴う各種オペレーションを一元的に管理するクラウドサービス を提供(MisterSuite)•実際の業務ではDjango、Scrapyを使用• エンジニア積極採用中！
- 5.Pythonとの関わり（１）• PyCon JP2014 スタッフ• PyCon JP 2015 プログラムチーム副座長• Pythonもくもく会（主催）
- 6.Pythonとの関わり（２）• LLDiver• PyConJP 2014• Phone Symposium Tokyo 2015• PyCon mini Hiroshima (Today!!)• Pythonエンジニア養成読本（共著）
- 7.アジェンダ• Webスクレイピングとは？• PythonでのWebスクレイピング•Webスクレイピングのサンプル紹介
- 8.
- 9.Webスクレイピング• WebサイトからHTMLのデータを収集• 特定のデータを抽出、加工•抽出したデータを再利用• クローリング + スクレイピング
- 10.クローリング• 英語の意味は、[はう、ゆっくり進む]• Webページのリンクの内容をたどる•Webページの内容をダウンロードして収集• クローラー、スパイダーと呼ばれる
- 11.スクレイピング• 英語の意味は、[ 削ること]• ページの内容から必要な情報を抽出
- 12.用途• 検索エンジン• 価格比較•気象データの監視• サイトの変更検出• Webサイトの情報解析、研究（比較、分類、統計）
- 13.Webサービスを使用• kimono (https://www.kimonolabs.com/ )• import.io ( https://import.io/ )
- 14.プログラミング• wget, cURL•Ruby ( Nokogiri、Mechanize）• Perl（Web::Scraper)
- 15.Pythonでのスクレイピング• 標準ライブラリ• BeautifulSoup•pyquery• Scrapy• その他
- 16.
- 17.標準ライブラリ• Pythonの標準ライブラリはとても充実• ネットワーク、正規表現、etc•Pythonの処理系だけあれば良い• 簡単なスクレイピングであれば十分実用的
- 18.
- 19.
- 20.Beautiful Soup• 2004年位から存在するライブラリ•HTMLやXMLからデータを抽出して取得• 最新バーションはBeautiful Soup 4系• Python 2.7、Python 3.2に対応
- 21.
- 22.pyquery• jQuery風にHTML/XML操作が可能• パーサーにはlxmlを使用（高速）•JQuery風のセレクタを利用できる
- 23.
- 24.Selenium• Webブラウザのオートメーションツール• 実際にブラウザを操作してコンテンツを取得•PhantomJS（ヘッドレスブラウザ）と連携可• JavaScript（Ajax）を利用しているサイトのコンテンツも簡単に取得できる
- 25.
- 26.
- 27.
- 28.Scrapyの特徴• クローリング、スクレイピングフレームワーク• Djangoに影響されている（Middlewareなど）•スクレイピングに必要な機能がそろっている• ドキュメントが充実している• Python2.7のみ対応（3にも対応するらしい）
- 29.Scrapyの主な機能• ダウンロード、抽出、保存• ダウンロードしたドキュメントのキャッシュ•強力なコマンドラインシェル• Robots.txtのパース• 非同期、並行ダウンロード（Twistedを使用）• ドメイン、IPアドレス単位のクロール間隔調整• エラー時のリトライ• ログ出力
- 30.
- 31.コンポーネント• Scrapy Engine•Scheduler• Downloader• Spiders• Item Pipeline• Downloader middlewares• Spider middlewares
- 32.Scrapy Engine• コンポーネント間のデータフローを制御する•特定のアクションが発生したら、イベントを起こす
- 33.Spider• ユーザーが作成するカスタムクラス• 取得したいURL、抽出する項目を記述する•ダウンロードしてコンテンツをスクレイピングして、Itemを作成する
- 34.
- 35.Downloader• 実際にWebページを取得する。• Downloadermiddlewaresで処理を差し込む事ができる。（キャッシュなど）• Ajaxのコンテンツは、Seleniumでダウンロードさせたりなど、処理の変更も可能。
- 36.Item Pipeline• スパイダーによって抽出されたアイテムを出力•データのクレンジング、検証• 永続化（JSON、File、DB、Mail）など
- 37.開発手順• Scrapyプロジェクトの作成• Spiderを作成（リンク抽出、ダウンロード）•Itemパイプラインでデータを保存
- 38.プロジェクトの作成$ scrapy startprojectscrapy_sample
- 39.
- 40.
- 41.実行$ scrapy crawldmoz_spider -o scraped_data.json
- 42.サンプル紹介• Airbnbの物件情報をスクレイピング• 京都、沖縄（任意の場所）•6/27 - 6/28（この期間で宿泊可能な物件）• 20000円以内• 価格の分布図を表示（Web画面）
- 43.
- 44.ライブラリ - Scraping•requests (HttpClient)• Beautiful Soup (Scraping)• SqlAlchemy ( O/R Mapper)
- 45.ライブラリ - Web•Bottle ( Web Application Framework)• Highcharts ( Graph Library)• SqlAlchemy ( O/R Mapper)
- 46.Bottle• 軽量なWebアプリケーションフレームワーク• ルーティング•テンプレートエンジン• HTTPユーティリティ• ビルトインのサーバー
- 47.
- 48.
- 49.
- 50.
- 51.
- 52.
- 53.
- 54.
- 55.
- 56.
- 57.
- 58.
- 59.まとめ• Pythonでスクレイピングを行う場合、色々なアプローチがある。• 標準のライブラリから、フレームワークまで選択肢は沢山ある。•実際の要件に合わせて使用すれば良い。
- 60.参考資料• http://scrapy.org (Scrapy )• http://www.slideshare.net/MasayukiIsobe/web-scraping-20140622isobe• https://github.com/gawel/pyquery/ ( pyquery )• http://www.crummy.com/software/BeautifulSoup/ ( BeautfulSoup )• http://orangain.hatenablog.com/entry/scrapy• http://akiniwa.hatenablog.jp/entry/2013/04/15/001411• http://tokyoscrapper.connpass.com/ ( Webスクレイピング勉強会 )• http://www.slideshare.net/nezuQ/web-36143026?ref=http://www.slideshare.net/slideshow/embed_code/36143026• http://qiita.com/nezuq/items/c5e827e1827e7cb29011（ 注意事項 ）
- 61.