$  brew install phantomjs

$ pip install selenium

$ pip install beautifulsoup4

$ pip install lxml

$ pip install -U flask-cors

# -*- coding: utf-8 -*-importjson# ここからスクレイピング必要分frombs4importBeautifulSoup# ここからseleniumでブラウザ操作必要分fromseleniumimportwebdriverfromselenium.webdriver.common.keysimportKeys# 文字を入力する時に使う# ここからflaskの必要分importosfromflaskimportFlask# ここからflaskでcorsの設定 ajaxを使う時のクロスドメイン制約用fromflask_corsimportCORS,cross_originapp=Flask(__name__)CORS(app)@app.route('/')defindex():return"使い方 : /api/検索する単語/取得ページ数"@app.route('/api/<string:word>/<int:page>')# 検索ワード/ページ数をパスから変数に受け取るdefslide(word,page):driver=webdriver.PhantomJS()# PhantomJSを使うdriver.set_window_size(1124,850)# PhantomJSのサイズを指定するdriver.implicitly_wait(20)# 指定した要素などがなかった場合出てくるまでdriverが最大20秒まで自動待機してくれるURL="http://www.slideshare.net/search/"driver.get(URL)# slideshareのURLにアクセスするdata_list=[]# 全ページのデータを集める配列search=driver.find_element_by_id("nav-search-query")# 検索欄要素を取得search.send_keys(word)# 検索ワードを入力search.submit()# 検索をsubmitするlang=driver.find_element_by_xpath("//select[@id='slideshows_lang']/option[@value='ja']")# 言語選択リストの日本語の部分を抽出lang.click()# 言語選択の日本語を選択foriinrange(0,page):print(str(i+1)+u"ページ目")data=driver.page_source.encode('utf-8')# ページ内の情報をutf-8で用意するsoup=BeautifulSoup(data,"lxml")# 加工しやすいようにlxml形式にするslide_list=soup.find_all("div",class_="thumbnail-content")# スライド単位で抽出forslideinslide_list:slide_in={}# スライドの情報を辞書形式でまとめる# スライドの投稿者の名前を入手name=slide.find("div",class_="author").textslide_in["name"]=name.strip()# strip()は両端の空白と改行をなくしてくれる# スライドのタイトルを入手title=slide.find("a",class_="title title-link antialiased j-slideshow-title").get("title")# 指定したタグ&クラス内のtitleを出すslide_in["title"]=title# スライドのリンクを入手link=slide.find("a",class_="title title-link antialiased j-slideshow-title").get("href")# 指定したタグ&クラス内のhrefを出すslide_in["link"]="http://www.slideshare.net"+link# スライドのサムネのリンクを入手imagetag=slide.find("a",class_="link-bg-img").get("style")# 指定したタグ&クラス内のstyleを出すimage=imagetag[imagetag.find("url(")+4:imagetag.find(");")]# いらない部分を取り除くslide_in["image"]=image# スライドのページ数であるslidesとlikesを入手info=slide.find("div",class_="small-info").string# slidesとlikesの文字列を入手slides=info[7:info.find("slides")]# slides部分を抽出slide_in["slides"]=slides.strip()# strip()は両端の空白と改行をなくしてくれるif"likes"ininfo:likes=info[info.find(",")+2:info.find("likes")]# likes部分を抽出else:likes="0"slide_in["likes"]=likes.strip()# strip()は両端の空白と改行をなくしてくれるdata_list.append(slide_in)# data_listに1ページ分の内容をまとめるdriver.execute_script('window.scrollTo(0, 3000)')# ページャーのある下に移動next=driver.find_element_by_xpath("//li[@class='arrow']/a[@rel='next']")# ページャーのNEXT要素を抽出next.click()# Nextボタンをクリックdriver.close()# ブラウザ操作を終わらせるjsonstring=json.dumps(data_list,ensure_ascii=False,indent=2)# 作った配列をjson形式にして出力するreturnjsonstring# bashで叩いたかimportで入れたかを判定するif__name__=='__main__':app.run()

from flask_cors import CORS, cross_originapp = Flask(__name__)CORS(app)

@app.route('/api/<string:word>/<int:page>') # 検索ワード/ページ数をパスから変数に受け取る  def slide(word,page):

driver.set_window_size(1124, 850)

driver.implicitly_wait(20)

search = driver.find_element_by_id("nav-search-query") # 検索欄要素を取得search.send_keys(word) # 検索ワードを入力search.submit() # 検索をsubmitする

lang = driver.find_element_by_xpath("//select[@id='slideshows_lang']/option[@value='ja']") # 言語選択リストの日本語の部分を抽出lang.click() # 言語選択の日本語を選択

lang = driver.find_elements_by_id("slideshows_lang")lang[1].find_elements_by_tag_name("option")# 複数抽出する場合はelementからelementsになります

lang = driver.find_element_by_id("slideshows_lang")lang.find_element_by_tag_name("option")

data = driver.page_source.encode('utf-8') # ページ内の情報をutf-8で用意するsoup = BeautifulSoup(data,"lxml") # 加工しやすいようにlxml形式にする

driver.execute_script('window.scrollTo(0, 3000)') # ページャーのある下に移動

next = driver.find_element_by_xpath("//li[@class='arrow']/a[@rel='next']") # ページャーのNEXT要素を抽出next.click() # Nextボタンをクリック

jsonstring = json.dumps(data_list,ensure_ascii=False,indent=2) # 作った辞書をjson形式にして出力するreturn jsonstring

json.dumps(配列,辞書データ,日本語が含まれる場合False,インデントで整理)

$ mkdir slide$ cd slide$ touch api.py Procfile# flaskのファイルと設定を書くファイルを作る

web: gunicorn hello:app --log-file=-

上記を参照

$ python api.py * Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)