Movatterモバイル変換

Pythonによる非同期プログラミング入門関根裕紀

自己紹介 • 関根裕紀（せきねひろのり） • アライドアーキテクツ株式会社 • ソフトウェア・エンジニア • Twitter（@checkpoint )

経歴 • 前職まで • RSSリーダー、SNS、WebMail、写真共有サービスなど • 現在（アライドアーキテクツ） • Webアプリケーション開発全般を担当 • http://showcase.cool/ • 発表 • http://ll.jus.or.jp/2014/archives/slides

アジェンダ • 同期I/O、非同期I/O • Pythonの非同期フレームワーク • asyncio概要、サンプル

同期I/O コンピュータ内部のCPUと周辺装置のデータ入出力(I/O)において、データの送受信の完了を待ってから他の処理を開始する方式。 ! 同期I/Oでは、I/O処理が始まると他の処理はいったん停止し、送受信が完了してから続きの処理を開始・継続する。これに対し、I/O処理と並列に、送受信が完了していなくても可能な処理を進める方式を非同期I/O(ノンブロッキングI/O)という ! IT用語辞典 ( http://e-words.jp/w/E5908CE69C9FI2FO.html ) より

コーヒーショップ（同期版） • 注文する • 出来るのを待つ • 受け取る

非同期I/O コンピュータ内部のCPUと周辺装置のデータ入出力(I/O)において、データの送受信の完了を待たずに他の処理を開始する方式。並列処理の一種。 ! 非同期I/Oでは、I/O処理と並列に、データの送受信が完了していなくても可能な処理を進め、送受信が済まないと進められない処理にたどりついた場合に、そこで送受信の完了を待つ。これに対し、正常に送受信が完了したかどうかの結果を待ち、送受信処理に完了してから残りの処理を行う方式を同期I/ O(ブロッキングI/O)という。 IT用語辞典 ( http://e-words.jp/w/E5908CE69C9FI2FO.html ) より

コーヒーショップ（非同期版） • 注文する • 別の所で待つ • 準備が出来たら呼ばれて、受け取る

比較同期版非同期版高速化

どういう場合に使う？ • IOの待ち時間が長い処理 • コネクションの取得 • 外部サービスの呼び出し • APIの呼び出し • 逆にCPUバウンドなプログラムには有効ではない

Pythonの非同期処理の選択肢 • twisted • tornado • gevent • thread、multi process、and etc…

Twisted • イベント駆動型のネットワークプログラミングフレームワーク • TCP、UDP、SSL/TSL、などのサポート • 多数のプロトコルに対応（HTTP、SSH、FTP） • Deferred（遅延評価オブジェクト） • 外部イベントループとの結合

Tornado • Facebook( FriendFeed )が開発 • オープンソース • Webフレームワーク + 非同期通信ライブラリ • 非常に高速（先日のLTでも発表があり） • 現在でもよく使われている

選択肢が多い • 選択肢が多いのは素晴らしい • どれがスタンダードなのかわからない • APIのスタイルが違う • 結合しているイベントループの種類が違う

asyncio • PEP 3156 ( http://legacy.python.org/dev/peps/pep-3156/ ) • Python3.4から標準ライブラリ • 非同期i/oの共通のコンポーネントを提供 • Windows, Linuxをサポート • 既存のフレームワークを置き換えるのではなく、補完する

アーキテクチャ • Event loop • Corutines • Future、Task

Event loop • プラットフォームに最適なIO処理を提供

イベントループの取得 • asyncio.get_event_loop() • asyncio.set_event_loop(loop) • asyncio.new_event_loop()

イベントループの実行、停止 • loop.run_forever() • loop.run_until_complete(future) • loop.is_running() • loop.stop() • loop.is_closed()

コールバック • loop.call_soon(callback,*args) • loop.call_later(delay, callback, *args) • loop.call_at(when, callback, *args) • loop.time()

ファイルディスクリプタ • loop.add_reader(fd, callback, *args) • loop.remove_reader(fd) • loop.add_writer(fd, callback, *args) • loop.remove_writer(fd)

UNIX シグナル • loop.add_signal_handler(signum, callback, *args) • loop.remove_signal_handler(sig)

他にもたくさん • http://docs.python.jp/3/library/asyncio.html

Hello World import asyncio ! def print_and_repeat(loop): print('Hello World') loop.call_later(2, print_and_repeat, loop) ! loop = asyncio.get_event_loop() loop.call_soon(print_and_repeat, loop) loop.run_forever() http://docs.python.jp/3/library/asyncio-eventloop.html#example-hello-world-callback

Signal Sample import asyncio import functools import os import signal ! def ask_exit(signame): print("got signal %s: exit" % signame) loop.stop() ! loop = asyncio.get_event_loop() for signame in ('SIGINT', 'SIGTERM'): loop.add_signal_handler(getattr(signal, signame), functools.partial(ask_exit, signame)) ! print("Event loop running forever, press CTRL+c to interrupt.") print("pid %s: send SIGINT or SIGTERM to exit." % os.getpid()) loop.run_forever() http://docs.python.jp/3/library/asyncio-eventloop.html#example-set-signal-handlers-for-sigint-and-sigterm

Coroutines • generator • @asyncio.coroutine • 任意の箇所で一旦処理を中止し、処理を再開

Coroutine Sample import asyncio ! @asyncio.coroutine def greet_every_two_seconds(): while True: print('Hello World') yield from asyncio.sleep(2) ! loop = asyncio.get_event_loop() loop.run_until_complete(greet_every_two_seconds()) http://docs.python.jp/3/library/asyncio-task.html#example-hello-world-coroutine

Chain Coroutines import asyncio ! @asyncio.coroutine def greet_every_two_seconds(): while True: print('Hello World') yield from asyncio.sleep(2) ! loop = asyncio.get_event_loop() loop.run_until_complete(greet_every_two_seconds()) http://docs.python.jp/3/library/asyncio-task.html

Future • 呼び出し可能オブジェクトの非同期実行をカプセル化 • future.add_done_callback() => 登録 • future.result() => 結果の取得

実際はどう使う？ • aiohttp( https://github.com/KeepSafe/aiohttp )

aiohttp @asyncio.coroutine def request(method, url, *, params=None, data=None, headers=None, cookies=None, files=None, auth=None, allow_redirects=True, max_redirects=10, encoding='utf-8', version=aiohttp.HttpVersion11, compress=None, chunked=None, expect100=False, connector=None, loop=None, read_until_eof=True, request_class=None, response_class=None):

aiohttp response = yield from aiohttp.request('GET', 'http://python.org') body = yield from response.read() print(body)

まとめ • まずはEventloop、Coroutine、Futureを覚える • スレッドなどに比べて概念が難しい（個人的に) • 徐々にasyncioをベースにした実装が出てくるはず。

ご静聴ありがとうございました。

Movatterモバイル変換

Change Language

Pythonによる非同期プログラミング入門

Embed presentation

Recommended

More Related Content

What's hot

Similar to Pythonによる非同期プログラミング入門

Pythonによる非同期プログラミング入門