Go to list of users who liked
More than 3 years have passed since last update.
今時のPythonはこう書く2020
はじめに
システム作ってるとかライブラリ作ってるみたいなある程度Pythonを綺麗に1書くことが求められる方々に向けた記事です。
(機械学習系のライブラリを使うためにPython書いてる方とか、初学者の方にはちょっとあわないかも知れません)
綺麗に書くための作法の難しさって共有が面倒なところだと思うんですよね。その書き方は間違いじゃない、間違いじゃないけどもっといい書き方があるぞみたいなやつってなかなか指摘し辛いですし、じゃあ1人に対してレビューしたら他のメンバーにはどう伝える？そもそも伝える必要？俺の工数は？みたいになりがちです。
一番いいのはこういう時はこう書く！みたいなドキュメントを作って「ドキュメント違反です」ってレビューをしてあげることなんですが、まーそれもそれで超面倒じゃないですか。なのでこの記事がそのドキュメントの代わり、とまではいかなくとも礎くらいになればいいなと思って書きました。
ポエム終わり。あと仕事でPython書くなら全員What's New in Pythonくらい読め
本題
以降の章題は
"{重要度} {機能名}【{必要なバージョン}】"
というフォーマットを用います。重要度については
★★★ … 絶対使って欲しい
☆★★ … 使うと嬉しい
☆☆★ … 人による
くらいのイメージでお願いします。
★★★型アノテーション【3.6～】
おなじみの。関数の引数や戻り値、変数に型を書くことができます。
よく言われるのが「ただのコメントだから強制力はない」ということでそれは事実そうなのですが、実行時にエラーは出なくともpylanceやmypyを使えばエディタ上で警告を出してくれますし、何より後から読む人のことを考えれば上と下のコードどちらが良いかは一目瞭然でしょう。
現代において(少なくとも関数の戻り値については)型アノテーションは最低限のマナー。
型アノテーションをつけない人は挨拶できない人と同じです。
fromdatetimeimportdatefromurllib.requestimporturlopenfromurllib.parseimporturlencodeimportjsonURL="https://disclosure.edinet-fsa.go.jp/api/v1/documents.json"defrequest_count_of_submitted_docs(date_):query=urlencode({"date":date_})resp=json.load(urlopen(f"{URL}?{query}"))returnresp["metadata"]["resultset"]["count"]print(request_count_of_submitted_docs(date(2020,11,20)))>>>504↓
...defrequest_count_of_submitted_docs(date_:date)->int:query:str=urlencode({"date":date_})resp:dict=json.load(urlopen(f"{URL}?{query}"))returnresp["metadata"]["resultset"]["count"]...(VS Code上で見るとより分かりやすいですね)
さて、ここまではよく聞く話なのですが、これ関連の話でどうしても私がお伝えしたいことがあります。
typingライブラリのドキュメントを読んでください。
それなりに量があるうえバージョンアップのたびにドンドン増えるので、そんな書き方あったの！？みたいな話がぼろぼろ見つかるはずです。紹介します系の記事で知った気になるだけじゃもったいねえ。以下に私がよく使うものをいくつかピックアップします。
Final (3.8～)
従来のアッパースネークは定数として扱うみたいなふわふわした不文律ではなくキチンと定数を型チェッカーに通知できます。
上の例で言うと
fromtypingimportFinalURL:Final[str]="https://disclosure.edinet-fsa.go.jp/api/v1/documents.json"URL="https://disclosure.edinet-fsa.go.jp/api/v1/documents"# 型チェッカーに怒られるこう。
サブクラスで上書きするのもダメです。
fromtypingimportFinalclassConnection:TIMEOUT:Final[int]=10classFastConnector(Connection):TIMEOUT=1# 怒られるジェネリック型エイリアス
型変数ってクラスとか関数だけじゃなくて型エイリアスに使っても面白いぜ！みたいな話です。
例えばGo風にエラートラップを書きたい時、
fromtypingimportTypeVar,Unionfromdatetimeimportdatefromurllib.requestimporturlopenfromurllib.parseimporturlencodefromurllib.errorimportURLErrorimportjsonT=TypeVar("T")Err=Union[tuple[T,None],tuple[None,Exception]]URL="https://disclosure.edinet-fsa.go.jp/api/v1/documents.json"defrequest_count_of_submitted_docs(date_:date)->Err[int]:query:str=urlencode({"date":date_})try:resp:dict=json.load(urlopen(f"{URL}?{query}"))exceptURLErroraserr:returnNone,errreturnresp["metadata"]["resultset"]["count"],Nonecnt,err=request_count_of_submitted_docs(date(2020,11,20))iferr:print(err)print(cnt)型エイリアスにも[]をつけられるのはアツいですよね。
@overload
ご存じの通りPythonにオーバーロードはありませんが、型チェッカーにオーバーロードっぽいものを伝えることだけは出来るようになっています。
例えば先ほどから使用している関数は「日付を渡すとその日EDINETに提出された書類の数を返す」ものでしたが、これを「日付を渡さない場合は日付ごとの提出数を辞書で返す」ようにしましょう。
@overloaddefrequest_count_of_submitted_docs()->Err[dict[date,int]]:...@overloaddefrequest_count_of_submitted_docs(date_:date)->Err[int]:...defrequest_count_of_submitted_docs(date_=None):# 実装はここに書くこうすると…
引数の有無だけでキチンと型チェッカーが戻り値の型を自動判別してくれるようになりました。
NamedTuple
ちょっとした構造体のためにわざわざクラス書きたくね～を叶えるためのcollections.namedtupleを更に使いやすくしたものです。
fromtypingimportNamedTupleclassAddress(NamedTuple):row:intcol:intclassRange(NamedTuple):start:Addressend:Address宣言これだけ。欲しければDocstringsもプロパティもつけられます。
s=Address(2,4)e=Address(6,8)rng=Range(s,e)print(rng[0][1])>>>4print(rng.start.col)>>>4どう考えてもペアでしか使わないだろみたいな値、ついついタプルで渡してしまいがちですが積極的に型をつけていきましょう。
Protocol (3.8～)
なんかこれ私も勘違いしてたんですが構造的部分型自体は以前からサポートしていたらしいですね。
マジかと思って試してみたら
fromcollections.abcimportContainerclassHoge:def__contains__(self,item):returnTrueprint(isinstance(Hoge(),Container))>>>Trueマジでした。
で、以前はcollections.abcみたいな組み込みのABCでしか構造的部分型を使えなかったのが3.8からは自作のクラスでもOKになりましたよっていうのが話の流れみたいです。
fromtypingimportProtocol,runtime_checkable@runtime_checkableclassGreeter(Protocol):defgreet(self):...classJapanese:defgreet(self):print("おはよー！こんちわー！こんばんわー！おやすみー！")print(issubclass(Japanese,Greeter))>>>True構造的部分型(静的ダックタイピング)の何がいいって「インターフェースに対してプログラミングしろ」とかいう古来より伝わるアレが感覚的にできることですよね。例えばよく見るこういう型アノテーション↓
defconcat(prefix:str,words:list[str])->str:return",".join(f"{prefix}{word}"forwordinwords)print(concat("a",["dog","cat"]))>>adog,acatそのwordsは本当にlistが欲しいのか？って思いません？
この「意味もなくlist型でとる」書き方には大きく分けて2つの問題点があります。
1つは単純に使い勝手が悪いこと。この場合はforで回せてstrが取れればなんでもいいわけですから、タプルもセットもイテレータだって実際には渡せるわけです。渡せるものをわざわざ絞って書くのは関数の使い勝手を損ねます。
2つめは結構見落としがちですが、list型を受け入れる関数はリストに対する操作ならなんでもできます。例えばリストにはappendとかsortみたいな破壊的操作のできるメソッドが備わってるわけですが、そういった操作をしないという保証はlistを受け入れる限りできません。関数を使う人にとっては結構なリスクです。
というわけでこのconcat関数が取るwordsは**forで回せることだけを保証したい**。
fromcollections.abcimportIterabledefconcat(prefix:str,words:Iterable[str])->str:return",".join(f"{prefix}{word}"forwordinwords)それがこの書き方です。forで回せるとは即ち__iter__が実装されているオブジェクトということなので、「__iter__が実装されている型」を総称できるIterable型をインポートします。そしてconcatはforで回せることだけが保証されたオブジェクトに対してforだけを行う。これってつまり__iter__というインターフェースに対するプログラミングですよね。
これが！あらゆるインターフェースに対してできるようになる！
それがProtocol登場の嬉しさなわけです。
(※ちなみにですがcollections.abcのページにメソッドとABC(インターフェース)の対応表が乗っています。typingのページと併せて必読です。)
★★★dataclasses【3.7～】
△￥▲ [ ㊤皿㊤] がしゃーん／|＿肉＿|＼ がしゃーん _| |_dataclassだよ__init__, __repr__, __eq__, __hash__,__lt__, __le__, __gt__, __ge__,__setattr__, __delattr__を自動で付与してくれるすごいやつだよマジですごい。こいつ抜きでクラス宣言なんてもうダルすぎてやってられません。
基本的な使い方は
fromdataclassesimportdataclass@dataclassclassHoge:hoge:strfuga:intpiyo:boolこれだけです。__init__も__repr__もdataclassがよしなにしてくれるので
hoge=Hoge("hoge",4649,False)print(hoge)>>>Hoge(hoge='hoge',fuga=4649,piyo=False)こうなります。
比較として従来の宣言を置いておきますね。
classHoge:def__init__(self,hoge:str,fuga:int,piyo:bool):self.hoge=hogeself.fuga=fugaself.piyo=piyohoge=Hoge("hoge",4649,False)print(hoge)>>><__main__.Hogeobjectat0x000001E3CB8F4460>dataclassを使うメリットは大きく2つです。
1つはご覧のように特殊メソッドを書く手間が省けること。
そして2つ目が型アノテーションを強制できること。
このようにアノテーションを書かないとエラーになるので、自然と型を書く文化が身につきます。
詳細な使い方については@tag1216さんのこちら↓の記事が詳しすぎるので特に私から書くことはありません。
Python3.7からは「Data Classes」がクラス定義のスタンダードになるかもしれない
なのでちょっとした小話だけ。
@dataclassclassHoge:hoge:strfuga:InitVar[int]def__post_init__(self,fuga):self.piyo=bool(fuga)のように__post_init__の中で属性を定義してしまうとdataclassが作ってくれる諸々の特殊メソッドの中にpiyoが反映されません。
hoge=Hoge("hoge",4649)fuga=Hoge("hoge",4649)print(hoge==fuga)>>>Truefuga.piyo=Falseprint(hoge==fuga)>>>True# [㊤皿㊤ ]！？こういった場合も必ず最初に全てのフィールドを定義するようにしましょう。
fromdataclassesimportdataclass,InitVar,field@dataclassclassHoge:hoge:strfuga:InitVar[int]piyo:bool=field(init=False)def__post_init__(self,fuga):self.piyo=bool(fuga)hoge=Hoge("hoge",4649)fuga=Hoge("hoge",4649)print(hoge==fuga)>>Truefuga.piyo=Falseprint(hoge==fuga)>>False# [㊤皿㊤ ]ｂ☆★★代入式【3.8～】
:=セイウチ演算子です。
fromtypingimportOptionalfromsecretsimportrandbelowdefperhaps_hoge()->Optional[str]:ifround(randbelow(9)/10):return"hoge"hg=perhaps_hoge()ifhg:print(f"my answer:{hg}")これが
fromtypingimportOptionalfromsecretsimportrandbelowdefperhaps_hoge()->Optional[str]:ifround(randbelow(9)/10):return"hoge"if(hg:=perhaps_hoge()):print(f"my answer:{hg}")こうなる。
1行じゃんって思うかもしれませんが結構使うんですよコレ。ifがあるところなら何でも使えるので
print(f"my answer:{hgif(hg:=perhaps_hoge())else'None'}")>>>myanswer:Nonehgs=[hgfor_inrange(10)if(hg:=perhaps_hoge())]print(f"my answer:{','.join(hgs)}")>>>myanswer:hoge,hoge,hoge,hoge,hogewhilenot(hg:=perhaps_hoge()):print(f"my answer:{hg}")>>>myanswer:hoge>>>myanswer:hoge意外にも頻度が高い。
ですがドキュメントにもある通り
セイウチ演算子の使用は、複雑さを減らしたり可読性を向上させる綺麗なケースに限るよう努めてください。
なので濫用は禁物です。
内包表記とか三項演算子にも言えることですが、これらは可読性を高めるという本来の目的を忘れないことが大切ですね。
セイウチくんとのお約束！
☆★★フォーマット済み文字列リテラル【3.6～】
さっきから地味にちょいちょい使ってるfから始まるアレです。
fromsecretsimportrandbelowrnd=randbelow(9)# どっちも同じprint("num {rnd}".format(rnd=rnd))print(f"num{rnd}")>>>num2f文字列は内部的にformatを使うので基本的には全部f文字列で書いて欲しいんですが、この項では逆に**formatを使った方がいい**場面についてお話します。
fromtypingimportIterator,IterablefromenumimportEnumclassFMT(Enum):greater="up {num}"less="down {num}"equal="stay"defformat_diffseq(seq:Iterable[int])->Iterator[str]:defformat_(num:int)->str:ifnum>0:fmt=FMT.greaterelifnum<0:fmt=FMT.lesselse:fmt=FMT.equalreturnfmt.value.format(num=abs(num))returnmap(format_,seq)seq=[9,10,3,100,100]dseq=(y-xforx,yinzip(seq,seq[1:]))fdseq=format_diffseq(dseq)print(*fdseq,sep="\n")>>>up1>>>down7>>>up97>>>stayこのプログラムはこの問題の回答を一部抜粋したもので、[9, 10, 3, 100, 100]という数列の階差数列を規定のフォーマットに変換しています。
こういう既定の文字列があってそれに変数を代入するタイプのやつってf文字列でやろうとするとゴチャるんですよね。
defformat_(num:int)->str:ifnum>0:returnf"up{num}"ifnum<0:returnf"down{num}"return"stay"実際の開発ではエラーメッセージをこのように後からフォーマットで処理することが多いです。
なおf文字列は3.8でちょっとした機能追加が入ったのですが、私はあまり使わないので割愛します。多分サーバーサイドでPython使ってる人とかがデバッグ目的で使うんだと思う。
☆☆★高レベルのasyncio API【3.7～】
私はあんまり使わないんですが、多分非同期処理の書き方も3.5と3.7からでかなり違っている、はず。
基本的には非同期処理を書く必要が生じうる処理については大体高レベルのAPIが用意されているので(以下asyncioから引用)、自分でイベントループを作ったり閉じたりする必要はない、はず。
- 並行に Python コルーチンを起動 し、実行全体を管理する
- ネットワーク IO と IPC を執り行う
- subprocesses を管理する
- キュー を使ってタスクを分散する
- 並列処理のコードを 同期 させる
例としてStreamsを使って非同期にWeb APIを叩いてみます。
この記事の一番最初のサンプルコードでやってるやつの非同期版ですね。
importasynciofromdatetimeimportdatefromurllib.parseimporturlsplit,urlencodeimportjsonURL="https://disclosure.edinet-fsa.go.jp/api/v1/documents.json"asyncdefrequest_count_of_submitted_docs(date_:date)->int:url=urlsplit(f"{URL}?{urlencode(dict(date=date_))}")reader,writer=awaitasyncio.open_connection(url.hostname,443,ssl=True)writer.write(f"GET{url.geturl()} HTTP/1.0\n\n".encode("latin-1"))resp=awaitreader.read()writer.close()parsed=json.loads(resp.split(b"\r\n\r\n")[-1])returnparsed["metadata"]["resultset"]["count"]asyncdefmain():counts=awaitasyncio.gather(*(request_count_of_submitted_docs(date_)fordate_in(date(2020,9,1),date(2020,10,10),date(2020,11,20),)))print(*counts,sep="\n")asyncio.run(main())>>>157>>>0>>>504こういうのも日本語で探すと全然情報ないんですけど、公式ドキュメントを読む感じとにかく**エントリーポイントを作ってasyncio.runに投げろ！**というのが最近の書き方みたいです。私も詳しくないのでこのあたりで許してください。
おわりに
というわけで3.6以降のめぼしい書き方をザッとさらってみました。
こうして見るとかなり綺麗に書くための道具が揃ってきたな感がありますよね。
時代によって全く異なる役割を期待されてきたPythonにいよいよ大規模開発で使いたいというニーズが乗ってきたんだなという流れを感じます。
最近のPythonはバージョンアップのペースも上がって追いつくのが大変ですが、今後もこの流れはドンドン加速していくはずなので頑張ってキャッチアップしていきたいと思います。
Pythonを綺麗に書こう！
保守性(可読性含む)を高く、とも言います↩
Register as a new user and use Qiita more conveniently
- You get articles that match your needs
- You can efficiently read back useful information
- You can use dark theme