Downloaded 289 times
![コピペ用スライド 73 #!usr/bin/python3 import pandas from sklearn.ensemble import RandomForestClassifier data = pandas.read_csv("iris2.csv") #print(data) trainFeature = (data.iloc[:, 0:4]).values # transform to ndarray trainLabel = (data.iloc[:, 4:5]).values trainLabel = [flatten for inner in trainLabel for flatten in inner] # transform 2次元to 1次元ぽいこと clf = RandomForestClassifier() clf.fit(trainFeature, trainLabel) result = clf.score(trainFeature, trainLabel) # 学習データに対する、適合率 print(result) print(clf.feature_importances_) # 各特徴量に対する寄与度を求める](/image.pl?url=https%3a%2f%2fimage.slidesharecdn.com%2fpythonr-140831103412-phpapp02%2f75%2fPython-R-73-2048.jpg&f=jpg&w=240)
Uploaded byKatsuhiro Morishita
PPTX, PDF71,600 views
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
2014-09-03開催の熊本高専 高専カフェで紹介する、PythonとRを使ったデータ分析環境の解説です。
![[DL輪読会]Deep Learning 第3章 確率と情報理論](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fdeeplearning3-180601014703-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[DL輪読会]Deep Learning 第8章 深層モデルの訓練のための最適化](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fdeeplearning8-180601022707-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[DL輪読会]Deep Learning 第5章 機械学習の基礎](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fdeeplearning5-180601021956-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[DL輪読会]Temporal Abstraction in NeurIPS2019](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2f20191115-191112082849-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
- 1.PythonとRによるデータ 分析環境の構築と機械学 習によるデータ認識2014/9/3 熊本高専八代キャンパス高専カフェ Katushiro MORISHITA 1
- 2.本スライドの目的・背景 目的 •PythonとRの全学的普及 対象 • 熊本高専の教員・学生 • Pythonに触れたことがない方 • Python or R or データ分析に興味がある方 2
- 3.Index • データ分析上の役割分担• Pythonの薦め • Python環境の作り方 • R環境の作り方 • データ分析例 • まとめ • 蛇足 3
- 4.データ分析処理の流れ 検討収集 データベース/テキストデータ読み込み・整形 可視化 分析処理 4
- 5.役割分担（森下の場合） 可視化 散布図行列etc. 分析 数値的要約 主成分・因子分析 相関行列 数量化x類 n群の比較 etc. テキスト処理 データベース操作 機械学習 ニューラルネットワーク サポートベクタマシン ランダムフォレスト Deep Learning *データが数GByteまでならこれで十分5
- 6.
- 7.
- 8.
- 9.
- 10.演算子 • 代入：=• 加算：+ • 減算：- • 乗算：* • 除算：/ • 累乗：**, 例a = 20 ** 2 # 400 • 剰余（割り算の余り）：% 10
- 11.
- 12.文字列型 • 文字列の結合、検索、文字コードによらない文字数カウントなどが便利 12
- 13.
- 14.タプル型 • 複数の値をパッキング• どんなオブジェクトでもOK • 関数の返り値に便利 14
- 15.辞書型 • データ同士のヒモ付• C#のハッシュテーブル、PHPの連想配列に近い 15
- 16.集合型 • 数学の集合と同一• ↓タイムスタンプの比較処理から抜粋 16
- 17.
- 18.
- 19.
- 20.
- 21.Pythonの名前空間 • フォルダが名前空間となるGPS名前空間内にある、 モジュールephemeris gps.ephemeris 21
- 22.
- 23.
- 24.ライブラリの利用 24 •モジュールの利用と言い換えてもOK
- 25.スコープ • 変数は宣言した後の行で使える• インデントが続く範囲がスコープ • 同じ変数名でも他のモジュールとは干渉せず 25
- 26.
- 27.よく使うモジュール • os• sys • datetime • re 27
- 28.いろいろ便利 • リフレクション• イテレータ • ラムダ式 • シリアライズ 28
- 29.
- 30.Pythonの特徴 • 学習しやすい• 無料で利用できる • 全てのOSで動作 • プロの技術者集団が存在 • 豊富な技術情報 30
- 31.
- 32.Why? •学習が速い •開発が速いoライブラリが充実・拡充中 o誰が書いても同じ様なコード 32
- 33.Pythonはアイデアを迅速 に確認するためのツール どちらが好き？• 10日間掛けて、アイデアを検証 • 1日でアイデアを検証 計算速度が問題になればC++で組む 33
- 34.Pythonにできることの一例 • グラフ作成• PyCUDAでGPUプログラミング o 大規模グラフィック演算 o 電磁気・流体シミュレーション o ディープ・ラーニング（機械学習の一種） • 各種サーバ構築 • 数値計算全般+数式の理論微分・積分 • 画像・GISツールのプラグイン 34
- 35.
- 36.
- 37.Pythonの情報源 • Python公式サイトo http://www.python.jp/ • 公式パッケージ配布元 o https://pypi.python.org/pypi • Windows用非公式パッケージ配布元 o http://www.lfd.uci.edu/~gohlke/pythonlibs/ • Windows用統合開発環境Pyscripter o https://code.google.com/p/pyscripter/ • その他、ネット上の有志の方々 *2014-08-28時点で、pyscripterはPython 3.3.xまでしか対応していない37
- 38.サーバ環境の例 • IPython+Notebookサーバ• クラウドの場合 o必要に応じてOSイメージの スナップショット oロードバランサで負荷分散 38 学生向けの環境ならこれでOK？
- 39.ローカル環境 •ビルド済みの oインタプリタをインストールopipをインストール o必要なライブラリをインストール 39 本スライドではPython3系の最新版の Windowsへのインストールを案内します
- 40.☆インタプリタの インストール •https://www.python.org/downloads/release /python-341/ • ↑最新版@2014-08-28 40 OS等の都合に併せて どれか1つを ダウンロード&インストール
- 41.☆pipのインストール • パッケージの管理• ビルド済みの配布パッケージがない場合にソースからイ ンストールするときに必要 • http://www.lfd.uci.edu/~gohlke/pythonl ibs/#pip 41 for 64 bit for 32 bit “pyX.Y”はPythonの バージョンに合わせる
- 42.☆算術3兄弟 • http://www.lfd.uci.edu/~gohlke/pythonlibs/ • 順に、 oNumPy oSciPy omatplotlib 42
- 43.☆データ分析用ライブラリ • http://www.lfd.uci.edu/~gohlke/pythonlibs/ • scikit-learn • Pandas 43
- 44.matplotlib • 美麗なグラフ作成*http://matplotlib.org/gallery.html 44
- 45.scikit-learn • 各種機械学習を支援45 *http://scikit-learn.org/stable/auto_examples/plot_classifier_comparison.html **解説：http://www.slideshare.net/moa108/20130715-lt-scikitlearn
- 46.☆その他、Pythonのみで 書かれたライブラリ •以下のコマンドでインストール opython install setup.py 46
- 47.☆Cを含むライブラリの インストール •ビルド済みがネットに落ちてなければビルド o Pythonインタプリタのbit幅に合わせる o コンパイラ等のツール • ライブラリによってツールが異なる • MinGW + msys • Visual Studio 2010/2012/2013 Express/pro • CMake • python install setup.py o 先にビルドだけ実施することもある o その場合は、ビルドツールを選択することもある • pip install lib_name 47
- 48.☆環境変数の設定 • PYTHONPATHo 個人的なライブラリがあれば設定 • PATH o C:python34 o C:python34Scripts o C:python34Libsite-packages *”pythonXY”の”XY”はインストールしたPythonのバージョンに依存48
- 49.面倒な人はAnaconda • http://continuum.io/downloads#271st, OSの選択 3rd, ダウンロード 2nd, バージョンの選択 ＊Anacondaは自然言語処理やOpenCVで困るかも 49
- 50.
- 51.実行テスト • コマンドプロンプトで実行opython –V opython 51
- 52.もっと詳しく • MacやLinux系についても解説したスライドo http://www.slideshare.net/katsuhiromorishita/pyt hon2014 52
- 53.
- 54.
- 55.Rの概要 • 統計に特化したプログラミング環境• Excelの分析ツールより便利 55
- 56.Rの良いところ • 最新のアルゴリズムが投入されている• オープンプロジェクトである • どのOSでも動作する • グラフが美しい • RのGUI環境を提供するWEBサーバ有り 56
- 57.Rの情報源 • 日本の有志によるwikiohttp://www.okada.jp.org/RWiki/ 57
- 58.
- 59.
- 60.GUIツールを使おう • Rコマンダー（Rcmdr）• EZR EZR おススメ 60
- 61.EZRのインストール • ダウンロードサイトohttp://www.jichi.ac.jp/saitama-sct/ SaitamaHP.files/statmed.html 61
- 62.Rコマンダー参考文献 • http://www.cwk.zaq.ne.jp/fkhud708/files/R-intro/R-stat-intro_99.pdf 62
- 63.R 公式版 •for Windows o http://cran.md.tsukuba.ac.jp/bin/windows/base / • for Mac OS X o http://cran.md.tsukuba.ac.jp/bin/macosx/ • Linuxに関してはこちら o http://www.okada.jp.org/RWiki/?R%20%A4%CE %A5%A4%A5%F3%A5%B9%A5%C8%A1%BC %A5%EB#if8c08b4 63
- 64.Rcmdr/EZRの利用の流れ • GUIでデータ読み込み（200MByte以下） • メニューからコマンドを選択・実行 • 自動生成されたスクリプトを保存 o 次回からはコピーしたスクリプトを実行 64
- 65.
- 66.サンプルデータ • フィッシャーのアヤメoデータ入手： http://home.a00.itscom.net/hatada/ ml/data/iris01.html oデータの解説： http://d.hatena.ne.jp/tsutatsutatsuta/ 20121206/1354737461 66
- 67.
- 68.アヤメの特徴量 • ガク片の長さ・幅• 花弁の長さ・幅 68
- 69.
- 70.
- 71.Pythonで機械学習 • ランダムフォレストo多数の決定木を用いた分類アルゴリズム o並列計算に向く • scikit-learnライブラリを利用 • 分類粒度・決定木数の調整は必要 71
- 72.
- 73.コピペ用スライド 73 #!usr/bin/python3import pandas from sklearn.ensemble import RandomForestClassifier data = pandas.read_csv("iris2.csv") #print(data) trainFeature = (data.iloc[:, 0:4]).values # transform to ndarray trainLabel = (data.iloc[:, 4:5]).values trainLabel = [flatten for inner in trainLabel for flatten in inner] # transform 2次元to 1次元ぽいこと clf = RandomForestClassifier() clf.fit(trainFeature, trainLabel) result = clf.score(trainFeature, trainLabel) # 学習データに対する、適合率 print(result) print(clf.feature_importances_) # 各特徴量に対する寄与度を求める
- 74.
- 75.
- 76.まとめ • Pythonの紹介• Pythonの準備 • Rの準備 • データ分析例 o 可視化 o ランダムフォレスト • 参考サイト： http://www.slideshare.net/hamadakoichi/ran domforest-web?related=1 76
- 77.
- 78.最近のソフトウェア開発 本職でないので、雰囲気だけ 78というか、Gitの話
- 79.ツール類 • バグ追跡• 工程管理 • バージョン管理 79 開発スタイル （ウォーターフォール・ アジャイル）によって異 なるツールが利用される 試行錯誤
- 80.Gitによるバージョン管理 • ファイルの差分を保存• “リポジトリ”で管理 • WindowsもMacも利用可能なツール oSourceTree ohttp://www.sourcetreeapp.com/ 80
- 81.
- 82.
- 83.バージョン管理ツール の利点 •複数人で共同開発 • 過去の状態に戻せる • 思考パターンを追うことができるので、 紋切り型なコピペの防止 • 卒研のソースコード管理 83
- 84.GitHub • https://github.com/• Gitサーバとwikiと掲示板機能を提供 • 有償でクローズド開発が可能 • 教育機関用アカウントも作成可 http://www.mocchiblog.com/ 84
- 85.GitHubにおける オープンソース開発例 •RTKLIB ohttps://github.com/tomojitakasu/RTKLIB oGNSS相対測位計算ツール • オープン開発の理由 o1人で行う開発の限界 o開発の継続（継承） 85
- 86.
- 87.
- 88.
- 89.Pythonインタプリタの亜種 Pythonのインタプリタには複数の亜種がありま す。利用目的に合わせてインタプリタの種類を切り替えて下さい。 亜種の例 • 3Dデータ描画に特化型 • ゲーム作成特化型 • Java VM上で動作するバージョン • .NET上で動作するバージョン 89
- 90.Python環境の移植 • フォルダコピー＆環境変数のセットでOK• pipによりインストール済みのライブラリ 一覧を作成し、別環境でインストールさ せるコマンドもある 90
- 91.複数のPythonバージョン を並行して使う •普段利用するPython環境を仮想環境とする • 環境が壊れても安心 • コマンドでインタプリタを切り替え • ツール oMacならpyenvなど oWindowsならvirtualenv oコアとなるPythonをインストール後に、 上記のツールをインストールして利用 91
- 92.Pythonのライブラリをコ ンパイルする上でのメモ （Windowsでの話）• 原則的には、Pythonインタプリタをビルドしたものと同 じツールを使う必要があります。 • ただし、Python 3.3.5はVisual Studio 2010でビルドされ ていますがVisual Studio 2012でビルドしたツールもイ ンストール出来ました。 • 場合によってはPython本体がmsysでビルドされていた としても、Visual Studioでビルドしたツールもインス トール出来ます。 92
- 93.Pythonのバージョン • Pythonのバージョンには2系と3系がある• 2系と3系は非互換 o2to3.pyという自動変換ツールあり • ほとんどのライブラリはPython 3に対応 • 音響系ライブラリがまだ2系に固執中・・・ 93
- 94.Rのサーバ環境 R Studio• http://www.rstudio.com/ 94
- 95.統計解析にはStatWorksなどGUI統 計支援ツールがあるとなお良い •外れ値の検討が非常に楽 • 統計処理の異常に気が付きやすい • 特にデータ数が少ない場合に有効 • 統計的手法の初学者には必須 • 価格 oアカデミックで10万円前後 95
- 96.Q&A • Q：C#とPythonでコーディングスタイル（プログラミングへの取り組み方）は異なりますか？ • A：全く異なります。Pythonではインターフェイスクラスや データ構造よりも、処理アルゴリズムから考えます。 • Q：他言語は知っています。Pythonの習得にはどの程度時間 がかかりますか？ • A：Lightweight Language(LL)の経験がなければ、３ヶ月程だ と思います。LL経験者なら、2週間程だと思います。 • Q：オブジェクト指向を最短で身に付けたいのですが。。 • A：C#で実用的なプログラムを設計からリリースまで一貫し て取り組み、10万行くらい書くのが早いと思います。 96
- 97.ビッグデータを対象とした 分析環境づくり •分析したいデータと目的によるが・・・ • おすすめは、Amazon Web Service（AWS）でHadoopを利 用できるAmazon Elastic MapReduce（Amazon EMR） o もっと良いサービスがあるかも • ロードバランサーにより自動的にインスタンスを起動 • 機械学習・財務分析・科学シミュレーションにどうぞ • 月々、1万円程度？ o 通信量に依存 • クレジットカードとAWSアカウントさえあれば、環境を30 分で立ち上げることができます • クラウドに関する知識が必要 97
- 98.ビッグデータを対象とした 運用環境づくり •リアルタイム処理向けのAMIがあります • 新しいサービスが次々と投入されているので、ご自身で調 べて下さい。 98
- 99.最近の言語の流儀 • 実行するサーバを簡単に立ち上げ• ライブラリを公開しているサーバ有 o 自作のライブラリも公開可能 • 必要なライブラリは後から追加 99
- 100.プログラミング言語の進化 • やや実験的な言語oScala, go, swift • それぞれ、新しい概念を導入 • 全ての言語が影響を与え合っている • C/C++すら数年に1度の改定で近代化 • 「ああ、これって要するにあれだよね」 では収まらない 100