Movatterモバイル変換

1 「この Visualiza)on ツールがすごい2014」〜データ世界を彩る美しきツール6選〜 March 2nd, 2014　データ可視化勉強会Presented by Takahiro Inoue – Chief Data Scien:st

2 Agenda1. 2. 3. 4. 5. 6. 7. 8. Introduc:on Learning Visualiza:on 表計算部門：aabel3 Takahiro noue – Chief Data Dashboard 部門：Metric IInsights Scien:st BI 部門：tableau 統計ソフト部門：ggplot2 抽象化部門：Neo4j（Graph Database）プログラミング部門：d3.js（省略） Presented by

4 Introduc)on•  Takahiro Inoue (TwiPer: @doryokujin ) •  Majored in Mathema:cs in Keio University •  Chief Data Scien:st and Solu:on Architect @ Treasure-‐Data Presented by •  Leader of Japanese MongoDB Community, MData Scien:st Takahiro Inoue – Chief ongo Masters •  doryokujin’s blog hPp://doryokujin.hatenablog.jp/

5 Treasure Data Introduc)onData CollectionData StorageData AnalysisCompany & Product Over ViewWeb logsTreasure AgentApp logsStreaming Log !Collector (JSON)!SensorCloud DB, Web App,& Command LineBI ConnectivityFlexible, Scalable,Columnar Storage!Presented by REST API, SQL, Pig,JDBC / ODBC!Tableau, Metric Insights,BI ToolsDr.Sum, Excel, etc.New!!Treasure Viewer Treasure Batch QueryTakahiro Inoue – Chief Data Scien:st &New!!Treasure Query AcceleratorRDBMSBulk ImportCRMParallel Upload fromCSV, MySQL, etc.!ERPTime to ValueValue Proposi)on 1New!!Management ConsoleNo Command Line,!Every Operation is Here! !Economy & FlexibilityValue Proposi)on 2Result PushREST API, SQL,Pig!DashboardsCustom App, Local DB,FTP Server, etc.Simple & SupportedValue Proposi)on 3

6 M x N 通りのデータ収集・活用方法

7 Fluentd: M + N 通りに経路を集約して簡素化Access logsApacheAlertingNagiosApp logsFrontendBackendAnalysisMongoDBMySQLHadoopSystem logssyslogdDatabasesfilter / buffer / routingArchivingAmazon S3

8 Data AnalysisREST API Heavy LiKing SQL (Hive): -‐  Hive’s Built-‐in UDFs -‐  TD Added Func:ons: -‐  Time Func:ons -‐  First, Last, Rank -‐  Sessionize Scheduled Jobs -‐  SQL, Pig Scripts -‐  Data Pushes JDBC Connec)vity: -‐  Custom Java Apps -‐  Standards-‐based -‐  BI Tool Integra:on Tableau ODBC connector -‐  Leverages Impala Interac)ve SQL Treasure Query Accelerator (Impala) Scripted Processing (Pig): -‐  DataFu (LinkedIn) -‐  Piggybank (Apache) Push Query Results: -‐  MySQL, PostgreSQL -‐  Google Spreadsheet -‐  Web, FTP, S3 -‐  Lecronic, Indicee -‐  Treasure Data Table

9 2. Learning Visualiza)on

10 Visualiza)on Types（入力データに基づく分類）ScaUer Plot N-‐Dimensional Graph Map Plot Aggregated Data Cross Tables Raw Data 2-‐Dimensional Graph Math Graph Analyzed Data Sta)s)cal Graph

11 Raw Data Explana)onScaUer Plot（散布図） (for Rawdata) データレコードの任意の数値変数2項目をプロットし，関係を発見する。Map Plot (for Rawdata) 位置情報（緯度，経度）を持つデータポイントを地図上にマッピングし，データの密集度などを参考にする。Math Graph (for Rawdata) データの「関係」を数学的グラフによって表現。

12 Processed Data Explana)on2-‐Dimensional Graph (for aggregated data) 主に X-‐軸，Y-‐軸（,Y2-‐軸）を用いて表現される，バーグラフや円グラフなどの平面チャート。N-‐Dimensional Graph (for cross tables) X-‐軸，Y-‐軸，Z-‐軸を用いて表現されるグラフ。Z-‐軸は半径や色，奥行き，凡例などによって表現される。Sta)s)cal Graph (for analyzed data) 統計分析によって導いた分布やモデル，パターンなどを図示する。

13 Graphの種類とツールの対応表表計算ScaUer Plot 2-‐Dimensional Graph N-‐Dimensional Graph Sta)s)cal Graph ScaUer Plot 2-‐Dimensional Graph N-‐Dimensional Graph Sta)s)cal Graph ScaUer Plot 2-‐Dimensional Graph 統計ソフトDashboardBIプログラミングライブラリMap Plot ScaUer Plot 抽象化Math Graph 2-‐Dimensional Graph N-‐Dimensional Graph Map Plot 2-‐Dimensional Graph N-‐Dimensional Graph

14 Processed Data Explana)on部門ツール名OS描画手続き表計算aabel3MacChart Library統計ソフトggplot2 (R Library) Windows, Mac, LinuxThe Grammar of Graphics + Layer of GraphicsDashboardMetric InsightsWeb UIWidget Tutorial / Chart Library & Import JSBITableauWindowsVizQLプログラミンD3.js (JavaScript) -‐グライブラリ抽象化Neo4j (Java: Graph -‐Database)Data Driven DocumentsProperty Graph

15 3. 表計算部門 •  aabel3

16 表計算部門：aabel3•  数々の統計手法、探究的データ解析手法を提供。•  複数の多変量データを容易にデータ整理可能。•  リアルタイムの双方向インタラクティブデータ作用を可能にし、多変量データ解析を容易にするユニークなパイプラインデザインを装備。•  インタラクティブな可視化機能、数多くのグラフタイプ、240 以上のデータプレゼンテーションスタイルを用意。•  数値データ管理ツール、フォーミュラエディタなどのユーティリティを装備したネイティブワークシート。•  さまざまなデータインポート、グラフィックファイルエクスポート、データマニピュレータ、フレキシブルなカスタマイズツール、Unicode 対応、出版品質のグラフィックなど研究、調査に必要なツールを装備。

17 描画手続き：Chart Library

18 描画手続き：Chart Library•  多様性：あらゆるVisualiza:on・統計メソッドを装備。 •  容易性：チュートリアルに従ってあらゆる図が描ける。 •  ワークシート：エクセルと同じようにワークシートによるデータ編集，抽出が可能。

19 応用事例：Map Plot

20 応用事例：回帰分析 / 生存時間分析

21 4. Dashboard 部門 •  Metric Insights

22 Dashboard部門：Metric Insights

23 Dashboard部門：Metric Insights•  毎日更新される KPI を素早く参照可能。•  異常検出機能，およびアラート機能。チャートへのアノテーション機能。•  Smart Phone や Tablet からも綺麗に描画できる。•  D3.js, Google Chart, Higcharts などのJSライブラリをインポート可能→インタラクティブな図•  （任意の時間インターバルでの）データ自動更新機能。•  素早く編集可能な互いに独立したパネル（ウィジェット）を持っている。 •  様々なデータベース・ファイル形式と接続できるコネクタを装備。

24 描画手続き：Widget Tutorial1. 集計インターバルを設定2. メジャーの種類を設定3. カテゴリを設定

25 描画手続き：Widget Tutorial4. Plug-inを選択5. 接続するデータソースを指定6. クエリを記述7. Sample Resultを確認

26 応用事例：Import JS Library

27 応用事例：レポーティング

28 応用事例：Dynamic Pivot Table

29 5. BI（Business Intelligence）部門 •  Tableau

32 Dashboard (MI) と BI (Tableau) の違いDashboard ( Metric Insights )BI ( Tableau )• 毎日更新されるデータ (KPI) を素早く参照するため解析者に関わらず全てのユーザーが参照するため異常値やイベントなどの効果を素早く把握するためSmart Phone や Tablet からも参照するため• 異常検出機能，およびアラート機能を備えていることチャートへのアノテーション機能を備えていることチャートの一覧性・わかりやすさを重視していること（任意の時間インターバルでの）データ自動更新機能を持っていること素早く編集可能な互いに独立したパネル（ウィジェット）を持っていること様々なデータベース・ファイル形式と接続できるコネクタを備えていること• • • 目的• • • • • 要請• • • • • • • • • 様々の切り口・セグメントの組合せでデータを閲覧するためインタラクティブな操作でドリルダウンや軸の切り替えを行うため様々なチャートとテーブルを組合せた情報表現を行うためプレゼンに耐えうるクオリティの高いレポートを作成するためインタラクティブな操作が可能なこと豊富なチャートライブラリ，ダッシュボードエディタの実装していること最適化された中間データ構造（Data Cubeなど）を備えていることマウス操作によってデータの深堀りや切り口の切り替えが可能なことJDBC / ODBC コネクタを初めとした様々なデータソースとの接続口を持つこと

33 描画手続き：VizQLhPp://tableau.globalpreneurs.jp/faq/

34 描画手続き：Dimension & Measure

35 描画手続き：Dimension & Measure

36 Video Tutorial hPp://youtu.be/vh9v76e95GY

39 6. 統計ソフト部門 •  ggplot2

40 統計ソフト部門：ggplot2•  ggplot2はRのパッケージ。 •  “The Grammar of Graphics”：文法に基づいた柔軟な描画が可能。•  ありあわせのChart Libraryから選択するのではなく，文法に基づいて現状の問題にあった描画が可能。•  The Grammar of Graphicsをさらに拡張し，「レイヤー」という概念を導入。•  豊富な書籍，ドキュメント

41 描画手続き：The Grammar of Graphics要素名前説明 data データビジュアル化したい対象。 geom幾何学的オブジェクトプロット上のタイプを決める。{ point, bar, boxplot, line } stat統計的変換データをようやくする様々な方法。オプション。{ density, boxplot, smooth, histogram }scaleスケールデータを「位置」と「カラー」にマッピングする。{ x=0.037, y=0.531, colour=#FF6C91 }coord 座標系オブジェクトの位置を指定された座標系の上にプロット平面にマッピング。{ Cartesian, Map, Polar }facetトリレス・プロットの一般化。データ全体から異なる部分集合を抽出する。ファセット例

42 描画手続き：Layer of Graphics•  レイヤー文法は次の成分の組み合わせから成る： { data, mapping, geom, stat, posi:on } •  プロットにレイヤーを重ねるには “+” を使う。一般のグラフィクスライブラリでの作図例。1つの層にあらゆる成分を置く。Ggplot2ではそれぞれの層に成分を置いていく。図の参照先

43 描画手続き：Layer of Graphics# ggplot2に入っている乗用車の燃費データ $ ?mpg $ summary(mpg) $ p <-‐ ggplot(mpg, aes(displ, hwy)) # geom 成分を与えることで始めて描画される $ p + geom_point() # geom 成分として line を重ねる。散布図と折れ線の描画 $ ggplot(mpg, aes(displ, hwy))+ geom_point()+ geom_line() # cyl ( = シリンダ数) をfactorにした色分けを行う $ ggplot(mpg, aes(displ, hwy))+ geom_point()+ geom_line(aes(color = factor(cyl)))

44 描画手続き：Layer of Graphics#ファセットの追加，2×2の sccater matrix $ ggplot(data = gender.comp, aes(Male, Female))+ geom_abline(colour = "grey80")+ geom_point(alpha = 0.6)+ facet_wrap(~Measure, scales = "free")

45 7. 抽象化部門 •  Neo4j (Graph Database)

46 hPp://www.slideshare.net/doryokujin/graphdbgraphdb

Movatterモバイル変換

Change Language

この Visualization がすごい2014 〜データ世界を彩るツール6選〜

Embed presentation

Recommended

More Related Content

What's hot

Similar to この Visualization がすごい2014 〜データ世界を彩るツール6選〜

More from Takahiro Inoue

この Visualization がすごい2014 〜データ世界を彩るツール6選〜