20150630_データ分析に最適な基盤とは？ -コスト/スピードでビジネスバリューを得るために- by 株式会社インサイトテクノロジー CTO 石川雅也

Insight Technology, Inc.

More Related Content

1.データ分析に最適な基盤とは?コスト/スピードでビジネスバリューを得るために株式会社インサイトテクノロジーCTO 石川 雅也
2.• 石川 雅也 (いしかわ まさや)• 現職o 株式会社インサイトテクノロジー 取締役 CTOビッグデータソリューション事業部FB: MasayaIshikawa• 職歴o 外資系HWベンダーにて、ミニコンOS, UNIX OS担当SE. 社内SE向け技術情報発信、トラブルシュート。crash dump解析、UNIX SCSI Device Driver改造とかo 1993年 日本オラクルに入社。DBインフラ系テクニカルサポート、コンサルティング、トラブルシュート。o 1995年 インサイトテクノロジー設立Oracleパフォーマンス管理ツール Performance Insight開発 (1995~)Oracleアクセスログ取得管理ツール PISO開発 (2004~)SQL Server版、富士通Symfoware版 PISO開発 (2005~)DB コンサルティング、トラブルシュート2012年 DB専用サーバー Insight Qube開発2013年 Actian DWH向けRDBMS販売開始自己紹介Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 2
3.• 社名– 株式会社インサイトテクノロジー• 設立– 1995年7月• 資本金– 1億円（2013年7月）• 役員– 代表取締役 小幡 一郎– 取締役 石川 雅也– 取締役 永見 和平– 取締役 森田 俊哉– 取締役 張 統• 本社– 東京都渋谷区恵比寿1-19-19恵比寿ビジネスタワー5F• 大阪支店– 大阪府大阪市北区大深町3番1号グランフロント大阪ナレッジキャピタルタワーC 11F• 事業内容 （後頁に詳細）– コンサルティング事業– ソフトウェア事業– ハードウェア事業• 主要取引先– 株式会社アシスト– 新日鉄住金ソリューションズﾞ株式会社– 富士通株式会社– 日本電気株式会社– 株式会社日立ソリューションズ– 伊藤忠ﾃｸﾉｿﾘｭｰｼｮﾝｽﾞ株式会社– 三井情報株式会社– 日本オラクル株式会社– マイクロソフト株式会社– デル株式会社– 日本HP株式会社会社概要Copyright © 2014 Insight Technology, Inc. All Rights Reserved. 3
4.事業詳細コンサルティング事業ソフトウェア事業ハードウェア事業 (2012年~)対象データベース：Oracle, SQL Server, MySQL, Actian Vector, Actian Matrix など支援内容：データベースの設計、構築、運用支援、パフォーマンス改善などデータベースのパフォーマンス監視・分析ツール（自社開発）データベースのセキュリティ保全ツール（自社開発）大規模システムの統合監視ツール（自社開発）マルチデータベースのリアルタイムレプリケーションツール世界最速のデータベース専用高速サーバー（自社開発）7年連続シェアNo1次世代型データウェアハウス向け 超高速データベースCopyright © 2014 Insight Technology, Inc. All Rights Reserved. 4Oracle Standard Edition向け DR構築ツール
5.データベーステクノロジーイベントの主催Copyright © 2014 Insight Technology, Inc. All Rights Reserved.Copyright © 2014 Insight Technology, Inc. All Rights Reserved. 5• No Sales Talk• 年2回開催(東京・大阪)• 2015年6月に第7回目を開催。国内DB関連会社33社が協賛• 3日間で 90+セッション延べ4500人以上のDB技術者が参加
6.データ分析に最適な基盤とは?Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 6
7.1種類のデータストアで業務処理、分析処理など様々な処理を実施する時代は終わり、それぞれのアプリケーションワークロードに合わせて最適なデータストアを選択することで、コスト、スピードといった面でビジネスバリューを得られる時代が始まっています。本セッションでは、様々なデータベースを比較しながら、それぞれの特性を解き明かし、データ分析に最適な基盤について解説します。Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 7アジェンダ• Michael Stonebrakerの考えるデータベースの(近い)未来• DWH向けRDBMS Actian Vector™ の紹介• 大量データ分析基盤のアーキテクチャの過去・現在・未来• 大量データ分析基盤 Actian Vortex™ の紹介
8.Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 8出典: Wikipedia
9.Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 9出典: ZDNet Japan
10.2000年頃までのデータベース市場は、「1つのサイズですべてをまかなう」時代でしたし、その頃は「Oracleが答え」でした。1つしか道具がなければ、あらゆることにそれを使うしかないでしょう。しかしその状況は2000年代の最初の10年で急激に変わりました。今のデータベース市場は3分の1がトランザクション処理であり、3分の1がデータウェアハウスであり、残り3分の1をそのほか全部が占めているとわたしは考えています。この15年間で起こったことは、データウェアハウス市場をほとんど完全にロウストアからカラムストアに変えました。今ではカラムストアはロウストアよりも圧倒的に高速です。これによって、ロウストアを売っていた従来のデータベースベンダーは、技術的に間違った側になってしまったのです。トランザクション処理の世界でも、メインメモリが十分に安くなったため、すべてではないにしても、トランザクションデータベースのほとんどをメインメモリに置けるようになりました。Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 10
11.2000年頃までのデータベース市場は、「1つのサイズですべてをまかなう」時代でしたし、その頃は「Oracleが答え」でした。1つしか道具がなければ、あらゆることにそれを使うしかないでしょう。しかしその状況は2000年代の最初の10年で急激に変わりました。今のデータベース市場は3分の1がトランザクション処理であり、3分の1がデータウェアハウスであり、残り3分の1をそのほか全部が占めているとわたしは考えています。この15年間で起こったことは、データウェアハウス市場をほとんど完全にロウストアからカラムストアに変えました。今ではカラムストアはロウストアよりも圧倒的に高速です。これによって、ロウストアを売っていた従来のデータベースベンダーは、技術的に間違った側になってしまったのです。トランザクション処理の世界でも、メインメモリが十分に安くなったため、すべてではないにしても、トランザクションデータベースのほとんどをメインメモリに置けるようになりました。Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 112000年頃までのデータベース市場は、「1つのサイズですべてをまかなう」時代でしたし、その頃は「Oracleが答え」でした。1つしか道具がなければ、あらゆることにそれを使うしかないでしょう。しかしその状況は2000年代の最初の10年で急激に変わりました今のデータベース市場は3分の1がトランザクション処理であり、3分の1がデータウェアハウスであり、残り3分の1をそのほか全部が占めているとわたしは考えています。この15年間で起こったことは、データウェアハウス市場をほとんど完全にロウストアからカラムストアに変えました。今ではカラムストアはロウストアよりも圧倒的に高速です。これによって、ロウストアを売っていた従来のデータベースベンダーは、技術的に間違った側になってしまったのです。トランザクション処理の世界でも、メインメモリが十分に安くなったため、すべてではないにしても、トランザクションデータベースのほとんどをメインメモリに置けるようになりました。2005年に書いた論文では「1つのサイズですべてをまかなう時代はもう終わった」と述べたのですが、2015年のわたしは、もっと突っ込んだ形で「1つのサイズでまかなえるものはない」と言っています。Oracle、IBM、Microsoftの従来の実装が適しているものは、基本的に何もありません。
12.OLTPDWHその他Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 12• 1つのサイズでは、現在のデータ処理はまかなえない。• OLTPはオンメモリまたはインメモリへ• DWHはカラムナーへ
13.197xOracle(ORACLE)System R(IBM)Ingres(Actian 旧Ingres)主にOLTP用途主にDWH用途買収等1975RDBMS製品の歴史を振り返るCopyright © 2015 Insight Technology, Inc. All Rights Reserved.
14.198xInformix(Informix)DB2(IBM)Teradata(Teradata)SQL Server(Microsoft)PostgreSQL(Open Source)主にOLTP用途主にDWH用途買収等1985Sybase(Sybase)Non Stop SQL(Tandem)Copyright © 2015 Insight Technology, Inc. All Rights Reserved.
15.199xMySQL(MySQL AB)Symfoware(Fujitsu)Sybase IQ(Sybase)HiRDB(Hitachi)主にOLTP用途主にDWH用途買収等1995Copyright © 2015 Insight Technology, Inc. All Rights Reserved.
16.200xNetezza(Netezza)Informix(IBM)Greenplum(Greenplum)Vertica(Vertica)Infobright(Infobright)ParAccel(ParAccel)Asterdata(Asterdata)Vectorwise(Vectorwise)Oracle Exadata(ORACLE)MySQL(Sun Microsystems)MonetDB(Open Source)主にOLTP用途主にDWH用途買収等2005Copyright © 2015 Insight Technology, Inc. All Rights Reserved.
17.201xVertica(HP)Asterdata(Teradata)Redshift(Amazon) Matrix(ParAccel)(Actian 旧Ingres)主にOLTP用途主にDWH用途買収等Vector(Vectorwise)(Actian 旧Ingres)Sybase (IQ)(SAP)Netezza(IBM)Greenplum(EMC)InfiniDB(Calpont)SAP HANA(SAP)MySQL(ORACLE)2015Copyright © 2015 Insight Technology, Inc. All Rights Reserved.
18.Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 182005年に書いた論文では「1つのサイズですべてをまかなう時代はもう終わった」と述べたのですが、2015年のわたしは、もっと突っ込んだ形で「1つのサイズでまかなえるものはない」と言っています。Oracle、IBM、Microsoftの従来の実装が適しているものは、基本的に何もありません。
19.Vector™
20.Vectorwise3 May 2011436,788QphH32 Cores1TB RAM$0.88 USDPrice/QphHMicrosoftSQL Server5 April 2011173,961QphH80 Cores2TB RAM$1.37 USDPrice/QphHMicrosoftSQL Server30 August 2011219,887QphH$1.86 USDPrice/QphH80 Cores2TB RAMOracle3 June 2011209,533QphH$9.53 USDPrice/QphH64 Cores512GB RAM0100,000300,000Top 7 Non-Clustered Database SystemTPC-H 1TB Scale FactorSource: www.tpc.org / Oct 22, 2013400,000200,000QphHVectorwise1 Jun 2012445,529QphH32 Cores768GB RAM$0.75 USDPrice/QphHOracle26 Sep 2011201,487QphH$4.60 USDPrice/QphH32 Cores/256 Thread512B RAMSybase IQ15 Dec 2010164,747QphH$6.85 USDPrice/QphH32 Cores512B RAMWhat’s Vector™Copyright © 2014 Insight Technology, Inc. All Rights Reserved. 20
21.Advantage of Vector™Copyright © 2014 Insight Technology, Inc. All Rights Reserved. 21ベクター演算CPU効率を高めるためにVector(SIMD)演算を活用カラムナーI/Oを制限することにより、効率的かつリアルタイム更新処理が可能データ自動圧縮データの自動圧縮により、ストレージ使用効率の向上と、IO量の削減、およびキャッシュ効率を飛躍的に高めるCPUキャッシュRAMでなく、オンチップでのデータ処理マルチコア並列処理 システムリソースを最大限に活用…ストレージインデックス即座に対象データブロックを特定し、I/Oを最小限におさえる。Time/CyclestoProcessData ProcessedDISKRAMCHIP10GB2-3GB40-400MB2-20150-250Millions
22.SIMDCopyright © 2014 Insight Technology, Inc. All Rights Reserved. 22SIMD (Single Instruction Multiple Data)Pentium ⅢよりSSE(Streaming SIMD Extensions)として搭載され、Sandy BridgeよりIntel AVX(Advanced Vector eXtensions)へ・・・・・・・・・・・・・・・InstructionDataOutput
23.インストラクション数の比較Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 232.7E+102.4E+112.0E+117.8E+111.9E+12 1.9E+122.8E+103.8E+114.8E+118.3E+112.8E+121.9E+1219 729102680204060801001200.0E+001.0E+122.0E+123.0E+12Columnar DBAColumnar DBBIn Memory DBARt = Instructions / (IPC * Hz * Parallelism)Row Store DBARow Store DBBCPUInstructions(count)ComparisonvsVectorselectsum(l_extendedprice * l_discount) asrevenuefromlineitem -- 6億件, 80GB のデータwhere l_shipdate >= date '1996-01-01'and l_shipdate < date '1996-01-01' +interval '1' yearand l_discount between 0.02 - 0.01 and 0.02+ 0.01and l_quantity < 24
24.ブランチミス数Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 241.8E+071.1E+093.0E+081.1E+091.6E+097.7E+082.1E+071.4E+091.2E+091.1E+091.7E+097.7E+081641762884301020304050607080901000.0E+001.0E+092.0E+09Columnar DBAColumnar DBBIn Memory DBARow Store DBARow Store DBBRt = Instructions / (IPC * Hz * Parallelism)CPUBranch-Misses(count)ComparisonvsVector
25.実際のElapsed Time(秒)Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 250.48 3.4435.58209.45467.36332.561774434968689020040060080010001200050100150200250300350400450500Columnar DBAColumnar DBBIn Memory DBARow Store DBARow Store DBBRt = Instructions / (IPC * Hz * Parallelism)QueryElapsedTime(sec)ComparisonvsVector
26.Insight Qube for Vector™Copyright © 2014 Insight Technology, Inc. All Rights Reserved. 26×136
27.* ツイートは米Twitter社(Twitter, Inc.)が提供するサービス(Twitter)上のつぶやきメッセージを指します* Twitterは米Twitter社の登録商標であり弊社との関連はありません* 語句解析はツイート中の一般名詞のみを対象にしています99%1%tweets demo tweets世界中のツイート(*1)の1%を抽出(2012/4/23 - 2012/4/25)ツイートの語句解析(MeCabによる形態素解析)データベースにロードデモのためデータを5倍に増幅- ツイートデータで1000万件(9GB)- 解析後語句データで260万件(100MB)データロードは各データベースベンダーが用意するローダーを使用1000万件のツイートデータから世界のツイート数の国別ランキングを出してみると？1000万件のツイートデータから世界のツイートの時間帯別ツイート数の推移を見てみると？1000万件のツイートデータと260万件の解析後の語句データから日本でホットだったキーワードを探ってみると？Vector™ DemoCopyright © 2014 Insight Technology, Inc. All Rights Reserved. 27
28.• 対象システム– 診断データ分析システム「MDV analyzer」– 患者約400万人規模の薬剤処方実態を日単位で分析• 従来課題 → 「MDV analyzer」から解決– 製薬会社は自他社製品の処方実態を把握できないため的確なマーケティングが困難だった– 医師が患者に処方した薬剤の実態をつかむデータベースがなかった• システム課題– 検索速度が遅いことによるサービスレベルの低下 (従来は Infobright使用)• 効果– 製薬会社は自他社製品の処方実態を正確且つ高速に把握可能となった– 「販売実態」ではなく「処方実態」を前提としたマーケティングが可能になった– 検索速度の大幅な短縮によるサービスレベルの向上製薬会社A製薬会社B製薬会社C400万人の患者データ（薬剤処方実態）マーケティングに活用Copyright © 2014 Insight Technology, Inc. All Rights Reserved.導入事例: 株式会社メディカル・データ・ビジョン
29.• 対象システム– 処方箋分析システム（処方箋情報約3億枚及び顧客情報）– 製薬会社向けコンサルティング・ビジネスの情報を提供– 顧客の処方改善（規定量を正しく服用していない顧客へ正しい服用法を説明）• 課題– データ量に見合う性能を発揮できなくなってきた– 事実、ユーザー部門からレスポンスが遅いという声が数多く寄せられるようになった• ソリューション– SQL Server から Vectorへリプレース– Cognosのキャッシュを使用せず Vectorへの パススルークエリーにアプリケーション変更• 効果：劇的な性能向上– ダッシュボード表示時間：従来の4分の1– 自由分析表示時間：従来の20分の1製薬会社向けコンサルティング顧客の処方改善処方箋 顧客情報 地域で、製薬会社別がシェアは？薬を処方したのは内科か外科か？どんな薬と一緒に処方されるか？システムが生み出す価値Copyright © 2014 Insight Technology, Inc. All Rights Reserved.導入事例: 日本調剤株式会社
30.拡大推計POSデータサービス「手軽で」「早くて」「品質の高い」マーケティングリサーチをPOSサービスへ展開・100億件の集計を10秒以内で処理できること・低コスト（クライアント様へ安価にサービス提供する為に投資を抑制したい。）システム開発要件による解決データ提供元 クライアントスーパーチェーンその他業態食品メーカー日用品メーカーデータ件数：数百億（5年後）データ容量：数ＴＢ集計システム (クロス集計とグラフ描画)Web上での集計指示、結果確認、各種処理（UI）運用管理(マスタ管理、クライアント管理)集計条件を自由設定結果を画面での確認Ｅｘｃｅｌでのレポート出力数千店以上テストケース：データ件数（4億件）で集計時間を実計測→結果：3.6秒 (SQLチューニングにより 2秒台程度も目指せそう）データ件数 カテゴリ毎にテーブル設計 (View)クライアント毎にテーブル設計 (実表)1億件 3.7秒 3.9秒2億件 3.3秒 4.7秒4億件 3.6秒 5.3秒ありとあらゆるDBを検討。予算内での要件のクリアは容易ではなかった。＋導入事例: 株式会社マクロミルCopyright © 2014 Insight Technology, Inc. All Rights Reserved. 30
31.Machine-Generated Data Social Media Internet RetailFinancialGovernmentResearch/EducationVector™ 主要顧客Copyright © 2014 Insight Technology, Inc. All Rights Reserved. 31
32.Certified/tested In progress各種BIツールとの連携Copyright © 2014 Insight Technology, Inc. All Rights Reserved. 32
33.大量データ分析基盤について
34.“過去-現在”課題- データ量にETL処理が追いつかない(終わらないバッチ)- レガシーDWHの処理能力不足によるマート処理- 分析の硬直化、アーキテクチャーの複雑化レガシーETLマートレガシーDWHCopyright © 2015 Insight Technology, Inc. All Rights Reserved.データ分析基盤のデザインパターン
35.“過去-最近”課題- データ量にETL処理が追いつかない(終わらないバッチ)- レガシーDWHの処理能力不足によるマート処理- 分析の硬直化、アーキテクチャーの複雑化ハイパフォーマンスDWHCopyright © 2015 Insight Technology, Inc. All Rights Reserved.データ分析基盤のデザインパターンレガシーETL
36.“現在-最近”課題- データ量にETL処理が追いつかない(終わらないバッチ)- レガシーDWHの処理能力不足によるマート処理- 分析の硬直化、アーキテクチャーの複雑化- HadoopクラスターとDWHの2つの運用が発生- ETLにMapReduce等Hadoop特有のコーディングが必要 HadoopでETLCopyright © 2015 Insight Technology, Inc. All Rights Reserved.データ分析基盤のデザインパターンハイパフォーマンスDWH
37.“現在-最近”課題- データ量にETL処理が追いつかない(終わらないバッチ)- レガシーDWHの処理能力不足によるマート処理- 分析の硬直化、アーキテクチャーの複雑化- HadoopクラスターとDWHの2つの運用が発生- ETLにMapReduce等Hadoop特有のコーディングが必要DataFlowActian DataFlowDataFlow自体にHadoopは必須のコンポーネントではありません。しかし、大量データを安全、安価、高速に処理可能なHadoopはデータ分析基盤のストレージレイヤーに適してると言えます。Copyright © 2015 Insight Technology, Inc. All Rights Reserved.データ分析基盤のデザインパターンHadoopでETLハイパフォーマンスDWH
38.OLTPDWHその他Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 38
39.OLTPDWHHadoopNoSQLグラフ処理機械学習Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 39• 機械学習は配列ベースの処理になる。• グラフ処理に関してもRDBMSに有利な点はない。• NoSQL, Hadoopについても既存RDBMSベンダーが有利な市場ではない
40.今Hadoop市場では「Spark」（Apacheベースの高速クラスタコンピューティングに特化したエンジン）が人気を集めていますが、Matei Zaharia氏（SparkのCTO兼Databricksの共同創業者）によれば、なんとSparkへのアクセスの79％はSQLからだそうです。つまり、SparkはSQL市場なわけです。Clouderaを見てみると、彼らはmPowerを前面に押し出していますし、「Impala」はSQLの実装の1つです。こう考えると、HadoopスタックのMapReduce（大規模データセットを生成するモデル）の部分はうまくいかないと思います。基本的に、本当に重要なHadoop市場はSQL市場になるでしょう。そこでmPowerを見てみると、Impalaはアーキテクチャ的にクラウドストアであり、「HPVertica」や「Amazon Redshift」、またはその他のリレーショナルデータベースのカラムストア実装に似ています。このため、わたしはHadoop市場のほとんどはデータウェアハウス市場と融合すると考えています。Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 40Sparkへのアクセスの79％はSQLから本当に重要なHadoop市場はSQL市場になるでしょう。Hadoop市場のほとんどはデータウェアハウス市場と融合すると考えています。
41.Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 41これからのデータ分析基盤RDBMSDataFlow EngineVectorLegacyETLDataFlow Engine₋ No Map Reduceの並列分散実行エンジン₋ ロード先がVectorの場合は、Hadoop側で、データファイルをパラレルで作成₋ 基本的にコーディングなしSQL on HadoopVortex
42.Vortex™
43.Vortex™ (Vector™ Hadoop Edition)Copyright © 2014 Insight Technology, Inc. All Rights Reserved. 43No-Cluster分野で世界最速のVectorのSQLエンジンをHadoopエコシステム内に組み込んだMPPデータベース構成- 用途別に複数のクラスターの構築、運用が不要- Hadoopと統合可能なETL&分析エンジン(DataFlow)も組込み可能- Hadoopが持つ高い可用性と高いスケーラビリティを担保- Vectorが持つ低レイテンシーでのSQLアクセスをHadoopエコシステムに適用可能- Hadoopが持つ大量データに対して標準(SQL92＋α)SQLでアクセスすることで既存資産の有効活用
44.分析クエリーと”更新可能”なDML文のサポートCopyright © 2014 Insight Technology, Inc. All Rights Reserved. 44ANSI準拠 & 分析クエリーVector同様にSQL-92レベルのフルサポートとCUBE、ROLLUP、LAG、LEAD、GROUPING SET、およびWindow関数をサポートしています。サポートしているSQL関数は以下のドキュメントで確認可能http://docs.actian.com/#b78023t22329n/s-1/s6421/s6422/s6422b343149/s6422b343169SQL更新可能なDMLのサポートHDFS上のデータであっても、ACIDトランザクション、MVCCを備え、DML(INSERT、UPDATE、DELETE)を実行することが可能です。DMLはVectorの持つPDT(PositionalDelta Tree)と呼ばれるインメモリデータ構造により高速化されています。* 3rdパーティーのレプリケーション製品のように、Vector Hadoop SQL Editionに定常的かつ大量にDMLを発行する場合は、パフォーマンスについて考慮が必要になる場合があります* DELETEを実行してもHDFS上の使用領域が減少するわけではないので、ストレージに使用率を下げたい場合は定期的なメンテナンスが必要になりますDML
45.READPDTPositional Delta Tree (PDT)Copyright © 2014 Insight Technology, Inc. All Rights Reserved. 45Positional Delta Tree(PDT)の仕組みVectorの更新は、以下２つのタイプがある- BULK更新処理ローダーにより一括データ投入や、INSERT… SELECT * FROM x のような処理- BATCH更新処理BATCH更新処理とは、一件ごとのINSERT,UPDATEやDELETEを意味します。BATCH処理の場合は、PDTと呼ばれるメモリー上のデータストアにて処理され、永続的なストレージ(この場合はHDFS上)に、非同期で書き出します。HDFSは追記のみ可能なので Vectorも更新データは追記のみ行い。読み取り時にマージ処理を行う。PDTHDFS DATA LOGWRITEPDT① commit② PDTと同時にTransactionログに書き出し③ WRITE PDTのしきい値によりREADPDTに移動④ READ PDTのしきい値によりHDFS上のファイルにマージ読み取り時は、各レイヤーをマージ
46.Vortex™ vs Impala, HiveCopyright © 2014 Insight Technology, Inc. All Rights Reserved. 460.0001000.0002000.0003000.0004000.0005000.0006000.0007000.0008000.0009000.000Vortex onCDH5.1Impala 1.4 onCDH5.1Hive 0.12 onCDH5.1TPC-H Power@1000GB on 5 Nodes Cluster41.8(1.0)784.8(17.8倍)8511.2(203.4倍)VectorHadoopEditionImpala1.4Hive0.12Presto0.73Query1 〇 〇 〇 〇Query2 〇 △ △ ×Query3 〇 〇 〇 △(OutOfMemory)Query4 〇 △ △ ×Query5 〇 〇 〇 △(OutOfMemory)Query6 〇 〇 〇 △Query7 〇 △ △ ×Query8 〇 〇 〇 △Query9 〇 〇(OutOfMemory)〇 △(OutOfMemory)Query10 〇 〇 〇 △Query11 〇 × × ×Query12 〇 〇 〇 △Query13 〇 〇 〇 △Query14 〇 〇 〇 △Query15 〇 △ △ ×Query16 〇 △ △(OutOfMemory)×Query17 〇 △ △ ×Query18 〇 △ △(OutOfMemory)×Query19 〇 〇 〇 ×Query20 〇 △(OutOfMemory)△ ×Query21 〇 △ △ ×Query22 〇 × × ×TPC-H ANSI SQL Comparison本ベンチマークは弊社が独自に実施したもので公式なものではありません。Hadoop上でのクエリー処理において圧倒的なパフォーマンスとクエリーの成熟度
47.Wrap up• 1種類のデータストアで業務処理、分析処理など様々な処理を実施する時代は終わり、それぞれのアプリケーションワークロードに合わせて最適なデータストアを選択することで、コスト、スピードといった面でビジネスバリューを得られる時代が始まっている。• OLTP -> On Memory, In-Memory• DWH -> Columnar RDBMS• (大量データ分析基盤としての)Hadoop-> SQL on HadoopCopyright © 2015 Insight Technology, Inc. All Rights Reserved. 47
48.Vector, Vortex Express Editionの紹介Copyright © 2015 Insight Technology, Inc. All Rights Reserved. 48http://www.actian.com/product-downloads/- 無料- Up to 250GB (Vector)Up to 500GB (Vortex)- Community Support- Enterprise Editionより1世代前のバージョン