Downloaded 31 times
Uploaded byKazutaka Tomita
PPTX, PDF5,234 views
Apache cassandraと apache sparkで作るデータ解析プラットフォーム
Cassandra Summit Tokyo 2015 発表スライド
More Related Content
What's hot
Viewers also liked
Similar to Apache cassandraと apache sparkで作るデータ解析プラットフォーム
![[db tech showcase OSS 2017] A14: IoT時代のデータストア--躍進するNoSQL、拡張するRDB by OSSコンソーシア...](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2f20170616dbtechshowcaseossyoshida-170621081930-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
More from Kazutaka Tomita
Recently uploaded
Apache cassandraと apache sparkで作るデータ解析プラットフォーム
- 1.Apache Cassandraと ApacheSparkで作るデータ解析プラットフォーム株式会社INTHEFOREST
- 2.
- 3.
- 4.IoTデータとはIoTとM2MInternet of ThingsMachineto Machineマシンツーマシン（Machine-to-Machine）とは、コンピュータネットワークに繋がれた機械同士が人間を介在せずに相互に情報交換し、自動的に最適な制御が行われるシステムを指す。一意に識別可能な「もの」がインターネット/クラウドに接続され、情報交換することにより相互に制御する仕組みである
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.Cassandraの普遍性IoT向けデータベースとしてのCassandraの特徴• 書込みに強い。• 書込み先が分散化されているので同時多数書込みに強い（秒間100万書込み等）•結果整合性による柔軟な書込み精度を選択可能• 解析ツールとの親和性• 多彩なドライバ（ODBC、JDBC、ＰＨＰ、Ｒｕｂｙ、Perl等）• Apache Hadoop、Apache Spark、Presto等の多彩な解析ツールを利用可能• マルチベンダー• Windows、Ｌｉｎｕｘ、各種クラウド、JVMが稼働すれば使用する事が出来ます。Windowsでの採用実績もあります。
- 11.
- 12.Sparkの力Sparkとは高速なデータ分析のための新たな手段Sparkの特徴 RDD（Resilient DistributedDataset・弾性分散データセット） 不変（イミュータブル） 分割・分散配置 インメモリー 遅延評価 Hadoop連携 HDFS自動連携 YARN連携
- 13.
- 14.
- 15.Sparkの力Sparkのライブラリ• Spark Streamingデータの逐次時系列処理•Spark SQL• SQLライクなQuery言語• GraphX• グラフとグラフ並列計算API• MLLib• 機械学習アルゴリズムAPI
- 16.Sparkの力• Spark Streamingデータの逐次時系列処理SparkStreaming with CassandraソーシャルストリームSparkStreaming CassandrastoreHello WorldHelloWorldHelloWorld※短時間のShortBatchを逐次実行可能。
- 17.Sparkの力• Spark SQLSQLライクなDSL言語SparkSQL with CassandraSpark SQL Cassandravar rdd = cc.sql("SELECT * from test2.words a jointest2.phrase b on a.word = b.phrase")
- 18.
- 19.Sparkの力• GraphXグラフとグラフ並列計算APIGraphX withCassandraGraphX CassandraCassandraソーシャルグラフ解析・テキスト解析など
- 20.Sparkの力• MLLib• 機械学習アルゴリズムAPIMLLibwith CassandraData typesBasic statisticssummary statisticscorrelationsstratified samplinghypothesis testingrandom data generationClassification and regressionlinear models (SVMs, logistic regression, linear regression)naive Bayesdecision treesensembles of trees (Random Forests and Gradient-Boosted Trees)isotonic regressionCollaborative filteringalternating least squares (ALS)Clusteringk-meansGaussian mixturepower iteration clustering (PIC)latent Dirichlet allocation (LDA)streaming k-meansDimensionality reductionsingular value decomposition (SVD)principal component analysis (PCA)Feature extraction and transformationFrequent pattern miningFP-growthOptimization (developer)stochastic gradient descentlimited-memory BFGS (L-BFGS)最新ではアルゴリズムの数が格段に増えました。大量にためる→機械学習この組合せに最適Tweet 3000万件のClusteringなど
- 21.
- 22.まとめ• IoTデータは爆発しやすい• Cassandraは大規模データの管理に親和性がある•Cassandraはデータストレージなので機能そのものはさほど多くない• SparkはCassandraの足りないところを上手に補ってくれる。