実務で役立つデータベースの活用法

Soudai Sone

More Related Content

1.実務で役立つ！データベースの活用法オープンセミナー2015＠香川
2.What is it?データベースは何を基準に選んでますか？
3.What is it?利用するデータベースを正しく選ぶことはプロジェクトの成功にとても大切です
4.What is it?しかし、時代は大NOSQL時代
5.What is it?RDBすら多いのに…NOSQLって何よ…どれがいいのよ…
6.What is it?RDBすら多いのに…NOSQLって何よ…どれがいいのよ…
7.What is it?RDBすら多いのに…NOSQLって何よ…どれがいいのよ…
8.What is it?そう言ったお悩みに種類別データベースの活用方法を今日は発表します
9.What is it?ただしチューニングやDB設計の話は今日はしません
10.What is it?主にデータベースの選び方の話です
11.What is it?正しいDB選択で未来の自分を助ける方法を説明します
12.あじぇんだ１ 自己紹介２ データベースの種類と特徴３ データベースの選び方４ まとめ
13.あじぇんだ１ 自己紹介２ データベースの種類と特徴３ データベースの選び方４ まとめ
14.自己紹介名前：曽根 壮大（そね たけとも）年齢：３０歳（三人の子供がいます）職業：Webエンジニア所属：日本PostgreSQLユーザ会   中国支部 支部長  技術的にはLL系言語とかRDBが好きです
15.https://dbstudychugoku.github.io/
16.あじぇんだ１ 自己紹介２ データベースの種類と特徴３ データベースの選び方４ まとめ
17.データベースの種類と特徴RDBとNOSQL
18.アーキテクチャーーーーーーーデータモデルマスタ型 P2P型 その他リレーショナル RDB全般 pgpool2などキーバリュー HibariDynamoRiakMemcachedRedisカラム指向BigtableHBaseCassandraドキュメント指向MongoDBCouchDBグラフ指向 Neo4J InfiniteGraph
19.アーキテクチャーーーーーーーデータモデルマスタ型 P2P型 その他リレーショナル RDB全般 pgpool2などキーバリュー HibariDynamoRiakMemcachedRedisカラム指向BigtableHBaseCassandraドキュメント指向MongoDBCouchDBグラフ指向 Neo4J InfiniteGraph
20.データベースの種類と特徴RDBリレーショナルデータモデルの理論に基づいたDBMSで現在もっとも広く使われているデータベースシステム
21.データベースの種類と特徴NOSQL（Not Only SQL）RDB以外のDBシステムの総称グラフデータモデルなどのリレーショナルモデル以外のサポートなどRDBが不得意な分野に特化している
22.データベースの種類と特徴ACIDとCAP定理とBASE
23.データベースの種類と特徴ACID
24.データベースの種類と特徴ACID関連する複数の処理を一つの処理単位にまとめて管理するトランザクション処理に求められる4つの特性
25.データベースの種類と特徴ACID• 原子性（Atomicity）• 一貫性（Consistency）• 独立性（Isolation）• 永続性（Durability）
26.データベースの種類と特徴ACID• 原子性（Atomicity）• 一貫性（Consistency）• 独立性（Isolation）• 永続性（Durability）Atomicity（原子性）とは、トランザクションに含まれる個々の手順が  「すべて実行される」か「一つも実行されない」のどちらかの状態になるという性質
27.データベースの種類と特徴ACID• 原子性（Atomicity）• 一貫性（Consistency）• 独立性（Isolation）• 永続性（Durability）Consistency（一貫性）とは、トランザクションの前後でデータの整合性が保たれ、矛盾の無い状態が継続される性質
28.データベースの種類と特徴ACID• 原子性（Atomicity）• 一貫性（Consistency）• 独立性（Isolation）• 永続性（Durability）Isolation（独立性）とは、トランザクション実行中の処理過程が外部から隠 され、他の処理などに影響を与えない性質
29.データベースの種類と特徴ACID• 原子性（Atomicity）• 一貫性（Consistency）• 独立性（Isolation）• 永続性（Durability）Durability（永続性）とは、トランザクションが完了したら、その結果は記録され、失われることがないという性質
30.データベースの種類と特徴CAP定理
31.データベースの種類と特徴CAP定理Webサービスを想定して作られた分散化データベースの定理全てを完璧に満たすことができず、いずれかに偏る形でしか出来ない
32.データベースの種類と特徴CAP定理• 整合性 (Consistency)• 可用性 (Availability)• 分断耐性 (Partitions)
33.データベースの種類と特徴CAP定理• 整合性 (Consistency)• 可用性 (Availability)• 分断耐性 (Partitions)整合性 (Consistency)とは、全てのクライアントが常に同一のデータを見る性質
34.データベースの種類と特徴CAP定理• 整合性 (Consistency)• 可用性 (Availability)• 分断耐性 (Partitions)可用性 (Availability)とは、全てのクライアントが読み出しと書き込みが出来る性質
35.データベースの種類と特徴CAP定理• 整合性 (Consistency)• 可用性 (Availability)• 分断耐性 (Partitions)分断耐性 (Partitions)とは、物理ネットワークが分断されても間違った結果が発生しない性質
36.データベースの種類と特徴A：可用性C：整合性P：分断耐性
37.データベースの種類と特徴A：可用性C：整合性P：分断耐性CA型PostgreSQL、MySQLなど（RDB全般）
38.データベースの種類と特徴A：可用性C：整合性P：分断耐性Dynamo、CassandraなどAP型
39.データベースの種類と特徴A：可用性C：整合性P：分断耐性MongoDB、RedisなどCP型
40.データベースの種類と特徴BASE
41.データベースの種類と特徴BASE整合性(C)と分断耐性(P)を重視した場合はACIDを満たす必要があるしかし整合性(C)よりも可用性(A)と分断耐性(P)を重視する場合はBASEを満たす必要がある
42.データベースの種類と特徴ACID(CP型)とBASE(AP型)
43.データベースの種類と特徴BASE• Basically Available• Soft-State• Eventual Consistency
44.データベースの種類と特徴BASE• Basically Available• Soft-State• Eventual Consistencyどんな時でもアプリケーションが動く
45.データベースの種類と特徴BASE• Basically Available• Soft-State• Eventual Consistency常に整合性を保つ必要がない
46.データベースの種類と特徴BASE• Basically Available• Soft-State• Eventual Consistency結果として整合性が取れる状態に至る
47.データベースの種類と特徴アーキテクチャ
48.データベースの種類と特徴アーキテクチャ↓ACIDやBASEをどのように実現するか
49.データベースの種類と特徴アーキテクチャ↓マスタ型とP2P型
50.データベースの種類と特徴マスタ型マスタスレーブ スレーブ スレーブ
51.データベースの種類と特徴マスタ型• RDB• MongoDB• Bigtable• HBase …など
52.データベースの種類と特徴P2P型マスタマスタマスタマスタ
53.データベースの種類と特徴P2P型• Cassandra• Dynamo• Riak• Voldemort …など
54.データベースの種類と特徴データモデル
55.データベースの種類と特徴データモデル↓どのようなデータを扱うか
56.データベースの種類と特徴データモデル• リレーショナル• キーバリュー• カラム指向• ドキュメント指向 …など
57.データベースの種類と特徴データモデル• リレーショナル• キーバリュー• カラム指向• ドキュメント指向 …など
58.データベースの種類と特徴データモデル• リレーショナル• キーバリュー• カラム指向• ドキュメント指向 …などRDBの元となるデータモデル集合と関連でデータを表現する
59.データベースの種類と特徴リレーショナルuser_id name1 hoge2 fuga3 bar4 foorole_id name1 開発部2 営業部3 運用部4 総務部user_id role_id1 11 33 24 4
60.データベースの種類と特徴リレーショナルuser_id name1 hoge2 fuga3 bar4 foorole_id name1 開発部2 営業部3 運用部4 総務部user_id role_id1 11 33 24 4集合を定義する関係を定義する
61.データベースの種類と特徴データモデル• リレーショナル• キーバリュー• カラム指向• ドキュメント指向 …など
62.データベースの種類と特徴データモデル• リレーショナル• キーバリュー• カラム指向• ドキュメント指向 …などKeyとValueの組み合わせでデータを表現するシンプルな構造なのでスケールアウトに適しているkeyとvalueが1対1
63.データベースの種類と特徴キーバリューkey value1 hoge2 fuga3 bar4 foo5 test6 花子7 一太郎8 三四郎
64.データベースの種類と特徴キーバリューkey value1 hoge2 fuga3 bar4 foo5 test6 花子7 一太郎8 三四郎1:1の関係を保持する
65.データベースの種類と特徴データモデル• リレーショナル• キーバリュー• カラム指向• ドキュメント指向 …など
66.データベースの種類と特徴データモデル• リレーショナル• キーバリュー• カラム指向• ドキュメント指向 …などキーバリュー型を拡張して行とカラムの概念を追加RDBのテーブルに似ているがカラムは事前に定義しないkeyに対してvalue（カラム）が1対多も可能
67.データベースの種類と特徴カラム指向key name 所属 所属2 年齢1 hoge 開発 運用 302 fuga 営業 253 bar 総務 運用 224 foo 運用 355 test 開発 426 花子 デザイン 運用 257 一太郎 ドキュメント 開発 258 三四郎 表計算 総務 25
68.データベースの種類と特徴カラム指向key name 所属 所属2 年齢1 hoge 開発 運用 302 fuga 営業 253 bar 総務 運用 224 foo 運用 355 test 開発 426 花子 デザイン 運用 257 一太郎 ドキュメント 開発 258 三四郎 表計算 総務 251:Nの関係を保持する
69.データベースの種類と特徴データモデル• リレーショナル• キーバリュー• カラム指向• ドキュメント指向 …など
70.データベースの種類と特徴データモデル• リレーショナル• キーバリュー• カラム指向• ドキュメント指向 …など階層構造を持たず、ドキュメントそのものを保持するドキュメントにはユニークなIDが振られるスキーマレスなので柔軟な変更が可能
71.データベースの種類と特徴ドキュメント指向name : hogerole1 : 開発role2 : 運用age : 30name : fugarole1 : 営業from : 広島age : 25name : barrole1 : 総務
72.データベースの種類と特徴ドキュメント指向name : hogerole1 : 開発role2 : 運用age : 30name : fugarole1 : 営業from : 広島age : 25name : barrole1 : 総務それぞれが独立したドキュメントドキュメントにはユニークなIDでアクセスが可能
73.データベースの種類と特徴ドキュメント指向name : hogerole1 : 開発role2 : 運用age : 30name : fugarole1 : 営業from : 広島age : 25name : barrole1 : 総務それぞれが独立しているので自由な変更が可能
74.データベースの種類と特徴データモデル• リレーショナル• キーバリュー• カラム指向• ドキュメント指向 …など
75.データベースの種類と特徴データモデル• リレーショナル• キーバリュー• カラム指向• ドキュメント指向 …など他にもグラフ型やツリー型など多種多様にある
76.データベースの種類と特徴これらの組み合わせでデータベースの種類と特徴が決まる
77.アーキテクチャーーーーーーーデータモデルマスタ型 P2P型 その他リレーショナル RDB全般 pgpool2などキーバリュー HibariDynamoRiakMemcachedRedisカラム指向BigtableHBaseCassandraドキュメント指向MongoDBCouchDBグラフ指向 Neo4J InfiniteGraph
78.あじぇんだ１ 自己紹介２ データベースの種類と特徴３ データベースの選び方４ まとめ
79.データベースの選び方ドメインに合わせて選ぶACIDの必要性、CAP定理の条件でどれが必要か考えて選択肢を選ぶ
80.データベースの選び方RDBは多くのデータに対応している
81.データベースの選び方しかしRDBは万能ではない
82.データベースの選び方NOSQLは目的を絞り込んだDB
83.データベースの選び方まずはRDBで検討する↓その後、不足をNOSQLで補う
84.データベースの選び方RDBで問題なければRDBのみ
85.データベースの選び方RDBで問題なければRDBのみ↓無理にNOSQLを使わない
86.データベースの選び方RDBも要件によって選ぶ
87.データベースの選び方SQL Server• 開発環境(VS,C#など)の連携が強力• 標準的な機能の多くをサポート• GUIツールが便利
88.データベースの選び方Oracle• Active - Activeな構成が可能(RAC)• 独自・標準的な多くの機能• GUIやサードパーティが充実• 強力なOracleサポートチーム(有償)
89.データベースの選び方MySQL• レプリケーションが柔軟で強力• 自動フェイルオーバー完備• 高速なコネクション(multi Thread)• OSSなサードパーティが充実• SSDと相性が良い
90.データベースの選び方PostgreSQL• Oracleにも負けない豊富な機能• 企業に属さない中立なOSS• コミュニティを含めたサポート• OSSなサードパーティが充実
91.データベースの選び方デメリットも見る
92.データベースの選び方SQL Server• 商用なので有償• スケールアウトが苦手• MS以外の環境でメリットが少ない• CUIの連携が少ない
93.データベースの選び方Oracle• 商用なので有償(しかも高い)• 行連鎖や行移行など設計が難しい• サードパーティが有償(しかも高い)• ORA-00600のトラウマ
94.データベースの選び方MySQL• 実装されてない機能があるWindow関数が無いマテビューがない等• ギャップロック• 相関サブクエリが苦手(遅い)
95.データベースの選び方PostgreSQL• 追記型の制約(VACUUM、HOT等)• SSDにしても劇的な高速化はしない• GUIが弱い(設定を含め、CUIベース)• デフォルトがdataチェックサム無効そもそも9.3以上の機能
96.データベースの選び方RDBで解決できない問題
97.データベースの選び方RDBで解決できない問題↓それをNOSQLで解決する
98.データベースの選び方RDB全般の問題• 大量のデータを処理(ビックデータ)• DBの水平拡張(スケールアウト)• 多種多様なデータモデル対応
99.データベースの選び方RDB全般の問題• 大量のデータを処理(ビックデータ)• DBの水平拡張(スケールアウト)• 多種多様なデータモデル対応
100.データベースの選び方大量のデータを処理• テラやペタ級を処理• それを高速に処理• 結果を高速に表示 …など
101.アーキテクチャーーーーーーーデータモデルマスタ型 P2P型 その他リレーショナル RDB全般 pgpool2などキーバリュー HibariDynamoRiakMemcachedRedisカラム指向BigtableHBaseCassandraドキュメント指向MongoDBCouchDBグラフ指向 Neo4J InfiniteGraph
102.アーキテクチャーーーーーーーデータモデルマスタ型 P2P型 その他リレーショナル RDB全般 pgpool2などキーバリュー HibariDynamoRiakMemcachedRedisカラム指向BigtableHBaseCassandraドキュメント指向MongoDBCouchDBグラフ指向 Neo4J InfiniteGraph大量のデータから高速に結果を場合
103.アーキテクチャーーーーーーーデータモデルマスタ型 P2P型 その他リレーショナル RDB全般 pgpool2などキーバリュー HibariDynamoRiakMemcachedRedisカラム指向BigtableHBaseCassandraドキュメント指向MongoDBCouchDBグラフ指向 Neo4J InfiniteGraph結果のみを高速に返す場合
104.アーキテクチャーーーーーーーデータモデルマスタ型 P2P型 その他リレーショナル RDB全般 pgpool2などキーバリュー HibariDynamoRiakMemcachedRedisカラム指向BigtableHBaseCassandraドキュメント指向MongoDBCouchDBグラフ指向 Neo4J InfiniteGraph大量のデータを集計する場合
105.データベースの選び方大量のデータを処理PaaS(クラウド)がマッチしやすい・BigQuery・RedShift・TreasureData
106.データベースの選び方高速に処理キャッシュのようにKVSを使う・Memcached・DynamoDB・Redis
107.データベースの選び方RDB全般の問題• 大量のデータを処理(ビックデータ)• DBの水平拡張(スケールアウト)• 多種多様なデータモデル対応
108.データベースの選び方DBの水平拡張(スケールアウト)• 参照の負荷分散• 更新の負荷分散• 可用性の確保 …など
109.アーキテクチャーーーーーーーデータモデルマスタ型 P2P型 その他リレーショナル RDB全般 pgpool2などキーバリュー HibariDynamoRiakMemcachedRedisカラム指向BigtableHBaseCassandraドキュメント指向MongoDBCouchDBグラフ指向 Neo4J InfiniteGraphRDBでも出来るが高速ではなかったり、サードパーティが必要だったりする
110.アーキテクチャーーーーーーーデータモデルマスタ型 P2P型 その他リレーショナル RDB全般 pgpool2などキーバリュー HibariDynamoRiakMemcachedRedisカラム指向BigtableHBaseCassandraドキュメント指向MongoDBCouchDBグラフ指向 Neo4J InfiniteGraphDataは分散するが偏ったアクセスなどは分散しない場合も多い
111.アーキテクチャーーーーーーーデータモデルマスタ型 P2P型 その他リレーショナル RDB全般 pgpool2などキーバリュー HibariDynamoRiakMemcachedRedisカラム指向BigtableHBaseCassandraドキュメント指向MongoDBCouchDBグラフ指向 Neo4J InfiniteGraphMongoDBはマスタ型だか自動フェイルオーバーするので要件によってはマッチする
112.データベースの選び方DBの水平拡張(スケールアウト)• RDBでも可能シャーディングやレプリケーション・負荷の予測と分散化が難しい・RDBよりも簡単にNOSQLで行う
113.データベースの選び方DBの水平拡張(スケールアウト)• NOSQLは弱い整合性が多い(AP型)• データにリアルタイム性が不要な場合がにマッチする(履歴ログなど）• データの一貫性が不要な場合もマッチする(ブログなど)
114.データベースの選び方RDB全般の問題• 大量のデータを処理(ビックデータ)• DBの水平拡張(スケールアウト)• 多種多様なデータモデル対応
115.アーキテクチャーーーーーーーデータモデルマスタ型 P2P型 その他リレーショナル RDB全般 pgpool2などキーバリュー HibariDynamoRiakMemcachedRedisカラム指向BigtableHBaseCassandraドキュメント指向MongoDBCouchDBグラフ指向 Neo4J InfiniteGraph
116.アーキテクチャーーーーーーーデータモデルマスタ型 P2P型 その他リレーショナル RDB全般 pgpool2などキーバリュー HibariDynamoRiakMemcachedRedisカラム指向BigtableHBaseCassandraドキュメント指向MongoDBCouchDBグラフ指向 Neo4J InfiniteGraphJSONなど非構造化データを格納最近、PostgreSQLやMySQLも対応してきた領域
117.アーキテクチャーーーーーーーデータモデルマスタ型 P2P型 その他リレーショナル RDB全般 pgpool2などキーバリュー HibariDynamoRiakMemcachedRedisカラム指向BigtableHBaseCassandraドキュメント指向MongoDBCouchDBグラフ指向 Neo4J InfiniteGraphグラフ型はRDBが苦手なデータモデルの最たる例RDBでは難しいデータ構造の表現を可能にする
118.データベースの選び方多種多様なデータモデル対応• リレーショナルモデルで表現出来ないデータ構造は無理しない無理に表現すると問題の原因になる• データモデルが違う場合、お互いのデータ利用にインターフェイスが必要多くの場合はプログラムが結合する
119.あじぇんだ１ 自己紹介２ データベースの種類と特徴３ データベースの選び方４ まとめ
120.まとめデータの寿命はコードより長い
121.まとめ一度作ったデータは変更が難しい
122.まとめ一度作ったデータは変更が難しい↓ソフトウェアの選択が大事
123.まとめ長所と短所を把握する
124.まとめ長所と短所を把握する↓苦手なことをさせない
125.まとめACIDとCAP定理で比較する＋データモデルと要件を比較する
126.まとめデータモデルとソフトウェアの特性を理解する
127.まとめリレーショナル・データベース
128.まとめリレーショナル・データベース↓グラフやツリーを表現させない
129.まとめACIDを担保してないNOSQL
130.まとめACIDを担保してないNOSQL↓お金の管理や集計をさせない
131.まとめインフラをデザインする¦¦得意分野を組み合わせる
132.まとめ適切な設計は適切な拡張を生む
133.まとめ適切な設計は適切な拡張を生む↓Scale UpやScale Outを可能にする
134.まとめデータの寿命はコードより長い大事なことなので二回（ｒｙ
135.まとめオススメの書籍
136.まとめ
137.まとめ
138.まとめ
139.まとめもし現在のアプリケーションがRDBで上手く動いているのであれば、それをNOSQLに置換する理由は無いし、それを勧めたりはしないNate McCall(@zznate)
140.ご静聴ありがとうございました。