Downloaded 43 times
Uploaded byMichio Katano
PPTX, PDF6,353 views
HBase×Impalaで作るアドテク 「GMOプライベートDMP」@HBaseMeetupTokyo2015Summer
GMOインターネットグループのアドテク・サービスの一つ「GMOプライベートDMP」。GMOアプリクラウドのインフラにCDHのHadoopエコシステムを構築しました。コア・テクノロジーとしてのHBase×Impala活用事例と、システム設計についてご紹介します。
![[db tech showcase Tokyo 2014] L32: Apache Cassandraに注目！！（IoT, Bigdata、NoSQLのバ...](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fdbtstokyo2014l32datastaxapachecassandraiotbigdatanosql-141120022255-conversion-gate02-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[db tech showcase Tokyo 2017] A15: レプリケーションを使用したデータ分析基盤構築のキモ（事例）by 株式会社インサイトテ...](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fa15-170912020524-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
More Related Content
What's hot
Viewers also liked
Similar to HBase×Impalaで作るアドテク 「GMOプライベートDMP」@HBaseMeetupTokyo2015Summer
![[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fdbtstokyo2014d33presto-141120012543-conversion-gate01-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[db tech showcase Tokyo 2014] B22: Hadoop Rush!! HDFSからデータを自在に取得、加工するにはどうする？ ...](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fdbtstokyo2014b22hadooprushhdfs-141119235245-conversion-gate01-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
HBase×Impalaで作るアドテク 「GMOプライベートDMP」@HBaseMeetupTokyo2015Summer
- 1.
- 2.1自己紹介 片野 道雄所属GMOアドパートナーズ株式会社グループCTO室マネージャー兼GMOインターネット株式会社次世代システム研究室 マネージャーキャリア データベースエンジニア出身DB/NoSQL経験Oracle RAC, MySQL,MySQL Cluster, Percona Server (@Fusion-io),MariaDB Galera Cluster, PostgreSQL (+ Slony-I),Solr, Cassandra,
- 3.2●１児のパパ▪ 娘です●Jリーグ大好き▪ 10年以上のソシオ▪もちろん、娘に●最近は、Hadoopに注力▪ 特にHive/HBase
- 4.3目次1. そもそも「DMP」ってなに？2. 「GMOプライベートDMP」について3.システムで目指したもの - Hadoopエコシステム4. システム構成 - GMOアプリクラウド5. HBase x Impala 活用事例6. まとめ
- 5.41. そもそも「DMP」ってなに？2. 「GMOプライベートDMP」について3.システムで目指したもの - Hadoopエコシステム4. システム構成 - GMOアプリクラウド5. HBase x Impala 活用事例6. まとめ１章
- 6.5DMP = DataManagement Platformデータをためて活用する「箱」▪ パブリックDMP▪ プライベートDMPアドテク業界で主に使われている言葉
- 7.6DMPの活用⇒ ネット広告の配信に活用⇒ データ分析⇒メール配信、LPO … etc●アドネットワークやDSPと連携
- 8.7アドネットワークやDSPとは、JSタグで連携 = タグ発火（PiggyBack）DMPから広告配信
- 9.
- 10.
- 11.
- 12.111. そもそも「DMP」ってなに？2. 「GMOプライベートDMP」について3.システムで目指したもの - Hadoopエコシステム4. システム構成 - GMOアプリクラウド5. HBase x Impala 活用事例6. まとめ２章
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.171. そもそも「DMP」ってなに？2. 「GMOプライベートDMP」について3.システムで目指したもの - Hadoopエコシステム4. システム構成 - GMOアプリクラウド5. HBase x Impala 活用事例6. まとめ３章
- 19.
- 20.
- 21.20目指したのは、以下を満たすシステム▪ データの移動時間が少ない•できるだけクエリの実行時間のみに▪ システムがバラバラでない•システム同士を蜜結合したりしない▪ビッグデータ＆高負荷に対応できる•かつ、スケールアウトしやすい
- 22.
- 23.221. そもそも「DMP」ってなに？2. 「GMOプライベートDMP」について3.システムで目指したもの - Hadoopエコシステム4. システム構成 - GMOアプリクラウド5. HBase x Impala 活用事例6. まとめ４章
- 24.
- 25.24CDH の推奨スペック▪ ディスク：1~4TBの HDD を 12~24台積む (JBOD)▪ CPU：2~2.5GHz の 4/6/8コア CPU × 2▪ RAM：64~512GB(Impala を利利⽤⽤する場合は 128GB 以上を推奨)▪ ネットワーク：10Gbit (20台以下であれば 1Gbit)もちろんワークロード次第
- 26.25AWS の EC2のハイスペックなど▪ m4.4xlarge / m4.10xlarge / r3.4xlarge … etc24時間 365日 稼動しっぱなしは金額的に厳しい
- 27.
- 28.27CDH クラスタRAID なしHbase8GMemImpala数十G～Mem
- 29.281. そもそも「DMP」ってなに？2. 「GMOプライベートDMP」について3.システムで目指したもの - Hadoopエコシステム4. システム構成 - GMOアプリクラウド5. HBase x Impala 活用事例6. まとめ５章
- 30.29HBase x Impala活用事例① HBase キー設計（セグメントデータを prefix scan）② Column Family の設計（TTLを変える、挿入タイミング）③ HBase と Impala の連携（Hiveの外部テーブル）④ マスターデータを1行1セルにJSONで⑤HBase までのデータフロー設計(Flume ⇒ Impala ⇒ 画面操作 ⇒ MQ ⇒ Impala ⇒ Hbase)⑥ Impala クエリ性能
- 31.
- 32.
- 33.
- 34.
- 35.
- 36.35例）Scan scan =new Scan(prefixStart,prefixEnd);prefixStart = “AAAAA_”prefixEnd = “AAAAA_XXX”
- 37.
- 38.37▪ Hive のテーブルを通して、ImpalaクエリからHBaseテーブルに読み書きできる▪HBase テーブルを先に作り、Hive は外部テーブルとして作るのがポイント通常の Hive テーブルとして作ると、HBase のデータ項目が増えたとき Hive 側だけで柔軟に対応できなくなるHBase x Impala③ HBase x Impala の連携
- 39.38create ‘gmo.user_segments’,{ NAME=> ‘CF1',DATA_BLOCK_ENCODING => 'NONE',BLOOMFILTER => 'ROW',VERSIONS => 1,TTL => 86400,BLOCKCACHE => true},{ NAME => ‘CF2',DATA_BLOCK_ENCODING => 'NONE',BLOOMFILTER => 'ROW',VERSIONS => 1,TTL => -1,BLOCKCACHE => true}HBase 側でテーブル作成
- 40.39use gmo;CREATE EXTERNALTABLE user_segments(seg_id int,seg_datetime string)STORED BY‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’WITH SERDEPROPERTIES (“hbase.columns.mapping” =“:key,CF1:qtimeCF2:qtime");Hive 側で外部テーブル作成
- 41.40④ マスターデータを 1行 1 セルに JSON で
- 42.
- 43.
- 44.43テストデータ 総数 備考アクセスログ(PV)24 億件 オンラインCookie + 会員IDオンライン オフライン2.4 億件オンライン＋オフライン会員属性 3000 万件 オフライン購買履歴 30 億件 オフラインその他データ 3 億件 オフライン総クエリ数Impala クエリ2880 個1セグメント=Nクエリ結合※条件を絞って全データを結合クエリ分割⑥ Impala クエリ性能
- 45.44項目 結果 詳細総処理時間71 分1 クエリの平均処理時間1.48 秒 2880 クエリエラー件数 0Impala からテーブル結合して HBase へ書き込んでいるが平均1.5秒に収まる範囲で終わっており、すぐに参照可能に
- 46.451. そもそも「DMP」ってなに？2. 「GMOプライベートDMP」について3.システムで目指したもの - Hadoopエコシステム4. システム構成 - GMOアプリクラウド5. HBase x Impala 活用事例6. まとめ６章
- 47.46▪ HBase xImpala (or Hive) は強力• HBase テーブル -> Hive 外部テーブル• HBase への書き込みは、ほぼ Impala の Insert のみ▪ HBase のキー設計と Column Family 設計は柔軟• Prefix 文字を使った Range Scan というやり方 -> 性能十分• Column Family で、TTL を分ける、テーブル結合など• １カラムのみに JSON ということもできるまとめいろいろできる
- 48.
- 49.
Editor's Notes
- #7 このスライドを説明した後、http://www.tableau.com/ja-jp/products このデモムービーの冒頭22秒をみせる
- #8 このスライドを説明した後、http://www.tableau.com/ja-jp/products このデモムービーの冒頭22秒をみせる
- #9 このスライドを説明した後、http://www.tableau.com/ja-jp/products このデモムービーの冒頭22秒をみせる
- #10 このスライドを説明した後、http://www.tableau.com/ja-jp/products このデモムービーの冒頭22秒をみせる
- #11 このスライドを説明した後、http://www.tableau.com/ja-jp/products このデモムービーの冒頭22秒をみせる
- #12 このスライドを説明した後、http://www.tableau.com/ja-jp/products このデモムービーの冒頭22秒をみせる
- #22 このスライドを説明した後、http://www.tableau.com/ja-jp/products このデモムービーの冒頭22秒をみせる