Movatterモバイル変換

[0]ホーム
URL:

PDF, PPTX3,210 views

GlusterFS Updates (and more) in 第六回クラウドストレージ研究会

2014/10/30 第六回クラウドストレージ研究会 での資料。

Embed presentation

Download as PDF, PPTX
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 1
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 2AgendaWhat is GlusterFS?The latest GlusterFSReal world GlusterFS
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 3What isGlusterFS?
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 4分散ファイルシステム出典：高橋敬祐 「テクノロジー最前線 今注目の分散ファイルシステム「GlusterFS」」 『日経SYSTEMS 2014年10月号』 pp.54-59
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 5What is GlusterFS?Since 2005目指す世界すべてのクラウド事業者がGoogleのようにスケーラブルなストレージ基盤を構築できることクラウド事業者が自由にハードウェアを選べるようにソフトウェアを実装すること
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 6What is GlusterFS?特徴中央サーバを持たない構成サーバサイドはシンプル。クライアントが豊富な機能を備える。多様なインタフェース
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 7特徴１：中央サーバを持たない構成出典：高橋敬祐 「テクノロジー最前線 今注目の分散ファイルシステム「GlusterFS」」 『日経SYSTEMS 2014年10月号』 pp.54-59
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 8特徴２：クライアントに豊富な機能出典：高橋敬祐 「テクノロジー最前線 今注目の分散ファイルシステム「GlusterFS」」 『日経SYSTEMS 2014年10月号』 pp.54-59
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 9特徴３：多様なインタフェース出典：高橋敬祐 「テクノロジー最前線 今注目の分散ファイルシステム「GlusterFS」」 『日経SYSTEMS 2014年10月号』 pp.54-59
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 10self-heal出典：高橋敬祐 「テクノロジー最前線 今注目の分散ファイルシステム「GlusterFS」」 『日経SYSTEMS 2014年10月号』 pp.54-59
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 11The latestGlusterFS
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 12The latest GlusterFS3.6.0beta3, 3.5.3beta1Bug triage中 (7回目, 10/29時点)トリアージ対象のバグは全て解消新たなトリアージ対象11件
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 13GlusterFS 3.6 でのアップデートErasure Codingヘテロジニアスなブリックボリュームをスコープとしたglusterdのロックが可能にボリュームのスナップショットレプリケーションのチェンジログSSLサポートの強化RDMAの強化
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 14将来の機能追加予定ストレージ自動階層化ログをベースとしたチェイン・レプリケーションゴミ箱小容量ファイルに関する性能向上リバランスの性能向上SELinuxとのインテグレーションポリシーベースのsplit brain解決GlusterFS ServerのクォーラムREST APIカスタム・トランスレータ追加の簡易化etc...
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 15参考: ストレージ自動階層化出典：http://gluster.org/community/documentation/index.php/Features/gluster_compliance_archive
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 16その他の話題OpenShiftGlusterFlow
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 17GlusterFlow出典: http://glusterflow.org/
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 18GlusterFlow出典: http://glusterflow.org/
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 19Real worldGlusterFS
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 20ストレージプール事例：OpenStackとのインテグレーションGlusterFS GlusterFS GlusterFS GlusterFSqemulibgfapi I/FNovaKVMゲストCinderBlockStorageqemulibgfapi I/FNovaKVMゲストCinderBlockStorageqemulibgfapi I/FNovaKVMゲストCinderBlockStorageqemulibgfapi I/FNovaKVMゲストCinderBlockStorageqemulibgfapi I/FNovaKVMゲストCinderBlockStorage......
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 21イベントテーマ「分散ストレージを評価してみた」性能 libgfapi vs FUSE vs NFS KVMゲストの収容限界調査評価環境 10Gig-E SSD CentOS 7, Kernelチューニング済み OpenStack Icehouse GlusterFS 3.5.2, 各パラメタチューニング済みベンチマークツール：fio 2.1.7 各KVMゲスト上で5回計測、平均値を採用 record size = 4KB file size = 10GB jobs数 = 8 iodepth = 8, 1 (それぞれseq, rand)参考値(rand r, rand w, seq r, seq w, IOPS) 東芝SSD&XFS ... 76213, 29371, 98295, 112217 上記+GlusterNative ... 16464, 14927, 17553, 26624
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 22libgfapi vs FUSE vs NFS・KVMゲスト50VM・このうち10VM上でfioを同時実行・各KVMゲストのIOPS上限を1000に制限↓・ホストOSのload average, iowaitに関して、libgfapiに大きなアドバンテージ。・KVMゲストのiowaitもlibgfapiが優位。
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 23KVMゲストの収容限界調査(libgfapi, IOPS)・qemu-kvmのバージョン2.0を使用 (1.5.3使用時は、KVMゲスト50VM時にVMがio-errorでクラッシュ)・各KVMゲストのIOPS上限を1000に制限(10VM以上の場合)
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 24KVMゲストの収容限界調査(libgfapi, スループット)
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 25イベントテーマ「SDS導入に必要なことは？」冷静になって考える本当に必要か？なぜ必要なのか？インタフェースは最適か？２冗長？３冗長？パフォーマンスのスケールアウトに対する考察収容設計は入念にアクセスパターン要求されるスループットログの管理も要検討ログローテーションログコレクタの活用
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 26ConclusionGlusterFSについて紹介しました。実装予定機能や関連ツールなど、技術的な話題は（今も昔も）豊富にあります。多数の商用実績があります。今回は２つの事例を紹介しました。評価として、OpenStack Cinderとしてのユースケースにおける性能評価を紹介しました。Software Defined Storageの導入は計画的に。
Copyright （C） 2014, NTTPC Communications, Inc. All Rights Reserved. 27To contact us, e-mail here -> storage-contact@nttpc.co.jp

Recommended

PDF
Sheepdogを使ってみて分かったこと（第六回ストレージ研究会発表資料）
PDF
GlusterFS Masakari Talks
PDF
10年効く分散ファイルシステム技術 GlusterFS & Red Hat Storage
PDF
マルチAZ対応！AWS上で稼働するスケールアウトNAS Red Hat Storage
PDF
20190926_Try_RHEL8_NVMEoF_Beta
PDF
Gluster fsにおいて内在するincident要因
PPTX
OSSで実現するハイブリッドクラウド4ノードクラスタ ～Pacemakerのチケット機能で災害対策～
PDF
AWS re:Invent2017で見た AWSの強さとは
PDF
レッドハット グラスター ストレージ Red Hat Gluster Storage (Japanese)
PDF
Comparing GlusterFS Swift API to Native Swift
PDF
Storage by Red Hat #rhcpday 2015
PDF
第31回「今アツい、分散ストレージを語ろう」(2013/11/28 on しすなま!)
PPT
Ceph With Quanta Stor
PDF
openstack+cephインテグレーション
PDF
DRBD 8.3の開発終了に伴う今後の対応について
PDF
Cephを用いたwordpressの構築[LT版]
PDF
KVM環境におけるネットワーク速度ベンチマーク
PPTX
コンテナって何？
PDF
ceph acceleration and storage architecture
PDF
DRBD9とdrbdmanageの紹介
PDF
Fluentdでログを集めてGlusterFSに保存してMapReduceで集計
PDF
Ethernetの受信処理
PDF
DRBD9とdrbdmanageの概要紹介
PDF
20180423 OpenStackユーザー会 SDS
PDF
Troveコミュニティ動向
PDF
サバフェスLT(元うなぎ屋)
PDF
Red Hat ストレージ製品
PDF
Router board勉強会vol2（配布用）
PDF
Red Hat OpenShift Container Storage
PDF
第6回インターネットと運用技術シンポジウム WIPセッション

More Related Content

PDF
Sheepdogを使ってみて分かったこと（第六回ストレージ研究会発表資料）
PDF
GlusterFS Masakari Talks
PDF
10年効く分散ファイルシステム技術 GlusterFS & Red Hat Storage
PDF
マルチAZ対応！AWS上で稼働するスケールアウトNAS Red Hat Storage
PDF
20190926_Try_RHEL8_NVMEoF_Beta
PDF
Gluster fsにおいて内在するincident要因
PPTX
OSSで実現するハイブリッドクラウド4ノードクラスタ ～Pacemakerのチケット機能で災害対策～
PDF
AWS re:Invent2017で見た AWSの強さとは
Sheepdogを使ってみて分かったこと（第六回ストレージ研究会発表資料）
GlusterFS Masakari Talks
10年効く分散ファイルシステム技術 GlusterFS & Red Hat Storage
マルチAZ対応！AWS上で稼働するスケールアウトNAS Red Hat Storage
20190926_Try_RHEL8_NVMEoF_Beta
Gluster fsにおいて内在するincident要因
OSSで実現するハイブリッドクラウド4ノードクラスタ ～Pacemakerのチケット機能で災害対策～
AWS re:Invent2017で見た AWSの強さとは

What's hot

PDF
レッドハット グラスター ストレージ Red Hat Gluster Storage (Japanese)
PDF
Comparing GlusterFS Swift API to Native Swift
PDF
Storage by Red Hat #rhcpday 2015
PDF
第31回「今アツい、分散ストレージを語ろう」(2013/11/28 on しすなま!)
PPT
Ceph With Quanta Stor
PDF
openstack+cephインテグレーション
PDF
DRBD 8.3の開発終了に伴う今後の対応について
PDF
Cephを用いたwordpressの構築[LT版]
PDF
KVM環境におけるネットワーク速度ベンチマーク
PPTX
コンテナって何？
PDF
ceph acceleration and storage architecture
PDF
DRBD9とdrbdmanageの紹介
PDF
Fluentdでログを集めてGlusterFSに保存してMapReduceで集計
PDF
Ethernetの受信処理
PDF
DRBD9とdrbdmanageの概要紹介
PDF
20180423 OpenStackユーザー会 SDS
PDF
Troveコミュニティ動向
PDF
サバフェスLT(元うなぎ屋)
PDF
Red Hat ストレージ製品
PDF
Router board勉強会vol2（配布用）
レッドハット グラスター ストレージ Red Hat Gluster Storage (Japanese)
Comparing GlusterFS Swift API to Native Swift
Storage by Red Hat #rhcpday 2015
第31回「今アツい、分散ストレージを語ろう」(2013/11/28 on しすなま!)
Ceph With Quanta Stor
openstack+cephインテグレーション
DRBD 8.3の開発終了に伴う今後の対応について
Cephを用いたwordpressの構築[LT版]
KVM環境におけるネットワーク速度ベンチマーク
コンテナって何？
ceph acceleration and storage architecture
DRBD9とdrbdmanageの紹介
Fluentdでログを集めてGlusterFSに保存してMapReduceで集計
Ethernetの受信処理
DRBD9とdrbdmanageの概要紹介
20180423 OpenStackユーザー会 SDS
Troveコミュニティ動向
サバフェスLT(元うなぎ屋)
Red Hat ストレージ製品
Router board勉強会vol2（配布用）

Similar to GlusterFS Updates (and more) in 第六回クラウドストレージ研究会

PDF
Red Hat OpenShift Container Storage
PDF
第6回インターネットと運用技術シンポジウム WIPセッション
PDF
VIOPS07: “Practical” Guide to GlusterFS
PDF
141030ceph
PDF
20101029 open cloudcampus-1
PDF
コンテナ時代にインフラエンジニアは何をするのか
PDF
ZFS on Linux @ZFS Day 2011.10
PDF
Try andstudy cloud_20120509_nagoya
PDF
OpenCloudCampus : Cloud Technologies Meeting (OpenStack)
PDF
データが覗いたOpenStack Summit Vancouver
PDF
Hadoop, NoSQL, GlusterFSの概要
PDF
最新技術動向 GlusterFS (仮想化DAY, Internet Week 2011)
PPTX
自宅スケーラブル・ファイルシステムのご紹介
PDF
20180704 AWS Black Belt Online Seminar Amazon Elastic File System (Amazon EFS...
PDF
RICC update meet34
PDF
センターSEがAmazon EFSと戯れてみた
PDF
Gluster fs and_swiftapi_20120429
PDF
Cloud Native市場動向およびRancher Labsが提供するKubernetes Everywhere戦略について
PDF
20180704(20190520 Renewed) AWS Black Belt Online Seminar Amazon Elastic File ...
PDF
「hbstudy#23 OpenStack祭！！」資料　～OpenStackプロジェクトの全体像～
Red Hat OpenShift Container Storage
第6回インターネットと運用技術シンポジウム WIPセッション
VIOPS07: “Practical” Guide to GlusterFS
141030ceph
20101029 open cloudcampus-1
コンテナ時代にインフラエンジニアは何をするのか
ZFS on Linux @ZFS Day 2011.10
Try andstudy cloud_20120509_nagoya
OpenCloudCampus : Cloud Technologies Meeting (OpenStack)
データが覗いたOpenStack Summit Vancouver
Hadoop, NoSQL, GlusterFSの概要
最新技術動向 GlusterFS (仮想化DAY, Internet Week 2011)
自宅スケーラブル・ファイルシステムのご紹介
20180704 AWS Black Belt Online Seminar Amazon Elastic File System (Amazon EFS...
RICC update meet34
センターSEがAmazon EFSと戯れてみた
Gluster fs and_swiftapi_20120429
Cloud Native市場動向およびRancher Labsが提供するKubernetes Everywhere戦略について
20180704(20190520 Renewed) AWS Black Belt Online Seminar Amazon Elastic File ...
「hbstudy#23 OpenStack祭！！」資料　～OpenStackプロジェクトの全体像～

More from Keisuke Takahashi

PDF
Azure Database for PostgreSQL 入門 (PostgreSQL Conference Japan 2021)
PDF
パーフェクト"Elixir情報収集"
PDF
Trying and evaluating the new features of GlusterFS 3.5
PDF
Gluster Cloud Night in Tokyo 2013 -- Tips for getting started
PDF
Big Data入門に見せかけたFluentd入門
PDF
Gluster in Japan 2012-2013
PDF
Creating a shared storage service with GlusterFS
PDF
GlusterFSとInfiniBandの小話
PDF
GlusterFS 技術と動向 2of2
PDF
GlusterFS 技術と動向 1of2
PDF
GlusterFS As an Object Storage
PDF
GlusterFS モジュール超概論
PDF
GlusterFS座談会テクニカルセッション
Azure Database for PostgreSQL 入門 (PostgreSQL Conference Japan 2021)
パーフェクト"Elixir情報収集"
Trying and evaluating the new features of GlusterFS 3.5
Gluster Cloud Night in Tokyo 2013 -- Tips for getting started
Big Data入門に見せかけたFluentd入門
Gluster in Japan 2012-2013
Creating a shared storage service with GlusterFS
GlusterFSとInfiniBandの小話
GlusterFS 技術と動向 2of2
GlusterFS 技術と動向 1of2
GlusterFS As an Object Storage
GlusterFS モジュール超概論
GlusterFS座談会テクニカルセッション

GlusterFS Updates (and more) in 第六回クラウドストレージ研究会

  • 1.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 1
  • 2.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 2AgendaWhat is GlusterFS?The latest GlusterFSReal world GlusterFS
  • 3.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 3What isGlusterFS?
  • 4.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 4分散ファイルシステム出典：高橋敬祐 「テクノロジー最前線 今注目の分散ファイルシステム「GlusterFS」」 『日経SYSTEMS 2014年10月号』 pp.54-59
  • 5.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 5What is GlusterFS?Since 2005目指す世界すべてのクラウド事業者がGoogleのようにスケーラブルなストレージ基盤を構築できることクラウド事業者が自由にハードウェアを選べるようにソフトウェアを実装すること
  • 6.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 6What is GlusterFS?特徴中央サーバを持たない構成サーバサイドはシンプル。クライアントが豊富な機能を備える。多様なインタフェース
  • 7.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 7特徴１：中央サーバを持たない構成出典：高橋敬祐 「テクノロジー最前線 今注目の分散ファイルシステム「GlusterFS」」 『日経SYSTEMS 2014年10月号』 pp.54-59
  • 8.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 8特徴２：クライアントに豊富な機能出典：高橋敬祐 「テクノロジー最前線 今注目の分散ファイルシステム「GlusterFS」」 『日経SYSTEMS 2014年10月号』 pp.54-59
  • 9.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 9特徴３：多様なインタフェース出典：高橋敬祐 「テクノロジー最前線 今注目の分散ファイルシステム「GlusterFS」」 『日経SYSTEMS 2014年10月号』 pp.54-59
  • 10.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 10self-heal出典：高橋敬祐 「テクノロジー最前線 今注目の分散ファイルシステム「GlusterFS」」 『日経SYSTEMS 2014年10月号』 pp.54-59
  • 11.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 11The latestGlusterFS
  • 12.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 12The latest GlusterFS3.6.0beta3, 3.5.3beta1Bug triage中 (7回目, 10/29時点)トリアージ対象のバグは全て解消新たなトリアージ対象11件
  • 13.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 13GlusterFS 3.6 でのアップデートErasure Codingヘテロジニアスなブリックボリュームをスコープとしたglusterdのロックが可能にボリュームのスナップショットレプリケーションのチェンジログSSLサポートの強化RDMAの強化
  • 14.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 14将来の機能追加予定ストレージ自動階層化ログをベースとしたチェイン・レプリケーションゴミ箱小容量ファイルに関する性能向上リバランスの性能向上SELinuxとのインテグレーションポリシーベースのsplit brain解決GlusterFS ServerのクォーラムREST APIカスタム・トランスレータ追加の簡易化etc...
  • 15.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 15参考: ストレージ自動階層化出典：http://gluster.org/community/documentation/index.php/Features/gluster_compliance_archive
  • 16.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 16その他の話題OpenShiftGlusterFlow
  • 17.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 17GlusterFlow出典: http://glusterflow.org/
  • 18.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 18GlusterFlow出典: http://glusterflow.org/
  • 19.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 19Real worldGlusterFS
  • 20.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 20ストレージプール事例：OpenStackとのインテグレーションGlusterFS GlusterFS GlusterFS GlusterFSqemulibgfapi I/FNovaKVMゲストCinderBlockStorageqemulibgfapi I/FNovaKVMゲストCinderBlockStorageqemulibgfapi I/FNovaKVMゲストCinderBlockStorageqemulibgfapi I/FNovaKVMゲストCinderBlockStorageqemulibgfapi I/FNovaKVMゲストCinderBlockStorage......
  • 21.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 21イベントテーマ「分散ストレージを評価してみた」性能 libgfapi vs FUSE vs NFS KVMゲストの収容限界調査評価環境 10Gig-E SSD CentOS 7, Kernelチューニング済み OpenStack Icehouse GlusterFS 3.5.2, 各パラメタチューニング済みベンチマークツール：fio 2.1.7 各KVMゲスト上で5回計測、平均値を採用 record size = 4KB file size = 10GB jobs数 = 8 iodepth = 8, 1 (それぞれseq, rand)参考値(rand r, rand w, seq r, seq w, IOPS) 東芝SSD&XFS ... 76213, 29371, 98295, 112217 上記+GlusterNative ... 16464, 14927, 17553, 26624
  • 22.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 22libgfapi vs FUSE vs NFS・KVMゲスト50VM・このうち10VM上でfioを同時実行・各KVMゲストのIOPS上限を1000に制限↓・ホストOSのload average, iowaitに関して、libgfapiに大きなアドバンテージ。・KVMゲストのiowaitもlibgfapiが優位。
  • 23.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 23KVMゲストの収容限界調査(libgfapi, IOPS)・qemu-kvmのバージョン2.0を使用 (1.5.3使用時は、KVMゲスト50VM時にVMがio-errorでクラッシュ)・各KVMゲストのIOPS上限を1000に制限(10VM以上の場合)
  • 24.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 24KVMゲストの収容限界調査(libgfapi, スループット)
  • 25.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 25イベントテーマ「SDS導入に必要なことは？」冷静になって考える本当に必要か？なぜ必要なのか？インタフェースは最適か？２冗長？３冗長？パフォーマンスのスケールアウトに対する考察収容設計は入念にアクセスパターン要求されるスループットログの管理も要検討ログローテーションログコレクタの活用
  • 26.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 26ConclusionGlusterFSについて紹介しました。実装予定機能や関連ツールなど、技術的な話題は（今も昔も）豊富にあります。多数の商用実績があります。今回は２つの事例を紹介しました。評価として、OpenStack Cinderとしてのユースケースにおける性能評価を紹介しました。Software Defined Storageの導入は計画的に。
  • 27.
    Copyright （C） 2014,NTTPC Communications, Inc. All Rights Reserved. 27To contact us, e-mail here -> storage-contact@nttpc.co.jp
[8]ページ先頭
©2009-2025 Movatter.jp