Downloaded 28 times
![[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fdi12-170616053736-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[Azure Antenna] クラウドで HPC ～ HPC on Azure ～](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fhpconazure111282017-171206080933-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
2013年版の inside windows azure
- 1.2013年版のInside Windows AzureJapanWindows Azure User GroupMicrosoft MVP for Windows Azureはるたまhttp://twitter.com/harutama
- 2.
- 3.本セッションのゴール• Windows Azureの裏側がどんな仕組みで動いているのか、なんとなく理解する。3
- 4.参考リソース• Windows AzureInternalshttp://channel9.msdn.com/Events/TechEd/NorthAmerica/2013/WAD-B402• Windows Azure Role Architecturehttp://blogs.msdn.com/b/kwill/archive/2011/05/05/windows-azure-role-architecture.aspx4
- 5.
- 6.
- 7.7People’s ears usuallyperk-upwhen they hear WindowsAzure uses more servercompute capacity than wasused on the planet in 1999.http://blogs.msdn.com/b/windowsazure/archive/2012/05/24/datacenter-expansion-and-capacity-planning.aspx
- 8.
- 9.PC Watch 1999年10大ニュース順位項目1 AMD Athlon登場2 プレイステーション2発表3 10万円PC登場、大手メーカーまで波及4 台湾大地震により、国内PC市場に大きな影響5 Microsoftと司法省の裁判で、Microsoftに不利な事実認定下る6 アップル、iMacのデザイン盗用で各社を提訴7 SDRAM価格高騰、128MBで2万円を越える8 Pentium III登場、年末には0.18μmプロセスの新世代へ9 Intel 820チップセット発表直前で延期10 iモード携帯電話、急速に普及9http://pc.watch.impress.co.jp/docs/article/991224/best10.htm
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.ネットワークアーキテクチャ• Gen.1は Treeネットワーク– 上の階層を経由する通信は転送速度が落ちる。• トラフィックが集中してしまう• ブロッキングの影響が大きくなってしまう– 上の階層では IN/OUT のバランスが悪くなる。＝オーバーサブスクリプションが大きい• Gen.2以降は Fat-Tree ネットワーク– 基本的な考え方は “レイヤー間を全部つないじゃう”＝ノンブロッキングで通信可能＝多くの物理マシンを収容できる15
- 16.参考• 【Force10 Z9000とHPC】スケーラブル10GbEネットワークの設計- パート１– http://ja.community.dell.com/techcenter/b/weblog/archive/2012/08/24/force10-z9000-hpc-10gbe.aspx• 【Force10 Z9000とHPC】スケーラブル10GbEネットワークの設計 - パート2– http://ja.community.dell.com/techcenter/b/weblog/archive/2012/08/27/force10-z9000-hpc-10gbe-2.aspx• ビジネス向けIBネットワークを考える～HPCクラスタでの経験を踏まえて～– http://www.slideshare.net/naotomatsumoto/ib-hpc16
- 17.ボーダーリーフスパインGen.2 Network: Quantum1017コンピュートラック80本 7200ノード ストレージラック 20本 720ノード・・・・・・・・・ ・・・・・・・・・
- 18.クラスタースパインデータセンタースパインセット2クラスタースパインデータセンタースパインセット1ボーダーリーフGen.3 Network: Quantum10v218コンピュートクラスター900ノード ストレージクラスター 720ノード・・・・・・・・・ ・・・・・・・・・
- 19.
- 20.
- 21.論理アーキテクチャ• データセンター内の物理マシンは「クラスター」という単位で分割されている。– 1つのクラスタは約1000台の物理マシンで構成される–不具合の影響がクラスター内で閉じ込められるような設計• 各クラスターは「ファブリックコントローラー(FC)」によって管理されている。21クラスターファブリックコントローラーファブリックコントローラー……
- 22.
- 23.ファブリックコントローラーの役目• データセンターにおけるカーネルの役割– データセンターのハードウエア管理–動作しているサービスの管理23物理マシンOfficeSQLServerデータセンターIaaSPaaSAzureDatabase
- 24.ファブリックコントローラーの仕事• リソースの割り当て– 新しい仮想マシンの作成（もちろん効率的に）–仮想マシンのスケールアップ・スケールアウトの対応• リソースのプロビジョニング– 物理マシンが故障した際は健全なマシンに移動させる• サービスのライフサイクル管理– アプリケーションのアップデート– ゲストOSの自動アップデート• サービスのヘルスチェック– アプリケーションの死活監視– ゲストOSの状態管理24
- 25.起動の仕組み• ユーティリティファブリックコントローラーにより起動される。– ファブリックコントローラーの複製元–アップデートの際にも使用される• ユーティリティファブリックコントローラーは各ファブリックコントローラーのFeed(Datacenter.xml)を購読している。– 各サーバーのIPアドレス– サービスに割り当てるためにプールされたIP– ネットワーク機器やPDU(Power Distribution Unit)のIPアドレス25
- 26.ファブリックコントローラーの中身• 仮想マシンを作成するための仕組みを持っている– 各種のイメージファイル•物理マシンのメンテナンス用OS• ホスト用OS• ロールインスタンス用OS– 配布するための仕組み• PXEサーバー• Windows 展開サービス(Windows Deployment Services)26ファブリックコントローラーメンテOSホストOSロールOSWindows展開サービスPXE サーバー
- 27.
- 28.ノードの中身• ノード上では、ホストVM(1個)とアプリVM(n個)が動作している。• アプリVMとホストVMは、エージェント同士が通信する。•ファブリックコントローラーには、ホストエージェントからアプリケーションVMの情報が伝えられる。28ノードファブリックコントローラーハイパーバイザーホストOSアプリVMホストエージェントゲストエージェント
- 29.
- 30.
- 31.(2)ホストOSのインストール• エージェントはホストOSをインストールする– ノードが持つ物理ディスクをフォーマット–ファブリックコントローラーのWindows 展開サービスからインストールされる31ノード ファブリックコントローラーメンテOSホストOSロールOSWindows展開サービスPXE サーバーエージェントメンテナンスOS
- 32.(3)sysprepの実行• ノードが再起動してホストOSがブートされる。• sysprepコマンドを実行して新しいSIDを作成。その後、再び再起動。32ノードファブリックコントローラーメンテOSホストOSロールOSWindows展開サービスPXE サーバーハイパーバイザーホストOSsysprep/specialize
- 33.
- 34.(5)その後• 各ノードが持っているイメージリポジトリに、ファブリックコントローラーが持っているOSイメージを配布する。– 各種ロールのOSイメージやzipファイルなど34ノードファブリックコントローラーハイパーバイザーメンテOSホストOSロールOSWindows展開サービスPXE サーバーホストOSホストエージェント
- 35.
- 36.RDFEデータセンター外から見たWindows Azure36ファブリックコントローラー管理ポータルWindows AzurePowerShellCmdletsファブリックコントローラー…
- 37.RDFEって何？• RedDog FrontEnd の略称– Windows Azureに対するAPIをインターネットに公開しているフロントエンド– ユーザからのすべてのリクエストはRDFEを通る• Red Dog って何？– Windows Azureがまだ開発中だった頃のコードネーム– ちょっと間違えていたらPink Poodleになっていたhttp://japan.zdnet.com/cio/sp_07microsoft/20384470/37
- 38.
- 39.RDFEの役割• Windows Azureのフロントエンドとしての役目–サブスクリプションの管理– 課金のカウント– 各種サービスの管理• ストレージとコンピュートのインスタンスを効率良く運用する– データセンターリージョンの決定– アフィニティグループの考慮– データセンターのVirtual IPやノードの状況も考えつつ39
- 40.
- 41.
- 42.
- 43.
- 44.(4)VMの作成• アプリケーションが動作する仮想マシンを作成する。これが最終的にロールインスタンスとなる。– VMの元となるOSイメージ（Dドライブ）はホストにあるイメージリポジトリ内にある。–ローカルディスク領域（Cドライブ）とロールが配置される領域（EもしくはFドライブ）は動的にイメージが生成される。44RDFEノードファブリックコントローラーハイパーバイザーホストOSアプリVMホストエージェントクライアント
- 45.
- 46.(6)外部通信の設定• 仮想マシンのネットワークを設定する– 外部につながるDynamicIPを割り当てる– 内部のVirtual IPとポートを設定し、外部のDynamic IPを紐付ける– 仮想マシン間の通信にパケットフィルターを適用– 外部と内部をつなぐロードバランサーの設定を行う46ノードファブリックコントローラーハイパーバイザーホストOSアプリVMホストエージェントゲストエージェントルーターロードバランサー
- 47.サービスの監視• ファブリックコントローラーは、ソフト・ハードの監視によって、サービスの可用性を管理する。– 基本的にハートビートを監視–影響のあるノードは自動的に修復される47問題の種類 検出の方法 対処方法ロールインスタンスのクラッシュファブリックコントローラーがゲストエージェント経由で監視・ロールを再起動ゲストVMやゲストエージェントのクラッシュホストエージェントがファブリックコントローラーにハートビートがなくなったことを警告・ロールの再起動や、ゲストVMの再起動ホストOSやホストエージェントのクラッシュファブリックコントローラーがホストエージェントのハートビートを監視・ロールの回復を試みる・他ノードにロールをマイグレートノードのハードウエア障害ホストエージェントがファブリックコントローラーに警告・他ノードにロールをマイグレート・ノードに対して“out for repair”とマーキング
- 48.
- 49.割り当てられる IP アドレス•パブリック仮想 IP アドレス＝ Virtual IP ＝ VIP– インターネット側からアクセスする際の IP アドレス。• 内部 IP アドレス＝ Dynamic IP ＝ DIP– Windows Azure の内部で割り当てられた IP アドレス。– 内部 IP アドレスはWindows Azureのソフトウエアロードバランサーで管理がされる。49
- 50.絵で描くとこんな感じ• ロードバランサーを経由すると0.5msec程度の遅延が入る。• WindowsAzure のロードバランサーはソフトウエアです。ハードウエアではありません。50インスタンス010.2.3.4（内部IP）インスタンス110.2.3.5（内部IP）ロードバランサー65.123.44.22（仮想IP）インターネット0.5msec 程度のレイテンシー
- 51.
- 52.
- 53.
- 54.(3)モニタリングの開始54ソフトウエアロードバランサーマネージャーロールソフトウエアロードバランサーマネージャーダイナミックIP ヘルスモニターノードハイパーバイザーホストOSアプリVMホストエージェントゲストエージェントMUX ロールルートマネージャーMUXエージェントMUX ドライバーアプリVMの監視対象となるポートに対してのモニタリングをヘルスモニターが開始する。仮想スイッチ
- 55.(4)MUXロールの構成55ソフトウエアロードバランサーマネージャーロールソフトウエアロードバランサーマネージャーダイナミックIP ヘルスモニターノードハイパーバイザーホストOSアプリVMホストエージェントゲストエージェントMUX ロールルートマネージャーMUXエージェントMUX ドライバーMUX ロールに対して、仮想IPアドレスと内部IPアドレスの関係を通知。これをもとにして、エージェントとドライバの動作を変更する。仮想スイッチ
- 56.(5)物理ネットワークの構成56ノードハイパーバイザーホストOSアプリVMホストエージェントゲストエージェントMUX ロールルートマネージャーMUX エージェントMUXドライバー物理ネットワークデバイスルートマネージャーが物理ネットワークデバイスの構成を変更して、仮想IPアドレスに対する外部からのパケットのルーティングを開始。インターネット仮想スイッチ
- 57.(6)これで完成57ノードハイパーバイザーホストOSアプリVMホストエージェントゲストエージェントMUX ロールルートマネージャーMUX エージェントMUXドライバー物理ネットワークデバイスインターネット仮想スイッチこんな感じでインターネットからWindows Azure の内部にパケットが流れ始める。
- 58.
- 59.
- 60.
- 61.
- 62.
- 63.
- 64.
- 65.
- 66.Let’s dream andthen let’s build.- Ray Ozzieはるたま (@harutama)http://twitter.com/harutama