Movatterモバイル変換

KVM&Open vswitchでVPS+を作ってみる

自己紹介中嶋大輔主にC社のRouterやSwitchなどを使ってお客様ネットワークの設計構築してました。趣味：自転車、食道楽Twitter @ mamesan

VPSってなに？rootがもらえるレンタルサーバーです。さんなどがサービスしていますOSも結構選べてすぐ使える！

VPS+ってなに？複数NICを使えるようにVPSをちょっと拡張してみましたルーターこのあたりが＋ NIC インターネット用NICと Open vSwitch イントラネット用NICが使える！ TAP TAP TAP TAP VM VM

VPS+の要件1.インターネットNICはIP固定2.イントラネットNICはプロトコルフリー3.イントラネットNIC間はL2接続4.VLANを使用せずマルチテナントを実現

インターネットの通信要件IPアドレスやMACアドレスなりすまし対策ユーザーに払い出したアドレス以外は通信させない通信プログラム対策 vrrpdやospfdなどはトラブルのもとになるので通信させない

インターネットの通信要件ルーター L2スイッチルーター必要な通信だけグローバルIP 許可する NIC Open vSwitch TAP TAP TAP TAP TAP VM VM VM VM VM IP:192.0.2.1 IP:192.0.2.2 IP:192.0.2.3 IP:192.0.2.4 IP:192.0.2.5 MAC: A MAC: B MAC: C MAC: D MAC: E

イントラネットの通信要件マルチキャストもブロードキャストもOK ユーザーが使いたいプロトコルは基本なんでも使えるようにしたいテナント間通信は非VLANで分割 VLANは4096問題があるL2ドメインをL3レイヤを超えて通信したいカプセル化

イントラネットの通信要件ルーター L2スイッチブロードキャストルーターだけ分割する NICブロードキャストA ブロードキャストB Open vSwitch TAP TAP TAP TAP VM VM VM VM IP:10.0.0.1 IP:10.0.0.1 IP:10.0.0.1 IP:10.0.0.1 MAC: A MAC: B MAC: D MAC: E

イントラネットの通信要件EtherをGREでカプセル化ルーターして通信する L2スイッチルータールーター NIC NIC Open vSwitch Open vSwitch TAP TAP TAP TAP VM VM VM VM IP:10.0.0.1 IP:10.0.0.1 IP:10.0.0.1 IP:10.0.0.1 MAC: A MAC: C MAC: B MAC: D

GREトンネルについてオリジナルフレームEther IP GRE Ether IP FCS Payload 14 20 4 14 20 4 オーバーヘッドが38byte追加ネットワークがジャンボフレーム対応でない場合フラグメントが発生 GREにIDをつけるとGREのオプションが付加される？（未確認）

要件からフローを作成フロー作成で使えるのは以下の項目in_port,dl_vlan,dl_vlan_pcp,dl_src,dl_dst,dl_type,nw_src,nwdst,nw_proto,nw_tos,tp_src,tp_dst,icmp_type,icmp_code,table,vlan_tci,ip_ﬂag,arp_sha,arp_tha,ipv6_src,ipv6_dst,ipv6_label,nd_narget,nd_sll,nd_tll,tun_id,regX

フロー作成時の注意フローはロンゲストマッチする単純にin_portとactionだけでフローを作成しないOVSの内部ポート番号は可変

フローのロンゲストマッチovs-ofctl add-flow br0 in_port=4,priority=201,actions=dropovs-ofctl add-flow br0 in_port=4,dl_src=52:54:00:00:01:01,priority=202,actions=output:6ovs-ofctl add-flow br0 in_port=4, dl_src=52:54:00:00:01:01,priority=203,dl_dst=52:54:00:00:02:02,action=output:6 このフローの場合、3 -> 2 -> 1->の順番でフローがヒットする間違いでした Priorityが大きい方から評価されます Priorityを同じにした場合の評価はです

ブロードキャストとマルチキャストovs-ofctl add-flow br0 in_port=4,dl_src=52:54:00:00:01:01,priority=201,actions=output:6,output8,output10 outputで設定したポート全てにフレームがコピーされる Open vSwitch TAP4 TAP6 TAP8 TAP10 VM VM VM VM IP:192.0.2.1 IP:192.0.2.2 IP:192.0.2.3 IP:192.0.2.4 MAC: A MAC: B MAC: C MAC: D

ユニキャストはMACアドレス指定でovs-ofctl add-flow br0 in_port=4, dl_src=52:54:00:00:01:01,priority=202,dl_dst=52:54:00:00:02:02,actions=output:6ovs-ofctl add-flow br0 in_port=4, dl_src=52:54:00:00:01:01,priority=203,dl_dst=52:54:00:00:03:02,actions=output:8ovs-ofctl add-flow br0 in_port=4, dl_src=52:54:00:00:01:01,priority=204,dl_dst=52:54:00:00:04:02,actions=output:10 Open vSwitch TAP4 TAP6 TAP8 TAP10 VM VM VM VM IP:192.0.2.1 IP:192.0.2.2 IP:192.0.2.3 IP:192.0.2.4 MAC: A MAC: B MAC: C MAC: D

OVS内部ポート番号は可変ovs-ofctl show br0 3(port_Centos01_1): addr:fa:19:31:ca:2c:80 config: 0 state: 0 current: 10MB-FD COPPER 4(port_Centos01_2): addr:be:43:4b:d8:11:d4 config: 0 state: 0 current: 10MB-FD COPPER 5(port_Centos02_1): addr:8e:4c:67:8b:cd:8b config: 0 state: 0 current: 10MB-FD COPPER 6(port_Centos02_2): addr:7a:08:1f:20:03:db config: 0 state: 0 current: 10MB-FD COPPER 起動順に割り当てられるため一意の番号ではない

実際にフローを作ってみるOVSに付属しているovs-ofctlコマンドでフローを作成してます

インターネットのフローovs-ofctl add-flow br0 in_port=2,priority=1,actions=dropovs-ofctl add-flow br0 in_port=2,priority=2,nw_src=224.0.0.0/4,actions=dropovs-ofctl add-flow br0in_port=2,dl_src=52:54:00:00:01:01,priority=101,ip,nw_src=192.0.2.1,actions=normalovs-ofctl add-flow br0in_port=2,dl_src=52:54:00:00:01:01,priority=102,arp,nw_src=192.0.2.1,actions=normal S-MACとS-IPを指定してフィルタマルチキャストもフィルタブロードキャストはARPだけ

イントラネットのフローovs-ofctl add-flow br0 in_port=4,priority=201,actions=dropovs-ofctl add-flow br0 in_port=4,dl_src=52:54:00:00:01:02,priority=202,actions=output:6ovs-ofctl add-flow br0in_port=4,dl_src=52:54:00:00:01:02,priority=203,dl_dst=52:54:00:00:02:02,action=output:6 通信したい宛先のポートだけ指定するブロードキャスト,マルチキャスト用のフローを忘れずにただしS-MACは指定する必要がある（後述）

イントラネットのフロー（GRE）ovs-ofctl add-flow br0 in_port=4,priority=202,actions=output:2ovs-ofctl add-flow br0 in_port=4,dl_src=52:54:00:00:01:02,priority=204,dl_dst=52:54:00:00:03:02,actions=output:2 GREのポート番号向けフローを作成 L2スイッチルータールーター NIC NIC Open vSwitch Open vSwitch TAP TAP TAP TAP VM VM VM VM

イントラネットのフロー（GRE）ovs-ofctl add-flow br0 in_port=2,dl_src=52:54:00:00:01:02,priority=202,actions=output:4ovs-ofctl add-flow br0in_port=2,dl_src=52:54:00:00:01:02,priority=204,dl_dst=52:54:00:00:03:02,actions=output:4 S-MACでテナントを分割（妥協） L2スイッチルータールーター NIC NIC Open vSwitch Open vSwitch TAP TAP TAP TAP VM VM VM VM

GREトンネルの設定ovs-vsctl add-port br0 gre0 -- set interface gre0 type=gre options:remote_ip=192.0.0.201 Open vSwtichにIPアドレスをアサインしておく L2スイッチルータールーター NIC NIC 192.0.2.201 192.0.0.201 Open vSwitch Open vSwitch TAP TAP TAP TAP VM VM VM VM

まとめOVSはフローを（MACテーブル）をすべて書かなくてはダメGREは便利に使えそう。OVSの台数が増えた時の管理が課題フローをテンプレート化すればオペレーションはかなり楽になりそう

ところで・・・フローコントローラーとIaaSデータベースの連携ってどうなんでしょう？OpenStack???

検証VPS+の構成ルーター L2スイッチルータールーター192.0.2.0/24 192.0.0.0/24 NIC NIC Open vSwitch Open vSwitch NIC NIC NIC NIC NIC NIC NIC NIC NIC NIC VM1 VM2 VM1 VM3 VM2

検証VPS+の構成ルータールーター NIC NIC NIC NIC NIC192.0.2.1 192.0.2.2 192.0.0.4 192.0.2.3 192.0.0.3 VM1 VM2 VM3 VM1 VM210.0.0.1 10.0.0.2 10.0.0.3 10.0.0.1 10.0.0.2 NIC NIC NIC NIC NIC

OVSの内部ポートについてOVSの内部ポート番号は可変どうにか固定できませんか？（どこかのコントローラは固定できるっぽい？

（付録）L2スイッチの動作 MACアドレステーブルの作成方法フレームがポートに到着すると MACアドレスを学習する MAC ポート１ 2 3 4 5 6 7 8 リスト1 A 1 MAC:A MAC:B MAC:C MAC:D

（付録）L2スイッチの動作フレームの転送ブロードキャストやマルチキャスト、Unknownユニキャストはすべてのポートとにフレームがコピーされる MAC ポート１ 2 3 4 5 6 7 8 リスト1 A 1 MAC:A MAC:B MAC:C MAC:D

（付録）L2スイッチの動作フレームの転送宛先がMAC:BでMACアドレステーブルにリストがある場合、特定のポートにフレームを転送する MAC ポート１ 2 3 4 5 6 7 8 リスト1 A 1 リスト2 B 3 MAC:A MAC:B MAC:C MAC:D

Movatterモバイル変換

Change Language

Openvswitch vps 20120429資料

Embed presentation

Recommended

More Related Content

What's hot

Similar to Openvswitch vps 20120429資料

More from Daisuke Nakajima

Openvswitch vps 20120429資料

Editor's Notes