












本発明の実施形態は、複数の仮想マシン間の通信が仮想ネットワークを介して行われる仮想ネットワークシステム及び仮想通信制御方法に関する。 Embodiments described herein relate generally to a virtual network system and a virtual communication control method in which communication between a plurality of virtual machines is performed via a virtual network.
一般的な仮想環境におけるネットワークシステム(つまり仮想ネットワークシステム)におけるアクセス制御では、複数のホストマシンのそれぞれに仮想スイッチが配置される第1の技術を適用するのが一般的である。第1の技術において、各仮想スイッチは、複数のホストマシンのそれぞれで動作する全ての仮想マシン間のアクセス制御に用いられるアクセス制御リスト(ACL)を保持している。 In access control in a network system (that is, a virtual network system) in a general virtual environment, it is common to apply the first technique in which a virtual switch is arranged in each of a plurality of host machines. In the first technique, each virtual switch holds an access control list (ACL) used for access control between all virtual machines operating on each of a plurality of host machines.
また、複数のホストマシンのそれぞれに配置される仮想スイッチがACLを保持する代わりに、通信の集合地点のノードがACLを保持し、当該ノードがACLに基づいて仮想マシン間のアクセス制御を行う第2の技術も知られている。 Further, instead of the virtual switch arranged in each of the plurality of host machines holding the ACL, the node at the communication gathering point holds the ACL, and the node performs access control between the virtual machines based on the ACL. Two techniques are also known.
しかし。通信の集合地点のノードがACLを保持する場合、ネットワーク利用の効率が悪くなる。一方、各仮想スイッチがACLを保持する場合、当該各仮想スイッチのアクセス制御処理の効率が悪くなる。 However. When the node at the communication gathering point holds the ACL, the efficiency of using the network is deteriorated. On the other hand, when each virtual switch holds ACL, the efficiency of the access control processing of each virtual switch is deteriorated.
そこで、複数のホストマシンのそれぞれに分散仮想スイッチが配置される技術(以下、先行技術と称する)も知られている。先行技術において、分散仮想スイッチの群の各々は、対応するホストマシン上で動作する仮想マシンの群に関するACL(つまり、固有のACL)を持ち、当該ACLに基づいてアクセス制御を行う。また分散仮想スイッチの群は、互いに協調して動作することにより、全体でひとつの仮想スイッチとして機能する。 Therefore, a technique (hereinafter referred to as prior art) in which a distributed virtual switch is arranged in each of a plurality of host machines is also known. In the prior art, each group of distributed virtual switches has an ACL (that is, a unique ACL) related to a group of virtual machines operating on a corresponding host machine, and performs access control based on the ACL. The group of distributed virtual switches functions as one virtual switch as a whole by operating in cooperation with each other.
また、ネットワークを構成する複数のノード(エッジノード)にファイアウォール機能を分散させる、上記先行技術に相当する技術も知られている。この技術では、負荷に応じてフィルタリングルール(つまりアクセス制御ルール)の少なくとも一部が他のエッジに分配される。このように各エッジノードは、上記先行技術における分散仮想スイッチと同様に、固有のアクセス制御ルールを保持している。 In addition, a technique corresponding to the above-described prior art in which a firewall function is distributed to a plurality of nodes (edge nodes) constituting a network is also known. In this technique, at least a part of filtering rules (that is, access control rules) is distributed to other edges according to the load. In this way, each edge node holds a unique access control rule, like the distributed virtual switch in the above prior art.
上述した先行技術において、ホストマシン間を仮想マシンが移動する場合、この移動に関係する全ての仮想マシンについて、対応する分散仮想スイッチが保持するACLを変更する必要がある。しかし、各分散仮想スイッチが固有のACLを保持しているため、対応する分散仮想スイッチが保持するACLを変更する手順は複雑である。また、情報が重複したり、不要なアクセス制御ルールを保持する可能性もある。 In the above-described prior art, when a virtual machine moves between host machines, it is necessary to change the ACL held by the corresponding distributed virtual switch for all virtual machines related to the movement. However, since each distributed virtual switch holds a unique ACL, the procedure for changing the ACL held by the corresponding distributed virtual switch is complicated. In addition, there is a possibility that information is duplicated and unnecessary access control rules are held.
本発明が解決しようとする課題は、分散仮想スイッチに適合するアクセス制御リストを簡単に作成して、当該分散仮想スイッチに配布することができる仮想ネットワークシステム及び仮想通信制御方法を提供することにある。 The problem to be solved by the present invention is to provide a virtual network system and a virtual communication control method capable of easily creating an access control list suitable for a distributed virtual switch and distributing it to the distributed virtual switch. .
実施形態によれば、1つ以上の物理ネットワークにより接続された複数のホストマシンを備え、前記複数のホストマシン上で動作する複数の通信主体が仮想ネットワークにより相互接続された仮想ネットワークシステムが提供される。この仮想ネットワークシステムは、前記1つ以上の物理ネットワークの1つに接続されたアクセス制御リスト管理装置と、前記複数のホストマシン上でそれぞれ動作する複数の分散仮想スイッチとを具備する。前記アクセス制御リスト管理装置は、アクセス制御リスト記憶手段と、第1の通信手段とを具備する。前記アクセス制御リスト記憶手段は、前記複数の通信主体の各々について、対応する通信主体と前記複数の通信主体のうちの他の通信主体または外部ネットワークとの間の通信を制御するための全体アクセス制御リストを記憶する。前記アクセス制御リスト再構成手段は、前記複数のホストマシンの各々について、対応するホストマシン上で動作する通信主体に関係する通信を制御するための部分アクセス制御リストを前記全体アクセス制御リストから抽出する。前記第1の通信手段は、前記抽出された部分アクセス制御リストを、前記複数の分散仮想スイッチのうち対応するホストマシン上で動作する分散仮想スイッチに配布する。前記複数の分散仮想スイッチはそれぞれ、部分アクセス制御リスト記憶手段と、第2の通信手段とを具備する。前記部分アクセス制御リスト記憶手段は、自身に配布された部分アクセス制御リストを記憶する。前記第2の通信手段は、前記部分アクセス制御リスト記憶手段に記憶されている前記部分アクセス制御リストに基づいて、自身が動作するホストマシン上で動作する通信主体の通信を制御する。 According to the embodiment, there is provided a virtual network system that includes a plurality of host machines connected by one or more physical networks, and in which a plurality of communication subjects operating on the plurality of host machines are interconnected by a virtual network. The The virtual network system includes an access control list management device connected to one of the one or more physical networks, and a plurality of distributed virtual switches respectively operating on the plurality of host machines. The access control list management device includes an access control list storage unit and a first communication unit. The access control list storage means controls, for each of the plurality of communication entities, overall access control for controlling communication between the corresponding communication entity and another communication entity of the plurality of communication entities or an external network. Memorize the list. The access control list reconfiguring unit extracts, from each of the plurality of host machines, a partial access control list for controlling communication related to a communication subject operating on the corresponding host machine from the overall access control list. . The first communication unit distributes the extracted partial access control list to distributed virtual switches operating on corresponding host machines among the plurality of distributed virtual switches. Each of the plurality of distributed virtual switches includes a partial access control list storage unit and a second communication unit. The partial access control list storage means stores a partial access control list distributed to itself. The second communication unit controls communication of a communication subject operating on a host machine on which the second communication unit operates based on the partial access control list stored in the partial access control list storage unit.
以下、実施の形態につき図面を参照して説明する。
図1は一つの実施形態に係る仮想ネットワークシステムの構成を示すブロック図である。Hereinafter, embodiments will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a virtual network system according to one embodiment.
図1に示す仮想ネットワークシステムは。複数のホストマシン、例えば4台のホストマシンH1(#1),H2(#2),H3(#3)及びH4(#4)と、アクセス制御リスト管理装置(以下、ACL管理装置と称する)Mとを備えている。図1の例では、ホストマシンH1及びH2は、物理ネットワークPN1に接続されている。ホストマシンH3及びH4と、ACL管理装置Mとは、物理ネットワークPN2に接続されている。本実施形態において物理ネットワークPN1及びPN2はLANであり、ルータRによって相互接続されている。 The virtual network system shown in FIG. A plurality of host machines, for example, four host machines H1 (# 1), H2 (# 2), H3 (# 3) and H4 (# 4), an access control list management device (hereinafter referred to as an ACL management device) M. In the example of FIG. 1, the host machines H1 and H2 are connected to the physical network PN1. The host machines H3 and H4 and the ACL management apparatus M are connected to the physical network PN2. In this embodiment, the physical networks PN1 and PN2 are LANs and are interconnected by a router R.
ホストマシンH1,H2,H3及びH4は、それぞれ、CPU、メモリ、入出力デバイス等の物理リソースを有する物理マシンである。ホストマシンH1,H2,H3及びH4は、それぞれ、仮想マシンモニタ(以下、VMMと称する)1-1,1-2,1-3及び1-4を備えている。VMM1-1,1-2,1-3及び1-4は、仮想マシンマネージャとも呼ばれ、それぞれ、対応するホストマシンH1,H2,H3及びH4の物理リソースを利用して仮想環境を提供する。 The host machines H1, H2, H3, and H4 are physical machines having physical resources such as a CPU, a memory, and an input / output device, respectively. The host machines H1, H2, H3, and H4 include virtual machine monitors (hereinafter referred to as VMM) 1-1, 1-2, 1-3, and 1-4, respectively. The VMMs 1-1, 1-2, 1-3, and 1-4 are also called virtual machine managers, and provide virtual environments by using physical resources of the corresponding host machines H1, H2, H3, and H4, respectively.
VMM1-1上では、例えば3台の仮想マシン(以下、VMと称する)10(#10),11(#11)及び12(#12)と、分散仮想スイッチ2-1(#1)と、構成管理部3-1とが動作し、VMM1-2上では、例えば3台のVM20(#20),21(#21)及び22(#22)と、分散仮想スイッチ2-2(#2)と、構成管理部3-2とが動作する。VMM1-3上では、例えば3台のVM30(#30),31(#31)及び32(#32)と、分散仮想スイッチ2-3(#3)と、構成管理部3-3とが動作し、VMM1-4上では、例えば3台のVM40(#40),41(#41)及び42(#42)と、分散仮想スイッチ2-4(#4)と、構成管理部3-4とが動作する。構成管理部3-1,3-2,3-3及び3-4は、それぞれ、自身が動作するVMM1-1,1-2,1-3及び1-4上でのVMの構成を管理する。 On the VMM 1-1, for example, three virtual machines (hereinafter referred to as VMs) 10 (# 10), 11 (# 11) and 12 (# 12), a distributed virtual switch 2-1 (# 1), The configuration management unit 3-1 operates. On the VMM 1-2, for example, three VMs 20 (# 20), 21 (# 21) and 22 (# 22), and the distributed virtual switch 2-2 (# 2) Then, the configuration management unit 3-2 operates. On the VMM 1-3, for example, three VMs 30 (# 30), 31 (# 31) and 32 (# 32), the distributed virtual switch 2-3 (# 3), and the configuration management unit 3-3 operate. On the VMM 1-4, for example, three VMs 40 (# 40), 41 (# 41) and 42 (# 42), a distributed virtual switch 2-4 (# 4), and a configuration management unit 3-4 Works. The configuration managers 3-1, 3-2, 3-3, and 3-4 manage the configurations of VMs on the VMM 1-1, 1-2, 1-3, and 1-4 on which they operate. .
VM10〜12,20〜22,30〜32及び40〜42の各々では、ゲストOSと呼ばれるOSと、種々のアプリケーション(アプリケーションプログラム)とが動作する。VM10〜12,20〜22,30〜32及び40〜42は、ホストマシンH1〜H4の間で移動可能である。 In each of the
VM10〜12は、分散仮想スイッチ2-1によって相互に接続されると共に、外部ネットワークである物理ネットワークPN1と接続されている。VM20〜22は、分散仮想スイッチ2-2によって相互に接続されると共に物理ネットワークPN1と接続されている。VM30〜32は、分散仮想スイッチ2-3によって相互に接続されると共に物理ネットワークPN2と接続されており、VM40〜42は、分散仮想スイッチ2-4によって相互に接続されると共に物理ネットワークPN2と接続されている。 The
分散仮想スイッチ2-1,2-2,2-3及び2-4の各々は、対応する分散仮想スイッチに接続されたVM(つまり配下のVM)の間と、配下のVMと他のVM(更には外部ネットワーク)との間の、アクセス(VM間通信)及び接続の切り替え(スイッチング)を制御する。 Each of the distributed virtual switches 2-1, 2-2, 2-3, and 2-4 is between VMs connected to the corresponding distributed virtual switch (that is, subordinate VMs), subordinate VMs, and other VMs ( Further, access (inter-VM communication) and connection switching (switching) with the external network are controlled.
VM間通信の具体的な実現方法としては、各VMに、対応するホストマシンが接続される物理LANのIP(Internet Protocol)アドレスを割り当て、単にTCP(Transmission Control Protocol)/IPで通信する方法(前者の方法)が適用可能である。また、分散仮想スイッチ間は何らかのカプセル化を行って、外部ネットワークとは全く別個のネットワーク(仮想ネットワーク)を構成し、外部と通信する際は分散仮想スイッチが変換する方法(後者の方法)も適用可能である。ここでは、後者の方法が適用されるものとする。より具体的に述べるならば、分散仮想スイッチ2-1,2-2,2-3及び2-4の配下のVM10〜12,20〜22,30〜32及び40〜42は、TCP/IPプロトコルを適用する仮想的に同一のネットワーク(つまり仮想ネットワーク)に、プライベートなアドレス体系「192.168.1.*/24」で接続されているものとする。いずれにせよ、図1に示す仮想ネットワークシステムでは、VM10〜12,20〜22,30〜32及び40〜42の間の通信は可能であり、また、VM10〜12,20〜22,30〜32及び40〜42と外部のマシン(例えばACL管理装置Mなど)との通信も可能である。 As a specific method of realizing the communication between VMs, a method of assigning each VM with an IP (Internet Protocol) address of a physical LAN to which a corresponding host machine is connected, and simply communicating with TCP (Transmission Control Protocol) / IP ( The former method is applicable. In addition, some kind of encapsulation is performed between distributed virtual switches to form a completely separate network (virtual network) from the external network, and the method in which the distributed virtual switch converts when communicating with the outside (the latter method) is also applied. Is possible. Here, it is assumed that the latter method is applied. More specifically, the VMs 10-12, 20-22, 30-32, and 40-42 under the distributed virtual switches 2-1, 2-2, 2-3, and 2-4 are TCP / IP protocols. It is assumed that the private address system “192.168.1. * / 24” is connected to a virtually identical network (that is, a virtual network) to which is applied. In any case, in the virtual network system shown in FIG. 1, communication between the
図2は、本実施形態におけるACL管理装置Mの構成を示すブロック図である。
ACL管理装置Mは、アクセス制御リスト記憶部(以下、ACL記憶部と称する)201と、通信制御リスト記憶部(以下、CCL記憶部と称する)202と、通信部203と、ACL再構成部204とを備えている。FIG. 2 is a block diagram showing a configuration of the ACL management apparatus M in the present embodiment.
The ACL management apparatus M includes an access control list storage unit (hereinafter referred to as an ACL storage unit) 201, a communication control list storage unit (hereinafter referred to as a CCL storage unit) 202, a
ACL記憶部201は、図1に示す仮想ネットワークシステム内の全てのVM、つまりVM10〜12,20〜22,30〜32及び40〜42のためのACL(以下、全体ACLと称する)を記憶する。全体ACLは、VM10〜12,20〜22,30〜32及び40〜42の各々について、対応するVMとVM10〜12,20〜22,30〜32及び40〜42のうちの他のVMまたは外部ネットワークとの間の通信(アクセス)を制御するのに用いられるアクセス制御ルールの一覧である。全体ACLは、後述する通信許可リスト60(図6参照)及びVM構成情報70(図7参照)を含む。 The
CCL記憶部202は、分散仮想スイッチ2-1〜2-4による接続の切り替え制御に用いられる、VM10〜12,20〜22,30〜32及び40〜42のためのCCL(通信制御リスト)を記憶する。CCLは、後述するVMリスト40(図4参照)及びホスト管理リスト50(図5参照)を含む。 The
通信部203は、少なくとも、VMM1-i(i=1,2,3,4)上の分散仮想スイッチ2-iと通信する。通信部203は、VMM1-i(VMM1-iが動作するホストマシンHi)上でのVM構成の変更(例えば分散仮想スイッチ2-iに接続されるVMの変更)に伴って分散仮想スイッチ2-iから送信されるACL発行要求を受信する。通信部203は、受信したACL発行要求をACL再構成部204に渡す。ACL発行要求は、例えば分散仮想スイッチ2-iに接続されるVMの変更の場合、VM構成の変更が反映されたVMリストを含む。通信部203は、ACL発行要求に応じてACL再構成部204によって生成される部分ACLを、ACL発行要求の要求元に返す。 The
ACL再構成部204は、例えば図1の仮想ネットワークシステムの起動時に、各ホストマシンHiについて、当該ホストマシンHi上で動作するVMに関係する通信(アクセス)を制御するための部分ACLをACL記憶部201に記憶されている全体ACLから抽出する。ACL再構成部204は、ホストマシンHiのための抽出した部分ACLを、当該ホストマシンHiに通信部203により配布させる。 The
ACL再構成部204はまた、通信部203から渡されたACL発行要求が、VMのIPアドレスの変更、或いはアクセス制御ルールの変更に伴うACL発行要求の場合、当該変更が反映されるようにACL記憶部201に記憶されている全体ACLを更新する。ACL再構成部204は更に、全体ACLを更新した際に、要求元の分散仮想スイッチ2-iに適合する部分ACLを作成(再構成)して、当該再構成された部分ACLを通信部203により要求元の分散仮想スイッチ2-iに返す。 The
図3は、本実施形態における分散仮想スイッチ2-i(i=1,2,3,4)の構成を示すブロック図である。
分散仮想スイッチ2-iは、部分ACL記憶部301と、CCL記憶部302と、通信部303と、部分ACL要求管理部304とを備えている。FIG. 3 is a block diagram showing the configuration of the distributed virtual switch 2-i (i = 1, 2, 3, 4) in this embodiment.
The distributed virtual switch 2-i includes a partial
部分ACL記憶部301は、分散仮想スイッチ2-iの配下のVMのための部分ACLを記憶する。CCL記憶部302は、図2に示すCCL記憶部202と同様に、VM10〜12,20〜22,30〜32及び40〜42のためのCCLを記憶する。 The partial
通信部303は、構成管理部3-iからVM構成の変更の通知(以下、VM構成変更通知と称する)を受信して部分ACL要求管理部304に渡す。通信部303は、VM構成変更通知に応じて部分ACL要求管理部304から返されるACL発行要求をACL管理装置Mに送信する。通信部303は、ACL発行要求に応じてACL管理装置Mから返される部分ACLを受信して部分ACL記憶部301に格納する。通信部303は更に、VM間の通信、VMと外部ネットワーク(に接続されるノード)との間の通信を、部分ACL記憶部301に記憶されている部分ACL及びCCL記憶部202に記憶されているCCLに基づいて実行する。 The
部分ACL要求管理部304は、構成管理部3-iからのVM構成変更通知に応じて、VM構成の変更が反映された新VMリストを作成する。部分ACL要求管理部304は、新VMリストを含むACL発行要求を通信部303によりACL管理装置Mに送信させる。部分ACL要求管理部304は、ACL発行要求に応じてACL管理装置Mから返される部分ACLを通信部303から受け取って、部分ACL記憶部301に記憶する。 The partial ACL
図4は、CCL記憶部202及び302に記憶されているCCL中のVMリスト40の例を示す。
図4に示すVMリスト40は、図1に示す仮想ネットワークシステム内の全てのVM、つまりVM10〜12,20〜22,30〜32及び40〜42の一覧を、当該VM10〜12,20〜22,30〜32及び40〜42がそれぞれ接続されている分散仮想スイッチ2-1,2-2,2-3及び2-4のID(分散仮想スイッチID)と対応付けて保持する。FIG. 4 shows an example of the
The
図5は、CCL記憶部202及び302に記憶されているCCL中のホスト管理リスト50の例を示す。
図5に示すホスト管理リスト50は、図1に示す仮想ネットワークシステム内の全てのホストマシン、つまりホストマシンH1〜H4の一覧を、当該ホストマシンH1〜H4上で動作する分散仮想スイッチ2-1〜2-4の分散仮想スイッチIDと、当該ホストマシンH1〜H4のIPアドレス(物理IPアドレス)と対応付けて保持する。FIG. 5 shows an example of the
The
図6は、ACL記憶部201に記憶されている全体ACL中の通信許可リスト60の例を示す。
図6に示す通信許可リスト60は、図1に示す仮想ネットワークシステム内の全てのVMについて当該仮想ネットワークシステム内の他のVMまたは外部ネットワークとの通信が許可されているかを表すマトリクス形式のリストである。このマトリクス形式のリストの各行のVMは通信元(アクセス元)を表し、各列のVM(または外部ネットワーク)は通信先(アクセス先)を表す。また、図6における記号○は、当該記号○が付されている行のVMから、当該記号○が付されている列のVMまたは外部ネットワークへのアクセスが許可されていることを表す。また、通信許可リスト60は、外部ネットワークとVMとの間の通信が許可されているかをも表している。FIG. 6 shows an example of the
The
このように、図6に示す通信許可リスト60の例では、VM間(またはVMと外部ネットワークとの間)の通信が許可されているかを示している。つまり通信許可リスト60は、VM間(またはVMと外部ネットワークとの間)のアクセスの制御に用いられる。しかし、VMのTCP/UDPポート毎に、ポート間の通信が許可されているかを示すことにより、ポートを限定したアクセス制御を行うことも可能である。 As described above, the example of the
図7は、ACL記憶部201に記憶されている全体ACL中のVM構成情報70の例を示す。
図7に示すVM構成情報70は、図1に示す仮想ネットワークシステム内のVMの一覧を、当該VMそれぞれのIPアドレスと対応付けて保持する、VMアドレステーブルである。このようにVM構成情報70が、VMそれぞれのIPアドレスを保持するのは、本実施形態において分散仮想スイッチ2-1,2-2,2-3及び2-4によって構成される仮想ネットワークが、TCP/IPプロトコルを適用していることを前提としているためである。もし、上記仮想ネットワークがTCP/IPプロトコル以外の別のプロトコルで実装されるならば、IPアドレスに代えて、IPアドレスに相当する、当該別のプロトコルで適用される値を用いればよい。FIG. 7 shows an example of the
The
次に本実施形態の動作を、VM32がホストマシンH3のVMM1-3からホストマシンH1のVMM1-1に移動した場合を例に説明する。
今、ホストマシンH3のVMM1-3からホストマシンH1のVMM1-1へのVM32の移動(つまり転入)が発生したものとする。このVM32の移動は、ホストマシンH1側にとって転入であり、ホストマシンH3側にとって転出である。Next, the operation of this embodiment will be described by taking as an example the case where the
It is assumed that the
ホストマシンH1のVMM1-1へのVMの移動(転入)が発生すると、当該VMM1-1上で動作する構成管理部3-1は、その旨を示すVM構成変更通知を分散仮想スイッチ2-1に送出する。VMM1-1へのVM32の移動が発生した本実施形態では、図8に示すVM構成変更通知80が構成管理部3-1から送出される。VM構成変更通知80は、構成管理部3-1からの当該VM構成変更通知80の送出先の分散仮想スイッチ(つまり分散仮想スイッチ2-1)のIDと、移動したVM32(つまり構成変更の対象となったVM32)のIDと、構成変更が転入によるものか或いは転出によるものかを示す変更内容とを含む。VM構成変更通知80の例では、変更内容は「転入」である。 When the migration (transfer) of the VM to the VMM 1-1 of the host machine H1 occurs, the configuration management unit 3-1 operating on the VMM 1-1 sends a VM configuration change notification indicating that to the distributed virtual switch 2-1. To send. In the present embodiment in which the migration of the
したがって図8に示すVM構成変更通知80は、当該VM構成変更通知80の送出先の分散仮想スイッチ2-1が動作するホストマシンH1のVMM1-1上に、VM32が移動してきたことを示す。VMM1-1上に移動したVM32は、新たに分散仮想スイッチ2-1に接続されて、当該分散仮想スイッチ2-1の配下となる。つまり、図8に示すVM構成変更通知80の送出先の分散仮想スイッチのIDは、構成変更の対象となったVM32が新たに接続される分散仮想スイッチのIDをも示す。 Therefore, the VM
ここで、図8に示すVM構成変更通知80が構成管理部3-1から仮想スイッチ2-1に送出された場合の当該仮想スイッチ2-1の動作について、図9の示すフローチャートを参照して説明する。
まず分散仮想スイッチ2-1の通信部303は、構成管理部3-1からのVM構成変更通知80を受信する(ステップS1)。すると通信部303は、受信したVM構成変更通知80を分散仮想スイッチ2-1の部分ACL要求管理部304に渡す。Here, the operation of the virtual switch 2-1 when the VM
First, the
部分ACL要求管理部304は、通信部303から渡されたVM構成変更通知80と、分散仮想スイッチ2-1のCCL記憶部3に記憶されているCCL中のVMリスト40とに基づいて、VM構成変更通知80の示すVM構成の変更が反映された新VMリストを作成する(ステップS2)。新VMリストは、VMリスト40(図4参照)におけるVM32と対応付けられる分散仮想スイッチのIDが、分散仮想スイッチ2-3のIDから、分散仮想スイッチ2-1のIDに変更されたものである。
The partial ACL
部分ACL要求管理部304は、VM32の移動に伴う新たな部分ACLの発行(配布)を要求するためのACL発行要求(第1のACL発行要求)を通信部303に渡す。すると通信部303は、部分ACL要求管理部304から渡されたACL発行要求をACL管理装置Mに送信する(ステップS3)。 The partial ACL
ACL管理装置Mに送信されるACL発行要求は、部分ACL要求管理部304によって作成された新VMリストを含む。この新VMリストは、VM32の移動(流入)に伴うVM構成の変更を反映したものである。したがってACL発行要求は、部分ACLの発行を要求するだけでなく、VM32の移動を通知する。なお、新VMリストが、分散仮想スイッチ2-1に接続されるVM32を含むVMのリストのみであってもよい。つまり新VMリストに、分散仮想スイッチ2-1以外の分散仮想スイッチ2-2,2-3及び2-4に接続されるVMのリストが含まれていなくても構わない。 The ACL issue request transmitted to the ACL management apparatus M includes a new VM list created by the partial ACL
次に、分散仮想スイッチ2-1の通信部303からACL管理装置MにACL発行要求が送信された場合の当該ACL管理装置Mの動作について、図10の示すフローチャートを参照して説明する。
まずACL管理装置Mの通信部203は、分散仮想スイッチ2-1の通信部303からのACL発行要求を受信する(ステップS11)。すると通信部203は、受信したACL発行要求をACL管理装置MのACL再構成部204に渡す。Next, the operation of the ACL management apparatus M when an ACL issue request is transmitted from the
First, the
ACL再構成部204は、通信部203から渡されたACL発行要求から当該ACL発行要求に含まれているVMリスト(新VMリスト)を取り出す(ステップS12)。ACL再構成部204はまた、ACL記憶部201に記憶されている全体ACLを取り出す(ステップS13)。 The
ACL再構成部204は、取り出した全体ACLに含まれている通信許可リスト60(図6参照)及びVM構成情報70(図7参照)並びに取り出した新VMリストに基づいて、ACL発行要求の送信元(つまりACL発行の要求元)の分散仮想スイッチ2-1におけるVM構成の変更(VM32の転入)に適合する部分ACLを作成(再構成)する(ステップS14)。より詳細には、ACL再構成部204は、部分ACLを次のように作成する。 The
まずACL再構成部204は、新VMリストに保持されているVMの群のうち、分散仮想スイッチ2-1のIDと対応付けられているVMの群、つまりVM10,VM11,VM12及びVM32を抽出する。なお、新VMリストが、分散仮想スイッチ2-1に接続されるVM32を含むVMのリストのみであるならば、この抽出は不要である。 First, the
次にACL再構成部204は通信許可リスト60を参照し、抽出したVM10,VM11,VM12及びVM32に対応する行において、記号○が付されている列のVM(または外部ネットワーク)を抽出する。つまりACL再構成部204は、分散仮想スイッチ2-1に接続されるVM10,VM11,VM12及びVM32のそれぞれについて、当該VM10,VM11,VM12及びVM32からの通信(アクセス)が許可されているVM(または外部ネットワーク)を抽出する。図6に示す通信許可リスト60の例では、VM10からの許可された通信先としてVM11,VM21,VM32及び外部ネットワークが、VM11からの許可された通信先としてVM22,VM31及びVM41が、それぞれ抽出される。同様に、VM12からの許可された通信先としてVM10,VM41及び外部ネットワークが、VM32からの許可された通信先としてVM11が、それぞれ抽出される。 Next, the
またACL再構成部204は、外部ネットワークに対応する行において、記号○が付されている列のVMの中から、抽出したVM10,VM11,VM12及びVM32のいずれかに一致するVMを抽出する。つまりACL再構成部204は、抽出したVM10,VM11,VM12及びVM32の中から、外部ネットワークからのアクセスが許可されているVMを抽出する。図6に示す通信許可リスト60の例では、VM10,VM11,VM12及びVM32のうち、外部ネットワークからの許可された通信先としてVM11及びVM12が抽出される。 In addition, the
次にACL再構成部204は、抽出した通信元と通信先との対応を示す、ACL発行の要求元の分散仮想スイッチ2-1のための仮の部分ACLを作成する。そしてACL再構成部204は、先に取り出した全体ACL中のVM構成情報70(図7参照)に基づいて、仮の部分ACL中の通信元VMと通信先VMを、対応するIPアドレスに置き換えることにより、分散仮想スイッチ2-1に送信すべき、図11に示す部分ACL110を作成する。 Next, the
ACL再構成部204は、作成した部分ACL110を通信部203に渡す。すると通信部203は、ACL再構成部204から渡された部分ACL110を、ACL発行の要求元の分散仮想スイッチ2-1に送信する(ステップS15)。この部分ACL110は、分散仮想スイッチ2-1の通信部303で受信される。通信部303は、受信した部分ACL110で、部分ACL記憶部301に現在記憶されている部分ACLを更新する。なお、部分ACLの更新が、部分ACL要求管理部304によって行われても構わない。 The
上述のように、ホストマシンH3のVMM1-3からホストマシンH1のVMM1-1へのVM32の移動に応じて、VMM1-1上で動作する構成管理部3-1から分散仮想スイッチ2-1に図8に示すVM構成変更通知80が送出された場合の動作について説明した。 As described above, the configuration management unit 3-1 operating on the VMM 1-1 changes from the VMM 1-3 of the host machine H3 to the VMM 1-1 of the host machine H1 to the distributed virtual switch 2-1. The operation when the VM
さて、上述のVM32の移動時には、当該VM32の移動元のホストマシンH3のVMM1-3上で動作する構成管理部3-3から分散仮想スイッチ2-3に、図8に示したVM構成変更通知80と同様の構造の、図12に示すVM構成変更通知120が送出される。VM構成変更通知120は、分散仮想スイッチ2-3のIDと、移動したVM32のIDと、「転出」を示す変更内容とを含む。 At the time of migration of the
構成管理部3-3から分散仮想スイッチ2-3にVM構成変更通知120が送出された場合、前述した構成管理部3-1から分散仮想スイッチ2-1にVM構成変更通知80が送出された場合と同様の動作が、分散仮想スイッチ2-3及びACL管理装置Mで行われる。つまり、VM構成変更通知120の示すVM構成の変更が反映された新VMリストが、分散仮想スイッチ2-3の部分ACL要求管理部304で取得され、当該新VMリストが含むACL発行要求がACL管理装置Mに送信される。この新VMリストは、前述のVM構成変更通知80の示すVM構成の変更が反映された新リストと同一内容となる。 When the VM
ACL管理装置MのACL再構成部204は、分散仮想スイッチ2-3から送信されたACL発行要求を受け取ると、当該分散仮想スイッチ2-3におけるVM構成の変更(VM32の転出)に適合する部分ACLを作成して、当該作成した部分ACLを分散仮想スイッチ2-3に送信する。これにより、分散仮想スイッチ2-3の部分ACL記憶部301に記憶されている部分ACLが、VM構成の変更(VM32の転出)に適合する新たな部分ACLに更新される。 When the
このように本実施形態においいては、図1に示される仮想ネットワークシステム全体のACL(つまり全体ACL)がACL管理装置Mで一元的に管理管理される。そして、VM構成が変更になる都度、VM構成が変更されたホストマシンHiで動作する分散仮想スイッチ2-iには、当該分散仮想スイッチ2-iに必要最低限のアクセス制御ルールとしての部分ACL(つまり分散仮想スイッチ2-iに適合する部分ACL)がACL管理装置Mで作成される。この分散仮想スイッチ2-iに適合する部分ACLは、VM構成が変更されたホストマシンHiのVMM1-i上に存在するVM(つまり、分散仮想スイッチ2-iに接続される変更後のVM)の情報に基づいて作成される。 As described above, in the present embodiment, the ACL of the entire virtual network system shown in FIG. 1 (that is, the entire ACL) is centrally managed and managed by the ACL management apparatus M. Each time the VM configuration is changed, the distributed virtual switch 2-i operating on the host machine Hi with the changed VM configuration has a partial ACL as a minimum access control rule for the distributed virtual switch 2-i. (That is, a partial ACL that matches the distributed virtual switch 2-i) is created by the ACL management apparatus M. The partial ACL adapted to the distributed virtual switch 2-i is a VM existing on the VMM1-i of the host machine Hi whose VM configuration has been changed (that is, the VM after the change connected to the distributed virtual switch 2-i). It is created based on the information.
よって本実施形態によれば、各分散仮想スイッチ2-iは最小限のACL(つまり部分ACL)しか保持する必要がなく、したがって各分散仮想スイッチ2-iにおける処理の負荷が軽減される。この効果は、同一VMM上で多数のVMが動作する場合、或いは仮想ネットワークシステム内に多数のホストマシンが存在する場合により顕著となる。 Therefore, according to the present embodiment, each distributed virtual switch 2-i needs to hold only a minimum ACL (that is, a partial ACL), and thus the processing load on each distributed virtual switch 2-i is reduced. This effect becomes more prominent when a large number of VMs operate on the same VMM or when a large number of host machines exist in the virtual network system.
以上、本実施形態の動作として、分散仮想スイッチ2-1及び2-3におけるVM構成の変更が、VM(VM32)のそれぞれ転入及び転出である場合を例に説明した。VM構成の変更は、VMの移動に限らない。例えば、VM構成の変更が、VMのIPアドレスの変更、或いはアクセス制御ルール(アクセス制御のポリシー)の変更であっても構わない。 As described above, the operation of this embodiment has been described by taking as an example the case where the VM configuration change in the distributed virtual switches 2-1 and 2-3 is the transfer (transfer) of the VM (VM 32). The change of the VM configuration is not limited to the movement of the VM. For example, the VM configuration change may be a VM IP address change or an access control rule (access control policy) change.
もし、VM構成の変更がVMのIPアドレスの変更の場合、VM構成変更通知の分散仮想スイッチID、対象VMM及び変更内容を、それぞれ、IPアドレスが変更されるVMを接続している分散仮想スイッチのID、IPアドレスが変更されるVMのID及び「IPアドレス変更」とすればよい。また、このVM構成変更通知に、変更後のIPアドレス(または変更前と変更後のIPアドレスの対)を付加すればよい。更にACL発行要求に、VMリストに代えて、IPアドレスが変更されるVMのIDと、「IPアドレス変更」と、変更後のIPアドレス(または変更前と変更後のIPアドレスの対)とを含めればよい。 If the change of the VM configuration is a change of the IP address of the VM, the distributed virtual switch ID, the target VMM and the change contents of the VM configuration change notification are respectively connected to the VM whose IP address is changed. ID and IP address of the VM whose IP address is to be changed and “IP address change”. Further, the IP address after the change (or the pair of the IP address before and after the change) may be added to this VM configuration change notification. Further, in the ACL issuance request, instead of the VM list, the ID of the VM whose IP address is changed, “IP address change”, and the IP address after the change (or the pair of the IP address before and after the change). You can include it.
この場合、ACL管理装置MのACL再構成部204は、ACL発行要求(第3のACL発行要求)に応じて、ACL記憶部201に記憶されている全体ACL中のVM構成情報70を更新する。ACL再構成部204はまた、全体ACL中の通信許可リスト60と更新されたVM構成情報70とに基づいて、IPアドレスが変更されたVMを通信元または通信先として接続する分散仮想スイッチ毎に、当該全体ACLから部分ACLを抽出(つまり部分ACLを作成)する。作成された部分ACLは、対応する分散仮想スイッチに送信される。 In this case, the
また、アクセス制御ルールの変更の場合も同様である。例えばVM10からの通信が許可されるVMが変更される場合、その旨を通知するためのVM構成変更通知に応じて、分散仮想スイッチ2-1からACL管理装置MにACL発行要求(第2のACL発行要求)が送信される。ACL管理装置MのACL再構成部204は、このにACL発行要求、つまりVM10からの通信が許可されるVMの変更に対応するACL発行要求に基づき、ACL記憶部201に記憶されている全体ACL中の通信許可リスト60を更新する。ACL再構成部204は、更新された通信許可リスト60に基づき、VM10を接続している分散仮想スイッチ2-1に適合する部分ACLを作成する。作成された部分ACLは、分散仮想スイッチ2-1に送信される。 The same applies to the change of the access control rule. For example, when a VM permitted to communicate from the
次に、分散仮想スイッチ2-iにおけるアクセス制御について、当該分散仮想スイッチ2-iに接続されるVM(または外部ネットワーク)から通信パケットが送信された場合を例に、図13のフローチャートを参照して説明する。 Next, with regard to access control in the distributed virtual switch 2-i, referring to the flowchart of FIG. 13, taking as an example a case where a communication packet is transmitted from a VM (or an external network) connected to the distributed virtual switch 2-i. I will explain.
分散仮想スイッチ2-iの通信部303は、分散仮想スイッチ2-iに接続されるVM(または外部ネットワーク)からの通信パケットを受信する(ステップS21)。次に通信部303は、部分ACL記憶部301から部分ACLを取得する(ステップS22)。そして通信部303は、受信した通信パケットの送信元IPアドレスと宛先IPアドレスとの対が、取得した部分ACLに保持されているかによって、受信した通信パケットの転送(通信)が許可されているかを判定する(ステップS23)。 The
もし、転送が許可されているならば(ステップS23のYes)、通信部303は、CCL記憶部202に記憶されているCCLに基づいて、受信した通信パケットの転送を制御する(ステップS24)。これに対し、転送が許可されていないならば(ステップS23のNo)、通信部303は受信した通信パケットを廃棄する(ステップS25)。 If transfer is permitted (Yes in step S23), the
上述の動作説明から明らかなように、本実施形態においては、各分散仮想スイッチ2-iにおける通信(アクセス)の制御が、当該分散仮想スイッチ2-i内の部分ACL記憶部301に記憶されている部分ACLに基づいて、当該分散仮想スイッチ2-iに接続されているVMから他のVM(または外部ネットワーク)への通信について行われる。このように本実施形態では、分散仮想スイッチ2-iの配下のVMから他のVM(または外部ネットワーク)への通信を許可するか否かが制御される。つまり通信を許可するか否かが、送信側で制御される。このような送信側でのアクセス制御の適用により、従来から知られているフィルタリングのためのアクセス制御ルール(フィルタリングルール)に基づく受信側での制御、つまり分散仮想スイッチ2-iの配下にないVM(または外部ネットワーク)のような多数のVM(または外部ネットワーク)から当該分散仮想スイッチ2-iの配下にあるVMへの通信を、受信側でフィルタリングするかの制御と比較して、ACL(アクセス制御ルール)を簡略化することができる。 As is apparent from the above description of the operation, in this embodiment, control of communication (access) in each distributed virtual switch 2-i is stored in the partial
上記実施形態では、CCL中のVM構成情報70(図7参照)が、VM毎にIPアドレスを保持し、VM単位でアクセス制御を行うことを前提としている。つまり、VMが通信の主体(送受信者)であることを前提としている。しかし、VM上で動作するアプリケーション、プロセスなどが、それぞれIPアドレスに相当する情報(例えば、アドレスとポート番号)を持って、通信の主体として動作するような環境におけるアクセス制御であっても構わない。 In the above embodiment, it is assumed that the VM configuration information 70 (see FIG. 7) in the CCL holds an IP address for each VM and performs access control in units of VMs. That is, it is assumed that the VM is a communication subject (transmitter / receiver). However, access control may be performed in an environment in which applications, processes, and the like that operate on the VM each have information (for example, an address and a port number) corresponding to an IP address and operate as a communication subject. .
以上説明した少なくとも1つの実施形態によれば、分散仮想スイッチに適合するアクセス制御リストを簡単に作成して、当該分散仮想スイッチに配布することができる仮想ネットワークシステム及び仮想通信制御方法を提供することができる。 According to at least one embodiment described above, a virtual network system and a virtual communication control method capable of easily creating an access control list suitable for a distributed virtual switch and distributing the access control list to the distributed virtual switch are provided. Can do.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
H1〜H4…ホストマシン、PN1,PN2…物理ネットワーク、M…アクセス制御リスト管理装置(ACL管理装置)、1-1〜1-4…仮想マシンモニタ(VMM)、2-1〜2-4…分散仮想スイッチ、3-1〜3-4…構成管理部、10〜12,20〜22,30〜32,40〜42…仮想マシン(VM)、201…アクセス制御リスト記憶部(ACL記憶部)、202,302…通信制御リスト記憶部(CCL記憶部)、203…通信部(第1の通信手段)、204…アクセス制御リスト再構成部(ACL再構成部)、301…部分アクセス制御リスト記憶部(部分ACL記憶部)、303…通信部(第2の通信手段)、304…部分アクセス制御リスト要求管理部(部分ACL要求管理部)。 H1 to H4 ... host machines, PN1, PN2 ... physical network, M ... access control list management device (ACL management device), 1-1 to 1-4 ... virtual machine monitor (VMM), 2-1 to 2-4 ... Distributed virtual switch, 3-1 to 3-4 ... configuration management unit, 10 to 12, 20 to 22, 30 to 32, 40 to 42 ... virtual machine (VM), 201 ... access control list storage unit (ACL storage unit) 202, 302 ... communication control list storage unit (CCL storage unit), 203 ... communication unit (first communication means), 204 ... access control list reconfiguration unit (ACL reconfiguration unit), 301 ... partial access control list storage Parts (partial ACL storage part), 303 ... communication part (second communication means), 304 ... partial access control list request management part (partial ACL request management part).
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011055557AJP5395833B2 (en) | 2011-03-14 | 2011-03-14 | Virtual network system and virtual communication control method |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011055557AJP5395833B2 (en) | 2011-03-14 | 2011-03-14 | Virtual network system and virtual communication control method |
| Publication Number | Publication Date |
|---|---|
| JP2012190409A JP2012190409A (en) | 2012-10-04 |
| JP5395833B2true JP5395833B2 (en) | 2014-01-22 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011055557AActiveJP5395833B2 (en) | 2011-03-14 | 2011-03-14 | Virtual network system and virtual communication control method |
| Country | Link |
|---|---|
| JP (1) | JP5395833B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107079003A (en)* | 2014-09-09 | 2017-08-18 | 甲骨文国际公司 | The system and method that integrated fire proof wall for secure network communications is provided in multi-tenant environment |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107332812B (en) | 2016-04-29 | 2020-07-07 | 新华三技术有限公司 | Method and device for realizing network access control |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6944183B1 (en)* | 1999-06-10 | 2005-09-13 | Alcatel | Object model for network policy management |
| JP2003018157A (en)* | 2001-07-03 | 2003-01-17 | Mitsubishi Electric Corp | Communication control device, communication control system, and communication control method |
| JP2008126163A (en)* | 2006-11-22 | 2008-06-05 | Yoshiharu Fuchigami | Garbage treatment machine equipped with crusher and disposer, electromagnetic induction heating and reverse osmosis membrane, photocatalyst, and organic waste drying and carbonization equipment |
| JP4935899B2 (en)* | 2007-03-08 | 2012-05-23 | 富士通株式会社 | Access authority setting program, method and apparatus |
| US8195774B2 (en)* | 2008-05-23 | 2012-06-05 | Vmware, Inc. | Distributed virtual switch for virtualized computer systems |
| CN102726007B (en)* | 2009-04-01 | 2015-04-08 | Nicira股份有限公司 | Method and apparatus for implementing and managing virtual switches |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107079003A (en)* | 2014-09-09 | 2017-08-18 | 甲骨文国际公司 | The system and method that integrated fire proof wall for secure network communications is provided in multi-tenant environment |
| CN107079003B (en)* | 2014-09-09 | 2020-07-28 | 甲骨文国际公司 | System and method for providing an integrated firewall for secure network communications in a multi-tenant environment |
| Publication number | Publication date |
|---|---|
| JP2012190409A (en) | 2012-10-04 |
| Publication | Publication Date | Title |
|---|---|---|
| US10411947B2 (en) | Hot swapping and hot scaling containers | |
| CN110392999B (en) | Virtual Filtering Platform in Distributed Computing System | |
| EP3430512B1 (en) | Network virtualization of containers in computing systems | |
| US10938787B2 (en) | Cloud services management system and method | |
| EP3143733B1 (en) | Virtual flow network in a cloud environment | |
| JP7034187B2 (en) | Data processing methods, network interface cards, and servers | |
| JP5953421B2 (en) | Management method of tenant network configuration in virtual server and non-virtual server mixed environment | |
| JP6151394B2 (en) | Provision of virtual security appliance architecture for virtual cloud infrastructure | |
| CN112906077B (en) | Stateful services at the edge of a stateless cluster | |
| CN111095880B (en) | Method, apparatus, system and readable medium for public cloud logical network | |
| US9548890B2 (en) | Flexible remote direct memory access resource configuration in a network environment | |
| EP3488341A1 (en) | Scaling service discovery in a micro-service environment | |
| CN109937401A (en) | Live migration of load-balanced virtual machines via traffic bypass | |
| JP2019503595A5 (en) | ||
| US9166947B1 (en) | Maintaining private connections during network interface reconfiguration | |
| CN105519080A (en) | Method and apparatus for exchanging IP packets among network layer 2 peers | |
| JP2018508856A5 (en) | ||
| WO2018093615A1 (en) | Flow sate transfer for live migration of virtual machine | |
| CN116171567A (en) | Software defined network operation for programmable connectivity devices | |
| JP6345604B2 (en) | COMMUNICATION DEVICE, EXTENDED FUNCTION MOVE METHOD, AND COMMUNICATION SYSTEM | |
| Chen et al. | A scalable multi-datacenter layer-2 network architecture | |
| CN105791402A (en) | Network virtualization realization method of cloud computing platform and corresponding plug-in and agent | |
| Katsikas et al. | Metron: High-performance NFV service chaining even in the presence of blackboxes | |
| JP5904285B2 (en) | Communication system, virtual network management device, communication node, communication method, and program | |
| US11349702B2 (en) | Communication apparatus, system, rollback method, and non-transitory medium |
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20130123 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20130129 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20130401 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20130806 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20130902 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20130924 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20131018 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:5395833 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| S531 | Written request for registration of change of domicile | Free format text:JAPANESE INTERMEDIATE CODE: R313531 | |
| R350 | Written notification of registration of transfer | Free format text:JAPANESE INTERMEDIATE CODE: R350 | |
| S533 | Written request for registration of change of name | Free format text:JAPANESE INTERMEDIATE CODE: R313533 | |
| R350 | Written notification of registration of transfer | Free format text:JAPANESE INTERMEDIATE CODE: R350 |