【0001】[0001]
【発明の属する技術分野】本発明は、データの分散保存
システム、プログラムおよびサーバに関し、特に、デー
タの秘匿性および復元性に優れたデータの分散保存シス
テム、プログラムおよびサーバに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a distributed data storage system, a program, and a server, and more particularly, to a distributed data storage system, a program, and a server excellent in data confidentiality and restorability.
【0002】[0002]
【従来の技術】インターネットのサーバ等のデータ保管
システムにデータを保存する場合、以下の2つの問題が
ある。 (1)サーバの管理者は、預かったデータを覗くことが
できるため、機密性に欠ける。 (2)サーバがメンテナンスやトラブルの場合、データ
ハンドリングができなくなる。すなわち、サーバのデー
タ保管システムには、必ずメンテナンスの時期があり、
そのときには、そのサーバに保存されているデータをア
クセスして参照したり、データを入出力することができ
なくなる。また、サーバが震災などによりダウンした場
合にも、同様にデータアクセスやデータ入出力が不可能
になる。2. Description of the Related Art When data is stored in a data storage system such as an Internet server, there are the following two problems. (1) The administrator of the server can look into the stored data, and thus lacks confidentiality. (2) When the server is in maintenance or trouble, data handling becomes impossible. In other words, there is always a maintenance period in the server data storage system,
At that time, it becomes impossible to access and refer to the data stored in the server or input / output the data. Also, if the server goes down due to an earthquake or the like, data access and data input / output become similarly impossible.
【0003】[0003]
【発明が解決しようとする課題】従来は、上記(2)の
問題を回避するために、複数のサーバに同じデータを分
散保存して、或るサーバがダウンした(メンテナンスや
トラブル)場合であっても、それ以外のサーバに保存さ
れたデータのハンドリングができるようにしていた。こ
の方法によれば、同じデータが保存された複数のサーバ
のうちいずれか一つのサーバが稼動中であれば、そのサ
ーバとの間でデータハンドリングを行うことができる。
その反面、いずれのサーバの管理者も、自社のデータ保
管システムに保存されたデータからデータ内容を認識す
ることができるため、上記(1)で述べた通り、機密性
に欠けるという問題がある。Conventionally, in order to avoid the problem (2), the same data is distributed and stored in a plurality of servers and a certain server goes down (maintenance or trouble). However, it was possible to handle data stored in other servers. According to this method, if any one of a plurality of servers storing the same data is operating, data handling can be performed with the server.
On the other hand, since the administrator of each server can recognize the data content from the data stored in the company's data storage system, there is a problem that the confidentiality is lacking as described in (1) above.
【0004】機密性が十分に確保されると共に、或るサ
ーバがダウンした場合であってもそれ以外のサーバに保
存されたデータからデータが復元することができるデー
タの分散保存システム、プログラムおよびサーバが望ま
れる。[0004] A distributed data storage system, a program and a server, which ensure sufficient confidentiality and can restore data from data stored in other servers even if one server goes down. Is desired.
【0005】なお、特開平11−238076号公報に
は、次の空間情報流通システムが開示されている。複数
の空間情報を格納、提供する1以上の空間情報提供計算
機と、前記空間情報提供計算機から提供される複数の空
間情報を利用する1以上の空間情報利用計算機とが、ネ
ットワークで接続されている空間情報流通システムにお
いて、前記空間情報利用計算機における複数の空間情報
の利用履歴である利用形態情報を有することを特徴とす
る。The following spatial information distribution system is disclosed in Japanese Patent Application Laid-Open No. Hei 11-238076. One or more spatial information providing computers that store and provide a plurality of spatial information and one or more spatial information using computers that use a plurality of spatial information provided from the spatial information providing computer are connected by a network. The spatial information distribution system is characterized in that the spatial information distribution system has usage form information that is a usage history of a plurality of spatial information in the spatial information utilization computer.
【0006】また、特開2000−259359公報に
は、次のRAID装置が開示されている。データを複数
のデータ用ディスクに分散保存するRAID装置におい
て、前記複数のデータ用ディスクに複数台のパリティ用
ディスクを冗長する冗長手段と、前記データ用ディスク
のデータ保存領域およびパリティ用ディスクのパリティ
保存領域をビット単位に任意整数にブロック分けするブ
ロック分割手段と、拡大ガロア体GF(2n)(nは整
数)を用いて、前記全ディスクの所定ブロックどうしで
連なるグループ単位ごとに前記データ用ディスクに付加
するパリティ用ディスクのパリティを算出するパリティ
算出手段および前記任意のデータ用ディスク障害時、障
害発生ディスクのデータを未知データとし、前記拡大ガ
ロア体GF(2n)で定める規則に従って連立合同式を
作成し、この連立合同式から前記未知データを復元する
データ復元手段を有するRAID制御装置とを備えたこ
とを特徴としている。Further, Japanese Patent Laid-Open Publication No. 2000-259359 discloses the following RAID device. In a RAID apparatus for distributing and storing data on a plurality of data disks, a redundancy means for making a plurality of parity disks redundant on the plurality of data disks, a data storage area of the data disk and a parity storage of the parity disk The data disk for each group unit connected by predetermined blocks of all the disks by using a block dividing means for dividing an area into arbitrary integers in units of bits and an extended Galois field GF (2n ) (n is an integer). It calculates the parity of the parity disk to be added when a parity calculating means and said arbitrary data disk failure, the data of the failed disk with unknown data, simultaneous congruences in accordance with the rules specified above in the enlarged Galois field GF (2n) And restore the unknown data from this simultaneous equation. And a RAID control device having data restoration means.
【0007】本発明の目的は、機密性が十分に確保され
ると共に、或るサーバがダウンした場合であってもそれ
以外のサーバに保存されたデータからデータが復元する
ことができるデータの分散保存システム、プログラムお
よびサーバを提供することにある。本発明の他の目的
は、機密性が十分に確保されると共に、或るサーバがダ
ウンした場合であってもそれ以外のサーバに保存された
データからデータが復元することができるデータの分散
保存システム、プログラムおよびサーバを提供すること
にある。[0007] It is an object of the present invention to ensure sufficient confidentiality and to distribute data that can be restored from data stored in other servers even if one server goes down. It is to provide a storage system, a program and a server. Another object of the present invention is to provide a distributed storage of data in which confidentiality is sufficiently ensured and data can be restored from data stored in another server even if one server goes down. To provide a system, a program, and a server.
【0008】[0008]
【課題を解決するための手段】その課題を解決するため
の手段が、下記のように表現される。その表現中の請求
項対応の技術的事項には、括弧()つき、番号、記号等
が添記されている。その番号、記号等は、請求項対応の
技術的事項と実施の複数・形態のうちの少なくとも一つ
の形態の技術的事項との一致・対応関係を明白にしてい
るが、その請求項対応の技術的事項が実施の形態の技術
的事項に限定されることを示されるためのものではな
い。Means for solving the problem are described as follows. The technical matters corresponding to the claims in the expression are appended with parentheses (), numbers, symbols, and the like. The numbers, symbols, etc. clarify the correspondence / correspondence between the technical matter corresponding to the claim and the technical matter of at least one of the plural forms of implementation. It is not intended to show that technical matters are limited to the technical matters of the embodiments.
【0009】本発明のデータの分散保存システムは、単
一のデータ(11)を複数の分割データに分割するデー
タ分割部(15)と、前記複数の分割データをそれぞれ
格納するN個(Nは複数)のサーバ(17、18、1
9)と、前記(N−1)個の前記サーバ(17、18)
に格納された前記複数の分割データに基づいて、前記単
一のデータ(11)を復元するデータ復元部(30)と
を備えている。A distributed storage system for data according to the present invention comprises a data dividing unit (15) for dividing a single data (11) into a plurality of divided data, and N data storing units (N: N) each storing the plurality of divided data. Servers (17, 18, 1)
9) and the (N-1) servers (17, 18)
And a data restoring unit (30) for restoring the single data (11) based on the plurality of divided data stored in the storage unit.
【0010】本発明のデータの分散保存システムにおい
て、前記サーバ(17、18、19)は、インターネッ
ト・ディスクスペース供給機器である。In the distributed data storage system according to the present invention, the server (17, 18, 19) is an Internet disk space supply device.
【0011】本発明のデータの分散保存システムにおい
て、前記データ分割部(15)は、前記複数の分割デー
タが冗長性を有するように、前記単一のデータ(11)
を分割する。In the distributed data storage system according to the present invention, the data dividing section (15) is configured to control the single data (11) so that the plurality of divided data have redundancy.
Split.
【0012】本発明の分散保存システムにおいて、前記
データ分割部(25)は、RAID(Redundan
t Arrays of Inexpensive D
isks)方式により、前記単一のデータ(11)を分
割する。[0012] In the distributed storage system according to the present invention, the data division unit (25) includes a RAID (Redundan).
t Arrays of Inexpensive D
isk), the single data (11) is divided.
【0013】本発明のプログラムは、単一のデータ(1
1)を入力するステップと、前記入力された単一のデー
タ(11)を複数の分割データに分割するステップと、
前記複数の分割データをそれぞれに複数のインターネッ
ト・ディスクスペース供給機器(17、18、19)に
出力するステップの各ステップをコンピュータに実行さ
せるためのプログラムである。The program according to the present invention stores a single data (1
1) inputting, and dividing the input single data (11) into a plurality of divided data;
A program for causing a computer to execute each step of outputting the plurality of divided data to a plurality of Internet disk space supply devices (17, 18, 19).
【0014】本発明のプログラムは、複数のインターネ
ット・ディスクスペース供給機器(17、18、19)
にそれぞれ格納された、単一のデータ(11)が分割さ
れてなる複数の分割データを前記複数のインターネット
・ディスクスペース供給機器(17、18、19)から
入力するステップと、前記入力した複数の分割データに
基づいて、前記単一のデータ(11)を復元するステッ
プの各ステップをコンピュータに実行させるためのプロ
グラムである。The program according to the present invention comprises a plurality of Internet disk space supply devices (17, 18, 19).
Inputting a plurality of divided data obtained by dividing the single data (11) respectively stored from the plurality of Internet disk space supply devices (17, 18, 19); A program for causing a computer to execute each step of restoring the single data (11) based on the divided data.
【0015】本発明のプログラムは、単一のデータ(1
1)を入力するステップと、前記入力された単一のデー
タ(11)を複数の分割データに分割するステップと、
前記複数の分割データをそれぞれにN個(Nは複数)の
サーバ(17、18、19)に出力するステップと、前
記(N−1)個の前記サーバ(17、18、19)に格
納された前記複数の分割データを前記(N−1)個のサ
ーバ(17、18、19)から入力するステップと、前
記入力した複数の分割データに基づいて、前記単一のデ
ータ(11)を復元するステップの各ステップをコンピ
ュータに実行させるためのプログラムである。The program according to the present invention stores a single data (1
1) inputting, and dividing the input single data (11) into a plurality of divided data;
Outputting the plurality of divided data to N (17, 18, 19) servers, respectively, and storing the divided data in the (N-1) servers (17, 18, 19). Inputting the plurality of divided data from the (N-1) servers (17, 18, 19), and restoring the single data (11) based on the input plurality of divided data. Is a program for causing a computer to execute each of the steps to be performed.
【0016】本発明のプログラムにおいて、前記サーバ
は、インターネット・ディスクスペース供給機器であ
る。In the program according to the present invention, the server is an Internet disk space supply device.
【0017】本発明のサーバは、他の複数の外部サーバ
(18、19)とともに単一のデータ(11)を分割保
存するサーバ(17)であって、前記サーバ(17)
は、前記単一のデータ(11)が第1、第2および第3
分割データに分割されたとき、前記第1、第2および第
3分割データのうち前記他の複数の外部サーバ(18、
19)がそれぞれに格納する前記第1および第2分割デ
ータ以外の前記第3分割データを格納する。The server of the present invention is a server (17) for dividing and storing a single data (11) together with a plurality of other external servers (18, 19).
Means that the single data (11) is the first, second and third
When divided into divided data, the plurality of other external servers (18, 18) of the first, second, and third divided data
19) stores the third divided data other than the first and second divided data respectively stored therein.
【0018】本発明のサーバにおいて、前記サーバ(1
7)は、インターネット・ディスクスペース供給機器で
ある。In the server of the present invention, the server (1)
7) is an Internet disk space supply device.
【0019】[0019]
【発明の実施の形態】以下、添付図面を参照して、本発
明のデータ分散保存システムの一実施形態について説明
する。図1は、本実施形態のデータ分散保存システムの
構成を示すブロック図である。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of a data distribution and storage system according to an embodiment of the present invention. FIG. 1 is a block diagram showing a configuration of the data distributed storage system of the present embodiment.
【0020】図1に示されるように、符号10は、デー
タ生成部である。データ生成部10は、単一のデータ1
1を生成する。そのデータ11は、冗長化分割部15に
送られる。As shown in FIG. 1, reference numeral 10 denotes a data generator. The data generation unit 10 outputs a single data 1
1 is generated. The data 11 is sent to the redundancy dividing unit 15.
【0021】冗長化分割部15は、データ11を冗長性
を持たせて分割し、それらの分割したデータを複数のデ
ータ保管システム17、18、19にそれぞれ割り当て
て保存させる。The redundancy dividing section 15 divides the data 11 with redundancy and allocates the divided data to a plurality of data storage systems 17, 18, and 19 to store the divided data.
【0022】例えば、データ生成部10がデータ11と
して「A」、「B」、「C」の3つのブロックからなる
単一のデータ「ABC」を生成した場合、冗長化分割部
15は、そのデータ「ABC」を冗長性を持たせて「A
B」、「BC」、「AC」の3つに分割する。そして、
冗長化分割部15は、その分割したデータ「AB」を第
1データ保管システム(サーバ)17に割り当てて保存
させ、同様に、データ「BC」を第2データ保管システ
ム(サーバ)18に割り当てて保存させ、データ「A
C」を第3データ保管システム(サーバ)19に割り当
てて保存させる。For example, when the data generation unit 10 generates single data “ABC” composed of three blocks “A”, “B”, and “C” as the data 11, the redundancy division unit 15 The data “ABC” is given a redundancy
B "," BC ", and" AC ". And
The redundancy dividing unit 15 allocates the divided data “AB” to the first data storage system (server) 17 and stores it, and similarly allocates the data “BC” to the second data storage system (server) 18 and Save the data "A
"C" is allocated to the third data storage system (server) 19 and stored.
【0023】この場合、冗長化分割部15は、データ1
1を冗長性を持たせて分割した後、その分割した各デー
タを、インターネット50上でFTP(File Tr
ansfer Protocol)、HTTP(Hyp
ertext Transfer Protocol)
という転送プロトコルを用いて、それぞれのデータ保管
システム(サーバ)17、18、19に転送させること
ができる。In this case, the redundancy dividing unit 15 stores the data 1
1 is divided with redundancy, and each divided data is transferred on the Internet 50 by FTP (File Tr
answer Protocol), HTTP (Hyp)
ertext Transfer Protocol)
Using the transfer protocol described above, the data can be transferred to the respective data storage systems (servers) 17, 18, and 19.
【0024】各データ保管システム(サーバ)17、1
8、19は、「ABC」からなるデータ11の全体を保
存しているわけではなく、いずれもその一部が欠落した
データを保存しているに過ぎないため、データ内容を認
識することができず、これにより、データの機密性が確
保される。Each data storage system (server) 17, 1
8 and 19 do not store the entire data 11 consisting of "ABC", but only store data in which a part of them is missing, so that the data contents can be recognized. Instead, the confidentiality of the data is ensured.
【0025】データ復元部30は、上記3つのデータ保
管システム(サーバ)17、18、19のうち1つがメ
ンテナンスやトラブルなどでダウンした場合にも、残り
の2つのデータ保管システム(サーバ)に保存されたデ
ータから、「ABC」からなるデータ11の全体を復元
することができる。If one of the three data storage systems (servers) 17, 18, and 19 goes down due to maintenance or a trouble, the data restoration unit 30 stores the data in the remaining two data storage systems (servers). The entire data 11 including “ABC” can be restored from the data thus obtained.
【0026】この場合、データ復元部30は、インター
ネット50上でFTP、HTTPという転送プロトコル
を用いて、それぞれのデータ保管システム(サーバ)1
7、18、19からデータ復元部30まで各データを転
送させることができる。In this case, the data restoring unit 30 uses the FTP and HTTP transfer protocols on the Internet 50 to transmit data to the respective data storage systems (servers) 1.
Each data can be transferred from 7, 18, 19 to the data restoration unit 30.
【0027】データ復元部30は、上記のデータ復元を
行う前提として、冗長化分割部15からデータ分割手法
および/または分割されたデータの保存先(どのデータ
保管システム(サーバ)のどのメモリエリアか)を示す
データが通知されている。データ復元部30は、そのデ
ータに基づいて、保存先のデータ保管システム(サー
バ)から所望のデータを読み出して復元する。The data restoring unit 30 presupposes that the data restoring is performed by the data dividing method from the redundancy dividing unit 15 and / or the storage destination of the divided data (which memory area of which data storage system (server) ) Is notified. The data restoring unit 30 reads and restores desired data from a data storage system (server) at the storage destination based on the data.
【0028】ここで、冗長化分割部15がデータを分割
する数は3に限らず、保存させるべき複数のデータ保管
システムの数に等しい2以上の数である。Here, the number of data divisions performed by the redundant division unit 15 is not limited to three, but may be two or more, which is equal to the number of a plurality of data storage systems to be stored.
【0029】次に、図2を参照して、本実施形態の変形
例を説明する。図1と同じ構成要素については同じ符号
を付してその詳細な説明を省略する。Next, a modified example of this embodiment will be described with reference to FIG. The same components as those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
【0030】本例では、冗長化分割部15に代えて、デ
ータ分割部25が設けられている。このデータ分割部2
5は、冗長化分割部15のようにデータ11を冗長性を
持たせて分割するのではなく、後述するRAID5方式
によりデータ11を分割する。すなわち、データ分割部
25は、「ABC」からなる単一のデータ11を、
「A」、「B」、「C」、「P(パリティ)」の4つに
分割して、それぞれをサーバ1〜4(17〜20)に保
存させる。In this example, a data division unit 25 is provided in place of the redundancy division unit 15. This data division unit 2
No. 5 does not divide the data 11 with redundancy as in the redundancy dividing unit 15, but divides the data 11 by a RAID5 method described later. That is, the data dividing unit 25 converts the single data 11 composed of “ABC” into
It is divided into four, "A", "B", "C", and "P (parity)", and each is stored in the servers 1 to 4 (17 to 20).
【0031】ここで、「P(パリティ)」は、「A」、
「B」、「C」の3つのうちの2つ(例えば「A」、
「C」)との間で排他的論理和をとることで残りの1つ
(この例では「B」)を求めることができるものであ
る。すなわち、データ復元部30は、「A」、「B」、
「C」をそれぞれ保存するサーバ1〜3(17〜19)
のいずれ1つがダウンしても、「P」を用いることで、
そのダウンしたサーバに保存されたデータを求めること
ができ、これによりデータ11を復元することができ
る。Here, “P (parity)” is “A”,
Two of the three “B” and “C” (eg, “A”,
The remaining one (in this example, "B") can be obtained by taking an exclusive OR with "C"). That is, the data restoration unit 30 outputs “A”, “B”,
Servers 1 to 3 (17 to 19) that respectively store "C"
Even if any one of them goes down, by using "P",
The data stored in the downed server can be obtained, whereby the data 11 can be restored.
【0032】この場合、データ分割部25による分割方
法は、RAID5には限定されず、後述するRAID5
以外のRAIDの方法であることができる(但し、後述
する理由でRAID1は単独では採用できない)。In this case, the dividing method by the data dividing unit 25 is not limited to RAID5, but may be RAID5 described later.
Other RAID methods (however, RAID1 cannot be used alone for the reasons described below).
【0033】一般に、RAID(Redundant
Arrays of Inexpensive Dis
ks)装置は、各種のデータを複数の安価なディスクに
分散し保存することにより、高性能ディスクと同等の性
能を得る装置である。しかし、小型のディスクを多数使
用すれば、ディスクの故障が増加し、それだけデータが
消失する危険性も高くなるので、単にディスクの数を増
やすだけでなく、余分なディスクを用意し、冗長性をも
たせることにより、安定性および高性能化を図ってい
る。Generally, RAID (Redundant)
Arrays of Inexpensive Dis
The ks) apparatus is an apparatus that obtains the same performance as a high-performance disk by distributing and storing various data on a plurality of inexpensive disks. However, the use of many small disks increases the number of disk failures and increases the risk of data loss.Therefore, not only increase the number of disks, but also prepare extra disks and increase redundancy. By providing it, stability and high performance are achieved.
【0034】RAID装置は、データ用ディスクの他
に、冗長性をもたせるためのパリティ用ディスクが設け
られ、データ用ディスクに障害が発生したとき、冗長性
をもったパリティデータを用いて、障害によって失われ
たデータを復元することが行われている。The RAID device is provided with a parity disk for providing redundancy in addition to the data disk. When a failure occurs in the data disk, the RAID device uses the parity data having redundancy to cause a failure. Restoring lost data has been done.
【0035】RAID装置は、ディスクの組合せないし
負荷分散の観点から、大まかには6つのレベルRAID
1〜RAID6に分類され、ディスク障害時のデータの
復元化を図っている。From the viewpoint of disk combination or load distribution, the RAID device has roughly six levels of RAID.
1 to RAID 6 to restore data in the event of a disk failure.
【0036】RAID1は、ミラーリング(mirro
ring)とも呼ばれる方式であって、この方式は、デ
ータ用ディスクが2つのグループに分けられ、同一のデ
ータを2つのグループデータディスクに保存する二重化
データ保存方式である。データの書込みは両グループ同
時に行い、データの読み出しは何れかのデータ用ディス
クから行う。その結果、一方のグループデータ用ディス
クの障害時、別のグループに切替えるだけで消失データ
を簡単に復元できる。RAID1 is mirroring (mirroring).
This method is a dual data storage method in which a data disk is divided into two groups and the same data is stored in two group data disks. Data writing is performed simultaneously for both groups, and data reading is performed from any data disk. As a result, when one group data disk fails, the lost data can be easily restored simply by switching to another group.
【0037】上記のRAID1は、同一のデータが複数
のデータ保管システムに保存されるものであり、各デー
タ保管システムが完全な形の(データの欠落が無い)デ
ータ11(上記例では「ABC」)を保存するため、デ
ータの機密性に欠ける。よって、本実施形態およびその
変形例では、単独では採用することができない。In the above-mentioned RAID 1, the same data is stored in a plurality of data storage systems, and each data storage system has a complete (no data loss) data 11 ("ABC" in the above example). ) To save data confidentiality. Therefore, in this embodiment and its modification, it cannot be adopted alone.
【0038】但し、RAID1を他の分割方法と組み合
わせて用いることは可能である。すなわち、図1に示し
た例でいえば、分割されたデータ「AB」を第1データ
保管システム17に割り当てて保存させるとともに、デ
ータ「AB」をミラーリングさせて、第4のデータ保管
システム(図示せず)にも同じくデータ「AB」を保存
させることができる。However, it is possible to use RAID1 in combination with another division method. That is, in the example shown in FIG. 1, the divided data “AB” is allocated to the first data storage system 17 and stored, and the data “AB” is mirrored, so that the fourth data storage system (FIG. (Not shown) can also store the data “AB”.
【0039】RAID2は、データを複数のディスクに
ビット単位で分散記録する一方、コンピュータのメモリ
で利用されているエラー訂正コード(ECC)を付加
し、データ用ディスクの障害により失われたデータにつ
いて、エラー訂正コードを用いて復元し信頼性を高める
方式である。In RAID 2, data is dispersedly recorded on a plurality of disks in units of bits, while an error correction code (ECC) used in a memory of a computer is added. This is a method for improving reliability by restoring using an error correction code.
【0040】RAID3は、ディスクごとに障害を検知
する仕組みがあることを前提とし、ECCを使わずにデ
ータをビット単位で複数のディスクに分散させ、パリテ
ィ用ディスク1台を追加し、データ用ディスクの障害に
より失われたデータについて、ビット単位の排他的論理
和によって障害データ用ディスク1台を復元する方式で
ある。RAID 3 is based on the premise that there is a mechanism for detecting a failure for each disk, disperses data to a plurality of disks in units of bits without using ECC, adds one parity disk, and adds a data disk. Is a method of restoring one failed data disk by exclusive OR in bit units for data lost due to the failure.
【0041】RAID4は、ディスクごとに障害を検知
する仕組みがあることを前提とし、RAID3がデータ
をビット単位で分散させたのに対し、データをブロック
単位で複数のデータ用ディスクに分散させ、パリティ用
ディスク1台を追加し、障害により失われたデータにつ
いて、ブロック単位の排他的論理和によって障害データ
用ディスク1台を復元する方式である。RAID4 is based on the premise that there is a mechanism for detecting a failure for each disk, whereas RAID3 distributes data in units of bits, whereas RAID4 distributes data in units of blocks and distributes data to a plurality of data disks. This is a method in which one disk for failure data is added and one disk for failure data is restored by exclusive OR in block units for data lost due to the failure.
【0042】RAID5は、同じくディスクごとに障害
を検知する仕組みがあることを前提とし、パリティをブ
ロック単位に全てのディスクに分散保持させ、障害によ
り失われたデータは、ブロック単位の排他的論理和によ
って障害データ用ディスク1台を復元する方式である。RAID5 is based on the premise that there is a mechanism for detecting a failure for each disk, and parity is distributed and held in all disks in block units, and data lost due to the failure is subjected to exclusive OR operation in block units. Restores one failed data disk.
【0043】RAID6は、RAID5が障害対策に単
一パリティを用いたのに対し、パリティを2次元に拡張
したり、Reed−Solomonコードを用いてエラ
ー訂正機能を強化することにより、複数台のデータ用デ
ィスク障害を復元し、信頼性を高める方式である。RAID6 uses a single parity as a countermeasure for failures, but expands the parity two-dimensionally or enhances the error correction function using a Reed-Solomon code, so that multiple data sets can be used. This is a method for restoring disk failures for use and improving reliability.
【0044】また、本実施形態およびその変形例におい
て、複数のデータ保管システムは、同一法人であると、
それらの複数のデータ保管システム相互間での連携が可
能であり、それらの複数のデータ保管システムのそれぞ
れに分散保存された各データを組み合わせてデータ内容
を認識してしまうおそれがある。そのため、互いに関連
性の無い別法人のデータ保管システムに分散保存させる
ことが望ましい。In the present embodiment and its modifications, the plurality of data storage systems are the same corporation.
The plurality of data storage systems can cooperate with each other, and there is a possibility that data contents are recognized by combining the data distributed and stored in each of the plurality of data storage systems. Therefore, it is desirable that the data is distributed and stored in data storage systems of different corporations that are not related to each other.
【0045】さらに、本実施形態およびその変形例にお
いて、複数のデータ保管システムは、同一地域に集中し
て存在していると、万一、天変地異(震災など)が発生
したときにその地域の複数のデータ保管システムがまと
めてダウンするおそれがあるため、互いに異なる地域に
設置されることが望ましい。Furthermore, in the present embodiment and its modifications, if a plurality of data storage systems exist in a concentrated manner in the same area, if a natural disaster (such as an earthquake) occurs, Since there is a possibility that a plurality of data storage systems may go down at the same time, it is preferable that the data storage systems be installed in different areas.
【0046】なお、本実施形態およびその変形例では、
データ保管システムがインターネットのサーバであると
して説明したが、本発明ではインターネットのサーバに
限定されるものではない。複数のデータ保管システムの
一つが、サーバではなく自社のサーバであり、他のデー
タ保管システムがサーバであることができる。また、複
数のデータ保管システムの一つが、会社の或る事業場内
のサーバであり、他のデータ保管システムがその会社の
国内外の営業所、関連・協力会社のサーバであることが
できる。In this embodiment and its modifications,
Although the data storage system has been described as an Internet server, the present invention is not limited to the Internet server. One of the plurality of data storage systems may be its own server, not a server, and the other data storage system may be a server. Further, one of the plurality of data storage systems may be a server in a certain business place of the company, and the other data storage system may be a server of a sales office of the company in Japan and overseas, a server of a related / cooperating company.
【0047】ここで、本実施形態と、従来一般のディス
ク・アレイ(RAID)装置との相違について説明す
る。Here, the difference between this embodiment and a conventional general disk array (RAID) device will be described.
【0048】従来一般のディスク・アレイ(RAID)
装置は、単独で(自社内などの閉じた領域に)存在する
データ保存システムにおいて実施され、その目的は専ら
データ用ディスク障害時のデータ復元であった。すなわ
ち、従来一般のディスク・アレイ(RAID)装置にお
いては、複数のディスクは、いずれも自社の管理下に設
置されるため、機密性の確保という要請は殆ど無い。Conventional general disk array (RAID)
The device was implemented in a data storage system that existed alone (in a closed area, such as within the company), and its purpose was solely to restore data in the event of a data disk failure. That is, in a conventional general disk array (RAID) device, since a plurality of disks are all installed under the management of the company, there is almost no demand for ensuring confidentiality.
【0049】これに対し、本実施形態およびその変形例
では、インターネット50というパブリックでオープン
なネットワーク上のサーバ(データ保存システム)にデ
ータを保存することを一前提としているため、従来では
問題視され得なかった機密性確保の問題が初めて生じた
のである。この機密性の問題を解決するために、データ
11の全容が認識されないように、データ11の一部が
欠落する形にデータ分割を行い、それぞれの分割データ
を各サーバに分散保存させているのである。また、そも
そも本実施形態およびその変形例において、データ分割
の方法はディスク・アレイ(RAID)方式に限定され
るものではない(図1参照)。On the other hand, in the present embodiment and its modifications, it is premised that data is stored in a server (data storage system) on a public open network called the Internet 50. This was the first issue of confidentiality that could not be obtained. In order to solve the problem of confidentiality, data is divided so that a part of the data 11 is missing so that the entire contents of the data 11 are not recognized, and each divided data is distributed and stored in each server. is there. Further, in the first embodiment and its modifications, the data division method is not limited to the disk array (RAID) method (see FIG. 1).
【0050】また、従来一般のディスク・アレイ(RA
ID)装置は、あくまで自社の管理下に設置された「デ
ィスクの故障」という状況が想定されたものに過ぎな
い。これに対し、本実施形態が解決しようとしている、
サーバがメンテナンス時期などでデータハンドリングが
一時的に不可能な状況、または或る地域に設置されたサ
ーバだけが震災等により破壊された状況は、自社の管理
下の「ディスクの故障」という状況とは次元が異なる。
本実施形態が解決しようとしている上記状況に備えて、
RAIDの分散保存の考え方の一部を適用したこと自体
が従来無い新しいものである。A conventional general disk array (RA)
The (ID) device is merely a device that assumes a "disk failure" condition installed under its own control. In contrast, the present embodiment is trying to solve,
A situation in which data handling is temporarily impossible due to server maintenance, or a situation where only a server installed in a certain area has been destroyed due to an earthquake, etc., is a "disk failure" under our management. Is different in dimension.
In preparation for the situation that this embodiment is about to solve,
The application of a part of the concept of distributed storage of RAID is a new thing that has never been used before.
【0051】さらに、従来一般のディスク・アレイ(R
AID)装置では、複数のディスクの一つが故障したと
きにもデータを復元することができるものの、それらの
ディスクからデータを読み出す装置または複数のディス
クを制御するコントローラが故障すると、もはやディス
クにアクセスできずにデータハンドリングが不可能にな
る。Further, a conventional general disk array (R
AID) devices can restore data even if one of the disks fails, but can no longer access the disks if the device that reads data from those disks or the controller that controls the disks fails. Without data handling.
【0052】これに対し、本実施形態によれば、インタ
ーネット50上の複数のサーバにアクセスできるのは特
定の読出し装置またはコントローラ(データ復元部3
0)に限定されないため、或る読出し装置またはコント
ローラ(データ復元部30)が故障したときでも、イン
ターネット50に接続された他の読出し装置またはコン
トローラ(図示しないデータ復元部)を用いることで、
データハンドリングが可能である。On the other hand, according to the present embodiment, a plurality of servers on the Internet 50 can be accessed only by a specific reading device or controller (data restoration unit 3).
0), even when a certain readout device or controller (data restoration unit 30) breaks down, by using another readout device or controller (data restoration unit (not shown)) connected to the Internet 50,
Data handling is possible.
【0053】本実施形態において、データ保存システム
の保存領域がプロバイダ(サーバ)から借りたディスク
スペースであるとした場合には、通常、プロバイダから
は24時間体制のディスクメンテナンスサービスが得ら
れることから、データ保存システムが自社のサーバであ
る場合に比べて、人件費をはじめとするメンテナンスに
かかる諸経費の削減効果が得られる。In the present embodiment, if the storage area of the data storage system is assumed to be the disk space borrowed from the provider (server), a 24-hour disk maintenance service is usually obtained from the provider. Compared to a case where the data storage system is a server of the company, an effect of reducing various costs for maintenance such as labor costs can be obtained.
【0054】[0054]
【発明の効果】本発明のデータの分散保存システムによ
れば、機密性が十分に確保されると共に、或るサーバが
ダウンした場合であっても、それ以外のサーバに保存さ
れたデータに基づいて、データを復元することができ
る。According to the distributed storage system for data of the present invention, confidentiality is sufficiently ensured, and even if a certain server goes down, it is based on data stored in other servers. Data can be restored.
【図1】図1は、本発明のデータの分散保存システムの
一実施形態を示すブロック図である。FIG. 1 is a block diagram showing an embodiment of a data distributed storage system according to the present invention.
【図2】図2は、本発明のデータの分散保存システムの
一実施形態の変形例を示すブロック図である。FIG. 2 is a block diagram showing a modification of the embodiment of the data distributed storage system of the present invention.
10 データ生成部 11 データ 15 冗長化分割部 17 サーバ(データ保管システム) 18 サーバ(データ保管システム) 19 サーバ(データ保管システム) 20 サーバ(データ保管システム) 25 データ分割部 30 データ復元部 50 インターネット DESCRIPTION OF SYMBOLS 10 Data generation part 11 Data 15 Redundancy division part 17 Server (data storage system) 18 Server (data storage system) 19 Server (data storage system) 20 Server (data storage system) 25 Data division part 30 Data restoration part 50 Internet
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06F 12/00 545 G06F 12/00 545A 12/14 320 12/14 320A 15/16 620 15/16 620H 15/177 678 15/177 678C Fターム(参考) 5B017 AA03 BA10 CA07 5B018 GA04 HA05 HA35 KA03 KA21 MA12 5B045 DD16 JJ43 5B065 BA01 CA30 5B082 DE06──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl.7 Identification symbol FI Theme coat ゛ (Reference) G06F 12/00 545 G06F 12/00 545A 12/14 320 12/14 320A 15/16 620 15/16 620H 15 / 177 678 15/177 678C F term (reference) 5B017 AA03 BA10 CA07 5B018 GA04 HA05 HA35 KA03 KA21 MA12 5B045 DD16 JJ43 5B065 BA01 CA30 5B082 DE06
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001070897AJP2002268952A (en) | 2001-03-13 | 2001-03-13 | Distributed data storage system, program and server |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001070897AJP2002268952A (en) | 2001-03-13 | 2001-03-13 | Distributed data storage system, program and server |
| Publication Number | Publication Date |
|---|---|
| JP2002268952Atrue JP2002268952A (en) | 2002-09-20 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001070897APendingJP2002268952A (en) | 2001-03-13 | 2001-03-13 | Distributed data storage system, program and server |
| Country | Link |
|---|---|
| JP (1) | JP2002268952A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004147218A (en)* | 2002-10-25 | 2004-05-20 | Ntt Communications Kk | Data division management method and program |
| JP2007172351A (en)* | 2005-12-22 | 2007-07-05 | Matsushita Electric Works Ltd | File management system |
| JP2007172390A (en)* | 2005-12-22 | 2007-07-05 | Matsushita Electric Works Ltd | File management system |
| JP2007206993A (en)* | 2006-02-02 | 2007-08-16 | Fujitsu Ltd | Storage system, control method and program |
| US7631052B2 (en) | 2008-03-20 | 2009-12-08 | Gene Fein | Redundant data forwarding storage |
| US7844695B2 (en) | 2008-03-12 | 2010-11-30 | Gene Fein | Data forwarding storage |
| US7877456B2 (en) | 2008-04-08 | 2011-01-25 | Post Dahl Co. Limited Liability Company | Data file forwarding storage and search |
| JP2011198325A (en)* | 2010-03-24 | 2011-10-06 | Hitachi Solutions Ltd | Method and system for performing safe bringing-out of file data to outside |
| JP2012175536A (en)* | 2011-02-23 | 2012-09-10 | Brother Ind Ltd | Information communication system, node apparatus, information processing method, and program |
| US8352635B2 (en) | 2008-09-29 | 2013-01-08 | Tajitshu Transfer Limited Liability Company | Geolocation assisted data forwarding storage |
| US8356078B2 (en) | 2008-08-01 | 2013-01-15 | Tajitshu Transfer Limited Liability Company | Multi-homed data forwarding storage |
| US8370446B2 (en) | 2008-07-10 | 2013-02-05 | Tajitshu Transfer Limited Liability Company | Advertisement forwarding storage and retrieval network |
| US8386585B2 (en) | 2008-04-25 | 2013-02-26 | Tajitshu Transfer Limited Liability Company | Real-time communications over data forwarding framework |
| US8452844B2 (en) | 2008-05-07 | 2013-05-28 | Tajitshu Transfer Limited Liability Company | Deletion in data file forwarding framework |
| US8478823B2 (en) | 2008-09-29 | 2013-07-02 | Tajitshu Transfer Limited Liability Company | Selective data forwarding storage |
| US8489687B2 (en) | 2008-09-29 | 2013-07-16 | Tajitshu Transfer Limited Liability Company | Rotating encryption in data forwarding storage |
| US8554866B2 (en) | 2008-09-29 | 2013-10-08 | Tajitshu Transfer Limited Liability Company | Measurement in data forwarding storage |
| US8599678B2 (en) | 2008-07-10 | 2013-12-03 | Tajitshu Transfer Limited Liability Company | Media delivery in data forwarding storage network |
| JP2014149625A (en)* | 2013-01-31 | 2014-08-21 | Nec Corp | Storage system, disk array device and method for controlling storage system |
| JP2014171012A (en)* | 2013-03-01 | 2014-09-18 | Oki Electric Ind Co Ltd | IP multimedia subsystem |
| US9203928B2 (en) | 2008-03-20 | 2015-12-01 | Callahan Cellular L.L.C. | Data storage and retrieval |
| KR101735306B1 (en)* | 2011-01-10 | 2017-05-15 | 삼성전자 주식회사 | Method and apparatus for managing content in mobile terminal |
| JP2017174000A (en)* | 2016-03-22 | 2017-09-28 | ステラプラス株式会社 | Dispersion storage system, dispersion storage program and dispersion storage method |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1165911A (en)* | 1997-08-20 | 1999-03-09 | Kyushu Nippon Denki Software Kk | Client/server type filing system |
| JP2000076207A (en)* | 1998-08-28 | 2000-03-14 | Nippon Telegr & Teleph Corp <Ntt> | Distributed storage method, distributed storage system, and storage medium storing distributed storage program |
| JP2000173178A (en)* | 1998-11-30 | 2000-06-23 | Nec Gumma Ltd | Digital data storage method and computer system using the method |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1165911A (en)* | 1997-08-20 | 1999-03-09 | Kyushu Nippon Denki Software Kk | Client/server type filing system |
| JP2000076207A (en)* | 1998-08-28 | 2000-03-14 | Nippon Telegr & Teleph Corp <Ntt> | Distributed storage method, distributed storage system, and storage medium storing distributed storage program |
| JP2000173178A (en)* | 1998-11-30 | 2000-06-23 | Nec Gumma Ltd | Digital data storage method and computer system using the method |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004147218A (en)* | 2002-10-25 | 2004-05-20 | Ntt Communications Kk | Data division management method and program |
| JP2007172351A (en)* | 2005-12-22 | 2007-07-05 | Matsushita Electric Works Ltd | File management system |
| JP2007172390A (en)* | 2005-12-22 | 2007-07-05 | Matsushita Electric Works Ltd | File management system |
| JP2007206993A (en)* | 2006-02-02 | 2007-08-16 | Fujitsu Ltd | Storage system, control method and program |
| US7844695B2 (en) | 2008-03-12 | 2010-11-30 | Gene Fein | Data forwarding storage |
| US7631052B2 (en) | 2008-03-20 | 2009-12-08 | Gene Fein | Redundant data forwarding storage |
| US9961144B2 (en) | 2008-03-20 | 2018-05-01 | Callahan Cellular L.L.C. | Data storage and retrieval |
| US9203928B2 (en) | 2008-03-20 | 2015-12-01 | Callahan Cellular L.L.C. | Data storage and retrieval |
| US8909738B2 (en) | 2008-03-20 | 2014-12-09 | Tajitshu Transfer Limited Liability Company | Redundant data forwarding storage |
| US8458285B2 (en) | 2008-03-20 | 2013-06-04 | Post Dahl Co. Limited Liability Company | Redundant data forwarding storage |
| US7877456B2 (en) | 2008-04-08 | 2011-01-25 | Post Dahl Co. Limited Liability Company | Data file forwarding storage and search |
| US8386585B2 (en) | 2008-04-25 | 2013-02-26 | Tajitshu Transfer Limited Liability Company | Real-time communications over data forwarding framework |
| US8452844B2 (en) | 2008-05-07 | 2013-05-28 | Tajitshu Transfer Limited Liability Company | Deletion in data file forwarding framework |
| US8599678B2 (en) | 2008-07-10 | 2013-12-03 | Tajitshu Transfer Limited Liability Company | Media delivery in data forwarding storage network |
| US8370446B2 (en) | 2008-07-10 | 2013-02-05 | Tajitshu Transfer Limited Liability Company | Advertisement forwarding storage and retrieval network |
| US8356078B2 (en) | 2008-08-01 | 2013-01-15 | Tajitshu Transfer Limited Liability Company | Multi-homed data forwarding storage |
| US8478823B2 (en) | 2008-09-29 | 2013-07-02 | Tajitshu Transfer Limited Liability Company | Selective data forwarding storage |
| US8554866B2 (en) | 2008-09-29 | 2013-10-08 | Tajitshu Transfer Limited Liability Company | Measurement in data forwarding storage |
| US8489687B2 (en) | 2008-09-29 | 2013-07-16 | Tajitshu Transfer Limited Liability Company | Rotating encryption in data forwarding storage |
| US8352635B2 (en) | 2008-09-29 | 2013-01-08 | Tajitshu Transfer Limited Liability Company | Geolocation assisted data forwarding storage |
| JP2011198325A (en)* | 2010-03-24 | 2011-10-06 | Hitachi Solutions Ltd | Method and system for performing safe bringing-out of file data to outside |
| KR101735306B1 (en)* | 2011-01-10 | 2017-05-15 | 삼성전자 주식회사 | Method and apparatus for managing content in mobile terminal |
| JP2012175536A (en)* | 2011-02-23 | 2012-09-10 | Brother Ind Ltd | Information communication system, node apparatus, information processing method, and program |
| JP2014149625A (en)* | 2013-01-31 | 2014-08-21 | Nec Corp | Storage system, disk array device and method for controlling storage system |
| JP2014171012A (en)* | 2013-03-01 | 2014-09-18 | Oki Electric Ind Co Ltd | IP multimedia subsystem |
| JP2017174000A (en)* | 2016-03-22 | 2017-09-28 | ステラプラス株式会社 | Dispersion storage system, dispersion storage program and dispersion storage method |
| Publication | Publication Date | Title |
|---|---|---|
| JP2002268952A (en) | Distributed data storage system, program and server | |
| US9940197B2 (en) | Method and apparatus for slice partial rebuilding in a dispersed storage network | |
| US7386757B2 (en) | Method and apparatus for enabling high-reliability storage of distributed data on a plurality of independent storage devices | |
| US9785503B2 (en) | Method and apparatus for distributed storage integrity processing | |
| US7000069B2 (en) | Apparatus and method for providing very large virtual storage volumes using redundant arrays of disks | |
| US8327080B1 (en) | Write-back cache protection | |
| US7093182B2 (en) | Data redundancy methods and apparatus | |
| US6826711B2 (en) | System and method for data protection with multidimensional parity | |
| US20030149750A1 (en) | Distributed storage array | |
| TWI391815B (en) | Enclosure-based raid parity assist | |
| JPH0727439B2 (en) | Method for managing access of a direct access storage device array when operating in a degraded mode | |
| EP0371243A2 (en) | Fail-safe modular memory | |
| US7577866B1 (en) | Techniques for fault tolerant data storage | |
| JP2004530972A (en) | Twin-connection failover for file servers that maintain full performance in the presence of failures | |
| JP2018508073A (en) | Data removal, allocation and reconstruction | |
| US12277030B2 (en) | Rebuilding data slices in a storage network based on priority | |
| JP3736134B2 (en) | Distributed storage method, distributed storage system, and recording medium recording distributed storage program | |
| Malluhi et al. | Coding for high availability of a distributed-parallel storage system | |
| US10324657B2 (en) | Accounting for data whose rebuilding is deferred | |
| US7356757B2 (en) | Fault tolerance system and method for one or two failed disks in a disk array | |
| US6785788B1 (en) | System and method for implementing an enhanced raid disk storage system | |
| US11221917B1 (en) | Integrity processing in a dispersed storage network | |
| Pâris et al. | Three-dimensional RAID Arrays with Fast Repairs | |
| US7788525B2 (en) | Fault tolerance system and method for multiple failed disks in a disk array | |
| Pâris | Bundling together RAID disk arrays for greater protection and easier repairs |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20080219 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20110128 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20110202 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20110404 | |
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:20110419 |