JP2013171435A - Service providing system, service providing method, resource manager and program - Google Patents
Service providing system, service providing method, resource manager and programDownload PDFInfo
- Publication number
- JP2013171435A JP2013171435AJP2012034918AJP2012034918AJP2013171435AJP 2013171435 AJP2013171435 AJP 2013171435AJP 2012034918 AJP2012034918 AJP 2012034918AJP 2012034918 AJP2012034918 AJP 2012034918AJP 2013171435 AJP2013171435 AJP 2013171435A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- accelerator
- hardware
- tile
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stored Programmes (AREA)
Abstract
Translated fromJapaneseDescription
Translated fromJapanese本発明は、ユーザから要求されたサービスを提供するサービス提供システム、サービス提供方法、リソースマネージャ、プログラムに関する。 The present invention relates to a service providing system, a service providing method, a resource manager, and a program for providing a service requested by a user.
（１）一般的なデータセンタでは、ネットワークを介して１つまたは複数のサーバコンピュータが接続し、高速かつ大容量の情報処理が行われ、多数のユーザにサービスを提供している。近年、ネットワークの高速・広帯域化に伴い、大容量かつリアルタイム処理が必要なデータが増加してきている。これに対し既存システムでは、特定のサーバコンピュータに処理負荷が集中することを避けるため、負荷分散機能を持たせて、処理負荷を複数のサーバコンピュータに分散させる方法が取られている（非特許文献１）。しかし、既存のシステムではデータ処理をサーバコンピュータ上のソフトウェアで行なっているため、処理の複雑化や処理量の増大により負荷分散させても処理が困難になるという問題があった。
（２）処理すべき処理量の増加に対する対応方法として、ハードウェアのアクセラレータをサーバコンピュータに接続する手段がある（非特許文献２）。既存のハードウェアアクセラレータは、ソフトウェア処理よりも高速かつ低消費電力である利点を持つが、機能が特定の処理に固定化されているため、汎用性が低いという問題があった。
（３）科学計算において、複数のサーバコンピュータと複数のアクセラレータを用いるシステムもある。このとき、全てのサーバコンピュータと全てのアクセラレータは、唯一つの科学計算課題の演算処理に利用される（特許文献１）。そのため、複数のユーザからの異なる要求に対して、並列に異なる処理を行うことができないという問題があった。
（４）画像を入力し、HOG特徴抽出処理を行い、得られた特徴量情報に対してRealAdaBoost識別処理を行い、物体の識別を行う画像認識処理がある（非特許文献３）。しかし、この画像認識処理は、計算量が膨大であるため、複数の映像入力を同時にリアルタイム画像処理して結果を複数同時に出力することが困難であるという問題があった。(1) In a general data center, one or a plurality of server computers are connected via a network, high-speed and large-capacity information processing is performed, and services are provided to many users. In recent years, with the increase in speed and bandwidth of networks, data that requires large capacity and real-time processing has been increasing. On the other hand, in the existing system, in order to avoid the concentration of processing load on a specific server computer, a method of providing a load distribution function and distributing the processing load to a plurality of server computers has been taken (Non-Patent Document). 1). However, in the existing system, since data processing is performed by software on the server computer, there is a problem that processing becomes difficult even if the load is distributed due to complicated processing and increased processing amount.
(2) As a method for dealing with an increase in processing amount to be processed, there is means for connecting a hardware accelerator to a server computer (Non-Patent Document 2). Existing hardware accelerators have the advantage of higher speed and lower power consumption than software processing, but have the problem of low versatility because their functions are fixed to specific processing.
(3) There is a system that uses a plurality of server computers and a plurality of accelerators in scientific calculation. At this time, all the server computers and all the accelerators are used for calculation processing of only one scientific calculation task (Patent Document 1). Therefore, there is a problem that different processes cannot be performed in parallel for different requests from a plurality of users.
(4) There is an image recognition process in which an image is input, HOG feature extraction processing is performed, RealAdaBoost identification processing is performed on the obtained feature amount information, and an object is identified (Non-patent Document 3). However, this image recognition processing has a problem that it is difficult to output a plurality of results simultaneously by performing real-time image processing on a plurality of video inputs simultaneously because of the enormous amount of calculation.
上述のように、従来のサービス提供システムにおいては、多数のユーザからの大容量な処理を高速に実行できず、汎用性が低いという課題があった。 As described above, the conventional service providing system has a problem in that large-capacity processing from a large number of users cannot be executed at high speed, and versatility is low.
そこで、本発明の目的は、多数のユーザからの大容量な処理を高速に実行可能な、高い汎用性・柔軟性を持つサービス提供システムを実現することができる技術を提供することにある。 Accordingly, an object of the present invention is to provide a technology capable of realizing a service providing system having high versatility and flexibility, capable of executing a large amount of processing from a large number of users at high speed.
本発明のサービス提供システムは、
ソフトウェア機能をソフトウェアプログラムに従って実行する１以上のサーバコンピュータと、
ハードウェア機能を実行可能なハードウェア回路を再構成可能に構築して該ハードウェア機能を実行する１以上のアクセラレータと、
ユーザから要求されたサービスの提供に必要な機能をソフトウェア機能とハードウェア機能とに振り分け、ソフトウェア機能を前記サーバコンピュータに割り当てて実行させると共に、ハードウェア機能を前記アクセラレータに割り当てて実行させるリソースマネージャと、を有し、
前記リソースマネージャは、前記サーバコンピュータまたは前記アクセラレータの処理結果に基づいて、前記サーバコンピュータに割り当てたソフトウェア機能の内容または前記アクセラレータに割り当てたハードウェア機能の内容を変更する。The service providing system of the present invention comprises:
One or more server computers executing software functions according to software programs;
One or more accelerators configured to reconfigurable hardware circuits capable of executing hardware functions and executing the hardware functions;
A resource manager that distributes a function required for providing a service requested by a user into a software function and a hardware function, assigns the software function to the server computer and executes the function, and assigns the hardware function to the accelerator and executes the function; Have
The resource manager changes the content of the software function assigned to the server computer or the content of the hardware function assigned to the accelerator based on the processing result of the server computer or the accelerator.
本発明のサービス提供方法は、
サービス提供システムによるサービス提供方法であって、
ソフトウェア機能をソフトウェアプログラムに従って実行する１以上のサーバコンピュータと、
ハードウェア機能を実行可能なハードウェア回路を再構成可能に構築して該ハードウェア機能を実行する１以上のアクセラレータと、
リソースマネージャと、を設け、
前記リソースマネージャが、ユーザから要求されたサービスの提供に必要な機能をソフトウェア機能とハードウェア機能とに振り分け、ソフトウェア機能を前記サーバコンピュータに割り当てて実行させると共に、ハードウェア機能を前記アクセラレータに割り当てて実行させるステップと、
前記リソースマネージャが、前記サーバコンピュータまたは前記アクセラレータの処理結果に基づいて、前記サーバコンピュータに割り当てたソフトウェア機能の内容または前記アクセラレータに割り当てたハードウェア機能の内容を変更するステップと、を有する。The service providing method of the present invention includes:
A service providing method by a service providing system,
One or more server computers executing software functions according to software programs;
One or more accelerators configured to reconfigurable hardware circuits capable of executing hardware functions and executing the hardware functions;
A resource manager,
The resource manager allocates a function required for providing a service requested by a user to a software function and a hardware function, assigns the software function to the server computer and executes the function, and assigns a hardware function to the accelerator. Steps to be performed;
The resource manager has a step of changing the content of the software function assigned to the server computer or the content of the hardware function assigned to the accelerator based on the processing result of the server computer or the accelerator.
本発明のリソースマネージャは、
ソフトウェア機能をソフトウェアプログラムに従って実行する１以上のサーバコンピュータと、ハードウェア機能を実行可能なハードウェア回路を再構成可能に構築して該ハードウェア機能を実行する１以上のアクセラレータと、に接続されたリソースマネージャであって、
ユーザから要求されたサービスの提供に必要な機能をソフトウェア機能とハードウェア機能とに振り分け、ソフトウェア機能を前記サーバコンピュータに割り当てて実行させると共に、ハードウェア機能を前記アクセラレータに割り当てて実行させる処理内容制御部と、
前記サーバコンピュータまたは前記アクセラレータの処理結果を取得する結果データ取得部と、を有し、
前記処理内容制御部は、前記サーバコンピュータまたは前記アクセラレータの処理結果に基づいて、前記サーバコンピュータに割り当てたソフトウェア機能の内容または前記アクセラレータに割り当てたハードウェア機能の内容を変更する。The resource manager of the present invention
Connected to one or more server computers that execute software functions according to a software program, and one or more accelerators that reconfigurable hardware circuits that can execute the hardware functions and execute the hardware functions A resource manager,
Processing content control that distributes functions required for providing a service requested by a user into software functions and hardware functions, assigns the software functions to the server computer and executes them, and assigns the hardware functions to the accelerator and executes them And
A result data acquisition unit for acquiring a processing result of the server computer or the accelerator,
The processing content control unit changes the content of the software function assigned to the server computer or the content of the hardware function assigned to the accelerator based on the processing result of the server computer or the accelerator.
本発明のプログラムは、
コンピュータを、前記リソースマネージャとして機能させるためのものである。The program of the present invention
This is for causing a computer to function as the resource manager.
本発明によれば、サーバコンピュータによるソフトウェア処理と、ハードウェアを用いたアクセラレータによるハードウェア処理と、を組み合わせることにより、負荷の大きい処理はアクセラレータに割り当てることができるため、多数のユーザからの大容量かつリアルタイム処理が必要な処理に対して対応できるようになる。 According to the present invention, by combining software processing by a server computer and hardware processing by an accelerator using hardware, a processing with a large load can be assigned to the accelerator, and thus a large capacity from a large number of users. And it becomes possible to cope with processing that requires real-time processing.
また、ハードウェアのアクセラレータとして、従来のような機能が固定されたハードウェアではなく、再構成可能なハードウェア（FPGA等）を用いたアクセラレータとすることにより、処理高速化とともに高い汎用性・柔軟性を持つシステムを実現することができる。 In addition, the hardware accelerator is not a hardware with fixed functions as in the past, but an accelerator that uses reconfigurable hardware (FPGA, etc.), so that the processing speed is increased and the versatility and flexibility are high. System can be realized.
また、アクセラレータとして、サービス動作中に異なる機能回路をハードウェア上に再構成できるようにすることにより、複数のユーザからの異なる要求に対しても、サービスを止めることなく、高速な処理を並列かつ機能を変更して処理を実行することができる。 In addition, by enabling different functional circuits to be reconfigured on the hardware during service operation as an accelerator, even for different requests from multiple users, high-speed processing can be performed in parallel without stopping the service. The function can be changed to execute the process.
したがって、多数のユーザからの大容量な処理を高速に実行可能な、高い汎用性・柔軟性を持つシステムを実現することができるという効果が得られる。 Therefore, there is an effect that it is possible to realize a system with high versatility and flexibility that can execute high-capacity processing from a large number of users at high speed.
また、処理実行中であっても、サーバコンピュータやアクセラレータの処理内容を処理結果に基づいて最適な状態に変更することができるという効果が得られる。 In addition, even when processing is being executed, the processing contents of the server computer and the accelerator can be changed to an optimal state based on the processing result.
以下に、本発明を実施するための形態について図面を参照して説明する。
（１）第１の実施形態
図１−１〜図１−４は、本発明の第１の実施形態を説明する図である。EMBODIMENT OF THE INVENTION Below, the form for implementing this invention is demonstrated with reference to drawings.
(1) First Embodiment FIGS. 1-1 to 1-4 are diagrams for explaining a first embodiment of the present invention.
図１−１に示すように、本実施形態のサービス提供システムは、１つまたは複数のサーバコンピュータ２０と、リソースマネージャ３０と、１つまたは複数のアクセラレータ４０と、サーバ・アクセラレータ間接続部５０と、を有している。また、アクセラレータ４０は、内部データ入出力制御部４１と、外部データ入出力制御部４２と、再構成ハードウェア処理部４３と、を有している。 As illustrated in FIG. 1A, the service providing system according to the present embodiment includes one or
また、図１−２に示すように、再構成ハードウェア処理部４３は、タイル間接続部４３１と、１つまたは複数のタイルブロック部４３２と、を有している。また、タイルブロック部４３２は、１つまたは複数のタイル処理部４３３と、タイル制御部４３４と、を有している。 In addition, as illustrated in FIG. 1B, the reconfiguration
また、図１−３に示すように、リソースマネージャ３０は、処理内容管理ＤＢ３１と、処理内容制御部３２と、結果データ取得部３３と、を有している。また、サーバコンピュータ２０は、ソフトウェア（ＳＷ）処理管理部２１を有し、アクセラレータ４０は、ハードウェア（ＨＷ）処理管理部４４を有している。 As illustrated in FIG. 1C, the
本実施形態のサービス提供システムは、ユーザ端末１０からのサービス要求に対して、サーバコンピュータ２０および再構成ハードウェア処理部４３の持つソフトウェアリソース、ハードウェアリソースを用いて、ユーザに要求されたサービスを提供するシステムである。ユーザ端末１０は１つまたは複数あり、ユーザはユーザ端末１０から同時または別々のタイミングでサービスを要求できる。ユーザ端末１０から送られたサービス要求は、ネットワーク（ＮＷ）を経由して、本システムに入力される。 In response to a service request from the
リソースマネージャ３０は、ユーザからのサービス要求を受け取り、要求されたサービスの提供に必要な機能を、ＳＷ機能とＨＷ機能に分け、それら機能の処理内容を制御する。リソースマネージャ３０内の結果データ取得部３３は、本システムから得られる結果データをフィードバックし、その結果データに関する情報を、リソースマネージャ３０内の処理内容制御部３２に送ることができる。処理内容制御部３２は、ユーザからの要求情報に加え、結果データに関する情報も入力して、それらの情報の変化に応じて、サーバコンピュータ２０およびアクセラレータ４０での処理内容も必要に応じて変化させて制御することができる。処理内容管理ＤＢ３１は、処理内容の進捗状況について、リアルタイムに保持・管理する。また、処理内容管理ＤＢ３１は、ＳＷリソースの利用状況と、ＨＷリソースの利用状況についても、保持・管理する。処理内容制御部３２で決定される処理内容は、ＳＷ機能はＳＷ処理管理部２１を介してサーバコンピュータ２０に割り当て、ＨＷ機能はＨＷ処理管理部４４を介してアクセラレータ４０に割り当てる。 The
ＳＷリソースとは、例えば、１つまたは複数あるサーバコンピュータ２０における、CPU、内部メモリ、外部記憶装置などのリソースが挙げられる。また、ＨＷリソースとは、例えば、１つまたは複数あるアクセラレータ４０における、処理回路の面積、メモリ容量、記憶装置容量、処理回路間やアクセラレータ４０間の配線量などのリソースが挙げられる。それらリソースの利用状況とは、例えば、リソースの割り当て量、割り当て場所、割り当ての設定値などの情報が挙げられる。 Examples of the SW resource include resources such as a CPU, an internal memory, and an external storage device in one or
処理内容制御部３２は、処理内容管理ＤＢ３１が持つＳＷリソースの利用状況を参照しながら、サーバコンピュータ２０上で空いている最適なＳＷリソースを選出した上で、割り当てるソフトウェア機能をサーバコンピュータ２０上でＳＷ処理するように指示する。同様に、処理内容管理ＤＢ３１が持つＨＷリソースの利用状況を参照しながら、アクセラレータ４０上で空いている最適なＨＷリソースを選出した上で、当該ハードウェア機能をアクセラレータ４０上でＨＷ処理するように指示する。処理内容制御部３２は、指示した内容に基づき処理内容管理ＤＢ３１を更新する。 The processing content control unit 32 selects an optimum SW resource that is vacant on the
また、リソースマネージャ３０の処理内容制御に従って、サーバコンピュータ２０上でのＳＷ処理結果や処理条件の情報は、そのままサーバコンピュータ２０内で次のＳＷ処理に使うこともできるし、次の処理がＨＷ処理であればアクセラレータ４０に送信しアクセラレータ４０上でＨＷ処理に使うこともできる。同様に、リソースマネージャ３０の処理内容制御に従って、アクセラレータ４０上でのＨＷ処理結果や処理条件の情報は、そのままアクセレレータ４０内で次のＨＷ処理に使うこともできるし、次の処理がＳＷ処理であればサーバコンピュータ２０に送信しサーバコンピュータ２０上でＳＷ処理に使うこともできる。サーバコンピュータ２０とアクセラレータ４０間で処理を接続する場合は、サーバ・アクセラレータ間接続部５０を介して必要な情報を送受信することができる。 Further, according to the processing content control of the
リソースマネージャ３０では、ＳＷリソースおよびＨＷリソースの利用状況の情報と、処理内容の情報を管理することにより、サーバコンピュータ２０上では、どこのソフトウェア資源がどの程度利用されているかを把握でき、またアクセラレータ４０上では、どこのハードウェア資源がどの程度利用されているかを把握できるので、ユーザ要求を実行するために必要な処理機能に対して、効率的な機能の割り当て管理と処理の制御を行うことができる。 The
さらに、リソースマネージャ３０では、そのようなユーザ要求情報とリソース利用状況に基づいて制御を行うだけでなく、自身の当該システムの処理によって得られた処理結果データの情報も活用して、その情報に基づき処理内容の制御を行うことができる。また、日時、場所などの環境情報（ユーザ要求情報や結果データ情報ではないその他の情報）に基づいて処理内容の制御を行うこともできる。 Further, the
リソースマネージャ３０内における具体的な処理手順の例について、フローチャートを図１−４に示す。 A flowchart of an example of a specific processing procedure in the
ユーザ要求情報（ステップＳ１０１）、リソース利用状況情報（ステップＳ１０２）、環境情報（ステップＳ１０３）、および結果データ情報（ステップＳ１０４）のいずれかもしくは複数の情報に基づいて、処理内容を構成する（ステップＳ１０５）。処理内容の構成とは、ユーザ要求情報に従うために必要なＳＷ処理、ＨＷ処理の内容を決定することを意味する。その決定に際し、リソース利用状況の変更が必要になった場合は（ステップＳ１０６のＹｅｓ）、リソース利用状況の変更処理を行う（ステップＳ１０７）。次に、処理内容に従い、ＳＷ機能はサーバコンピュータ２０に割り当て、ＨＷ機能はアクセラレータ４０に割り当てる（ステップＳ１０８）。次に、サーバコンピュータ２０、アクセラレータ４０に対し、実行することが決定されたＳＷ処理、ＨＷ処理の指示を出す（ステップＳ１０９，Ｓ１１０）。サーバコンピュータ２０で行うＳＷ処理の結果として得られる結果データは、リソースマネージャ３０にフィードバックして入力することができる。またアクセラレータ４０で行うＨＷ処理の結果として得られる結果データは、リソースマネージャ３０にフィードバックして入力することができる。いずれかの結果データだけ入力することもできるし、両方の結果データを入力することもできる。またリソースマネージャ３０が必要と指示したときだけ入力させることもできる。その後、全てのＳＷ機能が終了していない場合（ステップＳ１１１のＮｏ）や、全てのＨＷ機能が終了していない場合（ステップＳ１１２のＮｏ）は、ステップＳ１０６に戻る。全てのＳＷ機能とＨＷ機能が終了した場合は（ステップＳ１１３のＹｅｓ）、終了処理を行う（ステップＳ１１４）。 The processing content is configured based on one or a plurality of pieces of information of the user request information (step S101), resource usage status information (step S102), environment information (step S103), and result data information (step S104) (step S105). The configuration of the processing contents means determining the contents of SW processing and HW processing necessary for complying with user request information. If it is necessary to change the resource usage status (Yes in step S106), the resource usage status change processing is performed (step S107). Next, according to the processing contents, the SW function is assigned to the
リソース利用状況の変更が発生する例としては、ユーザ要求が変更された場合、環境情報が変動しリソースマネージャ３０等が定める条件に合致するようになった場合、処理内容管理ＤＢ３１が持つリソース利用状況の内容が変動しリソースマネージャ３０等が定める条件に合致するようになった場合、また自システムの処理結果である結果データの内容が変動しリソースマネージャ３０等が定める条件に合致するようになった場合などが考えられる。このような時にリソース利用状況を変更して処理を進めることで、リソースの利用を効率化することが可能になる。サーバコンピュータ２０でリソース利用を変更することはソフトウェアであることから容易に可能であるとともに、アクセラレータ４０でリソース利用を変更することもアクセラレータ４０の中に再構成可能ハードウェアを利用して構築しておくことで、ハードウェアであっても変更は可能となる。 As an example of a change in the resource usage status, when the user request is changed, when the environment information fluctuates and matches the condition defined by the
ここで、処理内容の構成を行う場合、ユーザ要求情報、リソース利用状況情報、環境情報、および結果データ情報の内容や条件によっては、すべてをＳＷ機能で実行する場合もあるし、すべてをＨＷ機能で実行する場合もあるし、両方混在する場合も考えられる。また、混在する場合でも、複数のＳＷ機能と複数のＨＷ機能が代わる代わる組み合わさる場合もあるし、部分的にＳＷ機能またＨＷ機能のいくつかが並列に処理されたり、少しずれてパイプライン処理されたりすることも容易に考えられる。 Here, when processing contents are configured, depending on the contents and conditions of user request information, resource usage information, environment information, and result data information, all may be executed by the SW function, or all may be performed by the HW function. In some cases, both of them may be executed. Even if they are mixed, there are cases where a plurality of SW functions and a plurality of HW functions are replaced, and some SW functions or HW functions are partially processed in parallel, or pipeline processing is slightly shifted. It can be easily considered.
そのような機能を有する処理内容制御部３２の具体的な実現例としては、プログラム言語（例えば、C言語など）による記述や、スクリプト言語（例えば、Perl、Python、Ruby、Lua、Java（登録商標）、LISP、AWK、Tcl、Windows（登録商標）のコマンドラインシェル、UNIX（登録商標）の各種シェルスクリプト、AppleScript、など）による記述を１つもしくは複数用いることができ、様々なアルゴリズムの処理内容を実行可能である。 Specific implementation examples of the processing content control unit 32 having such a function include descriptions in a programming language (for example, C language) and script languages (for example, Perl, Python, Ruby, Lua, Java (registered trademark)). ), LISP, AWK, Tcl, Windows (registered trademark) command line shell, UNIX (registered trademark) various shell scripts, AppleScript, etc.) Can be executed.
また、サーバコンピュータ２０を制御する場合でも、アクセラレータ４０を制御する場合でも、リソースマネージャ３０からの制御用インタフェース（API）を規定しておくことにより、リソースマネージャ３０ではその処理内容を自由に変更でき、またサーバコンピュータ２０側やアクセラレータ４０側ではそのインタフェースを守りさえすれば、任意に処理内容の構成等を変更することが可能である。すなわち、後から新しいサーバコンピュータ２０上のＳＷのプログラムを追加や変更してもリソースマネージャ３０の利用ルールを変えなくて済む利点があるし、また新しいアクセラレータ４０上のＨＷのタイル処理部４３３を追加や変更してもリソースマネージャ３０の利用ルールを変えなくて済む利点があるし、これによりいずれの場合も既存のアプリケーションは変更せずにそのまま利用できる。 Whether the
ここで、タイル処理部４３３の追加とは、現在利用されていない（処理内容も書き込まれていないか、もしくは利用していないが何らかの処理内容が書き込まれている）タイル処理部４３３に、必要とする処理内容の回路を書き込んで利用することである。 Here, the addition of the
また、タイル処理部４３３の変更とは、現在利用しているタイル処理部４３３に書き込まれた処理内容を、必要とする別の処理内容に書き換えて利用することである。変更の場合は、現在利用している対象タイル処理部４３３と同じ処理内容を持つ別のタイル処理部４３３に配線等の接続関係を迂回させて（切り替えて）その別のタイル処理部４３３に処理を担当させ、対象タイル処理部４３３へ新しい処理内容を書き込み、書き込みが終わったらその元の対象タイル処理部４３３に配線等の接続関係を戻し処理も復活させればよい。または、書き込みが終わった後は、戻さないでそのまま別の新しいタイル処理部４３３で処理させておいてもよい。迂回しようとしても迂回して利用可能な別のタイル処理部４３３がない場合は、対象タイル処理部４３３の書き込み中にはその処理を中断し、書き込み後に処理を復活させてもよい。 Further, the change of the
処理内容制御部３２での具体的な制御方法例を以下に示す。処理内容制御部３２では、ユーザ要求情報、リソース利用状況情報、環境情報、および結果データ情報の内容や条件に基づいて、サーバコンピュータ２０やアクセラレータ４０の処理内容を変更する。 An example of a specific control method in the processing content control unit 32 is shown below. The processing content control unit 32 changes the processing content of the
環境情報を用いた例として、例えば、ある時間（または日付、季節など）になった時に、自動で、サーバコンピュータ２０であれば処理するプログラムの種類を切り替えたり、アクセラレータ４０であればタイル処理部４３３の中身（ハードウェアによる処理内容）を切り替えたりすることによって、より適した処理を行うように自動変更することができる。具体的には、昼の時間帯は昼用アルゴリズムを使い、夜の時間帯は夜用アルゴリズムを使うことで、画像処理等の処理内容（学習データ等）を適したものに自動で変えることができる。時間以外でも、処理時の天候情報（天気、温度、湿度など）に基づいて、処理内容を切り変えることができる。また、例えば映像を処理する場合、その入力映像を撮影したカメラの場所や背景が変わった時に、その場所や背景に適した処理内容に変更することができる。 As an example using the environment information, for example, when a certain time (or date, season, etc.) is reached, the
その場所や背景に適した処理内容を決定する例としては、例えばカメラの場所が屋外か屋内か、背景がシンプルな映像か複雑な映像か、光（照明や太陽）がどのような向きでどの程度当たっている場所か、などの撮影条件等の違い（度合い）によって、画像処理する際の閾値等のパラメータをその場所の条件に適した値（例えば、背景や物体の明るさに応じて検出アルゴリズムのパラメータを変えたり、明るさを調整するフィルタ処理をほどこしたり、また背景の色合いや複雑度に応じてその背景に適した学習データに変えて画像認識処理を行うようにしたりすればよい）に設定・変更することで、カメラの場所を変えてもより精度の高い画像処理を行うことができる。また、その場所の映像中に検出したい物体（人や車など）について何がどの程度の数あるか、その物体はどの程度の大きさか、またその映像中の背景として（検出したい物体かどうかを問わず）動く物体があるか、などの撮影場所の条件の違いによって学習データや画像処理時のパラメータを変えることで、カメラの場所を変えてもより精度の高い画像処理を行うことができる。これらのようなパラメータや学習データ等の変更は、リソースマネージャ３０が入力された映像に応じて判断し、より精度の高くなる状態に調整することができる。この際、カメラの場所の変化が検出されたことをトリガーとして、パラメータや学習データ等の変更を行うようにしてもよい。また、カメラの場所とパラメータや学習データ等とを対応付けて記憶したデータベースを予め用意しておき、カメラの場所の変化が検出された場合に、その場所に応じたパラメータや学習データ等をデータベースから読み出し、利用するようにしてもよい。 Examples of determining the processing content suitable for the location and background include, for example, whether the camera location is outdoor or indoor, whether the background is simple or complex, and in what direction the light (lighting or sun) is Depending on the difference (degree) in shooting conditions such as whether it is a place where it is hitting, parameters such as threshold values for image processing are detected according to the conditions of the place (for example, depending on the brightness of the background or object) (You may change the algorithm parameters, apply filter processing to adjust the brightness, or change the learning data suitable for the background according to the background color and complexity, and perform image recognition processing) By setting and changing to, image processing with higher accuracy can be performed even if the location of the camera is changed. Also, what is the number of objects (people, cars, etc.) that you want to detect in the image of the place, how big is the object, and the background in the image (whether it is the object you want to detect) Regardless of whether or not there is a moving object, the learning data and the parameters for image processing are changed depending on the conditions of the shooting location, so that more accurate image processing can be performed even if the location of the camera is changed. Such changes in parameters, learning data, and the like can be determined according to the input video by the
なお、背景の情報を取得する方法の例としては、例えば入力映像中の色に関する情報（RGBやHSVの割合や全体の明るさ等）を測定したり、入力映像中で時系列の変化を比較して動きのない領域（オプティカルフロー等の画像処理により容易に抽出可能であり、カメラ自体が動いている場合はその既知のカメラの動きを差し引けば同様に可能である）を背景領域として抽出したりすることが容易に可能である。 Examples of methods for obtaining background information include measuring information about the colors in the input video (ratio of RGB and HSV, overall brightness, etc.), and comparing changes over time in the input video. As a background area, a non-moving area (which can be easily extracted by image processing such as optical flow, or if the camera itself is moving, can be similarly subtracted). Can be easily done.
また、カメラの場所もしくはその変化を取得する方法としては、例えばカメラにGPS機能を搭載し常時カメラの地理的な位置をシステムが（リソースマネージャ３０が）把握することは容易に可能である。また、ユーザが持ち運び可能なハンディカメラやモバイル機器のような移動可能なカメラであれば、ユーザがその場所の情報を手動入力したり、場所（エリア）のリスト一覧から選択して入力したりすることにより、ネットワークを介してリソースマネージャ３０はそのカメラの場所を容易に把握することが可能である。そのような移動可能なカメラとしては、ユーザが手に持って常に動いている場合や、USBカメラや監視カメラのように利用時は場所を固定するが、取り外して設置場所を移動する場合や、首振り可能な監視カメラのように場所は同じでカメラの向きだけ変えられる場合などが考えられる。 As a method for acquiring the location of the camera or its change, for example, the GPS function is mounted on the camera, and it is possible for the system (the resource manager 30) to grasp the geographical position of the camera at all times. In addition, if the user can move a portable camera such as a handy camera or a mobile device, the user manually inputs the location information or selects and inputs the location (area) list. Thus, the
結果データ情報を用いた例として、例えばＳＷまたはＨＷで映像処理を実行させた場合、その結果データをリソースマネージャ３０にフィードバックさせた時、リソースマネージャ３０が、その結果からＳＷのプログラムの種類または処理パラメータを変更した方がよいと判断したら、もしくはＨＷのタイル処理部４３３の処理内容の種類または処理パラメータを変更した方がよいと判断したら、リソースマネージャ３０は自動的に（自己判断で）サーバコンピュータ２０またはアクセラレータ４０へ処理内容を変更（種類の変更または処理パラメータの変更）するように指示を出すことが可能である。 As an example using the result data information, for example, when video processing is executed by SW or HW, when the result data is fed back to the
リソースマネージャ３０がこれらの変更をした方がよいと判断する場合の例としては、映像中から何かの物体（人や車など）を検出している時に、例えば結果データ情報として検出数が得られる場合に、その検出数が明らかに多過ぎたり（常に最大値だったり）、またはほとんど検出できなかったり（小さ過ぎたり常にゼロだったり）した時に、パラメータとして検出時の閾値を変更すべきと判断した場合、それを処理しているＳＷまたはＨＷに対して閾値の変更（検出数が多過ぎる場合は識別処理の閾値を上げ（下げ）ていき、少な過ぎる場合は閾値を下げ（上げ）ていけばよい）を実行すればよい。また他の例として、検出する物体のサイズによって処理が異なる場合に、初めは複数のサイズで並行して複数の検出処理を行わせ、ある程度の時間処理した後に（閾値等を前述のように変えても）検出されない（検出数がゼロのままの）サイズ設定の処理があれば、その映像ではそのサイズの検出処理は必要ないと判断し、処理を削除するようにしてもよい。これにより、映像に多く映る物体のサイズを推定したり、また処理のリソースを最小限に抑えることが可能になる。また、結果データ情報として物体検出座標が得られる場合に、その検出座標が画像上で一定の領域内のみである時は、画像上のその領域以外を対象とする処理は冗長な処理と判断して処理を省略（または停止）するようにＳＷまたはＨＷへ指示してもよい。これにより、処理量や消費電力を削減することが可能になる。 As an example of the case where the
ユーザ要求情報を用いた例として、同じユーザがサービスを受けている途中で、映像等の外部データの量や種類を変更する要求を出してきた場合や、処理内容の変更を要求してきた場合に、リソースマネージャ３０が予め定められた判断手順に基づいて、サーバコンピュータ２０上やアクセラレータ４０上の処理内容を変更できるようにすることによって、それら要求情報の変更に対して自動的に（ユーザによる作業を介さずに）対応することが可能である。その判断手順の内容は、リソースマネージャ３０上でプログラム言語やスクリプト言語等を用いることで、柔軟な設定は容易に可能である。また、具体的なユーザ要求の例として、ユーザが処理したい映像（カメラ）数を増やしたい（減らしたい）という要求や、映像から検出したい物体の種類を（例えば人検出から車検出に）変えたいという要求などがあった場合、従来はＳＷのみを用いてプログラムの種類やパラメータを自動的に（予め定められた判断手順に基づいて）システム動作中に変更することは可能であっても、高速な処理を行うための専用ＨＷを用いた場合には、ＨＷ自体（回路そのもの）を同様に自動的にシステム動作中に変更することはできず、ユーザ要求に合うようにＨＷを変えるにはシステムの中断と手動によるＨＷ自体の入れ替えが必要であった。しかし、本システムでは、ＨＷの処理回路構成自体も（予め定めた手順に基づく範囲で）自由に変更できるため、リソースマネージャ３０がユーザ要求に基づき（ＳＷの場合と同様に）自動的にかつシステムを中断せずに処理内容を変更することが可能である。 As an example of using user request information, when the same user is in service, when a request is made to change the amount or type of external data such as video, or a change in processing content is requested By allowing the
リソース利用状況情報を用いた例として、ユーザ要求情報に変化がなくても、サーバコンピュータ２０上やアクセラレータ４０上での処理内容の割り当て方を変更することが考えられる。例えば、サーバコンピュータ２０上のリソースが多く利用されていてそれ以上処理を追加できなくなったような場合（処理用のマージンが少なくなるような場合）に、サーバコンピュータ２０に割り当ててあった処理内容の一部をアクセラレータ４０に移し変えたり、逆の場合にアクセラレータ４０に割り当ててあった処理内容の一部をサーバコンピュータ２０に移し変えたりすることが可能である。また、同様に、サーバコンピュータ２０間での処理内容の移し変えや、アクセラレータ４０間での処理内容の移し変えも可能である。このような仕組みにより、システムとして、より継続的に動作させられるようになる利点を持たせることができる。 As an example using the resource usage status information, it is conceivable to change the process content allocation method on the
以上のような処理内容制御部３２での具体的な制御方法例は、いずれも初めに制御方法を設定さえしておけば、人が場合に応じて手動で設定変更したりせずに、リソースマネージャ３０が自己判断で自動的に、最適な状態になるよう制御を継続的に行うことができるようになり、人の稼動が不要でかつ迅速、確実、安定した対応が可能なシステムを実現できる。 As for the specific control method examples in the processing content control unit 32 as described above, as long as the control method is first set, the resource is not manually changed according to the situation. The
リソースマネージャ３０は、リソースマネージャ３０専用のコンピュータ上にリソースマネージャ３０用ソフトウェアプログラムとして搭載することもできるし、１つまたは複数のサーバコンピュータ２０上にリソースマネージャ３０用ソフトウェアプログラムとして搭載することもできる。 The
サーバコンピュータ２０は、割り当てられたソフトウェア機能を実行可能なソフトウェアプログラムを、サーバコンピュータ２０上で実行する。ソフトウェアであるので、サービス要求情報、結果データ、リソース利用状況、環境情報等の変化に基づいたリソース利用状況の変更指示に応じて、柔軟にプログラムの内容およびパラメータを変更して、実行することができる。本システム上には、１つまたは複数のサーバコンピュータ２０を有することができる。 The
サーバコンピュータ２０が複数ある場合には、それらはサーバ・アクセラレータ間接続部５０を介していずれもリソースマネージャ３０と接続できる。その場合、リソースマネージャ３０は、必要なソフトウェア機能を必要とする数のサーバコンピュータ２０に対して割り当てることができる。リソースマネージャ３０は、各サーバコンピュータ２０上の処理状況情報をサーバ・アクセラレータ間接続部５０を介して管理しておくことにより、処理に余裕のあるサーバコンピュータ２０に優先して割り当てることもできる。 When there are a plurality of
アクセラレータ４０は、割り当てられたハードウェア機能を実行可能なハードウェア回路を、アクセラレータ４０上に構築し、当該機能を実行する。従来のハードウェアで処理を行う装置では固定の機能しか実行できなかったが、本システムでは再構成可能な（リコンフィギャラブルな）ハードウェアデバイスを搭載し、要求に応じて毎回異なる機能を実行するハードウェア回路に書き換えて利用することができる。また、複数のリソース変更指示に応じて、各々異なる回路を構成して利用できるとともに、利用しない回路の不活性化もしくは消去も行えるので、ハードウェアリソースを効率よく利用することができる。 The
また書き換えたハードウェア上で処理を行う際の各種設定パラメータについては、回路自体の変更でも設定変更できるが、回路の書き換えをせずに、回路上に設定するレジスタ値やメモリ値を、リソースマネージャ３０からの制御信号により変更することで、パラメータ値の変更をすることもできる。また回路上に物理的なディップスイッチのような固定的な変更スイッチにより手動で変更する方法も可能である。 Various setting parameters for processing on the rewritten hardware can also be changed by changing the circuit itself, but register values and memory values set on the circuit can be changed without changing the circuit. The parameter value can be changed by changing the control signal from 30. It is also possible to manually change the circuit by a fixed change switch such as a physical DIP switch.
アクセラレータ４０は、内部データ入出力制御部４１、外部データ入出力制御部４２、および再構成ハードウェア処理部４３から構成される、処理回路の再構成が可能なことを特徴とするハードウェアである。 The
内部データ入出力制御部４１は、サーバコンピュータ２０もしくは他のアクセラレータ４０からのデータを受信したり、また自分の再構成ハードウェア処理部４３の結果データを、サーバコンピュータ２０もしくは他のアクセラレータ４０へ送信したりするための入出力を制御する。また、リソースマネージャ３０から送信されるアクセラレータ４０内の処理パラメータ等を制御するための制御データを、アクセラレータ４０内に取り込み、再構成ハードウェア処理部４３を制御する。さらに、再構成ハードウェア処理部４３の処理結果である結果データの情報を、サーバ・アクセラレータ間接続部５０を介して、リソースマネージャ３０へ送信するために必要な入出力制御も行える。 The internal data input /
例えば、サーバコンピュータ２０でソフトウェア処理された結果データをアクセラレータ４０に入力しハードウェア処理したり、アクセラレータ４０でハードウェア処理された結果データをサーバコンピュータ２０へ送ってソフトウェア処理したり、リソースマネージャ３０からの各種指示情報（パラメータ条件など）をアクセラレータ４０に入力しハードウェアの再構成時に用いたり、アクセラレータ４０からの結果データをリソースマネージャ３０にフィードバック送信したり、外部に送信したりすることができる。これらは、リソースマネージャ３０で構成する処理内容において、細分化されたＳＷ処理機能とＨＷ処理機能を実行する際に、その機能間で入出力の接続関係がある場合において、サーバ・アクセラレータ間接続部５０を介してデータを送受信することを意味する。また、リソースマネージャ３０において、システムの処理結果データに基づいて、処理内容を変更する可能性がある場合に、結果データをリソースマネージャ３０に送ることを意味する。 For example, the result data processed by the
サーバコンピュータ２０とアクセラレータ４０間の送受信については、具体的には、あるＳＷ機能の出力を別のＳＷ機能で入力として用いる場合、あるＨＷ機能の出力を別のＨＷ機能で入力として用いる場合、あるＳＷ機能の出力を別のＨＷ機能で入力として用いる場合、あるＨＷ機能の出力を別のＳＷ機能で入力として用いる場合が考えられる。このような時にアクセラレータ４０上では、サーバ・アクセラレータ間接続部５０に対して、データを送信・受信するために内部データ入出力制御部４１を利用する。サーバコンピュータ２０とアクセラレータ４０間のデータ通信は、リソースマネージャ３０が管理して実行できる。 Regarding transmission / reception between the
外部データ入出力制御部４２は、外部から直接当該システムのアクセラレータ４０に入力する外部データ（例えばカメラ映像データ、音声データ、各種センサデータ等）について、リソースマネージャ３０の指示に基づいて、サーバ・アクセラレータ間接続部５０を介してサーバコンピュータ２０に送ったり、サーバ・アクセラレータ間接続部５０を介して他のアクセラレータ４０に送ったり、自分のアクセラレータ４０内の再構成ハードウェア処理部４３に送ったりするための入出力制御を行う。また、再構成ハードウェア処理部４３で処理された結果データについて、リソースマネージャ３０の指示に基づき、リソースマネージャ３０にフィードバック送信したり、直接外部へ送ったりする場合の入出力制御を行う。外部データの入出力制御の機能は、すべてのアクセラレータ４０が装備していてもよいし、複数のアクセラレータ４０のうち任意の１個または複数個のアクセラレータ４０に装備されていてもよいし、すべてのアクセラレータ４０に装備されていなくてもよく、いずれも実行するサービスの内容に応じて変えることができる。 The external data input /
外部から入力するデータの例としては、映像、音声、センサデータ等が挙げられる。また外部へ出力するデータの例としては、映像、音声、または処理結果のデータ（値や値のリスト等）等が挙げられる。例えば複数のカメラ映像が本システムへ入力され、１つまたは複数のアクセラレータ４０に接続し入力されることが考えられる。例えば、入力画像から、ユーザが要求する物体（人物、車などの物体）をリアルタイムに検出するような画像認識処理を例とした場合、リソースマネージャ３０がその処理を割り振り、サーバコンピュータ２０上のプログラムや、アクセラレータ４０内のタイル処理部４３３においてそれぞれ割り当てられた処理を実行し、対象の物体をリアルタイムに検出することが可能になる。処理の結果得られた物体検出の結果データは、リソースマネージャ３０や、ユーザ端末１０や、ネットワーク上の他の装置に送ることも可能であるし、また外部データ入出力制御部４２を通して、外部の装置（ディスプレイ、他の処理装置等）へ送ることも可能である。 Examples of data input from the outside include video, audio, sensor data, and the like. Examples of data to be output to the outside include video, audio, processing result data (values, a list of values, etc.), and the like. For example, it is conceivable that a plurality of camera images are input to the system and connected to one or a plurality of
再構成ハードウェア処理部４３は、その内部に、１つまたは複数のタイルブロック部４３２を有し、各タイルブロック部４３２は、内部データ入出力制御部４１および外部データ入出力制御部４２とタイル間接続部４３１を介して接続している。タイルブロック部４３２は、１つまたは複数のタイル処理部４３３と、それらをタイルブロック部４３２の外部と接続するタイル制御部４３４とから構成される。 The reconfigurable
再構成ハードウェア処理部４３の具体的な例として、タイルブロック部４３２は、再構成可能なLSI、FPGA（Field Programmable Gate Array）などで構成できる。また、タイル処理部４３３はFPGA内に実装する単位処理回路であり、既存のIP（Intellectual Property）コアや、事前に作成した専用の論理回路ブロックや、メモリ回路ブロックなどとして構成される。またこの時、アクセラレータ４０は、１個または複数のFPGAを搭載した１枚のボード（ハードウェア基板）として構成することができ、FPGAとFPGAを接続する配線部分が再構成ハードウェア処理部４３に相当し、タイルブロック部４３２を接続するタイル間接続部４３１は、FPGAを搭載したボード上におけるFPGA間配線に相当する。タイル間接続部４３１は、再構成ハードウェア処理部４３上のすべてのタイルブロック部４３２間を任意のネットワークトポロジ（メッシュ結合、リング結合、全結合、バス結合等）で接続できる。または、再構成ハードウェア処理部４３上のすべてのタイル処理部４３３の間を任意のネットワークトポロジ（メッシュ結合、リング結合、全結合、バス結合等）で接続してもよい。これらのタイル処理部４３３の接続関係は、リソースマネージャ３０の指示に基づいて接続が再構成できる。
（２）第２の実施形態
図２−１、図２−２は、本発明の第２の実施形態を説明する図である。As a specific example of the reconfigurable
(2) Second Embodiment FIGS. 2-1 and 2-2 are views for explaining a second embodiment of the present invention.
図２−１および図２−２に示すように、本実施形態のサービス提供システムは、第１の実施形態と同じく、ユーザからのサービス要求に対して、サーバコンピュータ２０および再構成ハードウェア処理部４３の持つソフトウェア（ＳＷ）リソース、ハードウェア（ＨＷ）リソースを用いて、ユーザが要求したサービスを提供するシステムである。ユーザ端末１０は１つまたは複数あり、ユーザはユーザ端末１０から同時または別々のタイミングでサービスを要求できる。ユーザ端末１０から送られたサービス要求は、ネットワークを経由して、本システムに入力される。 As shown in FIGS. 2-1 and 2-2, the service providing system according to the present embodiment is similar to the first embodiment in that the
本実施形態におけるリソースマネージャ３０、サーバコンピュータ２０、およびアクセラレータ４０内の内部データ入出力制御部４１、外部データ入出力制御部４２に関する具体的な内容例は、本発明の第１の実施形態の内容を包含する（本実施形態では記載省略）。 Specific examples of contents related to the
本実施形態では、これに加え、さらにアクセラレータ４０間を接続する専用のアクセラレータ間接続部６０を備える。また、アクセラレータ４０内には、このアクセラレータ間接続部６０と再構成ハードウェア処理部４３との間をつなぐアクセラレータ間接続入出力制御部４５を備える。 In this embodiment, in addition to this, a dedicated
これは、第１の実施形態でも、サーバ・アクセラレータ間接続部５０を経由することにより、異なるアクセラレータ４０上のタイル処理部４３３どうしでデータの受け渡しを行うことは可能であるが、このサーバ・アクセラレータ間接続部５０は複数のサーバコンピュータ２０、リソースマネージャ３０、複数の外部データ入出力制御部４２、およびネットワークを介して複数のユーザ端末１０が接続されることも可能であり、さらには映像等の高速・大容量のデータが多数通信されることも可能であり、これによりサーバ・アクセラレータ間接続部５０が通信のボトルネックになる問題ともなる。そこで、特に映像等の大容量データの高速処理を行わせる可能性の高いハードウェアのアクセラレータ４０について、異なるアクセラレータ４０上のタイル間を自由に高速通信可能なように接続させるために、アクセラレータ４０間のみに、専用のアクセラレータ間接続部（専用のネットワーク）６０を備える。 Even in the first embodiment, it is possible to exchange data between
アクセラレータ間接続部６０について、その接続方式は、任意のネットワークトポロジ（メッシュ結合、リング結合、全結合、ハイパーキューブ、または一般的なバス結合等）で接続できる。これらの接続関係は、リソースマネージャ３０の指示に基づいて接続関係が構築される。これにより、複数のアクセラレータ４０間にまたがるタイル処理部４３３どうしの接続についても、常に高速な通信を保障して処理を結合して実行することができる。
（３）第３の実施形態
図３−１〜図３−５は、本発明の第３の実施形態を説明する図である。The
(3) Third Embodiment FIGS. 3-1 to 3-5 are views for explaining a third embodiment of the present invention.
本実施形態のサービス提供システムは、第１および第２の実施形態と同じく、ユーザ端末１０からのサービス要求に対して、サーバコンピュータ２０および再構成ハードウェア処理部４３の持つソフトウェアリソース、ハードウェアリソースを用いて、ユーザが要求したサービスを提供するシステムである。ユーザ端末１０は１つまたは複数あり、ユーザはユーザ端末１０から同時または別々のタイミングでサービスを要求できる。ユーザ端末１０から送られたサービス要求は、ネットワークを経由して、本システムに入力される。 As in the first and second embodiments, the service providing system of the present embodiment responds to a service request from the
本実施形態におけるリソースマネージャ３０、サーバコンピュータ２０、およびアクセラレータ４０内の内部データ入出力制御部４１、外部データ入出力制御部４２、およびアクセラレータ間接続部６０、アクセラレータ間接続入出力制御部４５に関する具体的な内容例は、本発明の第１および第２の実施形態の内容を包含する（本実施形態では記載省略）。 Specifics on the
以下具体的な処理例について説明する。 A specific processing example will be described below.
本実施形態は、外部からの入力データが画像または映像（カメラ映像やストリーミング映像等）の場合に関するものであり、ユーザは映像を画像処理した結果を要求し取得することができる。画像処理は、サーバコンピュータ２０上のソフトウェアでも実行することは可能であるが、例えばソフトウェアで処理が困難な場合に、ハードウェアのアクセラレータ４０で処理を実行させることにより、目的とする処理を可能にすることができる。ソフトウェアで処理が困難な場合の例としては、対象とする画像の解像度が大きい場合や、要求される画像処理のアルゴリズムが複雑で処理量が大きい場合や、要求される処理時間の制限が短い場合などが考えられる。 The present embodiment relates to a case where input data from the outside is an image or video (camera video, streaming video, etc.), and the user can request and acquire the result of image processing of the video. The image processing can be executed by software on the
アクセラレータ４０上の再構成ハードウェア処理部４３で、このような画像処理を実行する方法について説明する。 A method for executing such image processing in the reconfigurable
再構成ハードウェア処理部４３内の１個のタイル処理部４３３（物体認識処理タイル）では、例えば画像を入力し、特徴抽出処理と物体識別処理を行い、認識された物体情報データを結果データとして出力することができる（図３−１）。また、２つのタイル処理部４３３を接続して用いることにより、１個のタイル処理部４３３（特徴抽出処理タイル）では、画像を入力し、特徴抽出処理を行い、抽出された特徴量情報を出力する処理を行い、別の１個のタイル処理部４３３（物体識別処理タイル）では、得られた特徴量情報を入力し、物体識別処理を行い、認識された物体情報データを出力することもできる（図３−２）。また、図３−２の物体識別処理タイルにおいて、そのアルゴリズム例として、学習に基づく識別処理（SVM（Support Vector Machine）、AdaBoost、部分空間法等）を行う場合は、事前に学習した学習データが必要になるが、この学習データは物体識別処理タイル内部に保持することも可能（この場合は識別処理は効率化高速化できる可能性がある利点を持つ）であるし、また別のタイル処理部４３３（学習データタイル）に保持することも可能（この場合は学習データ用のタイル処理部４３３を他の処理にも同時に利用可能となる利点を持つ）である（図３−３）。 In one tile processing unit 433 (object recognition processing tile) in the reconstruction
また、一般に画像処理として、画像を入力し各種フィルタ処理などの前処理を行うことができる。例えば、特徴抽出処理の前に入力画像をフィルタ処理（先鋭化、平滑化、エッジ抽出、FFT等による周波数変換、等の処理）し、その結果の画像を入力画像として特徴抽出処理に入力することもできる。これにより、特徴抽出処理や物体識別処理における抽出性能や識別性能を上げることができる可能性がある。また特徴抽出処理を行うために必要な前処理である場合もある。このような前処理を実装したタイル処理部４３３（前処理タイル）を、特徴抽出処理タイルの前に接続することにより、処理を連結して実行することができる（図３−４）。 In general, as image processing, an image can be input and preprocessing such as various filter processing can be performed. For example, before the feature extraction process, the input image is filtered (sharpening, smoothing, edge extraction, frequency conversion by FFT, etc.), and the resulting image is input to the feature extraction process as an input image You can also. Thereby, there is a possibility that the extraction performance and identification performance in the feature extraction processing and the object identification processing can be improved. In some cases, the pre-processing is necessary for performing feature extraction processing. By connecting the tile processing unit 433 (preprocessing tile) that implements such preprocessing before the feature extraction processing tile, the processing can be linked and executed (FIG. 3-4).
また、画像認識処理（物体識別処理）を行った後、クラスタリング等の後処理を行うことができる。例えば、物体識別処理の後に得られた物体情報データ（物体の座標位置情報、等）を入力として、後処理（例えば、物体個数のカウント処理、クラスタリング処理（統合処理）、時間平均処理、等）を行うことにより、さらに追加の物体情報データ（物体個数等）を得たり、クラスタリング処理（統合処理）により得られたデータから、より確からしい物体情報データ（座標位置）を取得したり、時間平均処理により誤認識した可能性のある物体情報データを減らしたり、するなどが可能であり、これにより物体認識性能を向上させることができる。このような後処理を実装したタイル処理部４３３（後処理タイル）を、物体識別処理タイルの後に接続することにより、処理を連結して実行することができる（図３−４）。もちろんこれら前処理タイルと後処理タイルを両方利用することも容易に可能である（図３−４）。 In addition, post-processing such as clustering can be performed after image recognition processing (object identification processing). For example, the object information data (object coordinate position information, etc.) obtained after the object identification process is used as an input, and post-processing (eg, object count processing, clustering process (integration process), time averaging process, etc.) To obtain additional object information data (number of objects, etc.), obtain more probable object information data (coordinate position) from the data obtained by clustering processing (integration processing), and time average It is possible to reduce or reduce the object information data that may have been erroneously recognized by the processing, thereby improving the object recognition performance. By connecting the tile processing unit 433 (post-processing tile) that implements such post-processing after the object identification processing tile, the processing can be linked and executed (FIG. 3-4). Of course, both the pre-processing tile and the post-processing tile can be easily used (FIG. 3-4).
これらのようなタイル処理部４３３に各々異なる処理を実装し、それらを連結させることにより、様々な組み合わせの画像処理を行うことが可能である。これらのタイル処理部４３３の連結方法は、リソースマネージャ３０が、要求されている処理内容に基づき、タイル処理部４３３間の接続を切り替える処理を行ったり、新しくタイル処理部４３３を生成したり、不要なタイル処理部４３３を消去または休眠させたりすることにより、連結させて実行できる。 Various combinations of image processing can be performed by mounting different processes on the
タイル処理部４３３間の接続を切り替える処理は、タイルブロック部４３２内のタイル制御部４３４や、タイルブロック部４３２間のタイル間接続部４３１の設定を変更させることにより、アクセラレータ４０内の任意の複数のタイル処理部４３３間を接続することができる。また、アクセラレータ間接続部６０を介すれば、アクセラレータ４０間にまたがる任意の複数のタイル処理部４３３間も接続することができる。 The process of switching the connection between the
また、新しくタイル処理部４３３を生成する処理は、例えば再構成可能なデバイスであるFPGAであれば、FPGAが通常持つ書き換え機能を用いて、FPGA単位もしくはFPGA内の一部の領域を書き換える（書き込む）ことにより、新しいタイル処理部４３３を生成したり、不要なタイル処理部４３３を消去（または休眠）させたりすることは容易に可能である。 For example, if the FPGA is a reconfigurable device, the processing for newly generating the
具体的な処理実施形態を図３−５に示す。これは、複数の異なる入力画像に対して、それぞれの入力画像毎にハードウェアのアクセラレータ４０上に必要な複数のタイル処理部４３３を生成し処理している例である。入力＃１，＃２，＃３に対しては、入力画像から人物を検出する処理を、入力＃４に対しては、自動車を検出する処理を行っている。 A specific processing embodiment is shown in FIGS. This is an example of generating and processing a plurality of
このとき、入力＃１はアクセラレータ（＃１）４０の中でのみタイル処理部４３３が利用されているが、入力＃２はアクセラレータ（＃１）４０とアクセラレータ（＃２）４０にまたがってタイル処理部４３３が利用できることを示している。同様に入力＃３、入力＃４についてもアクセラレータ４０間をまたがってタイル処理部４３３を利用することができる。 At this time, the
また入力＃１，＃２のように、背景が異なる場所であれば、それぞれの場所に応じた設定を予め担当するタイル処理部４３３のパラメータに設定しておくことにより、それぞれに特化して識別性能が高く、かつハードウェアにより高速な認識処理を実行できる。また、入力＃３では、人物を抽出した結果からさらにカウンタ処理により、人物の数を求めて出力したり、人物の大きさが小さいことを認識してその情報を出力したりしている。またハードウェアで並列処理しているので、入力＃１〜＃３が人物の検出処理をしている時に、入力＃４に対しては自動車を検出する処理を行うことができる。 In addition, if the background is different as in the input # 1 and # 2, the settings corresponding to the respective locations are set in advance in the parameters of the
また統合処理やカウンタ処理など、処理の一部をサーバコンピュータ２０側で処理させることも可能である。このときは、アクセラレータ４０で処理された結果データ（物体情報データ等）をサーバコンピュータ２０側に送信し、サーバコンピュータ２０上のソフトウェアで処理を行い結果を出力すればよい。ソフトウェアはハードウェアより処理が遅いことから、高速に処理が必要な部分はハードウェアのアクセラレータ４０に割り当て、処理が遅くても問題にならない場合やソフトウェアでも十分に高速に処理できる簡易な処理などの部分はサーバコンピュータ２０に割り当てることも可能である。
（４）第４の実施形態
図４−１〜から図４−４は、本発明の第４の実施形態を説明する図である。Also, part of the processing such as integration processing and counter processing can be processed on the
(4) Fourth Embodiment FIGS. 4A to 4D are diagrams for explaining a fourth embodiment of the present invention.
本実施形態のサービス提供システムは、第１、第２および第３の実施形態と同じく、ユーザ端末１０からのサービス要求に対して、サーバコンピュータ２０および再構成ハードウェア処理部４３の持つソフトウェアリソース、ハードウェアリソースを用いて、ユーザが要求したサービスを提供するシステムである。ユーザ端末１０は１つまたは複数あり、ユーザはユーザ端末１０から同時または別々のタイミングでサービスを要求できる。ユーザ端末１０から送られたサービス要求は、ネットワークを経由して、本システムに入力される。 As in the first, second, and third embodiments, the service providing system of the present embodiment responds to a service request from the
本実施形態におけるリソースマネージャ３０、サーバコンピュータ２０、およびアクセラレータ４０内の内部データ入出力制御部４１、外部データ入出力制御部４２、およびアクセラレータ間接続部６０、アクセラレータ間接続入力制御部に関する具体的な内容例は、本発明の第１、第２および第３の実施形態の内容を包含する（本実施形態では記載省略）。 Specifics regarding the
以下具体的な処理例について説明する。 A specific processing example will be described below.
本実施形態は、第３の実施形態と同様に、外部からの入力データが画像または映像（カメラ映像やストリーミング映像等）の場合に関するものであり、ユーザは映像を画像処理した結果を要求し取得することができる。画像処理は、サーバコンピュータ２０上のソフトウェアでも実行することは可能であるが、例えばソフトウェアで処理が困難な場合に、ハードウェアのアクセラレータ４０で処理を実行させることにより、目的とする処理を可能にすることができる。ソフトウェアで処理が困難な場合の例としては、対象とする画像の解像度が大きい場合や、要求される画像処理のアルゴリズムが複雑で処理量が大きい場合や、要求される処理時間の制限が短い場合などが考えられる。 As in the third embodiment, the present embodiment relates to the case where the input data from the outside is an image or video (camera video, streaming video, etc.), and the user requests and obtains the result of image processing of the video. can do. The image processing can be executed by software on the
本実施形態では、特徴抽出処理としてHOG特徴量を抽出する処理を行い、また物体識別処理として、AdaBoost識別処理（RealAdaBoost識別処理を含む）を行う例である。HOG特徴抽出は、各画素位置における画素値の勾配方向と勾配強度をベースとした局所特徴量を抽出するものであり、背景、色、照明条件等に頑健な特徴量であるという利点を持ち、人物抽出等の物体認識のために使うことができることが知られている。またAdaBoostは、各々異なる特徴に着目した多数の弱い識別器を用意し、それらの多数決（または総和等）により、強い識別器を構成するものであり、検出したい物体の形状変化に頑健な学習方式の物体識別処理として使えることが知られている。一般的なAdaBoostアルゴリズムは、多数の弱識別器の出力から多数決により強識別器を作るもので、またこれを改良して、弱識別器の出力を実数値にしてそれらの総和を求めることにより強識別器を作ることにより性能向上を図ったReal AdaBoostアルゴリズム等がある。 This embodiment is an example in which processing for extracting a HOG feature amount is performed as feature extraction processing, and AdaBoost identification processing (including RealAdaBoost identification processing) is performed as object identification processing. HOG feature extraction extracts local feature values based on the gradient direction and gradient intensity of pixel values at each pixel position, and has the advantage of being robust feature values for background, color, lighting conditions, etc. It is known that it can be used for object recognition such as person extraction. AdaBoost prepares a number of weak classifiers that focus on different features, and constitutes a strong classifier based on their majority (or summation), and is a learning method that is robust to changes in the shape of the object you want to detect. It is known that it can be used as an object identification process. The general AdaBoost algorithm is to create a strong classifier by majority vote from the outputs of a large number of weak classifiers, and to improve this, the output of the weak classifiers is made a real value and the sum of them is obtained. There is a Real AdaBoost algorithm that improves performance by creating a classifier.
タイル処理部４３３としては、第３の実施形態の特徴抽出処理をHOG特徴抽出処理に特化し、また物体識別処理をAdaBoost識別処理に特化したものである。すなわち、HOGとAdaBoostをまとめて１つのタイルで処理するHOG+AdaBoost処理タイルを生成し、これに入力画像を入力し、物体情報データを出力することができる（図４−１）。また、HOG処理タイルと、AdaBoost処理タイルを分離しておき、それを連結して処理することもできる（図４−２）。また、HOG処理を行った結果を、複数の同じ設定（もしくは異なる設定）のAdaBoost処理に並列に入力させて並列処理を行わせることもできる（図４−３）。また、反対に、HOG処理を複数並列に実行させて１個のAdaBoost処理タイルに入力させることもできる（図４−４）。図４−３、図４−４のような方法については、HOG特徴抽出処理の負荷が大きい場合に図４−４のようにHOG処理タイルを並列に利用したり、AdaBoost識別処理の負荷が大きい場合に図４−３のようにAdaBoost処理タイルを複数並列に利用したりすることができ、リソースマネージャ３０が処理負荷のバランスを考慮して効率よく組み合わせることにより、無駄の少ない効率的なハードウェア処理を実行できる。この点については、HOG処理タイルとAdaBoost処理タイルを、それぞれ特徴抽出処理と物体識別処理に置き換えた第３の実施形態においても同じような効率的な並列処理を行うことができる。 As the
また、第３の実施形態と同様に、画像を入力し各種フィルタ処理などの前処理を行うことができる。例えば、HOG処理の前に入力画像をフィルタ処理（先鋭化、平滑化、エッジ抽出、FFT等による周波数変換、等の処理）し、その結果の画像を入力画像としてHOG処理に入力することもできる。これにより、HOG処理やAdaBoost処理における抽出性能や識別性能を上げることができる可能性がある。このような前処理をタイル処理部４３３に実装し、特徴抽出処理タイルの前に接続することにより、処理を連結して実行することもできる。 Further, as in the third embodiment, an image can be input and preprocessing such as various filter processing can be performed. For example, the input image can be filtered (sharpening, smoothing, edge extraction, frequency conversion by FFT, etc.) before the HOG processing, and the resulting image can be input as an input image to the HOG processing. . Thereby, there is a possibility that the extraction performance and identification performance in the HOG processing and AdaBoost processing can be improved. By implementing such pre-processing in the
また、AdaBoost処理を行った後、クラスタリング等の後処理を行うことができる。例えば、AdaBoost処理の後に得られた物体情報データ（物体の座標位置情報、等）を入力として、後処理（例えば、物体個数のカウント処理、クラスタリング処理（統合処理）、時間平均処理、等）を行うことにより、さらに追加の物体情報データ（物体個数等）を得たり、クラスタリング処理（統合処理）により得られたデータからよりもっともらしい物体情報データ（座標位置）を取得したり、時間平均処理により誤認識した可能性のある物体情報データを減らしたり、するなどが可能であり、これにより物体認識性能を向上させることができる。このような後処理をタイル処理部４３３として実装し、AdaBoost処理を行うタイル処理部４３３の後に接続することにより、処理を連結して実行することができる。もちろんこれら前処理タイルと後処理タイルを両方利用することも容易に可能である。 Further, after the AdaBoost process, post-processing such as clustering can be performed. For example, the object information data (object coordinate position information, etc.) obtained after the AdaBoost process is used as an input, and post-processing (eg, object count processing, clustering process (integration process), time averaging process, etc.) is performed. To obtain additional object information data (number of objects, etc.), obtain more plausible object information data (coordinate position) from data obtained by clustering processing (integration processing), or perform time averaging processing It is possible to reduce or reduce the object information data that may have been erroneously recognized, thereby improving the object recognition performance. By implementing such post-processing as the
第３の実施形態と同様に、これらのようなタイル処理部４３３に各々異なる処理を実装し、それらを連結させることにより、様々な組み合わせの画像処理を行うことが可能である。これらのタイル処理部４３３の連結方法は、リソースマネージャ３０が、要求されている処理内容に基づき、タイル処理部４３３間の接続を切り替える処理を行ったり、新しくタイル処理部４３３を生成したり、不要なタイル処理部４３３を消去または休眠させたりすることにより、連結させて実行できる。 Similar to the third embodiment, it is possible to perform various combinations of image processing by mounting different processes in the
タイル処理部４３３間の接続を切り替える処理は、タイルブロック部４３２内のタイル制御部４３４や、タイルブロック部４３２間のタイル間接続部４３１の設定を変更させることにより、アクセラレータ４０内の任意の複数のタイル処理部４３３間を接続することができる。また、アクセラレータ間接続部６０を介すれば、アクセラレータ４０間にまたがる任意のタイル処理部４３３間も複数接続することができる。 The process of switching the connection between the
また、新しくタイル処理部４３３を生成する処理は、例えば再構成可能なデバイスであるFPGAであれば、FPGAが通常持つ書き換え機能を用いて、FPGA単位もしくはFPGA内の一部の領域を書き換える（書き込む）ことにより、新しいタイルを生成したり、不要なタイルを消去（または休眠）させたりすることは容易に可能である。 For example, if the FPGA is a reconfigurable device, the processing for newly generating the
具体的な処理実施形態は図３−５において特徴抽出をHOGに、物体識別をAdaBoostに置き換えた（特化した）場合に相当する。入力＃１，＃２，＃３に対しては、入力画像から人物を検出する処理を、入力＃４に対しては、自動車を検出する処理を行っている。 A specific processing embodiment corresponds to the case where the feature extraction is replaced with HOG and the object identification is replaced with AdaBoost in FIG. For inputs # 1, # 2, and # 3, processing for detecting a person from the input image is performed, and for input # 4, processing for detecting a car is performed.
このとき、入力＃１はアクセラレータ（＃１）４０の中でのみタイル処理部４３３が利用されているが、入力＃２はアクセラレータ（＃１）４０とアクセラレータ（＃２）４０にまたがってタイル処理部４３３が利用できることを示している。同様に入力＃３、入力＃４についてもアクセラレータ４０間をまたがってタイル処理部４３３を利用することができる。 At this time, the
また入力＃１，＃２のように、背景が異なる場所であれば、それぞれの場所に応じた設定を予め担当するタイル処理部４３３のパラメータに設定しておくことにより、それぞれに特化して識別性能が高く、かつハードウェアにより高速な認識処理を実行できる。また、入力＃３では、人物を抽出した結果からさらにカウンタ処理により、人物の数を求めて出力したり、人物の大きさが小さいことを認識してその情報を出力したりしている。またハードウェアで並列処理しているので、入力＃１〜＃３が人物の検出処理をしている時に、入力＃４に対しては自動車を検出する処理を行うことができる。 In addition, if the background is different as in the input # 1 and # 2, the settings corresponding to the respective locations are set in advance in the parameters of the
また統合処理やカウンタ処理など、処理の一部をサーバコンピュータ２０側で処理させることも可能である。このときは、アクセラレータ４０で処理された結果データ（物体情報データ等）をサーバコンピュータ２０側に送信し、サーバコンピュータ２０上のソフトウェアで処理を行い結果を出力すればよい。ソフトウェアはハードウェアより処理が遅いことから、高速に処理が必要な部分はハードウェアのアクセラレータ４０に割り当て、処理が遅くても問題にならない場合やソフトウェアでも十分に高速に処理できる簡易な処理などの部分はサーバコンピュータ２０に割り当てることも可能である。 Also, part of the processing such as integration processing and counter processing can be processed on the
本実施形態は、外部からの入力データが画像または映像（カメラ映像やストリーミング映像等）の場合に関するものであり、また、処理内容としては、特徴抽出処理としてHOG特徴量を抽出する処理を行い、また物体識別処理として、AdaBoost識別処理（RealAdaBoost識別処理を含む）を行う例である。処理内容制御部３２での具体的な制御方法例には、第１の実施形態で示したように、ユーザ要求情報、リソース利用状況情報、環境情報、および結果データ情報の内容や条件に基づいて、サーバコンピュータ２０やアクセラレータ４０の処理内容を変更することとなるが、本実施形態の場合の例について以下に示す。処理内容として、入力された映像から、物体（人や自動車など）を検出する識別処理を行う場合を例として考える。 The present embodiment relates to a case where input data from the outside is an image or video (camera video, streaming video, etc.), and as processing contents, a process for extracting a HOG feature amount as a feature extraction process is performed, Further, as an object identification process, an AdaBoost identification process (including a RealAdaBoost identification process) is performed. Specific examples of control methods in the processing content control unit 32 are based on the contents and conditions of user request information, resource usage status information, environment information, and result data information as shown in the first embodiment. The processing contents of the
環境情報を用いた例としては、例えば、これは画像認識処理であることから、昼の時間帯は昼用に特化した識別用の学習データを使い、夜は夜用に特化した識別用の学習データを使う方が識別率が高くなるので、時間によってＳＷ上のプログラムもしくはアクセラレータ４０上のタイル処理部４３３に書き込まれている処理内容を書き換えたり（もしくは既に書き込まれているタイル処理部４３３に切り替えたり）して、処理内容を最適なものに変更することが考えられる。同様に、天候情報によって学習データを変更したり（書き換えたり）、移動可能なカメラ映像の場合は、その場所や背景によって学習データを変更したりすることが考えられる。さらに、そのような環境情報の変化に応じて、画像処理のための各種パラメータ（特徴抽出処理等でのウィンドウサイズ、識別処理等での閾値処理時の閾値など）を最適になるように変更することも可能である。 As an example using environmental information, for example, since this is an image recognition process, learning data for identification specialized for daytime is used during the daytime period, and identification data specialized for nighttime is used at night. Since the learning rate becomes higher when the learning data is used, the processing content written in the program on the SW or the
その場所や背景に適したパラメータや学習データを決定する例としては、例えばカメラの場所が屋外か屋内か、背景がシンプルな映像か複雑な映像か、光（照明や太陽）がどのような向きでどの程度当たっている場所か、などの撮影条件等の違い（度合い）によって、画像処理する際の閾値等のパラメータをその場所の条件に適した値（例えば、背景や物体の明るさに応じて検出アルゴリズムのパラメータを変えたり、明るさを調整するフィルタ処理をほどこしたり、また背景の色合いや複雑度に応じてその背景に適した学習データに変えて画像認識処理を行うようにしたりすればよい）に設定・変更することで、カメラの場所を変えてもより精度の高い画像処理を行うことができる。また、その場所の映像中に検出したい物体（人や車など）について何がどの程度の数あるか、その物体はどの程度の大きさか、またその映像中の背景として（検出したい物体かどうかを問わず）動く物体があるか、などの撮影場所の条件の違いによって学習データや画像処理時のパラメータを変えることで、カメラの場所を変えてもより精度の高い画像処理を行うことができる。これらのようなパラメータや学習データ等の変更は、リソースマネージャ３０が入力された映像に応じて判断し、より精度の高くなる状態に調整することができる。この際、カメラの場所の変化が検出されたことをトリガーとして、パラメータや学習データ等の変更を行うようにしてもよい。また、カメラの場所とパラメータや学習データ等とを対応付けて記憶したデータベースを予め用意しておき、カメラの場所の変化が検出された場合に、その場所に応じたパラメータや学習データ等をデータベースから読み出し、利用するようにしてもよい。 Examples of determining parameters and learning data suitable for the location and background include, for example, whether the camera location is outdoors or indoors, whether the background is simple or complex, or the direction of light (lighting or sun) Depending on the difference (degree) in the shooting conditions such as how much the location is hit, parameters such as the threshold for image processing are appropriate values for the location conditions (for example, depending on the brightness of the background or object) If you change the parameters of the detection algorithm, apply filter processing to adjust the brightness, or change the learning data suitable for the background according to the color and complexity of the background, and perform image recognition processing By setting / changing to (Good), it is possible to perform image processing with higher accuracy even if the location of the camera is changed. Also, what is the number of objects (people, cars, etc.) that you want to detect in the image of the place, how big is the object, and the background in the image (whether it is the object you want to detect) Regardless of whether or not there is a moving object, the learning data and the parameters for image processing are changed depending on the conditions of the shooting location, so that more accurate image processing can be performed even if the location of the camera is changed. Such changes in parameters, learning data, and the like can be determined according to the input video by the
なお、背景の情報を取得する方法の例としては、例えば入力映像中の色に関する情報（RGBやHSVの割合や全体の明るさ等）を測定したり、入力映像中で時系列の変化を比較して動きのない領域（オプティカルフロー等の画像処理により容易に抽出可能であり、カメラ自体が動いている場合はその既知のカメラの動きを差し引けば同様に可能である）を背景領域として抽出したりすることが容易に可能である。 Examples of methods for obtaining background information include measuring information about the colors in the input video (ratio of RGB and HSV, overall brightness, etc.), and comparing changes over time in the input video. As a background area, a non-moving area (which can be easily extracted by image processing such as optical flow, or if the camera itself is moving, can be similarly subtracted). Can be easily done.
また、移動可能なカメラの場所もしくはその変化を取得する方法としては、例えばカメラにGPS機能を搭載し常時カメラの地理的な位置をシステムが（リソースマネージャ３０が）把握することは容易に可能である。また、ユーザが持ち運び可能なハンディカメラやモバイル機器のような移動可能なカメラであれば、ユーザがその場所の情報を手動入力したり、場所（エリア）のリスト一覧から選択して入力したりすることにより、ネットワークを介してリソースマネージャ３０はそのカメラの場所を容易に把握することが可能である。そのような移動可能なカメラとしては、ユーザが手に持って常に動いている場合や、USBカメラや監視カメラのように利用時は場所を固定するが、取り外して設置場所を移動する場合や、首振り可能な監視カメラのように場所は同じでカメラの向きだけ変えられる場合などが考えられる。 In addition, as a method for acquiring the location of a movable camera or its change, for example, the camera is equipped with a GPS function, and the system (resource manager 30) can easily grasp the geographical position of the camera at all times. is there. In addition, if the user can move a portable camera such as a handy camera or a mobile device, the user manually inputs the location information or selects and inputs the location (area) list. Thus, the
また、結果データ情報を用いた例としては、画像識別処理の結果データとして、例えば、入力画像から得られた物体（人や自動車等）の識別個数の情報や、その識別した物体座標値（複数あればそのリスト）などが考えられる。識別個数の利用例としては、識別個数がある閾値以上となる場合は、検出人数が多すぎる（誤識別が含まれる）と判断して、識別個数を減らすように、識別処理の閾値（例えばRealAdaBoostであれば強識別器の出力値に対する最終閾値）を変更することができる。逆に、識別個数がずっと０の場合は、識別個数を増やすように、当該閾値を変更することができ、これを繰り返すことで最適な閾値になるように、リソースマネージャ３０が自動で調整することができる。 Further, as an example using the result data information, as the result data of the image identification process, for example, information on the number of objects (persons, cars, etc.) obtained from the input image, and the identified object coordinate values (multiple If there is such a list), it can be considered. As an example of using the identification number, if the identification number is equal to or greater than a certain threshold, it is determined that the number of detected persons is too large (including erroneous identification) and the identification processing threshold (for example, RealAdaBoost) If so, the final threshold for the output value of the strong discriminator can be changed. On the contrary, when the number of identifications is always 0, the threshold value can be changed so as to increase the number of identifications, and the
また、結果データ情報を用いた他の例としては、入力画像から物体を検出する際に、検出ウィンドウの最適なサイズが分からない場合に、複数のプログラムもしくはタイル処理部４３３を利用して、複数のウィンドウサイズに対する処理を並行して処理させ、得られる識別個数などの結果データから、最適なウィンドウサイズを判定する方法が考えられる。また、並行に処理させず、１つのタイル処理部４３３で１つのウィンドウサイズに対する処理を行い、その結果データ（識別個数等）から、ウィンドウサイズを増減させ、最適なウィンドウサイズに収束させる方法も考えられる。 As another example using the result data information, when an object is detected from an input image and the optimum size of the detection window is not known, a plurality of programs or
これらは、第１の実施形態と同様に、初めに制御方法（判断手順）を設定さえしておけば、人が場合に応じて手動で設定変更したりせずに、リソースマネージャ３０が自己判断で自動的に、最適な状態になるよう処理内容の変更制御を継続的に行うことができるようになり、人の稼動が不要でかつ迅速、確実、安定した対応が可能なシステムを実現できる。 As in the first embodiment, the
本発明によれば、サーバコンピュータ２０によるソフトウェア処理と、ハードウェアを用いたアクセラレータ４０によるハードウェア処理と、を組み合わせることにより、負荷の大きい処理はアクセラレータ４０に割り当てることができるため、多数のユーザからの大容量かつリアルタイム処理が必要な処理に対して対応できるようになるという効果が得られる。 According to the present invention, a combination of software processing by the
また、ハードウェアのアクセラレータ４０として、従来のような機能が固定されたハードウェアではなく、再構成可能なハードウェア（FPGA等）を用いたアクセラレータ４０とすることにより、処理高速化とともに高い汎用性・柔軟性を持つシステムを実現することができるという効果が得られる。 In addition, the
また、アクセラレータ４０として、サービス動作中に異なる機能回路をハードウェア上に再構成できるようにすることにより、複数のユーザからの異なる要求に対しても、サービスを止めることなく、高速な処理を並列かつ機能を変更して処理を実行することができるという効果が得られる。 Moreover, by enabling different functional circuits to be reconfigured on the hardware during the service operation as the
また、リソースマネージャ３０として、ユーザ要求情報だけでなく、環境情報、および結果データ情報の内容や条件にも基づいて、サーバコンピュータ２０やアクセラレータ４０の処理内容を変更することができ、初めに制御方法を設定さえしておけば、途中で人が手動で設定変更する必要なく、リソースマネージャ３０が自己判断で自動的に、最適な状態になるよう制御できるようになり、人の稼動が不要、かつ迅速、確実、安定した対応が可能なシステムを実現できるという効果が得られる。 The
また、アクセラレータ４０内の再構成可能なタイル処理部４３３に、HOG特徴抽出処理とRealAdaBoost識別処理の機能を実装することにより、複数の映像入力かつ膨大な計算量であっても、リアルタイム処理ができるという効果が得られる。 In addition, by implementing the functions of HOG feature extraction processing and RealAdaBoost identification processing in the reconfigurable
本発明は、以下のようなサービスやシステムに利用可能である。
・利用者端末が通信（有線・無線問わず）を介してネットワーク上のサーバ、またはデータセンタと接続して利用する情報通信サービス。
・製造後にも再構成可能な（リコンフィギャラブルな）LSI、プロセッサ、デバイスを応用するシステム。
・映像または画像のリアルタイム処理を行うシステム。
・監視システム、見守りシステム、ディジタルサイネージ、ITSなど。The present invention is applicable to the following services and systems.
An information communication service used by a user terminal connected to a server on a network or a data center via communication (whether wired or wireless).
A system that applies reconfigurable (reconfigurable) LSIs, processors, and devices after manufacturing.
A system that performs real-time processing of video or images.
・ Monitoring systems, watching systems, digital signage, ITS, etc.
１０ ユーザ端末
２０ サーバコンピュータ
２１ ソフトウェア（ＳＷ）処理管理部
３０ リソースマネージャ
３１ 処理内容管理ＤＢ
３２ 処理内容制御部
３３ 結果データ取得部
４０ アクセラレータ
４１ 内部データ入出力制御部
４２ 外部データ入出力制御部
４３ 再構成ハードウェア処理部
４３１ タイル間接続部
４３２ タイルブロック部
４３３ タイル処理部
４３４ タイル制御部
４４ ハードウェア（ＨＷ）処理管理部
４５ アクセラレータ間接続入出力制御部
５０ サーバ・アクセラレータ間接続部
６０ アクセラレータ間接続部DESCRIPTION OF
32 processing
Claims (8)
Translated fromJapaneseハードウェア機能を実行可能なハードウェア回路を再構成可能に構築して該ハードウェア機能を実行する１以上のアクセラレータと、
ユーザから要求されたサービスの提供に必要な機能をソフトウェア機能とハードウェア機能とに振り分け、ソフトウェア機能を前記サーバコンピュータに割り当てて実行させると共に、ハードウェア機能を前記アクセラレータに割り当てて実行させるリソースマネージャと、を有し、
前記リソースマネージャは、前記サーバコンピュータまたは前記アクセラレータの処理結果に基づいて、前記サーバコンピュータに割り当てたソフトウェア機能の内容または前記アクセラレータに割り当てたハードウェア機能の内容を変更する、
サービス提供システム。One or more server computers executing software functions according to software programs;
One or more accelerators configured to reconfigurable hardware circuits capable of executing hardware functions and executing the hardware functions;
A resource manager that distributes a function required for providing a service requested by a user into a software function and a hardware function, assigns the software function to the server computer and executes the function, and assigns the hardware function to the accelerator and executes the function; Have
The resource manager changes the content of the software function assigned to the server computer or the content of the hardware function assigned to the accelerator based on the processing result of the server computer or the accelerator.
Service provision system.
前記アクセラレータが複数あり、
前記複数のアクセラレータを互いに接続し、互いにデータを通信させるためのアクセラレータ間接続部をさらに有する、
サービス提供システム。The service providing system according to claim 1,
A plurality of the accelerators;
Further comprising an inter-accelerator connection for connecting the plurality of accelerators to each other and communicating data with each other;
Service provision system.
前記アクセラレータは、再構成可能なハードウェア回路として１以上のタイルブロック部を有し、
前記タイルブロック部は、１以上のタイル処理部と、該タイル処理部を自身のタイルブロック部の外部と接続するタイル制御部と、を備える、
サービス提供システム。The service providing system according to claim 1 or 2,
The accelerator has one or more tile block units as a reconfigurable hardware circuit,
The tile block unit includes one or more tile processing units and a tile control unit that connects the tile processing unit to the outside of the tile block unit.
Service provision system.
ユーザから、画像が入力されて該画像の画像処理のサービスを要求され、
前記タイル処理部は、
前記画像を入力し特徴抽出処理を行い特徴量情報を出力する第１のタイル処理部と、
前記第１のタイル処理部から出力された特徴量情報を入力し物体識別処理を行い識別結果を出力する第２のタイル処理部と、を含む、
サービス提供システム。The service providing system according to claim 3,
The user inputs an image and requests an image processing service for the image.
The tile processing unit
A first tile processing unit that inputs the image, performs feature extraction processing, and outputs feature amount information;
A second tile processing unit that inputs feature amount information output from the first tile processing unit, performs object identification processing, and outputs an identification result.
Service provision system.
前記第１のタイル処理部は、前記特徴抽出処理として、ＨＯＧ特徴量を抽出する処理を行い、
前記第２のタイル処理部は、前記物体識別処理として、ＡｄａＢｏｏｓｔ識別処理を行う、
サービス提供システム。The service providing system according to claim 4,
The first tile processing unit performs a process of extracting a HOG feature value as the feature extraction process,
The second tile processing unit performs AdaBoost identification processing as the object identification processing.
Service provision system.
ソフトウェア機能をソフトウェアプログラムに従って実行する１以上のサーバコンピュータと、
ハードウェア機能を実行可能なハードウェア回路を再構成可能に構築して該ハードウェア機能を実行する１以上のアクセラレータと、
リソースマネージャと、を設け、
前記リソースマネージャが、ユーザから要求されたサービスの提供に必要な機能をソフトウェア機能とハードウェア機能とに振り分け、ソフトウェア機能を前記サーバコンピュータに割り当てて実行させると共に、ハードウェア機能を前記アクセラレータに割り当てて実行させるステップと、
前記リソースマネージャが、前記サーバコンピュータまたは前記アクセラレータの処理結果に基づいて、前記サーバコンピュータに割り当てたソフトウェア機能の内容または前記アクセラレータに割り当てたハードウェア機能の内容を変更するステップと、を有する、
サービス提供方法。A service providing method by a service providing system,
One or more server computers executing software functions according to software programs;
One or more accelerators configured to reconfigurable hardware circuits capable of executing hardware functions and executing the hardware functions;
A resource manager,
The resource manager allocates a function required for providing a service requested by a user to a software function and a hardware function, assigns the software function to the server computer and executes the function, and assigns a hardware function to the accelerator. Steps to be performed;
The resource manager, based on the processing result of the server computer or the accelerator, changing the content of the software function assigned to the server computer or the content of the hardware function assigned to the accelerator,
Service provision method.
ユーザから要求されたサービスの提供に必要な機能をソフトウェア機能とハードウェア機能とに振り分け、ソフトウェア機能を前記サーバコンピュータに割り当てて実行させると共に、ハードウェア機能を前記アクセラレータに割り当てて実行させる処理内容制御部と、
前記サーバコンピュータまたは前記アクセラレータの処理結果を取得する結果データ取得部と、を有し、
前記処理内容制御部は、前記サーバコンピュータまたは前記アクセラレータの処理結果に基づいて、前記サーバコンピュータに割り当てたソフトウェア機能の内容または前記アクセラレータに割り当てたハードウェア機能の内容を変更する、
リソースマネージャ。Connected to one or more server computers that execute software functions according to a software program, and one or more accelerators that reconfigurable hardware circuits that can execute the hardware functions and execute the hardware functions A resource manager,
Processing content control that distributes functions required for providing a service requested by a user into software functions and hardware functions, assigns the software functions to the server computer and executes them, and assigns the hardware functions to the accelerator and executes them And
A result data acquisition unit for acquiring a processing result of the server computer or the accelerator,
The processing content control unit changes the content of the software function assigned to the server computer or the content of the hardware function assigned to the accelerator based on the processing result of the server computer or the accelerator.
Resource manager.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012034918AJP5876319B2 (en) | 2012-02-21 | 2012-02-21 | Service providing system, service providing method, resource manager, program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012034918AJP5876319B2 (en) | 2012-02-21 | 2012-02-21 | Service providing system, service providing method, resource manager, program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013171435Atrue JP2013171435A (en) | 2013-09-02 |
| JP5876319B2 JP5876319B2 (en) | 2016-03-02 |
Family
ID=49265319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012034918AExpired - Fee RelatedJP5876319B2 (en) | 2012-02-21 | 2012-02-21 | Service providing system, service providing method, resource manager, program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5876319B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016009339A (en)* | 2014-06-24 | 2016-01-18 | キヤノン株式会社 | Image processing apparatus, control method thereof, and program |
| US20170078148A1 (en)* | 2015-09-14 | 2017-03-16 | Yoshiki Matsumoto | Data processing system, data processing control apparatus, and data processing control method |
| WO2017119098A1 (en)* | 2016-01-07 | 2017-07-13 | 株式会社日立製作所 | Computer system and method for controlling computer |
| JP2020004429A (en)* | 2019-08-08 | 2020-01-09 | キヤノン株式会社 | Information processing apparatus, control method thereof, and program |
| KR20200085724A (en)* | 2019-01-04 | 2020-07-15 | 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 | Method and system for providing secure communication between a host system and a data processing accelerator |
| JP2021086564A (en)* | 2019-11-29 | 2021-06-03 | Ｎｅｃソリューションイノベータ株式会社 | Dynamic reconstruction control device, dynamic reconstruction control method, and program |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0275002A (en)* | 1988-09-10 | 1990-03-14 | Fujitsu Ltd | digital control device |
| JP2002214336A (en)* | 2001-01-19 | 2002-07-31 | Japan Radio Co Ltd | Weather radar equipment |
| JP2005531089A (en)* | 2002-06-26 | 2005-10-13 | コーヒレント・ロジックス・インコーポレーテッド | Processing system with interspersed processors and communication elements |
| JP2007183726A (en)* | 2006-01-05 | 2007-07-19 | Nec Corp | Data processor and data processing method |
| JP2009284208A (en)* | 2008-05-22 | 2009-12-03 | Renesas Technology Corp | Moving image encoder and moving image recorder |
| JP2011048579A (en)* | 2009-08-26 | 2011-03-10 | Univ Of Tokyo | Image processor and image processing method |
| WO2011092323A1 (en)* | 2010-02-01 | 2011-08-04 | Philippe Manet | A tile-based processor architecture model for high efficiency embedded homogneous multicore platforms |
| JP2011248503A (en)* | 2010-05-25 | 2011-12-08 | Nippon Telegr & Teleph Corp <Ntt> | Information service system |
| JP2013045219A (en)* | 2011-08-23 | 2013-03-04 | Nippon Telegr & Teleph Corp <Ntt> | Data processing system, data processing method, resource manager device, accelerator device, and program |
- 2012
- 2012-02-21JPJP2012034918Apatent/JP5876319B2/ennot_activeExpired - Fee Related
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0275002A (en)* | 1988-09-10 | 1990-03-14 | Fujitsu Ltd | digital control device |
| JP2002214336A (en)* | 2001-01-19 | 2002-07-31 | Japan Radio Co Ltd | Weather radar equipment |
| JP2005531089A (en)* | 2002-06-26 | 2005-10-13 | コーヒレント・ロジックス・インコーポレーテッド | Processing system with interspersed processors and communication elements |
| JP2007183726A (en)* | 2006-01-05 | 2007-07-19 | Nec Corp | Data processor and data processing method |
| JP2009284208A (en)* | 2008-05-22 | 2009-12-03 | Renesas Technology Corp | Moving image encoder and moving image recorder |
| JP2011048579A (en)* | 2009-08-26 | 2011-03-10 | Univ Of Tokyo | Image processor and image processing method |
| WO2011092323A1 (en)* | 2010-02-01 | 2011-08-04 | Philippe Manet | A tile-based processor architecture model for high efficiency embedded homogneous multicore platforms |
| JP2013529322A (en)* | 2010-02-01 | 2013-07-18 | フィリップ・マネ | A tile-based processor architecture model for highly efficient embedded uniform multi-core platforms |
| JP2011248503A (en)* | 2010-05-25 | 2011-12-08 | Nippon Telegr & Teleph Corp <Ntt> | Information service system |
| JP2013045219A (en)* | 2011-08-23 | 2013-03-04 | Nippon Telegr & Teleph Corp <Ntt> | Data processing system, data processing method, resource manager device, accelerator device, and program |
Non-Patent Citations (2)
| Title |
|---|
| CSNG201100204009; 青木 孝 外３名: 'リアルタイム画像識別におけるスケーラブルアーキテクチャの設計' 電子情報通信学会技術研究報告 ＶＬＳＩ設計技術 第１１０巻，第４３２号, 20110223, ｐｐ．７５-８０, 社団法人電子情報通信学会* |
| JPN6014044811; 青木 孝 外３名: 'リアルタイム画像識別におけるスケーラブルアーキテクチャの設計' 電子情報通信学会技術研究報告 ＶＬＳＩ設計技術 第１１０巻，第４３２号, 20110223, ｐｐ．７５-８０, 社団法人電子情報通信学会* |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016009339A (en)* | 2014-06-24 | 2016-01-18 | キヤノン株式会社 | Image processing apparatus, control method thereof, and program |
| US20170078148A1 (en)* | 2015-09-14 | 2017-03-16 | Yoshiki Matsumoto | Data processing system, data processing control apparatus, and data processing control method |
| US10298455B2 (en) | 2015-09-14 | 2019-05-21 | Ricoh Company, Ltd. | Data processing system, data processing control apparatus, and data processing control method |
| WO2017119098A1 (en)* | 2016-01-07 | 2017-07-13 | 株式会社日立製作所 | Computer system and method for controlling computer |
| JPWO2017119098A1 (en)* | 2016-01-07 | 2018-11-08 | 株式会社日立製作所 | Computer system and computer control method |
| KR20200085724A (en)* | 2019-01-04 | 2020-07-15 | 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 | Method and system for providing secure communication between a host system and a data processing accelerator |
| KR102323763B1 (en)* | 2019-01-04 | 2021-11-08 | 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 | Methods and systems for providing secure communication between a host system and a data processing accelerator |
| US11328075B2 (en) | 2019-01-04 | 2022-05-10 | Baidu Usa Llc | Method and system for providing secure communications between a host system and a data processing accelerator |
| JP2020004429A (en)* | 2019-08-08 | 2020-01-09 | キヤノン株式会社 | Information processing apparatus, control method thereof, and program |
| JP2021086564A (en)* | 2019-11-29 | 2021-06-03 | Ｎｅｃソリューションイノベータ株式会社 | Dynamic reconstruction control device, dynamic reconstruction control method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5876319B2 (en) | 2016-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5876319B2 (en) | Service providing system, service providing method, resource manager, program | |
| JP5653865B2 (en) | Data processing system | |
| EP3924845B1 (en) | Responding to machine learning requests from multiple clients | |
| CN112105035B (en) | Deployment method and device of mobile edge computing server | |
| CN115269717B (en) | Storage device, distributed storage system and data processing method | |
| CN105729491B (en) | The execution method, apparatus and system of robot task | |
| CN106375721A (en) | An Intelligent Video Surveillance System Based on Cloud Platform | |
| US10708496B2 (en) | Analytics based power management for cameras | |
| CN104657205A (en) | Virtualization-based video content analyzing method and system | |
| CN113934545A (en) | Video data scheduling method, system, electronic equipment and readable medium | |
| CN105025099A (en) | Intelligent camera network system and camera network dynamic task assignment method | |
| US20210141675A1 (en) | Hotpluggable runtime | |
| CN107181825B (en) | Online processing method of terminal equipment data | |
| CN111340016A (en) | Image exposure method and apparatus, storage medium, and electronic apparatus | |
| WO2020001427A1 (en) | Analysis task execution method, apparatus and system, and electronic device | |
| CN105827716A (en) | LED advertisement screen control system based on big data | |
| CN111897348A (en) | Control method and system of cloud robot, cloud robot, cloud server | |
| KR102257325B1 (en) | Method and Apparatus for IoT Camera Virtualization Based on Multiple Service Request and Context-awareness | |
| CN111160283B (en) | Data access method, device, equipment and medium | |
| CN108958286A (en) | Multi-rotor aerocraft Cloud Server network system and its control method | |
| US10074098B2 (en) | Demographic information collection and content display based on demographic information | |
| CN117749407A (en) | 6G communication network architecture generation method, system, electronic equipment and medium | |
| Choi et al. | Scout: Data center monitoring system with multiple mobile robots | |
| CN111815772B (en) | Plateau mountainous land use method, system, storage medium and computer equipment | |
| CN115810276A (en) | System and subsystem for realizing traffic signal control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20140128 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20141015 | |
| RD03 | Notification of appointment of power of attorney | Free format text:JAPANESE INTERMEDIATE CODE: A7423 Effective date:20141027 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20141028 | |
| RD04 | Notification of resignation of power of attorney | Free format text:JAPANESE INTERMEDIATE CODE: A7424 Effective date:20141031 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20141225 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20150602 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20150730 | |
| RD02 | Notification of acceptance of power of attorney | Free format text:JAPANESE INTERMEDIATE CODE: A7422 Effective date:20151001 | |
| RD04 | Notification of resignation of power of attorney | Free format text:JAPANESE INTERMEDIATE CODE: A7424 Effective date:20151005 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20160119 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20160121 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:5876319 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| LAPS | Cancellation because of no payment of annual fees |