JP7637928B2 - Helmet-compatible display system, display control method, helmet, and program - Google Patents

Description

Translated fromJapanese

本発明は、ヘルメット対応表示システム、表示制御方法、ヘルメット、及びプログラムに関する。The present invention relates to a helmet-compatible display system, a display control method, a helmet, and a program.

ヘルメットに、作業者の目の前方に位置させることが可能なようにウェアラブル端末を設け、ヘルメットを装着した作業者が、ウェアラブル端末のディスプレーに表示されたカメラ映像やデータ画像を見ることができるようにされた技術が知られている（特許文献１）。There is known technology that provides a helmet with a wearable terminal that can be positioned in front of the worker's eyes, allowing the worker wearing the helmet to view camera footage and data images displayed on the wearable terminal's display (Patent Document 1).

特開２０１８－１１９２４１号公報JP 2018-119241 A

装着者であるユーザに向けて画像が表示されるヘルメットが使用される環境にて、当該ヘルメットの活用により、ユーザの利便性が向上されるようにすることが好ましい。In an environment where a helmet that displays images to the wearer is used, it is preferable to improve the convenience of the user by utilizing the helmet.

本発明は、このような事情に鑑みてなされたもので、装着者であるユーザに向けて画像が表示されるヘルメットの活用により、ユーザの利便性が向上されるようにすることを目的とする。The present invention was made in consideration of these circumstances, and aims to improve user convenience by utilizing a helmet that displays images toward the wearer.

上述した課題を解決するための本発明の一態様は、ヘルメットに備えられる防爆めがねと前記防爆めがねをユーザが装着した状態において、ユーザに向けて画像を表示するように前記防爆めがねに設けられる表示部と、互いに所定の距離を隔ててヘルメットに設けられ、ユーザが前記ヘルメットを装着した状態において、それぞれが前記ヘルメットの外部の所定の方向を撮像するように設けられる複数の撮像装置と、前記複数の撮像装置のそれぞれにより撮像して得られた複数の撮像画像間の視差を利用して撮像画像における対象物までの距離を計測した結果を利用した所定の情報処理を行う情報処理部と、前記情報処理部による情報処理に応じた画像を前記表示部に表示させる表示制御部とを備えるヘルメット対応表示システムである。One aspect of the present invention for solving the above-mentioned problems is a helmet-compatible display system that includes explosion-proof glasses provided on a helmet, a display unit provided on the explosion-proof glasses to display an image to a user when the user wears the explosion-proof glasses, a plurality of imaging devices provided on the helmet at a predetermined distance from each other and each configured to capture an image of a predetermined direction outside the helmet when the user wears the helmet, an information processing unit that performs predetermined information processing using the results of measuring the distance to an object in a captured image by utilizing the parallax between a plurality of captured images obtained by capturing images by each of the plurality of imaging devices, and a display control unit that causes an image corresponding to the information processing by the information processing unit to be displayed on the display unit.

また、本発明の一態様は、防爆めがねと、前記防爆めがねをユーザが装着した状態において、ユーザに向けて画像を表示するように前記防爆めがねに設けられる表示部と、互いに所定の距離を隔ててヘルメットに設けられ、ユーザが前記ヘルメットを装着した状態において、それぞれが前記ヘルメットの外部の所定の方向を撮像するように設けられる複数の撮像装置とを備えるヘルメットに対応する表示システムの表示制御方法であって、情報処理部が、前記複数の撮像装置のそれぞれにより撮像して得られた複数の撮像画像間の視差を利用して撮像画像における対象物までの距離を計測した結果を利用した所定の情報処理を行う情報処理ステップと、表示制御部が、前記情報処理ステップによる情報処理に応じた画像を前記表示部に表示させる表示制御ステップとを含む表示制御方法である。Also, one aspect of the present invention is a display control method for a display system corresponding to a helmet, the display system including explosion-proof glasses, a display unit provided on the explosion-proof glasses to display an image toward a user when the user wears the explosion-proof glasses, and a plurality of imaging devices provided on the helmet at a predetermined distance from each other, each of which is provided to capture an image of a predetermined direction outside the helmet when the user wears the helmet, the display control method including an information processing step in which an information processing unit performs predetermined information processing using a result of measuring a distance to an object in a captured image by utilizing parallax between a plurality of captured images obtained by capturing images by each of the plurality of imaging devices, and a display control step in which a display control unit causes the display unit to display an image corresponding to the information processing performed by the information processing step.

また、本発明の一態様は、防爆めがねと、前記防爆めがねをユーザが装着した状態において、ユーザに向けて画像を表示するように前記防爆めがねに設けられる表示部と、互いに所定の距離を隔ててヘルメットに設けられ、ユーザが前記ヘルメットを装着した状態において、それぞれが前記ヘルメットの外部の所定の方向を撮像するように設けられる複数の撮像装置と、前記複数の撮像装置のそれぞれにより撮像して得られた複数の撮像画像間の視差を利用して撮像画像における対象物までの距離を計測した結果を利用した所定の情報処理に応じた画像を前記表示部に表示させる表示制御部とを備えるヘルメットである。Another aspect of the present invention is a helmet that includes explosion-proof glasses, a display unit provided on the explosion-proof glasses to display an image to a user when the user wears the explosion-proof glasses, a plurality of imaging devices provided on a helmet at a predetermined distance from each other and each of which is arranged to capture an image of a predetermined direction outside the helmet when the user wears the helmet, and a display control unit that causes the display unit to display an image according to a predetermined information processing that uses the results of measuring the distance to an object in the captured image by using the parallax between a plurality of captured images obtained by each of the plurality of imaging devices.

また、本発明の一態様は、防爆めがねと、前記防爆めがねをユーザが装着した状態において、ユーザに向けて画像を表示するように前記防爆めがねに設けられる表示部と、互いに所定の距離を隔ててヘルメットに設けられ、ユーザが前記ヘルメットを装着した状態において、それぞれが前記ヘルメットの外部の所定の方向を撮像するように設けられる複数の撮像装置とを備えるヘルメットにおけるコンピュータを、前記複数の撮像装置のそれぞれにより撮像して得られた複数の撮像画像間の視差を利用して撮像画像における対象物までの距離を計測した結果を利用した所定の情報処理に応じた画像を前記表示部に表示させる表示制御部として機能させるためのプログラムである。Another aspect of the present invention is a program for causing a computer in a helmet, which includes explosion-proof glasses, a display unit provided on the explosion-proof glasses to display an image to a user when the user wears the explosion-proof glasses, and a plurality of imaging devices provided on the helmet at a predetermined distance from each other, each of which is provided to capture an image of a predetermined direction outside the helmet when the user wears the helmet, to function as a display control unit that causes the display unit to display an image corresponding to a predetermined information processing that uses the results of measuring the distance to an object in the captured image by utilizing the parallax between a plurality of captured images obtained by each of the plurality of imaging devices.

以上説明したように、本発明によれば、装着者であるユーザに向けて画像が表示されるヘルメットの活用により、ユーザの利便性が向上されるようになるという効果が得られる。As described above, the present invention has the effect of improving user convenience by utilizing a helmet that displays images toward the wearer.

本実施形態に係るヘルメットの外観例を示す図である。1 is a diagram showing an example of the appearance of a helmet according to an embodiment of the present invention;本実施形態に係るヘルメットの構成例を示す図である。1 is a diagram showing an example of the configuration of a helmet according to an embodiment of the present invention;

以下、本実施形態のヘルメットについて説明する。本実施形態のヘルメットは、例えば工事現場にて作業者が装着するものである場合を例に挙げる。
図１及び図２を参照して、本実施形態のヘルメット１の構成例について説明する。図１は、本実施形態のヘルメット１の外観例を示している。同図においては、ヘルメット１を作業者Ｗ（ユーザの一例）が装着している状態が示されている。図２は、ヘルメット１の機能構成例を示している。 The helmet of the present embodiment will be described below. The helmet of the present embodiment is, for example, worn by a worker at a construction site.
An example of the configuration of ahelmet 1 according to this embodiment will be described with reference to Fig. 1 and Fig. 2. Fig. 1 shows an example of the appearance of thehelmet 1 according to this embodiment. In the figure, a state in which thehelmet 1 is worn by a worker W (an example of a user) is shown. Fig. 2 shows an example of the functional configuration of thehelmet 1.

図１に示されるように、本実施形態のヘルメット１は、本体部１１と庇１２とを備えた外形を有する。
図２に示されるように、本実施形態のヘルメット１は、ヘッドライト２０、防爆めがね３０、カメラ４０（４０－Ｌ、４０－Ｒ）、骨伝導ヘッドセット５０、バッテリ６０、電源回路６５、制御部１００、通信部１１０、及び記憶部１２０を備える。 As shown in FIG. 1 , ahelmet 1 of this embodiment has an outer shape including amain body portion 11 and avisor 12 .
As shown in FIG. 2, thehelmet 1 of this embodiment includes aheadlight 20, explosion-proof goggles 30, a camera 40 (40-L, 40-R), abone conduction headset 50, abattery 60, apower supply circuit 65, acontrol unit 100, acommunication unit 110, and amemory unit 120.

ヘッドライト２０は、図１に示されるように、作業者Ｗにより装着された状態において、作業者Ｗの前方を照明するように設けられる。As shown in FIG. 1, theheadlight 20 is arranged to illuminate the area ahead of the worker W when theheadlight 20 is worn by the worker W.

防爆めがね３０は、図１に示されるように、左右のそれぞれにおいてテンプル３１の端部側が、ヘルメット１に設けられたホルダ１３と連結されている。ホルダ１３は、連結されたテンプル３１を保持する部位が回転可能とされている。これにより、作業者Ｗは、防爆めがね３０を、同図のように作業者Ｗの目を覆うようにされた状態と、同図の状態から上に引き上げるようにしてヘルメット１の内側に収納させた状態との間で変化させることができる。As shown in FIG. 1, the left and right ends of thetemples 31 of the explosion-proof goggles 30 are connected toholders 13 provided on thehelmet 1. Theholders 13 are rotatable at the portions that hold the connectedtemples 31. This allows the worker W to change the state of the explosion-proof goggles 30 between covering the eyes of the worker W as shown in the figure, and storing them inside thehelmet 1 by pulling them up from the state shown in the figure.

防爆めがね３０は、図２に示されるように、表示部３５を備える。表示部３５は、自分の目を覆うように防爆めがね３０を装着している状態において、作業者Ｗに向けた画像を表示する。As shown in FIG. 2, the explosion-proof goggles 30 include adisplay unit 35. Thedisplay unit 35 displays an image directed at the worker W when the worker W is wearing the explosion-proof goggles 30 so that they cover his or her eyes.

表示部３５が対応する表示デバイスについては特に限定されるものではない。表示部３５が対応する表示デバイスは、例えば、レンズに画像を表示するものであってもよいし、網膜投影などによるものであってもよい。表示される画像は、平面的であってもよいし、作業者Ｗの視野において立体的に投影されるようなものであってもよい。There is no particular limitation on the display device that thedisplay unit 35 is compatible with. The display device that thedisplay unit 35 is compatible with may be, for example, one that displays an image on a lens, or one that uses retinal projection or the like. The displayed image may be planar, or may be one that is projected three-dimensionally in the field of view of the worker W.

このように表示部３５が備えられることで、作業者Ｗは、自分の目を覆うように防爆めがね３０を装着している状態において、防爆めがね３０のレンズ越しに周囲を観察できるとともに、表示された画像も観察することができる。By providing thedisplay unit 35 in this manner, the worker W can observe the surroundings and the displayed image through the lenses of the explosion-proof goggles 30 while wearing the explosion-proof goggles 30 to cover his or her eyes.

カメラ４０（４０－Ｌ、４０－Ｒ）は、図１に示されるように、互いに左右となる位置関係となるように設けられ、ヘルメット１を装着した作業者Ｗの視線に応じた前方を撮像するように設けられる。カメラ４０－Ｌは、防爆めがね３０のフレームの前方の左側に設けられ、カメラ４０－Ｒは、防爆めがね３０のフレームの前方の右側に設けられる。
このように設けられる２つのカメラ４０は、左右それぞれの視差を利用して、撮像画像における物体の距離を算出することのできるステレオカメラとして機能することができる。 1, the cameras 40 (40-L, 40-R) are provided in a mutually left-right positional relationship and are provided so as to capture an image of the front according to the line of sight of the worker W wearing thehelmet 1. The camera 40-L is provided on the front left side of the frame of the explosion-proof goggles 30, and the camera 40-R is provided on the front right side of the frame of the explosion-proof goggles 30.
The twocameras 40 thus provided can function as a stereo camera capable of calculating the distance to an object in a captured image by utilizing the parallax between the left and right cameras.

なお、図１では、カメラ４０が防爆めがね３０に取り付けられている例を示しているが、例えばヘルメット１の本体部１１の左右に対して、ヘルメット１を装着した作業者Ｗの視線に応じた前方を撮像するように設けられてもよい。In FIG. 1, an example is shown in which thecamera 40 is attached to the explosion-proof goggles 30, but thecamera 40 may be installed, for example, on the left or right side of themain body 11 of thehelmet 1 so as to capture an image of the front according to the line of sight of the worker W wearing thehelmet 1.

骨伝導ヘッドセット５０は、図１に示されるように、本体部５１に対して骨伝導イヤホン５２と骨伝導マイクロフォン５３が設けられたヘッドセットである。骨伝導ヘッドセット５０は、連結具５５によりヘルメット１に取り付けられている。
同図の骨伝導ヘッドセット５０は、作業者Ｗの耳に掛けられることで、骨伝導イヤホン５２が作業者Ｗのこめかみ部分に当接し、骨伝導マイクロフォン５３が作業者Ｗの頬に当接する状態となる。これにより、作業者Ｗは、骨伝導を介して骨伝導イヤホン５２からの音を聴くことができるとともに、自分が発した音声を骨伝導マイクロフォン５３により収音させることができる。
このように骨伝導を介して音声の聴き取りと発話音声の収音が行われることで、作業者Ｗは、例えば工事現場などの音の大きな環境であっても、明確に相手の音声を聞き、明確な自分の音声を相手に聞かせることができる。つまり、作業者Ｗは、骨伝導ヘッドセット５０を利用することで、周囲の騒音にかかわらず円滑に他者と会話を行うことができる。 1, thebone conduction headset 50 is a headset in which abone conduction earphone 52 and abone conduction microphone 53 are provided on amain body 51. Thebone conduction headset 50 is attached to thehelmet 1 by aconnector 55.
When thebone conduction headset 50 in the figure is hung on the ears of the worker W, thebone conduction earphones 52 come into contact with the temples of the worker W and thebone conduction microphone 53 comes into contact with the cheek of the worker W. This allows the worker W to hear sounds from thebone conduction earphones 52 via bone conduction, and also allows thebone conduction microphone 53 to pick up sounds that the worker W makes.
By hearing voices and collecting spoken voices through bone conduction in this way, the worker W can clearly hear the other person's voice and can clearly hear his own voice even in a loud environment such as a construction site. In other words, by using thebone conduction headset 50, the worker W can smoothly converse with others regardless of the surrounding noise.

また、作業者は、例えば制御部１００により実行されるアプリケーションを操作するにあたり、骨伝導マイクロフォン５３に対して命令となる言語を発話することで音声入力による操作を行うようにされてよい。In addition, when operating an application executed by thecontrol unit 100, the worker may perform operations by voice input by speaking a command language into thebone conduction microphone 53.

バッテリ６０は、ヘルメット１において電力供給を受けて動作するデバイスに供給する電力を蓄積する。バッテリ６０は、例えば一次電池であってもよいし、リチウムイオン電池等の二次電池が使用されてよい。また、バッテリ６０としての種別、形状等については特に限定されない。
バッテリ６０は、ヘルメット１における所定の位置に取り付けられるようにして設けられる。バッテリ６０は、ヘルメット１に対して着脱可能に取り付けられてよい。また、バッテリ６０が二次電池である場合、バッテリ６０はヘルメット１に取り付けられた状態のまま充電が可能なようにされてもよい。 Thebattery 60 stores power to be supplied to devices that operate on power in thehelmet 1. Thebattery 60 may be, for example, a primary battery, or a secondary battery such as a lithium ion battery. The type, shape, etc. of thebattery 60 are not particularly limited.
Thebattery 60 is provided so as to be attached to a predetermined position in thehelmet 1. Thebattery 60 may be detachably attached to thehelmet 1. Furthermore, if thebattery 60 is a secondary battery, thebattery 60 may be adapted to be capable of being charged while being attached to thehelmet 1.

電源回路６５は、バッテリ６０に蓄積された電力を入力し、入力した電力から生成した電源電圧を、ヘルメット１に備えられた各種のデバイスに出力する。本実施形態において、電源回路６５により電源電圧が供給されるデバイスには、ヘッドライト２０、表示部３５、カメラ４０、骨伝導ヘッドセット５０が含まれる。また、電源回路６５により電源電圧が供給されるデバイスは、制御部１００及び通信部１１０等としての機能を実現するコンピュータが含まれる。制御部１００及び通信部１１０等に対応するコンピュータも、ヘルメット１内部に収容されるようにして設けられる。
また、例えば電源回路６５は、外部から直流または交流の電力を入力してバッテリ６０に充電を行うことが可能とされてもよい。 Thepower supply circuit 65 inputs the power stored in thebattery 60, and outputs a power supply voltage generated from the input power to various devices provided in thehelmet 1. In this embodiment, the devices to which the power supply voltage is supplied by thepower supply circuit 65 include theheadlight 20, thedisplay unit 35, thecamera 40, and thebone conduction headset 50. The devices to which the power supply voltage is supplied by thepower supply circuit 65 also include a computer that realizes the functions of thecontrol unit 100, thecommunication unit 110, etc. The computer corresponding to thecontrol unit 100, thecommunication unit 110, etc. is also provided so as to be housed inside thehelmet 1.
Also, for example, thepower supply circuit 65 may be capable of inputting DC or AC power from an external source to charge thebattery 60 .

制御部１００は、ヘルメット１における各種制御を実行する。制御部１００は、ヘルメット１における各種デバイス（ヘッドライト２０、表示部３５、カメラ４０、骨伝導ヘッドセット５０等）を制御する。また、制御部１００は、通信部１１０の通信に関する制御を実行する。Thecontrol unit 100 executes various controls in thehelmet 1. Thecontrol unit 100 controls various devices in the helmet 1 (headlight 20,display unit 35,camera 40,bone conduction headset 50, etc.). Thecontrol unit 100 also executes control related to communication by thecommunication unit 110.

通信部１１０は、無線経由で外部と通信を行う。通信部１１０が対応する無線通信は、特に限定されないが、例えば無線ＬＡＮであってよい。また、通信部１１０は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）による近距離無線通信が可能とされてよい。
記憶部１２０は、制御部１００が利用する各種の情報を記憶する。 Thecommunication unit 110 communicates with the outside wirelessly. The wireless communication supported by thecommunication unit 110 is not particularly limited, and may be, for example, a wireless LAN. Thecommunication unit 110 may be capable of short-distance wireless communication using, for example, Bluetooth (registered trademark).
Thestorage unit 120 stores various types of information used by thecontrol unit 100 .

上記構成によるヘルメット１は、通信部１１０を介した無線通信により音声を送受信可能となる。これにより、作業者Ｗは、骨伝導ヘッドセット５０を用いて、他の作業者や本部の管理者等の他者と会話を行うことが可能になる。Thehelmet 1 configured as described above is capable of transmitting and receiving voice by wireless communication via thecommunication unit 110. This allows the worker W to use thebone conduction headset 50 to converse with other people, such as other workers or managers at headquarters.

また、上記構成によるヘルメット１は、制御部１００の制御により、スマートグラスとしての表示部３５を備える防爆メガネ３０にて画像を表示することができる。
例えば、制御部１００は、カメラ４０により撮像して得られた撮像画像について所定の解析、分析を行った結果を反映した情報を表示することができる。
また、制御部１００は、通信部１１０による通信により外部のサーバや端末の情報処理装置から取得した情報を表示することができる。 In addition, thehelmet 1 having the above configuration can display images on the explosion-proof glasses 30 equipped with adisplay unit 35 as smart glasses, under the control of thecontrol unit 100.
For example, thecontrol unit 100 can display information reflecting the results of a predetermined analysis of the captured image obtained by capturing an image with thecamera 40 .
Furthermore, thecontrol unit 100 can display information acquired from an external server or a terminal information processing device through communication by thecommunication unit 110 .

また、本実施形態のカメラ４０（４０－Ｌ、４０－Ｒ）は、ステレオカメラの撮像装置としての利用が可能である。そこで、例えば工事現場における所定の対象物をステレオカメラとしてのカメラ４０により撮像して得られた画像を利用して、対象物の位置を計測するシステムが構築されてよい。このようなシステムは、例えば制御部１００が撮像画像を入力して計測を行うようにされることで、ヘルメット１で完結するように構成されてもよい。あるいは、ヘルメット１が撮像画像を外部装置に送信し、外部装置にて対象物の位置等の計測が行われるようにされてもよい。この場合の外部装置としては、例えば作業者Ｗ等が所持する外部の携帯端末（例えばスマートフォン、タブレット端末等）、事務所等に設置されたコンピュータ等の端末、あるいはサーバ等を挙げることができる。
また、上記のシステムのそれぞれにおいて、対象物の計測結果が反映された画像が防爆めがね３０の表示部３５により作業者Ｗ向けに表示されるようにしてよい。 In addition, the camera 40 (40-L, 40-R) of this embodiment can be used as a stereo camera imaging device. Therefore, for example, a system may be constructed that measures the position of a specific object at a construction site by using an image obtained by imaging a specific object with thecamera 40 as a stereo camera. Such a system may be configured to be completed in thehelmet 1, for example, by having thecontrol unit 100 input the captured image and perform measurement. Alternatively, thehelmet 1 may transmit the captured image to an external device, and the external device may measure the position of the object. In this case, the external device may be, for example, an external mobile terminal (for example, a smartphone, a tablet terminal, etc.) held by the worker W, a terminal such as a computer installed in an office, or a server.
In addition, in each of the above systems, an image reflecting the measurement results of the object may be displayed to the worker W on thedisplay unit 35 of the explosion-proof goggles 30.

具体的には、例えば鉄筋コンクリート構造物を建設する工事現場においては、コンクリートの打設前に鉄筋が配列される。配筋検査は、コンクリートの打設によって配列後の鉄筋がコンクリート内部に埋没する前に、鉄筋が正しく配列されていることを確認及び証明するために行われる検査である。配筋検査では、例えば配列された鉄筋の位置、径、ピッチ、及び本数等が検査される。Specifically, for example, at a construction site where a reinforced concrete structure is being constructed, rebars are arranged before the concrete is poured. Rebar arrangement inspection is an inspection carried out to confirm and prove that the rebars are arranged correctly before the arranged rebars are embedded in the concrete by pouring the concrete. In a rebar arrangement inspection, for example, the position, diameter, pitch, number, etc. of the arranged rebars are inspected.

本実施形態のヘルメット１は、配筋検査に対応する処理を行うことが可能なように構成される。本実施形態の制御部１００は、配筋検査に対応する機能部として、情報処理部１０１と表示制御部１０２とを備える。情報処理部１０１は、配筋検査に対応する情報処理（配筋検査処理）を実行する。表示制御部１０２は、情報処理部１０１による配筋検査処理に対応する画像を表示部３５に表示させる。Thehelmet 1 of this embodiment is configured to be capable of performing processing corresponding to reinforcement inspection. Thecontrol unit 100 of this embodiment includes aninformation processing unit 101 and adisplay control unit 102 as functional units corresponding to reinforcement inspection. Theinformation processing unit 101 executes information processing (reinforcement inspection processing) corresponding to the reinforcement inspection. Thedisplay control unit 102 causes thedisplay unit 35 to display an image corresponding to the reinforcement inspection processing by theinformation processing unit 101.

本実施形態の配筋検査の作業の流れと、作業の流れに応じた配筋検査処理の一例について説明する。以降の説明において、工事現場にて配列された鉄筋について配列鉄筋とも記載する場合がある。
ヘルメット１を装着した作業者Ｗは、配列鉄筋のうちで検査対象とする範囲の配列鉄筋に対応して定めた検査位置にて立ち、検査対象の範囲の配列鉄筋がカメラ４０により撮像されるようにする。この際、カメラ４０により撮像して得られている撮像画像は、表示制御部１０２によりスルー画像として表示部３５にて表示される。これにより、作業者Ｗは、表示されたスルー画像を見ながら、検査対象の配列鉄筋の範囲が適切にカメラ４０の撮像範囲に収まるようにヘルメット１を向ける方向等を調整できる。 The following describes a workflow of a bar arrangement inspection according to the present embodiment, and an example of a bar arrangement inspection process according to the workflow. In the following description, reinforcing bars arranged at a construction site may also be referred to as "arranged reinforcing bars."
The worker W wearing thehelmet 1 stands at an inspection position determined in accordance with the range of the arranged rebars to be inspected among the arranged rebars, so that the arranged rebars in the range to be inspected are imaged by thecamera 40. At this time, the image captured by thecamera 40 is displayed on thedisplay unit 35 as a through image by thedisplay control unit 102. This allows the worker W to adjust the direction of thehelmet 1, etc., while looking at the displayed through image so that the range of the arranged rebars to be inspected is appropriately within the imaging range of thecamera 40.

作業者Ｗは、検査対象の配列鉄筋の範囲をカメラ４０の撮像範囲に収めた状態で、配筋検査用の画像の撮影を指示する操作（撮影指示操作）を行う。撮影指示操作は、ヘルメット１における所定位置に設けられた撮影指示操作のための操作子に対する操作であってもよいし、骨伝導マイクロフォン５３を用いた音声入力による操作であってもよい。
情報処理部１０１は、撮影指示操作が行われたタイミングでカメラ４０により撮像して得られていた撮像画像を検査用画像として取得する。情報処理部１０１が取得した検査用画像は、２つのカメラ４０－Ｌ、４０－Ｒのそれぞれにより撮像して得られた２つの撮像画像である。 The worker W performs an operation to instruct thecamera 40 to take an image for the reinforcing bar inspection (photographing instruction operation) with the range of the reinforcing bars to be inspected included in the imaging range of thecamera 40. The photographing instruction operation may be an operation on an operator for photographing instruction operation provided at a predetermined position on thehelmet 1, or may be an operation by voice input using thebone conduction microphone 53.
Theinformation processing unit 101 acquires, as an inspection image, the captured image obtained by thecamera 40 at the time when the shooting instruction operation was performed. The inspection images acquired by theinformation processing unit 101 are two captured images obtained by capturing images using the two cameras 40-L and 40-R, respectively.

情報処理部１０１は、取得した２つの検査用画像の視差を利用して、検査用画像内の配列鉄筋を対象として距離を測定する。
情報処理部１０１は、測定された配列鉄筋の距離と、作業者Ｗが撮像のために立っている位置とに基づいて、配列鉄筋の位置、配列鉄筋の径、配列鉄筋間のピッチ（間隔）、配列鉄筋の本数等の配筋状態を特定する。
また、情報処理部１０１は、特定された配筋状態が、設計に従って適正なものであるか否かの判定（配筋評価）を行う。この際、情報処理部１０１は、記憶部１２０が記憶する配筋設計データが示す配筋の設計内容と特定された配筋状態とを比較することで配筋評価を行ってよい。また、配筋評価として、特定された配筋状態において適正でないことが判定された場合には、情報処理部１０１は、配筋状態において適正でない箇所（即ち、適正でないとの配筋評価となった理由）を特定する。 Theinformation processing unit 101 utilizes the parallax between the two acquired inspection images to measure the distance to the arranged reinforcing bars in the inspection images.
Theinformation processing unit 101 determines the reinforcement state, such as the position of the arranged rebars, the diameter of the arranged rebars, the pitch (spacing) between the arranged rebars, the number of arranged rebars, etc., based on the measured distance between the arranged rebars and the position where the worker W is standing to take the image.
Theinformation processing unit 101 also judges whether the identified reinforcement state is appropriate according to the design (reinforcement evaluation). At this time, theinformation processing unit 101 may perform the reinforcement evaluation by comparing the reinforcement design contents indicated by the reinforcement design data stored in thestorage unit 120 with the identified reinforcement state. If the reinforcement evaluation judges that the identified reinforcement state is inappropriate, theinformation processing unit 101 identifies the inappropriate parts of the reinforcement state (i.e., the reason why the reinforcement evaluation is inappropriate).

情報処理部１０１は、配筋状態の特定結果が反映された画像（配筋検査画像）を生成する。表示制御部１０２は、情報処理部１０１が生成した配筋検査画像を表示部３５にて表示させる。
作業者Ｗは、表示部３５に表示された配筋検査画像を見ることで、例えば特定された配筋状態としての内容を確認することができる。また、作業者Ｗは、配筋検査画像を見ることで、配列鉄筋が適正であるか否かを確認することができる。また、配筋検査画像を見ることで、作業者Ｗは、配列鉄筋が適正でない場合には、配列鉄筋において適正でない箇所がどこであるのかを確認できる。 Theinformation processing unit 101 generates an image (reinforcement inspection image) reflecting the specified result of the reinforcement state. Thedisplay control unit 102 causes thedisplay unit 35 to display the reinforcement inspection image generated by theinformation processing unit 101.
The worker W can check, for example, the specified reinforcement state by looking at the reinforcement inspection image displayed on thedisplay unit 35. Also, the worker W can check whether the arranged reinforcing bars are appropriate or not by looking at the reinforcement inspection image. Also, by looking at the reinforcement inspection image, the worker W can check which part of the arranged reinforcing bars is not appropriate if the arranged reinforcing bars are not appropriate.

なお、例えば、作業者Ｗが検査対象の配列鉄筋の範囲をカメラ４０の撮像範囲に収めようとしている状態において、情報処理部１０１は、撮像画像から手前側（カメラ４０側）の鉄筋の奥側にて遮蔽された鉄筋の検出（被遮蔽鉄筋検出）を行ってよい。
このため、情報処理部１０１は、カメラ４０により撮像して得られている撮像画像を、被遮蔽鉄筋検出に利用する画像として取得する。情報処理部１０１は、取得した撮像画像を利用して、手前の鉄筋により遮蔽されている奥側の鉄筋（被遮蔽鉄筋）を検出する。例えば、情報処理部１０１は、奥側の鉄筋のうちで、一方の撮像画像においては存在しないが、他方の撮像画像においては存在する奥側の鉄筋を被遮蔽鉄筋として検出するようにされてよい。
情報処理部１０１は、被遮蔽鉄筋を検出した場合、当該被遮蔽鉄筋が検出されたことを作業者Ｗに向けて報知する画像（被遮蔽鉄筋報知画像）を表示部３５に表示させる。被遮蔽鉄筋報知画像は、図示は省略するが、被遮蔽鉄筋が検出されたことを作業者Ｗに向けて報知するとともに、検出された被遮蔽鉄筋の位置を示すようにされた画像とされてよい。
被遮蔽鉄筋報知画像を見た作業者Ｗは、例えば、カメラ４０の撮像方向を変えてみたり、自分が立っている位置を若干ずらしてみるなどして、被遮蔽鉄筋が遮蔽されずに撮像されるように調節することができる。 For example, when worker W is trying to fit the range of the arranged rebars to be inspected within the imaging range ofcamera 40, theinformation processing unit 101 may detect rebars that are obstructed at the rear side of the rebars on the near side (camera 40 side) of the captured image (detection of obstructed rebars).
For this reason, theinformation processing unit 101 acquires the captured image obtained by thecamera 40 as an image to be used for detecting the shielded rebar. Theinformation processing unit 101 detects the rear rebar (shielded rebar) that is shielded by the front rebar using the acquired captured image. For example, theinformation processing unit 101 may detect, among the rear rebars, a rear rebar that is not present in one captured image but is present in the other captured image as the shielded rebar.
When theinformation processing unit 101 detects a shielded rebar, it causes thedisplay unit 35 to display an image (shielded rebar notification image) that notifies the worker W that the shielded rebar has been detected. Although not shown in the figure, the shielded rebar notification image may be an image that notifies the worker W that a shielded rebar has been detected and indicates the position of the detected shielded rebar.
A worker W who sees the shielded rebar warning image can adjust it so that the shielded rebar is imaged without being shielded, for example, by changing the imaging direction of thecamera 40 or slightly shifting his or her standing position.

また、情報処理部１０１は、配筋評価の結果が反映されたデータ（例えば、ファイル形式であってよい）を記憶部１２０に記憶させてよい。あるいは、情報処理部１０１は、配筋評価の結果が反映されたデータを、通信部１１０から外部の端末や外部のサーバに送信してよい。Theinformation processing unit 101 may store data reflecting the results of the reinforcement evaluation (which may be in a file format, for example) in thememory unit 120. Alternatively, theinformation processing unit 101 may transmit the data reflecting the results of the reinforcement evaluation from thecommunication unit 110 to an external terminal or an external server.

上記構成による本実施形態のヘルメット１によれば、作業者Ｗは、ヘルメット１を装着すれば、例えば配筋検査のアプリケーションが実装されたタブレット端末やスマートフォン等の携帯端末を使用することなく、配筋検査を行える。つまり、作業者Ｗの工事現場における作業のもとでの利便性が向上される。With thehelmet 1 of this embodiment configured as described above, the worker W can perform a reinforcement inspection by simply wearing thehelmet 1, without using a mobile terminal such as a tablet terminal or smartphone equipped with a reinforcement inspection application. In other words, the convenience of the worker W during work at the construction site is improved.

なお、情報処理部１０１は、ヘルメット１の外部のサーバや外部の情報処理端末等の情報処理装置が備えられてよい。この場合、ヘルメット１は例えばシンクライアント端末として機能する。つまり、この場合のヘルメット１の制御部１００は、カメラ４０により撮像して得られた撮像画像を、通信部１１０から外部の情報処理装置に送信する。情報処理装置は配筋検査処理を実行し、実行した配筋検査処理結果の情報を、ヘルメット１に送信する。ヘルメット１の表示制御部１０２は、受信した配筋検査処理結果の情報を表示部３５に表示させる。また、本実施形態のヘルメット１は配筋検査だけでなく、撮像画像を用いた他の検査に用いることもできる。例えば、検査者が遠隔で工事現場の鉄筋以外の対象物の施工状況を確認する際の遠隔立会を行うために使用すること等、対象物の状態の検査を行うことも可能である。Theinformation processing unit 101 may be equipped with an information processing device such as a server or an external information processing terminal outside thehelmet 1. In this case, thehelmet 1 functions as, for example, a thin client terminal. That is, thecontrol unit 100 of thehelmet 1 in this case transmits the captured image obtained by capturing an image with thecamera 40 from thecommunication unit 110 to the external information processing device. The information processing device executes the reinforcement inspection process and transmits information on the results of the executed reinforcement inspection process to thehelmet 1. Thedisplay control unit 102 of thehelmet 1 displays the received information on the results of the reinforcement inspection process on thedisplay unit 35. In addition, thehelmet 1 of this embodiment can be used not only for reinforcement inspection but also for other inspections using captured images. For example, it can be used to inspect the condition of objects, such as for remote attendance when an inspector remotely checks the construction status of objects other than reinforcing bars at a construction site.

なお、本実施形態のヘルメット１は、工事現場で作業者Ｗが使用するものに限定されない。例えば、本実施形態のヘルメット１は、高所等で点検、整備等を行う作業者が使用してもよいし、防災用等として使用されてもよい。
また、ヘルメット１の用途に応じて、情報処理部１０１が実行する処理と、表示制御部１０２が表示部３５に表示させる画像は適宜変更されてよい。例えば、ヘルメット１が防災用に利用される場合、情報処理部１０１は、例えば通信部１１０によりネットワーク上の災害情報を提供するサーバ等から受信した災害情報を取得し、表示制御部１０２が取得された災害情報を表示部３５に表示させてよい。また、この場合の情報処理部１０１は、カメラ４０により撮像して得られた画像を解析して危険な場所を検出し、表示制御部１０２は、ヘルメット１を装着しているユーザに向けた警告のための表示が表示部３５にて行われるようにされてよい。 Thehelmet 1 of the present embodiment is not limited to being used by a worker W at a construction site. For example, thehelmet 1 of the present embodiment may be used by a worker who performs inspection, maintenance, etc. at high places, or may be used for disaster prevention, etc.
Furthermore, the process executed by theinformation processing unit 101 and the image that thedisplay control unit 102 displays on thedisplay unit 35 may be appropriately changed depending on the application of thehelmet 1. For example, when thehelmet 1 is used for disaster prevention, theinformation processing unit 101 may acquire disaster information received from a server or the like that provides disaster information on a network via thecommunication unit 110, and thedisplay control unit 102 may display the acquired disaster information on thedisplay unit 35. Furthermore, in this case, theinformation processing unit 101 may analyze an image captured by thecamera 40 to detect a dangerous place, and thedisplay control unit 102 may display a warning to a user wearing thehelmet 1 on thedisplay unit 35.

なお、上述の制御部１００等としての機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の制御部１００等としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。A program for realizing the functions of the above-mentionedcontrol unit 100, etc. may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read into a computer system and executed to perform the processing of the above-mentionedcontrol unit 100, etc. Here, "reading a program recorded on a recording medium into a computer system and executing it" includes installing the program into a computer system. The "computer system" here includes hardware such as an OS and peripheral devices. The "computer system" may also include multiple computer devices connected via a network including a communication line. The recording medium also includes a recording medium provided internally or externally that can be accessed from a distribution server in order to distribute the program.

１ ヘルメット、２０ ヘッドライト、３０ 防爆メガネ、３５ 表示部、４０（４０－Ｌ、４０－Ｒ） カメラ、５０ 骨伝導ヘッドセット、５２ 骨伝導イヤホン、５３ 骨伝導マイクロフォン、６０ バッテリ、６５ 電源回路、１００ 制御部、１０１ 情報処理部、１０２ 表示制御部、１１０ 通信部、１２０ 記憶部1 Helmet, 20 Headlight, 30 Explosion-proof goggles, 35 Display unit, 40 (40-L, 40-R) Camera, 50 Bone conduction headset, 52 Bone conduction earphone, 53 Bone conduction microphone, 60 Battery, 65 Power supply circuit, 100 Control unit, 101 Information processing unit, 102 Display control unit, 110 Communication unit, 120 Memory unit

Claims (7)

Translated fromJapanese

ヘルメットに備えられる防爆めがねと、
前記防爆めがねをユーザが装着した状態において、ユーザに向けて画像を表示するように前記防爆めがねに設けられる表示部と、
互いに所定の距離を隔ててヘルメットに設けられ、ユーザが前記ヘルメットを装着した状態において、それぞれが前記ヘルメットの外部の所定の方向を撮像するように設けられる複数の撮像装置と、
前記複数の撮像装置のそれぞれにより撮像して得られた複数の撮像画像間の視差を利用して撮像画像における対象物までの距離を計測した結果を利用した所定の情報処理を行う情報処理部と、
前記情報処理部による情報処理に応じた画像を前記表示部に表示させる表示制御部とを備え、
前記情報処理部は、建設現場において配列される鉄筋を対象物として計測した距離に基づいて配筋検査としての情報処理を実行し、
前記表示制御部は、配筋検査の結果が反映された配筋検査画像を前記表示部に表示させる
ヘルメット対応表示システム。 Explosion-proof goggles that can be attached to the helmet,
A display unit provided on the explosion-proof glasses to display an image toward a user when the user wears the explosion-proof glasses;
A plurality of imaging devices are provided on the helmet at a predetermined distance from each other, and each imaging device is provided so as to capture an image of a predetermined direction outside the helmet when the user wears the helmet;
an information processing unit that performs predetermined information processing using a result of measuring a distance to an object in a captured image by utilizing a parallax between a plurality of captured images obtained by capturing images by each of the plurality of imaging devices;
a display control unit that causes an image corresponding to the information processing by the information processing unit to be displayed on the display unit,
The information processing unit executes information processing as a reinforcing bar arrangement inspection based on a distance measured using reinforcing bars arranged at a construction site as an object,
The display control unit causes the display unit to display a reinforcement inspection image reflecting a result of the reinforcement inspection.
Helmet compatible display system.前記情報処理部は、前記配筋検査に用いる撮像画像の取得にあたり、前記複数の撮像画像のそれぞれを参照することにより、手前側の鉄筋により遮蔽されている奥側の被遮蔽鉄筋を検出し、The information processing unit, when acquiring the captured images used in the reinforcement inspection, detects a rear-side shielded reinforcing bar that is shielded by a front-side reinforcing bar by referring to each of the plurality of captured images,
前記表示制御部は、前記被遮蔽鉄筋が検出されたことを報知する被遮蔽鉄筋報知画像を前記表示部に表示させるThe display control unit causes a shielded reinforcing bar notification image, which notifies the user that the shielded reinforcing bar has been detected, to be displayed on the display unit.
請求項１に記載のヘルメット対応表示システム。2. The helmet compatible display system of claim 1. 前記情報処理部は、ヘルメットにおいて備えられる
請求項１または２に記載のヘルメット対応表示システム。 The helmet-compatible display system according to claim 1or 2 , wherein the information processing unit is provided in a helmet. 前記情報処理部は、ヘルメットの外部の情報処理装置において備えられる
請求項１または２に記載のヘルメット対応表示システム。 The helmet-compatible display system according to claim 1or 2 , wherein the information processing unit is provided in an information processing device outside the helmet. 前記複数の撮像装置は、前記防爆めがねに設けられる
請求項１から４のいずれか一項に記載のヘルメット対応表示システム。 The helmet-compatible display system according to claim1 , wherein the plurality of imaging devices are provided in the explosion-proof goggles. 防爆めがねと、
前記防爆めがねをユーザが装着した状態において、ユーザに向けて画像を表示するように前記防爆めがねに設けられる表示部と、
互いに所定の距離を隔ててヘルメットに設けられ、ユーザが前記ヘルメットを装着した状態において、それぞれが前記ヘルメットの外部の所定の方向を撮像するように設けられる複数の撮像装置とを備えるヘルメットに対応する表示システムの表示制御方法であって、
情報処理部が、前記複数の撮像装置のそれぞれにより撮像して得られた複数の撮像画像間の視差を利用して撮像画像における対象物までの距離を計測した結果を利用した所定の情報処理を行う情報処理ステップと、
表示制御部が、前記情報処理ステップによる情報処理に応じた画像を前記表示部に表示させる表示制御ステップとを含み、
前記情報処理ステップは、建設現場において配列される鉄筋を対象物として計測した距離に基づいて配筋検査としての情報処理を実行し、
前記表示制御ステップは、配筋検査の結果が反映された配筋検査画像を前記表示部に表示させる
表示制御方法。 Explosion-proof goggles,
A display unit provided on the explosion-proof glasses to display an image toward a user when the user wears the explosion-proof glasses;
A display control method for a display system corresponding to a helmet including a plurality of imaging devices provided on the helmet at a predetermined distance from each other, each imaging device being provided so as to capture an image of a predetermined direction outside the helmet when a user wears the helmet, comprising:
an information processing step in which an information processing unit performs a predetermined information processing using a result of measuring a distance to an object in a captured image by utilizing a parallax between a plurality of captured images obtained by capturing images by each of the plurality of imaging devices;
a display control step ofcausing a display control unit to display an image corresponding to the information processing performed by the information processing step on the display unit;
The information processing step performs information processing as a reinforcing bar arrangement inspection based on a distance measured using reinforcing bars arranged at a construction site as an object,
The display control step causes the display unit to display a reinforcement inspection image reflecting a result of the reinforcement inspection.
Display control method. 防爆めがねと、
前記防爆めがねをユーザが装着した状態において、ユーザに向けて画像を表示するように前記防爆めがねに設けられる表示部と、
互いに所定の距離を隔ててヘルメットに設けられ、ユーザが前記ヘルメットを装着した状態において、それぞれが前記ヘルメットの外部の所定の方向を撮像するように設けられる複数の撮像装置と、
前記複数の撮像装置のそれぞれにより撮像して得られた複数の撮像画像間の視差を利用して撮像画像における対象物までの距離を計測した結果を利用した所定の情報処理に応じた画像を前記表示部に表示させる表示制御部とを備え、
前記表示制御部は、建設現場において配列される鉄筋を対象物として計測した距離に基づいて配筋検査としての情報処理の結果が反映された配筋検査画像を前記表示部に表示させる
ヘルメット。 Explosion-proof goggles,
A display unit provided on the explosion-proof glasses to display an image toward a user when the user wears the explosion-proof glasses;
A plurality of imaging devices are provided on the helmet at a predetermined distance from each other, and each imaging device is provided so as to capture an image of a predetermined direction outside the helmet when the user wears the helmet;
a display control unit that causes the display unit to display an image corresponding to a predetermined information processing that uses a result of measuring a distance to an object in a captured image by using a parallax between a plurality of captured images obtained by capturing images by each of the plurality of imaging devices,
The display control unit causes the display unit to display a reinforcing bar inspection image reflecting a result of information processing as a reinforcing bar inspection based on a distance measured using reinforcing bars arranged at a construction site as an object.
helmet.

Images