JP2018171954A - Information projection system and information projection method - Google Patents

Abstract

Translated fromJapanese

【課題】視線をずらさずに投影された情報と外界とを視認できる情報投影システムを提供する。【解決手段】情報投影システム１００は、船舶の窓（スクリーン）６ａ〜６ｅへの情報投影システムであって、乗務員の位置を検知する第１センサ（カメラ）３ａ〜３ｃと、第１センサが検知した乗務員の位置に基づいて、乗務員の職務に必要な情報を表示させる窓における表示位置を特定する表示位置特定部と、表示位置に情報を表示する情報投影部と、を備える。【選択図】図１PROBLEM TO BE SOLVED: To provide an information projection system capable of visually recognizing projected information and the outside world without shifting the line of sight. An information projection system 100 is an information projection system for windows (screens) 6a to 6e of a ship, and is detected by first sensors (cameras) 3a to 3c for detecting the positions of crew members and first sensors. It is provided with a display position specifying unit that specifies a display position in a window for displaying information necessary for the crew's duties based on the position of the crew member, and an information projection unit that displays information at the display position. [Selection diagram] Fig. 1

Description

Translated fromJapanese

本発明は、情報投影システム及び情報投影方法に関する。  The present invention relates to an information projection system and an information projection method.

船舶の船橋には、操舵装置、出力調整装置、航海情報表示装置、無線通信装置、各種の計器類など、船舶の操縦に必要な装置が多数設置されている。乗務員は、これら多数の装置を監視、操作しながら船舶の操縦を行う。また、航行時の視認性の観点から、船橋には、窓ガラスが多数装備されており、乗務員の視野を確保するため、窓ガラスの周辺には装置を配置することが制限される。  A large number of devices necessary for maneuvering a ship, such as a steering device, an output adjusting device, a navigation information display device, a wireless communication device, and various instruments, are installed on the bridge of the ship. The crew operates the ship while monitoring and operating these numerous devices. Also, from the viewpoint of visibility during navigation, the bridge is equipped with a large number of window glasses, and in order to ensure the crew's field of view, the placement of devices around the window glass is restricted.

なお、特許文献１には、ユーザの眼の位置に合わせて表示位置を自動的に調節することができるＨＵＤ（ヘッドアップディスプレイ）が開示されている。  Patent Document 1 discloses a HUD (head-up display) that can automatically adjust the display position according to the position of the user's eyes.

特開２０１５−２２５１１９号公報JP2015-225119A

ところで、船橋の乗務員は、操船に必要とされる情報が表示されるモニタ、計器盤類などの位置に移動して、航行情報や自船のステータスを確認する必要があり、その間、周囲の外界視察作業を一旦中断する必要がある。このため、港湾や水道通過時など周囲を航行する船舶の多い状況では、乗務員を増員して外界の視察や情報収集と、操船作業を同時に実施する必要がある。このような理由により、船舶の操縦が自動化されていても、実際には省人化することができず、コストダウンの妨げとなっている。  By the way, the crew members of the bridge need to check the navigation information and the status of their own ship by moving to the monitor, instrument panel, etc. where the information necessary for maneuvering is displayed. The inspection work needs to be temporarily interrupted. For this reason, in situations where there are many vessels navigating around, such as when passing through harbors and waterworks, it is necessary to increase the number of crew members and conduct inspections of the outside world, information collection, and maneuvering operations at the same time. For these reasons, even if the maneuvering of the ship is automated, it is not possible to actually save labor, which hinders cost reduction.

そこでこの発明は、上述の課題を解決することのできる情報投影システム及び情報投影方法を提供することを目的としている。  Therefore, an object of the present invention is to provide an information projection system and an information projection method that can solve the above-described problems.

本発明の第１の態様は、投影された情報と前記情報の投影面の反対側とが視認可能な船舶の窓へ、情報を投影する情報投影システムであって、乗務員の位置を検知する第１センサと、前記第１センサが検知した前記乗務員の位置に基づいて、前記乗務員の職務に必要な情報を表示させる前記窓における表示位置を特定する表示位置特定部と、前記表示位置に前記情報を表示する情報投影部と、を備える情報投影システムである。  According to a first aspect of the present invention, there is provided an information projection system for projecting information onto a ship window in which projected information and the opposite side of the projection plane of the information are visible, and detecting the position of a crew member. 1 sensor, a display position specifying unit for specifying a display position in the window for displaying information necessary for the duties of the crew based on the position of the crew detected by the first sensor, and the information on the display position An information projection system comprising: an information projection unit that displays

本発明の第２の態様における前記情報投影システムは、前記乗務員の体の一部の向きを検知する第２センサ、をさらに備え、前記表示位置特定部は、前記第２センサが検知した前記乗務員の体の一部の向きに正対する位置に設置された前記窓の少なくとも一部を前記表示位置として特定する。  The information projection system according to a second aspect of the present invention further includes a second sensor that detects a direction of a part of the crew member's body, and the display position specifying unit is the crew member detected by the second sensor. At least a part of the window installed at a position facing the direction of a part of the body is specified as the display position.

本発明の第３の態様における前記情報投影システムは、予め定められた前記乗務員の職務に基づいて、前記乗務員の職務に必要な情報を選択する表示情報選択部、をさらに備える。  The information projection system according to the third aspect of the present invention further includes a display information selection unit that selects information necessary for the duties of the crew based on the duties of the crew defined in advance.

本発明の第４の態様における前記情報投影システムは、前記船舶に備えられた機器および第３センサから、船舶の運転状態を示す情報や船舶内外の環境情報を取得するデータ取得部、をさらに備え、前記表示情報選択部は、前記データ取得部が取得した情報の中から前記乗務員の職務に必要な情報を選択する。  The information projection system according to a fourth aspect of the present invention further includes a data acquisition unit that acquires information indicating the operating state of the ship and environmental information inside and outside the ship from the equipment and the third sensor provided in the ship. The display information selection unit selects information necessary for the duties of the crew from the information acquired by the data acquisition unit.

本発明の第５の態様における前記情報投影システムは、前記乗務員が、前記情報投影部が表示する情報を指定する指定操作を入力する携帯端末装置、をさらに備え、前記表示情報選択部は、前記乗務員の指定操作に基づいて、前記乗務員の職務に必要な情報の中から、さらに前記乗務員が指定した情報を選択する。  The information projection system according to a fifth aspect of the present invention further includes a portable terminal device in which the crew member inputs a designation operation for designating information displayed by the information projection unit, and the display information selection unit includes the display information selection unit, Based on the crew member's designation operation, the information designated by the crew is further selected from the information necessary for the duties of the crew.

本発明の第６の態様における前記情報投影システムは、前記乗務員が入力する音声情報を認識する音声認識部、をさらに備え、前記表示情報選択部は、前記音声認識部の認識結果に基づいて、前記乗務員の職務に必要な情報を選択する。  The information projection system according to a sixth aspect of the present invention further includes a voice recognition unit that recognizes voice information input by the crew, and the display information selection unit is based on a recognition result of the voice recognition unit, Information necessary for the duties of the crew is selected.

本発明の第７の態様は、投影された情報と前記情報の投影面の反対側とが視認可能な船舶の窓へ、情報を投影する情報投影システムが、第１センサが検知した乗務員の位置を取得するステップと、前記第１センサが検知した前記乗務員の位置に基づいて、前記乗務員の職務に必要な情報を表示させる前記窓における表示位置を特定するステップと、前記表示位置に前記情報を表示するステップと、を有する情報投影方法である。  According to a seventh aspect of the present invention, there is provided an information projection system for projecting information onto a ship window in which the projected information and the opposite side of the projection plane of the information are visible, and the position of the crew detected by the first sensor. Obtaining a display position on the window for displaying information necessary for the duties of the crew based on the position of the crew detected by the first sensor, and adding the information to the display position. And a step of displaying.

本発明によれば、船橋窓からの外部監視と、船内機器監視を、視線をずらすことなく同時に行うことができる。また、船橋内での立ち位置を気にすることなく、正対した状態での情報表示にて、容易に情報を確認することができる。  According to the present invention, it is possible to simultaneously perform external monitoring from a bridge window and in-board equipment monitoring without shifting the line of sight. Moreover, information can be easily confirmed by displaying information in a face-to-face state without worrying about the standing position in the bridge.

本発明の情報投影システムの一例を示すブロック図である。It is a block diagram which shows an example of the information projection system of this invention.本発明の情報投影システムの適用例を説明する図である。It is a figure explaining the example of application of the information projection system of this invention.本発明の情報投影システムの制御装置の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of the control apparatus of the information projection system of this invention.本発明の情報投影システムの制御装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the control apparatus of the information projection system of this invention.本発明の情報投影システムの構成例を説明する図である。It is a figure explaining the structural example of the information projection system of this invention.本発明の情報投影システムの処理の一例を示すフローチャートである。It is a flowchart which shows an example of a process of the information projection system of this invention.

＜実施形態＞
以下、本発明の一実施形態による情報投影システムを図１〜図６を参照して説明する。
図１は、本発明の情報投影システムの一例を示すブロック図である。
情報投影システム１００は、例えば、船舶の操縦を行ううえで乗務員が必要とする情報を船橋の窓に投影し表示する目的で使用される。
以下、情報投影システム１００が船橋に設置された場合を例に説明を行う。
図１に示すように情報投影システム１００は、カメラ３ａ，３ｂ，３ｃ、携帯端末装置４ａ，４ｂ、プロジェクター５ａ，５ｂ，５ｃ，５ｄ，５ｅ、スクリーン６ａ，６ｂ，６ｃ，６ｄ，６ｅ、制御装置１０を含んで構成される。また、制御装置１０は、機器１ａ，１ｂ、センサ２ａ，２ｂと接続され、これら、機器１ａ、センサ２ａなどから船舶の運転状態を示す情報や船舶内の環境、船舶が通過する環境の情報を取得する。以下、機器１ａ〜１ｂを総称して機器１、センサ２ａ〜２ｂを総称してセンサ２、カメラ３ａ〜３ｃを総称してカメラ３、携帯端末装置４ａ，４ｂを総称して携帯端末装置４、プロジェクター５ａ〜５ｅ総称してプロジェクター５、スクリーン６ａ〜６ｅ総称してスクリーン６と記載する。また、図１は、情報投影システム１００の基本的な構成を模式的に示したものであって、機器１、センサ２、カメラ３、携帯端末装置４、プロジェクター５、スクリーン６の数は図示したものに限定されない。<Embodiment>
Hereinafter, an information projection system according to an embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is a block diagram showing an example of an information projection system of the present invention.
Theinformation projection system 100 is used, for example, for the purpose of projecting and displaying information necessary for the crew members on the window of the bridge when maneuvering the ship.
Hereinafter, the case where theinformation projection system 100 is installed on the bridge will be described as an example.
As shown in FIG. 1, theinformation projection system 100 includescameras 3a, 3b, 3c, portableterminal devices 4a, 4b,projectors 5a, 5b, 5c, 5d, 5e,screens 6a, 6b, 6c, 6d, 6e, and a control device. 10 is comprised. Further, thecontrol device 10 is connected to thedevices 1a and 1b and thesensors 2a and 2b, and from thesedevices 1a and 2a, the information indicating the operating state of the ship, the environment in the ship, and the information on the environment through which the ship passes is provided. get. Hereinafter, thedevices 1a to 1b are collectively referred to as the device 1, thesensors 2a to 2b are collectively referred to as the sensor 2, thecameras 3a to 3c are collectively referred to as thecamera 3, and themobile terminal devices 4a and 4b are collectively referred to as the mobile terminal device 4. Theprojectors 5a to 5e are collectively referred to as theprojector 5, and thescreens 6a to 6e are collectively referred to as thescreen 6. FIG. 1 schematically shows a basic configuration of theinformation projection system 100, and the numbers of the device 1, the sensor 2, thecamera 3, the portable terminal device 4, theprojector 5, and thescreen 6 are illustrated. It is not limited to things.

機器１は、操舵装置、出力調整装置、航海情報表示装置、無線通信装置などである。機器１は、例えば、船舶の速力、進行する方位、エンジンの回転数など船舶の運転状態を示す情報を制御装置１０に出力する。
センサ２は、温度計、風速計、レーダなど、船舶に設けられたセンサである。センサ２は、計測した船舶内外の情報（例えば、船舶内の設備の周囲の温度等の環境情報や船舶が通過する海域の風速等の環境情報）を制御装置１０に出力する。
これら機器１やセンサ２が出力する情報は、船橋の監視モニタ等に出力される情報であって、船舶の操縦に必要な情報である。
カメラ３は、例えば、船橋の天井や壁に設けられ、船橋に存在する乗務員を撮像する。カメラ３が撮像した画像は、乗務員の存在する位置の特定や、その乗務員がどのような職務に就いているかを識別する目的で用いられる。
携帯端末装置４は、乗務員が情報投影システム１００の操作を行う時に用いる操作用の携帯端末装置である。乗務員は、その職務に応じて船橋内の様々な位置に移動しながら、計器類やモニタなどを参照しながら、各々の職務を遂行する。従って、乗務員が操作に用いる操作端末は持ち運び可能な携帯端末装置であることが好ましい。例えば、携帯端末装置４は、制御装置１０に指示情報を送信することのできるリモートコントローラである。また、例えば、携帯端末装置４は、腕時計型等のウェアラブル端末装置であってもよい。
プロジェクター５は、制御装置１０が生成する画像をスクリーン６に投影する。制御装置１０が生成する画像には、船橋に設置された計器類が示す値や監視モニタに表示する情報が含まれる。
スクリーン６は、画像が投影された状態であっても投影された情報と情報の投影面の反対側（外界）とが共に視認可能な部材で構成されている。スクリーン６は、例えば、透明な受講膜（スクリーン）とガラスとを一体的に構成した部材であって、船橋の窓ガラスとして用いられている。図示するように、各スクリーン６ａ〜６ｅの各々に対して、プロジェクター５ａ〜５ｅが設置されていてもよいし、広範囲に画像を投影できる１〜２台のプロジェクター５（図示せず）によって、スクリーン６ａ〜６ｅの各々に画像を投影してもよい。乗務員は、窓（スクリーン６）から外界を視認しつつ、スクリーン６に投影された画像を見て、自身の職務に必要な情報を得ることができる。The device 1 is a steering device, an output adjustment device, a navigation information display device, a wireless communication device, or the like. For example, the device 1 outputs information indicating the operational state of the ship, such as the speed of the ship, the traveling direction, and the rotational speed of the engine, to thecontrol device 10.
The sensor 2 is a sensor provided on the ship, such as a thermometer, an anemometer, or a radar. The sensor 2 outputs the measured information inside and outside the ship (for example, environmental information such as the temperature around the equipment in the ship and environmental information such as the wind speed in the sea area through which the ship passes) to thecontrol device 10.
The information output by the device 1 and the sensor 2 is information that is output to a bridge monitoring monitor and the like, and is information that is necessary for maneuvering the ship.
Thecamera 3 is provided, for example, on the ceiling or wall of the bridge, and images crew members present on the bridge. The image captured by thecamera 3 is used for the purpose of identifying the position where the crew member is present and identifying what kind of job the crew member is performing.
The mobile terminal device 4 is an operation mobile terminal device used when a crew member operates theinformation projection system 100. The crew members perform their duties while referring to instruments and monitors while moving to various positions in the bridge according to their duties. Therefore, it is preferable that the operation terminal used by the crew for operation is a portable terminal device that can be carried. For example, the mobile terminal device 4 is a remote controller that can transmit instruction information to thecontrol device 10. For example, the portable terminal device 4 may be a wearable terminal device such as a wristwatch.
Theprojector 5 projects an image generated by thecontrol device 10 onto thescreen 6. The image generated by thecontrol device 10 includes values indicated by instruments installed on the bridge and information displayed on the monitoring monitor.
Thescreen 6 is formed of a member that allows both the projected information and the opposite side (outside) of the information projection surface to be visible even when an image is projected. Thescreen 6 is, for example, a member in which a transparent attending film (screen) and glass are integrally formed, and is used as a window glass of a bridge. As shown in the figure,projectors 5a to 5e may be installed for each of thescreens 6a to 6e, and the screens are displayed by one or two projectors 5 (not shown) capable of projecting an image over a wide range. An image may be projected on each of 6a to 6e. The crew can see the image projected on thescreen 6 while visually recognizing the outside from the window (screen 6), and can obtain information necessary for his / her duties.

図２は、本発明の情報投影システムの適用例を説明する図である。
図２（ａ）に船舶２０と船橋の位置２１を示す。図２（ｂ）に船橋を上方から見たときの窓位置を示す。図２（ａ）に示すように、船橋は視野を確保するために船舶２０の高所に設けられる。また、図２（ｂ）に示すように船橋には、例えば１８０°の視野を確保するために広範囲にわたって窓が設けられ、船舶２０の進行方向（前方）および左右の外界の様子を確認できるようになっている。船橋には複数の乗務員３０ａ〜３０ｃが存在している。これら、乗務員３０ａ〜３０ｃを総称して乗務員３０と記載する。複数の乗務員３０ａ等の各々には、個別の役割が与えられている。例えば、乗務員３０ａは、船舶２０の操舵を行う。また、例えば、乗務員３０ｂは、主機（エンジン）の状態を監視し制御する。また、例えば、乗務員３０ｃは、他の船や陸上との通信を担当する。ここで、操舵を行う乗務員３０ａは、船舶２０の速力、進行方位、エンジンの回転数などを確認しながら、舵を左右に切ったり船舶２０を真直ぐ前に進めたりして操縦を行う。また。エンジンを担当する乗務員３０ｂは、エンジンの回転数、動力機（モータ）の回転数、エンジンの温度、燃料の残量などを確認しながらエンジンの状態を監視する。また。通信士の乗務員３０ｃは、無線通信の通信状態等を確認しながら他の船舶との交信を行う。このように、乗務員３０ａ〜３０ｃは、異なる業務に就いているため、各々が必要とする情報は異なる。制御装置１０は、各乗務員が必要とする情報のみを選択して、スクリーン６に投影する画像を生成する。FIG. 2 is a diagram for explaining an application example of the information projection system of the present invention.
FIG. 2A shows theposition 20 of theship 20 and the bridge. FIG. 2B shows the window position when the bridge is viewed from above. As shown in FIG. 2A, the bridge is provided at a high place of theship 20 in order to secure a field of view. Further, as shown in FIG. 2B, the bridge is provided with a wide range of windows in order to ensure a 180 ° field of view, for example, so that the traveling direction (front) of theship 20 and the states of the left and right external worlds can be confirmed. It has become. There are a plurality ofcrew members 30a to 30c on the bridge. Thecrew members 30a to 30c are collectively referred to as thecrew member 30. Each of the plurality ofcrew members 30a and the like is given an individual role. For example, thecrew member 30 a steers theship 20. For example, thecrew member 30b monitors and controls the state of the main engine (engine). For example, thecrew member 30c is in charge of communication with other ships and the land. Here, thecrew member 30a that performs the steering maneuvers by turning the rudder to the left or right or moving theship 20 straight forward while confirming the speed, traveling direction, engine speed, and the like of theship 20. Also. Thecrew member 30b in charge of the engine monitors the state of the engine while confirming the engine speed, the speed of the motor (motor), the engine temperature, the remaining amount of fuel, and the like. Also. Thecommunicator crew member 30c communicates with other ships while confirming the wireless communication state. In this manner, since thecrew members 30a to 30c are in different jobs, the information required by each of them is different. Thecontrol device 10 selects only information required by each crew member and generates an image to be projected on thescreen 6.

また、各乗務員は、自らに課せられた職務を遂行するうえで、船橋内の複数の位置に移動して、例えば各位置に設置された操縦装置の操作を行う。これに対し、制御装置１０は、各乗務員が位置する場所に応じて、スクリーン６ａ〜６ｅのうち、その乗務員が視認しやすい窓（スクリーン６）を選択して、選択した窓に向かって画像を投影するよう制御する。さらに、例えば、進行方向の右側で監視すべき事象が生じていれば、外界の監視を担当する乗務員は、右側に顔や体を向けて、スクリーン６ｅを通じて外界を監視する。制御装置１０は、各乗務員の顔や体の向きが示す方向に位置するスクリーン６（窓）に向かって画像を投影するよう制御する。  In addition, each crew member moves to a plurality of positions in the bridge and performs operation of a control device installed at each position, for example, in performing duties assigned to the crew. On the other hand, thecontrol device 10 selects a window (screen 6) that is easily visible to the crew among thescreens 6a to 6e according to the location where each crew is located, and displays an image toward the selected window. Control to project. Further, for example, if an event to be monitored occurs on the right side in the traveling direction, the crew member in charge of monitoring the outside world faces the body on the right side and the body and monitors the outside world through thescreen 6e. Thecontrol device 10 controls to project an image toward the screen 6 (window) located in the direction indicated by the direction of the face or body of each crew member.

例えば、図２において実線矢印の方向が各乗務員３０の顔の向きを示しているとすると、制御装置１０は、乗務員３０ａが必要とする速力、進行方位、エンジン回転数等の情報を含んだ画像を生成し、プロジェクター５にその画像をスクリーン６ａへと投影させる。また、制御装置１０は、乗務員３０ｂが必要とするエンジンの回転数、エンジンの温度等の情報を含んだ画像を生成し、プロジェクター５にその画像をスクリーン６ｃへと投影させる。また、制御装置１０は、乗務員３０ｃが必要とする無線通信などの通信状況や、他の船舶との通信状況等の情報を含んだ画像を生成し、プロジェクター５にその画像をスクリーン６ｄへと投影させる。  For example, if the direction of the solid arrow in FIG. 2 indicates the direction of the face of eachcrew member 30, thecontrol device 10 is an image including information such as speed, traveling direction, and engine speed required for thecrew member 30a. And theprojector 5 projects the image onto thescreen 6a. Further, thecontrol device 10 generates an image including information such as the engine speed and the engine temperature required by thecrew member 30b, and causes theprojector 5 to project the image onto thescreen 6c. In addition, thecontrol device 10 generates an image including information such as a communication state such as wireless communication required by thecrew member 30c and a communication state with other ships, and projects the image onto thescreen 6d on theprojector 5. Let

また、例えば、乗務員３０ｃが、破線矢印で示す方向に顔や体を向けたとする。すると、制御装置１０は、乗務員３０ｃへ提供する情報を含んだ画像の投影位置をスクリーン６ｄからスクリーン６ｃの右寄りの位置に切り替える制御を行う。例えば、図１に示すようにスクリーン６ｃへ投影する画像をプロジェクター５ｃが投影する場合、制御装置１０は、スクリーン６ｃへ投影する画像を生成し、プロジェクター５ｃへ出力するが、この例の場合、制御装置１０は、例えば、投影する画像の左側の領域に乗務員３０ｂへ提供する情報を配置し、投影する画像の右側の領域に乗務員３０ｃへ提供する情報を配置した１枚の画像を生成し、プロジェクター５ｃへ出力する。また、乗務員３０ｃとスクリーン６ｃとの位置関係をみると、乗務員３０ｃはスクリーン６ｃに投影された画像を斜め方向から見ることになる。このような場合、制御装置１０は、乗務員３０ｃへ提供する情報を含む画像部分について、いわゆる台形補正を行った画像を生成してもよい。つまり、制御装置１０は、スクリーン６ｃに正対する位置に存在する乗務員３０ｂへ提供する情報を長方形や正方形の領域中に配置した画像を生成する一方で、乗務員３０ｃへ提供する情報については、乗務員３０ｃから見て手前側の辺を短くし、遠い側の辺を長くした台形領域内に配置する画像を生成する。このようにすることで、乗務員３０ｃ等の存在する位置や顔の向きに依らず、視認しやすい形態で画像の投影を行うことができる。  Further, for example, it is assumed that thecrew member 30c turns its face or body in the direction indicated by the dashed arrow. Then, thecontrol device 10 performs control to switch the projection position of the image including information to be provided to thecrew member 30c from thescreen 6d to a position on the right side of thescreen 6c. For example, when theprojector 5c projects an image to be projected onto thescreen 6c as shown in FIG. 1, thecontrol device 10 generates an image to be projected onto thescreen 6c and outputs the image to theprojector 5c. Thedevice 10 generates, for example, a single image in which information to be provided to thecrew 30b is arranged in the left area of the image to be projected, and information to be provided to thecrew 30c is arranged in the right area of the image to be projected. Output to 5c. Further, when looking at the positional relationship between thecrew member 30c and thescreen 6c, thecrew member 30c sees the image projected on thescreen 6c from an oblique direction. In such a case, thecontrol device 10 may generate an image obtained by performing so-called trapezoidal correction on an image portion including information to be provided to thecrew member 30c. In other words, thecontrol device 10 generates an image in which information to be provided to thecrew member 30b existing at a position facing thescreen 6c is arranged in a rectangular or square area, while the information to be provided to thecrew member 30c is An image is generated that is arranged in a trapezoidal region in which the side on the near side is shortened and the side on the far side is lengthened. By doing so, it is possible to project an image in a form that is easy to visually recognize, regardless of the position of thecrew member 30c or the like and the orientation of the face.

情報投影システム１００によれば、乗務員は、船橋内のどの位置で職務を実施しているときでも、常に自分が把握しなければならない情報をスクリーン６で確認しながら、その情報が表示された窓越しに外界の様子を監視することができる。これによって、監視モニタと操縦装置との間を行き来したり、外界監視と操縦とを並行して行わなければならない状況に備えて乗務員を増員したりといった無駄を省くことができ、少数の乗務員３０ａ等で効率よく船舶の操縦を行うことができる。また、複数の乗務員３０が船橋内に存在する場合でも、それぞれの乗務員３０の位置に応じて、異なる表示位置に情報を表示することができる。  According to theinformation projection system 100, a crew member can check the information that he must always grasp on thescreen 6 at any position in the bridge, while displaying the information displayed on thescreen 6. The state of the outside world can be monitored through. As a result, it is possible to eliminate waste such as going back and forth between the monitoring monitor and the control device, or increasing the number of crew members in preparation for the situation where the outside world monitoring and the steering operations must be performed in parallel, and a small number ofcrew members 30a. The ship can be efficiently maneuvered. Moreover, even when a plurality ofcrew members 30 are present in the bridge, information can be displayed at different display positions according to the positions of thecrew members 30.

次に制御装置１０の機能について詳しく説明する。
図３は、本発明の情報投影システムの制御装置の一例を示す機能ブロック図である。
図示するように制御装置１０は、乗務員検知データ取得部１０１と、乗務員情報解析部１０２と、表示位置特定部１０３と、船舶運航データ取得部１０４と、表示情報選択部１０５と、画像生成部１０６と、出力部１０７と、指示情報受付部１０８と、音声認識部１０９と、記憶部１１０と、を備える。
乗務員検知データ取得部１０１は、カメラ３が撮像した画像と、当該画像を撮像したカメラの識別情報とを取得する。なお、記憶部１１０には、カメラの識別情報とカメラの設置位置が対応付けて記録されている。Next, functions of thecontrol device 10 will be described in detail.
FIG. 3 is a functional block diagram showing an example of the control device of the information projection system of the present invention.
As shown in the figure, thecontrol device 10 includes a crew member detectiondata acquisition unit 101, a crew memberinformation analysis unit 102, a displayposition specification unit 103, a ship operationdata acquisition unit 104, a displayinformation selection unit 105, and animage generation unit 106. Anoutput unit 107, an instructioninformation receiving unit 108, avoice recognition unit 109, and astorage unit 110.
The crew member detectiondata acquisition unit 101 acquires an image captured by thecamera 3 and identification information of the camera that captured the image. Thestorage unit 110 records camera identification information and camera installation positions in association with each other.

乗務員情報解析部１０２は、カメラ３が撮像した画像を画像解析することにより、画像に写った乗務員の識別、存在位置の算出を行う。乗務員情報解析部１０２は、例えば、画像解析により顔認識を行ったり、乗務員が身に着けている腕章、バッジ、帽子、服などに基づく乗務員個人の識別を行う。記憶部１１０には、各乗務員３０とその乗務員の職務、職務が対応付けられて記録されており、乗務員情報解析部１０２は、この記録と画像解析の結果によって乗務員の職務を認識する。また、乗務員情報解析部１０２は、記憶部１１０に記録されたカメラの設置位置に基づくカメラ３が撮像できる船橋の範囲と、カメラ３が撮像した画像における乗務員の座標情報に基づいて、撮像された乗務員が船橋内のどこに存在するのかを算出する。乗務員情報解析部１０２は、画像に写った乗務員の識別情報と算出した乗務員の位置情報を表示位置特定部１０３へ出力する。また、乗務員情報解析部１０２は、画像に写った乗務員の識別情報とその乗務員の職務とを表示情報選択部１０５へ出力する。  The crewinformation analysis unit 102 performs image analysis on the image captured by thecamera 3 to identify the crew in the image and calculate the location. The crewinformation analysis unit 102 performs face recognition by, for example, image analysis, and identifies crew members based on armbands, badges, hats, clothes, and the like worn by the crew. Thestorage unit 110 records eachcrew member 30 and the duties and duties of the crew member in association with each other, and the crew memberinformation analysis unit 102 recognizes the duty of the crew member based on the result of the recording and the image analysis. The crew memberinformation analysis unit 102 is captured based on the range of the bridge that can be captured by thecamera 3 based on the camera installation position recorded in thestorage unit 110 and the coordinate information of the crew member in the image captured by thecamera 3. Calculate where the crew is in the bridge. The crew memberinformation analysis unit 102 outputs the crew member identification information shown in the image and the calculated crew member position information to the displayposition specifying unit 103. The crew memberinformation analysis unit 102 outputs the crew member identification information and the duties of the crew member shown in the image to the displayinformation selection unit 105.

表示位置特定部１０３は、カメラ３が撮像した画像に基づく乗務員の位置情報に基づいて、船橋に設けられた複数の窓におけるその乗務員へ提供する情報の表示位置を特定する。表示位置とは、例えば、図２の例では、スクリーン６ａ〜スクリーン６ｅのうちどのスクリーン６へ画像を投影するのかを指定する情報である。または、例えばスクリーン６ｃ内のどの領域に画像を投影するのかを指定する情報である。  The displayposition specifying unit 103 specifies the display position of information to be provided to the crew in a plurality of windows provided on the bridge based on the crew position information based on the image captured by thecamera 3. For example, in the example of FIG. 2, the display position is information that specifies whichscreen 6 among thescreens 6 a to 6 e is to be projected. Alternatively, for example, information for designating which region in thescreen 6c the image is to be projected on.

船舶運航データ取得部１０４は、機器１やセンサ２から種々の情報を取得する。
表示情報選択部１０５は、乗務員情報解析部１０２が認識した乗務員の職務に基づいて、船舶運航データ取得部１０４が取得した情報の中から、乗務員の職務に必要な情報を選択する。なお、記憶部１１０には、職務とその職務に必要な情報の種類が対応付けて記録されている。表示情報選択部１０５は、この記録に基づいて情報の選択を行う。The ship operationdata acquisition unit 104 acquires various information from the device 1 and the sensor 2.
The displayinformation selection unit 105 selects information necessary for the duties of the crew from the information obtained by the ship operationdata obtaining unit 104 based on the duties of the crew recognized by the crewinformation analysis unit 102. Thestorage unit 110 records duties and types of information necessary for the duties in association with each other. The displayinformation selection unit 105 selects information based on this record.

画像生成部１０６は、表示情報選択部１０５が選択した情報を含んだ画像を生成する。例えば、乗務員の職務が船舶の操舵であれば、画像生成部１０６が生成した画像には、船舶運航データ取得部１０４が取得した船舶２０の速力、進行方位などに関する船舶運航データ取得部１０４が取得した最新の情報が含まれている。なお、画像生成部１０６は、１つの画像に複数の乗務員に提供する情報が含まれている場合、各乗務員に提供する情報を表示位置特定部１０３が特定した表示位置に配置した画像を生成する。  Theimage generation unit 106 generates an image including the information selected by the displayinformation selection unit 105. For example, if the duty of the crew is ship steering, the ship operationdata acquisition unit 104 regarding the speed, traveling direction, etc. of theship 20 acquired by the ship operationdata acquisition unit 104 is acquired in the image generated by theimage generation unit 106. The latest information was included. In addition, when the information provided to a plurality of crew members is included in one image, theimage generation unit 106 generates an image in which the information provided to each crew member is arranged at the display position specified by the displayposition specifying unit 103. .

出力部１０７は、画像生成部１０６をプロジェクター５へ出力する。なお、図１で例示したようにプロジェクター５が複数台ある場合、出力部１０７は、表示位置特定部１０３が特定した表示位置に対応するスクリーン６へ画像の投影を行うプロジェクター５を選択して画像の出力を行う。  Theoutput unit 107 outputs theimage generation unit 106 to theprojector 5. As illustrated in FIG. 1, when there are a plurality ofprojectors 5, theoutput unit 107 selects theprojector 5 that projects an image on thescreen 6 corresponding to the display position specified by the displayposition specifying unit 103. Is output.

指示情報受付部１０８は、乗務員による携帯端末装置４を用いた入力した操作に対応する信号を受け付ける。例えば、携帯端末装置４には画像の表示、非表示を切り替えるスイッチが設けられており、乗務員３０がこのスイッチを操作すると、携帯端末装置４は画像の表示または非表示を指示する信号を送信し、指示情報受付部１０８がこの信号を取得する。あるいは、携帯端末装置４には画像に表示される情報の切り替えを指示するボタンが設けられており、乗務員３０がこのボタンを押下すると、携帯端末装置４は情報の切り替えを指示する信号を送信し、指示情報受付部１０８がこの信号を取得する。情報の切り替えとは、例えば、「ボタンＡ」に対して「速力」、「ボタンＢ」に対して「進行方位」、「ボタンＣ」に対して「エンジンの回転数」が割り当てられていて、乗務員３０ａが「ボタンＡ」を押下すると投影される情報の内容が船舶２０の速力に切り替わり、乗務員３０ａが「ボタンＢ」を押下すると投影される情報の内容が船舶２０の進行方位に切り替わることをいう。これにより乗務員３０は、必要のないときには情報を非表示とし、情報表示を指せる場合でも、必要な情報だけを表示させることができる。  The instructioninformation receiving unit 108 receives a signal corresponding to an input operation using the mobile terminal device 4 by a crew member. For example, the portable terminal device 4 is provided with a switch for switching between display and non-display of an image, and when thecrew member 30 operates this switch, the mobile terminal device 4 transmits a signal instructing display or non-display of the image. The instructioninformation receiving unit 108 acquires this signal. Alternatively, the portable terminal device 4 is provided with a button for instructing switching of information displayed in the image, and when thecrew member 30 presses this button, the portable terminal device 4 transmits a signal for instructing switching of information. The instructioninformation receiving unit 108 acquires this signal. For example, “speed” is assigned to “button A”, “traveling direction” is assigned to “button B”, and “engine speed” is assigned to “button C”. When thecrew member 30a presses the “button A”, the content of the projected information is switched to the speed of theship 20, and when thecrew member 30a presses the “button B”, the projected information content is switched to the traveling direction of theship 20. Say. Thereby, thecrew member 30 can display only necessary information even when the information is not displayed and the information can be displayed when it is not necessary.

音声認識部１０９は、乗務員が入力した音声情報を取得し、取得したその音声情報に対して音声認識処理を行う。音声認識部１０９は、音声認識処理を行った結果得られる指示情報を例えば、指示情報受付部１０８に出力する。また、音声認識部１０９は、乗務員が入力した音声情報を取得し、音声認識処理を行って必要とされる乗務員間での音声通信を確立する機能を有する。
記憶部１１０は、情報投影処理に必要な種々の情報を記憶する。Thevoice recognition unit 109 acquires voice information input by the crew and performs voice recognition processing on the acquired voice information. Thevoice recognition unit 109 outputs instruction information obtained as a result of performing the voice recognition processing to, for example, the instructioninformation reception unit 108. Further, thevoice recognition unit 109 has a function of acquiring voice information input by a crew member and performing voice recognition processing to establish voice communication between crew members required.
Thestorage unit 110 stores various information necessary for information projection processing.

図４は、本発明の情報投影システムの制御装置のハードウェア構成の一例を示す図である。
コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、入出力インタフェース９０４、通信インタフェース９０５を備える。
上述の制御装置１０は、コンピュータ９００に実装される。そして、上述した各機能部（記憶部１１０を除く）は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、記憶部１１０に対応する記憶領域を主記憶装置９０２に確保する。また、ＣＰＵ９０１は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置９０３に確保する。また、コンピュータ９００は、ＰＣ（personal computer）やサーバ端末装置である。少なくとも１つの実施形態において、補助記憶装置９０３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、入出力インタフェース９０４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行しても良い。FIG. 4 is a diagram illustrating an example of a hardware configuration of the control device of the information projection system of the present invention.
Thecomputer 900 includes aCPU 901, amain storage device 902, anauxiliary storage device 903, an input /output interface 904, and acommunication interface 905.
Thecontrol device 10 described above is mounted on acomputer 900. Each functional unit described above (excluding the storage unit 110) is stored in theauxiliary storage device 903 in the form of a program. TheCPU 901 reads a program from theauxiliary storage device 903, develops it in themain storage device 902, and executes the above processing according to the program. In addition, theCPU 901 ensures a storage area corresponding to thestorage unit 110 in themain storage device 902 according to the program. In addition, theCPU 901 ensures a storage area for storing data being processed in theauxiliary storage device 903 according to the program. Thecomputer 900 is a PC (personal computer) or a server terminal device. In at least one embodiment, theauxiliary storage device 903 is an example of a tangible medium that is not temporary. Other examples of the tangible medium that is not temporary include a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, and a semiconductor memory connected via the input /output interface 904. When this program is distributed to thecomputer 900 via a communication line, thecomputer 900 that has received the distribution may develop the program in themain storage device 902 and execute the above processing.

図５は、本発明の情報投影システムの構成例を説明する図である。
カメラ３は、例えば全周型のカメラである。カメラ３は、船橋内を撮像し、撮像した画像を制御装置１０へ送信する。制御装置１０では、乗務員検知データ取得部１０１がこの画像を取得し、乗務員情報解析部１０２が画像を解析して、画像内に乗務員３０が写っているかどうかを判定する。乗務員３０が写っている場合、乗務員情報解析部１０２は、画像内に写る乗務員３０の位置座標を算出し、船橋内の乗務員３０の位置を算出する。
制御装置１０の記憶部１１０には、乗務員３０のうち表示情報を出力する対象者であるか否かを示す情報が登録されている。また、記憶部１１０には、乗務員３０の顔画像や乗務員３０が身に着ける服、腕章、バッチ、ＩＣカード等に記録されたＩＤ番号などの特徴が登録されている。乗務員情報解析部１０２は、画像内に乗務員３０が写っている場合、この乗務員３０が表示情報を出力する対象者であれば、登録された顔画像や特徴に基づいて、乗務員３０を識別する。また、乗務員情報解析部１０２は、乗務員３０の顔の向きを画像解析により認識する。FIG. 5 is a diagram illustrating a configuration example of the information projection system of the present invention.
Thecamera 3 is an all-round camera, for example. Thecamera 3 images the inside of the bridge and transmits the captured image to thecontrol device 10. In thecontrol device 10, the crew member detectiondata acquisition unit 101 acquires this image, and the crew memberinformation analysis unit 102 analyzes the image to determine whether or not thecrew member 30 is included in the image. When thecrew member 30 is shown, the crew memberinformation analysis unit 102 calculates the position coordinates of thecrew member 30 shown in the image and calculates the position of thecrew member 30 in the bridge.
In thestorage unit 110 of thecontrol device 10, information indicating whether or not thecrew member 30 is a target person who outputs display information is registered. Further, thestorage unit 110 registers features such as the face image of thecrew member 30 and the ID numbers recorded on clothes, armbands, batches, IC cards, and the like worn by thecrew member 30. When thecrew member 30 is shown in the image, the crew memberinformation analysis unit 102 identifies thecrew member 30 based on the registered face image and features if thecrew member 30 is a target person who outputs display information. The crew memberinformation analysis unit 102 recognizes the face direction of thecrew member 30 by image analysis.

制御装置１０（船舶運航データ取得部１０４）は、船内ネットワークなどを経由し、所要の船内の各種機器情報及びセンサ２による計測情報を収集する。
記憶部１１０には、乗務員３０毎にその乗務員３０の職務が登録されている。また、記憶部１１０には、職務に対応付けてその職務を行ううえで必要な情報がどのような情報であるかが登録されている。表示情報選択部１０５は、乗務員３０の職務に基づき、収集した情報から必要な情報を選択する。The control device 10 (ship operation data acquisition unit 104) collects various pieces of equipment information on the required ship and measurement information by the sensor 2 via the ship network.
In thestorage unit 110, the duties of thecrew member 30 are registered for eachcrew member 30. Thestorage unit 110 registers information necessary for performing the job in association with the job. The displayinformation selection unit 105 selects necessary information from the collected information based on the duties of thecrew member 30.

制御装置１０（画像生成部１０６）は、船橋の窓との位置関係から、表示情報を出力する対象者の位置から見た際に、正対した画角で視認できるように適切な角度に傾斜させた画像を生成する。
制御装置１０（表示位置特定部１０３）は、乗務員３０の存在する位置と顔の向きに応じて、画像を投影する窓を特定する。例えば、例えば、表示位置特定部１０３は、顔の向きと正対する位置に存在する窓を画像の投影先として特定する。また、特定した窓において、その窓のどの領域に情報を表示すべきかを特定する。例えば、記憶部１１０には、乗務員３０の目の高さが登録されていて、その高さに合わせた領域を、情報を表示すべき領域として特定してもよい。また、情報の表示位置について、乗務員３０の好みに応じて任意に設定できるようにしてもよい。
一例として、船橋の窓（スクリーン６）は、窓ガラス６１、６３の間に受光膜６２を組み込んで構成されており、プロジェクター５などの投影装置などから投影された画像を表示する。窓の構成の他の例として、窓ガラスの表面に受光膜を貼りつけた構成であってもよい。The control device 10 (the image generation unit 106) is tilted at an appropriate angle so that it can be visually recognized at a right angle of view when viewed from the position of the person who outputs the display information based on the positional relationship with the window of the bridge. Generate the image.
The control device 10 (display position specifying unit 103) specifies a window for projecting an image according to the position where thecrew member 30 is present and the orientation of the face. For example, for example, the displayposition specifying unit 103 specifies a window that exists at a position facing the face direction as the projection destination of the image. In the specified window, it is specified in which area of the window information should be displayed. For example, the eye height of thecrew member 30 is registered in thestorage unit 110, and an area corresponding to the height may be specified as an area for displaying information. Further, the information display position may be arbitrarily set according to the preference of thecrew member 30.
As an example, the window (screen 6) of the bridge is configured by incorporating alight receiving film 62 between thewindow glasses 61 and 63, and displays an image projected from a projection device such as theprojector 5. As another example of the configuration of the window, a configuration in which a light receiving film is attached to the surface of the window glass may be used.

乗務員３０は、ヘッドフォンとマイクを内蔵したヘッドセット４１、腕時計型装置４２を装着している。これら、ヘッドセット４１、腕時計型装置４２は、携帯端末装置４の一例である。乗務員３０は、腕時計型装置４２に表示する情報を指定する指定操作を行って、船橋の窓に表示される情報の切り替えを指示する。あるいは、乗務員３０は、ヘッドセット４１を通して音声によって表示情報を指定する情報を制御装置１０へ入力して、船橋の窓に表示される情報の切り替えを指示してもよい。音声認識部１０９は、音声情報を取得して音声解析を行い、「速力」、「進行方位」、「エンジンの回転数」などの表示を切り替える指示情報を生成する。画像生成部１０６はこの指示情報に基づいてｈ投影する画像を生成する。また、制御装置１０は、船舶２０の操縦装置と接続されていて、乗務員３０が音声によって操作指示をヘッドセット４１に入力すると、音声認識部１０９によって認識された操作指示情報を船舶２０の操縦装置へ出力して操縦装置を制御し、音声によって船舶２０の操縦を行えるようにしてもよい。
また、ヘッドセット４１には無線通話機能（例えばインカム）を搭載されている。これにより、複数の乗務員３０の間での通話が可能である。無線通話機能を備えたヘッドセット４１等を装着することで、１対１、１対多の会話を行って、他の乗務員３０と通話品質が高い手段でコミュニケーションをとることができるので、外界からの騒音などによる口頭通話の阻害の可能性を低減することができる。なお、他の乗務員３０と会話を行う場合、会話の対象に対する呼びかけ（例えば相手の名前を言う）を行い、音声認識部１０９がこの呼びかけに基づいて、会話の相手を特定し、特定した相手との音声通話を確立し、その後、通話できるような制御を行ってもよい。Thecrew member 30 is equipped with aheadset 41 with a built-in headphone and a microphone, and awristwatch type device 42. Theseheadset 41 andwristwatch type device 42 are examples of the mobile terminal device 4. Thecrew member 30 performs a designation operation for designating information to be displayed on thewristwatch type device 42 and instructs switching of information displayed on the window of the bridge. Alternatively, thecrew member 30 may input information specifying display information by voice through theheadset 41 to thecontrol device 10 to instruct switching of information displayed on the window of the bridge. Thevoice recognition unit 109 acquires voice information, performs voice analysis, and generates instruction information for switching display such as “speed”, “traveling direction”, and “engine speed”. Theimage generation unit 106 generates an image for h projection based on the instruction information. In addition, thecontrol device 10 is connected to the steering device of theship 20, and when thecrew member 30 inputs an operation instruction by voice to theheadset 41, the operation instruction information recognized by thevoice recognition unit 109 is input to the steering device of theship 20. It is also possible to control the steering device by outputting the sound to theship 20 so that theship 20 can be controlled by voice.
Theheadset 41 is equipped with a wireless call function (for example, an intercom). Thereby, the telephone call between the somecrew members 30 is possible. By wearing aheadset 41 or the like equipped with a wireless call function, one-on-one and one-to-many conversations can be performed, and communication withother crew members 30 can be achieved by means of high call quality. It is possible to reduce the possibility of obstructing oral communication due to noises from the user. When a conversation with anothercrew member 30 is performed, a call is made to the conversation target (for example, the name of the other party), and thevoice recognition unit 109 identifies the conversation partner based on this call, The voice call may be established, and then control may be performed so that the call can be made.

図６は、本発明の情報投影システムの処理の一例を示すフローチャートである。
図６を用いて、情報投影処理の流れの一例について説明する。
まず、カメラ３が所定の継続的に船橋内を撮像する（ステップＳ１１）。乗務員検知データ取得部１０１は、カメラ３が撮像した画像を取得し、その画像を乗務員情報解析部１０２に出力する。次に乗務員情報解析部１０２は、カメラ３が撮像した画像を解析して、乗務員の位置、顔の向き、職務の情報を得る（ステップＳ１２）。
これらの処理と並行して、船舶運航データ取得部１０４は、例えば、所定の時間間隔で船舶２０内の機器１から設備の稼働状況や、センサ２が計測した計測情報を取得する（ステップＳ１３）。次に、表示情報選択部１０５が、乗務員情報解析部１０２が認識した乗務員３０の職務の情報に基づいて、船舶運航データ取得部１０４が取得した各種情報の中から乗務員３０の職務に必要な情報を選択する（ステップＳ１４）。また、表示位置特定部１０３が、乗務員情報解析部１０２が認識した乗務員３０の位置と顔の向きの情報に基づいて、乗務員３０が正対して見ることができる窓がどの窓であるか、さらにその窓のどの領域が情報を表示すべき領域であるかを特定する（ステップＳ１５）。次に画像生成部１０６が表示すべき情報（ステップＳ１４で選択された乗務員３０の職務に必要な情報）を含んだ画像を生成する。例えば、１つの画像に複数の乗務員３０に提供する情報が含まれている場合、画像生成部１０６は、１つの画像内の適切な表示位置（ステップＳ１５で特定した表示位置）に各々の乗務員３０向けに選択された情報を配置した画像を生成する。出力部１０７は、画像生成部１０６が生成した画像を、ステップＳ１５で特定した適切な表示位置を含む窓への画像の投影を担当するプロジェクター５へ出力する。プロジェクター５は、乗務員３０の職務に必要な情報を適切な表示位置へ投影する（ステップＳ１６）。次に指示情報受付部１０８が、乗務員３０による表示情報を指定する情報を入力すると、表示情報選択部１０５は、乗務員の職務に必要な情報の中から、さらに乗務員３０が指定した情報を選択する。画像生成部１０６は、乗務員３０が指定した情報を含んだ画像を生成する。プロジェクター５は、新たに生成された画像を投影し、表示内容を変更する（ステップＳ１７）。FIG. 6 is a flowchart showing an example of processing of the information projection system of the present invention.
An example of the flow of information projection processing will be described with reference to FIG.
First, thecamera 3 images the inside of the bridge continuously for a predetermined period (step S11). The crew member detectiondata acquisition unit 101 acquires an image captured by thecamera 3 and outputs the image to the crew memberinformation analysis unit 102. Next, the crew memberinformation analysis unit 102 analyzes the image captured by thecamera 3, and obtains crew member position, face direction, and job information (step S12).
In parallel with these processes, the ship operationdata acquisition unit 104 acquires, for example, the operation status of the equipment and the measurement information measured by the sensor 2 from the device 1 in theship 20 at predetermined time intervals (step S13). . Next, based on the information on the duties of thecrew member 30 recognized by the crewinformation analysis unit 102, the displayinformation selection unit 105 is information necessary for the duties of thecrew member 30 among the various information obtained by the ship operationdata obtaining unit 104. Is selected (step S14). Further, based on the information on the position and face orientation of thecrew member 30 recognized by the crew memberinformation analysis unit 102, the displayposition specifying unit 103 can determine which window thecrew member 30 can see directly. Which area of the window is the area where information is to be displayed (step S15). Next, theimage generation unit 106 generates an image including information to be displayed (information necessary for the duties of thecrew member 30 selected in step S14). For example, when information provided to a plurality ofcrew members 30 is included in one image, theimage generation unit 106 displays eachcrew member 30 at an appropriate display position (the display position specified in step S15) in one image. An image in which the selected information is arranged is generated. Theoutput unit 107 outputs the image generated by theimage generation unit 106 to theprojector 5 in charge of projecting the image onto the window including the appropriate display position specified in step S15. Theprojector 5 projects information necessary for the duties of thecrew member 30 to an appropriate display position (step S16). Next, when the instructioninformation receiving unit 108 inputs information specifying display information by thecrew member 30, the displayinformation selecting unit 105 further selects information designated by thecrew member 30 from information necessary for the duties of the crew member. . Theimage generation unit 106 generates an image including information specified by thecrew member 30. Theprojector 5 projects the newly generated image and changes the display content (step S17).

本実施形態によれば、船橋窓からの外部監視と、船内機器監視を、視線をずらすことなく同時に行うことができる。また、船橋内での立ち位置を気にすることなく、職務の実行に必要な情報を容易に確認することができる。また、携帯端末装置４（ウェアラブル装置を含む）を介して、窓に投影する情報の切り替え制御が可能である。これにより乗務員３０が扱う情報の輻輳を抑え、乗務員３０の負担を軽減することができる。  According to the present embodiment, external monitoring from the bridge window and in-board equipment monitoring can be performed simultaneously without shifting the line of sight. In addition, it is possible to easily confirm information necessary for the execution of duties without worrying about the standing position in the bridge. Further, switching control of information projected on the window is possible via the mobile terminal device 4 (including the wearable device). Thereby, congestion of information handled by thecrew 30 can be suppressed, and the burden on thecrew 30 can be reduced.

従来、船橋の環境には以下のような課題が存在する。
１．乗務員は、操船に必要とされる情報が表示されるモニタ、計器類などの設置場所に移動して航行情報や自船のステータスを確認する必要があり、動線／移動距離、装備位置や高さなど装備品の配置設計に対する制約が大きい。
２．情報収集中は、周囲の外界視察作業（水上線の見通し、自船周囲の監視）を一旦中断せざるを得ず、その時間は視線を外すため外界情報の確認が困難となり、港湾や水道通過時など周囲を航行する船舶の多い場合は乗務員を増員して外界情報収集と操船作業を同時に実施する必要がある。
３．近年の自動化された船舶においては、乗務員の人数を減らして運航することが可能となっている一方で、上記の理由により一定の人員が必要とされており、運航コストの厳しい競争にある運搬船等では省人化の妨げとなっている。
４．取得した情報の伝達（周辺監視、機器監視、操船情報など）においても、現状では乗務員が口頭での情報授受を行う事が多く、前述の操船、計器盤類読取、外界視察など、輻輳する状況と重なって誤った情報が伝わる可能性があり、乗務員は常に高いストレス環境に置かれる。
これに対し、本実施形態の情報投影システム１００によれば、モニタ、計器類に表示される情報が船橋の窓に表示されるので、上記の１．について、乗務員３０はモニタ等の位置に移動する必要がなく、また、乗務員３０の動線を配慮する必要が無い為、装備品の配置設計に対する制約が緩和される。また、乗務員３０が移動しても、常に最も近傍の窓ガラスに必要な情報が表示されるため、外界監視を行う視線を保ったままで操船が可能となる。また、上記の２．および３．について情報投影システム１００によれば、外界の監視と情報収集とを窓に視線を向けることで同時に行うことができるため、少人数の乗務員で船橋内の職務を実施することができる。また、上記の４．について、窓に情報を投影することで、船橋内の全ての乗務員が同じ情報を参照することができ、必要な場合、情報共有を行うことができる。その為、口頭による情報授受の負担を低減することができる。また、上述のように窓に視線を向けることで、周辺監視と機器監視を同時に行うことができるので、情報が輻輳する状況を緩和することができる。Conventionally, the following problems exist in the environment of Funabashi.
1. The crew must go to the place where the information necessary for maneuvering is displayed, such as monitors and instruments, and check the navigation information and the status of the ship. There are large restrictions on the layout design of equipment.
2. During the collection of information, it is necessary to temporarily suspend the inspection work of the surrounding environment (the prospect of the water line and the monitoring of the area around the ship). When there are many vessels navigating around, such as the time, it is necessary to increase the number of crew members and carry out external information collection and ship operation at the same time.
3. In recent years, automated vessels have been able to operate with a reduced number of crew, but for the reasons mentioned above, certain personnel are required, and transport vessels, etc. that are in competition with severe operational costs. Then, it is an obstacle to labor saving.
4). In the transmission of acquired information (periphery monitoring, equipment monitoring, ship maneuvering information, etc.), the current situation is that crews often exchange verbal information, and the situation is congested, such as ship maneuvering, instrument panel reading, and inspection of the outside world. There is a possibility that erroneous information will be transmitted, and the crew will always be placed in a high stress environment.
On the other hand, according to theinformation projection system 100 of the present embodiment, information displayed on the monitor and instruments is displayed on the window of the bridge. Therefore, thecrew member 30 does not need to move to a position such as a monitor, and it is not necessary to consider the flow line of thecrew member 30, so that the restrictions on the layout design of the equipment are eased. Further, even when thecrew member 30 moves, necessary information is always displayed on the nearest window glass, so that the ship can be operated while keeping the line of sight for monitoring the outside world. In addition, the above 2. And 3. According to theinformation projection system 100, since monitoring of the outside world and information collection can be performed simultaneously by directing a line of sight to the window, duties in the bridge can be performed by a small number of crew members. In addition, the above 4. By projecting information on the window, all crew members in the bridge can refer to the same information, and if necessary, information can be shared. Therefore, the burden of verbal information exchange can be reduced. Moreover, since the periphery monitoring and the device monitoring can be performed simultaneously by directing the line of sight toward the window as described above, the situation where information is congested can be alleviated.

その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。例えば、情報投影システム１００を空港の管制塔に適用することも可能である。例えば、乗務員３０の位置は、ＧＰＳ（Global Positioning System）やＷｉｆｉを利用して測位した位置情報によって推定してもよい。また、カメラ３は動画を撮像してもよいし、所定の時間間隔で静止画を撮像してもよい。なお、プロジェクター５は情報投影部の一例である。船舶運航データ取得部１０４はデータ取得部の一例である。カメラ３は第１センサ、第２センサの一例である。センサ２は、第３センサの一例である。  In addition, it is possible to appropriately replace the components in the above-described embodiments with known components without departing from the spirit of the present invention. The technical scope of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention. For example, theinformation projection system 100 can be applied to an airport control tower. For example, the position of thecrew member 30 may be estimated based on position information measured using GPS (Global Positioning System) or Wifi. Thecamera 3 may capture a moving image or may capture a still image at a predetermined time interval. Theprojector 5 is an example of an information projection unit. The ship operationdata acquisition unit 104 is an example of a data acquisition unit. Thecamera 3 is an example of a first sensor and a second sensor. The sensor 2 is an example of a third sensor.

１００・・・情報投影システム
１、１ａ，１ｂ・・・機器
２、２ａ，２ｂ・・・センサ
３、３ａ、３ｂ、３ｃ・・・カメラ
４、４ａ、４ｂ、・・・携帯端末装置
５、５ａ、５ｂ、５ｃ、５ｄ、５ｅ・・・プロジェクター
６、６ａ、６ｂ、６ｃ、６ｄ、６ｅ・・・スクリーン
１０・・・制御装置
１０１・・・乗務員検知データ取得部
１０２・・・乗務員情報解析部
１０３・・・表示位置特定部
１０４・・・船舶運航データ取得部
１０５・・・表示情報選択部
１０６・・・画像生成部
１０７・・・出力部
１０８・・・指示情報受付部
１０９・・・音声認識部
１１０・・・記憶部
DESCRIPTION OFSYMBOLS 100 ...Information projection system 1, 1a, 1b ...Equipment 2, 2a, 2b ...Sensor 3, 3a, 3b, 3c ...Camera 4, 4a, 4b, ... Portableterminal device 5, 5a, 5b, 5c, 5d, 5e ...projector 6, 6a, 6b, 6c, 6d, 6e ... screen 10 ...control device 101 ... crew member detectiondata acquisition unit 102 ... crew member information analysis Reference numeral 103: Displayposition specifying part 104 ... Ship operationdata acquiring part 105 ... Displayinformation selecting part 106 ...Image generating part 107 ...Output part 108 ... Instructioninformation receiving part 109 ...・Voice recognition unit 110 ・ ・ ・ Storage unit

Claims (7)

Translated fromJapanese

投影された情報と前記情報の投影面の反対側とが視認可能な船舶の窓へ情報を投影する情報投影システムであって、
乗務員の位置を検知する第１センサと、
前記第１センサが検知した前記乗務員の位置に基づいて、前記乗務員の職務に必要な情報を表示させる前記窓における表示位置を特定する表示位置特定部と、
前記表示位置に前記情報を表示する情報投影部と、
を備える情報投影システム。An information projection system for projecting information onto a window of a ship where the projected information and the opposite side of the projection plane of the information are visible,
A first sensor for detecting the position of the crew;
Based on the position of the crew member detected by the first sensor, a display position specifying unit for specifying a display position in the window for displaying information necessary for the duties of the crew member;
An information projection unit for displaying the information at the display position;
An information projection system comprising: 前記乗務員の体の一部の向きを検知する第２センサ、をさらに備え、
前記表示位置特定部は、前記第２センサが検知した前記乗務員の体の一部の向きに正対する位置に設置された前記窓の少なくとも一部を前記表示位置として特定する、
請求項１に記載の情報投影システム。A second sensor for detecting the orientation of a part of the crew member's body,
The display position specifying unit specifies, as the display position, at least a part of the window installed at a position facing the direction of a part of the crew member's body detected by the second sensor.
The information projection system according to claim 1. 予め定められた前記乗務員の職務に基づいて、前記乗務員の職務に必要な情報を選択する表示情報選択部、
をさらに備える請求項１または請求項２に記載の情報投影システム。A display information selection unit that selects information necessary for the duties of the crew members based on the duties of the crew members determined in advance;
The information projection system according to claim 1, further comprising: 前記船舶に備えられた機器および第３センサから、船舶の運転状態を示す情報や船舶内外の環境情報の情報を取得するデータ取得部、
をさらに備え、
前記表示情報選択部は、前記データ取得部が取得した情報の中から前記乗務員の職務に必要な情報を選択する、
請求項３に記載の情報投影システム。A data acquisition unit that acquires information indicating the operation state of the ship and information on environmental information inside and outside the ship from the equipment and the third sensor provided in the ship,
Further comprising
The display information selection unit selects information necessary for the duties of the crew from the information acquired by the data acquisition unit.
The information projection system according to claim 3. 前記乗務員が、前記情報投影部が表示する情報を指定する指定操作を入力する携帯端末装置、をさらに備え、
前記表示情報選択部は、前記乗務員の指定操作に基づいて、前記乗務員の職務に必要な情報の中から、さらに前記乗務員が指定した情報を選択する、
請求項３または請求項４に記載の情報投影システム。The crew member further includes a portable terminal device for inputting a designation operation for designating information displayed by the information projection unit,
The display information selection unit further selects information specified by the crew from the information necessary for the duties of the crew based on the designation operation of the crew.
The information projection system according to claim 3 or 4. 前記乗務員が入力する音声情報を認識する音声認識部、
をさらに備え、
前記表示情報選択部は、前記音声認識部の認識結果に基づいて、前記乗務員の職務に必要な情報を選択する、
請求項３から請求項５の何れか１項に記載の情報投影システム。A voice recognition unit for recognizing voice information input by the crew;
Further comprising
The display information selection unit selects information necessary for the duties of the crew based on the recognition result of the voice recognition unit.
The information projection system according to any one of claims 3 to 5. 投影された情報と前記情報の投影面の反対側とが視認可能な船舶の窓へ情報を投影する情報投影システムが、
第１センサが検知した乗務員の位置を取得するステップと、
前記第１センサが検知した前記乗務員の位置に基づいて、前記乗務員の職務に必要な情報を表示させる前記窓における表示位置を特定するステップと、
前記表示位置に前記情報を表示するステップと、
を有する情報投影方法。An information projection system for projecting information to a window of a ship where the projected information and the opposite side of the projection plane of the information are visible,
Acquiring the position of the crew member detected by the first sensor;
Identifying a display position in the window for displaying information necessary for the duties of the crew based on the position of the crew detected by the first sensor;
Displaying the information at the display position;
An information projection method comprising:

Images