JP2014228945A - Area designating device - Google Patents
Area designating deviceDownload PDFInfo
- Publication number
- JP2014228945A JP2014228945AJP2013106320AJP2013106320AJP2014228945AJP 2014228945 AJP2014228945 AJP 2014228945AJP 2013106320 AJP2013106320 AJP 2013106320AJP 2013106320 AJP2013106320 AJP 2013106320AJP 2014228945 AJP2014228945 AJP 2014228945A
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- gesture
- unit
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
Translated fromJapanese本発明は、画像上の領域を指定する領域指定装置に関する。 The present invention relates to an area designating apparatus for designating an area on an image.
現在、タッチパネルの普及に伴い、タッチパネル上での操作方法は多様化しており、表示画像内の領域指定方法や表示画像の拡大、および縮小を指示する方法は数多く発案されている。 At present, with the widespread use of touch panels, operation methods on the touch panel are diversified, and many methods for designating an area in a display image and instructions for enlarging and reducing the display image have been proposed.
たとえば、特許文献１には、表示画像の領域指定後、タッチパネルに触れている時間や、タッチパネルに触れながらその触れている場所を移動させた場合における始点及び終点の位置に基づいて拡大縮小の倍率を指定する方法が開示されている（特許文献１参照）。 For example, Patent Document 1 discloses a scaling factor based on the time when a touch panel is touched after the display image area is specified and the position of the start point and end point when the touched location is moved while touching the touch panel. Is disclosed (see Patent Document 1).
特許文献２には、表示画像の領域指定後、タッチパネルに対する操作によって、当該指定領域をコピーするか切り取るのかを決定する方法が記載されている（特許文献２参照）。 Patent Document 2 describes a method of determining whether to copy or cut out the designated area by an operation on the touch panel after the area of the display image is designated (see Patent Document 2).
一方、近年ではメガネのように顔に装着することで拡張現実（ＡＲ（Augmented Reality））の体験を実現するＡＲメガネ等の拡張現実端末に係る様々な技術が提案されており、ＡＲメガネが近い将来にオフィスワークや生活の中に普及すると見込まれている。しかし、たとえば、ＡＲメガネの表示部に表示されている画像の一部を切り取って保存する場合、眼球のすぐ前に表示部があるという構造上の理由によりＡＲメガネ単体ではタッチパネルと同様の方法によって、ユーザが見ている拡張現実空間内の一部の領域を指定して切り取るといったことはできない。 On the other hand, in recent years, various technologies related to augmented reality terminals such as AR glasses that realize an augmented reality (AR) experience by wearing on the face like glasses have been proposed, and AR glasses are close. It is expected to spread in office work and life in the future. However, for example, when a part of the image displayed on the display unit of the AR glasses is cut out and stored, the AR glasses alone is used in the same manner as the touch panel for the structural reason that the display unit is in front of the eyeball. It is not possible to designate and cut out a partial area in the augmented reality space that the user is viewing.
ＡＲメガネと他の操作機器（手持ちマウスや片手キーボード等）を連動させて使用すれば、画像データとして切り取る領域を指定することは可能であるが、機材構成が煩雑になる恐れがあり、入力の自由度も限られてしまう。また、画像データとして切り取る領域を音声によって指定する方法は、音声の照合率や認識速度、また入力の自由度(たとえば切り取りたい領域の範囲指示方法)等に問題があり、現状において有効な手段で無い。 If AR glasses and other operating devices (handheld mouse, one-handed keyboard, etc.) are used in conjunction with each other, it is possible to specify the area to be cut out as image data, but the equipment configuration may become complicated, and input The degree of freedom is also limited. In addition, the method of designating the area to be cut out as image data by voice has problems in the voice collation rate and recognition speed, the degree of freedom of input (for example, the range designation method of the area to be cut out), etc. No.
特許文献３には、ＡＲメガネにおいて手指のジェスチャ或いは発光部付きのペンでの操作によって入力指示を行う方法が記載されている。しかし、特許文献３はジェスチャによって文字や線の入力を行う方法についての記載であり、画像切り取りの為の領域指定や画像の拡大、及び縮小の指示等については対応していない。
特許文献４には、１対のＬ字型に形成した両手の指を認識することで、画像内に矩形型の領域指定を行い、当該指定した領域を予め決められた倍率で拡大する方法が開示されている。しかし、この領域指定方法では、領域の形状が矩形に限定される等、様々な制約がある。たとえば、特許文献４に記載の方法では領域指定に両手を使用するが、片手で機器を持って操作することが想定されるスマートフォンやデジタルカメラ等を利用するような非装着型の拡張現実端末では、機器を持っていない方の手のみでの操作指示方法が望まれる。 Patent Document 4 discloses a method in which a rectangular region is designated in an image by recognizing fingers of both hands formed in a pair of L-shapes, and the designated region is enlarged at a predetermined magnification. It is disclosed. However, this region designation method has various restrictions such as the shape of the region being limited to a rectangle. For example, in the method described in Patent Document 4, both hands are used for area designation, but in a non-wearable augmented reality terminal that uses a smartphone or a digital camera that is assumed to be operated with a device with one hand, An operation instruction method with only the hand of the person who does not have the device is desired.
本発明は、上記の問題を解決しようとするものであり、ジェスチャ動作で画像上の領域を適切に指定することのできる領域指定装置を提供する事を目的としている。 The present invention is intended to solve the above-described problem, and an object of the present invention is to provide an area designation device that can appropriately designate an area on an image by a gesture operation.
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。 The gist of the present invention for achieving the object lies in the inventions of the following items.
［１］撮像部と、
撮像部が撮像しているエリア内で行われたユーザによるジェスチャ動作を前記撮像部の出力する映像を解析して認識する認識部と、
前記前記認識部によって認識されたジェスチャ動作が領域指定のための所定の一連のジェスチャ動作を構成した場合に、該所定の一連のジェスチャ動作によって指定された領域を特定する制御部と、
を備える
ことを特徴とする領域指定装置。[1] an imaging unit;
A recognizing unit that recognizes a gesture operation performed by a user in an area captured by the imaging unit by analyzing a video output from the imaging unit;
A control unit that identifies a region designated by the predetermined series of gesture operations when the gesture operation recognized by the recognition unit constitutes a predetermined series of gesture operations for region designation;
An area designating device comprising:
上記発明では、撮像部が撮像しているエリア内で行われたユーザのジェスチャ動作を、認識部が、その撮像部の出力する映像を解析して認識する。そして、認識した連続する複数のジェスチャ動作が所定の一連のジェスチャ動作を構成した場合に、該所定の一連のジェスチャ動作によって指定された領域を特定する。たとえば、撮像部の撮像している映像内で指定された領域を特定する。この場合、ホワイトボードを撮像した画像から、当該ホワイトボードに書かれた内容の特定部分を指定、抽出し、保存するといった用途に使用される。所定の一連のジェスチャ動作は、複数の静止したジェスチャ、動きのある複数のジェスチャ、静止したジェスチャと動きのあるジェスチャの組み合わせ等である。所定の一連のジェスチャ動作の構成内容によっては、たとえば、片手で領域指定が可能である、もしくは指定する領域の形状に制限が無い等、従来の装置よりも利便性の高い方法で領域指定を行うことができる。 In the above invention, the recognition unit recognizes and recognizes the gesture operation of the user performed in the area captured by the imaging unit by analyzing the video output from the imaging unit. Then, when a plurality of recognized continuous gesture actions constitute a predetermined series of gesture actions, an area specified by the predetermined series of gesture actions is specified. For example, a specified area in the video imaged by the imaging unit is specified. In this case, it is used for the purpose of designating, extracting and storing a specific part of the content written on the whiteboard from the image of the whiteboard. The predetermined series of gesture operations includes a plurality of stationary gestures, a plurality of gestures with movement, a combination of a stationary gesture and a gesture with movement, and the like. Depending on the composition of a predetermined series of gesture operations, for example, an area can be specified with one hand, or the area can be specified by a method that is more convenient than conventional devices, such as no restriction on the shape of the specified area. be able to.
［２］前記制御部は、前記所定の一連のジェスチャ動作に続けて前記認識部が認識したジェスチャ動作が、拡大縮小を指示するための予め定めた第２のジェスチャ動作の場合に、前記所定の一連のジェスチャ動作によって指定された領域に対して、前記第２のジェスチャ動作が示す拡大縮小の指示を適用する
ことを特徴とする［１］に記載の領域指定装置。[2] The control unit, when the gesture operation recognized by the recognition unit subsequent to the predetermined series of gesture operations is a predetermined second gesture operation for instructing enlargement / reduction, The area designating apparatus according to [1], wherein an enlargement / reduction instruction indicated by the second gesture action is applied to an area designated by a series of gesture actions.
上記発明では、領域指定するための所定の一連のジェスチャ動作に続けて拡大縮小を指示するための第２の一連のジェスチャ動作が行われた場合、所定の一連のジェスチャ動作によって指定された領域に対して、第２の一連のジェスチャ動作による拡大縮小の指示を適用する。 In the above invention, when a second series of gesture operations for instructing enlargement / reduction is performed following a predetermined series of gesture operations for designating an area, an area designated by the predetermined series of gesture operations is set. On the other hand, the enlargement / reduction instruction by the second series of gesture operations is applied.
［３］前記所定の一連のジェスチャ動作は、領域指定の開始を指示するジェスチャ動作と、領域の範囲を指定するジェスチャ動作とを含み、所定の終了条件を満たすと完了する動作である
ことを特徴とする［１］または［２］に記載の領域指定装置。[3] The predetermined series of gesture operations includes a gesture operation for instructing start of region designation and a gesture operation for designating a region range, and is an operation that is completed when a predetermined end condition is satisfied. The area specifying device according to [1] or [2].
上記発明では、所定の一連のジェスチャ動作は、領域指定の開始を指示するジェスチャ動作と、領域の範囲を指定するジェスチャ動作とを含み、所定の終了条件を満たすと完了する動作である。領域指定の開始を指示するジェスチャ動作は、領域の範囲を指定する際の開始地点を設定するものであり、当該ジェスチャ動作を認識するまでの間の手の動きを領域指定のためのジェスチャ動作として認識しないようにするために行われる。 In the above invention, the predetermined series of gesture operations includes a gesture operation for instructing start of area designation and a gesture action for designating the area range, and is an operation that is completed when a predetermined end condition is satisfied. The gesture action that instructs the start of area designation is to set the start point when the area range is designated, and the movement of the hand until the gesture action is recognized is not recognized as the gesture action for area designation. To be done.
領域の範囲を指定するジェスチャ動作は、たとえば、指定する領域の外周を辿るように指し示すジェスチャ動作や、複数の点を指定するジェスチャ動作等である。後者のジェスチャ動作によって領域の範囲を指定する場合、その指定された複数の点を最も面積が広くなるように直線で結んでできる領域を、指定された領域とする。終了条件は、たとえば、範囲を指定するジェスチャ動作によって閉領域が形成されたなど、領域の範囲が特定された場合や、一定以上の時間が経過した場合などに成立する条件とすることができる。 The gesture operation that designates the range of the region is, for example, a gesture operation that points to follow the outer periphery of the designated region, a gesture operation that designates a plurality of points, or the like. When the range of the area is designated by the latter gesture operation, an area formed by connecting the designated points with a straight line so as to have the largest area is set as the designated area. The end condition can be a condition that is satisfied when the range of the region is specified, for example, when a closed region is formed by a gesture operation that specifies the range, or when a certain time or more has elapsed.
［４］前記制御部は、所定の一連のジェスチャ動作によって指定された領域として、前記撮像部の出力する映像上の領域を特定する
ことを特徴とする［１］乃至［３］のいずれか１つに記載の領域指定装置。[4] Any one of [1] to [3], wherein the control unit specifies a region on an image output from the imaging unit as a region designated by a predetermined series of gesture operations. The area designating device described in 1.
上記発明では、所定の一連のジェスチャ動作によって撮像部の出力する映像上の領域が特定される。 In the above invention, the region on the video output from the imaging unit is specified by a predetermined series of gesture operations.
［５］前記制御部は、前記撮像部の出力する映像上で前記所定の一連のジェスチャ動作によって指定された領域を、前記撮像部が撮像するエリアに対応付けされた所定の画像に写像して、該所定の画像上の領域を特定する
ことを特徴とする［１］乃至［３］のいずれか１つに記載の領域指定装置。[5] The control unit maps an area specified by the predetermined series of gesture operations on a video output from the imaging unit to a predetermined image associated with an area captured by the imaging unit. The area designating apparatus according to any one of [1] to [3], wherein an area on the predetermined image is specified.
上記発明では、撮像部が撮像するエリアには所定の画像が対応付けされており、撮像部の出力する映像内で所定の一連のジェスチャ動作によって指定された領域を、所定の画像に写像（座標変換）し、その所定の画像内において領域を特定する。たとえば、プロジェクタで投影した画像を、撮像部で撮像した場合、撮像部が撮像するエリア内でユーザがその投影された画像に対して領域指定のジェスチャ動作を行うと、投影している画像の元データ上で領域が特定される。 In the above-described invention, a predetermined image is associated with the area captured by the imaging unit, and an area designated by a predetermined series of gesture operations in the video output from the imaging unit is mapped (coordinated) to the predetermined image. Conversion), and specify a region in the predetermined image. For example, when an image projected by a projector is captured by an imaging unit, if a user performs a region-designating gesture operation on the projected image in an area captured by the imaging unit, the source of the projected image An area is specified on the data.
［６］画像の表示部を備え、
前記所定の画像は、前記表示部が前記撮像部の撮像エリアに表示した画像である
ことを特徴とする［５］に記載の領域指定装置。[6] An image display unit is provided,
The area designation apparatus according to [5], wherein the predetermined image is an image displayed on the imaging area of the imaging unit by the display unit.
上記発明では、表示部に画像を表示し、撮像部でその表示部に表示された画像を含むエリアを撮像する。ユーザが表示部の画像に向けて一連のジェスチャ動作を行うと、表示部に表示された画像上の領域が指定される。表示部は前述したプロジェクタのほか、大画面の液晶パネルなどでもよい。 In the said invention, an image is displayed on a display part and the area containing the image displayed on the display part by an imaging part is imaged. When the user performs a series of gesture operations toward the image on the display unit, an area on the image displayed on the display unit is designated. The display unit may be a liquid crystal panel with a large screen in addition to the projector described above.
［７］前記制御部は、前記特定した領域の画像を抽出する
ことを特徴とする［４］乃至［６］のいずれか１つに記載の領域指定装置。[7] The region designating device according to any one of [4] to [6], wherein the control unit extracts an image of the identified region.
上記発明では、所定の一連のジェスチャ動作によって特定された領域の画像を抽出する。当該抽出によって得た画像は、転送したり、加工したり、保存したりすることができる。 In the above invention, an image of an area specified by a predetermined series of gesture operations is extracted. The image obtained by the extraction can be transferred, processed, or saved.
［８］前記制御部は、前記抽出した画像を所定の記憶部に保存する
ことを特徴とする［７］に記載の領域指定装置。[8] The area designating device according to [7], wherein the control unit stores the extracted image in a predetermined storage unit.
所定の記憶部は、領域指定装置が具備してもよいし、外部装置、たとえば、ネットワーク上のサーバなどであってもよい。 The predetermined storage unit may be included in the area designating device, or may be an external device such as a server on the network.
［９］画像の表示部を備え、
前記制御部は、所定の貼り付け指示で指示された場所に、前記抽出した画像を、前記表示部によって表示する
ことを特徴とする［７］または［８］に記載の領域指定装置。[9] An image display unit is provided,
The area specifying device according to [7] or [8], wherein the control unit displays the extracted image by the display unit at a location specified by a predetermined pasting instruction.
上記発明では、抽出した画像を、所定の貼り付け指示で指示された場所に貼り付けるように表示することができる。貼り付け対象の画像は、抽出した画像でも記憶部が記憶している画像でもよい。 In the above invention, the extracted image can be displayed so as to be pasted at a location designated by a predetermined pasting instruction. The image to be pasted may be an extracted image or an image stored in the storage unit.
［１０］位置情報を取得する位置情報取得部を更に備え、
前記制御部は、前記抽出した画像を前記貼り付け指示で指定された場所に表示した場合に、前記貼り付け指示で指示された場所の位置情報を前記位置情報取得部によって取得し、該位置情報と前記表示した画像とを関連付けて所定の記憶部に保存する
ことを特徴とする［９］に記載の領域指定装置。[10] A position information acquisition unit that acquires position information is further provided,
When the control unit displays the extracted image at a location specified by the paste instruction, the control unit acquires position information of the location specified by the paste instruction by the position information acquisition unit, and the position information And the displayed image are associated with each other and stored in a predetermined storage unit. The area specifying device according to [9],
上記発明では、貼り付けた画像とその貼り付け場所の位置情報とを関連付けて記憶する。 In the above invention, the pasted image and the location information of the pasting location are stored in association with each other.
［１１］前記制御部は、前記記憶部に保存されている位置情報が示す場所に前記表示部の表示領域が存在する場合に、前記位置情報に関連付けされている画像を前記位置情報の示す場所に表示する
ことを特徴とする［１０］に記載の領域指定装置。[11] The location where the position information indicates the image associated with the location information when the display area of the display portion exists in the location indicated by the location information stored in the storage unit The area designating apparatus according to [10], wherein the area designating apparatus is displayed.
上記発明では、以前に画像を貼り付けた場所と同じ場所に自装置の表示部の表示領域が位置したとき、その画像が以前に貼り付けた場所と同じ場所に自動的に表示される。よって、ジェスチャ動作による貼り付けを行った場所で自装置を使用する際には、常に当該貼り付けが再現される。 In the above invention, when the display area of the display unit of the own apparatus is located at the same place where the image is pasted before, the image is automatically displayed at the same place as the place pasted before. Therefore, when using the own apparatus at the place where the pasting by the gesture operation is performed, the pasting is always reproduced.
本発明に係る領域指定装置によれば、ジェスチャ動作で画像上の領域を適切に指定することができる。 According to the area specifying device according to the present invention, an area on an image can be appropriately specified by a gesture operation.
以下、図面に基づき本発明の実施の形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
＜第１の実施の形態＞
図１は、本発明の実施の形態に係る表示システム３を示す。表示システム３は、本発明の領域指定装置としての機能を果たす操作表示装置１０と撮像部２０の他、プロジェクタ２１と、プロジェクタ２１の投影する画像を映し出すスクリーン４０を含んで構成される。操作表示装置１０と、撮像部２０、プロジェクタ２１は有線で接続されている。<First Embodiment>
FIG. 1 shows a
操作表示装置１０は、持ち歩きが可能なＢ５サイズ程の矩形の平板形状を成した携帯端末であり、表示部３１と操作部３２を含む操作パネル３０を備えている（図３参照）。操作表示装置１０の表示部３１には、後述するハードディスク装置１５に記憶された画像が表示される。また、ユーザは操作パネル３０を使用して、表示部３１に表示中の画面に対する追記や、修正等の手書き入力を行うことができる。たとえば、操作表示装置１０は、外部端末で作成された文書に対する校正を手書きで行う、といった用途に利用される。 The
表示システム３では、操作表示装置１０の表示部３１に表示されている画面が、プロジェクタ２１によってスクリーン４０に映し出される。スクリーン４０はサイズが大きく、映し出された画面を一度に多数のユーザが視認することができる。プロジェクタ２１とスクリーン４０は、本発明の請求項に係る表示装置としての機能を果たす。たとえば、プロジェクタ２１は、会議を行う時に表示部３１に表示中の画面（以後、表示中画面と呼ぶ）をスクリーン４０に投影することで、その投影された画面（以後、投影画面と呼ぶ）を複数人で確認できるようにする、といった用途に利用される。 In the
撮像部２０は、所謂カメラであり、撮像部２０が得た映像を操作表示装置１０に送信する。実施の形態では、レンズをスクリーン４０に向けて、スクリーン４０から３メートルほど離れた位置に設置されており、投影画面を含むエリアを撮像している。 The
本発明の実施の形態に係る表示システム３では、操作表示装置１０が撮像部２０から送られてくる映像を解析し、撮像部２０が撮像しているエリア内（撮像部２０とスクリーン４０の間）で行われたユーザによる所定の一連のジェスチャ動作を認識する。所定の一連のジェスチャ動作は、予め決められた順番で行われる複数の単位ジェスチャ動作を含んで構成され、所定の終了条件を満たすことで完了する動作である。領域指定のための一連のジェスチャ動作の場合は、領域指定の開始を指示するジェスチャ動作と、領域の範囲を指定するジェスチャ動作とを含み、所定の終了条件を満たすと完了する動作である。たとえば、終了条件は、領域の範囲を指定するジェスチャ動作で領域が特定された場合に成立する。 In the
基本的には、撮像された映像の中で一連のジェスチャ動作によって領域が指定される。撮像部２０の出力する映像を抽出する場合には、この領域を抽出する。また、撮像部２０の出力する映像上で所定の一連のジェスチャ動作によって指定された領域を、撮像部２０が撮像するエリアに対応付けされた所定の画像に写像して、該所定の画像上の領域を特定することも可能になっている。ここでは、撮像部２０が撮像するエリアに投影画面が対応付けされており、投影画面内の領域が特定される。なお、投影画面は表示中画面を投影したものであるから、結果的に、表示中画面において領域が特定される。図２は所定の一連のジェスチャ動作によって、投影画面内の一部の領域が指定される様子を示す。 Basically, a region is designated by a series of gesture operations in a captured image. When extracting the video output from the
図２では、スクリーン４０と撮像部２０との間で、ユーザが右手５０により所定の一連のジェスチャ動作を行っている。たとえば、ユーザは右手５０の人差し指を、抽出したい領域の外周を辿るように動かして指し示すことで、当該領域を指定する。 In FIG. 2, the user performs a predetermined series of gesture operations with the
次に、操作表示装置１０の構成について説明する。 Next, the configuration of the
図３は、本発明の実施の形態に係る操作表示装置１０の概略構成を示すブロック図である。操作表示装置１０は、当該操作表示装置１０の動作を統括的に制御するＣＰＵ(Central Processing Unit)１１と、バスを通じて接続されたＲＯＭ(Read Only Memory)１２と、ＲＡＭ(Random Access Memory)１３と、不揮発メモリ１４と、ハードディスク装置１５と、画像処理部１６と、ネットワーク通信部１７と、認識部１８と、有線Ｉ／Ｆ部１９と、操作パネル３０と、位置情報取得部３５で構成されている。 FIG. 3 is a block diagram showing a schematic configuration of the
ＣＰＵ１１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで操作表示装置１０の各機能が実現される。また、ＲＯＭ１２には、操作表示装置１０の一連の制御をＣＰＵ１１が実行するためのプログラムが格納されている。 The
ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。 The
不揮発メモリ１４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。ハードディスク装置１５は、大容量の不揮発の記憶装置であり、ＯＳプログラムや各種アプリケーションプログラム、画像データの他、文書データなどが保存される。 The
画像処理部１６は、画像の拡大縮小、回転などの処理を行う。 The
ネットワーク通信部１７は、ＬＡＮ（Local Area Network）などのネットワークを通じて外部装置との間でデータの送受信を行う機能を果たす。 The
有線Ｉ／Ｆ部１９は、有線で接続された装置とデータの送受信を行う。実施の形態では、有線Ｉ／Ｆ部１９に撮像部２０とプロジェクタ２１が接続されている。撮像部２０からは、撮像部２０が撮像して得た映像が送られてくる。プロジェクタ２１には、表示部３１に表示中の画面に対応する表示データが送信される。 The wired I /
認識部１８は、撮像部２０から送られてくる映像を解析し、当該映像内に映っているユーザの右手５０が行う所定の一連のジェスチャ動作を認識する。 The
詳細には、映像内に映っているジェスチャ動作を認識部１８が認識したら、予めハードディスク装置１５に記憶されている認識対象となるジェスチャ動作と照合し、照合率が所定値以上であると判定した際に、当該ジェスチャ動作が有効なジェスチャ動作であると判断する。 More specifically, when the
また、ＣＰＵ１１は、撮像部２０が撮像するエリア内の座標（撮像部が出力する映像上の座標）と、投影画面内の座標を対応付けており、認識部１８が所定の一連のジェスチャ動作を認識した場合に、撮像映像上で当該所定の一連のジェスチャ動作が指定する領域を特定するとともに、映像上の座標を表示中画面内の座標に写像して、表示中画面内の領域を特定する。投影画面上の座標は、表示中画面上の座標と同じである。撮像映像上の座標と投影画面（表示中画面）上の座標の対応付けは、たとえば、表示中画面の４隅に特定のマークを表示しておき、撮像映像内で上記のマークを検出し、これらの対応関係に基づいて行う。対応付けの方法はこれに限定されず、任意の方法でよい。 In addition, the
図３に戻って説明を続ける。操作パネル３０は、表示部３１と、操作部３２とを備えている。このうち操作部３２は、各種ボタンなどのスイッチ部３３とタッチパネル部３４とを備えている。表示部３１は、液晶ディスプレイ（ＬＣＤ…Liquid Crystal Display）などで構成され、各種の操作画面、設定画面などを表示する機能を果たす。操作パネル３０が表示する表示内容の制御、操作パネル３０による操作の受け付けに関する制御はＣＰＵ１１が行う。 Returning to FIG. 3, the description will be continued. The
タッチパネル部３４は、表示部３１の表示面上に設けられている。タッチパネル部３４は、タッチペンや指などで押下された表示部３１の表示面上のタッチ位置（座標位置）や、フリック操作やドラッグ操作等を検出する。また、ＣＰＵ１１は、継続的に検出されるタッチ位置の変化（操作情報）から、ユーザによる手書き入力等を認識する。 The
位置情報取得部３５は、操作表示装置１０の位置情報をＧＰＳ（Global Positioning System）によって取得する。位置情報の取得手段はＧＰＳに限らず、他の方法でもよい。 The position
図４は、所定の一連のジェスチャ動作によって表示中画面内の領域を特定、抽出し、保存する際に行われる処理の流れの概略を示す。 FIG. 4 shows an outline of the flow of processing performed when an area in the currently displayed screen is identified, extracted, and stored by a predetermined series of gesture operations.
まず、操作表示装置１０は、プロジェクタ２１を使用してスクリーン４０に画面の投影を開始する（ステップＳ１０１）。 First, the
次に、操作表示装置１０の操作部３２にて、領域指定を行う動作モード（以後、領域指定モードと呼ぶ）に移行する指示を受け付けるのを待つ（ステップＳ１０２；Ｎｏ）。当該操作を受け付けたら（ステップＳ１０２；Ｙｅｓ）、ＣＰＵ１１は操作表示装置１０を領域指定モードに移行させる。なお、領域指定モードへの移行指示は操作部３２以外で受け付けてもよい。たとえば、ジェスチャ動作や音声入力（音声入力で受け付ける場合は、音声入力に対応する装置が必要となる）で受け付けてもよいし、ネットワーク通信部１７が他の装置から移行指示を受け付けてもよい。 Next, the
操作表示装置１０は領域指定モードに移行したら、認識部１８により撮像部２０から送られてくる映像の解析を開始する。当該映像内にジェスチャ動作がなければ（ステップＳ１０３；Ｎｏ）、ステップＳ１０３に戻って処理を継続する。 When the
映像内にジェスチャ動作があれば（ステップＳ１０３；Ｙｅｓ）、そのジェスチャ動作と予め登録されている単位ジェスチャ動作を比較照合し、照合率が閾値以上か否かを調べる（ステップＳ１０４）。照合率が閾値未満であれば（ステップＳ１０４；Ｎｏ）、ステップＳ１０３に戻って処理を継続する。照合率が閾値以上であれば（ステップＳ１０４；Ｙｅｓ）、そのジェスチャ動作が有効なジェスチャ動作であると判断する。 If there is a gesture action in the video (step S103; Yes), the gesture action is compared with the unit gesture action registered in advance, and it is checked whether or not the matching rate is equal to or higher than a threshold (step S104). If the verification rate is less than the threshold (step S104; No), the process returns to step S103 and continues. If the collation rate is equal to or higher than the threshold (step S104; Yes), it is determined that the gesture operation is an effective gesture operation.
有効であると判断したジェスチャ動作によって一連のジェスチャ動作が構成され、かつ、終了条件が満たされたか否かを判断する（ステップＳ１０５）。上記判断が偽の場合は（ステップＳ１０５；Ｎｏ）ステップＳ１０３に戻って処理を継続する。ここでは、終了条件は、所定の一連のジェスチャ動作によって領域指定が完了した場合に成立する。終了条件を満たした場合は（ステップＳ１０５；Ｙｅｓ）、所定の一連のジェスチャ動作によって指定された領域を撮像映像内で特定し、これを表示中画面の座標系に写像して、表示中画面内の領域を特定する。そして、この特定した領域の画像を抽出するか否かの決定をユーザから受け付ける。この決定は、操作部３２で受け付けてもよいし、たとえば、ジェスチャ動作や音声入力（音声入力で受け付ける場合は、音声入力に対応する装置が必要となる）などで受け付けてもよい。 It is determined whether or not a series of gesture operations is constituted by the gesture operations determined to be valid and the end condition is satisfied (step S105). If the determination is false (step S105; No), the process returns to step S103 and continues. Here, the end condition is satisfied when the area designation is completed by a predetermined series of gesture operations. If the end condition is satisfied (step S105; Yes), the area specified by a predetermined series of gesture operations is specified in the captured image, and this is mapped to the coordinate system of the display screen, and the display screen is displayed. Specify the area. Then, a determination as to whether or not to extract the image of the specified area is accepted from the user. This determination may be received by the
抽出を中止する決定を受け付けたら（ステップＳ１０６；Ｎｏ）、ステップＳ１０３に戻って処理を継続する。抽出を行う決定を受け付けたら（ステップＳ１０６；Ｙｅｓ）、表示中画面内（実際には元となる画像データ）において、ステップＳ１０５にて特定した領域に該当する部分を抽出し、該抽出した画像をハードディスク装置１５に保存し（ステップＳ１０７）、本処理を終了する。 If the decision to stop the extraction is accepted (step S106; No), the process returns to step S103 and the process is continued. When a decision to perform extraction is received (step S106; Yes), a portion corresponding to the area specified in step S105 is extracted in the currently displayed screen (actually, the original image data), and the extracted image is extracted. The data is stored in the hard disk device 15 (step S107), and this process is terminated.
次に、所定の一連のジェスチャ動作について詳細な説明を行う。 Next, a predetermined series of gesture operations will be described in detail.
所定の一連のジェスチャ動作は、複数の単位ジェスチャ動作を含み、終了条件の成立により完了する動作である。複数の単位ジェスチャ動作は、静止した複数のジェスチャ、動きのある複数のジェスチャ（ジェスチャ動作）、静止したジェスチャとジェスチャ動作の組み合わせのいずれかで構成される。よって、領域の範囲を指定するためのジェスチャ動作を複数のジェスチャ動作や動きのあるジェスチャ動作で構成することで、片手で領域指定を行うことが可能になる。また、指定する領域の形状を任意形状にすることができる。 The predetermined series of gesture operations includes a plurality of unit gesture operations, and is completed when the end condition is satisfied. The plurality of unit gesture operations are configured by any one of a plurality of stationary gestures, a plurality of gestures with movement (gesture operations), and a combination of a stationary gesture and a gesture operation. Therefore, by configuring the gesture operation for specifying the range of the region by a plurality of gesture operations or gesture operations with movement, the region can be specified with one hand. Moreover, the shape of the area | region to designate can be made into arbitrary shapes.
領域指定のための一連のジェスチャ動作は、領域指定の開始を指示するジェスチャ動作と、領域の範囲を指定するジェスチャ動作を含み、終了条件が成立することで完了する動作である。領域指定モードへ移行した後は、認識部１８が、撮像部２０から送られてくる映像の解析を開始する。領域指定の開始を指示するジェスチャ動作は、当該ジェスチャ動作を認識するまでの間のユーザの意図しない手の動き等を領域指定のためのジェスチャ動作として誤認識しないように設けられている。 A series of gesture operations for area designation is an operation that includes a gesture action for instructing start of area designation and a gesture action for designating the area range, and is completed when an end condition is satisfied. After shifting to the area designation mode, the
図５は、領域指定の開始を指示するジェスチャ動作を行う様子を示す。ここでは、スクリーン４０に投影されている画面に対して小さく円を描くようなジェスチャ動作が、領域指定の開始地点を指示するジェスチャ動作になっている。認識部１８が、領域指定の開始を指示するジェスチャ動作を認識したら、領域の範囲を指定するジェスチャ動作の受け付けを開始する。 FIG. 5 shows a state in which a gesture operation for instructing start of area designation is performed. Here, the gesture operation that draws a small circle on the screen projected on the
本実施の形態では、領域の範囲を指定する際には、まずユーザが開始地点を設定する。その後、当該開始地点からユーザが指を動かして囲った部分が指定した領域となる。すなわち、開始地点から移動を開始した指の動きの軌跡が任意の閉領域となったとき、領域指定が完了したと判断され、その閉領域が指定される。ＣＰＵ１１は、領域指定が完了したら終了条件を満たしたと判断し、該一連のジェスチャ動作によって指定された領域を、撮像映像内および表示中画面内において特定する。 In the present embodiment, when designating the range of an area, the user first sets the start point. After that, the portion surrounded by the user moving his / her finger from the start point becomes the designated region. That is, when the trajectory of the finger movement that has started moving from the start point becomes an arbitrary closed region, it is determined that the region specification has been completed, and the closed region is specified. When the area designation is completed, the
なお、実施の形態では、図５で行った領域指定の開始を指示するジェスチャ動作は開始地点の設定も兼ねている。図５で行ったジェスチャ動作にて、小さく描いた円の中心点が開始地点として認識される。 In the embodiment, the gesture operation instructing the start of area designation performed in FIG. 5 also serves as setting of the start point. In the gesture operation performed in FIG. 5, the center point of a small circle is recognized as the start point.
図６は、開始地点が設定された場合にスクリーン４０に表示される投影画面の一例を示す。認識部１８が撮像部２０から送られてくる映像を解析し、図５で説明したジェスチャ動作を認識したら、撮像映像上で開始地点として認識した位置に対応する表示中画面内の位置にマーカ点６０ａを表示する。表示中画面にマーカ点６０ａが表示されたら投影画面内にもマーカ点６０が表示される。開始地点の設定後は、領域の範囲を指定するジェスチャ動作の受け付けを開始する。 FIG. 6 shows an example of a projection screen displayed on the
ユーザは投影画面に表示されたマーカ点６０の位置から、指定する領域の外周を辿るように手指を移動させて領域の範囲の指定を行う。図７は、領域の範囲を指定する様子を示す。本実施の形態では、時計回りに指を動かしているが、反時計回りに動かしてもよい。領域の形状は矩形や円形に限らないが、実施の形態では矩形領域を例に説明する。 The user designates the range of the region by moving his / her finger from the position of the
なお、操作表示装置１０は、認識部１８が領域の範囲を指定する指の動きを認識したら、表示中画面においてその指の動きの軌跡に該当する部分にマーカ線６１ａ（図８参照）を表示する。表示中画面にマーカ線６１ａが表示されたら、そのマーカ線６１ａに対応するマーカ線６１が投影画面に表示されるので、ユーザは投影画面に現れたマーカ線６１によって、自身が指し示した軌跡を視認することができる。 When the
指が開始地点まで戻って、指の動きの軌跡が閉領域を形成したら、終了条件が成立し、ＣＰＵ１１は領域指定を行う所定の一連のジェスチャ動作が完了したと判断する。 When the finger returns to the start point and the movement locus of the finger forms a closed region, the end condition is satisfied, and the
図８は、領域指定を行う所定の一連のジェスチャ動作が完了したと判断した場合に、スクリーン４０に表示される画面の一例を示す。操作表示装置１０は、ＣＰＵ１１が領域の範囲を指定するジェスチャ動作が完了したと判断した場合、指定された領域の枠を示すマーカ線６１（図中では破線で示す）を点滅表示する。マーカ線６１の周囲の三角は点滅のイメージを示す。なお、ＣＰＵ１１は、領域指定が完了したと判断したら撮像部２０から送られてくる映像の解析を中止する。 FIG. 8 shows an example of a screen displayed on the
領域指定が完了して、マーカ線６１の点滅表示が開始されたら、マーカ線６１で囲まれた領域に対応する部分の画像を表示中画像から抽出するか否かの選択をユーザから受け付ける。抽出の指示は、ボタン操作や他の方法（他のジェスチャ動作等）でもよい。抽出を指示された場合は、当該領域の画像を抽出し、その抽出によって得た画像を保存する。 When the area designation is completed and the blinking display of the
図９は、所定の一連のジェスチャ動作によって指定された領域を特定し、抽出し、保存する際に行われる処理の詳細な流れを示す。 FIG. 9 shows a detailed flow of processing performed when an area specified by a predetermined series of gesture operations is specified, extracted, and stored.
まず、操作表示装置１０は、プロジェクタ２１を使用してスクリーン４０に、画面の投影を開始する（ステップＳ２０１）。 First, the
次に、領域指定モードへの移行指示を操作部３２から受け付けるのを待って（ステップＳ２０２；Ｎｏ）、当該指示を受け付けたら（ステップＳ２０２；Ｙｅｓ）、ＣＰＵ１１は操作表示装置１０を領域指定モードに移行させる。操作表示装置１０が領域指定モードに移行したら認識部１８は撮像部２０から送られてくる映像の解析を開始する。何らかのジェスチャ動作が認識されなければ（ステップＳ２０３；Ｎｏ）、ステップＳ２０３に戻って処理を継続する。 Next, after waiting for an instruction to shift to the area designation mode from the operation unit 32 (step S202; No), when the instruction is accepted (step S202; Yes), the
何らかのジェスチャ動作を認識したら（ステップＳ２０３；Ｙｅｓ）、このジェスチャ動作と、ハードディスク装置１５に予め記憶されている領域指定の開始を指示するジェスチャ動作と照合し、その照合率が閾値以上か否かを調べる（ステップＳ２０４）。照合率が閾値未満であれば（ステップＳ２０４；Ｎｏ）、認識したジェスチャ動作が、領域指定を開始するジェスチャ動作ではないと判断し、ステップＳ２０３に戻って処理を継続する。 If any gesture operation is recognized (step S203; Yes), this gesture operation is collated with a gesture operation instructing the start of area designation stored in advance in the
照合率が閾値以上であれば（ステップＳ２０４；Ｙｅｓ）、ステップＳ２０３で認識したジェスチャ動作が、領域指定を開始するジェスチャ動作であると判断し、当該ジェスチャ動作の示す位置を領域指定の開始地点に設定し、表示中画面において開始地点に該当する位置にマーカ点６０ａを表示する（ステップＳ２０５）。 If the collation rate is equal to or higher than the threshold (step S204; Yes), it is determined that the gesture action recognized in step S203 is a gesture action for starting the area designation, and the position indicated by the gesture action is set as the area designation start point. The
その後も、撮像部２０から送られてくる映像を解析してジェスチャ動作の認識処理を継続する（ステップＳ２０６；Ｎｏ）。何らかのジェスチャ動作が認識されたら（ステップＳ２０６；Ｙｅｓ）、その認識したジェスチャ動作が領域の範囲を指定するジェスチャ動作か否かを、前述同様に予め定められたジェスチャ動作と比較照合（特に、動作の特徴を照合）して判定する（ステップＳ２０７）。 Thereafter, the video sent from the
照合率が閾値未満であれば（ステップＳ２０７；Ｎｏ）、認識したジェスチャ動作が、領域の範囲を指定するジェスチャ動作ではないと判断し、ステップＳ２０６に戻って処理を継続する。照合率が閾値以上であれば（ステップＳ２０７；Ｙｅｓ）、認識したジェスチャ動作が、領域の範囲を指定するジェスチャ動作であると判断し、表示中画面において、当該ジェスチャ動作の指の動きの軌跡に該当する部分をマーカ線６１で表示する（ステップＳ２０８）。 If the collation rate is less than the threshold (step S207; No), it is determined that the recognized gesture action is not a gesture action for designating the range of the area, and the process returns to step S206 and continues. If the collation rate is equal to or higher than the threshold value (step S207; Yes), it is determined that the recognized gesture motion is a gesture motion for designating the range of the area, and the finger motion trajectory of the gesture motion is displayed on the displayed screen. The corresponding part is displayed with the marker line 61 (step S208).
指が開始地点に戻ったら領域の範囲を指定するジェスチャ動作が完了したと判断する。これにより終了条件が成立するので（ステップＳ２０９；Ｙｅｓ）、領域指定のための一連のジェスチャ動作の認識処理を終了させ、認識した領域を囲むマーカ線６１を点滅表示する（ステップＳ２１０）。開始地点に戻らぬままジェスチャ動作が中断した場合、たとえば、ジェスチャ動作を行っていた手が撮像部２０の撮像するエリア外に出て所定の時間が経過した場合などは、エラー終了する。所定の時間は、ジェスチャ動作が中断したと判断するに十分な時間であればよい。 When the finger returns to the start point, it is determined that the gesture operation for designating the range of the region is completed. As a result, an end condition is satisfied (step S209; Yes), and the recognition process for a series of gesture operations for area designation is terminated, and the
次に、指定した領域の画像を抽出するか否かの決定をユーザから受け付ける。抽出を中止する決定を受け付けたら（ステップＳ２１１；Ｎｏ）、ステップＳ２０３に戻って処理を継続する。抽出を実行する決定を受け付けたら（ステップＳ２１１；Ｙｅｓ）、一連のジェスチャ動作によって撮像映像上で指定された領域を表示中画面に写像して、表示中画面内の対応する領域を特定し、この領域の画像を抽出してハードディスク装置１５に保存し（ステップＳ２１２）、本処理を終了する。 Next, a determination as to whether or not to extract an image of the designated area is received from the user. If the decision to stop the extraction is accepted (step S211; No), the process returns to step S203 to continue the process. When the decision to execute the extraction is accepted (step S211; Yes), the region designated on the captured image is mapped to the display screen by a series of gesture operations, and the corresponding region in the display screen is specified. An image of the area is extracted and stored in the hard disk device 15 (step S212), and this process is terminated.
このように、第１の実施の形態では、撮像部２０とスクリーン４０の間でユーザが行ったジェスチャ動作を認識し、認識した複数のジェスチャ動作によって所定の一連のジェスチャ動作が構成されたら、該一連のジェスチャ動作で指定された領域を特定する。具体的には、撮像された映像上で領域を特定し、この領域を表示中画面に写像し、表示中画面内の領域を特定し、当該領域を抽出する。所定の一連のジェスチャ動作によって領域を指定するので、たとえば、片手で行う複数のジェスチャ動作や動きのあるジェスチャ動作によって任意形状の領域を指定することができる。よって従来よりも利便性の高い方法で領域を指定することができる。 As described above, in the first embodiment, when a gesture operation performed by the user between the
＜第２の実施の形態＞
第１の実施の形態では、所定の一連のジェスチャ動作で撮像部２０の出力する映像上の領域を特定し、この領域を表示中画面に写像して、表示中画面上の領域を特定し、その特定した領域の画像を抽出して保存した。第２の実施の形態では、表示中画面内で特定した領域を、さらに拡大または縮小する場合について説明する。<Second Embodiment>
In the first embodiment, an area on the video output from the
なお、第２の実施の形態においても表示システム３のハード構成は第１の実施の形態と同じである。また、第２の実施の形態では、第１の実施の形態との相違点を説明し、同一部分の説明は適宜省略する。 Also in the second embodiment, the hardware configuration of the
まず、所定の一連のジェスチャ動作で撮像部２０の出力する映像上の領域を特定し、この領域を表示中画面に写像して、表示中画面上の領域を特定したら、すなわち、領域指定が完了したら、その指定したマーカ線６１が点滅表示を開始する（図１２参照）。 First, an area on the video output from the
その後、撮像部２０から送られてくる映像の解析を一定時間の間（たとえば１０秒間）継続し、その間に認識したジェスチャ動作が、拡大縮小を指示するための予め定めた第２のジェスチャ動作であれば、前述の領域指定によって特定された表示中画面上の領域の画像（以後、指定領域画像と呼ぶ）を、第２のジェスチャ動作に従って拡大もしくは縮小する。第２のジェスチャ動作は、終了条件が成立することで完了する。ＣＰＵ１１は、終了条件が成立したら、第２のジェスチャ動作が完了したと判断し、指定領域画像の拡大縮小を終了する。 After that, the analysis of the video sent from the
図１０は、第２のジェスチャ動作に従って指定領域画像８０を拡大した場合の様子の一例を示す。指定領域画像８０が拡大されたら、投影画面内での指定領域画像８０に該当する部分（以後、投影指定領域画像８１と呼ぶ）も拡大表示される。 FIG. 10 shows an example of a state when the designated
図１１は、第２のジェスチャ動作に従って指定領域画像８０を縮小した場合の様子の一例を示す。指定領域画像８０が縮小されたら、投影指定領域画像８１も縮小表示される。 FIG. 11 shows an example of a state when the designated
なお、表示中画面において、縮小後の指定領域画像８０と縮小前の指定領域画像８０との差の表示エリアには、ブランクデータを割り当てて表示する。 Note that blank data is assigned and displayed in the display area of the difference between the specified
図１２は、領域指定が完了してから一定時間（たとえば、１０秒間）の間に、スクリーン４０に表示される投影画面の一例を示す。投影画面では、投影指定領域画像８１の外枠であるマーカ線６１が点滅表示するとともに、投影指定領域画像８１の中心点と対角線が重ねて表示される。ユーザは、この中心点と対角線を参照しながら、スクリーン４０に投影されている投影画面に向けて拡大もしくは縮小を指示する第２のジェスチャ動作を行う。 FIG. 12 shows an example of a projection screen displayed on the
図１３は、拡大を指示する第２のジェスチャ動作を行う様子を示す。拡大を指示する第２のジェスチャ動作は、投影指定領域画像８１に重ねて表示されている中心点から、投影指定領域画像８１のいずれかの角に向けて、その方向の対角線をなぞるようなジェスチャ動作である。ＣＰＵ１１は、認識部１８が認識したジェスチャ動作が前述の拡大を指示する第２のジェスチャ動作である場合は、そのなぞられた距離に応じた倍率で指定領域画像８０を拡大する。たとえば、なぞられた距離が長ければ指定領域画像８０を高倍率で拡大し、なぞられた距離が短ければ低倍率で拡大する。図中では、ユーザが中心点から左下の角に向けて前述の第２のジェスチャ動作を行っている。 FIG. 13 shows a state in which the second gesture operation for instructing enlargement is performed. The second gesture operation for instructing enlargement is a gesture in which a diagonal line in that direction is traced from the center point displayed superimposed on the projection
図１４は、縮小を指示する第２のジェスチャ動作を行う様子を示す。縮小を指示する第２のジェスチャ動作は、投影指定領域画像８１のいずれかの角から、投影指定領域画像８１に重ねて表示されている中心点に向けて、その方向の対角線をなぞるようなジェスチャ動作である。ＣＰＵ１１は、認識部１８が認識したジェスチャ動作が前述の縮小を指示する第２のジェスチャ動作である場合は、そのなぞられた距離に応じた倍率で指定領域画像８０を縮小する。たとえば、なぞられた距離が長ければ指定領域画像８０を高倍率で縮小し、なぞられた距離が短ければ低倍率で縮小する。図中では、ユーザが左下の角から中心点に向けて前述の第２のジェスチャ動作を行っている。 FIG. 14 shows a state in which a second gesture operation for instructing reduction is performed. The second gesture operation for instructing reduction is a gesture in which a diagonal line in the direction is traced from any corner of the projection
図１５は、図１３、図１４とは異なるジェスチャ動作を第２のジェスチャ動作として指定領域画像８０を拡大、縮小する様子を示す。図１５では、第２のジェスチャ動作は、１対のＬ字型に形成した右手５０と左手５２で略矩形の形を作り、その略矩形の大きさを変化させるジェスチャ動作である。認識部１８が認識したジェスチャ動作が、前述の第２のジェスチャ動作である場合は、ＣＰＵ１１が、その変化に応じて指定領域画像８０を拡大、もしくは縮小する。たとえば、当該略矩形の縦方向が拡大されたら、その拡大率に合わせて指定領域画像８０の縦方向を拡大する。 FIG. 15 shows a state in which the designated
なお、本発明の実施の形態では、第２のジェスチャ動作の終了条件は、指を一定時間（たとえば、２秒ほど）静止させることである。当該終了条件が成立したら第２のジェスチャ動作は完了する。終了条件は、操作部３２から終了の指示を受け付けること等、他の条件であってもよい。 In the embodiment of the present invention, the termination condition of the second gesture operation is that the finger is stationary for a certain time (for example, about 2 seconds). When the end condition is satisfied, the second gesture operation is completed. The end condition may be another condition such as receiving an end instruction from the
図１６は、第２の実施の形態において、指定領域画像８０を、第２のジェスチャ動作に従って拡大縮小する処理を示す。 FIG. 16 shows processing for enlarging / reducing the designated
まず、操作表示装置１０は、プロジェクタ２１を使用してスクリーン４０に、画面の投影を開始する（ステップＳ３０１）。領域指定が完了するまでは（ステップＳ３０２；Ｎｏ）ステップＳ３０２に戻って処理を継続する。ステップＳ３０２の処理は、図９のステップＳ２０２からステップＳ２１０までの処理と同様の処理が行われたか否かを監視している。 First, the
領域指定が完了したら（ステップＳ３０２；Ｙｅｓ）、認識部１８は撮像部２０から送られてくる映像の解析を開始する。何らかのジェスチャ動作が認識されなければ（ステップＳ３０３；Ｎｏ）、ステップＳ３０３に戻って処理を継続する。 When the area designation is completed (step S302; Yes), the
何らかのジェスチャ動作を認識したら（ステップＳ３０３；Ｙｅｓ）、このジェスチャ動作と、ハードディスク装置１５に予め記憶されている第２のジェスチャ動作と照合し、その照合率が閾値以上か否かを調べる（ステップＳ３０４）。照合率が閾値未満であれば（ステップＳ３０４；Ｎｏ）、認識したジェスチャ動作が、第２のジェスチャ動作（拡大、もしくは縮小を指示するジェスチャ動作）ではないと判断し、ステップＳ３０３に戻って処理を継続する。 If any gesture operation is recognized (step S303; Yes), this gesture operation is compared with a second gesture operation stored in advance in the
照合率が閾値以上であれば（ステップＳ３０４；Ｙｅｓ）、認識したジェスチャ動作が、第２のジェスチャ動作であると判断する。その後、終了条件が成立し、第２のジェスチャ動作が完了したか否かを調べる（ステップＳ３０５）。拡大、縮小を指示するジェスチャ動作の後、ユーザが指を一定時間（たとえば、２秒間）静止させれば、終了条件が成立する。終了条件が成立したら（ステップＳ３０５；Ｙｅｓ）、拡大縮小のための第２のジェスチャ動作の認識処理を終了させ、ステップＳ３０２で指定された領域、すなわち指定領域画像８０を、ステップＳ３０４で受けた第２のジェスチャ動作に従って拡大、もしくは縮小し（ステップＳ３０６）本処理を終了する。 If the collation rate is equal to or higher than the threshold (step S304; Yes), it is determined that the recognized gesture action is the second gesture action. Thereafter, it is checked whether or not the end condition is satisfied and the second gesture operation is completed (step S305). After the gesture operation for instructing enlargement / reduction, if the user stops his / her finger for a certain time (for example, 2 seconds), the end condition is satisfied. If the termination condition is satisfied (step S305; Yes), the recognition process of the second gesture operation for enlargement / reduction is terminated, and the region designated in step S302, that is, the designated
終了条件が成立しなければ（ステップＳ３０５；Ｎｏ）、ステップＳ３０３に戻って処理を継続する。たとえば、第２のジェスチャ動作を行っていた手が撮像部２０の撮像するエリア外に出て所定の時間が経過した場合などは、エラー終了する。所定の時間は、ジェスチャ動作が中断したと判断するに十分な時間であればよい。 If the end condition is not satisfied (step S305; No), the process returns to step S303 and continues. For example, when the hand performing the second gesture operation goes out of the area captured by the
なお、ステップＳ３０３にて、いずれのジェスチャ動作も認識しないまま一定時間（たとえば１０秒）が経過した場合は、拡大、縮小が行われないと判断し、処理を終了してもよい。 In step S303, if a certain time (for example, 10 seconds) has elapsed without recognizing any gesture operation, it may be determined that enlargement or reduction is not performed, and the process may be terminated.
このように第２の実施の形態では、所定の一連のジェスチャ動作によって指定された領域の画像（指定領域画像８０）を、ユーザの行う第２のジェスチャ動作に従って拡大もしくは縮小する。第２のジェスチャ動作は拡大、縮小の指示だけでなく、その倍率（拡大率、縮小率）も同時に指定する。また、ユーザは投影指定領域画像８１を確認することによって、当該拡大、縮小を微調整することも可能である。よって、ユーザは、所定の一連のジェスチャ動作によって指定された領域を、続けて第２のジェスチャ動作によって拡大、縮小させることができる。 As described above, in the second embodiment, the image of the area designated by the predetermined series of gesture operations (designated area image 80) is enlarged or reduced according to the second gesture action performed by the user. The second gesture operation specifies not only an enlargement / reduction instruction but also a magnification (enlargement ratio, reduction ratio) at the same time. The user can also finely adjust the enlargement / reduction by confirming the projection designated
＜第３の実施の形態＞
第３の実施の形態では、所定の貼り付け指示で指定された場所に画像を貼り付ける場合について説明する。なお、第３の実施の形態においても表示システム３のハード構成は第１、第２の実施の形態と同じである。また、第３の実施の形態では、第１、第２の実施の形態との相違点を説明し、同一部分の説明は適宜省略する。<Third Embodiment>
In the third embodiment, a case will be described in which an image is pasted at a location specified by a predetermined pasting instruction. In the third embodiment, the hardware configuration of the
第３の実施の形態で貼り付けられる画像は、第１の実施の形態で説明した方法で抽出した画像、抽出して保存した画像、第２の実施の形態で拡大、縮小した指定領域画像８０、もしくは、ハードディスク装置１５から読み出した画像である。実施の形態では、ハードディスク装置１５から読み出した画像を例に説明する。 The image pasted in the third embodiment is an image extracted by the method described in the first embodiment, an image extracted and stored, and a designated
まず、ユーザが操作部３２から貼り付けを行う動作モードへの移行を指示するとともに、ハードディスク装置１５から読み出す画像を指定する。 First, the user instructs the
当該移行指示に従って貼り付けを行う動作モードへ移行したら、撮像部２０から送られてくる映像の解析を開始する。当該映像内に、スクリーン４０に対するジェスチャ動作を認識したら、当該ジェスチャ動作がスクリーン４０内で指定した位置に対応する表示画面内の位置に、先に指定された画像をハードディスク装置１５から読み出して表示する。 When a transition is made to an operation mode in which pasting is performed in accordance with the transition instruction, analysis of a video sent from the
図１７は、ジェスチャ動作によって、貼り付け位置を指定する様子を示す。ジェスチャ動作による位置の指定は、たとえば、領域指定における開始地点の設定と同じく、円を描くようなジェスチャ動作によって行う。たとえば、ＣＰＵ１１は、円の中心点が、貼り付ける画像の中心となるように読み出した画像を表示する。 FIG. 17 shows a state where a pasting position is designated by a gesture operation. The designation of the position by the gesture operation is performed by a gesture operation that draws a circle, for example, similarly to the setting of the start point in the area designation. For example, the
表示中画面に読み出した画像が表示されたら、投影画面にも、その画像が表示される。 When the read image is displayed on the display screen, the image is also displayed on the projection screen.
なお、貼り付けを行う動作モードへ移行したら、読み出した画像を表示中画面内の予め決められた位置に自動で表示し、その後、ジェスチャ動作に従ってその貼り付け位置を移動させるようにしてもよい。 When the operation mode is changed to the pasting operation mode, the read image may be automatically displayed at a predetermined position in the display screen, and the pasting position may be moved according to the gesture operation.
当該貼り付けが行われたら。位置情報取得部３５が、ＧＰＳによって、画像が貼り付けられた場所の位置情報を取得する。そして操作表示装置１０は、当該位置情報と貼り付けた画像とを関連付けてハードディスク装置１５に保存する。保存先は外部のサーバなどでもよい。 If the pasting is done. The position
また、ハードディスク装置１５に保存されている位置情報が示す場所に操作表示装置１０の表示部３１の表示領域（表示部３１の表示面あるいはスクリーン４０）が存在する場合に、その位置情報に対応付けされている画像を該位置情報の示す場所に表示する。たとえば、第３会議室で画像Ａの貼り付けを行った場合、次回に第３会議室で操作表示装置１０を使用する際に、前回貼り付けた画像Ａが自動的に表示部３１に表示され、スクリーン４０に表示される。 Further, when the display area (the display surface of the
このように第３の実施の形態では、操作表示装置１０は、貼り付け指示に従って画像を貼り付けた際に、その貼り付けた場所の位置情報と、当該貼り付けた画像を関連付けて記憶する。そして、以前に貼り付けを行った場所（記憶されている位置情報の示す場所）で操作表示装置１０を使用する場合に、その位置情報に対応付けされている画像が自動的にその位置情報の示す場所に貼り付けて表示される。よって、その貼り付けを行った場所で操作表示装置１０を使用する際には、手間無く、常にその貼り付けが再現される。 As described above, in the third embodiment, when the
なお、本発明の実施の形態ではジェスチャ動作によって、貼り付け指示を行ったが、この貼り付け指示は、ジェスチャ動作に限らず、ボタン操作等で行ってもよい。 In the embodiment of the present invention, the pasting instruction is performed by the gesture operation. However, the pasting instruction is not limited to the gesture operation, and may be performed by a button operation or the like.
以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。 The embodiment of the present invention has been described with reference to the drawings. However, the specific configuration is not limited to that shown in the embodiment, and there are changes and additions within the scope of the present invention. Are also included in the present invention.
本発明の第１の実施の形態では、撮像部２０の撮像するエリアに、表示中画面を対応付けしておき、所定の一連のジェスチャ動作が指定した投影画面内の領域に該当する表示中画面内の領域を特定し、抽出していたが、撮像部２０から送られてくる画像内において、所定の一連のジェスチャ動作が指定する領域を特定し、撮像画像の一部を抽出してもよい。これにより、たとえば、撮像部２０でホワイトボードに書き込まれた内容等を撮像することで、その内容を画像として抽出し、保存することができる。また、ハードディスク装置１５から読み出した画像ではなく、撮像部２０が撮像して得た映像を表示部３１に表示してもよい。 In the first embodiment of the present invention, a display screen is associated with an area captured by the
なお、撮像部２０が撮像して得た画像内の領域を特定する場合、ハード構成としてはＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、認識部１８と、撮像部２０を抜き出して構成された領域指定装置であってもよい。表示部３１やプロジェクタ２１、スクリーン４０を含めない構成でもよい。なお、プロジェクタ２１によって、開始地点や、マーカ線等を撮像部２０が撮像している対象物に投影し、ユーザが自身の指定している領域等を視認できるようにしてもよい。 In addition, when specifying the area | region in the image acquired by the
本発明の実施の形態では、表示システム３を例に説明したが、領域指定装置の形態はこれに限らない。たとえば、ＡＲメガネ等のヘッドマウントディスプレイの形態を採用した場合、ユーザの視界を撮像部２０が撮像するようにし、当該視界の中で行った所定の一連のジェスチャ動作を認識する。また、デジタルカメラやスマートフォン等の形態を採用する場合は、表示部３１に撮像部２０が撮像して得た映像を表示するようにする。 In the embodiment of the present invention, the
なお、本発明の実施の形態では、認識部１８は右手５０の動作を直接検出することでユーザが行うジェスチャ動作を認識していたが、キャップ５１を手に装着してジェスチャ動作を行い、当該キャップ５１の動きを検出してユーザの行うジェスチャ動作を認識するようにしてもよい。キャップ５１はバンドで固定する等の方法でユーザの指に装着する装着具である。キャップ５１の動きを検出する場合は、キャップ５１の大きさと形状を予め登録しておけば、ユーザごとの手のサイズや形状の違いの影響を受けることなく認識部１８が、ユーザの手が行うジェスチャ動作を認識することができる。図１８は、キャップ５１の動きを検出してユーザの行うジェスチャ動作を認識する様子を示す。 In the embodiment of the present invention, the
本発明の第１の実施の形態では、領域指定を開始するジェスチャ動作が、開始地点の設定を行うジェスチャ動作を兼ねていたが、領域指定を開始するジェスチャ動作を行った後に、新たに領域の開始地点の設定を行うようにしてもよい。すなわち、領域指定を開始するジェスチャ動作を行った後、スクリーン４０に投影されている画面に対して小さく円を描くようなジェスチャ動作をユーザから新たに受け付けたら、その円の中心点を開始地点として設定するようにしてもよい。 In the first embodiment of the present invention, the gesture operation for starting the area designation also serves as the gesture operation for setting the start point. However, after performing the gesture operation for starting the area designation, a new area is designated. You may make it perform the setting of a starting point. That is, after performing a gesture operation for starting area designation, when a new gesture operation for drawing a circle on the screen projected on the
本発明の第１の実施の形態では、指定する領域の輪郭をなぞるように指し示すジェスチャ動作によって、領域の範囲を指定したが、領域の範囲を指定する方法はこの方法に限らない。図１９は、他の方法の一例を示す。ユーザは、領域指定の開始を指示する操作の後、スクリーン４０上の複数点に対して小さく円を描くようなジェスチャ動作を行う。操作表示装置１０は、このジェスチャ動作によって描かれる複数の円の中心点を直線で結んで最も面積が広くなるように囲った領域の画像を指定された範囲として認識する。図１９では、４点に円が描かれているので、その４つの円の中心点を結んで囲った矩形の領域を、指定された範囲として認識している。５つの円が描かれた場合は、５角形の領域となる。なお、描かれた円の数が２つの場合は、その２つの円の中心点を、対角とする矩形領域を指定された範囲として認識すればよい。 In the first embodiment of the present invention, the range of the area is specified by the gesture operation pointing to trace the outline of the specified area. However, the method of specifying the range of the area is not limited to this method. FIG. 19 shows an example of another method. The user performs a gesture operation to draw a small circle on a plurality of points on the
なお、本発明の第３の実施の形態では、位置情報取得部３５が取得した位置情報と貼り付けた画像を関連付けてハードディスク装置１５に記憶していたが、外部のサーバ等に記憶してもよい。外部のサーバを本発明の請求項に係る記憶部とした場合、たとえば、操作表示装置１０がいずれの場所に存在していても、ネットワークを通じてサーバから当該情報を取得して自動貼り付けを行うことができる。 In the third embodiment of the present invention, the positional information acquired by the positional
３…表示システム
１０…操作表示装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置
１６…画像処理部
１７…ネットワーク通信部
１８…認識部
１９…有線Ｉ／Ｆ部
２０…撮像部
２１…プロジェクタ
３０…操作パネル
３１…表示部
３２…操作部
３３…スイッチ部
３４…タッチパネル部
３５…位置情報取得部
４０…スクリーン
５０…右手
５１…キャップ
５２…左手
６０、６０ａ…マーカ点
６１、６１ａ…マーカ線
８０…指定領域画像
８１…投影指定領域画像3 ...
12 ... ROM
13 ... RAM
DESCRIPTION OF
Claims (11)
Translated fromJapanese撮像部が撮像しているエリア内で行われたユーザによるジェスチャ動作を前記撮像部の出力する映像を解析して認識する認識部と、
前記認識部によって認識されたジェスチャ動作が領域指定のための所定の一連のジェスチャ動作を構成した場合に、該所定の一連のジェスチャ動作によって指定された領域を特定する制御部と、
を備える
ことを特徴とする領域指定装置。An imaging unit;
A recognizing unit that recognizes a gesture operation performed by a user in an area captured by the imaging unit by analyzing a video output from the imaging unit;
A control unit that identifies a region specified by the predetermined series of gesture operations when the gesture operation recognized by the recognition unit constitutes a predetermined series of gesture operations for specifying the region;
An area designating device comprising:
ことを特徴とする請求項１に記載の領域指定装置。The control unit performs the predetermined series of gestures when the gesture operation recognized by the recognition unit following the predetermined series of gesture operations is a predetermined second gesture operation for instructing enlargement / reduction. The area designation device according to claim 1, wherein an enlargement / reduction instruction indicated by the second gesture action is applied to an area designated by the action.
ことを特徴とする請求項１または２に記載の領域指定装置。The predetermined series of gesture actions includes a gesture action for instructing start of area designation and a gesture action for designating an area range, and is an action that is completed when a predetermined end condition is satisfied. Item 3. The area designating device according to Item 1 or 2.
ことを特徴とする請求項１乃至３のいずれか１つに記載の領域指定装置。The region according to any one of claims 1 to 3, wherein the control unit specifies a region on an image output from the imaging unit as a region designated by a predetermined series of gesture operations. Designated device.
ことを特徴とする請求項１乃至３のいずれか１つに記載の領域指定装置。The control unit maps an area designated by the predetermined series of gesture operations on a video output from the imaging unit to a predetermined image associated with an area captured by the imaging unit, and The area designating apparatus according to claim 1, wherein an area on the image is specified.
前記所定の画像は、前記表示部が前記撮像部の撮像エリアに表示した画像である
ことを特徴とする請求項５に記載の領域指定装置。With an image display,
The region designation apparatus according to claim 5, wherein the predetermined image is an image displayed on the imaging area of the imaging unit by the display unit.
ことを特徴とする請求項４乃至６のいずれか１つに記載の領域指定装置。The region specifying apparatus according to claim 4, wherein the control unit extracts an image of the specified region.
ことを特徴とする請求項７に記載の領域指定装置。The area specifying device according to claim 7, wherein the control unit stores the extracted image in a predetermined storage unit.
前記制御部は、所定の貼り付け指示で指示された場所に、前記抽出した画像を、前記表示部によって表示する
ことを特徴とする請求項７または８に記載の領域指定装置。With an image display,
The region specifying device according to claim 7 or 8, wherein the control unit displays the extracted image on the place designated by a predetermined pasting instruction by the display unit.
前記制御部は、前記抽出した画像を前記貼り付け指示で指定された場所に表示した場合に、前記貼り付け指示で指示された場所の位置情報を前記位置情報取得部によって取得し、該位置情報と前記表示した画像とを関連付けて所定の記憶部に保存する
ことを特徴とする請求項９に記載の領域指定装置。It further comprises a location information acquisition unit that acquires location information,
When the control unit displays the extracted image at a location specified by the paste instruction, the control unit acquires position information of the location specified by the paste instruction by the position information acquisition unit, and the position information The area designation device according to claim 9, wherein the displayed image is stored in a predetermined storage unit in association with each other.
ことを特徴とする請求項１０に記載の領域指定装置。The control unit displays an image associated with the position information at a location indicated by the position information when a display area of the display unit exists at the location indicated by the position information stored in the storage unit. The area specifying device according to claim 10.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013106320AJP2014228945A (en) | 2013-05-20 | 2013-05-20 | Area designating device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013106320AJP2014228945A (en) | 2013-05-20 | 2013-05-20 | Area designating device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014228945Atrue JP2014228945A (en) | 2014-12-08 |
Family
ID=52128764
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013106320APendingJP2014228945A (en) | 2013-05-20 | 2013-05-20 | Area designating device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014228945A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016194763A (en)* | 2015-03-31 | 2016-11-17 | 富士通株式会社 | Image processing apparatus, image processing program, and image processing method |
| WO2017145423A1 (en)* | 2016-02-25 | 2017-08-31 | 日本電気株式会社 | Information processing system, information processing device, control method, and program |
| JP2018073071A (en)* | 2016-10-28 | 2018-05-10 | 京セラドキュメントソリューションズ株式会社 | Information processing device |
| WO2018235371A1 (en)* | 2017-06-20 | 2018-12-27 | ソニー株式会社 | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND RECORDING MEDIUM |
| JP2021040179A (en)* | 2019-08-30 | 2021-03-11 | 富士フイルム株式会社 | Projection device and method |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07168949A (en)* | 1993-04-30 | 1995-07-04 | Rank Xerox Ltd | Interactive copying device |
| JP2006018374A (en)* | 2004-06-30 | 2006-01-19 | Casio Comput Co Ltd | Image processing apparatus with projector function and program |
| JP2011170603A (en)* | 2010-02-18 | 2011-09-01 | Fujitsu Toshiba Mobile Communications Ltd | Portable terminal |
| JP2011227828A (en)* | 2010-04-22 | 2011-11-10 | Canon Inc | Information processor, information processing method and information processing program |
| WO2011142317A1 (en)* | 2010-05-11 | 2011-11-17 | 日本システムウエア株式会社 | Gesture recognition device, method, program, and computer-readable medium upon which program is stored |
| WO2011152166A1 (en)* | 2010-05-31 | 2011-12-08 | 株式会社Pfu | Overhead scanner apparatus, image processing method, and program |
| WO2012153833A1 (en)* | 2011-05-12 | 2012-11-15 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | Electronic device, method for controlling same and program |
| JP2012243007A (en)* | 2011-05-18 | 2012-12-10 | Toshiba Corp | Image display device and image area selection method using the same |
| JP2013034168A (en)* | 2011-08-01 | 2013-02-14 | Fuji Xerox Co Ltd | Image projection device, image projection control device, and program |
- 2013
- 2013-05-20JPJP2013106320Apatent/JP2014228945A/enactivePending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07168949A (en)* | 1993-04-30 | 1995-07-04 | Rank Xerox Ltd | Interactive copying device |
| JP2006018374A (en)* | 2004-06-30 | 2006-01-19 | Casio Comput Co Ltd | Image processing apparatus with projector function and program |
| JP2011170603A (en)* | 2010-02-18 | 2011-09-01 | Fujitsu Toshiba Mobile Communications Ltd | Portable terminal |
| JP2011227828A (en)* | 2010-04-22 | 2011-11-10 | Canon Inc | Information processor, information processing method and information processing program |
| WO2011142317A1 (en)* | 2010-05-11 | 2011-11-17 | 日本システムウエア株式会社 | Gesture recognition device, method, program, and computer-readable medium upon which program is stored |
| WO2011152166A1 (en)* | 2010-05-31 | 2011-12-08 | 株式会社Pfu | Overhead scanner apparatus, image processing method, and program |
| WO2012153833A1 (en)* | 2011-05-12 | 2012-11-15 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | Electronic device, method for controlling same and program |
| JP2012243007A (en)* | 2011-05-18 | 2012-12-10 | Toshiba Corp | Image display device and image area selection method using the same |
| JP2013034168A (en)* | 2011-08-01 | 2013-02-14 | Fuji Xerox Co Ltd | Image projection device, image projection control device, and program |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016194763A (en)* | 2015-03-31 | 2016-11-17 | 富士通株式会社 | Image processing apparatus, image processing program, and image processing method |
| US10185399B2 (en) | 2015-03-31 | 2019-01-22 | Fujitsu Limited | Image processing apparatus, non-transitory computer-readable recording medium, and image processing method |
| WO2017145423A1 (en)* | 2016-02-25 | 2017-08-31 | 日本電気株式会社 | Information processing system, information processing device, control method, and program |
| US10372229B2 (en) | 2016-02-25 | 2019-08-06 | Nec Corporation | Information processing system, information processing apparatus, control method, and program |
| JP2018073071A (en)* | 2016-10-28 | 2018-05-10 | 京セラドキュメントソリューションズ株式会社 | Information processing device |
| WO2018235371A1 (en)* | 2017-06-20 | 2018-12-27 | ソニー株式会社 | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND RECORDING MEDIUM |
| US10921934B2 (en) | 2017-06-20 | 2021-02-16 | Sony Corporation | Information processing apparatus, information processing method, and recording medium |
| JP2021040179A (en)* | 2019-08-30 | 2021-03-11 | 富士フイルム株式会社 | Projection device and method |
| JP7236355B2 (en) | 2019-08-30 | 2023-03-09 | 富士フイルム株式会社 | Projection device and method |
| JP2023059985A (en)* | 2019-08-30 | 2023-04-27 | 富士フイルム株式会社 | Projection apparatus and method |
| JP7427822B2 (en) | 2019-08-30 | 2024-02-05 | 富士フイルム株式会社 | Projection device and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12340034B2 (en) | Devices, methods, and graphical user interfaces for an electronic device interacting with a stylus | |
| US10514842B2 (en) | Input techniques for virtual reality headset devices with front touch screens | |
| US11546457B2 (en) | Electronic device and method of operating electronic device in virtual reality | |
| CN103092524B (en) | A kind of method and mobile terminal being realized sectional drawing by touch-screen | |
| CN110471596B (en) | Split screen switching method and device, storage medium and electronic equipment | |
| US9894115B2 (en) | Collaborative data editing and processing system | |
| CN110456907A (en) | Virtual screen control method, device, terminal equipment and storage medium | |
| CN104166509B (en) | A kind of contactless screen exchange method and system | |
| WO2015161653A1 (en) | Terminal operation method and terminal device | |
| KR102061867B1 (en) | Apparatus for generating image and method thereof | |
| CN106204423B (en) | Image adjusting method and device based on augmented reality and terminal | |
| JP6595896B2 (en) | Electronic device and display control method | |
| CN105807999B (en) | Method for inputting handwritten information to a display device through a handwriting device | |
| JP2014228945A (en) | Area designating device | |
| WO2018010440A1 (en) | Projection picture adjusting method and apparatus, and projection terminal | |
| JP2023033559A (en) | Information processing device, display control method, and program | |
| US20170090744A1 (en) | Virtual reality headset device with front touch screen | |
| US8970483B2 (en) | Method and apparatus for determining input | |
| CN111913565B (en) | Virtual content control method, device, system, terminal device and storage medium | |
| WO2022218352A1 (en) | Method and apparatus for touch operation | |
| KR102071673B1 (en) | Display apparatus and method for displaying graphic item using the same | |
| JP6155893B2 (en) | Image processing apparatus and program | |
| JP2016148858A (en) | System, projector device and portable terminal | |
| CN111381670A (en) | Virtual content interaction method, device, system, terminal equipment and storage medium | |
| JP7401805B2 (en) | Information processing device, image processing range specification method, and image processing range specification program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20151221 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20160928 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20161019 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20161216 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20170308 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20170501 | |
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:20170606 |