JP2012208705A - Image operation apparatus, image operation method and program - Google Patents
Image operation apparatus, image operation method and programDownload PDFInfo
- Publication number
- JP2012208705A JP2012208705AJP2011073390AJP2011073390AJP2012208705AJP 2012208705 AJP2012208705 AJP 2012208705AJP 2011073390 AJP2011073390 AJP 2011073390AJP 2011073390 AJP2011073390 AJP 2011073390AJP 2012208705 AJP2012208705 AJP 2012208705A
- Authority
- JP
- Japan
- Prior art keywords
- finger
- stereoscopic object
- user
- image
- stereoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
Translated fromJapanese本発明は、表示した画像を操作する画像操作装置、画像操作方法およびプログラムに関する。 The present invention relates to an image operation device, an image operation method, and a program for operating a displayed image.
近年、画面から飛び出して見える立体視の画像や映像に関して、様々な技術が提案されている。 In recent years, various techniques have been proposed for stereoscopic images and videos that appear to pop out of the screen.
たとえば、特許文献１は、仮想空間において、仮想の本が所定の程度開かれた際に、そこに描かれている平面画像の表示物を立体的に表示することができる画像処理装置を開示している。特許文献１の画像処理装置は、ユーザの手に装着され、装着された手や各指に対して触覚や力覚を与える一対のリアルグローブを備え、仮想空間画像を仮想空間表示装置に表示し、リアルグローブを装着した手や指が仮想空間に表示された物体に仮想的に接触した場合等に、その様子を仮想空間表示装置に表示するとともに、リアルグローブを装着した手や各指に接触したときの触覚や力覚を与える。 For example,
また、特許文献２は、立体画像データを受信して、浮き上がって見えるように立体表示する立体画像表示可能なカメラ付携帯端末を開示している。
特許文献３は、ユーザのジェスチャを判別するジェスチャ動作認識システムを開示している。特許文献３のジェスチャ動作認識システムは、異なる位置に配された同一被写体の画像を撮影する第一カメラ及び第二カメラを備え、同一時刻における第一カメラ及び第二カメラの画像情報を対比して被写体領域と背景領域とを識別し、識別された被写体領域からさらに被写体の頭領域及び手先領域を検出するとともに、頭領域及び手先領域の各々の特徴点を三次元座標算出して特定する。 Patent Document 3 discloses a gesture motion recognition system that determines a user's gesture. The gesture motion recognition system of Patent Literature 3 includes a first camera and a second camera that capture images of the same subject arranged at different positions, and compares image information of the first camera and the second camera at the same time. The subject area and the background area are identified, and the head area and hand area of the object are further detected from the identified object area, and the feature points of the head area and the hand area are calculated and specified by three-dimensional coordinates.
特許文献４は、本発明は、複数の撮像手段にて対象物を撮像し、この撮像信号を基に前記対象物の位置を認識する画像認識装置を開示している。特許文献４の画像認識装置は、カメラ僅体等の機械的基準によることなく、また、専用の調整治具を使用することなく、複数のカメラ基準の補正が可能である。 Patent Document 4 discloses an image recognition apparatus in which the present invention images a target object with a plurality of imaging means and recognizes the position of the target object based on the imaging signal. The image recognition apparatus of Patent Document 4 can correct a plurality of camera references without using a mechanical reference such as a camera frame or the like and without using a dedicated adjustment jig.
しかしながら、このような立体視用の画像を表示した際にユーザが視認する仮想物体（以下、立体視オブジェクトという）に対する操作は基本的に物理キーで行うことしかできない。そのため、立体視オブジェクトを実際に触れるように扱うことができず、利用者の直感性を損ねる可能性がある。特許文献１に記載の方法では、立体オブジェクトを操作するのにリアルグローブという装着型の専用の装置が必要である。 However, an operation on a virtual object (hereinafter referred to as a stereoscopic object) visually recognized by the user when such a stereoscopic image is displayed can basically be performed only with a physical key. For this reason, the stereoscopic object cannot be handled as if it is actually touched, which may impair the user's intuition. In the method described in
特許文献２は、立体オブジェクトを操作するものではない。
特許文献３および４は、立体オブジェクトを表示するものではなく、立体オブジェクトを操作するものでもない。 Patent Documents 3 and 4 do not display a solid object and do not operate the solid object.
本発明は、上述のような事情に鑑みてなされたものであり、ユーザが装着する専用の装置を必要とせず、立体視オブジェクトをユーザの指で操作することができる画像操作装置、画像操作方法およびプログラムを提供することを目的とする。 The present invention has been made in view of the above-described circumstances, and does not require a dedicated device worn by the user, and can operate a stereoscopic object with a user's finger, and an image operation method And to provide a program.
本発明の第１の観点に係る画像操作装置は、
画像を表示する表示画面と、
前記表示画面の前面の所定の空間を撮影する撮影部と、
前記撮影部が撮影した画像を取得する画像取得手段と、
ユーザの指の画像を記憶する記憶手段と、
立体視オブジェクトのデータを取得するデータ取得手段と、
前記立体視オブジェクトのデータに基づいて、前記立体視オブジェクトを前記表示画面に表示させる表示制御手段と、
前記画像取得手段が取得した画像と、前記記憶手段が記憶する前記ユーザの指の画像とを比較し、前記ユーザの指がポインティングしている位置を示す指座標を抽出する指座標抽出手段と、
前記表示画面の前面の空間における前記立体視オブジェクトの視認される領域を示す情報を取得し、前記領域を示す情報と前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う判定手段と、を備え、
前記判定手段は、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得手段が取得した画像に基づいて、前記ユーザの指の動きを検出し、前記ユーザが前記立体視オブジェクトに対して行った操作を示す操作情報を生成し、
前記表示制御手段は、前記操作情報に基づいて、前記表示画面に表示させている前記立体視オブジェクトの表示を変化させることを特徴とする。An image manipulation device according to a first aspect of the present invention is:
A display screen for displaying images;
A photographing unit for photographing a predetermined space in front of the display screen;
Image acquisition means for acquiring an image captured by the imaging unit;
Storage means for storing an image of the user's finger;
Data acquisition means for acquiring data of a stereoscopic object;
Display control means for displaying the stereoscopic object on the display screen based on the data of the stereoscopic object;
A finger coordinate extraction unit that compares the image acquired by the image acquisition unit with the image of the user's finger stored in the storage unit, and extracts finger coordinates indicating a position where the user's finger is pointing;
Information indicating a region where the stereoscopic object is viewed in the space in front of the display screen is acquired, and the user's finger is virtually attached to the stereoscopic object based on the information indicating the region and the finger coordinates. A determination means for performing a collision determination as to whether or not touched,
When the determination unit determines that the user's finger has virtually touched the stereoscopic object, the determination unit detects a movement of the user's finger based on the image acquired by the image acquisition unit, and the user Generate operation information indicating the operation performed on the stereoscopic object,
The display control means changes display of the stereoscopic object displayed on the display screen based on the operation information.
本発明の第２の観点に係る画像操作方法は、
画像を表示する表示画面と、前記表示画面の前面の所定の空間を撮影する撮影部とを備える画像操作装置が実行する
前記撮影部が撮影した画像を取得する画像取得ステップと、
ユーザの指の画像を記憶する記憶ステップと、
立体視オブジェクトのデータを取得するデータ取得ステップと、
前記立体視オブジェクトのデータに基づいて、前記立体視オブジェクトを前記表示画面に表示させる表示制御ステップと、
前記画像取得ステップで取得した画像と、前記記憶ステップで記憶した前記ユーザの指の画像とを比較し、前記ユーザの指がポインティングしている位置を示す指座標を抽出する指座標抽出ステップと、
前記表示画面の前面の空間における前記立体視オブジェクトの視認される領域を示す情報を取得し、前記領域を示す情報と前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う判定ステップと、を備え、
前記判定ステップでは、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得ステップで取得した画像に基づいて、前記ユーザの指の動きを検出し、前記ユーザが前記立体視オブジェクトに対して行った操作を示す操作情報を生成し、
前記表示制御ステップでは、前記操作情報に基づいて、前記表示画面に表示させている前記立体視オブジェクトの表示を変化させることを特徴とする。An image manipulation method according to a second aspect of the present invention is:
An image acquisition step executed by an image manipulation device including a display screen for displaying an image and a photographing unit for photographing a predetermined space in front of the display screen;
A storage step for storing an image of the user's finger;
A data acquisition step for acquiring data of the stereoscopic object;
A display control step of displaying the stereoscopic object on the display screen based on the data of the stereoscopic object;
A finger coordinate extraction step of comparing the image acquired in the image acquisition step with the image of the user's finger stored in the storage step and extracting finger coordinates indicating a position where the user's finger is pointing;
Information indicating a region where the stereoscopic object is viewed in the space in front of the display screen is acquired, and the user's finger is virtually attached to the stereoscopic object based on the information indicating the region and the finger coordinates. A determination step of performing a collision determination as to whether or not touched,
In the determination step, when it is determined that the user's finger has virtually touched the stereoscopic object, movement of the user's finger is detected based on the image acquired in the image acquisition step, and the user Generate operation information indicating the operation performed on the stereoscopic object,
In the display control step, the display of the stereoscopic object displayed on the display screen is changed based on the operation information.
本発明の第３の観点に係るプログラムは、画像を表示する表示画面と、前記表示画面の前面の所定の空間を撮影する撮影部とを備えるコンピュータを、
前記撮影部が撮影した画像を取得する画像取得手段、
ユーザの指の画像を記憶する記憶手段、
立体視オブジェクトのデータを取得するデータ取得手段、
前記立体視オブジェクトのデータに基づいて、前記立体視オブジェクトを前記表示画面に表示させる表示制御手段、
前記画像取得手段が取得した画像と、前記記憶手段が記憶する前記ユーザの指の画像とを比較し、前記ユーザの指がポインティングしている位置を示す指座標を抽出する指座標抽出手段、
前記表示画面の前面の空間における前記立体視オブジェクトの視認される領域を示す情報を取得し、前記領域を示す情報と前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う判定手段、として機能させ、
前記判定手段は、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得手段が取得した画像に基づいて、前記ユーザの指の動きを検出し、前記ユーザが前記立体視オブジェクトに対して行った操作を示す操作情報を生成し、
前記表示制御手段は、前記操作情報に基づいて、前記表示画面に表示させている前記立体視オブジェクトの表示を変化させることを特徴とする。A program according to a third aspect of the present invention includes a computer including a display screen that displays an image, and a photographing unit that photographs a predetermined space in front of the display screen.
Image acquisition means for acquiring an image captured by the imaging unit;
Storage means for storing an image of a user's finger;
Data acquisition means for acquiring data of a stereoscopic object;
Display control means for displaying the stereoscopic object on the display screen based on the data of the stereoscopic object;
Finger coordinate extraction means for comparing the image acquired by the image acquisition means with the image of the user's finger stored in the storage means, and extracting finger coordinates indicating the position where the user's finger is pointing;
Information indicating a region where the stereoscopic object is viewed in the space in front of the display screen is acquired, and the user's finger is virtually attached to the stereoscopic object based on the information indicating the region and the finger coordinates. It functions as a determination means for performing a collision determination on whether or not it is touched,
When the determination unit determines that the user's finger has virtually touched the stereoscopic object, the determination unit detects a movement of the user's finger based on the image acquired by the image acquisition unit, and the user Generate operation information indicating the operation performed on the stereoscopic object,
The display control means changes display of the stereoscopic object displayed on the display screen based on the operation information.
本発明によれば、ユーザが装着する専用の装置を必要とせず、立体視オブジェクトをユーザの指で操作することができる。 According to the present invention, a stereoscopic object can be operated with a user's finger without requiring a dedicated device worn by the user.
以下に、発明を実施するための形態について図面を参照して詳細に説明する。なお、図中同一または相当する部分には同じ符号を付す。 EMBODIMENT OF THE INVENTION Below, the form for inventing is demonstrated in detail with reference to drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals.
図１は、本発明の実施の形態に係る画像操作装置の一例を示す斜視図である。画像操作装置１は、筐体Ｅ１に、カメラＣ１、カメラＣ２および表示画面Ｄ１を備える。筐体Ｅ１にはめ込まれた表示画面Ｄ１には、立体視オブジェクトＯ１の画像が表示されており、ユーザには立体視オブジェクトＯ１が図示のように飛び出して見える。表示画面Ｄ１の両端に設置されたカメラＣ１およびカメラＣ２は、表示画面Ｄ１の前面の所定の範囲の空間を撮影する。所定の範囲の空間とは、たとえば、表示画面Ｄ１の前面で立体視オブジェクトが仮想的に出現しうる範囲の空間である。なお、カメラＣ１およびカメラＣ２の設置位置は、任意の位置でよい。また、筐体Ｅ１、カメラＣ１、カメラＣ２および表示画面Ｄ１は、図１の形状に限らず、画像操作装置１は、２つのカメラと表示画面を備えていればよい。 FIG. 1 is a perspective view showing an example of an image manipulation device according to an embodiment of the present invention. The
図示のように、ユーザが指で立体視オブジェクトＯ１を触る動作をすると、カメラＣ１およびカメラＣ２はユーザの指を撮影した画像を取得する。なお、立体視オブジェクトＯ１は、実際には表示画面Ｄ１の平面に画像が表示されているだけなので、カメラＣ１およびカメラＣ２が撮影する画像には写らない。 As illustrated, when the user touches the stereoscopic object O1 with a finger, the camera C1 and the camera C2 acquire an image obtained by photographing the user's finger. Note that the stereoscopic object O1 is actually not displayed in the images taken by the camera C1 and the camera C2 because an image is actually displayed on the plane of the display screen D1.
図２は、実施の形態に係る画像操作装置の機能構成例を示すブロック図である。画像操作装置１は、データ取得部１１、画像取得部１２、記憶部１３、指座標抽出部１４、判定部１５、表示制御部１６および表示部１７を備える。 FIG. 2 is a block diagram illustrating a functional configuration example of the image operation device according to the embodiment. The
データ取得部１１は、立体視オブジェクトのデータを取得し、判定部１５および表示制御部１６に送る。なお、データ取得部１１は、立体視オブジェクトのデータとともに、表示画面Ｄ１の前面の空間で立体視オブジェクトが視認される領域を示すデータ（以下、領域データという）を取得し、判定部１５に送ってもよい。 The
画像取得部１２は、ユーザの指の画像を取得し、あらかじめ記憶部１３に記憶させる。また、画像取得部１２は、図１に示す表示画面Ｄ１の前面の所定の範囲の空間を撮影した画像を取得し、指座標検出部１４に送る。なお、ユーザの指の画像は、撮影して取得してもよいし、外部から取得してもよい。 The
記憶部１３は、画像取得部１２から受け取ったユーザの指の画像をあらかじめ記憶する。 The
指座標検出部１４は、画像取得部１２から受け取った画像と記憶部１３から読み出したユーザの指の画像とのパターンマッチングを行い、ユーザの指がポインティングしている位置を示す座標（以下、指座標という）を抽出する。 The finger coordinate
判定部１５は、データ取得部１１から受け取った立体視オブジェクトのデータに基づいて、表示画面Ｄ１の前面の空間で立体視オブジェクトが視認される領域を計算する。データ取得部１１が立体オブジェクトのデータとともに領域データを取得する場合は、判定部１５は、データ取得部１１から領域データを受け取る。 Based on the stereoscopic object data received from the
判定部１５は、表示画面Ｄ１の前面の空間で立体視オブジェクトが視認される領域と、指座標抽出部１４から受け取った指座標とに基づいて、ユーザの指が立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う。判定部１５は、ユーザの指が立体視オブジェクトに触れたと判定した場合、画像取得部１２から受け取った画像に基づいてユーザの指の動きを検出し、ユーザが立体視オブジェクトに対して行った操作を示す操作情報を生成し、表示制御部１６に送信する。 The
表示制御部１６は、データ取得部１１から受け取った立体視オブジェクトのデータに基づいて、表示部１７に立体視オブジェクトを表示させる。また、表示制御部１６は、判定部１５から受け取った操作情報に基づいて、表示部１７の立体視オブジェクトの表示を変化させる。 The
表示部１７は、表示制御部１６からの指示に従い、立体視オブジェクトを表示する。 The
図３は、平面視オブジェクトおよび立体視オブジェクトを説明する図である。図３（ａ）に示す平面視オブジェクトＯ２は、表示画面Ｄ１の横方向と平行なα軸と表示画面Ｄ１の縦方向と平行なβ軸で表される二次元における平面視オブジェクトＯ２の中心の座標Ｐ１（α１，β１）と、平面視オブジェクトＯ２の形状を表すデータと、座標Ｐ１を中心とした平面視オブジェクトの回転角とで表現することができる。 FIG. 3 is a diagram for explaining a planar object and a stereoscopic object. The planar view object O2 shown in FIG. 3A is the center of the two-dimensional plan view object O2 in two dimensions represented by an α axis parallel to the horizontal direction of the display screen D1 and a β axis parallel to the vertical direction of the display screen D1. It can be expressed by coordinates P1 (α1, β1), data representing the shape of the planar object O2, and the rotation angle of the planar object around the coordinate P1.
一方、図３（ｂ）に示す立体視オブジェクトＯ１は、表示画面Ｄ１の横方向と平行なα軸と表示画面Ｄ１の縦方向と平行なβ軸と表示画面Ｄ１の垂直方向と平行なγ軸とで表される三次元における立体視オブジェクトＯ１の中心の座標Ｐ２（α２，β２，γ２）と、立体視オブジェクトＯ１の形状を表すデータと、α軸を中心とした立体視オブジェクトの回転角Ｐｉｔｃｈと、β軸を中心とした立体視オブジェクトの回転角Ｒｏｌｌと、γ軸を中心とした立体視オブジェクトの回転角Ｙａｗとで表現することができる。 On the other hand, the stereoscopic object O1 shown in FIG. 3B has an α axis parallel to the horizontal direction of the display screen D1, a β axis parallel to the vertical direction of the display screen D1, and a γ axis parallel to the vertical direction of the display screen D1. The coordinate P2 (α2, β2, γ2) of the center of the stereoscopic object O1 in the three dimensions represented by the above, data representing the shape of the stereoscopic object O1, and the rotation angle Pitch of the stereoscopic object about the α axis And a rotation angle Roll of the stereoscopic object around the β axis and a rotation angle Yaw of the stereoscopic object around the γ axis.
画像操作装置１のデータ取得部１１が、立体視オブジェクトＯ１のデータとして、立体視オブジェクトＯ１の中心座標Ｐ２（α２，β２，γ２）と、立体視オブジェクトＯ１の形状を表すデータと、立体視オブジェクトＯ１の回転角（Ｐｉｔｃｈ：０°，Ｒｏｌｌ：０°，Ｙａｗ：０°）とを受け取ると、表示制御部１６は、これに基づいて表示部１７に立体視オブジェクトＯ１を表示させる。 The
なお、図３（ｂ）の立体視オブジェクトＯ１をβ軸を中心としたオブジェクトの回転角Ｒｏｌｌを負の方向（時計回り）にθ回転させた場合、図３（ｃ）のように、表示画面Ｄ１に表示される。このとき、立体視オブジェクトＯ１のデータに含まれる立体視オブジェクトＯ１の回転角は、（Ｐｉｔｃｈ：０°，Ｒｏｌｌ：−θ，Ｙａｗ：０°）となる。 When the stereoscopic object O1 of FIG. 3B is rotated by θ in the negative direction (clockwise) of the object rotation angle Roll about the β axis, the display screen is displayed as shown in FIG. D1 is displayed. At this time, the rotation angle of the stereoscopic object O1 included in the data of the stereoscopic object O1 is (Pitch: 0 °, Roll: −θ, Yaw: 0 °).
立体視オブジェクトＯ１のデータは、ユーザの視点があらかじめ設定されているデータであり、実際には、表示制御部１６は、立体オブジェクトＯ１のデータに基づいて、ユーザの右目の視点と立体視オブジェクトＯ１を構成する各点とをつないだ延長線上にある表示画面上の各点と、ユーザの左目の視点と立体視オブジェクトＯ１を構成する各点とをつないだ延長線上にある表示画面上の各点とを計算する。表示制御部１６は、計算した表示画面上の各点の集合から、視差によって立体視オブジェクトＯ１がユーザに視認できる画像を生成し、表示部１７に表示させる。 The data of the stereoscopic object O1 is data in which the user's viewpoint is set in advance. Actually, the
あるいは、立体視オブジェクトＯ１のデータは、元々、視差によって立体視オブジェクトＯ１がユーザに視認できる画像であってもよい。この場合、判定部１５は、立体視オブジェクトＯ１のデータと、あらかじめ設定されているユーザの視点に基づいて、立体視オブジェクトＯ１の中心座標Ｐ２と、立体視オブジェクトＯ１の形状を表すデータと、立体視オブジェクトＯ１の回転角とを計算する。 Alternatively, the data of the stereoscopic object O1 may originally be an image that allows the user to visually recognize the stereoscopic object O1 by parallax. In this case, the
図４は、実施の形態に係るユーザの指と立体視オブジェクトとの衝突判定の例を説明する図である。図４（ａ）の例では、立体視オブジェクトＯ１を示すデータは、中心の座標Ｐ２（α２，β２，γ２）と、直方体（Ｗ：ａ２，Ｈ；ｂ２，Ｄ：ｃ２）と、回転角（Ｐｉｔｃｈ：０°，Ｒｏｌｌ：０°，Ｙａｗ：０°）とで表される。なお、直方体のＷはＸ軸方向の幅を示す、ＨはＺ軸方向の高さを表し、ＤはＹ軸方向の奥行きを表す。 FIG. 4 is a diagram illustrating an example of collision determination between a user's finger and a stereoscopic object according to the embodiment. In the example of FIG. 4A, the data indicating the stereoscopic object O1 includes the center coordinates P2 (α2, β2, γ2), the rectangular parallelepiped (W: a2, H; b2, D: c2), and the rotation angle ( (Pitch: 0 °, Roll: 0 °, Yaw: 0 °). Note that W of the rectangular parallelepiped indicates the width in the X-axis direction, H indicates the height in the Z-axis direction, and D indicates the depth in the Y-axis direction.
画像操作装置１の判定部１５は、このような立体視オブジェクトＯ１のデータに基づいて、表示画面Ｄ１の前面の空間で立体視オブジェクトＯ１が視認される領域Ａ１を計算する。なお、領域Ａ１の座標は、所定の位置を原点とした表示画面Ｄ１の横方向と平行なＸ軸と表示画面Ｄ１の縦方向と平行なＹ軸と表示画面Ｄ１の垂直方向と平行なＺ軸とで表される三次元で規定する。判定部１５は、立体視オブジェクトＯ１の中心の座標Ｐ２（α２，β２，γ２）をＰ２（Ｘ２，Ｙ２，Ｚ２）に変換する。Ｐ２（Ｘ２，Ｙ２，Ｚ２）を中心とした直方体（Ｗ：ａ２，Ｈ；ｂ２，Ｄ：ｃ２）が領域Ａ１である。なお、αβγ座標からＸＹＺ座標への変換方法は、αβγ座標の原点とＸＹＺ座標の原点との各軸の差をαβγ座標の各軸の値に加算すればよい。 The
一方、図４（ｂ）に示すように、指座標抽出部１４は、画像取得部１２（図中のカメラＣ１およびカメラＣ２）から受け取った画像と、記憶部１３が記憶しているユーザの指の画像とのパターンマッチングを行い、指座標Ｐ３（Ｘ３，Ｙ３，Ｚ３）を抽出する。 On the other hand, as shown in FIG. 4B, the finger coordinate
具体的には、指座標抽出部１４は、まず、Ｐ４（Ｘ４，Ｙ４，Ｚ４）の座標に設置されたカメラＣ１が所定の角度で撮影した画像と記憶部１３が記憶しているユーザの指の画像とを比較してユーザの指を検出し、そのポインティング位置（図４の例では、指の先端）を検出する。同様に、指座標抽出部１４は、指座標抽出部１４は、Ｐ５（Ｘ５，Ｙ５，Ｚ５）の座標に設置されたカメラＣ２が所定の角度で撮影した画像と記憶部１３が記憶しているユーザの指の画像とを比較してユーザの指を検出し、そのポインティング位置を検出する。指座標抽出部１４は、あらかじめ記憶部１３に記憶したカメラＣ１の画像におけるポインティング位置とカメラＣ２の画像におけるポインティング位置との組み合わせに、表示画面Ｄ１の前面の空間における指座標を対応付けたデータテーブルを参照し、指座標Ｐ３（Ｘ３，Ｙ３，Ｚ３）を抽出する。 Specifically, first, the finger coordinate extracting
あるいは、カメラＣ１の画像におけるポインティング位置と、カメラＣ２の画像におけるポインティング位置と、カメラＣ１の撮影角度と、カメラＣ２の撮影角度とから、ポインティング位置のＸＹＺ座標における位置（Ｘ３，Ｙ３，Ｚ３）を算出して指座標Ｐ３とする。 Alternatively, the position (X3, Y3, Z3) of the pointing position in the XYZ coordinates is determined from the pointing position in the image of the camera C1, the pointing position in the image of the camera C2, the shooting angle of the camera C1, and the shooting angle of the camera C2. Calculate the finger coordinate P3.
判定部１５は、領域Ａ１と指座標Ｐ３に基づいて、ユーザの指が立体視オブジェクトＯ１に仮想的に触れたか否かの衝突判定を行う。図４（ｂ）の例では、領域Ａ１を示す直方体の側面に指座標Ｐ３が含まれるため、判定部１５は、ユーザの指が立体視オブジェクトＯ１に仮想的に触れたと判定する。 The
図５は、実施の形態に係るユーザが立体視オブジェクトに対して行う操作の一例を説明する図である。判定部１５は、ユーザの指が立体視オブジェクトＯ１に仮想的に触れたと判定すると、画像取得部１２から受け取った画像に基づいてユーザの指の動きを検出し、ユーザが立体視オブジェクトに対して行った操作を示す操作情報を生成する。図５のように、ユーザが指をＰ３（Ｘ３，Ｙ３，Ｚ３）からＰ３２（Ｘ３２，Ｙ３，Ｚ３）までＸ軸の負の方向に移動させたとすると、判定部１５は、ユーザの指がＸ軸の負の方向に（Ｘ３−Ｘ３２）移動したことを示す操作情報を生成し、表示制御部１６に送信する。 FIG. 5 is a diagram illustrating an example of an operation performed on the stereoscopic object by the user according to the embodiment. When the
表示制御部１６は、この操作情報に基づいて、表示部１７に表示している立体視オブジェクトＯ１をＸ軸の負の方向に（Ｘ３−Ｘ３２）移動させる。これにより、ユーザの指で行った立体視オブジェクトに対して行った操作が立体視オブジェクトの表示に反映される。なお、ユーザが立体視オブジェクトに対して行う操作は、移動させる操作に限らず、回転させたり、拡大・縮小したりしてもよい。この場合、たとえば、それぞれの操作に対応するジェスチャを示すデータをあらかじめ記憶部１３に記憶しておく。判定部１５は、ユーザの指が立体視オブジェクトＯ１に仮想的に触れたと判定すると、記憶部１３が記憶している操作に対応するジェスチャを示すデータを参照し、画像取得部１２（図中のカメラＣ１およびカメラＣ２）から受け取った画像からユーザが立体視オブジェクトＯ１に対して行ったジェスチャを検出して操作情報を生成する。 Based on the operation information, the
図６は、ユーザが立体視オブジェクトに対して行うジェスチャの例を示す図である。図６（ａ）は、対象の立体視オブジェクトを拡大するジェスチャの例である。このジェスチャは、親指と人差し指の指先が接着している状態から開く。逆に親指と人差し指の指先が開いている状態から接着させると対象の立体視オブジェクトを縮小するジェスチャとする。拡大方法は、ＸＹＺ軸の比率を保持して拡大してもよいし、開いた親指の指先の座標と人差し指の指先の座標を結んだ直線方向に拡大してもよい。縮小も同様である。 FIG. 6 is a diagram illustrating an example of a gesture performed by a user on a stereoscopic object. FIG. 6A is an example of a gesture for enlarging a target stereoscopic object. This gesture is opened from the state where the thumb and index finger are bonded. On the other hand, if the thumb and index finger are opened from the open state, the target stereoscopic object is reduced. The enlargement method may be performed while maintaining the ratio of the XYZ axes, or may be performed in a linear direction connecting the coordinates of the fingertip of the open thumb and the fingertip of the index finger. The same applies to reduction.
図６（ｂ）は、対象の立体視オブジェクトを回転するジェスチャの例である。このジェスチャは、親指と人差し指の指先が開いている状態で手首を時計回りに回転させる。逆に手首を反時計回りに回転させると逆方向に回転させるジェスチャとする。回転方法は、親指および人差し指の指先の手首を中心とした回転を検出し、立体視オブジェクトに同様の回転をさせてもよいし、立体視オブジェクトに対する親指および人差し指の指先の位置によって、立て回転、横回転、斜め回転などに分け、該当する回転をさせてもよい。 FIG. 6B is an example of a gesture for rotating the target stereoscopic object. This gesture rotates the wrist clockwise with the thumb and index finger open. Conversely, when the wrist is rotated counterclockwise, the gesture is rotated in the opposite direction. The rotation method may detect rotation around the wrist of the thumb and forefinger fingertips and cause the stereoscopic object to rotate in the same manner, or may rotate vertically depending on the position of the thumb and forefinger fingertip relative to the stereoscopic object. The rotation may be divided into horizontal rotation, diagonal rotation, and the like.
図７は、ユーザの指と立体視オブジェクトとの衝突判定の他の例を説明する図である。図７（ａ）の例では、立体視オブジェクトＯ１を示すデータは、特徴点Ｐ６（α６，β６，γ６）と、特徴点Ｐ７（α７，β７，γ７）と、特徴点Ｐ８（α８，β８，γ８）と、特徴点Ｐ９（α９，β９，γ９）と、特徴点Ｐ１０（α１０，β１０，γ１０）と、特徴点Ｐ１１（α１１，β１１，γ１１）と、特徴点Ｐ１２（α１２，β１２，γ１２）と、特徴点Ｐ１３（α１３，β１３，γ１３）とで表される。 FIG. 7 is a diagram for explaining another example of the collision determination between the user's finger and the stereoscopic object. In the example of FIG. 7A, the data indicating the stereoscopic object O1 includes feature points P6 (α6, β6, γ6), feature points P7 (α7, β7, γ7), and feature points P8 (α8, β8, γ8), feature point P9 (α9, β9, γ9), feature point P10 (α10, β10, γ10), feature point P11 (α11, β11, γ11), and feature point P12 (α12, β12, γ12). And a feature point P13 (α13, β13, γ13).
画像操作装置１の判定部１５は、このような立体視オブジェクトＯ１のデータに基づいて、表示画面Ｄ１の前面の空間で立体視オブジェクトＯ１が視認される領域Ａ１を計算する。図４の例と同様に、領域Ａ１の座標は、所定の位置を原点とした表示画面Ｄ１の横方向と平行なＸ軸と表示画面Ｄ１の縦方向と平行なＹ軸と表示画面Ｄ１の垂直方向と平行なＺ軸とで表される三次元で規定する。特徴点Ｐ６〜特徴点Ｐ１３は、それぞれ特徴点Ｐ６（Ｘ６，Ｙ６，Ｚ６）と、特徴点Ｐ７（Ｘ７，Ｙ７，Ｚ７）と、特徴点Ｐ８（Ｘ８，Ｙ８，Ｚ８）と、特徴点Ｐ９（Ｘ９，Ｙ９，Ｚ９）と、特徴点Ｐ１０（Ｘ１０，Ｙ１０，Ｚ１０）と、特徴点Ｐ１１（Ｘ１１，Ｙ１１，Ｚ１１）と、特徴点Ｐ１２（Ｘ１２，Ｙ１２，Ｚ１２）と、特徴点Ｐ１３（Ｘ１３，Ｙ１３，Ｚ１３）と、に変換される。これらの特徴点Ｐ６〜特徴点Ｐ１３で囲まれる領域が領域Ａ１である。なお、αβγ座標からＸＹＺ座標への変換方法は、図４の例と同様である。 The
一方、図７（ｂ）に示すように、指座標抽出部１４は、画像取得部１２（カメラＣ１およびＣ２）から受け取った画像と、記憶部１３が記憶しているユーザの指の画像とのパターンマッチングを行い、指座標Ｐ３（Ｘ３，Ｙ３，Ｚ３）を抽出する。指座標の抽出方法は図４の例と同様である。判定部１５は、領域Ａ１と指座標Ｐ３に基づいて、ユーザの指が立体視オブジェクトＯ１に仮想的に触れたか否かの衝突判定を行う。図７（ｂ）の例では、特徴点Ｐ７、Ｐ８、Ｐ１１およびＰ１２で囲まれる面に指座標Ｐ３が含まれるため、判定部１５は、ユーザの指が立体視オブジェクトＯ１に仮想的に触れたと判定する。 On the other hand, as illustrated in FIG. 7B, the finger coordinate
図８は、実施の形態に係る画像操作の動作の一例を示すフローチャートである。なお、画像操作装置１の記憶部１３は、あらかじめ画像取得部１２が取得したユーザの指の画像を記憶している。 FIG. 8 is a flowchart illustrating an example of the operation of the image operation according to the embodiment. Note that the
データ取得部１１は、立体視オブジェクトのデータを取得し（ステップＳ１１）、判定部１５および表示制御部１６に送る。表示制御部１６は、データ取得部１１から受け取った立体視オブジェクトのデータに基づいて、表示部１７に立体視オブジェクトを表示させる（ステップＳ１２）。判定部１５は、データ取得部１１から受け取った立体視オブジェクトのデータに基づいて、表示画面Ｄ１の前面の空間で立体視オブジェクトが視認される領域を計算する（ステップＳ１３）。なお、ステップＳ１１でデータ取得部１１が立体視オブジェクトのデータとともに領域データを取得した場合は、判定部１５は、データ取得部１１から領域データを受け取る。 The
画像取得部１２は、表示画面Ｄ１の前面の所定の範囲の空間の画像を取得し（ステップＳ１４）、指座標検出部１４は、画像取得部１２が取得した画像と記憶部１３から読み出したユーザの指の画像とのパターンマッチングを行い、指座標を抽出する（ステップＳ１５）。指座標検出部１４は、抽出した指座標を判定部１５に送る。 The
判定部１５は、表示画面Ｄ１の前面の空間で立体視オブジェクトが視認される領域と、指座標抽出部１４から受け取った指座標とに基づいて、ユーザの指が立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う（ステップＳ１６）。ユーザの指が立体視オブジェクトに仮想的に触れていないと判定した場合（ステップＳ１６；ＮＯ）、ステップＳ１６を繰り返す。ユーザの指が立体視オブジェクトに仮想的に触れたと判定した場合（ステップＳ１６；ＹＥＳ）、判定部１５は、画像取得部１２から受け取った画像に基づいてユーザの指の動きを検出し、ユーザが立体視オブジェクトに対して行った操作を示す操作情報を生成する（ステップＳ１７）。判定部１５は、操作情報を表示制御部１６に送信する。 The
表示制御部１６は、判定部１５から受け取った操作情報に基づいて、表示部１７の立体視オブジェクトの表示を変化させ（ステップＳ１８）、処理を終了する。 The
以上説明したように、本実施の形態の画像操作装置によれば、ユーザが装着する専用の装置を必要とせず、立体視オブジェクトをユーザの指で操作することができる。また、ユーザの指で操作することで、立体視オブジェクトに対する操作の自由度を向上させることが期待できる。 As described above, according to the image operation device of the present embodiment, a stereoscopic object can be operated with a user's finger without requiring a dedicated device worn by the user. Moreover, it can be expected that the degree of freedom of operation on the stereoscopic object is improved by operating with the user's finger.
なお、上述の実施の形態では、立体視オブジェクトのデータは、あらかじめユーザの視点が設定されている。しかし、これに限らず、画像操作装置１は、ユーザの視点を検出する手段を備えてもよい。この場合、表示制御部１６は、立体視オブジェクトのデータと検出したユーザの視点に基づいて、表示部１７に立体視オブジェクトを表示させる。判定部１５は、立体視オブジェクトのデータと検出したユーザの視点とに基づいて、表示画面Ｄ１の前面の空間で立体視オブジェクトが視認される領域を計算する。視点を検出する手段は、たとえば、カメラＣ１およびカメラＣ２が取得したユーザの画像を解析しユーザの目を検出する。あるいは、ユーザが視点の位置を入力して設定してもよい。 In the above-described embodiment, the viewpoint of the user is set in advance for the data of the stereoscopic object. However, the present invention is not limited to this, and the
図９は、実施の形態に係る画像操作装置のハードウェア構成の一例を示すブロック図である。 FIG. 9 is a block diagram illustrating an example of a hardware configuration of the image manipulation device according to the embodiment.
制御部３１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部３３に記憶されている制御プログラム３９に従って、指座標抽出部１４、判定部１５および表示制御部１６の各処理を実行する。 The
主記憶部３２はＲＡＭ（Random Access Memory）等から構成され、外部記憶部３３に記憶されている制御プログラム３９をロードし、制御部３１の作業領域として用いられる。 The
外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、画像操作装置１の処理を制御部３１に行わせるためのプログラムをあらかじめ記憶し、また、制御部３１の指示に従って、このプログラムが記憶するデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。記憶部１３は、外部記憶部３３に構成される。 The
操作部３４はキーボードおよびマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス３０に接続するインタフェース装置から構成されている。ユーザが入力した情報は、操作部３４を介して、制御部３１に供給される。 The
表示部３５は、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などから構成され、制御部３１から受け取った表示情報を表示する。表示部３５は、表示画面Ｄ１であり、表示部１７として機能する。 The
送受信部３６は、網終端装置または無線送受信機と、それらと接続するシリアルインタフェースまたはＬＡＮ（Local Area Network）インタフェースから構成されている。送受信部３６は、データ取得部１１として機能する。 The transmission /
撮影部３７は、カメラＣ１およびカメラＣ２であり、画像取得部１２として機能する。 The
図２に示す画像操作装置１のデータ取得部１１、画像取得部１２、記憶部１３、指座標抽出部１４、判定部１５、表示制御部１６および表示部１７の処理は、制御プログラム３９が、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５、送受信部３６および撮影部３７などを資源として用いて処理することによって実行する。 The processing of the
その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。 In addition, the hardware configuration and the flowchart described above are merely examples, and can be arbitrarily changed and modified.
制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５、送受信部３６および撮影部３７などから構成される画像操作装置１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する画像操作装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで画像操作装置１を構成してもよい。 A central part that performs processing of the
また、画像操作装置１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。 When the functions of the
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。 It is also possible to superimpose a computer program on a carrier wave and distribute it via a communication network. For example, the computer program may be posted on a bulletin board (BBS, Bulletin Board System) on a communication network, and the computer program distributed via the network. The computer program may be started and executed in the same manner as other application programs under the control of the OS, so that the above-described processing may be executed.
上記の実施形態の一部または全部は、以下の請求項のようにも記載されうるが、以下には限られない。 Part or all of the above embodiments can be described as in the following claims, but are not limited thereto.
（付記１）
画像を表示する表示画面と、
前記表示画面の前面の所定の空間を撮影する撮影部と、
前記撮影部が撮影した画像を取得する画像取得手段と、
ユーザの指の画像を記憶する記憶手段と、
立体視オブジェクトのデータを取得するデータ取得手段と、
前記立体視オブジェクトのデータに基づいて、前記立体視オブジェクトを前記表示画面に表示させる表示制御手段と、
前記画像取得手段が取得した画像と、前記記憶手段が記憶する前記ユーザの指の画像とを比較し、前記ユーザの指がポインティングしている位置を示す指座標を抽出する指座標抽出手段と、
前記表示画面の前面の空間における前記立体視オブジェクトの視認される領域を示す情報を取得し、前記領域を示す情報と前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う判定手段と、を備え、
前記判定手段は、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得手段が取得した画像に基づいて、前記ユーザの指の動きを検出し、前記ユーザが前記立体視オブジェクトに対して行った操作を示す操作情報を生成し、
前記表示制御手段は、前記操作情報に基づいて、前記表示画面に表示させている前記立体視オブジェクトの表示を変化させることを特徴とする画像操作装置。(Appendix 1)
A display screen for displaying images;
A photographing unit for photographing a predetermined space in front of the display screen;
Image acquisition means for acquiring an image captured by the imaging unit;
Storage means for storing an image of the user's finger;
Data acquisition means for acquiring data of a stereoscopic object;
Display control means for displaying the stereoscopic object on the display screen based on the data of the stereoscopic object;
A finger coordinate extraction unit that compares the image acquired by the image acquisition unit with the image of the user's finger stored in the storage unit, and extracts finger coordinates indicating a position where the user's finger is pointing;
Information indicating a region where the stereoscopic object is viewed in the space in front of the display screen is acquired, and the user's finger is virtually attached to the stereoscopic object based on the information indicating the region and the finger coordinates. A determination means for performing a collision determination as to whether or not touched,
When the determination unit determines that the user's finger has virtually touched the stereoscopic object, the determination unit detects a movement of the user's finger based on the image acquired by the image acquisition unit, and the user Generate operation information indicating the operation performed on the stereoscopic object,
The display control means changes the display of the stereoscopic object displayed on the display screen based on the operation information.
（付記２）
前記立体視オブジェクトの視認される領域を示す情報は、前記立体視オブジェクトの三次元の中心座標と、前記立体視オブジェクトの形状を示すデータと、三次元の各軸を中心とした回転角とを含み、
前記判定手段は、前記立体視オブジェクトの三次元の中心座標と、前記立体視オブジェクトの形状を示すデータと、前記三次元の各軸を中心とした回転角と、前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行うことを特徴とする付記１に記載の画像操作装置。(Appendix 2)
The information indicating the area where the stereoscopic object is viewed includes three-dimensional center coordinates of the stereoscopic object, data indicating the shape of the stereoscopic object, and a rotation angle about each three-dimensional axis. Including
The determination means is based on the three-dimensional center coordinates of the stereoscopic object, data indicating the shape of the stereoscopic object, a rotation angle around each of the three-dimensional axes, and the finger coordinates. The image operating device according to
（付記３）
前記立体視オブジェクトの視認される領域を示す情報は、前記立体視オブジェクトのすべての特徴点の三次元の座標を含み、
前記判定手段は、前記立体視オブジェクトのすべての特徴点の三次元の座標と、前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行うことを特徴とする付記１に記載の画像操作装置。(Appendix 3)
The information indicating the area where the stereoscopic object is viewed includes three-dimensional coordinates of all feature points of the stereoscopic object,
The determination unit determines whether or not the user's finger has virtually touched the stereoscopic object based on the three-dimensional coordinates of all feature points of the stereoscopic object and the finger coordinates. The image manipulating apparatus according to
（付記４）
前記判定手段は、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得手段が取得した画像に基づいて、前記ユーザが指を移動させた方向と移動距離とを計算して、前記ユーザが前記立体視オブジェクトを移動させた操作を示す前記操作情報を生成することを特徴とする付記１ないし３のいずれかに記載の画像操作装置。(Appendix 4)
When it is determined that the user's finger has virtually touched the stereoscopic object, the determination unit determines a direction and a moving distance in which the user has moved the finger based on the image acquired by the image acquisition unit. The image operation device according to any one of
（付記５）
前記記憶手段は、前記ユーザが前記立体視オブジェクトに対して行う操作に対応するジェスチャを示すデータをあらかじめ記憶し、
前記判定手段は、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記ユーザが前記立体視オブジェクトに対して行う操作に対応するジェスチャを示すデータを参照し、前記画像取得手段が取得した画像に基づいて前記ジェスチャを検出して、前記ユーザが前記立体視オブジェクトに対して行った操作を示す前記操作情報を生成することを特徴とする付記１ないし４のいずれかに記載の画像操作装置。(Appendix 5)
The storage means stores in advance data indicating a gesture corresponding to an operation performed on the stereoscopic object by the user,
When the determination unit determines that the user's finger virtually touches the stereoscopic object, the determination unit refers to data indicating a gesture corresponding to an operation performed on the stereoscopic object by the user, and acquires the image The supplementary information according to any one of
（付記６）
画像を表示する表示画面と、前記表示画面の前面の所定の空間を撮影する撮影部とを備える画像操作装置が実行する
前記撮影部が撮影した画像を取得する画像取得ステップと、
ユーザの指の画像を記憶する記憶ステップと、
立体視オブジェクトのデータを取得するデータ取得ステップと、
前記立体視オブジェクトのデータに基づいて、前記立体視オブジェクトを前記表示画面に表示させる表示制御ステップと、
前記画像取得ステップで取得した画像と、前記記憶ステップで記憶した前記ユーザの指の画像とを比較し、前記ユーザの指がポインティングしている位置を示す指座標を抽出する指座標抽出ステップと、
前記表示画面の前面の空間における前記立体視オブジェクトの視認される領域を示す情報を取得し、前記領域を示す情報と前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う判定ステップと、を備え、
前記判定ステップでは、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得ステップで取得した画像に基づいて、前記ユーザの指の動きを検出し、前記ユーザが前記立体視オブジェクトに対して行った操作を示す操作情報を生成し、
前記表示制御ステップでは、前記操作情報に基づいて、前記表示画面に表示させている前記立体視オブジェクトの表示を変化させることを特徴とする画像操作方法。(Appendix 6)
An image acquisition step executed by an image manipulation device including a display screen for displaying an image and a photographing unit for photographing a predetermined space in front of the display screen;
A storage step for storing an image of the user's finger;
A data acquisition step for acquiring data of the stereoscopic object;
A display control step of displaying the stereoscopic object on the display screen based on the data of the stereoscopic object;
A finger coordinate extraction step of comparing the image acquired in the image acquisition step with the image of the user's finger stored in the storage step and extracting finger coordinates indicating a position where the user's finger is pointing;
Information indicating a region where the stereoscopic object is viewed in the space in front of the display screen is acquired, and the user's finger is virtually attached to the stereoscopic object based on the information indicating the region and the finger coordinates. A determination step of performing a collision determination as to whether or not touched,
In the determination step, when it is determined that the user's finger has virtually touched the stereoscopic object, movement of the user's finger is detected based on the image acquired in the image acquisition step, and the user Generate operation information indicating the operation performed on the stereoscopic object,
In the display control step, the display of the stereoscopic object displayed on the display screen is changed based on the operation information.
（付記７）
前記立体視オブジェクトの視認される領域を示す情報は、前記立体視オブジェクトの三次元の中心座標と、前記立体視オブジェクトの形状を示すデータと、三次元の各軸を中心とした回転角とを含み、
前記判定ステップでは、前記立体視オブジェクトの三次元の中心座標と、前記立体視オブジェクトの形状を示すデータと、前記三次元の各軸を中心とした回転角と、前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行うことを特徴とする付記６に記載の画像操作方法。(Appendix 7)
The information indicating the area where the stereoscopic object is viewed includes three-dimensional center coordinates of the stereoscopic object, data indicating the shape of the stereoscopic object, and a rotation angle about each three-dimensional axis. Including
In the determining step, based on the three-dimensional center coordinates of the stereoscopic object, data indicating the shape of the stereoscopic object, a rotation angle around each of the three-dimensional axes, and the finger coordinates, The image operation method according to
（付記８）
前記立体視オブジェクトの視認される領域を示す情報は、前記立体視オブジェクトのすべての特徴点の三次元の座標を含み、
前記判定ステップでは、前記立体視オブジェクトのすべての特徴点の三次元の座標と、前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行うことを特徴とする付記６に記載の画像操作方法。(Appendix 8)
The information indicating the area where the stereoscopic object is viewed includes three-dimensional coordinates of all feature points of the stereoscopic object,
In the determination step, it is determined whether or not the user's finger has virtually touched the stereoscopic object based on the three-dimensional coordinates of all feature points of the stereoscopic object and the finger coordinates. The image operation method according to
（付記９）
前記判定ステップでは、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得ステップで取得した画像に基づいて、前記ユーザが指を移動させた方向と移動距離とを計算して、前記ユーザが前記立体視オブジェクトを移動させた操作を示す前記操作情報を生成することを特徴とする付記６ないし８のいずれかに記載の画像操作方法。(Appendix 9)
In the determination step, when it is determined that the user's finger has virtually touched the stereoscopic object, based on the image acquired in the image acquisition step, the direction in which the user has moved the finger and the moving distance are determined. The image operation method according to any one of
（付記１０）
前記判定ステップでは、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像操作装置があらかじめ記憶する前記ユーザが前記立体視オブジェクトに対して行う操作に対応するジェスチャを示すデータを参照し、前記画像取得ステップで取得した画像に基づいて前記ジェスチャを検出して、前記ユーザが前記立体視オブジェクトに対して行った操作を示す前記操作情報を生成することを特徴とする付記６ないし９のいずれかに記載の画像操作方法。(Appendix 10)
In the determination step, when it is determined that the user's finger has virtually touched the stereoscopic object, a gesture corresponding to an operation performed on the stereoscopic object by the user stored in advance by the image operation device is shown. The operation information indicating the operation performed on the stereoscopic object by the user is generated by detecting the gesture based on the image acquired in the image acquisition step with reference to data. The image manipulation method according to any one of 6 to 9.
（付記１１）
画像を表示する表示画面と、前記表示画面の前面の所定の空間を撮影する撮影部とを備えるコンピュータを、
前記撮影部が撮影した画像を取得する画像取得手段、
ユーザの指の画像を記憶する記憶手段、
立体視オブジェクトのデータを取得するデータ取得手段、
前記立体視オブジェクトのデータに基づいて、前記立体視オブジェクトを前記表示画面に表示させる表示制御手段、
前記画像取得手段が取得した画像と、前記記憶手段が記憶する前記ユーザの指の画像とを比較し、前記ユーザの指がポインティングしている位置を示す指座標を抽出する指座標抽出手段、
前記表示画面の前面の空間における前記立体視オブジェクトの視認される領域を示す情報を取得し、前記領域を示す情報と前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う判定手段、として機能させ、
前記判定手段は、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得手段が取得した画像に基づいて、前記ユーザの指の動きを検出し、前記ユーザが前記立体視オブジェクトに対して行った操作を示す操作情報を生成し、
前記表示制御手段は、前記操作情報に基づいて、前記表示画面に表示させている前記立体視オブジェクトの表示を変化させることを特徴とするプログラム。(Appendix 11)
A computer comprising a display screen for displaying an image, and a photographing unit for photographing a predetermined space in front of the display screen;
Image acquisition means for acquiring an image captured by the imaging unit;
Storage means for storing an image of a user's finger;
Data acquisition means for acquiring data of a stereoscopic object;
Display control means for displaying the stereoscopic object on the display screen based on the data of the stereoscopic object;
Finger coordinate extraction means for comparing the image acquired by the image acquisition means with the image of the user's finger stored in the storage means, and extracting finger coordinates indicating the position where the user's finger is pointing;
Information indicating a region where the stereoscopic object is viewed in the space in front of the display screen is acquired, and the user's finger is virtually attached to the stereoscopic object based on the information indicating the region and the finger coordinates. It functions as a determination means for performing a collision determination on whether or not it is touched,
When the determination unit determines that the user's finger has virtually touched the stereoscopic object, the determination unit detects a movement of the user's finger based on the image acquired by the image acquisition unit, and the user Generate operation information indicating the operation performed on the stereoscopic object,
The display control means changes the display of the stereoscopic object displayed on the display screen based on the operation information.
１ 画像操作装置
１１ データ取得部
１２ 画像取得部
１３ 記憶部
１４ 指座標抽出部
１５ 判定部
１６ 表示制御部
１７ 表示部
３１ 制御部
３２ 主記憶部
３３ 外部記憶部
３４ 操作部
３５ 表示部
３６ 送受信部
３７ 撮影部
３９ 制御プログラム
Ａ１ 領域
Ｃ１，Ｃ２ カメラ
Ｄ１ 表示画面
Ｏ１ 平面視オブジェクト
Ｏ２ 立体視オブジェクトDESCRIPTION OF
Claims (10)
Translated fromJapanese前記表示画面の前面の所定の空間を撮影する撮影部と、
前記撮影部が撮影した画像を取得する画像取得手段と、
ユーザの指の画像を記憶する記憶手段と、
立体視オブジェクトのデータを取得するデータ取得手段と、
前記立体視オブジェクトのデータに基づいて、前記立体視オブジェクトを前記表示画面に表示させる表示制御手段と、
前記画像取得手段が取得した画像と、前記記憶手段が記憶する前記ユーザの指の画像とを比較し、前記ユーザの指がポインティングしている位置を示す指座標を抽出する指座標抽出手段と、
前記表示画面の前面の空間における前記立体視オブジェクトの視認される領域を示す情報を取得し、前記領域を示す情報と前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う判定手段と、を備え、
前記判定手段は、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得手段が取得した画像に基づいて、前記ユーザの指の動きを検出し、前記ユーザが前記立体視オブジェクトに対して行った操作を示す操作情報を生成し、
前記表示制御手段は、前記操作情報に基づいて、前記表示画面に表示させている前記立体視オブジェクトの表示を変化させることを特徴とする画像操作装置。A display screen for displaying images;
A photographing unit for photographing a predetermined space in front of the display screen;
Image acquisition means for acquiring an image captured by the imaging unit;
Storage means for storing an image of the user's finger;
Data acquisition means for acquiring data of a stereoscopic object;
Display control means for displaying the stereoscopic object on the display screen based on the data of the stereoscopic object;
A finger coordinate extraction unit that compares the image acquired by the image acquisition unit with the image of the user's finger stored in the storage unit, and extracts finger coordinates indicating a position where the user's finger is pointing;
Information indicating a region where the stereoscopic object is viewed in the space in front of the display screen is acquired, and the user's finger is virtually attached to the stereoscopic object based on the information indicating the region and the finger coordinates. A determination means for performing a collision determination as to whether or not touched,
When the determination unit determines that the user's finger has virtually touched the stereoscopic object, the determination unit detects a movement of the user's finger based on the image acquired by the image acquisition unit, and the user Generate operation information indicating the operation performed on the stereoscopic object,
The display control means changes the display of the stereoscopic object displayed on the display screen based on the operation information.
前記判定手段は、前記立体視オブジェクトの三次元の中心座標と、前記立体視オブジェクトの形状を示すデータと、前記三次元の各軸を中心とした回転角と、前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行うことを特徴とする請求項１に記載の画像操作装置。The information indicating the area where the stereoscopic object is viewed includes three-dimensional center coordinates of the stereoscopic object, data indicating the shape of the stereoscopic object, and a rotation angle about each three-dimensional axis. Including
The determination means is based on the three-dimensional center coordinates of the stereoscopic object, data indicating the shape of the stereoscopic object, a rotation angle around each of the three-dimensional axes, and the finger coordinates. The image operation device according to claim 1, wherein a collision determination is made as to whether or not a user's finger has virtually touched the stereoscopic object.
前記判定手段は、前記立体視オブジェクトのすべての特徴点の三次元の座標と、前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行うことを特徴とする請求項１に記載の画像操作装置。The information indicating the area where the stereoscopic object is viewed includes three-dimensional coordinates of all feature points of the stereoscopic object,
The determination unit determines whether or not the user's finger has virtually touched the stereoscopic object based on the three-dimensional coordinates of all feature points of the stereoscopic object and the finger coordinates. The image operation device according to claim 1, wherein
前記判定手段は、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記ユーザが前記立体視オブジェクトに対して行う操作に対応するジェスチャを示すデータを参照し、前記画像取得手段が取得した画像に基づいて前記ジェスチャを検出して、前記ユーザが前記立体視オブジェクトに対して行った操作を示す前記操作情報を生成することを特徴とする請求項１ないし４のいずれか１項に記載の画像操作装置。The storage means stores in advance data indicating a gesture corresponding to an operation performed on the stereoscopic object by the user,
When the determination unit determines that the user's finger virtually touches the stereoscopic object, the determination unit refers to data indicating a gesture corresponding to an operation performed on the stereoscopic object by the user, and acquires the image The operation information indicating an operation performed by the user on the stereoscopic object is generated by detecting the gesture based on an image acquired by the unit. The image manipulation device according to item.
前記撮影部が撮影した画像を取得する画像取得ステップと、
ユーザの指の画像を記憶する記憶ステップと、
立体視オブジェクトのデータを取得するデータ取得ステップと、
前記立体視オブジェクトのデータに基づいて、前記立体視オブジェクトを前記表示画面に表示させる表示制御ステップと、
前記画像取得ステップで取得した画像と、前記記憶ステップで記憶した前記ユーザの指の画像とを比較し、前記ユーザの指がポインティングしている位置を示す指座標を抽出する指座標抽出ステップと、
前記表示画面の前面の空間における前記立体視オブジェクトの視認される領域を示す情報を取得し、前記領域を示す情報と前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う判定ステップと、を備え、
前記判定ステップでは、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得ステップで取得した画像に基づいて、前記ユーザの指の動きを検出し、前記ユーザが前記立体視オブジェクトに対して行った操作を示す操作情報を生成し、
前記表示制御ステップでは、前記操作情報に基づいて、前記表示画面に表示させている前記立体視オブジェクトの表示を変化させることを特徴とする画像操作方法。An image acquisition step executed by an image manipulation device including a display screen for displaying an image and a photographing unit for photographing a predetermined space in front of the display screen;
A storage step for storing an image of the user's finger;
A data acquisition step for acquiring data of the stereoscopic object;
A display control step of displaying the stereoscopic object on the display screen based on the data of the stereoscopic object;
A finger coordinate extraction step of comparing the image acquired in the image acquisition step with the image of the user's finger stored in the storage step and extracting finger coordinates indicating a position where the user's finger is pointing;
Information indicating a region where the stereoscopic object is viewed in the space in front of the display screen is acquired, and the user's finger is virtually attached to the stereoscopic object based on the information indicating the region and the finger coordinates. A determination step of performing a collision determination as to whether or not touched,
In the determination step, when it is determined that the user's finger has virtually touched the stereoscopic object, movement of the user's finger is detected based on the image acquired in the image acquisition step, and the user Generate operation information indicating the operation performed on the stereoscopic object,
In the display control step, the display of the stereoscopic object displayed on the display screen is changed based on the operation information.
前記判定ステップでは、前記立体視オブジェクトの三次元の中心座標と、前記立体視オブジェクトの形状を示すデータと、前記三次元の各軸を中心とした回転角と、前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行うことを特徴とする請求項６に記載の画像操作方法。The information indicating the area where the stereoscopic object is viewed includes three-dimensional center coordinates of the stereoscopic object, data indicating the shape of the stereoscopic object, and a rotation angle about each three-dimensional axis. Including
In the determining step, based on the three-dimensional center coordinates of the stereoscopic object, data indicating the shape of the stereoscopic object, a rotation angle around each of the three-dimensional axes, and the finger coordinates, The image operation method according to claim 6, wherein a collision determination is made as to whether or not a user's finger has virtually touched the stereoscopic object.
前記判定ステップでは、前記立体視オブジェクトのすべての特徴点の三次元の座標と、前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行うことを特徴とする請求項６に記載の画像操作方法。The information indicating the area where the stereoscopic object is viewed includes three-dimensional coordinates of all feature points of the stereoscopic object,
In the determination step, it is determined whether or not the user's finger has virtually touched the stereoscopic object based on the three-dimensional coordinates of all feature points of the stereoscopic object and the finger coordinates. The image operation method according to claim 6.
前記撮影部が撮影した画像を取得する画像取得手段、
ユーザの指の画像を記憶する記憶手段、
立体視オブジェクトのデータを取得するデータ取得手段、
前記立体視オブジェクトのデータに基づいて、前記立体視オブジェクトを前記表示画面に表示させる表示制御手段、
前記画像取得手段が取得した画像と、前記記憶手段が記憶する前記ユーザの指の画像とを比較し、前記ユーザの指がポインティングしている位置を示す指座標を抽出する指座標抽出手段、
前記表示画面の前面の空間における前記立体視オブジェクトの視認される領域を示す情報を取得し、前記領域を示す情報と前記指座標とに基づいて前記ユーザの指が前記立体視オブジェクトに仮想的に触れたか否かの衝突判定を行う判定手段、として機能させ、
前記判定手段は、前記ユーザの指が前記立体視オブジェクトに仮想的に触れたと判定した場合、前記画像取得手段が取得した画像に基づいて、前記ユーザの指の動きを検出し、前記ユーザが前記立体視オブジェクトに対して行った操作を示す操作情報を生成し、
前記表示制御手段は、前記操作情報に基づいて、前記表示画面に表示させている前記立体視オブジェクトの表示を変化させることを特徴とするプログラム。A computer comprising a display screen for displaying an image, and a photographing unit for photographing a predetermined space in front of the display screen;
Image acquisition means for acquiring an image captured by the imaging unit;
Storage means for storing an image of a user's finger;
Data acquisition means for acquiring data of a stereoscopic object;
Display control means for displaying the stereoscopic object on the display screen based on the data of the stereoscopic object;
Finger coordinate extraction means for comparing the image acquired by the image acquisition means with the image of the user's finger stored in the storage means, and extracting finger coordinates indicating the position where the user's finger is pointing;
Information indicating a region where the stereoscopic object is viewed in the space in front of the display screen is acquired, and the user's finger is virtually attached to the stereoscopic object based on the information indicating the region and the finger coordinates. It functions as a determination means for performing a collision determination on whether or not it is touched,
When the determination unit determines that the user's finger has virtually touched the stereoscopic object, the determination unit detects a movement of the user's finger based on the image acquired by the image acquisition unit, and the user Generate operation information indicating the operation performed on the stereoscopic object,
The display control means changes the display of the stereoscopic object displayed on the display screen based on the operation information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011073390AJP2012208705A (en) | 2011-03-29 | 2011-03-29 | Image operation apparatus, image operation method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011073390AJP2012208705A (en) | 2011-03-29 | 2011-03-29 | Image operation apparatus, image operation method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012208705Atrue JP2012208705A (en) | 2012-10-25 |
Family
ID=47188378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011073390APendingJP2012208705A (en) | 2011-03-29 | 2011-03-29 | Image operation apparatus, image operation method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012208705A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014128787A1 (en)* | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | Tracking display system, tracking display program, tracking display method, wearable device using these, tracking display program for wearable device, and operation method for wearable device |
| JP2016018351A (en)* | 2014-07-08 | 2016-02-01 | 京セラドキュメントソリューションズ株式会社 | Information processing system and information processing method |
| JP2016099839A (en)* | 2014-11-21 | 2016-05-30 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
| US9665168B2 (en) | 2014-05-02 | 2017-05-30 | Canon Kabushiki Kaisha | Image processing apparatus, information processing method, and program |
| JP2017139012A (en)* | 2017-04-10 | 2017-08-10 | 船井電機株式会社 | Input device, aerial image interaction system, and input method |
| CN109272851A (en)* | 2018-11-21 | 2019-01-25 | 福建农林大学 | Teaching method of machine vision inspection test |
| KR20190070619A (en)* | 2017-12-13 | 2019-06-21 | 이인규 | Apparatus of interacting with user |
| CN110686696A (en)* | 2018-07-06 | 2020-01-14 | 本田技研工业株式会社 | Information presentation device, information presentation method, and storage medium |
| JP2023503247A (en)* | 2019-11-20 | 2023-01-27 | インターナショナル・ビジネス・マシーンズ・コーポレーション | METHOD AND SYSTEM FOR SEARCHING IMAGES USING ROTATING GESTURE INPUT |
| US11829572B2 (en) | 2019-10-31 | 2023-11-28 | Sony Group Corporation | Three dimensional input for a cylindrical display device |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1020914A (en)* | 1996-07-08 | 1998-01-23 | Kawasaki Heavy Ind Ltd | Simulation processing method and apparatus |
| JPH10177449A (en)* | 1996-10-18 | 1998-06-30 | Toshiba Corp | Information input device, information input method, correction data generation device, and solid-state imaging device |
| JP2003534594A (en)* | 2000-05-22 | 2003-11-18 | ホログラフイツク・イメージング・エル・エル・シー | 3D human-computer interface |
| JP2005084817A (en)* | 2003-09-05 | 2005-03-31 | Nippon Telegr & Teleph Corp <Ntt> | 3D object posture operation method and program |
| JP2005165665A (en)* | 2003-12-02 | 2005-06-23 | Canon Inc | Virtual object operation assisting device, method, computer program, and computer-readable recording medium |
| JP2007536608A (en)* | 2004-04-05 | 2007-12-13 | マイケル エー． ベセリー | Horizontal perspective hands-on simulator |
| JP2009075656A (en)* | 2007-09-18 | 2009-04-09 | Toyota Motor Corp | Input display device |
- 2011
- 2011-03-29JPJP2011073390Apatent/JP2012208705A/enactivePending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1020914A (en)* | 1996-07-08 | 1998-01-23 | Kawasaki Heavy Ind Ltd | Simulation processing method and apparatus |
| JPH10177449A (en)* | 1996-10-18 | 1998-06-30 | Toshiba Corp | Information input device, information input method, correction data generation device, and solid-state imaging device |
| JP2003534594A (en)* | 2000-05-22 | 2003-11-18 | ホログラフイツク・イメージング・エル・エル・シー | 3D human-computer interface |
| JP2005084817A (en)* | 2003-09-05 | 2005-03-31 | Nippon Telegr & Teleph Corp <Ntt> | 3D object posture operation method and program |
| JP2005165665A (en)* | 2003-12-02 | 2005-06-23 | Canon Inc | Virtual object operation assisting device, method, computer program, and computer-readable recording medium |
| JP2007536608A (en)* | 2004-04-05 | 2007-12-13 | マイケル エー． ベセリー | Horizontal perspective hands-on simulator |
| JP2009075656A (en)* | 2007-09-18 | 2009-04-09 | Toyota Motor Corp | Input display device |
Non-Patent Citations (2)
| Title |
|---|
| CSND201000606007; 勝田有一朗: '"コンピュータの未来技術［第５５回］"' Ｉ／Ｏ 第３５巻， 第１１号, 20101101, ｐ．２２-２４, 株式会社工学社* |
| JPN6014045781; 勝田有一朗: '"コンピュータの未来技術［第５５回］"' Ｉ／Ｏ 第３５巻， 第１１号, 20101101, ｐ．２２-２４, 株式会社工学社* |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014128787A1 (en)* | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | Tracking display system, tracking display program, tracking display method, wearable device using these, tracking display program for wearable device, and operation method for wearable device |
| JP2017199379A (en)* | 2013-02-19 | 2017-11-02 | ミラマ サービス インク | Tracking display system, tracking display program, tracking display method, wearable device using the same, tracking display program for wearable device, and manipulation method for wearable device |
| JPWO2014128787A1 (en)* | 2013-02-19 | 2017-02-02 | 株式会社ブリリアントサービス | Tracking display system, tracking display program, tracking display method, wearable device using them, tracking display program for wearable device, and operation method of wearable device |
| US9651782B2 (en) | 2013-02-19 | 2017-05-16 | Mirama Service Inc. | Wearable tracking device |
| US9665168B2 (en) | 2014-05-02 | 2017-05-30 | Canon Kabushiki Kaisha | Image processing apparatus, information processing method, and program |
| US10061485B2 (en) | 2014-07-08 | 2018-08-28 | Kyocera Document Solutions Inc. | Information processing system that organizes and clearly presents mass data to user, information processing methods, and recording medium |
| JP2016018351A (en)* | 2014-07-08 | 2016-02-01 | 京セラドキュメントソリューションズ株式会社 | Information processing system and information processing method |
| JP2016099839A (en)* | 2014-11-21 | 2016-05-30 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
| JP2017139012A (en)* | 2017-04-10 | 2017-08-10 | 船井電機株式会社 | Input device, aerial image interaction system, and input method |
| KR20190070619A (en)* | 2017-12-13 | 2019-06-21 | 이인규 | Apparatus of interacting with user |
| KR102119863B1 (en)* | 2017-12-13 | 2020-06-16 | 주식회사 파코웨어 | Apparatus of interacting with user |
| CN110686696A (en)* | 2018-07-06 | 2020-01-14 | 本田技研工业株式会社 | Information presentation device, information presentation method, and storage medium |
| CN109272851A (en)* | 2018-11-21 | 2019-01-25 | 福建农林大学 | Teaching method of machine vision inspection test |
| US11829572B2 (en) | 2019-10-31 | 2023-11-28 | Sony Group Corporation | Three dimensional input for a cylindrical display device |
| JP2023503247A (en)* | 2019-11-20 | 2023-01-27 | インターナショナル・ビジネス・マシーンズ・コーポレーション | METHOD AND SYSTEM FOR SEARCHING IMAGES USING ROTATING GESTURE INPUT |
| JP7578366B2 (en) | 2019-11-20 | 2024-11-06 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Method and system for searching images using rotation gesture input |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2012208705A (en) | Image operation apparatus, image operation method and program | |
| US20190250714A1 (en) | Systems and methods for triggering actions based on touch-free gesture detection | |
| JP6057396B2 (en) | 3D user interface device and 3D operation processing method | |
| JP5871345B2 (en) | 3D user interface device and 3D operation method | |
| JP5936155B2 (en) | 3D user interface device and 3D operation method | |
| JP6248533B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6344530B2 (en) | Input device, input method, and program | |
| JP6723814B2 (en) | Information processing apparatus, control method thereof, program, and storage medium | |
| TW201911133A (en) | Controller tracking for multiple degrees of freedom | |
| JP2015187884A (en) | Pointing device with camera and mark output | |
| JP6746419B2 (en) | Information processing apparatus, control method thereof, and computer program | |
| JP2016103137A (en) | User interface system, image processor and control program | |
| JP5863984B2 (en) | User interface device and user interface method | |
| JP2014071672A (en) | Information input device, and information input method | |
| JP7513262B2 (en) | Terminal device, virtual object operation method, and virtual object operation program | |
| JP5939469B2 (en) | Browsing device and browsing system | |
| JP6170696B2 (en) | Image processing apparatus and image processing method | |
| JP3201596U (en) | Operation input device | |
| JP5852928B2 (en) | Operation input device, operation input method and program | |
| Alex et al. | LampTop: Touch detection for a projector-camera system based on shape classification | |
| Pullan et al. | High Resolution Touch Screen Module | |
| KR101591038B1 (en) | Holography touch method and Projector touch method | |
| JP2015162079A (en) | Touch position correcting system and automatic transaction apparatus | |
| KR20150137908A (en) | Holography touch method and Projector touch method | |
| KR20160002620U (en) | Holography touch method and Projector touch method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20131227 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20141020 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20141111 | |
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:20150317 |