Movatterモバイル変換


[0]ホーム

URL:


JP2009122840A - Image data generator - Google Patents

Image data generator
Download PDF

Info

Publication number
JP2009122840A
JP2009122840AJP2007294431AJP2007294431AJP2009122840AJP 2009122840 AJP2009122840 AJP 2009122840AJP 2007294431 AJP2007294431 AJP 2007294431AJP 2007294431 AJP2007294431 AJP 2007294431AJP 2009122840 AJP2009122840 AJP 2009122840A
Authority
JP
Japan
Prior art keywords
gaze
image data
image
unit
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007294431A
Other languages
Japanese (ja)
Other versions
JP4989427B2 (en
Inventor
Yasuhiro Sato
康弘 佐藤
Yasunari Morikawa
泰成 森川
Yoshiaki Nagataki
慶明 長瀧
Fumihiko Saito
史彦 斎藤
Katsuyuki Kanbe
勝之 神部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SORITSUDOREI KENKYUSHO KK
Taisei Corp
Original Assignee
SORITSUDOREI KENKYUSHO KK
Taisei Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SORITSUDOREI KENKYUSHO KK, Taisei CorpfiledCriticalSORITSUDOREI KENKYUSHO KK
Priority to JP2007294431ApriorityCriticalpatent/JP4989427B2/en
Publication of JP2009122840ApublicationCriticalpatent/JP2009122840A/en
Application grantedgrantedCritical
Publication of JP4989427B2publicationCriticalpatent/JP4989427B2/en
Activelegal-statusCriticalCurrent
Anticipated expirationlegal-statusCritical

Links

Images

Landscapes

Abstract

Translated fromJapanese

【課題】観察者の関心をそらすことなく、好適なプレゼンテーションを可能とする画像データ生成装置を提供する。
【解決手段】画像データ生成装置30は、観察者に注視させる注視域と、注視域の視野から外れる非注視域と、を備える画像を表示させるための画像データを生成する画像データ生成部34と、オペレータによる操作に基づく指示を取得する指示取得部31と、を備え、画像データ生成部34は、指示に基づいて、画像の非注視域に対して、当該非注視域の画像が注視域の画像よりも注視しにくくなる非注視処理を施すように画像データを処理する非注視処理部34aを備え、指示が取得された場合には、画像データ生成部34は、非注視処理が施された画像データを表示装置に出力する。
【選択図】図2
An image data generation apparatus that enables a suitable presentation without diverting the viewer's interest.
An image data generating apparatus 30 includes afixation region to gaze the observer, andan inattentive area that deviates from the visual field of thegaze region, an image data generating unit 34 for generating image data for displaying an image comprising , an instruction acquisition unit 31 acquires an instruction based on an operation by an operator, comprising the image data generating unit 34 based on the instruction forthe inattentive area of the image, the image of theinattentive area ofgaze region A non-gaze processing unit 34a that processes image data so as to perform non-gaze processing that makes it more difficult to gaze than an image. When an instruction is acquired, the image data generation unit 34 has been subjected to non-gaze processing Output image data to a display device.
[Selection] Figure 2

Description

Translated fromJapanese

本発明は、オペレータが画像を操作する際に用いられる画像データ生成装置に関する。  The present invention relates to an image data generation device used when an operator operates an image.

従来、オペレータが画像を操作することによって、観察者に対してプレゼンテーションを行うためにプレゼンテーションシステムが用いられている(特許文献1参照)。
特開2000−276297号公報
Conventionally, a presentation system has been used to give a presentation to an observer by an operator operating an image (see Patent Document 1).
JP 2000-276297 A

しかしながら、特許文献1に記載の技術を用いてプレゼンテーションを行う際には、オペレータが指示棒等を用いて画像上を指示してプレゼンテーションの主要部分(注視部)を指示し続けていないと、観察者の関心がオペレータの意図するプレゼンテーションの主要部分以外に向いてしまい、また、オペレータが画像変更をする場合に操作用GUIを表示すると、この操作用GUIに関心が集まってしまい、好適なプレゼンテーションが行われないおそれがあった。  However, when a presentation is performed using the technique described in Patent Document 1, observation is performed unless an operator continues to instruct the main part (gaze portion) of the presentation by pointing on the image using a pointer or the like. If the operator's interest is directed to a part other than the main part of the presentation intended by the operator, and the operator GUI is displayed when the operator changes the image, the operator GUI is interested in the operation GUI. There was a risk of not being done.

本発明は、前記した問題を解決すべく創案されたものであり、観察者の関心を注視部に集め、好適なプレゼンテーションを可能とする画像データ生成装置を提供することを課題とする。  The present invention has been developed to solve the above-described problems, and an object of the present invention is to provide an image data generation apparatus that can gather a viewer's interest in a gaze unit and enable a suitable presentation.

前記課題を解決するため、本発明は、オペレータが画像を操作する際に、表示装置に画像を表示させるための画像データを生成する画像データ生成装置であって、観察者に注視させる注視部と、前記観察者が前記注視部を注視したときの周辺視野領域に設けられた非注視部と、を備える画像を表示させるための画像データを生成する画像データ生成部と、前記オペレータによる操作に基づく指示を取得する指示取得部と、を備え、前記画像データ生成部は、前記指示に基づいて、前記画像の非注視部に対して、当該非注視部の画像が前記注視部の画像よりも注視しにくくなる非注視処理を施すように画像データを処理する非注視処理部を備え、前記指示が取得された場合には、前記画像データ生成部は、非注視処理が施された前記画像データを前記表示装置に出力することを特徴とする。  In order to solve the above-described problem, the present invention provides an image data generation device that generates image data for displaying an image on a display device when an operator operates the image, and a gaze unit that causes an observer to gaze An image data generation unit that generates image data for displaying an image, and a non-gaze unit provided in a peripheral visual field region when the observer gazes at the gaze unit, and based on an operation by the operator An instruction acquisition unit that acquires an instruction, and the image data generation unit gazes the non-gaze part of the image with respect to the non-gaze part of the image based on the instruction. A non-gaze processing unit that processes image data so as to perform non-gaze processing that is difficult to perform, and when the instruction is acquired, the image data generation unit performs the non-gaze processing on the image data And outputs to the display device.

かかる構成によると、非注視部に非注視処理が施されるので、観察者の関心を注視部に集めることができる。  According to such a configuration, since the non-gaze process is performed on the non-gaze part, the observer's interest can be collected on the gaze part.

また、前記課題を解決するため、本発明は、オペレータが画像を操作する際に、表示装置に画像を表示させるための画像データを生成する画像データ生成装置であって、観察者に注視させる注視部と、前記観察者が前記注視部を注視したときの周辺視野領域に設けられた非注視部と、を備える画像を表示させるための画像データを生成する画像データ生成部と、前記オペレータによる操作に基づく指示を取得する指示取得部と、を備え、前記画像データ生成部は、前記指示に基づいて、前記画像の前記注視部に対して、前記非注視部の画像よりも当該注視部の画像に前記観察者を注視させる注視処理を施すように画像データを処理する注視処理部を備え、前記指示が取得された場合には、前記画像データ生成部は、注視処理が施された前記画像データを前記表示装置に出力することを特徴とする。  In order to solve the above-described problem, the present invention provides an image data generation device that generates image data for displaying an image on a display device when an operator operates the image. An image data generation unit for generating image data for displaying an image, and an operation performed by the operator, and a non-gaze unit provided in a peripheral visual field region when the observer gazes at the gaze unit An instruction acquisition unit that acquires an instruction based on the image, and the image data generation unit is configured to generate an image of the gaze unit with respect to the gaze unit of the image rather than the image of the non-gaze unit based on the instruction. A gaze processing unit that processes image data so as to perform a gaze process that gazes the observer, and when the instruction is acquired, the image data generation unit is configured to display the image on which the gaze process has been performed. And outputs the data to the display device.

かかる構成によると、注視部に注視処理が施されるので、観察者の関心を非注視部からそらすことができる。  According to this configuration, since the gaze process is performed on the gaze unit, the observer's interest can be diverted from the non-gaze unit.

また、前記課題を解決するため、本発明は、オペレータが画像を操作する際に、表示装置に画像を表示させるための画像データを生成する画像データ生成装置であって、観察者に注視させる注視部と、前記観察者が前記注視部を注視したときの周辺視野領域に設けられた非注視部と、を備える画像を表示させるための画像データを生成して前記表示装置に出力する画像データ生成部と、前記オペレータによる操作に基づく指示を取得する指示取得部と、を備え、前記画像データ生成部は、前記指示に基づいて、前記画像の非注視部に操作用GUIを表示するように画像データを処理する操作用GUI処理部を備え、前記指示が取得された場合には、前記画像データ生成部は、操作用GUIを表示するように処理された前記画像データを前記表示装置に出力することを特徴とする。  In order to solve the above-described problem, the present invention provides an image data generation device that generates image data for displaying an image on a display device when an operator operates the image. Image data generation for generating and outputting to the display device image data for displaying an image comprising a non-gaze portion provided in a peripheral visual field region when the observer gazes at the gaze unit And an instruction acquisition unit that acquires an instruction based on an operation by the operator, and the image data generation unit displays an operation GUI on a non-gazing unit of the image based on the instruction. An operation GUI processing unit for processing data; and when the instruction is acquired, the image data generation unit displays the image data processed to display the operation GUI as the table. And outputs to the device.

かかる構成によると、操作用GUIを注視部ではなく非注視部に表示するので、観察者に操作用GUIを注視させることなく、注視部であるプレゼンテーションの主要部分を注視させることができる。  According to such a configuration, the operation GUI is displayed on the non-gaze unit, not the gaze unit, so that the main part of the presentation that is the gaze unit can be gazeed without causing the observer to gaze at the operation GUI.

本発明によれば、観察者の関心を注視部に集めることができ、好適なプレゼンテーションを可能とすることができる。  According to the present invention, the viewer's interest can be collected in the gaze unit, and a suitable presentation can be made possible.

以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。  Hereinafter, embodiments of the present invention will be described with reference to the drawings as appropriate. Similar parts are denoted by the same reference numerals, and redundant description is omitted.

まず、本発明の実施形態に係る画像データ生成装置が適用された画像表示システムの構成について、図1及び図2を参照して説明する。図1は、本発明の実施形態に係る画像表示システムの外観を示す模式図である。図2は、本発明の実施形態に係る画像データ生成装置を示すブロック図である。  First, a configuration of an image display system to which an image data generation device according to an embodiment of the present invention is applied will be described with reference to FIGS. 1 and 2. FIG. 1 is a schematic diagram showing an appearance of an image display system according to an embodiment of the present invention. FIG. 2 is a block diagram showing an image data generation apparatus according to the embodiment of the present invention.

図1に示すように、本発明の実施形態に係る画像表示システムは、オペレータP1が画像を操作することによって、観察者P2に対してプレゼンテーションを行うためのシステムである。本発明におけるプレゼンテーションは、オペレータP1が画像を用いて観察者P2との間で合意を形成するインタラクティブ体験を含む概念である。図1に示すように、本発明の実施形態に係る画像表示システムは、表示装置10と、入力装置20と、画像データ生成装置30と、を備える。  As shown in FIG. 1, the image display system according to the embodiment of the present invention is a system for giving a presentation to an observer P2 by an operator P1 operating an image. The presentation in the present invention is a concept including an interactive experience in which the operator P1 forms an agreement with the observer P2 using an image. As shown in FIG. 1, the image display system according to the embodiment of the present invention includes adisplay device 10, aninput device 20, and an imagedata generation device 30.

表示装置10は、リアプロジェクション型の装置であり、立体プロジェクタを構成する一対のプロジェクタ11,12と、スクリーン13と、を備える。
一対のプロジェクタ11,12は、画像データ生成装置30から出力された画像データに基づいて、スクリーン13に対してその背面側から画像光を照射する。
スクリーン13は、照射された画像光によって、オペレータP1及び観察者P2に対して三次元の画像を表示する。観察者P2は、スクリーン13から所定の距離だけ又はそれ以上離れて画像を見る。観察者P2とスクリーン13との距離は、後記する非注視部が観察者P2の周辺視野領域に位置するように設定される。
Thedisplay device 10 is a rear projection type device and includes a pair ofprojectors 11 and 12 and ascreen 13 constituting a stereoscopic projector.
The pair ofprojectors 11 and 12 irradiate thescreen 13 with image light from the back side based on the image data output from the imagedata generation device 30.
Thescreen 13 displays a three-dimensional image for the operator P1 and the observer P2 by the irradiated image light. The observer P2 views the image at a predetermined distance or more from thescreen 13. The distance between the viewer P2 and thescreen 13 is set so that a non-gaze portion to be described later is located in the peripheral visual field region of the viewer P2.

なお、表示装置10は、フロントプロジェクション型であり、一対のプロジェクタ11,12がスクリーン13の表面側に設けられていてもよい。
時分割シャッタ方式の立体視を行う場合には、一対のプロジェクタ11,12に代えて設けられた一台の時分割対応プロジェクタ(図示せず)が、観察者P2が装着する液晶シャッタメガネ(図示せず)と同期して右眼用画像光と左眼用画像光とを交互に照射する。
また、偏光方式の立体視を行う場合には、一対のプロジェクタ11,12は、それぞれ右眼用画像光及び左眼用画像光を照射する。一対のプロジェクタ11,12は、互いに直交する偏光(直線偏光または円偏光)板を通して右眼用画像光と左眼用画像光をそれぞれ照射する。観察者P2は、左右が互いに直交する偏光メガネ(図示せず)を装着して3次元の画像を観察する。
なお、立体視をせずに3次元画像を表示する場合には、一対のプロジェクタ11,12及びスクリーン13に代えて、液晶ディスプレイ、プラズマディスプレイ等を使用することができる。
また、立体視対応のディスプレイを使用することもできる。
Thedisplay device 10 is a front projection type, and a pair ofprojectors 11 and 12 may be provided on the surface side of thescreen 13.
When performing time-division shutter-type stereoscopic viewing, a single time-division-compatible projector (not shown) provided in place of the pair ofprojectors 11 and 12 is liquid crystal shutter glasses (see FIG. (Not shown) and the right eye image light and the left eye image light are alternately irradiated.
In addition, when performing polarization-type stereoscopic viewing, the pair ofprojectors 11 and 12 radiate right-eye image light and left-eye image light, respectively. The pair ofprojectors 11 and 12 irradiate right-eye image light and left-eye image light through polarization plates (linearly polarized light or circularly polarized light) orthogonal to each other. The observer P2 wears polarizing glasses (not shown) whose right and left are orthogonal to each other and observes a three-dimensional image.
When displaying a three-dimensional image without stereoscopic viewing, a liquid crystal display, a plasma display, or the like can be used instead of the pair ofprojectors 11 and 12 and thescreen 13.
A stereoscopic display can also be used.

図1に示すように、入力装置20は、オペレータP1の操作入力に基づいて3次元位置データ(3次元座標)を生成するための3次元位置センサである。また、入力装置20は、オペレータP1の操作入力に基づいて指示データを生成する。3次元位置センサ20としては、磁気式、力学式、ワイヤー式、光学式、超音波式、これらを組み合わせた方式などのセンサが使用可能である。
生成された3次元位置データ及び指示データは、画像データ生成装置30に出力される。
As shown in FIG. 1, theinput device 20 is a three-dimensional position sensor for generating three-dimensional position data (three-dimensional coordinates) based on an operation input from the operator P1. Theinput device 20 generates instruction data based on the operation input of the operator P1. As the three-dimensional position sensor 20, a sensor such as a magnetic type, a dynamic type, a wire type, an optical type, an ultrasonic type, or a combination of these can be used.
The generated three-dimensional position data and instruction data are output to the imagedata generation device 30.

画像データ生成装置30は、例えば、CPU、RAM、ROM、ディスク等の外部記憶装置および入出力回路を備えており、3次元位置センサ20からの入力と、記憶装置に記憶されたプログラムやデータに基づいて各演算処理を行うことによって、制御を実行する。図2に示すように、画像データ生成装置30は、指示データ取得部31と、データ更新部32と、データ記憶部33と、画像データ生成部34と、を備える。  The imagedata generation device 30 includes, for example, an external storage device such as a CPU, a RAM, a ROM, and a disk, and an input / output circuit. The imagedata generation device 30 receives the input from the three-dimensional position sensor 20 and the programs and data stored in the storage device. Control is performed by performing each arithmetic processing based on it. As shown in FIG. 2, the imagedata generation device 30 includes an instructiondata acquisition unit 31, adata update unit 32, adata storage unit 33, and an imagedata generation unit 34.

指示データ取得部31は、入力装置20から入力された3次元位置データ及び指示データを取得する。取得された3次元位置データ及び指示データは、データ更新部32及び画像データ生成部34に出力される。  The instructiondata acquisition unit 31 acquires the three-dimensional position data and instruction data input from theinput device 20. The acquired three-dimensional position data and instruction data are output to thedata update unit 32 and the imagedata generation unit 34.

データ更新部32は、入力装置20からの3次元位置データ及び指示データに基づいて、データ記憶部33に記憶された空間データ及び物体データを更新する。また、データ更新部32は、図示しないキーボード等の入力装置からの入力信号に基づいて、新たな物体データを生成してデータ記憶部33に記憶させることができる。  Thedata update unit 32 updates the spatial data and object data stored in thedata storage unit 33 based on the three-dimensional position data and the instruction data from theinput device 20. Thedata updating unit 32 can generate new object data based on an input signal from an input device such as a keyboard (not shown) and store the new object data in thedata storage unit 33.

データ記憶部33は、画像として表示される空間に関する空間データ33aと、この空間内に配置される物体に関する物体データ33bと、を記憶している。
空間データ33aは、物体が配置される空間に関するデータであり、例えば、住居の一室(床、壁、天井など)の形状、寸法、座標、都市部の一区画(道路、川など)の形状、寸法、座標に関するデータである。
物体データ33bは、物体のID、種類、形状、寸法、座標(位置)、向きなどを関連付けたものである。物体データ33bの移動可能な範囲は、空間データ33aの規定する範囲内である。
Thedata storage unit 33stores space data 33a related to a space displayed as an image andobject data 33b related to an object arranged in the space.
Thespace data 33a is data related to a space in which an object is placed. For example, the shape, dimensions, coordinates, and shape of a city block (road, river, etc.) of a room (floor, wall, ceiling, etc.) of a residence. , Data on dimensions and coordinates.
Theobject data 33b associates an object ID, type, shape, dimension, coordinates (position), orientation, and the like. The movable range of theobject data 33b is within the range defined by thespatial data 33a.

画像データ生成部34は、データ記憶部33に記憶された空間データ33a及び物体データ33bに基づいて、画像データを生成する。画像データは、観察者P2に注視させる注視部と、観察者P2が注視部を注視したときの周辺視野領域に設けられた非注視部と、を備える画像を表示させるためのデータである。本実施形態において、画像が表示されるスクリーン13は、観察者P2が所定の位置で注視部を注視したときの中心視野よりも大きい画像を表示することが可能な大型スクリーンであり、注視部は、画像の中心部分に設けられ、非注視部は、観察者P2が注視部を注視したときの周辺視野領域に位置する画像の周縁部分に設けられる。
ここで、「中心視野」領域は、視線(注視点)を中心にした約20度の範囲のことであり、観察者は、中心視野領域において物の形を細部にわたって判別したり色を認識したりすることができる。
また、「周辺視野」領域は、中心視野領域から外れた上下130度、左右180度の範囲のことであり、周辺視野領域では、観察者は、当該領域を見てはいるが物の形はぼんやりして、色もあまりわからない。非注視部は、この周辺視野領域に設けられる。
画像データ生成部34は、非注視処理部34aと、注視処理部34bと、操作用GUI処理部34cと、を備える。
The imagedata generation unit 34 generates image data based on thespatial data 33a and theobject data 33b stored in thedata storage unit 33. The image data is data for displaying an image including a gaze unit that causes the viewer P2 to gaze and a non-gaze unit provided in the peripheral visual field region when the viewer P2 gazes the gaze unit. In the present embodiment, thescreen 13 on which an image is displayed is a large screen capable of displaying an image larger than the central visual field when the observer P2 gazes at the gaze unit at a predetermined position. The non-gaze portion is provided in the peripheral portion of the image located in the peripheral visual field region when the observer P2 gazes at the gaze portion.
Here, the “central visual field” region is a range of about 20 degrees centered on the line of sight (gaze point), and the observer can discriminate the shape of the object in detail and recognize the color in the central visual field region. Can be.
In addition, the “peripheral visual field” region is a range of 130 degrees up and down and 180 degrees left and right outside the central visual field region. In the peripheral visual field region, the observer looks at the region but the shape of the object is I don't know much about the color. The non-gaze portion is provided in this peripheral visual field region.
The imagedata generation unit 34 includes anon-gaze processing unit 34a, agaze processing unit 34b, and an operationGUI processing unit 34c.

非注視処理部34aは、指示データ取得部31からの指示データに基づいて、画像の非注視部に対して、当該非注視部の画像が注視部の画像よりも注視しにくくなる非注視処理を施すように画像データを処理する。非注視処理は、ぼかし、輝度の低下、コントラストの低下、FOG化及び無彩色化の少なくとも一つを含む。
「ぼかし」は、画像のピクセル単位で周囲の数ピクセルに分配する処理、すなわち、解像度を低下させる処理である。
「輝度の低下」は、画像のピクセル単位でRGB値を所定の割合で減少させる処理である。
「コントラストの低下」は、画像のピクセル単位でRGB値を所定の値に近づけ、RGB値の範囲を限定する処理である。
「FOG化」は、画像のピクセル単位で背景色(例えば、グレー)と元のRGB値とを混合する処理である。
「無彩色化」は、画像のピクセル単位でRGB値を平均化し、モノトーン化する処理である。
Based on the instruction data from the instructiondata acquisition unit 31, thenon-gaze processing unit 34 a performs non-gaze processing on the non-gaze part of the image so that the image of the non-gaze part is less likely to gaze than the image of the gaze part. The image data is processed as given. The non-gaze process includes at least one of blurring, luminance reduction, contrast reduction, FOG, and achromatic.
“Blur” is a process of distributing the image to several surrounding pixels, that is, a process of reducing the resolution.
“Brightness reduction” is a process of reducing the RGB value at a predetermined rate in pixel units of the image.
The “decrease in contrast” is a process that limits the RGB value range by bringing the RGB value closer to a predetermined value for each pixel of the image.
“FOG conversion” is a process of mixing a background color (for example, gray) and an original RGB value in pixel units of an image.
“Naturalization” is a process of averaging RGB values in units of pixels of an image and making them monotone.

注視処理部34bは、指示データ取得部31からの指示データに基づいて、非注視部の画像よりも注視部に観察者を注視させる注視処理を施すように画像データを処理する。注視処理は、色の変化、点滅及びアニメーションの表示の少なくとも一つを含む。
「色の変化」は、注視部のプレゼンテーション対象物の色を変化させる処理である。
「点滅」は、注視部のプレゼンテーション対象物を点滅させる処理である。
「アニメーションの表示」は、注視部のプレゼンテーション対象物の近傍にアニメーションを表示させる処理である。
Based on the instruction data from the instructiondata acquisition unit 31, thegaze processing unit 34b processes the image data so as to perform a gaze process that causes the gaze unit to gaze the gaze unit rather than the image of the non-gaze unit. The gaze process includes at least one of color change, blinking, and animation display.
“Color change” is a process of changing the color of the presentation object of the gaze unit.
“Blinking” is a process of blinking the presentation object of the gaze unit.
“Display animation” is a process of displaying an animation in the vicinity of the presentation object of the gaze unit.

操作用GUI処理部34cは、指示データ取得部31からの指示データに基づいて、画像の非注視部に操作用GUIを表示するように画像データを処理する。  Based on the instruction data from the instructiondata acquisition unit 31, the operationGUI processing unit 34 c processes the image data so that the operation GUI is displayed on the non-gaze portion of the image.

すなわち、画像データ生成部34は、指示データが取得された場合には、非注視処理、注視処理及び操作用GUI処理が施された画像データを一対のプロジェクタ11,12に出力する。  That is, when the instruction data is acquired, the imagedata generation unit 34 outputs the image data subjected to the non-gaze process, the gaze process, and the operation GUI process to the pair ofprojectors 11 and 12.

続いて、画像表示システムの動作例について、図3〜図6を参照して説明する。図3〜図6は、本発明の実施形態に係る画像表示システムの動作例を説明するための画像を示す図である。  Subsequently, an operation example of the image display system will be described with reference to FIGS. 3 to 6 are diagrams illustrating images for explaining an operation example of the image display system according to the embodiment of the present invention.

まず、図3(a)に示すように、スクリーン13に、画像データ生成装置30の画像データ生成部34によって生成・出力された画像データによる画像が表示されている。
この画像において、カーソル41及び物体42が表示されている。カーソル41は、オペレータP1による入力装置20の操作に応じて画像内を移動する。物体42は、GUIによってアイコン化されている。
First, as shown in FIG. 3A, an image based on image data generated and output by the imagedata generation unit 34 of the imagedata generation device 30 is displayed on thescreen 13.
In this image, acursor 41 and anobject 42 are displayed. Thecursor 41 moves in the image according to the operation of theinput device 20 by the operator P1. Theobject 42 is iconified by GUI.

図3(b)に示すように、オペレータP1による入力装置20の操作によって、カーソル41が物体42上に移動し、指示データが入力されると、画像データ生成部34の注視処理部34bは、物体42の色を変え(注視処理)、画像データ生成部34の非注視処理部34aは、画像の非注視部52を徐々にFOG化する(非注視処理)。なお、画像の注視部51はFOG化されない。  As shown in FIG. 3B, when thecursor 41 is moved onto theobject 42 and the instruction data is input by the operation of theinput device 20 by the operator P1, thegaze processing unit 34b of the imagedata generating unit 34 is The color of theobject 42 is changed (gaze processing), and thenon-gaze processing unit 34a of the imagedata generation unit 34 gradually FOGs thenon-gaze unit 52 of the image (non-gaze processing). Note that theimage gaze unit 51 is not converted to FOG.

本実施形態において、注視部51は、画像の中央に設定されており、非注視部52は、観察者P2の視野角から外れる画像の周縁部に設定されている。  In the present embodiment, thegaze unit 51 is set at the center of the image, and thenon-gaze unit 52 is set at the peripheral portion of the image deviating from the viewing angle of the observer P2.

FOG化の終了後、図4(a)に示すように、画像データ生成部34の操作用GUI処理部34cは、非注視部52に操作用GUI、すなわち、操作用カーソル61及び操作用アイコン62を表示させる(操作用GUI処理)。  After completion of the FOG, as shown in FIG. 4A, the operationGUI processing unit 34c of the imagedata generation unit 34 sends an operation GUI, that is, anoperation cursor 61 and anoperation icon 62 to thenon-gaze unit 52. Is displayed (GUI processing for operation).

続いて、図4(b)に示すように、オペレータP1による入力装置20の操作によって、操作用カーソル61が操作用アイコン62上、本実施形態では、Editボタン上に移動し、指示データが入力されると、画像データ生成部34の操作用GUI処理部34cは、新たな操作用カーソル63及び操作用アイコン64a,64b,64c,64d,64eを表示させる(操作用GUI処理)。  Subsequently, as shown in FIG. 4B, by the operation of theinput device 20 by the operator P1, theoperation cursor 61 is moved on theoperation icon 62, in this embodiment, the Edit button, and the instruction data is input. Then, the operationGUI processing unit 34c of the imagedata generation unit 34 displays anew operation cursor 63 andoperation icons 64a, 64b, 64c, 64d, and 64e (operation GUI processing).

続いて、図5(a)に示すように、オペレータP1による入力装置20の操作によって、操作用カーソル63が操作用アイコン64b上に移動し、指示データが入力されると、画像データ生成部34の操作用GUI処理部34cは、新たな操作用カーソル65及び操作用アイコン66を表示させる(操作用GUI処理)。ここで、操作用アイコン64bは、対象物の色を変化させるためのボタンである。  Subsequently, as shown in FIG. 5A, when theoperation cursor 63 is moved onto theoperation icon 64b by the operation of theinput device 20 by the operator P1, and the instruction data is input, the imagedata generating unit 34 is operated. The operationGUI processing unit 34c displays anew operation cursor 65 and an operation icon 66 (operation GUI processing). Here, theoperation icon 64b is a button for changing the color of the object.

続いて、図5(b)に示すように、オペレータP1による入力装置20の操作によって、操作用カーソル65が操作用アイコン66上に移動し、指示データが入力されると、画像データ生成部34は、操作用アイコン66に応じた画像処理、本実施形態では、物体42の色を所望の色に変化させる処理を実行する。
その際に、画像データ生成部30の注視処理部34bは、カーソル41に代えてアニメーション43を表示させる(注視処理)。
Subsequently, as shown in FIG. 5B, when theoperation cursor 65 is moved onto theoperation icon 66 by the operation of theinput device 20 by the operator P1, and the instruction data is input, the imagedata generating unit 34 is displayed. Performs image processing corresponding to theoperation icon 66, in this embodiment, processing for changing the color of theobject 42 to a desired color.
At that time, thegaze processing unit 34b of the imagedata generation unit 30 displays theanimation 43 instead of the cursor 41 (gaze processing).

本実施形態において、アニメーション43は、色を変化させる処理に対応した、ペンキを垂らすアニメーションである。  In the present embodiment, theanimation 43 is an animation of dripping paint corresponding to the process of changing the color.

続いて、図6に示すように、画像処理が終了すると、画像データ生成部30は、操作用アイコン62,64a,64b,64c,64d,64e,66、操作用カーソル65及びアニメーション43を消去し、非注視部52における処理を終了し、カーソル41を表示させる。  Subsequently, as shown in FIG. 6, when the image processing is completed, the imagedata generation unit 30 deletes theoperation icons 62, 64 a, 64 b, 64 c, 64 d, 64 e, 66, theoperation cursor 65 and theanimation 43. Then, the process in thenon-gaze unit 52 is terminated and thecursor 41 is displayed.

なお、操作用GUIである操作用カーソル61,63,65は、非注視部52内のみの移動を可能とし、注視部51への移動を禁止されていてもよく、又は、非注視部51内を移動する際に非可視化されてもよい。  Note that theoperation cursors 61, 63, and 65, which are operation GUIs, can be moved only in thenon-gaze unit 52 and may be prohibited from moving to thegaze unit 51, or in thenon-gaze unit 51. It may be made invisible when moving.

本発明の実施形態に係る画像データ生成装置30が適用された画像表示システムは、以下の効果を奏する。
非注視部52に非注視処理が施されるので、観察者P2の関心を注視部51に集めることができ、観察者P2の関心をそらすことなく、好適なプレゼンテーションを可能とすることができる。
注視部51に注視処理が施されるので、観察者P2の関心を非注視部52からそらすことができ、好適なプレゼンテーションを可能とすることができる。
操作用GUIを注視部51ではなく非注視部52に表示するので、観察者P2の関心を注視部51であるプレゼンテーションの主要部分に集めることができ、観察者P2の関心をそらすことなく、好適なプレゼンテーションを可能とすることができる。
また、これらの処理が一緒に施されるので、より相乗的に、観察者P2の関心を注視部51に集め、好適なプレゼンテーションを可能とすることができる。
The image display system to which the imagedata generation device 30 according to the embodiment of the present invention is applied has the following effects.
Since the non-gaze processing is performed on thenon-gaze unit 52, the interest of the observer P2 can be collected in thegaze unit 51, and a suitable presentation can be made possible without diverting the interest of the observer P2.
Since the gaze processing is performed on thegaze unit 51, the interest of the observer P2 can be diverted from thenon-gaze unit 52, and a suitable presentation can be made possible.
Since the operation GUI is displayed not on thegaze unit 51 but on thenon-gaze unit 52, it is possible to gather the interest of the observer P2 in the main part of the presentation that is thegaze unit 51, and it is preferable without diverting the interest of the observer P2. Presentation can be made possible.
Moreover, since these processes are performed together, it is possible to collect the interest of the observer P2 in thegaze unit 51 in a more synergistic manner, thereby enabling a suitable presentation.

以上、本発明の実施形態について詳細に説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。
例えば、画像データ生成装置30は、非注視処理部34a、注視処理部34b及び操作用GUI処理部の少なくとも一つを備えていればよい。
また、注視処理としてのアニメーションは、ペンキを垂らすものに限定されず、画像処理の内容に対応して、例えば、メッセージ性を有する日常的身体動作(掴む、指差す、走る、しゃがむ等)、画像処理の内容を表すもの(はさみ(で切る)等)、公共性を有する図表(進入禁止等の一般的な図表)とすることが可能である。
また、注視部及び非注視部の位置関係は、前記したものに限定されない。例えば、注視部を画像の一端部(例えば、左端部)とし、非注視部を画像の他端部(例えば、右端部)とすることができる。
また、観察者と画像との距離を適宜設定することによって、大型のスクリーンだけでなく、本発明を小型のスクリーンに適用することも可能である。
また、非注視処理における非注視部の画像変化のスピードは、ゆっくりしたものであることが望ましい。これは、非注視部が設けられた周辺視野領域においては、観察者は、急速な変化に対しては中心視野領域よりも敏感となるおそれがあるためである。非注視処理における非注視部の画像変化のスピードがゆっくりしている場合には、観察者は、非注視部の画像変化に気づきにくくなり、観察者の注視部への注視は妨害されない。かかる効果を奏するため、例えば、非注視処理における非注視部の画像変化のスピードを、注視処理における注視部のアニメーションの画像変化のスピードよりも遅くすることができる。
また、非注視処理がぼかし、すなわち、解像度の低下である場合には、観察者が注視する注視点を中心とした20度以内の中心視野領域の画像の解像度に対して、中心視野領域から離れるにつれて画像の解像度が低下するように、例えば、注視点を中心とした40度の位置(注視点から20度の位置)の画像の解像度が1/2、注視点を中心とした60度の位置(注視点から30度の位置)の画像の解像度が1/3となるように周辺視野領域の画像を処理することによって、より好適に、観察者の関心を注視部に集める構成であってもよい。
As mentioned above, although embodiment of this invention was described in detail, this invention is not limited to the said embodiment, A design change is possible suitably in the range which does not deviate from the summary of this invention.
For example, the imagedata generation device 30 may include at least one of anon-gaze processing unit 34a, agaze processing unit 34b, and an operation GUI processing unit.
In addition, the animation as the gaze processing is not limited to the one that hangs the paint. For example, in response to the content of the image processing, for example, daily physical movements with message characteristics (grabbing, pointing, running, squatting, etc.), images It is possible to use a processing chart (scissors, etc.) or a public chart (general chart such as entry prohibition).
Further, the positional relationship between the gaze unit and the non-gaze unit is not limited to that described above. For example, the gaze portion can be one end portion (for example, the left end portion) of the image, and the non-gaze portion can be the other end portion (for example, the right end portion) of the image.
Further, by appropriately setting the distance between the observer and the image, the present invention can be applied not only to a large screen but also to a small screen.
Further, it is desirable that the speed of image change of the non-gaze portion in the non-gaze process is slow. This is because, in the peripheral visual field area where the non-gaze portion is provided, the observer may be more sensitive to rapid changes than the central visual field area. When the image change speed of the non-gaze part in the non-gaze process is slow, the observer is less likely to notice the image change of the non-gaze part, and the observer's gaze on the gaze part is not hindered. In order to achieve such an effect, for example, the speed of the image change of the non-gaze part in the non-gaze process can be made slower than the image change speed of the animation of the gaze part in the gaze process.
Further, when the non-gaze processing is blurred, that is, the resolution is lowered, the image is separated from the central visual field area with respect to the resolution of the image of the central visual field area within 20 degrees centered on the gazing point observed by the observer. For example, the resolution of the image at a position of 40 degrees centered on the gazing point (position 20 degrees from the gazing point) is 1/2 and the position of 60 degrees centered on the gazing point so that the resolution of the image decreases as Even if it is the structure which gathers an observer's interest in a gaze part more suitably by processing the image of a peripheral visual field area so that the resolution of the image (position 30 degree | times from a gaze point) may become 1/3. Good.

本発明の実施形態に係る画像表示システムの外観を示す模式図である。It is a mimetic diagram showing appearance of an image display system concerning an embodiment of the present invention.本発明の実施形態に係る画像データ生成装置を示すブロック図である。1 is a block diagram illustrating an image data generation device according to an embodiment of the present invention.本発明の実施形態に係る画像表示システムの動作例を説明するための画像を示す図である。It is a figure which shows the image for demonstrating the operation example of the image display system which concerns on embodiment of this invention.本発明の実施形態に係る画像表示システムの動作例を説明するための画像を示す図である。It is a figure which shows the image for demonstrating the operation example of the image display system which concerns on embodiment of this invention.本発明の実施形態に係る画像表示システムの動作例を説明するための画像を示す図である。It is a figure which shows the image for demonstrating the operation example of the image display system which concerns on embodiment of this invention.本発明の実施形態に係る画像表示システムの動作例を説明するための画像を示す図である。It is a figure which shows the image for demonstrating the operation example of the image display system which concerns on embodiment of this invention.

符号の説明Explanation of symbols

10 表示装置
20 入力装置
30 画像データ生成装置
31 指示データ取得部
32 データ更新部
33 データ記憶部
34 画像データ生成部
34a 非注視処理部
34b 注視処理部
34c 操作用GUI処理部
51 注視部
52 非注視部
DESCRIPTION OFSYMBOLS 10Display apparatus 20Input apparatus 30 Imagedata generation apparatus 31 Instructiondata acquisition part 32 Data updatepart 33Data storage part 34 Imagedata generation part 34a Nongaze process part 34bGaze process part 34c OperationGUI process part 51Gaze part 52 Non gaze Part

Claims (9)

Translated fromJapanese
オペレータが画像を操作する際に、表示装置に画像を表示させるための画像データを生成する画像データ生成装置であって、
観察者に注視させる注視部と、前記観察者が前記注視部を注視したときの周辺視野領域に設けられた非注視部と、を備える画像を表示させるための画像データを生成する画像データ生成部と、
前記オペレータによる操作に基づく指示を取得する指示取得部と、
を備え、
前記画像データ生成部は、前記指示に基づいて、前記画像の非注視部に対して、当該非注視部の画像が前記注視部の画像よりも注視しにくくなる非注視処理を施すように画像データを処理する非注視処理部を備え、
前記指示が取得された場合には、前記画像データ生成部は、非注視処理が施された前記画像データを前記表示装置に出力する
ことを特徴とする画像データ生成装置。
An image data generation device that generates image data for displaying an image on a display device when an operator operates the image,
An image data generation unit that generates image data for displaying an image including a gaze unit that causes an observer to gaze, and a non-gaze unit provided in a peripheral visual field region when the observer gazes at the gaze unit When,
An instruction acquisition unit for acquiring an instruction based on an operation by the operator;
With
Based on the instruction, the image data generation unit performs non-gaze processing on the non-gaze part of the image so that the image of the non-gaze part is less likely to gaze than the image of the gaze part. A non-gaze processing unit for processing
When the instruction is acquired, the image data generation unit outputs the image data subjected to non-gaze processing to the display device.
前記非注視処理は、ぼかし、輝度の低下、コントラストの低下、FOG化及び無彩色化の少なくとも一つを含む
ことを特徴とする請求項1に記載の画像データ生成装置。
The image data generating apparatus according to claim 1, wherein the non-gaze processing includes at least one of blurring, luminance reduction, contrast reduction, FOG, and achromatic.
前記画像データ生成部は、前記指示に基づいて、前記画像の前記注視部に対して、前記非注視部の画像よりも当該注視部の画像に前記観察者を注視させる注視処理を施すように画像データを処理する注視処理部を備え、
前記指示が取得された場合には、前記画像データ生成部は、注視処理が施された前記画像データを前記表示装置に出力する
ことを特徴とする請求項1又は請求項2に記載の画像データ生成装置。
Based on the instruction, the image data generation unit is configured to perform a gaze process on the gaze unit of the image so that the observer gazes at the image of the gaze unit rather than the image of the non-gaze unit. A gaze processing unit for processing data;
3. The image data according to claim 1, wherein, when the instruction is acquired, the image data generation unit outputs the image data subjected to the gaze process to the display device. Generator.
前記注視処理は、色の変化、点滅及びアニメーションの表示の少なくとも一つを含む
ことを特徴とする請求項3に記載の画像データ生成装置。
The image data generating apparatus according to claim 3, wherein the gaze processing includes at least one of color change, blinking, and animation display.
前記画像データ生成部は、前記指示に基づいて、前記画像の前記非注視部に操作用GUIを表示するように画像データを処理する操作用GUI処理部を備え、
前記指示が取得された場合には、前記画像データ生成部は、操作用GUIを表示するように処理された前記画像データを前記表示装置に出力する
ことを特徴とする請求項1から請求項4のいずれか一項に記載の画像データ生成装置。
The image data generation unit includes an operation GUI processing unit that processes image data so as to display an operation GUI on the non-gazing unit of the image based on the instruction.
When the instruction is acquired, the image data generation unit outputs the image data processed so as to display an operation GUI to the display device. The image data generation device according to any one of the above.
オペレータが画像を操作する際に、表示装置に画像を表示させるための画像データを生成する画像データ生成装置であって、
観察者に注視させる注視部と、前記観察者が前記注視部を注視したときの周辺視野領域に設けられた非注視部と、を備える画像を表示させるための画像データを生成する画像データ生成部と、
前記オペレータによる操作に基づく指示を取得する指示取得部と、
を備え、
前記画像データ生成部は、前記指示に基づいて、前記画像の前記注視部に対して、前記非注視部の画像よりも当該注視部の画像に前記観察者を注視させる注視処理を施すように画像データを処理する注視処理部を備え、
前記指示が取得された場合には、前記画像データ生成部は、注視処理が施された前記画像データを前記表示装置に出力する
ことを特徴とする画像データ生成装置。
An image data generation device that generates image data for displaying an image on a display device when an operator operates the image,
An image data generation unit that generates image data for displaying an image including a gaze unit that causes an observer to gaze, and a non-gaze unit provided in a peripheral visual field region when the observer gazes at the gaze unit When,
An instruction acquisition unit for acquiring an instruction based on an operation by the operator;
With
Based on the instruction, the image data generation unit is configured to perform a gaze process on the gaze unit of the image so that the observer gazes at the image of the gaze unit rather than the image of the non-gaze unit. A gaze processing unit for processing data;
When the instruction is acquired, the image data generation unit outputs the image data subjected to the gaze process to the display device.
前記注視処理は、色の変化、点滅及びアニメーションの表示の少なくとも一つを含む
ことを特徴とする請求項6に記載の画像データ生成装置。
The image data generation apparatus according to claim 6, wherein the gaze processing includes at least one of color change, blinking, and animation display.
前記画像データ生成部は、前記指示に基づいて、前記画像の前記非注視部に操作用GUIを表示するように画像データを処理する操作用GUI処理部を備え、
前記指示が取得された場合には、前記画像データ生成部は、操作用GUIを表示するように処理された前記画像データを前記表示装置に出力する
ことを特徴とする請求項6又は請求項7に記載の画像データ生成装置。
The image data generation unit includes an operation GUI processing unit that processes image data so as to display an operation GUI on the non-gazing unit of the image based on the instruction.
The said image data generation part outputs the said image data processed so that GUI for operation may be displayed to the said display apparatus, when the said instruction | indication is acquired. The image data generation device described in 1.
オペレータが画像を操作する際に、表示装置に画像を表示させるための画像データを生成する画像データ生成装置であって、
観察者に注視させる注視部と、前記観察者が前記注視部を注視したときの周辺視野領域に設けられた非注視部と、を備える画像を表示させるための画像データを生成して前記表示装置に出力する画像データ生成部と、
前記オペレータによる操作に基づく指示を取得する指示取得部と、
を備え、
前記画像データ生成部は、前記指示に基づいて、前記画像の非注視部に操作用GUIを表示するように画像データを処理する操作用GUI処理部を備え、
前記指示が取得された場合には、前記画像データ生成部は、操作用GUIを表示するように処理された前記画像データを前記表示装置に出力する
ことを特徴とする画像データ生成装置。
An image data generation device that generates image data for displaying an image on a display device when an operator operates the image,
The display device that generates image data for displaying an image including a gaze unit that causes an observer to gaze and a non-gaze unit provided in a peripheral visual field region when the observer gazes the gaze unit An image data generation unit to output to
An instruction acquisition unit for acquiring an instruction based on an operation by the operator;
With
The image data generation unit includes an operation GUI processing unit that processes the image data so as to display the operation GUI on the non-gaze portion of the image based on the instruction.
When the instruction is acquired, the image data generation unit outputs the image data processed to display the operation GUI to the display device.
JP2007294431A2007-11-132007-11-13 Image data generatorActiveJP4989427B2 (en)

Priority Applications (1)

Application NumberPriority DateFiling DateTitle
JP2007294431AJP4989427B2 (en)2007-11-132007-11-13 Image data generator

Applications Claiming Priority (1)

Application NumberPriority DateFiling DateTitle
JP2007294431AJP4989427B2 (en)2007-11-132007-11-13 Image data generator

Publications (2)

Publication NumberPublication Date
JP2009122840Atrue JP2009122840A (en)2009-06-04
JP4989427B2 JP4989427B2 (en)2012-08-01

Family

ID=40814945

Family Applications (1)

Application NumberTitlePriority DateFiling Date
JP2007294431AActiveJP4989427B2 (en)2007-11-132007-11-13 Image data generator

Country Status (1)

CountryLink
JP (1)JP4989427B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
JPH0440491A (en)*1990-06-071992-02-10Hitachi LtdMethod and device for backing up announcement
JPH06110418A (en)*1992-09-281994-04-22Ricoh Co Ltd Sales support device
JP2000242427A (en)*1999-02-222000-09-08Hitachi Ltd Conference support method and apparatus
JP2000276297A (en)*1999-03-252000-10-06Seiko Epson Corp Pointing position detecting device, pointing position detecting method, presentation system, and information storage medium
WO2001043077A1 (en)*1999-12-062001-06-14Fujitsu LimitedImage displaying method and device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
JPH0440491A (en)*1990-06-071992-02-10Hitachi LtdMethod and device for backing up announcement
JPH06110418A (en)*1992-09-281994-04-22Ricoh Co Ltd Sales support device
JP2000242427A (en)*1999-02-222000-09-08Hitachi Ltd Conference support method and apparatus
JP2000276297A (en)*1999-03-252000-10-06Seiko Epson Corp Pointing position detecting device, pointing position detecting method, presentation system, and information storage medium
WO2001043077A1 (en)*1999-12-062001-06-14Fujitsu LimitedImage displaying method and device

Also Published As

Publication numberPublication date
JP4989427B2 (en)2012-08-01

Similar Documents

PublicationPublication DateTitle
JP4888579B2 (en) Visual function inspection device
US11659158B1 (en)Frustum change in projection stereo rendering
JP6642994B2 (en) Display device and control method thereof
TWI610097B (en)Electronic system, portable display device and guiding device
JP5417417B2 (en) Visual function inspection device
KR20130108643A (en)Systems and methods for a gaze and gesture interface
JP2011019202A (en)Image signal processing apparatus and image display
JP2013174642A (en)Image display device
CN111033573B (en)Information processing apparatus, information processing system, image processing method, and storage medium
JP2016162033A (en)Image generation system, image generation method, program, and information storage medium
Li et al.Enhancing 3d applications using stereoscopic 3d and motion parallax
WO2007034351A3 (en)Method of drawing a graphical object
CN102063735B (en)Method and device for manufacturing three-dimensional image source by changing viewpoint angles
JP2006115151A (en) 3D display device
JP4989427B2 (en) Image data generator
Clarke et al.Superpowers in the Metaverse: Augmented Reality Enabled X-Ray Vision in Immersive Environments
JP6442619B2 (en) Information processing device
JP2011240190A (en)Program for examining visual function, and controller for examining visual function
JP2013168781A (en)Display device
JP2017215688A (en)Image processor and image processing method
QueisnerDisrupting Screen-Based Interaction
CN102769769A (en) Medical image processing device
JP2009237310A (en)False three-dimensional display method and false three-dimensional display apparatus
US20230260221A1 (en)Mixed reality environment display using surface reconstruction mesh and live video overlay
TWI704526B (en)Gaming system with expanded vision

Legal Events

DateCodeTitleDescription
A621Written request for application examination

Free format text:JAPANESE INTERMEDIATE CODE: A621

Effective date:20101019

A977Report on retrieval

Free format text:JAPANESE INTERMEDIATE CODE: A971007

Effective date:20120117

A131Notification of reasons for refusal

Free format text:JAPANESE INTERMEDIATE CODE: A131

Effective date:20120124

A521Request for written amendment filed

Free format text:JAPANESE INTERMEDIATE CODE: A523

Effective date:20120326

TRDDDecision of grant or rejection written
A01Written decision to grant a patent or to grant a registration (utility model)

Free format text:JAPANESE INTERMEDIATE CODE: A01

Effective date:20120417

A01Written decision to grant a patent or to grant a registration (utility model)

Free format text:JAPANESE INTERMEDIATE CODE: A01

A61First payment of annual fees (during grant procedure)

Free format text:JAPANESE INTERMEDIATE CODE: A61

Effective date:20120427

R150Certificate of patent or registration of utility model

Free format text:JAPANESE INTERMEDIATE CODE: R150

Ref document number:4989427

Country of ref document:JP

Free format text:JAPANESE INTERMEDIATE CODE: R150

FPAYRenewal fee payment (event date is renewal date of database)

Free format text:PAYMENT UNTIL: 20150511

Year of fee payment:3

R250Receipt of annual fees

Free format text:JAPANESE INTERMEDIATE CODE: R250

R250Receipt of annual fees

Free format text:JAPANESE INTERMEDIATE CODE: R250

R250Receipt of annual fees

Free format text:JAPANESE INTERMEDIATE CODE: R250

R250Receipt of annual fees

Free format text:JAPANESE INTERMEDIATE CODE: R250

R250Receipt of annual fees

Free format text:JAPANESE INTERMEDIATE CODE: R250

R250Receipt of annual fees

Free format text:JAPANESE INTERMEDIATE CODE: R250

R250Receipt of annual fees

Free format text:JAPANESE INTERMEDIATE CODE: R250

R250Receipt of annual fees

Free format text:JAPANESE INTERMEDIATE CODE: R250

R250Receipt of annual fees

Free format text:JAPANESE INTERMEDIATE CODE: R250


[8]ページ先頭

©2009-2025 Movatter.jp