JP5845565B2 - Projector and projector control method - Google Patents

Description

Translated fromJapanese

本発明は、投射面に画像を投射するプロジェクター、及び、プロジェクターの制御方法に関する。  The present invention relates to a projector that projects an image on a projection surface, and a projector control method.

プロジェクターによりスクリーン等の投射面に画像を投射する場合、プロジェクターの投射角によって投射面の画像が歪むことが知られている。従来のプロジェクターは、投射面において正しい形状となるように投射する画像を変形させる台形歪み補正の機能を有している。この台形歪み補正を行った後でプロジェクターが移動してしまうと、投射角が変化して、再び投射画像に歪みが生じる。このため、従来、設置角度を検出する機能を備えたプロジェクターが、設置角度の変化を検出した場合に再び台形歪み補正を実行する技術が提案された（例えば、特許文献１参照）。特許文献１記載のプロジェクターは、加速度センサーによってあおり角を検出する機能を有し、プロジェクターの角度が３度以上変化した場合に自動的に台形歪み補正を行う。  When an image is projected onto a projection surface such as a screen by a projector, it is known that the image on the projection surface is distorted depending on the projection angle of the projector. A conventional projector has a trapezoidal distortion correction function that deforms an image to be projected so as to have a correct shape on a projection surface. If the projector moves after performing this trapezoidal distortion correction, the projection angle changes, and the projected image is distorted again. For this reason, conventionally, a technology has been proposed in which a projector having a function of detecting an installation angle performs keystone distortion correction again when a change in the installation angle is detected (see, for example, Patent Document 1). The projector described inPatent Document 1 has a function of detecting a tilt angle by an acceleration sensor, and automatically performs trapezoidal distortion correction when the angle of the projector changes by 3 degrees or more.

特開２００３−２８３９６３号公報JP 2003-283963 A

ところで、投射画像の歪みは、プロジェクターのあおり角だけでなく水平面内における投射角にも影響されるので、投射面に対するプロジェクターの相対位置が変化した場合には歪みを生じる可能性がある。このため、投射中の投射画像の歪みに対応するためには、プロジェクターの様々な方向への移動や投射面側の移動を検出することが望ましいが、従来の方法ではこれらの移動を全て検出することは難しかった。
本発明は、上述した事情に鑑みてなされたものであり、投射角が変化するような、投射面に対するプロジェクターの相対位置の変化を確実に検出できるプロジェクター、及び、その制御方法を提供することを目的とする。By the way, the distortion of the projection image is influenced not only by the tilt angle of the projector but also by the projection angle in the horizontal plane, and therefore, there is a possibility that distortion occurs when the relative position of the projector with respect to the projection surface changes. For this reason, in order to cope with the distortion of the projected image during projection, it is desirable to detect the movement of the projector in various directions and the movement of the projection surface side, but the conventional method detects all of these movements. That was difficult.
The present invention has been made in view of the above-described circumstances, and provides a projector that can reliably detect a change in the relative position of the projector with respect to the projection surface such that the projection angle changes, and a control method thereof. Objective.

上記目的を達成するために、本発明は、投射面に画像を投射するプロジェクターであって、前記画像を投射する投射部と、移動検出用の特徴画像を含む画像を前記投射部によって投射させる投射制御部と、前記投射面を撮影する撮像部と、前記投射部により前記特徴画像の投射中に前記撮像部により撮影され取得された撮影画像に基づいて参照画像を生成し、前記特徴画像の投射中であって前記撮影画像とは異なる時点で前記撮像部によって撮影され取得された撮影画像に基づいて比較用画像を生成する画像処理部と、前記画像処理部により生成された前記参照画像と前記比較用画像とを用いて、前記投射面に対する前記プロジェクターの相対位置の変化を検出する移動検出部と、を備えることを特徴とする。
本発明によれば、移動検出用の特徴画像を含む画像を投射面に投射した状態で投射面を撮影した撮影画像に基づく参照画像と、特徴画像を含む画像を投射面に投射した状態で上記の撮影とは異なる時点で撮影された撮影画像に基づく比較用画像とを用いることにより、投射面に対するプロジェクターの相対位置の変化を検出する。特徴画像を含む画像を投射面に投射して撮影を行い、撮影画像に基づく参照画像と比較用画像とを比較するので、投射面の状態等に影響されることなく比較を行い、確実に移動を検出できる。これにより、投射面とプロジェクターのどちらが移動した場合であっても、移動方向に関わらず、移動を確実に検出できる。例えば投射角を変化させるようなプロジェクターの位置変化を検出することもできる。従って、自動的に投射面の画像の歪み補正を行う等の処理を行うことができ、利便性の向上が期待できる。In order to achieve the above object, the present invention is a projector that projects an image on a projection surface, and a projection unit that projects the image and a projection that projects an image including a feature image for movement detection by the projection unit. A control unit, an imaging unit that captures the projection surface, a reference image is generated based on a captured image that is captured and acquired by the imaging unit during projection of the feature image by the projection unit, and the feature image is projected An image processing unit that generates a comparative image based on a captured image captured and acquired by the imaging unit at a different time from the captured image, the reference image generated by the image processing unit, and the And a movement detection unit that detects a change in the relative position of the projector with respect to the projection plane using the comparison image.
According to the present invention, the reference image based on the photographed image obtained by photographing the projection surface in a state where the image including the feature image for movement detection is projected on the projection surface, and the image including the feature image is projected on the projection surface. A change in the relative position of the projector with respect to the projection surface is detected by using a comparative image based on a photographed image photographed at a different time point from the above photographing. The image including the feature image is projected onto the projection surface, and the reference image based on the captured image is compared with the comparison image. Therefore, the comparison is performed without being affected by the state of the projection surface and the movement is performed reliably. Can be detected. Thus, regardless of the movement direction, the movement can be reliably detected regardless of which of the projection surface and the projector moves. For example, a change in the position of the projector that changes the projection angle can also be detected. Accordingly, it is possible to perform processing such as automatically correcting distortion of the image on the projection surface, and improvement in convenience can be expected.

本発明は、上記プロジェクターにおいて、前記移動検出部は、前記参照画像及び前記比較用画像について前記特徴画像の位置の変化に起因する画像の差を検出することにより、前記投射面に対する前記プロジェクターの相対位置の変化を検出することを特徴とする。
本発明によれば、投射面の状態等に影響されることなく、参照画像と比較用画像との差を確実に検出し、投射面に対するプロジェクターの相対位置の変化を確実に検出できる。In the projector according to the aspect of the invention, the movement detection unit may detect the difference between the reference image and the comparative image by detecting a difference in the image due to a change in the position of the feature image, thereby relative to the projection surface. It is characterized by detecting a change in position.
According to the present invention, it is possible to reliably detect the difference between the reference image and the comparative image without being affected by the state of the projection surface and the like and reliably detect a change in the relative position of the projector with respect to the projection surface.

また、本発明は、上記プロジェクターにおいて、前記投射制御部は、前記投射面に投射される画像の周囲を囲む枠形状の前記特徴画像を前記投射部によって投射させることを特徴とする。
本発明によれば、枠形状の特徴画像を用いることにより、より確実に参照画像と比較用画像との差を検出できる。In the projector according to the aspect of the invention, the projection control unit may cause the projection unit to project the feature image having a frame shape surrounding the periphery of the image projected on the projection surface.
According to the present invention, the difference between the reference image and the comparison image can be detected more reliably by using the frame-shaped feature image.

また、本発明は、上記プロジェクターにおいて、前記投射制御部は、前記投射部により前記投射面に投射される画像を縮小させ、この縮小した画像の周囲に枠形状の前記特徴画像を投射させることを特徴とする。
本発明によれば、特徴画像を投射画像に重ならないように投射するので、投射中の投射画像の制約を受けることなく特徴画像を投射でき、また、より確実に参照画像と比較用画像との差を検出できる。In the projector according to the aspect of the invention, the projection control unit may reduce the image projected on the projection surface by the projection unit, and project the frame-shaped feature image around the reduced image. Features.
According to the present invention, since the feature image is projected so as not to overlap the projection image, the feature image can be projected without being restricted by the projection image being projected, and more reliably between the reference image and the comparison image. Differences can be detected.

また、本発明は、上記プロジェクターにおいて、前記投射部は、所定の表示可能領域に画像を表示する表示部と、前記表示部に表示された画像を前記投射面に投射する投射光学系とを備え、前記投射制御部は、前記表示部の表示可能領域に表示される画像を変形させることにより前記投射面に投射される画像の変形を補正する歪み補正機能を有し、この歪み補正機能により前記表示部の表示可能領域内に発生する非表示部分に、前記特徴画像を表示させることを特徴とする。
本発明によれば、表示部の表示可能領域における非表示部分を利用して、投射画像に重ならないように特徴画像を投射するので、投射中の投射画像の制約を受けることなく特徴画像を投射でき、また、より確実に参照画像と比較用画像との差を検出できる。In the projector according to the aspect of the invention, the projection unit may include a display unit that displays an image in a predetermined displayable area, and a projection optical system that projects the image displayed on the display unit onto the projection surface. The projection control unit has a distortion correction function for correcting the deformation of the image projected on the projection surface by deforming the image displayed in the displayable area of the display unit. The feature image is displayed in a non-display portion generated in a displayable area of the display unit.
According to the present invention, the feature image is projected so as not to overlap the projection image by using the non-display portion in the displayable area of the display unit, so that the feature image is projected without being restricted by the projection image being projected. In addition, the difference between the reference image and the comparison image can be detected more reliably.

また、本発明は、上記プロジェクターにおいて、前記投射部により投射される画像を変形させて歪み補正を行う台形歪み補正部を備え、前記台形歪み補正部は、前記移動検出部により前記プロジェクターの相対位置の変化が検出された場合に歪み補正を行うことを特徴とする。
本発明によれば、投射面とプロジェクターとの相対位置の変化を検出した場合に、投射される画像の台形歪みを補正するので、投射面に投射される画像を、歪みの少ない良好な状態に保つことができる。The present invention further includes a trapezoidal distortion correction unit configured to perform distortion correction by deforming an image projected by the projection unit in the projector, and the trapezoidal distortion correction unit is configured so that the relative position of the projector is detected by the movement detection unit. The distortion correction is performed when a change in the above is detected.
According to the present invention, when a change in the relative position between the projection surface and the projector is detected, the trapezoidal distortion of the projected image is corrected, so that the image projected on the projection surface is in a good state with little distortion. Can keep.

また、上記目的を達成するために、本発明は、投射面に画像を投射する投射部を備えたプロジェクターの制御方法であって、移動検出用の特徴画像を含む画像を前記投射部によって投射させ、前記特徴画像の投射中に前記撮像部により撮影され取得された撮影画像に基づいて参照画像を生成し、前記特徴画像の投射中であって前記撮影画像とは異なる時点で前記撮像部によって撮影され取得された撮影画像に基づいて比較用画像を生成し、生成した前記参照画像と前記比較用画像とを用いて、前記投射面に対する前記プロジェクターの相対位置の変化を検出することを特徴とする。
本発明の制御方法を実行することにより、プロジェクターは、移動検出用の特徴画像を含む画像を投射面に投射した状態で投射面を撮影した撮影画像に基づく参照画像と、特徴画像を含む画像を投射面に投射した状態で上記の撮影とは異なる時点で撮影された撮影画像に基づく比較用画像とを用いることにより、投射面に対するプロジェクターの相対位置の変化を検出する。特徴画像を含む画像を投射面に投射して撮影を行い、撮影画像に基づく参照画像と比較用画像とを比較するので、投射面の状態等に影響されることなく比較を行い、確実に移動を検出できる。これにより、投射面とプロジェクターのどちらが移動した場合であっても、移動方向に関わらず、移動を確実に検出できる。例えば投射角を変化させるようなプロジェクターの位置変化を検出することもできる。従って、自動的に投射面の画像の歪み補正を行う等の処理を行うことができ、利便性の向上が期待できる。In order to achieve the above object, the present invention provides a projector control method including a projection unit that projects an image on a projection surface, and causes the projection unit to project an image including a feature image for movement detection. A reference image is generated based on a captured image captured and acquired by the imaging unit during the projection of the feature image, and is captured by the imaging unit at a time different from the captured image during the projection of the feature image. A comparison image is generated based on the acquired captured image, and a change in the relative position of the projector with respect to the projection plane is detected using the generated reference image and the comparison image. .
By executing the control method of the present invention, the projector receives a reference image based on a captured image obtained by photographing the projection surface in a state where an image including a feature image for movement detection is projected on the projection surface, and an image including the feature image. A change in the relative position of the projector with respect to the projection surface is detected by using a comparative image based on a photographed image taken at a different time from the above photographing in a state of being projected onto the projection surface. The image including the feature image is projected onto the projection surface, and the reference image based on the captured image is compared with the comparison image. Therefore, the comparison is performed without being affected by the state of the projection surface and the movement is performed reliably. Can be detected. Thus, regardless of the movement direction, the movement can be reliably detected regardless of which of the projection surface and the projector moves. For example, a change in the position of the projector that changes the projection angle can also be detected. Accordingly, it is possible to perform processing such as automatically correcting distortion of the image on the projection surface, and improvement in convenience can be expected.

また、本発明は、上記のプロジェクターの制御方法において、前記プロジェクターは前記投射部により投射される画像を変形させて歪み補正を行う台形歪み補正機能を有し、前記プロジェクターの相対位置の変化が検出された場合に台形歪み補正機能により歪み補正を行うことを特徴とする。
本発明によれば、プロジェクターが、投射面とプロジェクターとの相対位置の変化を検出した場合に台形歪みを補正するので、投射面に投射される画像を、歪みの少ない良好な状態に保つことができる。According to the present invention, in the projector control method, the projector has a trapezoidal distortion correction function that corrects distortion by deforming an image projected by the projection unit, and detects a change in the relative position of the projector. In such a case, distortion correction is performed by a trapezoidal distortion correction function.
According to the present invention, since the projector corrects the trapezoidal distortion when detecting a change in the relative position between the projection surface and the projector, the image projected on the projection surface can be kept in a good state with little distortion. it can.

本発明によれば、投射面の状態等に影響されることなく、投射面とプロジェクターのどちらが移動しても移動方向に関わらず移動を確実に検出できる。  According to the present invention, it is possible to reliably detect movement regardless of the moving direction regardless of the movement direction of the projection surface or the projector without being affected by the state of the projection surface or the like.

本発明を適用した実施形態に係るプロジェクターの構成を示すブロック図である。It is a block diagram which shows the structure of the projector which concerns on embodiment to which this invention is applied.プロジェクターの動作を示すフローチャートである。It is a flowchart which shows operation | movement of a projector.プロジェクターの台形歪み補正処理を示すフローチャートである。It is a flowchart which shows the trapezoid distortion correction process of a projector.台形歪み補正による表示状態の変化を示す図であり、（Ａ）は補正前の投射画像の例を示し、（Ｂ）は補正前の液晶パネルの表示可能領域を示し、（Ｃ）は補正後の投射画像の例を示し、（Ｄ）は補正後の液晶パネルの表示可能領域を示す。It is a figure which shows the change of the display state by trapezoid distortion correction | amendment, (A) shows the example of the projection image before correction | amendment, (B) shows the displayable area | region of the liquid crystal panel before correction | amendment, (C) is after correction | amendment. (D) shows the displayable area of the liquid crystal panel after correction.枠検出による動き検出処理を示すフローチャートである。It is a flowchart which shows the motion detection process by frame detection.計測パターンを用いた動き検出処理を示すフローチャートである。It is a flowchart which shows the motion detection process using a measurement pattern.スクリーンに投射される計測パターンの例を示す図であり、（Ａ）は投射画像の例を示し、（Ｂ）は計測パターンの例を示し、（Ｃ）は計測パターンを画像に重畳して投射した例を示す。It is a figure which shows the example of the measurement pattern projected on a screen, (A) shows the example of a projection image, (B) shows the example of a measurement pattern, (C) superimposes a measurement pattern on an image, and projects An example is shown.スクリーンに投射される計測パターンの別の例を示す図であり、（Ａ）は枠形状の計測パターンの例を示し、（Ｂ）は枠形状の計測パターンを画像に重畳して投射した例を示し、（Ｃ）は時刻表示形状の計測パターンを画像に重畳して投射した例を示す。It is a figure which shows another example of the measurement pattern projected on a screen, (A) shows the example of a frame-shaped measurement pattern, (B) shows the example which superimposed and projected the frame-shaped measurement pattern on the image (C) shows an example in which a measurement pattern of a time display shape is projected superimposed on an image.スクリーンに投射される計測パターンのさらに別の例を示す図である。It is a figure which shows another example of the measurement pattern projected on a screen.

以下、図面を参照して本発明の実施形態について説明する。
図１は、実施形態に係るプロジェクター１００の全体構成を示すブロック図である。プロジェクター１００には、内蔵する記憶装置が記憶する映像ソース（図示略）、または、パーソナルコンピューターや各種映像プレーヤー等の外部の画像供給装置（図示略）から画像信号が入力される。プロジェクター１００は、入力される画像信号に基づいて変調された光をスクリーンＳＣなどの投射面上に投射し、画像（以下「投射画像」と呼ぶ）として表示させる。本実施例では、スクリーンＳＣはほぼ直立しており、スクリーン面は矩形形状とされている。プロジェクター１００に入力される画像は動画像（映像）と静止画像とのどちらでもよく、プロジェクター１００は映像をスクリーンＳＣに投射することも、静止画像をスクリーンＳＣに投射し続けることも可能である。以下の実施形態では、外部から入力される映像信号に基づいて映像を投射する場合を例に挙げて説明する。Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating an overall configuration of aprojector 100 according to the embodiment. Theprojector 100 receives an image signal from a video source (not shown) stored in a built-in storage device or an external image supply device (not shown) such as a personal computer or various video players. Theprojector 100 projects light modulated based on an input image signal onto a projection surface such as a screen SC and displays it as an image (hereinafter referred to as “projected image”). In this embodiment, the screen SC is almost upright, and the screen surface is rectangular. The image input to theprojector 100 may be either a moving image (video) or a still image, and theprojector 100 can project the video on the screen SC or continue to project the still image on the screen SC. In the following embodiments, a case where a video is projected based on a video signal input from the outside will be described as an example.

プロジェクター１００は、大きく分けて光学的な画像の形成を行う光学系と映像信号を電気的に処理する画像処理系とからなる。投射部として機能する光学系は、照明光学系１４０、液晶パネル１３０、投射光学系１５０から構成されている。照明光学系１４０は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ等からなる光源を備えている。照明光学系１４０は、光源が発した光を液晶パネル１３０に導くリフレクター及び補助リフレクターを備えていてもよく、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、或いは光源が発した光を液晶パネル１３０に至る経路上で減光させる調光素子等を備えたものであってもよい。
液晶パネル１３０（表示部）は、後述する画像処理系からの信号を受けて、パネル面に画像を形成する。液晶パネル１３０は、カラーの投影を行うため、ＲＧＢの三原色に対応した３枚の液晶パネルを備えて構成される。照明光学系１４０からの光はＲＧＢの３色の色光に分離され、各色の光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系１５０に射出される。Theprojector 100 is roughly divided into an optical system that forms an optical image and an image processing system that electrically processes a video signal. The optical system that functions as a projection unit includes an illuminationoptical system 140, aliquid crystal panel 130, and a projectionoptical system 150. The illuminationoptical system 140 includes a light source including a xenon lamp, an ultrahigh pressure mercury lamp, an LED, and the like. The illuminationoptical system 140 may include a reflector that guides light emitted from the light source to theliquid crystal panel 130 and an auxiliary reflector, and a lens group (not shown), a polarizing plate, or a light source for enhancing the optical characteristics of the projection light. It may be provided with a light control element or the like for dimming the emitted light on the path to theliquid crystal panel 130.
The liquid crystal panel 130 (display unit) receives a signal from an image processing system described later and forms an image on the panel surface. Theliquid crystal panel 130 includes three liquid crystal panels corresponding to the three primary colors RGB in order to perform color projection. Light from the illuminationoptical system 140 is separated into three color lights of RGB, and light of each color enters each corresponding liquid crystal panel. The color light modulated by passing through each liquid crystal panel is combined by a combining optical system such as a cross dichroic prism and emitted to the projectionoptical system 150.

投射光学系１５０には、投射する画像の拡大・縮小および焦点の調整を行うズームレンズ１５２、ズームの度合いを調整するズーム調整用モーター１５６、フォーカスの調整を行うフォーカス調整用モーター１５７が備えられている。投射光学系１５０は、液晶パネル１３０で変調された光を入射し、ズームレンズ１５２を用いて、スクリーンＳＣ上に投射画像を結像する。ズームレンズ１５２は、ズーム調整用モーター１５６とフォーカス調整用モーター１５７とによって、レンズの位置などが調整され、スクリーンＳＣ上の投射画像の拡大・縮小を行うズーム調整や、スクリーンＳＣ上に投射画像を適正に結像させるフォーカス調整を行う。  The projectionoptical system 150 includes azoom lens 152 that performs enlargement / reduction of a projected image and a focus adjustment, azoom adjustment motor 156 that adjusts the degree of zoom, and afocus adjustment motor 157 that adjusts the focus. Yes. The projectionoptical system 150 receives light modulated by theliquid crystal panel 130 and forms a projection image on the screen SC using thezoom lens 152. Thezoom lens 152 is adjusted by azoom adjustment motor 156 and afocus adjustment motor 157 to adjust the lens position and the like, and zoom adjustment for enlarging / reducing the projected image on the screen SC, and projecting the projected image on the screen SC. Adjust the focus for proper image formation.

画像処理系は、プロジェクター１００全体を統合的に制御するＣＰＵ１２０と映像用プロセッサー１３４とを中心に構成され、Ａ／Ｄ変換部１１０、液晶パネル駆動部１３２、レンズ駆動部１５５、ＲＡＭ１６０、歪み調整用画像記憶部１７１及び計測パターン記憶部１７２を含むＲＯＭ１７０、ＣＣＤカメラ１８１を備えた撮像部１８０、撮影画像メモリー１８２、リモコン制御部１９０、リモコン１９１、操作部１９５等を備える。これらの画像処理系を構成する各要素は、バス１０２を介して互いに接続されている。  The image processing system is mainly configured by a CPU 120 and animage processor 134 that control theentire projector 100 in an integrated manner, and includes an A /D conversion unit 110, a liquid crystalpanel driving unit 132, alens driving unit 155, aRAM 160, and distortion adjustment. AROM 170 including animage storage unit 171 and a measurementpattern storage unit 172, animaging unit 180 including aCCD camera 181, a capturedimage memory 182, aremote control unit 190, aremote controller 191, anoperation unit 195, and the like are provided. These elements constituting the image processing system are connected to each other via a bus 102.

Ａ／Ｄ変換部１１０は、上述した外部の画像供給装置からケーブル２００を介して入力されたアナログ入力信号をＡ／Ｄ変換するデバイスであり、変換後のデジタル信号を映像用プロセッサー１３４に出力する。映像用プロセッサー１３４は、Ａ／Ｄ変換部１１０から入力されたデジタル信号に対して、輝度、コントラスト、色の濃さ、色合い、投射画像の形状等の画像の表示状態を調整する処理を行った上で、液晶パネル駆動部１３２に対して、処理後の映像信号を出力する。液晶パネル駆動部１３２は、映像用プロセッサー１３４から入力される映像信号に基づいて、液晶パネル１３０を駆動する。これにより、Ａ／Ｄ変換部１１０に入力された映像信号に対応した映像が、液晶パネル１３０に形成され、この画像が投射光学系１５０を介して、スクリーンＳＣ上に投射画像として形成される。  The A /D conversion unit 110 is a device that performs A / D conversion on an analog input signal input from the above-described external image supply apparatus via thecable 200, and outputs the converted digital signal to thevideo processor 134. . Thevideo processor 134 performs processing for adjusting the display state of the image such as luminance, contrast, color density, hue, and projected image shape on the digital signal input from the A /D conversion unit 110. Above, the processed video signal is output to the liquid crystalpanel driving unit 132. The liquid crystalpanel driving unit 132 drives theliquid crystal panel 130 based on the video signal input from thevideo processor 134. As a result, a video corresponding to the video signal input to the A /D conversion unit 110 is formed on theliquid crystal panel 130, and this image is formed as a projection image on the screen SC via the projectionoptical system 150.

映像用プロセッサー１３４が行う画像処理としては、上記の明度、コントラスト、色合いなどの補正の他、台形歪み補正が含まれる。図１では、台形歪み補正を行う回路を、特に台形歪み補正部１３６として示した。台形歪み補正部１３６は、ＣＰＵ１２０が備える処理部により算出された投射距離及び投影投射角の値に基づいて、デジタル信号に対して台形歪み補正を行う。
また、映像用プロセッサー１３４は、上記の台形歪み補正における特定の歪み検出用画像の表示を制御する。映像用プロセッサー１３４は、台形歪み補正用のＤＳＰ（デジタルシグナルプロセッサー）として販売されている汎用のプロセッサーを用いて構成することも、専用のＡＳＩＣとして構成することも可能である。
さらに、映像用プロセッサー１３４は、ＣＰＵ１２０から後述する計測パターンがコマンドとともに入力された場合に、この計測パターンの画像を、Ａ／Ｄ変換部１１０から入力されている画像に重ねて、液晶パネル駆動部１３２により表示させる。映像用プロセッサー１３４は、ＣＰＵ１２０の制御に従い、Ａ／Ｄ変換部１１０から入力される画像の表示を停止して計測パターンのみを表示させることも可能である。Image processing performed by thevideo processor 134 includes trapezoidal distortion correction in addition to the above-described correction of brightness, contrast, hue, and the like. In FIG. 1, a circuit that performs trapezoidal distortion correction is shown as a trapezoidaldistortion correction unit 136 in particular. The trapezoidaldistortion correction unit 136 performs trapezoidal distortion correction on the digital signal based on the projection distance and the projection projection angle values calculated by the processing unit included in the CPU 120.
Thevideo processor 134 controls display of a specific distortion detection image in the trapezoidal distortion correction. Thevideo processor 134 can be configured using a general-purpose processor sold as a DSP (digital signal processor) for trapezoidal distortion correction, or can be configured as a dedicated ASIC.
Further, when a measurement pattern (to be described later) is input from the CPU 120 together with a command, thevideo processor 134 superimposes an image of this measurement pattern on the image input from the A /D conversion unit 110, and the liquid crystalpanel drive unit 132. Thevideo processor 134 can also stop displaying the image input from the A /D conversion unit 110 and display only the measurement pattern under the control of the CPU 120.

ＣＰＵ１２０は、映像用プロセッサー１３４と共に、プロジェクター１００における画像処理を行う。ＣＰＵ１２０は、ズーム比算出部１２３と、焦点距離算出部１２４と、三次元測量部１２５と、投射角算出部１２６と、画像処理部１２７と、動き検出部１２８と、パターン投射制御部１２９（投射制御部）とを備える。これらの各部は、ＣＰＵ１２０がＲＯＭ１７０に予め記憶した特定のプログラムを実行することにより実現される。
ズーム比算出部１２３、焦点距離算出部１２４、三次元測量部１２５、及び投射角算出部１２６の各処理部は、プロジェクター１００とスクリーンＳＣとの相対距離（以下、投射距離と言う）や、プロジェクター１００から投射した投射光の光軸に対するスクリーンＳＣの傾きである投射角（以下、投影投射角と言う）を算出するために必要な処理を行う。The CPU 120 performs image processing in theprojector 100 together with thevideo processor 134. The CPU 120 includes a zoom ratio calculation unit 123, a focal length calculation unit 124, a three-dimensional surveying unit 125, a projectionangle calculation unit 126, animage processing unit 127, amotion detection unit 128, and a pattern projection control unit 129 (projection). A control unit). Each of these units is realized by the CPU 120 executing a specific program stored in theROM 170 in advance.
The processing units of the zoom ratio calculation unit 123, the focal length calculation unit 124, the three-dimensional surveying unit 125, and the projectionangle calculation unit 126 are relative distances between theprojector 100 and the screen SC (hereinafter referred to as projection distances), projectors, and the like. Processing necessary for calculating a projection angle (hereinafter referred to as a projection projection angle) that is an inclination of the screen SC with respect to the optical axis of the projection light projected from 100 is performed.

ＣＰＵ１２０は、上記の各処理部の働きにより投影投射角および投射距離を算出すると、投影投射角に対応した信号を映像用プロセッサー１３４に出力し、投射距離に対応した信号をレンズ駆動部１５５に出力する。映像用プロセッサー１３４は、投影投射角に対応した信号がＣＰＵ１２０から入力されると、この信号に基づいて台形歪み補正を行う。プロジェクター１００の光学系の光軸とスクリーンＳＣとのなす角度である投影投射角が特定されると、映像の歪み方を求めることができる。映像用プロセッサー１３４は、投影投射角に対応したパラメーターの設定がなされると、投射画像の歪みを補正するように、Ａ／Ｄ変換部１１０から入力した画像を補正し、補正後の映像信号を、液晶パネル駆動部１３２に出力する。この台形歪み補正部１３６の機能により、液晶パネル１３０に表示される画像は台形歪みを補正するように変形される。  When the CPU 120 calculates the projection projection angle and the projection distance by the functions of the respective processing units, the CPU 120 outputs a signal corresponding to the projection projection angle to thevideo processor 134 and outputs a signal corresponding to the projection distance to thelens driving unit 155. To do. When a signal corresponding to the projection projection angle is input from the CPU 120, thevideo processor 134 performs trapezoidal distortion correction based on this signal. When the projection projection angle, which is the angle formed by the optical axis of the optical system of theprojector 100 and the screen SC, is specified, it is possible to determine how the image is distorted. When the parameter corresponding to the projection projection angle is set, thevideo processor 134 corrects the image input from the A /D conversion unit 110 so as to correct the distortion of the projection image, and the corrected video signal is obtained. And output to the liquid crystalpanel driving unit 132. With the function of the trapezoidaldistortion correction unit 136, the image displayed on theliquid crystal panel 130 is deformed so as to correct the trapezoidal distortion.

また、ＣＰＵ１２０が備える画像処理部１２７及びパターン投射制御部１２９は、後述するように、スクリーンＳＣとプロジェクター１００との相対位置の変化を検出するための参照画像および比較用画像を生成し、動き検出部１２８は、生成された参照画像と比較用画像とに基づいて、スクリーンＳＣに対するプロジェクター１００の相対位置の変化を検出する。
画像処理部１２７は、撮像部１８０により撮影され撮影画像メモリー１８２に格納された撮影画像を取得し、この撮影画像に対して、Ｙ成分の抽出、輪郭強調、ノイズ除去、頂点算出等の処理を行って、参照画像を生成する。また、画像処理部１２７は、撮像部１８０により撮影され撮影画像メモリー１８２に格納された撮影画像を取得し、この撮影画像に対して、参照画像と同様にＹ成分の抽出、輪郭強調、ノイズ除去、頂点算出等の処理を行って、比較用画像を生成する。参照画像のもととなった撮影画像と、比較用画像のもととなった撮影画像は異なる時に撮影された画像である。画像処理部１２７は、予め設定された周期で撮影画像を取得して比較用画像を生成する。画像処理部１２７が生成した参照画像は、ＲＡＭ１６０が備える参照画像記憶部１６１に記憶される。また、画像処理部１２７が生成した比較用画像は、ＲＡＭ１６０が備える比較用画像記憶部１６２に格納される。In addition, theimage processing unit 127 and the patternprojection control unit 129 included in the CPU 120 generate a reference image and a comparison image for detecting a change in the relative position between the screen SC and theprojector 100, as will be described later, and detect motion. Theunit 128 detects a change in the relative position of theprojector 100 with respect to the screen SC based on the generated reference image and comparison image.
Theimage processing unit 127 acquires a captured image that is captured by theimage capturing unit 180 and stored in the capturedimage memory 182, and performs processing such as Y component extraction, contour enhancement, noise removal, and vertex calculation on the captured image. Go to generate a reference image. In addition, theimage processing unit 127 acquires a captured image captured by theimaging unit 180 and stored in the capturedimage memory 182, and for this captured image, Y component extraction, contour enhancement, and noise removal are performed in the same manner as the reference image. Then, processing such as vertex calculation is performed to generate a comparative image. The captured image that is the basis of the reference image and the captured image that is the basis of the comparative image are images that are captured at different times. Theimage processing unit 127 acquires a captured image at a preset cycle and generates a comparison image. The reference image generated by theimage processing unit 127 is stored in the referenceimage storage unit 161 provided in theRAM 160. The comparison image generated by theimage processing unit 127 is stored in the comparisonimage storage unit 162 provided in theRAM 160.

また、参照画像及び比較用画像として、スクリーンＳＣに計測パターンを投射した状態で撮像部１８０によりスクリーンＳＣを撮影させ、この撮影画像をもとに参照画像及び比較用画像を生成する場合もある。この場合、参照画像及び比較用画像には計測パターンの画像が含まれる。例えば白色の壁面をスクリーンＳＣとして利用する場合など、撮像部１８０の撮影画像に特徴的なものが写っていない場合、参照画像と比較用画像とを比較することが難しい。このような場合は、計測パターンをスクリーンＳＣに投射することで、この計測パターンの画像を利用して参照画像と比較用画像とを正確に比較できる。
具体的には、ＣＰＵ１２０が備えるパターン投射制御部１２９の機能により、計測パターン記憶部１７２に記憶された計測パターン（特徴画像）が読み出され、映像用プロセッサー１３４にコマンドとともに出力される。映像用プロセッサー１３４は、入力されたコマンドに従って、入力された計測パターンを投射画像に重畳して液晶パネル駆動部１３２によって表示させる。このようにスクリーンＳＣに計測パターンが投射された状態で、撮像部１８０が撮影を行う。計測パターンの投射は、参照画像を生成するための撮影時、及び、比較用画像を生成するための撮影時のどちらの時も行われる。
動き検出部１２８は、後述するように、画像処理部１２７が生成した参照画像と比較用画像とを比較することによって、スクリーンＳＣに対するプロジェクター１００の相対位置の変化を検出する。Further, as the reference image and the comparison image, the screen SC may be photographed by theimaging unit 180 in a state where the measurement pattern is projected on the screen SC, and the reference image and the comparison image may be generated based on the photographed image. In this case, the reference image and the comparison image include a measurement pattern image. For example, when a white wall surface is used as the screen SC and a characteristic image is not captured in the captured image of theimaging unit 180, it is difficult to compare the reference image with the comparison image. In such a case, by projecting the measurement pattern onto the screen SC, the reference image and the comparison image can be accurately compared using the image of the measurement pattern.
Specifically, the measurement pattern (feature image) stored in the measurementpattern storage unit 172 is read out by the function of the patternprojection control unit 129 provided in the CPU 120 and is output to thevideo processor 134 together with the command. Thevideo processor 134 superimposes the input measurement pattern on the projection image according to the input command, and causes the liquid crystalpanel drive unit 132 to display it. In this way, theimaging unit 180 captures an image with the measurement pattern projected onto the screen SC. The measurement pattern is projected at the time of shooting for generating the reference image and at the time of shooting for generating the comparative image.
As will be described later, themotion detection unit 128 detects a change in the relative position of theprojector 100 with respect to the screen SC by comparing the reference image generated by theimage processing unit 127 and the comparison image.

レンズ駆動部１５５は、ＣＰＵ１２０から投射距離に相当する信号が入力されると、この信号に基づいてフォーカス調整用モーター１５７を駆動してフォーカス調整を行う。フォーカス調整を行うためには、ズームレンズ１５２のズーム比が必要である。このズーム比は、例えば、ズーム調整用モーター１５６によるズームレンズ１５２の駆動量から算出すればよいし、撮像部１８０による撮影画像から算出することもできる。  When a signal corresponding to the projection distance is input from the CPU 120, thelens driving unit 155 drives thefocus adjustment motor 157 based on this signal to perform focus adjustment. In order to perform focus adjustment, the zoom ratio of thezoom lens 152 is necessary. This zoom ratio may be calculated from, for example, the driving amount of thezoom lens 152 by thezoom adjustment motor 156, or may be calculated from a photographed image by theimaging unit 180.

ＲＡＭ１６０は、ＣＰＵ１２０が実行するプログラムやデータを一時的に格納するワークエリアを形成する。なお、映像用プロセッサー１３４は、自身が行う画像の表示状態の調整処理など、各処理の実行の際に必要となるワークエリアを、内蔵ＲＡＭとして備えている。ＲＡＭ１６０は、画像処理部１２７が生成した参照画像を記憶する参照画像記憶部１６１、及び、画像処理部１２７が生成した比較用画像を記憶する比較用画像記憶部１６２を備えている。
また、ＲＯＭ１７０は、上述した各処理部を実現するためにＣＰＵ１２０が実行するプログラムや、当該プログラムに係るデータ等を記憶する。また、ＲＯＭ１７０は、後述する台形歪み補正処理でスクリーンＳＣに投射する調整用画像のデータを、調整用画像記憶部１７１に記憶している。TheRAM 160 forms a work area for temporarily storing programs executed by the CPU 120 and data. Note that thevideo processor 134 includes a work area necessary for executing each process, such as an image display state adjustment process performed by itself, as a built-in RAM. TheRAM 160 includes a referenceimage storage unit 161 that stores a reference image generated by theimage processing unit 127 and a comparisonimage storage unit 162 that stores a comparison image generated by theimage processing unit 127.
In addition, theROM 170 stores a program executed by the CPU 120 to realize each processing unit described above, data related to the program, and the like. TheROM 170 stores adjustment image data to be projected on the screen SC in a trapezoidal distortion correction process, which will be described later, in the adjustmentimage storage unit 171.

リモコン制御部１９０は、プロジェクター１００の外部のリモコン１９１から送信される無線信号を受信する。リモコン１９１は、ユーザーによって操作される操作子（図示略）を備え、操作子に対する操作に応じた操作信号を赤外線信号または所定周波数の電波を用いた無線信号として送信する。リモコン制御部１９０は、赤外線信号を受信する受光部（図示略）や無線信号を受信する受信回路（図示略）を備え、リモコン１９１から送信された信号を受信し、解析して、ユーザーによる操作の内容を示す信号を生成してＣＰＵ１２０に出力する。
操作部１９５は操作子（図示略）を備え、操作子に対する操作に応じた操作信号をＣＰＵ１２０に出力する。この操作子としては、電源ＯＮ／ＯＦＦを指示するスイッチ、台形歪み補正開始を指示するスイッチ、後述する再補正処理の開始を指示するスイッチ等がある。Remotecontrol control unit 190 receives a radio signal transmitted fromremote control 191outside projector 100. Theremote controller 191 includes an operation element (not shown) operated by a user, and transmits an operation signal corresponding to an operation on the operation element as an infrared signal or a wireless signal using a radio wave of a predetermined frequency. Theremote control unit 190 includes a light receiving unit (not shown) that receives an infrared signal and a receiving circuit (not shown) that receives a radio signal. Theremote control unit 190 receives a signal transmitted from theremote control 191, analyzes it, and operates by a user. Is generated and output to the CPU 120.
Theoperation unit 195 includes an operation element (not shown), and outputs an operation signal corresponding to an operation on the operation element to the CPU 120. Examples of the operation element include a switch for instructing power ON / OFF, a switch for instructing start of trapezoidal distortion correction, and a switch for instructing start of recorrection processing described later.

撮像部１８０は、周知のイメージセンサーであるＣＣＤを用いたＣＣＤカメラ１８１を備えている。撮像部１８０は、プロジェクター１００の前面、即ち、投射光学系１５０がスクリーンＳＣに向けて映像を投射する方向をＣＣＤカメラ１８１により撮像可能な位置に設けられている。撮像部１８０は、推奨された投影距離においてスクリーンＳＣに投影された投射画像の全体が少なくとも撮像範囲内に入るように、ＣＣＤカメラ１８１のカメラ方向及び画角が設定されている。ＣＣＤカメラ１８１は、ＣＣＤの他、ＣＣＤ上に映像を形成する単焦点レンズ、ＣＣＤに入射する光量を調整するオートアイリスなどの機構、更にはＣＣＤから映像信号を読み出す制御回路などを備える。オートアイリスの機構は、ＣＣＤカメラ１８１からの映像の明度の累積値に相当する信号を制御回路から受け取り、明度の累積値が所定の範囲に入るように、単焦点レンズに設けられたアイリス（絞り）を自動的に調整している。
オートアイリスによる明るさの調整がなされた画像は、撮像部１８０から撮影画像メモリー１８２に出力され、撮影画像メモリー１８２の所定の領域に繰り返し書き込まれる。撮影画像メモリー１８２は、１画面分の画像の書き込みが完了すると、所定の領域のフラグを順次反転するので、ＣＰＵ１２０は、このフラグを参照することにより、撮像部１８０を用いた撮像が完了したか否かを知ることができる。ＣＰＵ１２０は、このフラグを参照しつつ、撮影画像メモリー１８２にアクセスして、必要な撮影画像を取得する。Theimaging unit 180 includes aCCD camera 181 using a CCD that is a well-known image sensor. Theimaging unit 180 is provided at a position where theCCD camera 181 can image the front surface of theprojector 100, that is, the direction in which the projectionoptical system 150 projects an image toward the screen SC. In theimaging unit 180, the camera direction and the angle of view of theCCD camera 181 are set so that the entire projection image projected on the screen SC at the recommended projection distance falls within at least the imaging range. In addition to the CCD, theCCD camera 181 includes a single focus lens that forms an image on the CCD, a mechanism such as an auto iris that adjusts the amount of light incident on the CCD, and a control circuit that reads a video signal from the CCD. The auto iris mechanism receives a signal corresponding to the accumulated value of the brightness of the image from theCCD camera 181 from the control circuit. Is automatically adjusted.
The image whose brightness has been adjusted by auto iris is output from theimaging unit 180 to the capturedimage memory 182 and repeatedly written in a predetermined area of the capturedimage memory 182. When the capturedimage memory 182 completes writing of an image for one screen, the flag of a predetermined area is sequentially reversed. Therefore, the CPU 120 refers to this flag to determine whether imaging using theimaging unit 180 is completed. You can know whether or not. The CPU 120 accesses the capturedimage memory 182 while referring to this flag, and acquires a necessary captured image.

続いて、プロジェクター１００の動作について説明する。
図２及び図３は、プロジェクター１００の動作を示すフローチャートであり、図２は全体的な動作を示し、図３は図２のステップＳ１３に示す台形歪み補正処理を詳細に示す。
プロジェクター１００は、電源がオンにされると外部から入力される映像信号に基づいて投射画像の投射を開始し（ステップＳ１１）、リモコン１９１または操作部１９５の操作子の操作によってセットアップの実行が指示されると（ステップＳ１２）、台形歪み補正処理を実行する（ステップＳ１３）。この台形歪み補正処理により、スクリーンＳＣに投射される投射画像は、プロジェクター１００の投影投射角による変形が補正され、ほぼ本来の形状となる。Next, the operation of theprojector 100 will be described.
2 and 3 are flowcharts showing the operation of theprojector 100, FIG. 2 shows the overall operation, and FIG. 3 shows the trapezoidal distortion correction process shown in step S13 of FIG. 2 in detail.
When the power is turned on, theprojector 100 starts projecting a projection image based on a video signal input from the outside (step S11), and an instruction is given to execute setup by operating theremote controller 191 or the operation unit of theoperation unit 195. If done (step S12), a trapezoidal distortion correction process is executed (step S13). By this trapezoidal distortion correction processing, the projection image projected on the screen SC is corrected for deformation due to the projection projection angle of theprojector 100, and becomes almost the original shape.

ここで、台形歪み補正処理について説明する。
図３に示すように、プロジェクター１００のＣＰＵ１２０は、映像用プロセッサー１３４を制御して、Ａ／Ｄ変換部１１０から映像用プロセッサー１３４に入力されている映像信号の表示を停止させる。さらに、ＣＰＵ１２０は、調整用画像記憶部１７１に記憶された調整用画像を読み出し、この調整用画像を映像用プロセッサー１３４にコマンドとともに出力して、液晶パネル１３０に表示させ、スクリーンＳＣに投射させる（ステップＳ２１）。
次に、ＣＰＵ１２０は、スクリーンＳＣに調整用画像が投射された状態で投射画像を撮像部１８０により撮影させる（ステップＳ２２）。この撮影画像は、ＣＰＵ１２０の制御により、撮影画像メモリー１８２に保存される。
Here, the trapezoidal distortion correction process will be described.
As shown in FIG. 3, the CPU 120 of theprojector 100 controls thevideo processor 134 to stop the display of the video signal input from the A /D conversion unit 110 to thevideo processor 134. Further, CPU 120 reads out the adjustment image stored in the adjustmentimage storage unit 171, and output together with the commandthe adjustment imageimage to the video processor for 134, is displayed on theliquid crystal panel 130, is projected on the screen SC (Step S21).
Next, the CPU 120 causes theimaging unit 180 to capture a projection image in a state where the adjustment image is projected on the screen SC (step S22). The captured image is stored in the capturedimage memory 182 under the control of the CPU 120.

ＣＰＵ１２０は、調整用画像の投射中に撮影された撮影画像を撮影画像メモリー１８２から取得し、この撮影画像に基づいて、台形歪み補正部１３６により台形歪みを補正するためのパラメーターを算出する（ステップＳ２３）。
このステップＳ２３で、ＣＰＵ１２０は、三次元測量部１２５の機能により、三次元測量処理を実行する。この三次元測量処理は、プロジェクター１００のズームレンズ１５２の主点を原点とする三次元座標系（以下「レンズ座標系」とも呼ぶ）における、スクリーンＳＣを含む平面の三次元状態を検出する処理である。すなわち、プロジェクター１００における投射光学系１５０の光軸に対するスクリーンＳＣの三次元的な傾きを検出する。この処理では、撮影画像メモリー１８２から取得した撮影画像を離散化し、撮影画像に含まれる１６個の四角形の中心を測定点として求める。続いてＣＰＵ１２０は、測定点から平面の定義が可能な３点を選択し、選択した３つの測定点のレンズ座標系における三次元座標を検出する。ＣＰＵ１２０は、検出した３つの測定点の三次元座標に基づいて、スクリーンＳＣを含む平面に近似する近似平面を算出する。続いて、ＣＰＵ１２０は、投射角算出部１２６の機能により、三次元測量処理で検出したスクリーン平面の近似平面とプロジェクター１００から投射した投射光の光軸との角度である投影投射角を算出する。次いで、ＣＰＵ１２０は、算出された投影投射角を基に、液晶パネル１３０の表示可能領域１３１における補正後の画像の形状を求める。そして、ＣＰＵ１２０は、液晶パネル１３０の表示可能領域１３１における補正前の画像の形状を、補正後の画像の形状に変換する変換係数（パラメーター）を算出する。The CPU 120 acquires a captured image captured during the projection of the adjustment image from the capturedimage memory 182, and calculates parameters for correcting the trapezoidal distortion by the trapezoidaldistortion correction unit 136 based on the captured image (step). S23).
In step S <b> 23, the CPU 120 executes a three-dimensional survey process using the function of the three-dimensional survey unit 125. This three-dimensional surveying process is a process for detecting the three-dimensional state of a plane including the screen SC in a three-dimensional coordinate system (hereinafter also referred to as “lens coordinate system”) having the principal point of thezoom lens 152 of theprojector 100 as an origin. is there. That is, the three-dimensional inclination of the screen SC with respect to the optical axis of the projectionoptical system 150 in theprojector 100 is detected. In this process, the captured image acquired from the capturedimage memory 182 is discretized, and the centers of 16 squares included in the captured image are obtained as measurement points. Subsequently, the CPU 120 selects three points that can define a plane from the measurement points, and detects three-dimensional coordinates in the lens coordinate system of the selected three measurement points. The CPU 120 calculates an approximate plane that approximates the plane including the screen SC based on the detected three-dimensional coordinates of the three measurement points. Subsequently, the CPU 120 calculates a projection projection angle that is an angle between the approximate plane of the screen plane detected by the three-dimensional survey process and the optical axis of the projection light projected from theprojector 100 by the function of the projectionangle calculation unit 126. Next, the CPU 120 obtains the corrected image shape in thedisplayable area 131 of theliquid crystal panel 130 based on the calculated projection projection angle. Then, the CPU 120 calculates a conversion coefficient (parameter) for converting the uncorrected image shape in thedisplayable area 131 of theliquid crystal panel 130 into the corrected image shape.

ＣＰＵ１２０は、求めたパラメーターを台形歪み補正部１３６に設定し、台形歪み補正部１３６により台形歪み補正を実行させる（ステップＳ２４）。台形歪み補正部１３６は、設定されたパラメーターを用いて、入力されるデジタル信号を変換し、変換した結果を液晶パネル駆動部１３２へと出力する。すなわち、台形歪み補正部１３６は、Ａ／Ｄ変換部１１０から入力されるデジタル信号に対して、各画素の座標に対してベクトル演算を繰り返し、液晶パネル１３０に表示する画像を、台形歪みを補正するように変形させる。この台形歪み補正中は、通常は矩形である液晶パネル１３０の表示可能範囲に、スクリーンＳＣの投射画像の変形を補正するように上記パラメーターで規定される略台形に変形された映像が表示される。
この台形歪み補正処理を開始した後、ＣＰＵ１２０は、映像用プロセッサー１３４による映像の投射を再開させ（ステップＳ２５）、この台形歪み補正処理を終了する。The CPU 120 sets the obtained parameter in the trapezoidaldistortion correction unit 136, and causes the trapezoidaldistortion correction unit 136 to perform trapezoidal distortion correction (step S24). The trapezoidaldistortion correction unit 136 converts the input digital signal using the set parameters, and outputs the converted result to the liquid crystalpanel drive unit 132. That is, the trapezoidaldistortion correction unit 136 repeats vector operation for the coordinates of each pixel on the digital signal input from the A /D conversion unit 110, and corrects the trapezoidal distortion of the image displayed on theliquid crystal panel 130. To deform. During the trapezoidal distortion correction, an image that is deformed into a substantially trapezoid defined by the above parameters is displayed in the displayable range of theliquid crystal panel 130 that is normally rectangular so as to correct the deformation of the projected image on the screen SC. .
After starting the trapezoidal distortion correction process, the CPU 120 resumes video projection by the video processor 134 (step S25), and ends the trapezoidal distortion correction process.

図４は、台形歪み補正による表示状態の変化を示す図であり、（Ａ）は補正前のスクリーンＳＣ上の投射画像の例を示し、（Ｂ）は補正前の液晶パネル１３０の表示可能領域を示し、（Ｃ）は補正後のスクリーンＳＣ上の投射画像の例を示し、（Ｄ）は補正後の液晶パネル１３０の表示可能領域を示す。
図４（Ａ）には、プロジェクター１００の投影投射角によりスクリーンＳＣ上の投射画像に歪みを生じた例を示す。この例はプロジェクター１００をスクリーンＳＣの正面に設置し、上向きに投射した場合の典型的な例であり、矩形で表示されるべき投射画像３００が、歪みのために略台形となっている。この図４（Ａ）に示す状態では、液晶パネル１３０においては、図４（Ｂ）に示すように、矩形の表示可能領域１３１の全面に画像１３７が表示されている。4A and 4B are diagrams showing changes in the display state due to the trapezoidal distortion correction. FIG. 4A shows an example of a projected image on the screen SC before correction, and FIG. 4B shows the displayable area of theliquid crystal panel 130 before correction. (C) shows an example of a projected image on the screen SC after correction, and (D) shows a displayable area of theliquid crystal panel 130 after correction.
FIG. 4A shows an example in which a projection image on the screen SC is distorted due to the projection projection angle of theprojector 100. This example is a typical example when theprojector 100 is installed in front of the screen SC and projected upward, and theprojection image 300 to be displayed in a rectangular shape is substantially trapezoidal due to distortion. In the state shown in FIG. 4A, on theliquid crystal panel 130, as shown in FIG. 4B, animage 137 is displayed on the entire surface of the rectangulardisplayable area 131.

図３で説明した処理によって歪み補正用のパラメーターが算出され、このパラメーターに基づいて台形歪み補正が行われると、図４（Ｃ）に示すように、スクリーンＳＣには矩形の投射画像３０１が投射される。この場合、液晶パネル１３０においては、図４（Ｄ）に示すように、台形歪みを補正するように変形された歪み補正後画像１３８が、表示可能領域１３１に表示される。矩形の表示可能領域１３１に台形の歪み補正後画像１３８を表示するために、歪み補正後画像１３８は、図４（Ｂ）に示した状態よりも小さく表示され、この歪み補正後画像１３８の周囲には、表示に使われない非使用領域１３９が生じる。非使用領域１３９の画素は黒表示されている。歪み補正後画像１３８は画像１３７（図４（Ｂ））より小さいため、台形歪み補正の実行時には歪み補正後画像１３８を拡大するように、ズーム調整用モーター１５６（図１）によりズームレンズ１５２（図１）を駆動して、ズーム率を増大させてもよい。  When distortion correction parameters are calculated by the processing described with reference to FIG. 3 and trapezoidal distortion correction is performed based on the parameters, arectangular projection image 301 is projected onto the screen SC as shown in FIG. Is done. In this case, on theliquid crystal panel 130, as shown in FIG. 4D, a distortion-correctedimage 138 deformed so as to correct the trapezoidal distortion is displayed in thedisplayable area 131. In order to display the trapezoidal post-distortion correctedimage 138 in the rectangulardisplayable area 131, the post-distortion correctedimage 138 is displayed smaller than the state shown in FIG. In this case, anon-use area 139 that is not used for display is generated. Pixels in theunused area 139 are displayed in black. Since the distortion-correctedimage 138 is smaller than the image 137 (FIG. 4B), the zoom adjustment motor 156 (FIG. 1) uses the zoom lens 152 (FIG. 1) to enlarge the distortion-correctedimage 138 when performing trapezoidal distortion correction. The zoom factor may be increased by driving FIG.

図３の台形歪み補正処理の後、ＣＰＵ１２０は、図２に戻り、撮像部１８０によって撮影を実行させ、撮影画像メモリー１８２から取得する（ステップＳ１４）。ＣＰＵ１２０は、取得した撮影画像においてスクリーンＳＣの枠を検出できるか否かを判別する（ステップＳ１５）。
後述する動き検出処理では、所定の時間間隔で撮像部１８０により撮影を行い、撮影画像から生成した参照画像と比較用画像とを比較して、プロジェクター１００の動きを検出する。参照画像と比較用画像とを比較する際に、参照画像と比較用画像の両方に共通の特徴的な物の画像が含まれていると比較が行いやすい。具体的な例としてはスクリーンＳＣの枠が挙げられる。そこで、ステップＳ１５では画像の比較に利用可能な特徴的な物として、スクリーンＳＣの枠が撮影画像に写る状態か否かを判別する。黒色の枠を有するスクリーンＳＣを使用している場合や、ホワイトボードをスクリーンＳＣとして使用している場合には、撮像部１８０の撮影画像にスクリーンＳＣの枠が視認可能に写るが、壁面をスクリーンＳＣとして使っている場合等は、撮影画像にスクリーンＳＣの枠は写らない。
撮影画像においてスクリーンＳＣの枠の画像が検出できると判別した場合（ステップＳ１５；Ｙｅｓ）、ＣＰＵ１２０は、枠検出による動き検出処理を実行する（ステップＳ１６）。また、撮影画像においてスクリーンＳＣの枠の画像が検出できないと判別した場合（ステップＳ１５；Ｎｏ）、ＣＰＵ１２０は、計測パターンを用いた動き検出処理を実行する（ステップＳ１７）。After the trapezoidal distortion correction process of FIG. 3, the CPU 120 returns to FIG. 2, causes theimaging unit 180 to perform imaging, and obtains it from the captured image memory 182 (step S14). The CPU 120 determines whether or not the frame of the screen SC can be detected in the acquired captured image (step S15).
In a motion detection process to be described later, theimage capturing unit 180 captures images at a predetermined time interval, compares a reference image generated from the captured image with a comparison image, and detects the motion of theprojector 100. When comparing the reference image and the comparison image, if both the reference image and the comparison image include a common characteristic image, it is easy to compare. A specific example is the frame of the screen SC. Therefore, in step S15, it is determined whether or not the frame of the screen SC is in a captured image as a characteristic item that can be used for image comparison. When the screen SC having a black frame is used or when a whiteboard is used as the screen SC, the frame of the screen SC is visible in the captured image of theimaging unit 180. When used as an SC, the frame of the screen SC is not shown in the captured image.
When it is determined that the image of the frame of the screen SC can be detected in the captured image (step S15; Yes), the CPU 120 executes a motion detection process by frame detection (step S16). Further, when it is determined that the image of the frame of the screen SC cannot be detected in the captured image (step S15; No), the CPU 120 executes a motion detection process using the measurement pattern (step S17).

ステップＳ１６、Ｓ１７の動き検出処理は、スクリーンＳＣに対するプロジェクター１００の相対位置が変化した場合に、この変化を検出する処理である。プロジェクター１００またはスクリーンＳＣが移動して、その位置関係が変化した場合には、ステップＳ１３の台形歪み補正処理で求めた投影投射角が変化するので、台形歪み補正におけるパラメーターも変化する。このため、スクリーンＳＣに投射される投射画像の歪みの補正が不十分になってしまう。そこで、ＣＰＵ１２０は、投射画像の歪みが適正に補正された状態を保持するため、スクリーンＳＣに対するプロジェクター１００の相対位置が変化した場合に、この変化を検出する動き検出処理を行い、所定以上の位置の変化を検出する毎に、台形歪み補正を行う。  The motion detection process of steps S16 and S17 is a process of detecting this change when the relative position of theprojector 100 with respect to the screen SC changes. When theprojector 100 or the screen SC moves and its positional relationship changes, the projection projection angle obtained in the trapezoidal distortion correction process in step S13 changes, so the parameters in the trapezoidal distortion correction also change. For this reason, the correction of the distortion of the projection image projected on the screen SC becomes insufficient. Therefore, the CPU 120 performs a motion detection process for detecting the change when the relative position of theprojector 100 with respect to the screen SC changes in order to maintain the state in which the distortion of the projection image is appropriately corrected, and a position greater than or equal to a predetermined position. Every time a change in the number is detected, the keystone distortion is corrected.

図５は、枠検出による動き検出処理を示すフローチャートである。
ＣＰＵ１２０は、まず、撮像部１８０により撮影を行わせて、撮影画像（第１の撮影画像）を撮影画像メモリー１８２から取得する（ステップＳ３１）。続いて、ＣＰＵ１２０は、画像処理部１２７の機能により、撮影画像においてスクリーンＳＣの枠が強調されるように画像処理を行う。すなわち、ＣＰＵ１２０は、取得した撮影画像からＹ成分の画像を抽出し（ステップＳ３２）、輝度成分（Ｙ）のみを取りだしたグレースケール画像を得る。続いて、ＣＰＵ１２０は、撮影画像から抽出したグレースケール画像に対し、輪郭強調処理（ステップＳ３３）およびノイズ除去フィルターによる処理（ステップＳ３４）を施す。これらの処理により、撮影画像の輪郭を強調したモノクロ２値またはグレースケールの画像が得られる。撮影画像にスクリーンＳＣの枠が写っている場合、上記の画像処理により、スクリーンＳＣの枠は四角形の枠線の画像として強調される。
FIG. 5 is a flowchart showing a motion detection process by frame detection.
First, the CPU 120 causes theimaging unit 180 to capture an image and acquires a captured image(first captured image) from the captured image memory 182 (step S31). Subsequently, the CPU 120 performs image processing so that the frame of the screen SC is emphasized in the captured image by the function of theimage processing unit 127. That is, the CPU 120 extracts a Y component image from the acquired photographed image (step S32), and obtains a grayscale image in which only the luminance component (Y) is extracted. Subsequently, the CPU 120 performs a contour enhancement process (step S33) and a process using a noise removal filter (step S34) on the grayscale image extracted from the captured image. By these processes, a monochrome binary or grayscale image in which the contour of the captured image is emphasized is obtained. When the frame of the screen SC is reflected in the captured image, the frame of the screen SC is emphasized as an image of a rectangular frame by the above image processing.

次に、ＣＰＵ１２０は、ステップＳ３２〜Ｓ３４の処理により得られた画像において、スクリーンＳＣの枠の画像を検出し（ステップＳ３５）、検出した枠の４つの角（頂点）の位置を求める処理を行う（ステップＳ３６）。
また、ＣＰＵ１２０は、ステップＳ３２〜Ｓ３４の処理により得られた画像を参照画像とし、参照画像記憶部１６１（図１）に記憶させる（ステップＳ３７）。
その後、ＣＰＵ１２０は、画像処理部１２７の機能により、ステップＳ３６で記憶させた参照画像において、ステップＳ３５で検出した枠の内側と、枠から所定距離だけ離れた領域とをマスクするマスク画像を生成し、参照画像記憶部１６１に記憶させる（ステップＳ３８）。
マスク画像は、参照画像の一部がマスクされた画像であり、マスクされた部分は比較用画像と比較する処理の対象外となる。参照画像を比較用画像と比較するのではなく、参照画像の一部をマスクしたマスク画像を、比較用画像と比較することにより、動きを検出する際の処理負荷を軽減し、かつ正確に動きを検出できるという利点がある。Next, the CPU 120 detects an image of the frame of the screen SC in the image obtained by the processing of steps S32 to S34 (step S35), and performs processing for obtaining the positions of the four corners (vertices) of the detected frame. (Step S36).
Further, the CPU 120 sets the image obtained by the processes of steps S32 to S34 as a reference image and stores it in the reference image storage unit 161 (FIG. 1) (step S37).
Thereafter, the CPU 120 uses the function of theimage processing unit 127 to generate a mask image that masks the inside of the frame detected in step S35 and the area separated from the frame by a predetermined distance in the reference image stored in step S36. Then, it is stored in the reference image storage unit 161 (step S38).
The mask image is an image in which a part of the reference image is masked, and the masked portion is excluded from processing for comparison with the comparison image. Instead of comparing the reference image with the comparative image, comparing the mask image with a part of the reference image with the comparative image reduces the processing load when detecting motion and moves accurately. There is an advantage that can be detected.

ここで、ＣＰＵ１２０は、予め設定された検出時間だけ待機する（ステップＳ３９）。この検出時間は、スクリーンＳＣに対するプロジェクター１００の相対位置の変化を検出する頻度に影響し、検出時間を短くすれば相対位置の変化をより鋭敏に察知でき、検出時間を長くすれば検出に要する演算処理の負荷を軽減できる。検出時間は、例えば１秒や０．５秒程度とすることができるが、数秒程度あるいは０．１秒以下であってもよい。
待機後、ＣＰＵ１２０は、撮像部１８０により撮影を実行させ、撮影画像を撮影画像メモリー１８２から取得する（ステップＳ４０）。続いて、ＣＰＵ１２０は、画像処理部１２７の機能により、取得した撮影画像（第２の撮影画像）に対してステップＳ３２〜Ｓ３４で実行した画像処理と同様の処理を画像処理部１２７によって行い、比較用画像を生成して、比較用画像記憶部１６２に記憶させる（ステップＳ４１）。ここで生成される比較用画像は、ステップＳ３７で生成された参照画像と同様の画像である。
Here, the CPU 120 waits for a preset detection time (step S39). This detection time affects the frequency of detecting a change in the relative position of theprojector 100 with respect to the screen SC. If the detection time is shortened, the change in the relative position can be detected more sensitively, and if the detection time is lengthened, the calculation required for the detection The processing load can be reduced. The detection time can be, for example, about 1 second or 0.5 seconds, but may be about several seconds or 0.1 seconds or less.
After waiting, the CPU 120 causes theimage capturing unit 180 to perform image capturing, and acquires a captured image from the captured image memory 182 (step S40). Subsequently, the CPU 120 performs the same processing as the image processing executed in steps S32 to S34 on the acquired captured image(second captured image) using the function of theimage processing unit 127, and compares A production image is generated and stored in the comparison image storage unit 162 (step S41). The comparison image generated here is the same image as the reference image generated in step S37.

ＣＰＵ１２０は、画像処理部１２７の機能により、比較用画像記憶部１６２に記憶させた比較用画像にマスク領域を設定する（ステップＳ４２）。ここで設定されるマスク領域は、ステップＳ３８で生成したマスク画像においてマスクされる領域と、同位置である。
そして、ＣＰＵ１２０は、動き検出部１２８の機能により、参照画像記憶部１６１に記憶された参照画像（マスク画像）とステップＳ４２でマスク領域を設定した比較用画像との差分を検出する（ステップＳ４３）。このステップＳ４３では、例えば、比較する２つの画像について、マスクされた領域を除く部分の各画素の画素データに基づき差分絶対値和または差分二乗和が算出される。
ここで、ＣＰＵ１２０は、動き検出部１２８の機能により、求めた差分がしきい値を超えたか否かを判別し（ステップＳ４４）、しきい値を超えている場合には、スクリーンＳＣに対するプロジェクター１００の相対位置が変化したことになるので、図３に示した処理と同様の台形歪み補正を実行する（ステップＳ４５）。台形歪み補正を行った後、ＣＰＵ１２０は、ステップＳ３１に戻って、再び参照画像を生成する。なお、ステップＳ３７で生成される参照画像と、ステップＳ４１で生成される比較用画像は同様の画像であるから、ステップＳ４５の台形歪み補正処理を行った後に、比較用画像記憶部１６２に記憶されている比較用画像を参照画像として参照画像記憶部１６１に記憶してもよい。この場合、ステップＳ３１〜Ｓ３６の処理を省略できるという利点がある。The CPU 120 sets a mask area in the comparison image stored in the comparisonimage storage unit 162 by the function of the image processing unit 127 (step S42). The mask area set here is at the same position as the area to be masked in the mask image generated in step S38.
Then, the CPU 120 detects a difference between the reference image (mask image) stored in the referenceimage storage unit 161 and the comparison image in which the mask area is set in step S42 by the function of the motion detection unit 128 (step S43). . In step S43, for example, for the two images to be compared, a sum of absolute differences or a sum of squares of differences is calculated based on the pixel data of each pixel in a portion excluding the masked region.
Here, the CPU 120 determines whether or not the obtained difference exceeds the threshold value by the function of the motion detection unit 128 (step S44), and when the difference exceeds the threshold value, theprojector 100 for the screen SC. Therefore, the same trapezoidal distortion correction as that shown in FIG. 3 is executed (step S45). After performing the trapezoidal distortion correction, the CPU 120 returns to step S31 and generates a reference image again. Since the reference image generated in step S37 and the comparison image generated in step S41 are the same image, the trapezoidal distortion correction process in step S45 is performed and stored in the comparisonimage storage unit 162. The comparison image may be stored in the referenceimage storage unit 161 as a reference image. In this case, there is an advantage that the processing of steps S31 to S36 can be omitted.

一方、ステップＳ４３で求めた差分がしきい値を超えていない場合（ステップＳ４４；Ｎｏ）、ＣＰＵ１２０は、投射を終了するか否かを判別し（ステップＳ４６）、投射を終了しない場合はステップＳ３９に戻る。ステップＳ３９では、検出時間だけ待機して、再びステップＳ４０〜Ｓ４４の処理を実行する。すなわち、撮影画像を取り込み、比較用画像を生成して、この比較用画像と参照画像とを比較する。この際、比較用画像と比較されるマスク画像は、参照画像記憶部１６１に記憶されたマスク画像である。つまり、ステップＳ４４で差分がしきい値を超えるまでは、ステップＳ３７で生成された参照画像を使い続けることになる。そして、この参照画像とステップＳ４１で生成された比較用画像との差分がしきい値を超えるまで、検出時間毎に、ステップＳ４０〜Ｓ４４の処理が繰り返し実行される。  On the other hand, if the difference obtained in step S43 does not exceed the threshold value (step S44; No), the CPU 120 determines whether or not to end the projection (step S46), and if not to end the projection, step S39. Return to. In step S39, it waits only for detection time, and performs the process of step S40-S44 again. That is, a captured image is captured, a comparison image is generated, and the comparison image and the reference image are compared. At this time, the mask image to be compared with the comparison image is a mask image stored in the referenceimage storage unit 161. That is, the reference image generated in step S37 is continuously used until the difference exceeds the threshold value in step S44. Then, the processes of steps S40 to S44 are repeatedly executed for each detection time until the difference between the reference image and the comparison image generated in step S41 exceeds the threshold value.

図５に示す動き検出処理により、プロジェクター１００は、投影を開始してからリモコン１９１または操作部１９５の操作に応じて台形歪み補正処理を実行し、スクリーンＳＣに対するプロジェクター１００の相対位置が変化し、この変化により撮像部１８０が撮影した撮影画像に変化が生じた場合に、台形歪み補正処理を再び行う。これにより、投射画像の歪みが補正された後、再び補正が必要になった場合に、速やかに投射画像を補正して、投射画像の状態を良好に保つことができる。
また、動き検出部１２８の機能により、ステップＳ４３〜Ｓ４４の処理を行う場合、ステップＳ１３（図２）またはステップＳ４５で台形歪み補正を行った直後の撮影画像に基づく参照画像（マスク画像）と、ステップＳ４２でマスク処理された比較用画像とが比較される。このため、ＣＰＵ１２０は、最後の（直近の）台形歪み補正を行ってからの相対位置の変化を検出するので、プロジェクター１００とスクリーンＳＣの相対位置の変化により投射画像の歪みの補正が必要になったか否かを、正確に判別できる。With the motion detection process shown in FIG. 5, theprojector 100 executes the trapezoidal distortion correction process according to the operation of theremote controller 191 or theoperation unit 195 after starting the projection, and the relative position of theprojector 100 with respect to the screen SC changes. When a change occurs in the captured image captured by theimaging unit 180 due to this change, the trapezoidal distortion correction process is performed again. As a result, when the distortion of the projection image is corrected and correction is necessary again, the projection image can be corrected promptly and the state of the projection image can be kept good.
In addition, when performing the processing of steps S43 to S44 by the function of themotion detection unit 128, a reference image (mask image) based on the captured image immediately after the trapezoidal distortion correction in step S13 (FIG. 2) or step S45, The comparison image subjected to the mask process in step S42 is compared. For this reason, since the CPU 120 detects a change in the relative position after the last (most recent) trapezoidal distortion correction, the distortion of the projected image needs to be corrected due to a change in the relative position between theprojector 100 and the screen SC. It can be accurately determined whether or not.

図６は、計測パターンを用いた動き検出処理を示すフローチャートである。
ＣＰＵ１２０は、パターン投射制御部１２９の機能により、計測パターン記憶部１７２に記憶された計測パターンの画像データを読み出して、コマンドとともに映像用プロセッサー１３４に出力し、この計測パターンを表示中の画像に重ねて投射させる（ステップＳ５１）。続いて、ＣＰＵ１２０は、計測パターンが投射された状態で撮像部１８０により撮影を行わせて、撮影画像を撮影画像メモリー１８２から取得する（ステップＳ５２）。FIG. 6 is a flowchart showing the motion detection process using the measurement pattern.
The CPU 120 reads out the image data of the measurement pattern stored in the measurementpattern storage unit 172 by the function of the patternprojection control unit 129, outputs it to thevideo processor 134 together with the command, and superimposes this measurement pattern on the displayed image. To project (step S51). Subsequently, the CPU 120 causes theimaging unit 180 to perform imaging in a state where the measurement pattern is projected, and acquires a captured image from the captured image memory 182 (step S52).

ＣＰＵ１２０は、取得した撮影画像における計測パターンを抽出し（ステップＳ５３）、抽出した画像を参照画像として、参照画像記憶部１６１（図１）に記憶させる（ステップＳ５４）。
さらに、ＣＰＵ１２０は、画像処理部１２７の機能により、ステップＳ５４で記憶させた参照画像において、計測パターンが抽出された領域から所定距離だけ離れた外側の領域をマスクするマスク画像を生成し、参照画像記憶部１６１に記憶させる（ステップＳ５５）。このステップＳ５５では参照画像において計測パターンに影響しない部分がマスクされる。マスクされる領域は、ステップＳ５３で抽出した計測パターンの位置に合わせて決定してもよいし、予め設定された位置としてもよい。また、計測パターン記憶部１７２に複数の計測パターンが記憶されている場合は各計測パターンに対応してマスクする領域を設定し、ＲＯＭ１７０に記憶させてもよい。CPU120 extracts the measurement pattern in the acquired picked-up image (step S53), and memorize | stores the extracted image as a reference image in the reference image memory | storage part 161 (FIG. 1) (step S54).
Further, the CPU 120 uses the function of theimage processing unit 127 to generate a mask image that masks an outer region that is a predetermined distance away from the region from which the measurement pattern is extracted in the reference image stored in step S54. It memorize | stores in the memory | storage part 161 (step S55). In this step S55, a portion that does not affect the measurement pattern in the reference image is masked. The masked area may be determined according to the position of the measurement pattern extracted in step S53, or may be a preset position. When a plurality of measurement patterns are stored in the measurementpattern storage unit 172, a masking area may be set corresponding to each measurement pattern and stored in theROM 170.

ここで、ＣＰＵ１２０は、予め設定された検出時間だけ待機し（ステップＳ５６）、検出時間の経過後、再びステップＳ５１と同じ計測パターンをスクリーンＳＣに投射させ（ステップＳ５７）、撮像部１８０により撮影を実行させ、撮影画像を撮影画像メモリー１８２から取得する（ステップＳ５８）。ＣＰＵ１２０は、画像処理部１２７の機能により、取得した撮影画像に対してステップＳ５３と同様に計測パターンを抽出する処理を行い（ステップＳ５９）、抽出した画像を比較用画像として比較用画像記憶部１６２に記憶させる（ステップＳ６０）。ここで生成される比較用画像は、ステップＳ５４で生成された参照画像と同様の画像である。
また、ＣＰＵ１２０は、画像処理部１２７の機能により、比較用画像記憶部１６２に記憶させた比較用画像にマスク領域を設定する（ステップＳ６１）。ここで設定されるマスク領域は、ステップＳ５５で生成したマスク画像においてマスクされる領域と、同じ位置である。Here, the CPU 120 waits for a preset detection time (step S56), and after the detection time has elapsed, again projects the same measurement pattern as in step S51 on the screen SC (step S57), and theimaging unit 180 takes a picture. The captured image is acquired from the captured image memory 182 (step S58). Using the function of theimage processing unit 127, the CPU 120 performs a process of extracting a measurement pattern on the acquired captured image in the same manner as in step S53 (step S59), and uses the extracted image as a comparison image for comparisonimage storage unit 162. (Step S60). The comparison image generated here is the same image as the reference image generated in step S54.
Further, the CPU 120 sets a mask area in the comparison image stored in the comparisonimage storage unit 162 by the function of the image processing unit 127 (step S61). The mask area set here is the same position as the area to be masked in the mask image generated in step S55.

そして、ＣＰＵ１２０は、動き検出部１２８の機能により、参照画像記憶部１６１に記憶された参照画像（マスク画像）とステップＳ６１でマスク領域を設定した比較用画像との差分を検出する（ステップＳ６２）。このステップＳ６２では、ステップＳ４３（図５）と同様に、例えば差分絶対値和または差分二乗和が算出される。
ここで、ＣＰＵ１２０は、動き検出部１２８の機能により、求めた差分がしきい値を超えたか否かを判別し（ステップＳ６３）、しきい値を超えている場合には、スクリーンＳＣに対するプロジェクター１００の相対位置が変化したことになるので、図３に示した処理と同様の台形歪み補正を実行する（ステップＳ６４）。台形歪み補正を行った後、ＣＰＵ１２０は、ステップＳ５１に戻って、再び参照画像を生成する。なお、ステップＳ５４で生成される参照画像と、ステップＳ６０で生成される比較用画像は同様の画像であるから、ステップＳ６４の台形歪み補正処理を行った後に、ステップＳ５１〜Ｓ５３の処理を省略し、比較用画像記憶部１６２に記憶されている比較用画像を参照画像として参照画像記憶部１６１に記憶してもよい。Then, the CPU 120 detects a difference between the reference image (mask image) stored in the referenceimage storage unit 161 and the comparison image in which the mask area is set in step S61 by the function of the motion detection unit 128 (step S62). . In step S62, as in step S43 (FIG. 5), for example, the sum of absolute differences or the sum of squares of differences is calculated.
Here, the CPU 120 determines whether or not the obtained difference exceeds the threshold value by the function of the motion detection unit 128 (step S63), and when the difference exceeds the threshold value, theprojector 100 for the screen SC. Therefore, the same trapezoidal distortion correction as that shown in FIG. 3 is executed (step S64). After performing the trapezoidal distortion correction, the CPU 120 returns to step S51 to generate a reference image again. Since the reference image generated in step S54 and the comparison image generated in step S60 are similar images, the processes in steps S51 to S53 are omitted after the trapezoidal distortion correction process in step S64. The comparison image stored in the comparisonimage storage unit 162 may be stored in the referenceimage storage unit 161 as a reference image.

一方、ステップＳ６２で求めた差分がしきい値を超えていない場合（ステップＳ６３；Ｎｏ）、ＣＰＵ１２０は、投射を終了するか否かを判別し（ステップＳ６５）、投射を終了しない場合はステップＳ５６に戻る。ステップＳ５６では、検出時間だけ待機して、再びステップＳ５７〜Ｓ６３の処理を実行する。この処理で比較用画像と比較されるマスク画像は、参照画像記憶部１６１に記憶されたマスク画像である。つまり、ステップＳ６３で差分がしきい値を超えるまでは、ステップＳ５４で生成された参照画像を使い続けることになる。そして、この参照画像とステップＳ６０で生成された比較用画像との差分がしきい値を超えるまで、検出時間毎に、ステップＳ５７〜Ｓ６３の処理が繰り返し実行される。  On the other hand, if the difference obtained in step S62 does not exceed the threshold value (step S63; No), the CPU 120 determines whether or not to end the projection (step S65), and if not to end the projection, step S56. Return to. In step S56, the process waits for the detection time and executes the processes of steps S57 to S63 again. The mask image compared with the comparison image in this process is a mask image stored in the referenceimage storage unit 161. That is, the reference image generated in step S54 is continuously used until the difference exceeds the threshold value in step S63. Then, the processes of steps S57 to S63 are repeatedly executed for each detection time until the difference between the reference image and the comparison image generated in step S60 exceeds the threshold value.

この図６に示す動き検出処理により、プロジェクター１００は、投影を開始してからリモコン１９１または操作部１９５の操作に応じて台形歪み補正処理を実行し、スクリーンＳＣに対するプロジェクター１００の相対位置が変化し、この変化により撮像部１８０が撮影した撮影画像に変化が生じた場合に、台形歪み補正処理を再び行う。この処理において、ＣＰＵ１２０は、スクリーンＳＣに計測パターンを投射させた状態で撮像部１８０が撮影した撮影画像から計測パターンを抽出して参照画像と比較用画像とを生成し、これらを比較するので、スクリーンＳＣの枠等を利用することなく、また、投射画像の影響を受けることなく、参照画像と比較用画像との差を正確に検出できる。これにより、投射画像の歪みが補正された後、再び補正が必要になった場合に、速やかに投射画像を補正して、投射画像の状態を良好に保つことができる。
また、動き検出部１２８の機能により、ステップＳ１３（図２）またはステップＳ６４で台形歪み補正を行った直後の撮影画像に基づく参照画像（マスク画像）と、ステップＳ６１でマスク処理された比較用画像とが比較される。このため、ＣＰＵ１２０は、最後の（直近の）台形歪み補正を行ってからの相対位置の変化を検出するので、プロジェクター１００とスクリーンＳＣの相対位置の変化により投射画像の歪みの補正が必要になったか否かを、正確に判別できる。With the motion detection process shown in FIG. 6, theprojector 100 executes the trapezoidal distortion correction process in accordance with the operation of theremote controller 191 or theoperation unit 195 after starting the projection, and the relative position of theprojector 100 with respect to the screen SC changes. When the change occurs in the captured image captured by theimaging unit 180 due to this change, the trapezoidal distortion correction process is performed again. In this process, the CPU 120 extracts the measurement pattern from the captured image captured by theimaging unit 180 in a state where the measurement pattern is projected on the screen SC, generates a reference image and a comparison image, and compares them. The difference between the reference image and the comparison image can be accurately detected without using the frame of the screen SC or the like and without being affected by the projection image. As a result, when the distortion of the projection image is corrected and correction is necessary again, the projection image can be corrected promptly and the state of the projection image can be kept good.
Further, by the function of themotion detection unit 128, the reference image (mask image) based on the captured image immediately after the trapezoidal distortion correction in step S13 (FIG. 2) or step S64, and the comparison image masked in step S61. Are compared. For this reason, since the CPU 120 detects a change in the relative position after the last (most recent) trapezoidal distortion correction, the distortion of the projected image needs to be corrected due to a change in the relative position between theprojector 100 and the screen SC. It can be accurately determined whether or not.

図７は、スクリーンＳＣに投射される計測パターンの例を示す図であり、（Ａ）は投射画像の例を示し、（Ｂ）は計測パターンの例を示し、（Ｃ）は計測パターンを画像に重畳して投射した例を示す。
この図７には、投射画像に重なる位置に表示される計測パターンを例として示す。図７（Ａ）に示すようにスクリーンＳＣの略中央に矩形の投射画像３００が表示（投射）されている場合に、図７（Ｂ）に示すように、投射画像３００とほぼ同じ大きさ、同じ位置に表示される計測パターンを重畳すると、図７（Ｃ）に示すように投射される。計測パターン３２１は、液晶パネル１３０の表示可能領域において、投射画像３１１と同じ領域に表示される。この計測パターン３２１のように、投射画像３１１が表示（投射）される領域に重なる計測パターンを用いることにより、液晶パネル１３０の表示可能領域が狭い場合や、投射可能なスクリーンＳＣのサイズが小さい場合であっても、計測パターンをできるだけ広い範囲に大きく表示でき、参照画像と比較用画像との差を正確に検出できる。
図７（Ｃ）の重畳画像３１２は、同じ範囲に投射画像３００と計測パターン３２１とが重なっているが、計測パターン３２１が上に重なっているため、この計測パターン３２１を撮像部１８０で撮影した場合に、撮影画像から計測パターン３２１を容易に抽出できる。FIG. 7 is a diagram illustrating an example of a measurement pattern projected onto the screen SC. (A) illustrates an example of a projection image, (B) illustrates an example of a measurement pattern, and (C) illustrates an image of the measurement pattern. An example of being superimposed and projected.
FIG. 7 shows an example of a measurement pattern displayed at a position overlapping the projection image. When arectangular projection image 300 is displayed (projected) in the approximate center of the screen SC as shown in FIG. 7A, as shown in FIG. When the measurement pattern displayed at the same position is superimposed, it is projected as shown in FIG. Themeasurement pattern 321 is displayed in the same area as the projectedimage 311 in the displayable area of theliquid crystal panel 130. By using a measurement pattern that overlaps the area where the projectedimage 311 is displayed (projected) like themeasurement pattern 321, the displayable area of theliquid crystal panel 130 is narrow or the size of the screen SC that can be projected is small. Even so, the measurement pattern can be displayed in a wide range as much as possible, and the difference between the reference image and the comparison image can be accurately detected.
In thesuperimposed image 312 in FIG. 7C, theprojection image 300 and themeasurement pattern 321 overlap in the same range, but themeasurement pattern 321 overlaps the upper side, so themeasurement pattern 321 was captured by theimaging unit 180. In this case, themeasurement pattern 321 can be easily extracted from the captured image.

また、図８は、スクリーンＳＣに投射される計測パターンの別の例を示す図であり、（Ａ）は枠形状の計測パターンの例を示し、（Ｂ）は枠形状の計測パターンを画像に重畳して投射した例を示す。
この図８（Ａ）に示す計測パターン３２２は、スクリーンＳＣに投射される画像の枠となる形状である。計測パターン３２２を投射画像に重畳した場合には、図８（Ｂ）に示すように、投射画像に枠が付加された重畳画像３１３となる。この計測パターン３２２は、投射画像の視認性にほとんど影響を及ぼすことなく、投射画像に重畳して投射できるので、図６で説明した動き検出処理に使用すれば、画像の投射を中断することなく、動き検出処理を実行できる。図８（Ｂ）に示すように枠形状の計測パターン３２２を投射画像に重畳する場合に、ＣＰＵ１２０が映像用プロセッサー１３４を制御して、投射画像を縮小させてもよい。投射画像を、計測パターン３２２の枠の太さの分だけ縮小すれば、投射画像が計測パターンによって隠れないため、投射画像の視認性に対する影響をほぼ無くすことができる。
さらに、計測パターン３２２のように、投射画像の外側に表示される計測パターンは、液晶パネル１３０の非表示可能領域を利用して表示してもよい。すなわち、図４（Ｄ）に示したように、台形歪み補正を行うと液晶パネル１３０の表示可能領域１３１において画像を表示しない非使用領域１３９が生じるので、この非使用領域１３９に、計測パターン３２２のような計測パターンを表示してもよい。この場合、投射画像を縮小しなくても、投射画像の視認性に影響を与えることなく計測パターンを重畳させることができる。FIG. 8 is a diagram showing another example of the measurement pattern projected on the screen SC, (A) shows an example of a frame-shaped measurement pattern, and (B) shows the frame-shaped measurement pattern as an image. An example of superimposing and projecting is shown.
Ameasurement pattern 322 shown in FIG. 8A has a shape that becomes a frame of an image projected on the screen SC. When themeasurement pattern 322 is superimposed on the projection image, as illustrated in FIG. 8B, asuperimposed image 313 in which a frame is added to the projection image is obtained. Since thismeasurement pattern 322 can be projected while being superimposed on the projected image with little effect on the visibility of the projected image, if used in the motion detection process described in FIG. 6, the projection of the image is not interrupted. The motion detection process can be executed. When the frame-shapedmeasurement pattern 322 is superimposed on the projection image as shown in FIG. 8B, the CPU 120 may control thevideo processor 134 to reduce the projection image. If the projection image is reduced by the thickness of the frame of themeasurement pattern 322, the projection image is not hidden by the measurement pattern, so that the influence on the visibility of the projection image can be almost eliminated.
Further, a measurement pattern displayed outside the projection image, such as themeasurement pattern 322, may be displayed using a non-displayable area of theliquid crystal panel 130. That is, as shown in FIG. 4D, when trapezoidal distortion correction is performed, anon-use area 139 that does not display an image is generated in thedisplayable area 131 of theliquid crystal panel 130. Therefore, themeasurement pattern 322 is displayed in thenon-use area 139. Such a measurement pattern may be displayed. In this case, the measurement pattern can be superimposed without affecting the visibility of the projection image without reducing the projection image.

図９は、スクリーンＳＣに投射される計測パターンのさらに別の例を示す図であり、投射画像とともに計測パターンを投射した状態を示す。
この図９に示すように、投射画像３１１の表示位置より外側に位置する計測パターン３２３を用いれば、投射画像の視認性に影響を与えることなく計測パターンを重畳させることができる。この計測パターン３２３は、投射画像３１１の外側において、ごく一部に表示されるので、台形歪み補正によって表示可能領域１３１に生じた非使用領域１３９に表示できる。プロジェクター１００の投影投射角によっては非使用領域１３９が小さいことがあるが、図９に例示する計測パターン３２３のように、投射画像３１１の外側の一部にのみ表示される計測パターンであれば問題なく表示できる。
図９に示す計測パターン３２３は現在時刻を表示するものであるから、投射画像とともにＳＣに投射しても、投射画像を見ている人に違和感を与えることがない。なお、この計測パターン３２３のように可変的な画像を表示する場合、画像データ作成用のプログラムをＲＯＭ１７０に記憶しておき、このプログラムをＣＰＵ１２０が実行して、計測パターンの画像データを随時作成して映像用プロセッサー１３４に出力すればよい。FIG. 9 is a diagram showing still another example of the measurement pattern projected on the screen SC, and shows a state in which the measurement pattern is projected together with the projection image.
As shown in FIG. 9, if ameasurement pattern 323 positioned outside the display position of theprojection image 311 is used, the measurement pattern can be superimposed without affecting the visibility of the projection image. Since thismeasurement pattern 323 is displayed in a small part outside theprojection image 311, it can be displayed in thenon-use area 139 generated in thedisplayable area 131 by the trapezoidal distortion correction. Depending on the projection projection angle of theprojector 100, thenon-use area 139 may be small, but it is a problem if the measurement pattern is displayed only on a part of the outside of theprojection image 311 like themeasurement pattern 323 illustrated in FIG. Can be displayed.
Since themeasurement pattern 323 shown in FIG. 9 displays the current time, even if it is projected on the SC together with the projection image, it does not give a strange feeling to the person watching the projection image. When displaying a variable image like themeasurement pattern 323, a program for creating image data is stored in theROM 170, and the CPU 120 executes this program to create image data of the measurement pattern as needed. And output to thevideo processor 134.

以上説明したように、本発明を適用した実施形態に係るプロジェクター１００によれば、スクリーンＳＣに画像を投射するプロジェクター１００であって、移動検出用の計測パターンを含む画像を投射させるパターン投射制御部１２９と、スクリーンＳＣを撮影する撮像部１８０と、計測パターンの投射中に撮像部１８０により撮影され取得された第１の撮影画像に基づいて参照画像を生成し、計測パターンの投射中であって上記の撮影とは異なる時点で撮像部１８０によって撮影され取得された第２の撮影画像に基づいて比較用画像を生成する画像処理部１２７と、画像処理部１２７により生成された参照画像と比較用画像とを用いて、スクリーンＳＣに対するプロジェクター１００の相対位置の変化を検出する動き検出部１２８と、を備え、撮像部１８０の撮影画像においてスクリーンＳＣの枠を検出できない場合に、参照画像と比較用画像とを用いて、スクリーンＳＣに対するプロジェクター１００の相対位置の変化を検出する。ここで、計測パターンを含む画像とは、計測パターンと本来の投射画像とを重ねた画像、計測パターンと別の画像とを重ねた画像、および、計測パターンのみからなる画像を含む。
これにより、参照画像と比較用画像とを比較することで、スクリーンＳＣの状態等に影響されることなく、スクリーンＳＣとプロジェクター１００のどちらが移動しても、移動方向に関わらず移動を確実に検出できる。従って、投射角を変化させるようなプロジェクター１００の位置変化を確実に検出できる。

As described above, according to theprojector 100 according to the embodiment to which the invention is applied, theprojector 100 projects an image on the screen SC, and the pattern projection control unit projects an image including a measurement pattern for movement detection. 129, animaging unit 180 that captures the screen SC, a reference image is generated based onthe first captured image thatis captured and acquired by theimaging unit 180 during projection of the measurement pattern, and the measurement pattern is being projected. Animage processing unit 127 that generates a comparative image based on asecond captured image captured and acquired by theimaging unit 180 at a time different from the above-described shooting, and a reference image generated by theimage processing unit 127 and a comparative image Amotion detection unit 128 that detects a change in the relative position of theprojector 100 with respect to the screen SC using the image. , If it can not detect the frame of the screen SC in the captured image of theimaging unit 180, by using the comparative image and the reference image to detect a change in the relative positions of theprojector 100 to the screen SC. Here, the image including the measurement pattern includes an image obtained by superimposing the measurement pattern and the original projection image, an image obtained by superimposing the measurement pattern and another image, and an image including only the measurement pattern.
Thus, by comparing the reference image with the comparative image, regardless of the moving direction, the movement is reliably detected regardless of the movement of the screen SC or theprojector 100 without being affected by the state of the screen SC or the like. it can. Therefore, a change in the position of theprojector 100 that changes the projection angle can be reliably detected.

また、動き検出部１２８は、計測パターンの位置の変化に起因する参照画像及び比較用画像の差分を検出することにより、スクリーンＳＣの状態等に影響されることなく、スクリーンＳＣに対するプロジェクター１００の相対位置の変化を確実に検出できる。  In addition, themotion detection unit 128 detects the difference between the reference image and the comparison image due to the change in the position of the measurement pattern, so that theprojector 100 is relative to the screen SC without being affected by the state of the screen SC. A change in position can be reliably detected.

また、パターン投射制御部１２９の機能により、図８（Ａ）に示す計測パターン３２２のように、投射画像の周囲を囲む枠形状の計測パターンを投射させた場合、スクリーンＳＣに大きい計測パターンを投射させることで、参照画像及び比較用画像に大きく計測パターンが写るので、より確実に参照画像と比較用画像との差を検出できる。
さらに、パターン投射制御部１２９の機能により、スクリーンＳＣに投射される画像を縮小させ、この縮小した画像の周囲に、計測パターン３２２のような枠形状の計測パターンを投射させてもよく、この場合には、投射中の投射画像の制約を受けることなく、かつ、投射中の投射画像の視認性に影響を与えることなく、計測パターンを投射できる。Further, when a measurement pattern having a frame shape surrounding the projection image is projected as shown in FIG. 8A by the function of the patternprojection control unit 129, a large measurement pattern is projected on the screen SC. By doing so, a large measurement pattern is reflected in the reference image and the comparison image, so that the difference between the reference image and the comparison image can be detected more reliably.
Further, the image projected on the screen SC may be reduced by the function of the patternprojection control unit 129, and a frame-shaped measurement pattern like themeasurement pattern 322 may be projected around the reduced image. In this case, the measurement pattern can be projected without being restricted by the projected image being projected and without affecting the visibility of the projected image being projected.

そして、プロジェクター１００は、動き検出部１２８の機能により、参照画像と比較用画像との差が検出された場合に、台形歪み補正処理を行う。つまり、プロジェクター１００とスクリーンＳＣの相対位置の変化により投射画像の歪みの補正が必要になったか否かを正確に判別し、補正が必要になった場合は台形歪み補正を行うので、スクリーンＳＣに投射される画像を、歪みの少ない良好な状態に保つことができる。また、プロジェクター１００とスクリーンＳＣの相対位置が変化して、台形歪み補正をやり直す必要が生じた場合に、台形歪み補正を指示する操作を必要としないため、利便性の向上を図ることができる。  Theprojector 100 performs the trapezoidal distortion correction process when the difference between the reference image and the comparison image is detected by the function of themotion detection unit 128. That is, it is accurately determined whether or not the correction of the distortion of the projected image is necessary due to the change in the relative position of theprojector 100 and the screen SC, and when the correction is necessary, the trapezoidal distortion correction is performed. The projected image can be kept in a good state with little distortion. Further, when the relative position of theprojector 100 and the screen SC changes and it becomes necessary to perform the keystone distortion correction again, the operation for instructing the keystone distortion correction is not required, so that the convenience can be improved.

なお、上記実施の形態では計測パターンを投射画像に重畳表示させて撮像部１８０により撮影を行い、撮影画像をもとに参照画像と比較用画像とを生成していたが、映像用プロセッサー１３４によりＡ／Ｄ変換部１１０から入力される画像の表示を停止させ、計測パターンのみをスクリーンＳＣに投射させることも可能である。この場合、計測パターンのみが写った撮影画像から参照画像と比較用画像を生成する処理は容易であるため、より高速に、小さい負荷でプロジェクター１００の相対位置の変化を検出できる。  In the above embodiment, the measurement pattern is superimposed on the projection image and photographed by theimaging unit 180, and the reference image and the comparison image are generated based on the photographed image. It is also possible to stop the display of the image input from the A /D conversion unit 110 and project only the measurement pattern onto the screen SC. In this case, since it is easy to generate a reference image and a comparative image from a captured image in which only the measurement pattern is captured, a change in the relative position of theprojector 100 can be detected at a higher speed and with a smaller load.

また、プロジェクター１００は、所定の表示可能領域１３１に画像を表示する液晶パネル１３０と、液晶パネル１３０に表示された画像をスクリーンＳＣに投射する投射光学系１５０とを備え、台形歪み補正部１３６の機能により、表示可能領域１３１に表示される画像を変形させることによりスクリーンＳＣに投射される画像の変形を補正する歪み補正を行う。そして、この歪み補正機能により液晶パネル１３０の表示可能領域１３１内に発生する非使用領域１３９に、図８（Ａ）に示す計測パターン３２２や図９に示す計測パターン３２３のように、計測パターンを表示させる場合には、投射画像に重ならないように計測パターンを投射するので、投射画像の制約を受けることなく、かつ、投射中の投射画像の視認性に影響を与えることなく、計測パターンを投射できる。  Theprojector 100 also includes aliquid crystal panel 130 that displays an image in a predetermineddisplayable area 131 and a projectionoptical system 150 that projects the image displayed on theliquid crystal panel 130 onto the screen SC, and includes a trapezoidaldistortion correction unit 136. With the function, distortion correction is performed to correct the deformation of the image projected on the screen SC by deforming the image displayed in thedisplayable area 131. Then, a measurement pattern such as ameasurement pattern 322 shown in FIG. 8A or ameasurement pattern 323 shown in FIG. 9 is applied to anon-use area 139 generated in thedisplayable area 131 of theliquid crystal panel 130 by this distortion correction function. When displaying, the measurement pattern is projected so as not to overlap the projected image, so the measurement pattern is projected without being restricted by the projected image and without affecting the visibility of the projected image being projected. it can.

なお、上述した実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、上記実施形態とは異なる態様として本発明を適用することも可能である。例えば、上記実施形態においては、参照画像と比較用画像との画素データの差分を求め、さらに差分絶対値和や差分二乗和としきい値とを比較することにより、スクリーンＳＣに対するプロジェクター１００の相対位置の変化を検出する構成としたが、本発明はこれに限定されるものではなく、比較用画像における計測パターンの位置（座標）を検出し、この位置（座標）と、参照画像において検出した計測パターンの位置（座標）との差がしきい値を超えたか否かに基づき、相対位置の変化を検出してもよい。また、上記実施形態において、参照画像及び比較用画像は、撮影画像から計測パターンを抽出して得られる画像としたが、さらに輪郭強調や輪郭抽出処理を施した画像としてもよい。或いは、参照画像及び比較用画像の実態を、抽出した計測パターンの輪郭線の位置座標を示す座標データとしてもよい。また、計測パターンの色については任意であり、人の目には見えにくい色で構成される計測パターンを用いることで、投射画像への影響を抑えてもよい。  The above-described embodiment is merely an example of a specific mode to which the present invention is applied, and the present invention is not limited. The present invention can be applied as a mode different from the above-described embodiment. For example, in the above-described embodiment, the relative position of theprojector 100 with respect to the screen SC is obtained by obtaining the difference between the pixel data of the reference image and the comparison image and further comparing the sum of absolute differences or the sum of squared differences with a threshold value. However, the present invention is not limited to this, and the position (coordinates) of the measurement pattern in the comparative image is detected, and the position (coordinate) and the measurement detected in the reference image are detected. A change in relative position may be detected based on whether the difference from the pattern position (coordinates) exceeds a threshold value. In the above-described embodiment, the reference image and the comparison image are images obtained by extracting the measurement pattern from the captured image, but may be images obtained by performing contour enhancement or contour extraction processing. Alternatively, the actual state of the reference image and the comparison image may be coordinate data indicating the position coordinates of the contour line of the extracted measurement pattern. Further, the color of the measurement pattern is arbitrary, and the influence on the projected image may be suppressed by using a measurement pattern configured with a color that is difficult to be seen by human eyes.

また、上記実施形態では、撮像部１８０はＣＣＤイメージセンサーを備えたＣＣＤカメラ１８１を有する構成として説明したが、本発明はこれに限定されるものではなく、撮像部１８０のイメージセンサーとしてＣＭＯＳセンサーを用いても良い。
また、上記実施形態では、光源が発した光を変調する表示部として、ＲＧＢの各色に対応した３枚の透過型または反射型の液晶パネル１３０を用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、例えば、１枚の液晶パネルとカラーホイールを組み合わせた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。ここで、表示部として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びＤＭＤ以外にも、光源が発した光を変調可能な構成であれば問題なく採用できる。
また、図１に示した各機能部は、プロジェクター１００の機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。In the above embodiment, theimaging unit 180 is described as having aCCD camera 181 including a CCD image sensor. However, the present invention is not limited to this, and a CMOS sensor is used as the image sensor of theimaging unit 180. It may be used.
In the above-described embodiment, the display unit that modulates the light emitted from the light source has been described by taking, as an example, a configuration using three transmissive or reflectiveliquid crystal panels 130 corresponding to RGB colors. The present invention is not limited to this, for example, a system using a single liquid crystal panel and a color wheel, a system using three digital mirror devices (DMD), a single digital mirror device and a color wheel. You may comprise by the DMD system etc. which combined these. Here, when only one liquid crystal panel or DMD is used as the display unit, a member corresponding to a synthetic optical system such as a cross dichroic prism is unnecessary. In addition to the liquid crystal panel and the DMD, any configuration that can modulate the light emitted from the light source can be used without any problem.
Further, each functional unit illustrated in FIG. 1 indicates a functional configuration of theprojector 100, and a specific mounting form is not particularly limited. That is, it is not always necessary to mount hardware corresponding to each function unit individually, and it is of course possible to adopt a configuration in which the functions of a plurality of function units are realized by one processor executing a program. In addition, in the above embodiment, a part of the function realized by software may be realized by hardware, or a part of the function realized by hardware may be realized by software.

１００…プロジェクター、１２０…ＣＰＵ、１２７…画像処理部、１２８…動き検出部（移動検出部）、１２９…パターン投射制御部（投射制御部）、１３０…液晶パネル（表示部、投射部）、１３２…液晶パネル駆動部、１３４…映像用プロセッサー、１３６…台形歪み補正部、１４０…照明光学系（投射部）、１５０…投射光学系（投射部）、１６０…ＲＡＭ、１６１…参照画像記憶部、１６２…比較用画像記憶部、１７０…ＲＯＭ、１７１…調整用画像記憶部、１７２…計測パターン記憶部、１８０…撮像部、１８１…ＣＣＤカメラ、１８２…撮影画像メモリー、ＳＣ…スクリーン（投射面）。  DESCRIPTION OFSYMBOLS 100 ... Projector, 120 ... CPU, 127 ... Image processing part, 128 ... Motion detection part (movement detection part), 129 ... Pattern projection control part (projection control part), 130 ... Liquid crystal panel (display part, projection part), 132 DESCRIPTION OF SYMBOLS ... Liquid crystal panel drive part, 134 ... Image processor, 136 ... Trapezoid distortion correction part, 140 ... Illumination optical system (projection part), 150 ... Projection optical system (projection part), 160 ... RAM, 161 ... Reference image storage part, 162: Comparison image storage unit, 170: ROM, 171: Adjustment image storage unit, 172 ... Measurement pattern storage unit, 180 ... Imaging unit, 181 ... CCD camera, 182 ... Captured image memory, SC ... Screen (projection surface) .

Claims (9)

Translated fromJapanese

投射面に画像を投射するプロジェクターであって、
前記画像を投射する投射部と、
移動検出用の特徴画像を含む画像を前記投射部によって投射させる投射制御部と、
前記投射面を撮影する撮像部と、
前記投射部により前記特徴画像の投射中に前記撮像部により撮影され取得された第１の撮影画像に基づいて参照画像を生成し、前記特徴画像の投射中であって前記第１の撮影画像が撮影された時点とは異なる時点で前記撮像部によって撮影され取得された第２の撮影画像に基づいて比較用画像を生成する画像処理部と、
前記画像処理部により生成された前記参照画像と前記比較用画像とを用いて、前記投射面に対する前記プロジェクターの相対位置の変化を検出する移動検出部と、
を備え、
前記移動検出部は、前記参照画像及び前記比較用画像について前記特徴画像の位置の変化に起因する画像の差を検出することにより、前記投射面に対する前記プロジェクターの相対位置の変化を検出することを特徴とするプロジェクター。A projector that projects an image on a projection surface,
A projection unit for projecting the image;
A projection control unit for projecting an image including a feature image for movement detection by the projection unit;
An imaging unit for photographing the projection surface;
A reference image is generated based on a first captured image captured and acquired by the imaging unit during projection of the feature image by the projecting unit, and the first captured image is being projected while the feature image is being projected. An image processing unit that generates a comparative image based on a second captured image captured and acquired by the imaging unit at a time different from the time of shooting;
Using the reference image generated by the image processing unit and the comparison image, a movement detection unit that detects a change in the relative position of the projector with respect to the projection surface;
With
The movement detection unit detects a change in a relative position of the projector with respect to the projection plane by detecting a difference between images of the reference image and the comparison image due to a change in the position of the feature image. Projector featuring. 前記投射制御部は、前記投射面に投射される画像の周囲を囲む枠形状の前記特徴画像を前記投射部によって投射させることを特徴とする請求項１記載のプロジェクター。  The projector according to claim 1, wherein the projection control unit causes the projection unit to project the feature image having a frame shape surrounding a periphery of an image projected on the projection surface. 前記投射制御部は、前記投射部により前記投射面に投射される画像を縮小させ、この縮小した画像の周囲に枠形状の前記特徴画像を投射させることを特徴とする請求項２記載のプロジェクター。  The projector according to claim 2, wherein the projection control unit reduces an image projected on the projection surface by the projection unit, and projects the frame-shaped feature image around the reduced image. 前記投射部は、所定の表示可能領域に画像を表示する表示部と、前記表示部に表示された画像を前記投射面に投射する投射光学系とを備え、
前記投射制御部は、前記表示部の表示可能領域に表示される画像を変形させることにより前記投射面に投射される画像の変形を補正する歪み補正機能を有し、この歪み補正機能により前記表示部の表示可能領域内に発生する非表示部分に、前記特徴画像を表示させることを特徴とする請求項１から３のいずれかに記載のプロジェクター。The projection unit includes a display unit that displays an image in a predetermined displayable area, and a projection optical system that projects the image displayed on the display unit onto the projection surface,
The projection control unit has a distortion correction function that corrects deformation of an image projected on the projection surface by deforming an image displayed in the displayable area of the display unit, and the display is performed by the distortion correction function. 4. The projector according to claim 1, wherein the feature image is displayed in a non-display portion that occurs in a displayable area of the unit. 5. 前記投射部により投射される画像を変形させて歪み補正を行う台形歪み補正部を備え、
前記台形歪み補正部は、前記移動検出部により前記プロジェクターの相対位置の変化が検出された場合に歪み補正を行うことを特徴とする請求項１から４のいずれかに記載のプロジェクター。A trapezoidal distortion correction unit that performs distortion correction by deforming the image projected by the projection unit,
The projector according to claim 1, wherein the trapezoidal distortion correction unit performs distortion correction when a change in the relative position of the projector is detected by the movement detection unit. 前記移動検出部は、前記参照画像及び前記比較用画像について、前記特徴画像から所定距離以上離れた部分を除く範囲の画像を比較して、前記特徴画像の位置の変化に起因する画像の差を検出することを特徴とする請求項１から５のいずれかに記載のプロジェクター。  The movement detection unit compares the reference image and the comparison image with an image in a range excluding a portion that is a predetermined distance or more away from the feature image, and determines an image difference caused by a change in the position of the feature image. 6. The projector according to claim 1, wherein the projector is detected. 前記画像処理部は、前記第１の撮影画像における前記特徴画像から所定距離以上離れた部分をマスクして前記参照画像を生成し、前記第２の撮影画像における前記特徴画像から所定距離以上離れた部分をマスクして前記比較用画像を生成することを特徴とする請求項６記載のプロジェクター。  The image processing unit generates the reference image by masking a portion of the first photographed image that is separated from the feature image by a predetermined distance or more, and is separated from the feature image of the second photographed image by a predetermined distance or more. The projector according to claim 6, wherein the comparison image is generated by masking a portion. 投射面に画像を投射する投射部を備えたプロジェクターの制御方法であって、
移動検出用の特徴画像を含む画像を前記投射部によって投射させ、前記特徴画像の投射中に前記投射面を撮影する撮像部により撮影され取得された第１の撮影画像に基づいて参照画像を生成し、
前記特徴画像の投射中であって前記第１の撮影画像が撮影された時点とは異なる時点で前記撮像部によって撮影され取得された第２の撮影画像に基づいて比較用画像を生成し、
生成した前記参照画像と前記比較用画像とを用いて、前記投射面に対する前記プロジェクターの相対位置の変化を検出すること、
を含み、
前記参照画像及び前記比較用画像について前記特徴画像の位置の変化に起因する画像の差を検出することにより、前記投射面に対する前記プロジェクターの相対位置の変化を検出することを特徴とするプロジェクターの制御方法。A method for controlling a projector including a projection unit that projects an image on a projection surface,
An image including a feature image for movement detection is projected by the projection unit, and a reference image is generated based on a first captured image captured and acquired byan imaging unitthat captures theprojection surface during projection of the feature image. And
A comparison image is generated based on a second captured image captured and acquired by the imaging unit at a time different from the time when the first captured image is captured while the feature image is being projected,
Detecting a change in the relative position of the projector with respect to the projection surface using the generated reference image and the comparison image;
Including
Control of a projector, wherein a change in relative position of the projector with respect to the projection plane is detected by detecting an image difference caused by a change in position of the feature image with respect to the reference image and the comparison image. Method. 前記プロジェクターは前記投射部により投射される画像を変形させて歪み補正を行う台形歪み補正機能を有し、
前記プロジェクターの相対位置の変化が検出された場合に台形歪み補正機能により歪み補正を行うことを特徴とする請求項８記載のプロジェクターの制御方法。The projector has a trapezoidal distortion correction function for correcting distortion by deforming an image projected by the projection unit,
9. The projector control method according to claim 8, wherein when a change in the relative position of the projector is detected, distortion correction is performed by a trapezoidal distortion correction function.

Images