Movatterモバイル変換


[0]ホーム

URL:


JP2020178248A - Projection control device, projection control method, projection system, program, storage medium - Google Patents

Projection control device, projection control method, projection system, program, storage medium
Download PDF

Info

Publication number
JP2020178248A
JP2020178248AJP2019079561AJP2019079561AJP2020178248AJP 2020178248 AJP2020178248 AJP 2020178248AJP 2019079561 AJP2019079561 AJP 2019079561AJP 2019079561 AJP2019079561 AJP 2019079561AJP 2020178248 AJP2020178248 AJP 2020178248A
Authority
JP
Japan
Prior art keywords
projector
projection
marker
projectors
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019079561A
Other languages
Japanese (ja)
Inventor
雄太 浦野
Yuta Urano
雄太 浦野
和広 門田
Kazuhiro Kadota
和広 門田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon IncfiledCriticalCanon Inc
Priority to JP2019079561ApriorityCriticalpatent/JP2020178248A/en
Publication of JP2020178248ApublicationCriticalpatent/JP2020178248A/en
Pendinglegal-statusCriticalCurrent

Links

Images

Landscapes

Abstract

Translated fromJapanese

【課題】複数台のプロジェクタを用いてマルチ投影を行う場合に、プロジェクタの設置位置を容易に決めることができるようにする。【解決手段】複数の投影プロジェクタを制御するための投影制御装置であって、複数の投影プロジェクタから、投影面上にマルチ投影面を形成するための複数の第1のプロジェクタと、投影面にマーカーを投影するための第2のプロジェクタとを選択する選択手段と、マルチ投影面の解像度と、第1のプロジェクタの解像度と、エッジブレンド情報と、第2のプロジェクタの解像度とに基づくマーカー画像を、第2のプロジェクタに投影させる制御手段とを備える。【選択図】 図1PROBLEM TO BE SOLVED: To easily determine an installation position of a projector when performing multi-projection using a plurality of projectors. SOLUTION: This is a projection control device for controlling a plurality of projection projectors, from a plurality of projection projectors, a plurality of first projectors for forming a multi-projection surface on a projection surface, and a marker on the projection surface. A marker image based on a selection means for selecting a second projector for projecting, the resolution of the multi-projector surface, the resolution of the first projector, the edge blend information, and the resolution of the second projector. It includes a control means for projecting onto a second projector. [Selection diagram] Fig. 1

Description

Translated fromJapanese

本発明は、プロジェクタの投影位置を調整するための投影制御装置、投影制御方法、投影システム、プログラム、記憶媒体に関する。 The present invention relates to a projection control device for adjusting a projection position of a projector, a projection control method, a projection system, a program, and a storage medium.

近年、プロジェクタを用いて様々な場所にコンテンツを投影することが一般的になってきており、複数台のプロジェクタの投影面を並べることによって大画面を形成するマルチ投影などが広く普及している。マルチ投影では、各プロジェクタの投影位置合わせが必要である。 In recent years, it has become common to project content to various places using a projector, and multi-projection, which forms a large screen by arranging the projection surfaces of a plurality of projectors, has become widespread. In multi-projection, it is necessary to align the projection of each projector.

複数台のプロジェクタの投影領域を所望の領域に合うように位置合わせする技術として、カメラを用いて自動位置合わせを行うシステムが知られている。これは、カメラでスクリーンと各プロジェクタの投影領域を撮像し、各プロジェクタが投影すべき位置を計算し、キーストーン補正機能やレンズシフト機能を活用して自動で投影画像の位置合わせを行うものである。なお、キーストーン補正とは、プロジェクタとスクリーンの相対角に起因する台形歪みを画像処理で幾何学的に補正する機能であり、レンズシフト機能とは、プロジェクタの本体の位置や向きを変えずに投影領域をシフトすることができる機能である。 As a technique for aligning the projection areas of a plurality of projectors so as to match a desired area, a system for performing automatic alignment using a camera is known. In this method, the camera captures the screen and the projection area of each projector, the position to be projected by each projector is calculated, and the keystone correction function and lens shift function are used to automatically align the projected image. is there. The keystone correction is a function that geometrically corrects trapezoidal distortion caused by the relative angle between the projector and the screen by image processing, and the lens shift function is a function that does not change the position or orientation of the projector body. This is a function that can shift the projection area.

ところが、プロジェクタ本体の設置状況によっては、キーストーン補正機能やレンズシフト機能を活用しても投影画像を所望の領域に投影することができない場合がある。これは、キーストーン補正機能の補正量やレンズシフト機能のシフト量には限界があるためであり、こうした場合には、プロジェクタ本体の設置位置を調整して、自動位置合わせを再実行する必要がある。 However, depending on the installation condition of the projector main body, it may not be possible to project the projected image on a desired area even if the keystone correction function or the lens shift function is utilized. This is because there is a limit to the amount of correction for the keystone correction function and the amount of shift for the lens shift function. In such a case, it is necessary to adjust the installation position of the projector body and re-execute the automatic alignment. is there.

しかしながら、マルチ投影の場合には、スクリーン上に各プロジェクタが投影すべき領域の目印がないため、どの位置にプロジェクタ本体を移動させれば、自動位置合わせが可能となるかをユーザが知ることが困難であるという問題がある。 However, in the case of multi-projection, since there is no mark on the screen for the area to be projected by each projector, the user can know to which position the projector body should be moved to enable automatic alignment. There is a problem that it is difficult.

特許文献1では、位置合わせができたプロジェクタを用いて、位置合わせができなかったプロジェクタ本体の設置のための参照画像を投影することにより、ユーザが容易にプロジェクタ本体の設置位置を修正できるようにしている。 In Patent Document 1, a user can easily correct the installation position of the projector body by projecting a reference image for installing the projector body that could not be aligned by using a projector that can be aligned. ing.

特開2015−121779号公報Japanese Unexamined Patent Publication No. 2015-121779

しかしながら、特許文献1では、位置合わせができたプロジェクタを用いて参照画像を投影するため、位置合わせができたプロジェクタの数と配置によっては、参照画像を投影することができない場合がある。また、プロジェクタの自動位置合わせ実行後に位置合わせが失敗したときに参照画像を投影する構成であるため、プロジェクタの自動位置合わせを複数回実施しなければならない場合がある。 However, in Patent Document 1, since the reference image is projected using the aligned projector, it may not be possible to project the reference image depending on the number and arrangement of the aligned projectors. Further, since the reference image is projected when the alignment fails after the automatic alignment of the projector is executed, it may be necessary to perform the automatic alignment of the projector a plurality of times.

本発明は上述した課題に鑑みてなされたものであり、その目的は、複数台のプロジェクタを用いてマルチ投影を行う場合に、プロジェクタの設置位置を容易に決めることができるようにすることである。 The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to make it possible to easily determine the installation position of a projector when performing multi-projection using a plurality of projectors. ..

本発明に係わる投影制御装置は、複数の投影プロジェクタを制御するための投影制御装置であって、前記複数の投影プロジェクタから、投影面上にマルチ投影面を形成するための複数の第1のプロジェクタと、前記投影面にマーカーを投影するための第2のプロジェクタとを選択する選択手段と、前記マルチ投影面の解像度と、前記第1のプロジェクタの解像度と、エッジブレンド情報と、前記第2のプロジェクタの解像度とに基づくマーカー画像を、前記第2のプロジェクタに投影させる制御手段と、を備えることを特徴とする。 The projection control device according to the present invention is a projection control device for controlling a plurality of projection projectors, and a plurality of first projectors for forming a multi-projection surface on a projection surface from the plurality of projection projectors. And a selection means for selecting a second projector for projecting a marker on the projection surface, a resolution of the multi-projection surface, a resolution of the first projector, edge blend information, and the second. It is characterized by including a control means for projecting a marker image based on the resolution of the projector onto the second projector.

本発明によれば、複数台のプロジェクタを用いてマルチ投影を行う場合に、プロジェクタの設置位置を容易に決めることが可能となる。 According to the present invention, when multi-projection is performed using a plurality of projectors, it is possible to easily determine the installation position of the projectors.

第1の実施形態におけるマルチ投影システムのシステム構成例を示す図。The figure which shows the system configuration example of the multi-projection system in 1st Embodiment.第1の実施形態における投影システムを構成するプロジェクタ、PCおよびカメラの各機能構成例を示すブロック図。The block diagram which shows each function configuration example of the projector, the PC and the camera which constitute the projection system in 1st Embodiment.第1の実施形態におけるキーストーン補正を説明する図。The figure explaining the keystone correction in the 1st Embodiment.第1の実施形態における補助プロジェクタの設置の一例を示す図。The figure which shows an example of the installation of the auxiliary projector in 1st Embodiment.第1の実施形態における自動位置合わせ処理を示すフローチャート。The flowchart which shows the automatic alignment processing in 1st Embodiment.第1の実施形態における自動位置合わせ処理のGUIの一例を示す図The figure which shows an example of GUI of the automatic alignment processing in 1st Embodiment第1の実施形態におけるマーカー画像の生成に用いる情報に関する図。The figure regarding the information used for generating the marker image in 1st Embodiment.第1の実施形態におけるユーザによる設置処理を説明する図。The figure explaining the installation process by the user in 1st Embodiment.第1の実施形態における補助プロジェクタのマーカー表示処理を示すフローチャート。The flowchart which shows the marker display processing of the auxiliary projector in 1st Embodiment.第2の実施形態における投影システムの機能構成例を示すブロック図。The block diagram which shows the functional structure example of the projection system in 2nd Embodiment.第2の実施形態における補助プロジェクタのマーカー表示処理に関するフローチャート。The flowchart regarding the marker display processing of the auxiliary projector in the 2nd Embodiment.第2の実施形態における補助プロジェクタのマーカー生成処理に関するフローチャート。The flowchart regarding the marker generation processing of the auxiliary projector in the 2nd Embodiment.第2の実施形態におけるマーカー画像の一例を示す図。The figure which shows an example of the marker image in 2nd Embodiment.第2の実施形態におけるマーカー画像の一例を示す図。The figure which shows an example of the marker image in 2nd Embodiment.第3の実施形態における補助プロジェクタのマーカー生成処理に関するフローチャート。The flowchart regarding the marker generation processing of the auxiliary projector in the 3rd Embodiment.第3の実施形態におけるプロジェクタ制御GUIの一例を示す図。The figure which shows an example of the projector control GUI in 3rd Embodiment.第3の実施形態におけるプロジェクタ制御GUIの一例を示す図。The figure which shows an example of the projector control GUI in 3rd Embodiment.第3の実施形態におけるユーザによる設置処理を説明する図。The figure explaining the installation process by the user in 3rd Embodiment.

(第1の実施形態)
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
(First Embodiment)
Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The following embodiments do not limit the invention according to the claims. Although a plurality of features are described in the embodiment, not all of the plurality of features are essential to the invention, and the plurality of features may be arbitrarily combined. Further, in the attached drawings, the same or similar configurations are designated by the same reference numbers, and duplicate description is omitted.

なお、以下の説明では、投影装置の一例であるプロジェクタをパーソナルコンピュータ(単にPCともいう)を用いて制御する例について説明する。しかし、本発明は、パーソナルコンピュータに限らず、プロジェクタを制御可能な他の機器にも適用可能である。これらの機器には、例えばデジタルカメラ、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、医療機器などが含まれてよい。また、以下の説明では、投影装置の一例としてスタンドアロンタイプのプロジェクタを例に挙げて説明するが、投影装置はこれに限らない。パーソナルコンピュータ、携帯電話機、ゲーム機、タブレット端末、医療機器などの他の機器に内蔵される投影装置に本発明を適用してもよい。 In the following description, an example of controlling a projector, which is an example of a projection device, by using a personal computer (also simply referred to as a PC) will be described. However, the present invention is applicable not only to personal computers but also to other devices capable of controlling projectors. These devices may include, for example, digital cameras, mobile phones including smartphones, game machines, tablet terminals, medical devices, and the like. Further, in the following description, a stand-alone type projector will be described as an example of the projection device, but the projection device is not limited to this. The present invention may be applied to a projection device built in another device such as a personal computer, a mobile phone, a game machine, a tablet terminal, or a medical device.

(第1の実施形態)
[投影システムの構成]
図1は、本発明の第1の実施形態に係わる投影システムの構成を示した模式図である。図1において、投影システム10は、光学像の解像度の向上、輝度を維持した大画面化等のために、複数のプロジェクタ(投影プロジェクタ)の投影画像を投影面上でシームレスにつなぎ合わせるマルチ投影を行う。図1に示す例では、投影システム10は、5台のプロジェクタ100a〜100eを有している。このうち、4台のプロジェクタ100a〜100dは、スクリーン400上でそれぞれの投影領域A、B、C、Dを一部重ね合わせて配置するマルチ投影を行うプロジェクタである。そして、プロジェクタ100eは、プロジェクタ100a〜100dの設置を補助するためのマーカーを投影するための補助プロジェクタである。なお、本実施形態では、4台のプロジェクタによる縦2台、横2台のマルチ投影システムを例に挙げて説明するが、プロジェクタの台数および配置はこれに限られるものではない。
(First Embodiment)
[Projection system configuration]
FIG. 1 is a schematic view showing the configuration of a projection system according to the first embodiment of the present invention. In FIG. 1, theprojection system 10 performs multi-projection in which projected images of a plurality of projectors (projection projectors) are seamlessly connected on a projection surface in order to improve the resolution of an optical image, increase the screen size while maintaining brightness, and the like. Do. In the example shown in FIG. 1, theprojection system 10 has fiveprojectors 100a to 100e. Of these, the fourprojectors 100a to 100d are projectors that perform multi-projection in which projection areas A, B, C, and D are partially overlapped and arranged on thescreen 400. Theprojector 100e is an auxiliary projector for projecting a marker for assisting the installation of theprojectors 100a to 100d. In the present embodiment, a multi-projection system with two vertical and two horizontal projectors using four projectors will be described as an example, but the number and arrangement of the projectors are not limited to this.

投影システム10に含まれる全てのプロジェクタは投影制御装置として機能するパーソナルコンピュータ(PC)200と相互に通信可能に接続される。また、複数のプロジェクタと、PC200との通信は、有線通信であっても無線通信であってもよく、また、通信プロトコルも特に限定されない。本実施形態では一例として、TCP/IPを通信プロトコルとして用いるローカルエリアネットワーク(LAN)により装置間の通信が行われるものとする。 All projectors included in theprojection system 10 are communicably connected to a personal computer (PC) 200 that functions as a projection control device. Further, the communication between the plurality of projectors and the PC 200 may be wired communication or wireless communication, and the communication protocol is not particularly limited. In this embodiment, as an example, it is assumed that communication between devices is performed by a local area network (LAN) that uses TCP / IP as a communication protocol.

PC200は、予め定められたコマンドをプロジェクタ100a〜100eに送信することにより、プロジェクタ100a〜100eの動作を制御することができる。プロジェクタ100a〜100eは、PC200から受信したコマンドに応じた動作を行って、動作の結果をPC200に送信する。 The PC 200 can control the operation of theprojectors 100a to 100e by transmitting a predetermined command to theprojectors 100a to 100e. Theprojectors 100a to 100e perform an operation according to a command received from the PC 200, and transmit the result of the operation to the PC 200.

投影システム10はさらに、撮像装置であるカメラ300を含む。カメラ300は例えばデジタルカメラ、ウェブカメラ、ネットワークカメラである。あるいは、PC200に内蔵されたカメラを用いてもよい。カメラは、スクリーン400の全体を撮像範囲として含むように設置され、撮像範囲が変わらないように固定されているものとする。PC200の外部のカメラを用いる場合は、直接あるいはLANを通じて、PC200と通信可能に接続される。PC200は、カメラ300に予め定められたコマンドを送信することにより、カメラ300の動作を制御することができる。例えば、カメラ300はPC200からの要求に応じて撮影を行い、得られた画像データをPC200に送信することができる。 Theprojection system 10 further includes acamera 300, which is an imaging device. Thecamera 300 is, for example, a digital camera, a webcam, or a network camera. Alternatively, a camera built in thePC 200 may be used. It is assumed that the camera is installed so as to include theentire screen 400 as an imaging range, and is fixed so that the imaging range does not change. When an external camera of the PC200 is used, it is communicably connected to the PC200 directly or through a LAN. ThePC 200 can control the operation of thecamera 300 by transmitting a predetermined command to thecamera 300. For example, thecamera 300 can take a picture in response to a request from thePC 200 and transmit the obtained image data to thePC 200.

[プロジェクタ100の構成]
図2は、投影システム10に含まれるプロジェクタ100及びPC200の機能構成例を示すブロック図である。プロジェクタ100は、CPU101、RAM102、ROM103、投影部104、投影制御部105、VRAM106、操作部107、ネットワークIF108、画像処理部109、映像入力110を有する。これらの機能ブロックは内部バス111によって通信可能に接続されている。
[Configuration of Projector 100]
FIG. 2 is a block diagram showing a functional configuration example of theprojector 100 and thePC 200 included in theprojection system 10. Theprojector 100 includes aCPU 101, aRAM 102, aROM 103, aprojection unit 104, aprojection control unit 105, aVRAM 106, anoperation unit 107, a network IF 108, animage processing unit 109, and avideo input 110. These functional blocks are communicably connected by aninternal bus 111.

CPU101はプログラマブルプロセッサの一例であり、例えばROM103に記憶されているプログラムをRAM102に読み込んで実行することにより、プロジェクタ100の動作を実現する。 TheCPU 101 is an example of a programmable processor. For example, the operation of theprojector 100 is realized by reading a program stored in theROM 103 into theRAM 102 and executing the program.

RAM102は、CPU101がプログラムを実行する際のワークメモリとして用いられる。RAM102には、プログラムやプログラムの実行に用いる変数などが記憶される。また、RAM102は、他の用途(例えばデータバッファとして)に用いられてもよい。 TheRAM 102 is used as a work memory when theCPU 101 executes a program. TheRAM 102 stores a program, variables used for executing the program, and the like. Further, theRAM 102 may be used for other purposes (for example, as a data buffer).

ROM103は書き換え可能であってもよい。ROM103には、CPU101が実行するプログラム、メニュー画面などの表示に用いるためのGUIデータ、各種の設定値などが記憶される。 TheROM 103 may be rewritable. TheROM 103 stores a program executed by theCPU 101, GUI data for use in displaying a menu screen, and various setting values.

投影部104は、光源、投影光学系などを有し、投影制御部105から供給される投影用画像に基づいて光学像を投影する。本実施形態では液晶パネルを光学変調素子として用い、光源からの光を反射する反射率もしくは透過させる透過率を投影用画像に従って制御することにより、投影用画像に基づく光学像を生成し、投影光学系によって投影面に投影する。投影制御部105は、画像処理部109から供給される投影用画像のデータを投影部104に供給する。VRAM106は、外部(例えばPCやメディアプレーヤー)から受信した投影用画像のデータを格納するビデオメモリである。 Theprojection unit 104 has a light source, a projection optical system, and the like, and projects an optical image based on a projection image supplied from theprojection control unit 105. In the present embodiment, the liquid crystal panel is used as an optical modulation element, and the reflectance for reflecting the light from the light source or the transmittance for transmitting the light is controlled according to the projection image to generate an optical image based on the projection image. Project onto the projection plane by the system. Theprojection control unit 105 supplies the projection image data supplied from theimage processing unit 109 to theprojection unit 104. TheVRAM 106 is a video memory for storing projection image data received from the outside (for example, a PC or a media player).

操作部107は、キーボタン、スイッチ、タッチパネルなどの入力デバイスを有し、ユーザからプロジェクタ100への指示を受け付ける。CPU101は操作部107の操作を監視しており、操作部107の操作を検出すると、検出した操作に応じた処理を実行する。なお、プロジェクタ100がリモートコントローラを有する場合、操作部107はリモートコントローラから受信した操作信号をCPU101に通知する。 Theoperation unit 107 has input devices such as key buttons, switches, and a touch panel, and receives instructions from the user to theprojector 100. TheCPU 101 monitors the operation of theoperation unit 107, and when the operation of theoperation unit 107 is detected, theCPU 101 executes a process according to the detected operation. When theprojector 100 has a remote controller, theoperation unit 107 notifies theCPU 101 of the operation signal received from the remote controller.

ネットワークIF108はプロジェクタ100を通信ネットワークに接続するインタフェースであり、サポートする通信ネットワークの規格に準拠した構成を有する。本実施形態においてプロジェクタ100は、ネットワークIF108を通じて、PC200と共通のローカルネットワークに接続される。したがって、プロジェクタ100とPC200との通信はネットワークIF108を通じて実行される。 The network IF 108 is an interface for connecting theprojector 100 to a communication network, and has a configuration conforming to the standard of the supported communication network. In this embodiment, theprojector 100 is connected to a local network common to thePC 200 through the network IF 108. Therefore, the communication between theprojector 100 and thePC 200 is executed through the network IF108.

画像処理部109は、映像入力部110に供給され、VRAM106に格納された映像信号に対して様々な画像処理を必要に応じて適用し、投影制御部105に供給する。画像処理部109は例えば画像処理用のマイクロプロセッサである。あるいは、画像処理部109に相当する機能を、CPU101がROM103に記憶されたプログラムを実行することによって実現してもよい。 Theimage processing unit 109 is supplied to thevideo input unit 110, applies various image processing to the video signal stored in theVRAM 106 as necessary, and supplies theimage processing unit 105 to theprojection control unit 105. Theimage processing unit 109 is, for example, a microprocessor for image processing. Alternatively, the function corresponding to theimage processing unit 109 may be realized by theCPU 101 executing the program stored in theROM 103.

画像処理部109が実行可能な画像処理には、フレーム間引き処理、フレーム補間処理、解像度変換処理、メニュー画面などのOSDを重複させる処理、キーストーン補正処理、エッジブレンディング処理などが含まれるが、これらに限定されない。 The image processing that can be executed by theimage processing unit 109 includes frame thinning processing, frame interpolation processing, resolution conversion processing, OSD duplication processing such as menu screen, keystone correction processing, edge blending processing, and the like. Not limited to.

映像入力部110は、外部装置(本実施形態ではPC200)が出力する映像信号を直接または間接的に受信するインタフェースであり、サポートする映像信号に応じた構成を有する。映像入力部110は例えば、コンポジット端子、S映像端子、D端子、コンポーネント端子、アナログRGB端子、DVI−I端子、DVI−D端子、HDMI(登録商標)端子の1つ以上を含む。映像入力部110はまた、アナログ映像信号を受信した場合、デジタル映像信号に変換してVRAM106に格納する。 Thevideo input unit 110 is an interface that directly or indirectly receives a video signal output by an external device (PC200 in this embodiment), and has a configuration according to the supported video signal. Thevideo input unit 110 includes, for example, one or more of a composite terminal, an S video terminal, a D terminal, a component terminal, an analog RGB terminal, a DVI-I terminal, a DVI-D terminal, and an HDMI (registered trademark) terminal. When thevideo input unit 110 receives an analog video signal, it converts it into a digital video signal and stores it in theVRAM 106.

[PC200の構成]
次に、PC200の機能構成について説明する。PC200は外部ディスプレイが接続可能な汎用コンピュータであり、したがって汎用コンピュータに準じた機能構成を有する。PC200は、CPU201、RAM202、ROM203、操作部204、表示部205、ネットワークIF206、映像出力部207、通信部208を有する。また、これらの機能ブロックは内部バス209によって通信可能に接続されている。
[Configuration of PC200]
Next, the functional configuration of thePC 200 will be described. ThePC 200 is a general-purpose computer to which an external display can be connected, and therefore has a functional configuration similar to that of a general-purpose computer. ThePC 200 includes aCPU 201, aRAM 202, aROM 203, anoperation unit 204, adisplay unit 205, a network IF 206, avideo output unit 207, and acommunication unit 208. Further, these functional blocks are communicably connected by theinternal bus 209.

CPU201は、プログラマブルプロセッサの一例であり、例えばROM203に記憶されているプログラム(OSやアプリケーションプログラム)をRAM202に読み込んで実行することにより、PC200の動作を実現する。 TheCPU 201 is an example of a programmable processor. For example, the operation of thePC 200 is realized by reading a program (OS or application program) stored in theROM 203 into theRAM 202 and executing the program.

RAM202は、CPU201がプログラムを実行する際のワークメモリとして用いられる。RAM202には、プログラムやプログラムの実行に用いる変数などが記憶される。また、RAM202は、他の用途(例えばデータバッファとして)に用いられてもよい。 TheRAM 202 is used as a work memory when theCPU 201 executes a program. TheRAM 202 stores a program, variables used for executing the program, and the like. Further, theRAM 202 may be used for other purposes (for example, as a data buffer).

ROM203は書き換え可能であってもよい。ROM203には、CPU201が実行するプログラム、メニュー画面などの表示に用いるためのGUIデータ、各種の設定値などが記憶される。なお、PC200はROM203よりも大容量の記憶装置(HDDやSSD)を有してもよく、その場合、OSやアプリケーションプログラムといった容量の大きいプログラムは記憶装置に記憶してもよい。ROM 203 may be rewritable. TheROM 203 stores programs executed by theCPU 201, GUI data for use in displaying menu screens, and various setting values. ThePC 200 may have a storage device (HDD or SSD) having a capacity larger than that of theROM 203, and in that case, a program having a large capacity such as an OS or an application program may be stored in the storage device.

操作部204は、キーボード、ポインティングデバイス(マウスなど)、タッチパネル、スイッチなどの入力デバイスを有し、ユーザからPC200への指示を受け付ける。なお、キーボードはソフトウェアキーボードであってもよい。CPU201は操作部204の操作を監視しており、操作部204の操作を検出すると、検出した操作に応じた処理を実行する。 Theoperation unit 204 has an input device such as a keyboard, a pointing device (mouse or the like), a touch panel, and a switch, and receives an instruction from the user to thePC 200. The keyboard may be a software keyboard. TheCPU 201 monitors the operation of theoperation unit 204, and when the operation of theoperation unit 204 is detected, theCPU 201 executes a process according to the detected operation.

表示部205は、例えば液晶パネルや有機ELパネルである。表示部205は、OSやアプリケーションプログラムが提供する画面の表示を行う。なお、表示部205は外部装置であってもよい。また、表示部205はタッチディスプレイであってもよい。 Thedisplay unit 205 is, for example, a liquid crystal panel or an organic EL panel. Thedisplay unit 205 displays the screen provided by the OS or the application program. Thedisplay unit 205 may be an external device. Further, thedisplay unit 205 may be a touch display.

ネットワークIF206はPC200を通信ネットワークに接続するインタフェースであり、サポートする通信ネットワークの規格に準拠した構成を有する。本実施形態においてPC200は、ネットワークIF206を通じて、プロジェクタ100と共通のローカルネットワークに接続される。したがって、PC200とプロジェクタ100との通信はネットワークIF206を通じて実行される。 The network IF206 is an interface for connecting thePC 200 to a communication network, and has a configuration conforming to the standard of the supporting communication network. In this embodiment, thePC 200 is connected to a local network common to theprojector 100 through the network IF206. Therefore, the communication between thePC 200 and theprojector 100 is executed through the network IF206.

映像出力部207は、外部装置(本実施形態ではプロジェクタ100)に映像信号を送信するインタフェースであり、サポートする映像信号に応じた構成を有する。映像出力部207は例えば、コンポジット端子、S映像端子、D端子、コンポーネント端子、アナログRGB端子、DVI−I端子、DVI−D端子、HDMI(登録商標)端子の1つ以上を含む。 Thevideo output unit 207 is an interface for transmitting a video signal to an external device (projector 100 in this embodiment), and has a configuration corresponding to the supported video signal. Thevideo output unit 207 includes, for example, one or more of a composite terminal, an S video terminal, a D terminal, a component terminal, an analog RGB terminal, a DVI-I terminal, a DVI-D terminal, and an HDMI (registered trademark) terminal.

なお、本実施形態では、プロジェクタ100の投写領域の調整機能を有する投写制御アプリケーションプログラムのUI画面を表示部205に表示するものとするが、映像出力部207に接続された外部機器にUI画面を表示させてもよい。 In the present embodiment, the UI screen of the projection control application program having the function of adjusting the projection area of theprojector 100 is displayed on thedisplay unit 205, but the UI screen is displayed on the external device connected to thevideo output unit 207. It may be displayed.

通信部208は外部機器と例えばシリアル通信を行うための通信インタフェースであり、代表的にはUSBインタフェースであるが、RS−232Cなど他の規格に準じた構成を有してもよい。本実施形態ではカメラ300が通信部208に接続されるものとするが、カメラ300とPC200との通信方法に特に制限はなく、両者がサポートしている任意の規格に準拠した通信を行うことができる。 Thecommunication unit 208 is a communication interface for performing serial communication with an external device, for example, and is typically a USB interface, but may have a configuration conforming to other standards such as RS-232C. In the present embodiment, thecamera 300 is connected to thecommunication unit 208, but the communication method between thecamera 300 and thePC 200 is not particularly limited, and communication conforming to an arbitrary standard supported by both can be performed. it can.

[キーストーン補正について]
次に、キーストーン補正について図3を用いて説明する。キーストーン補正は、投写面の法線方向と投写方向(一般的には投写光学系の光軸)とのずれに応じて投写画像に生じる台形歪みを相殺するように元画像を幾何学的変換(変形)させる補正(幾何補正)である。画像の幾何学的変換は射影変換によって実現できるため、キーストーン補正は幾何補正の補正量である射影変換パラメータの決定に等しい。例えば、CPU101は、矩形上の元画像の各頂点の移動量と移動方向に基づいて射影変換のパラメータを決定し、画像処理部109に与えることができる。
[About keystone correction]
Next, the keystone correction will be described with reference to FIG. Keystone correction geometrically transforms the original image so as to cancel the trapezoidal distortion that occurs in the projected image according to the deviation between the normal direction of the projection surface and the projection direction (generally the optical axis of the projection optical system). It is a correction (geometric correction) that causes (deformation). Since the geometric transformation of the image can be realized by the projective transformation, the keystone correction is equal to the determination of the projective transformation parameter which is the correction amount of the geometric correction. For example, theCPU 101 can determine the parameters of the projective transformation based on the movement amount and the movement direction of each vertex of the original image on the rectangle and give it to theimage processing unit 109.

例えば、元画像の座標を(xs,ys)とすると、射影変換による変形後の画像の座標(xd,yd)は以下の(式1)で表わされる。 For example, assuming that the coordinates of the original image are (xs, ys), the coordinates (xd, yd) of the image after deformation by the projective transformation are expressed by the following (Equation 1).

Figure 2020178248
Figure 2020178248

ここで、Mは3×3行列で、元画像から変形後の画像への射影変換行列である。また、xso、ysoは、図3に実線で示す元画像の左上の頂点の座標であり、xdo、ydoは、図3に一点鎖線で示す変形後の画像において、元画像の頂点(xso,yso)に対応する頂点の座標値である。 Here, M is a 3 × 3 matrix, which is a projective transformation matrix from the original image to the transformed image. Further, xso and yso are the coordinates of the upper left vertices of the original image shown by the solid line in FIG. 3, and xdo and ydo are the vertices (xso and yso) of the original image in the deformed image shown by the alternate long and short dash line in FIG. ) Is the coordinate value of the vertex.

CPU101は、(式1)の行列Mとその逆行列M-1を、オフセット(xso,yso),(xdo,ydo)とともに、キーストーン補正のパラメータとして画像処理部109に与える。画像処理部109は、以下の(式2)に従い、キーストーン補正後の座標値(xd,yd)に対応する元画像の座標(xs,ys)を求めることができる。TheCPU 101 gives the matrix M of (Equation 1) and its inverse matrix M-1 to theimage processing unit 109 as keystone correction parameters together with offsets (xso, yso) and (xdo, ydo). Theimage processing unit 109 can obtain the coordinates (xs, ys) of the original image corresponding to the coordinate values (xd, yd) after the keystone correction according to the following (Equation 2).

Figure 2020178248
Figure 2020178248

(式2)で得られる元画像の座標xs,ysがいずれも整数であれば、画像処理部109は元画像座標(xs,ys)の画素値をそのままキーストーン補正後の画像の座標(xd,yd)の画素値とすることができる。一方、(式2)で得られる元画像の座標が整数にならない場合、画像処理部109は、元画像座標(xs,ys)に相当する画素値を、複数の周辺画素の値を用いた補間演算により求めることができる。補間演算は、例えばバイリニア、バイキュービックなど、公知の補間演算のいずれかを用いて行うことができる。なお、(式2)で得られる元画像の座標が、元画像の外部領域の座標である場合、画像処理部109は、キーストーン補正後の画像の座標(xd,yd)の画素値を黒(0)またはユーザが設定した背景色とする。このようにして、画像処理部109は、キーストーン補正後の画像の全座標についての画素値を求め、変換後画像を作成することができる。 If the coordinates xs and ys of the original image obtained by (Equation 2) are both integers, theimage processing unit 109 uses the pixel values of the original image coordinates (xs, ys) as they are and the coordinates (xd) of the image after keystone correction. , Yd) pixel value. On the other hand, when the coordinates of the original image obtained by (Equation 2) do not become an integer, theimage processing unit 109 interpolates the pixel values corresponding to the original image coordinates (xs, ys) using the values of a plurality of peripheral pixels. It can be obtained by calculation. The interpolation operation can be performed by using any of known interpolation operations such as bilinear and bicubic. When the coordinates of the original image obtained by (Equation 2) are the coordinates of the external region of the original image, theimage processing unit 109 sets the pixel values of the coordinates (xd, yd) of the image after keystone correction to black. (0) Or the background color set by the user. In this way, theimage processing unit 109 can obtain the pixel values for all the coordinates of the image after keystone correction and create the converted image.

ここでは、プロジェクタ100のCPU101から画像処理部109に、行列Mとその逆行列M-1の両方が供給されるものとしたが、いずれか一方の行列だけを供給し、他方の行列は画像処理部109が求めてもよい。Here, it is assumed that both the matrix M and its inverse matrix M-1 are supplied from theCPU 101 of theprojector 100 to theimage processing unit 109, but only one of the matrices is supplied and the other matrix is image processed.Part 109 may be obtained.

なお、キーストーン補正後の画像の頂点の座標は、例えば投写画像の個々の頂点について、頂点が所望の位置に投写されるように操作部107を通じてユーザから移動量を入力させることにより取得することができる。この際、移動量の入力を支援するため、CPU201は、投写制御アプリケーションプログラムの機能を用い、プロジェクタ100にテストパターンを投写させるようにしてもよい。 The coordinates of the vertices of the image after keystone correction can be obtained, for example, by having the user input the amount of movement of each vertex of the projected image through theoperation unit 107 so that the vertices are projected at a desired position. Can be done. At this time, in order to support the input of the movement amount, theCPU 201 may use the function of the projection control application program to project the test pattern on theprojector 100.

[自動位置合わせ処理]
本実施形態の投影制御アプリケーションプログラムの実行に先だって、ユーザはまず、補助プロジェクタ100eの設置作業およびキーストーン補正を行う。ここでの設置作業は、補助プロジェクタ100eの投影面を目標とするマルチ投影面を含むように、図4(a)のように配置することである。そしてキーストーン補正は、前述のキーストーン補正機能を用いて、図4(b)のように目標となるマルチ投影面の外枠を決定することに相当する。なお、図4は、図1の状態から模式的にプロジェクタ100eとスクリーン400を抜粋して図示したものである。
[Automatic alignment processing]
Prior to the execution of the projection control application program of the present embodiment, the user first performs the installation work of theauxiliary projector 100e and the keystone correction. The installation work here is to arrange as shown in FIG. 4A so as to include a multi-projection surface targeting the projection surface of theauxiliary projector 100e. Then, the keystone correction corresponds to determining the outer frame of the target multi-projection plane as shown in FIG. 4B by using the keystone correction function described above. Note that FIG. 4 is a schematic representation of theprojector 100e and thescreen 400 extracted from the state of FIG.

この作業は、従来はレーザー墨出し器などを複数台用いて実施するものであるが、本実施形態では後述の処理に利用するため、プロジェクタを用いて行う。 Conventionally, this work is carried out by using a plurality of laser marking devices and the like, but in the present embodiment, it is carried out by using a projector because it is used for the processing described later.

次に、ユーザは、本実施形態のPC200上で動作する投射制御アプリケーションプログラムを実行する。図5は、本プログラムが実現する、自動位置合わせ処理の動作を示すフローチャートである。なお、図5の説明において、CPU201が投写制御アプリケーションプログラムを実行することにより表示部205に表示されるGUIを説明するために図6も用いる。ユーザはPCの操作部204を通じてGUI画面500を操作して、本プログラムを制御する。 Next, the user executes the projection control application program that operates on thePC 200 of the present embodiment. FIG. 5 is a flowchart showing the operation of the automatic alignment process realized by this program. In the description of FIG. 5, FIG. 6 is also used to explain the GUI displayed on thedisplay unit 205 when theCPU 201 executes the projection control application program. The user operates theGUI screen 500 through theoperation unit 204 of the PC to control this program.

S401において、PC200のCPU201は、PC200が通信可能なプロジェクタ100の中から、補助プロジェクタとして用いるプロジェクタを選択する。本ステップにおけるGUI画面(補助プロジェクタ選択画面)を図6(a)に示す。 In S401, theCPU 201 of thePC 200 selects a projector to be used as an auxiliary projector from theprojectors 100 that thePC 200 can communicate with. The GUI screen (auxiliary projector selection screen) in this step is shown in FIG. 6A.

図6(a)に示すGUI画面において、ユーザは、まず「検索」ボタン501を押下する。ユーザによって「検索」ボタン501が押下されたことをCPU201が検出すると、CPU201は、ネットワークIF206を介して、プロジェクタ名とIPアドレスに関する情報を要求する所定のコマンドをネットワーク上にブロードキャストする。なお、このときに要求する情報は、プロジェクタ名とIPアドレスに限らず、例えばプロジェクタ解像度、エッジブレンド設定値、キーストーン変形量などを要求してもよい。 On the GUI screen shown in FIG. 6A, the user first presses the "search"button 501. When theCPU 201 detects that the "search"button 501 has been pressed by the user, theCPU 201 broadcasts a predetermined command on the network requesting information on the projector name and the IP address via the network IF206. The information requested at this time is not limited to the projector name and IP address, and for example, the projector resolution, edge blend setting value, keystone deformation amount, and the like may be requested.

ネットワークに接続されている個々のプロジェクタ100のCPU101は、ネットワークIF108を介してコマンドを受信すると、要求された情報を含んだデータを、PC200に対して送信する。PC200のCPU201は、コマンドに応答して送信されたデータを受信し、データに含まれる情報を抽出してリストビュー502に表示する。なお、リストビュー502に表示されるプロジェクタの並び順は、検出された順であってもよいし、特定の規則に基づいてソートしてもよい。なお、本実施形態においては、図1におけるプロジェクタ100a,100b,100c,100d,100eのプロジェクタ名をそれぞれ、プロジェクタA、プロジェクタB、プロジェクタC、プロジェクタD、プロジェクタEとしている。 When theCPU 101 of eachprojector 100 connected to the network receives a command via the network IF 108, it transmits data including the requested information to thePC 200. TheCPU 201 of thePC 200 receives the transmitted data in response to the command, extracts the information contained in the data, and displays it in thelist view 502. The order of the projectors displayed in thelist view 502 may be the detected order or may be sorted based on a specific rule. In this embodiment, the projector names of theprojectors 100a, 100b, 100c, 100d, and 100e in FIG. 1 are Projector A, Projector B, Projector C, Projector D, and Projector E, respectively.

次に、ユーザは前述の補助プロジェクタに相当するものを、ラジオボタン503にチェックを入れることで、選択する。本実施形態においては、前述のようにプロジェクタ100eを補助プロジェクタとして用いたので、図6(a)のようにプロジェクタ名「プロジェクタE」を選択したものとして説明を続ける。 Next, the user selects the one corresponding to the auxiliary projector described above by checking theradio button 503. In the present embodiment, since theprojector 100e is used as the auxiliary projector as described above, the description will be continued assuming that the projector name “projector E” is selected as shown in FIG. 6A.

補助プロジェクタとして選択されたプロジェクタに関する情報(プロジェクタ名、IPアドレス、プロジェクタ解像度)はPC200のRAM202に格納される。CPU201が「検索」ボタン501の押下を検知したときに、補助プロジェクタとして選択したプロジェクタから、プロジェクタ解像度を取得していない場合は、この時点で要求コマンドを補助プロジェクタに送信し、返信された情報をRAM202に格納する
次に、ユーザは図6(a)の「Next」ボタン504を押下する。ユーザによって「Next」ボタン504が押下されたことをCPU201が検出すると、CPU201は図4のS402に遷移する。
Information (projector name, IP address, projector resolution) about the projector selected as the auxiliary projector is stored in theRAM 202 of thePC 200. If the projector resolution is not acquired from the projector selected as the auxiliary projector when theCPU 201 detects the pressing of the "search"button 501, a request command is sent to the auxiliary projector at this point and the returned information is transmitted. Stored in theRAM 202 Next, the user presses the “Next”button 504 in FIG. 6A. When theCPU 201 detects that the "Next"button 504 has been pressed by the user, theCPU 201 transitions to S402 in FIG.

S402において、PC200のCPU201は、PC200が通信可能なプロジェクタ100の中から、自動位置合わせ処理の対象とする複数のプロジェクタを選択し、レイアウトを設定する。本ステップにおけるGUI画面(レイアウト選択画面)を図6(b)に示す。 In S402, theCPU 201 of thePC 200 selects a plurality of projectors to be subjected to the automatic alignment processing from theprojectors 100 that thePC 200 can communicate with, and sets the layout. The GUI screen (layout selection screen) in this step is shown in FIG. 6 (b).

ユーザは、レイアウトリスト505から所望のレイアウトを選択する。図1のマルチ投影は縦2台×横2台の構成であるため、Row:2、Column:2を選択する。レイアウトが選択されたことをCPU201が検出すると、選択したレイアウトに合わせてレイアウト図506を表示し、位置に応じたレイアウト番号(1〜4)を表示する。 The user selects a desired layout from thelayout list 505. Since the multi-projection in FIG. 1 has a configuration of 2 vertical units × 2 horizontal units, Row: 2 and Volume: 2 are selected. When theCPU 201 detects that the layout has been selected, the layout diagram 506 is displayed according to the selected layout, and the layout numbers (1 to 4) corresponding to the positions are displayed.

次に、ユーザは「検索」ボタン507を押下する。ユーザによって「検索」ボタン507が押下されたことをCPU201が検出すると、S401と同様に、CPU201は、ネットワークIF206を介して、プロジェクタ名とIPアドレスに関する情報を要求する所定のコマンドをネットワーク上にブロードキャストする。なお、このときに要求する情報は、プロジェクタ名とIPアドレスに限らず、例えばプロジェクタ解像度、エッジブレンド設定値、キーストーン変形量などを要求してもよい。 Next, the user presses the "search"button 507. When theCPU 201 detects that the "search"button 507 has been pressed by the user, theCPU 201 broadcasts a predetermined command requesting information on the projector name and the IP address on the network via the network IF206 as in the case of S401. To do. The information requested at this time is not limited to the projector name and IP address, and for example, the projector resolution, edge blend setting value, keystone deformation amount, and the like may be requested.

ネットワークに接続されている個々のプロジェクタ100のCPU101は、S401と同様に、ネットワークIF108を介してコマンドを受信すると、要求された情報を含んだデータを、PC200に対して送信する。PC200のCPU201は、S401と同様に、コマンドに応答して送信されたデータを受信し、データに含まれる情報を抽出してリストビュー508に表示する。なお、補助プロジェクタとしてすでに選択済みのプロジェクタからの応答は、本リストビュー508に表示する必要がないので、CPU201はこれを表示しない。 When theCPU 101 of eachprojector 100 connected to the network receives a command via the network IF 108, theCPU 101 of eachprojector 100 transmits data including the requested information to thePC 200, as in the case of S401. Similar to S401, theCPU 201 of thePC 200 receives the data transmitted in response to the command, extracts the information contained in the data, and displays it in thelist view 508. Since it is not necessary to display the response from the projector already selected as the auxiliary projector in thelist view 508, theCPU 201 does not display this.

図6(b)は、PC200に接続されているプロジェクタが、図1に示すようにマルチ投影を構成する4台である場合の例であるが、マルチ投影を構成するプロジェクタ以外のプロジェクタが同一ネットワークに接続されていれば、同様にリスト表示される。 FIG. 6B is an example in which the number of projectors connected to thePC 200 is four as shown in FIG. 1, but the projectors other than the projectors constituting the multi-projection are in the same network. If it is connected to, it will be listed as well.

次に、ユーザは、マルチ投影を構成するプロジェクタの「割当」列に表示されたドロップダウンボタン509,510,511,512を押下して各プロジェクタの配置を設定する。図6(b)に示す例では、IPアドレスが192.168.254.1であるプロジェクタは、図1に示すプロジェクタ100aであり、スクリーン400上で左上を担当する。そのため、レイアウト図506を参照し、「1」を選択する。同様に、プロジェクタ100b〜100dについても割当を、510,511,512に示すように設定する。マルチ投影に使用しないプロジェクタがリストビュー508に表示されている場合は、ユーザは割当を設定しなければよい。 Next, the user presses the drop-downbuttons 509, 510, 511 and 512 displayed in the "assignment" column of the projectors constituting the multi-projection to set the arrangement of each projector. In the example shown in FIG. 6B, the projector having an IP address of 192.168.254.1 is theprojector 100a shown in FIG. 1, and is in charge of the upper left on thescreen 400. Therefore, refer to the layout diagram 506 and select "1". Similarly, the allocations for the projectors 100b to 100d are set as shown in 510,511,512. If a projector not used for multi-projection is displayed inlist view 508, the user may not set the assignment.

割当が設定されたプロジェクタに関する情報(例えば、プロジェクタ名、IPアドレス、割当、プロジェクタ解像度、エッジブレンド情報)はPC200のRAM202に格納される。CPU201が「検索」ボタン507の押下を検知した時に、各プロジェクタから、プロジェクタ解像度、エッジブレンド情報を収集していない場合には、この時点で割当設定されたプロジェクタに要求コマンドを送信し、返信された情報をRAM202に格納する。 Information about the projector for which the allocation is set (for example, the projector name, IP address, allocation, projector resolution, edge blend information) is stored in theRAM 202 of thePC 200. When theCPU 201 detects that the "search"button 507 is pressed, if the projector resolution and edge blend information are not collected from each projector, a request command is sent to the projector assigned at this point and a reply is sent. The information is stored in theRAM 202.

次に、ユーザは図6(b)の「Next」ボタン513を押下する。ユーザによって「Next」ボタン513が押下されたことをCPU201が検出すると、CPU201は図5のS403の設置位置確認用テストパターン出力処理に遷移する。 Next, the user presses the "Next"button 513 in FIG. 6 (b). When theCPU 201 detects that the "Next"button 513 has been pressed by the user, theCPU 201 transitions to the test pattern output process for confirming the installation position of S403 in FIG.

図5のS403では、CPU201は、割当が設定されたプロジェクタそれぞれに対し、ネットワークIF206を通じてテストパターンの表示を指示するコマンドを送信する。このとき、キーストーン変形がかかっている場合には、キーストーン変形の解除を指示するコマンドも送信する。表示させるテストパターンは、各プロジェクタ100の投影領域の大きさや位置を確認しやすくするためのテストパターンであり、例えば格子状の画像などを表示させる。なお、テストパターンはPC200から個々のプロジェクタ100に所定のテストパターンの表示を指示するコマンドを関連付けて送信してもよいし、任意の直線や図形、文字列などをプロジェクタに描画させるコマンドを複数組み合わせて送信してもよい。 In S403 of FIG. 5, theCPU 201 transmits a command instructing the display of the test pattern to each of the projectors for which the allocation is set through the network IF206. At this time, if the keystone deformation is applied, a command for instructing the release of the keystone deformation is also transmitted. The test pattern to be displayed is a test pattern for making it easy to confirm the size and position of the projection area of eachprojector 100, and for example, a grid-like image is displayed. The test pattern may be transmitted from thePC 200 to eachprojector 100 in association with a command instructing the display of a predetermined test pattern, or a plurality of commands for drawing an arbitrary straight line, graphic, character string, etc. on the projector may be combined. May be sent.

割当設定されたすべてのプロジェクタにテストパターンを表示すると、CPU201は図5のS404のカメラ選択処理に遷移する。 When the test pattern is displayed on all the assigned projectors, theCPU 201 transitions to the camera selection process of S404 of FIG.

図5のS404では、CPU201は、表示部205に図6(c)に示すカメラ選択画面を表示し、自動位置合わせ処理に用いるカメラの選択処理を行う。図6(c)の「検索」ボタン514の操作が検出されると、PC200のCPU201は自身とUSBやネットワーク接続されたカメラの情報(例えば、カメラの製品名)を取得し、ドロップダウンリスト515に表示する。ユーザは検索された複数のカメラから所望のカメラをドロップダウンリスト515によって1台選択する。なお、自動調整に用いるカメラの台数は1台でなく、2台以上選択できてもよい。 In S404 of FIG. 5, theCPU 201 displays the camera selection screen shown in FIG. 6C on thedisplay unit 205, and performs the camera selection process used for the automatic alignment process. When the operation of the "search"button 514 in FIG. 6 (c) is detected, theCPU 201 of thePC 200 acquires information on the camera connected to itself via USB or a network (for example, the product name of the camera), and drops downlist 515. Display on. The user selects one desired camera from the plurality of searched cameras by the drop-downlist 515. The number of cameras used for automatic adjustment is not one, but two or more may be selected.

図6(c)に示す画像領域516は、ドロップダウンリスト515で選択されたカメラで撮影した画像を表示する領域である。例えば、PC200のCPU201が選択されたカメラ300に対して、撮影を指示するコマンドを送信し、取得した撮影画像を画像領域516に貼り付ける。ここに表示される画像は、ライブビュー画像が望ましいが、静止画であってもよい。図6(c)の例では、プロジェクタ100a〜100dと補助プロジェクタ100eが投影する領域を517a〜517eとして図示している。同図では、プロジェクタ100a〜100dの投影領域(517a〜517d)を区別しやすくするためにハッチングパターンを変えているが、投影するテストパターンは同一でもよい。 Theimage area 516 shown in FIG. 6C is an area for displaying an image taken by the camera selected in the drop-downlist 515. For example, theCPU 201 of thePC 200 transmits a command for instructing shooting to the selectedcamera 300, and the acquired shot image is pasted in theimage area 516. The image displayed here is preferably a live view image, but may be a still image. In the example of FIG. 6C, the regions projected by theprojectors 100a to 100d and theauxiliary projector 100e are illustrated as 517a to 517e. In the figure, the hatching pattern is changed to make it easier to distinguish the projection areas (517a to 517d) of theprojectors 100a to 100d, but the projected test patterns may be the same.

ユーザはこの画像領域516を観察することで、カメラの撮像範囲内にプロジェクタの投影画像が全て収まるためのカメラの設置やズーム調整を容易に行うことができる。本実施形態では、全てのプロジェクタの投影面がカメラの撮像範囲に入っているものとして説明を続ける。 By observing thisimage area 516, the user can easily install the camera and adjust the zoom so that all the projected images of the projector fit within the imaging range of the camera. In the present embodiment, the description will be continued assuming that the projection surfaces of all the projectors are within the imaging range of the camera.

図6(c)の「Back」ボタン518の操作が検出されると、前画面(図6(b)に示す画面)に戻る。つまり、図5のフローチャートで、S404からS402へ戻る。 When the operation of the "Back"button 518 of FIG. 6C is detected, the screen returns to the previous screen (the screen shown in FIG. 6B). That is, in the flowchart of FIG. 5, the process returns from S404 to S402.

図6(c)のチェックボックス519はカメラの制御パラメータ(絞り数値やシャッタースピードなど)をPC200が自動で算出するか否かを設定するためのものである。「Next」ボタン520で次画面に遷移する際に、チェックボックス519にチェックが入っているか否かで、カメラの制御パラメータの自動算出を行うかどうかを切り替えることができる。詳細な説明は本実施形態では省略するが、各々のプロジェクタ100が所定のテストパターンを投影し、カメラが測光することにより、カメラの制御パラメータを得ることができる。 Thecheck box 519 in FIG. 6C is for setting whether or not thePC 200 automatically calculates the control parameters (aperture value, shutter speed, etc.) of the camera. When transitioning to the next screen with the "Next"button 520, it is possible to switch whether or not to automatically calculate the control parameters of the camera depending on whether or not thecheck box 519 is checked. Although detailed description is omitted in the present embodiment, the control parameters of the camera can be obtained by projecting a predetermined test pattern on eachprojector 100 and measuring the light by the camera.

図6(c)の「Next」ボタン520の操作が検出されると、CPU201は図5のS405のカメラの制御パラメータの設定処理に遷移する。 When the operation of the "Next"button 520 of FIG. 6C is detected, theCPU 201 transitions to the process of setting the control parameters of the camera of S405 of FIG.

図5のS405では、CPU201は、表示部205に図6(d)に示すカメラパラメータの設定画面を表示し、カメラの制御パラメータ(絞り数値やシャッタースピードなど)を設定する。 In S405 of FIG. 5, theCPU 201 displays the camera parameter setting screen shown in FIG. 6D on thedisplay unit 205, and sets the camera control parameters (aperture value, shutter speed, etc.).

図6(d)の521,522,523はそれぞれ、カメラのシャッター速度、ISO感度、絞り数値を設定するためのドロップダウンリストである。なお、設定できるカメラの制御パラメータはこれに限らず、例えばホワイトバランスや測光方式などを設定できるようにしてもよい。 521, 522, 523 of FIG. 6D are drop-down lists for setting the shutter speed, ISO sensitivity, and aperture value of the camera, respectively. The camera control parameters that can be set are not limited to this, and for example, white balance, photometric method, and the like may be set.

図6(d)の「テスト撮影」ボタン524の操作が検出されると、PC200は選択されたカメラ300に対して撮影を促すコマンドを送信して、撮影画像を取得し、画像表示領域525上に表示する。このとき表示する画像は、シャッター速度などの制御パラメータが正しく設定できたかどうかを確認するためのものなので、静止画であることが望ましいが、ライブビュー画像であっても構わない。 When the operation of the "test shooting"button 524 in FIG. 6D is detected, thePC 200 sends a command prompting the selectedcamera 300 to shoot, acquires the shot image, and is displayed on theimage display area 525. Display on. The image displayed at this time is preferably a still image because it is for confirming whether the control parameters such as the shutter speed have been set correctly, but it may be a live view image.

図6(d)の「Back」ボタン526の操作が検出されると、前画面(図6(c)に示す画面)に戻る。つまり、図5のフローチャートで、S405からS404へ戻る。 When the operation of the "Back"button 526 of FIG. 6D is detected, the screen returns to the previous screen (the screen shown in FIG. 6C). That is, in the flowchart of FIG. 5, the process returns from S405 to S404.

図6(d)の「Next」ボタン527の操作が検出されると、CPU201は図5のS406の設置アシスト処理に遷移する。 When the operation of the "Next"button 527 of FIG. 6 (d) is detected, theCPU 201 transitions to the installation assist process of S406 of FIG.

図5のS406では、CPU201は、S401とS402でRAM202に保存した「補助プロジェクタの解像度」「自動位置合わせ対象として選択した各プロジェクタの解像度、エッジブレンド情報」から補助プロジェクタ100eで投影するためのマーカーを生成して、補助プロジェクタ100eにマーカーの描画を指示する。 In S406 of FIG. 5, theCPU 201 is a marker for projecting with theauxiliary projector 100e from the "resolution of the auxiliary projector" and "resolution of each projector selected as the automatic alignment target, edge blend information" stored in theRAM 202 in S401 and S402. Is generated to instruct theauxiliary projector 100e to draw a marker.

ここで、上記の情報が図7(a)に示すものだった場合を例に挙げて、マーカーの生成方法について説明する。 Here, a method of generating a marker will be described by taking the case where the above information is shown in FIG. 7A as an example.

まず、CPU201は、自動位置合わせ対象として選択した各プロジェクタの解像度、エッジブレンド情報から、ユーザが作成したいマルチ投影面は図7(b)に図示したものであると計算できる。つまり、マルチ投影面解像度は、幅3680(1920+1920−160)、高さが2300(1200+1200−100)である。また、図7(b)のP5とP6を結んだ線とP7とP8を結んだ線の間の領域、及び、P9とP10を結んだ線とP11とP12を結んだ線の間の領域が、目標となるマルチ投影面のエッジブレンド領域である。なお、図示のP1からP12の座標は左上を原点とした座標系で示している。 First, theCPU 201 can calculate from the resolution and edge blend information of each projector selected as the automatic alignment target that the multi-projection plane desired to be created by the user is shown in FIG. 7 (b). That is, the multi-projection surface resolution is 3680 (1920 + 1920-160) in width and 2300 (1200 + 1200-100) in height. Further, the region between the line connecting P5 and P6 and the line connecting P7 and P8 in FIG. 7B, and the region between the line connecting P9 and P10 and the line connecting P11 and P12 are , The edge blend region of the target multi-projection plane. The coordinates of P1 to P12 in the figure are shown in a coordinate system with the upper left as the origin.

続いて、CPU201は、上述のエッジブレンド領域を補助プロジェクタで投影するために、補助プロジェクタ上でのこれらの位置を計算する。本実施形態においては、目標マルチ投影面解像度、補助プロジェクタ解像度はいずれも16:10のアスペクト比であるため、単純な比例計算でよい。例えば、目標マルチ投影面におけるP5に対応する点であるQ5のx座標であれば、1280×(1760÷3680)= 612.17と算出できる。また、P11に対応するQ11のy座標であれば、800×(1200÷2300)=417.39と算出できる。同様にP5からP12に対応する点を計算したものが図7(c)である。 Subsequently, theCPU 201 calculates these positions on the auxiliary projector in order to project the above-mentioned edge blend region on the auxiliary projector. In the present embodiment, since the target multi-projection surface resolution and the auxiliary projector resolution both have an aspect ratio of 16:10, a simple proportional calculation may be sufficient. For example, in the case of the x-coordinate of Q5, which is the point corresponding to P5 on the target multi-projection plane, it can be calculated as 1280 × (1760/3680) = 612.17. Further, if it is the y coordinate of Q11 corresponding to P11, it can be calculated as 800 × (1200/2300) = 417.39. Similarly, FIG. 7C is a calculation of points corresponding to P5 to P12.

そして、CPU201は、補助プロジェクタであるプロジェクタ100eに対して、Q1,Q2,Q3,Q4を結ぶ補助プロジェクタの外枠を描画するためのコマンドを送信する。さらに、Q5とQ6、Q7とQ8、Q9とQ10、Q11とQ12を結ぶ線分を描画するためのコマンドを送信する。これを受信した補助プロジェク100eタのCPU101は、コマンドを解釈して指示された外枠、線分を描画する。 Then, theCPU 201 transmits a command for drawing the outer frame of the auxiliary projector connecting Q1, Q2, Q3, and Q4 to theprojector 100e, which is the auxiliary projector. Further, a command for drawing a line segment connecting Q5 and Q6, Q7 and Q8, Q9 and Q10, and Q11 and Q12 is transmitted. Upon receiving this, theCPU 101 of theauxiliary projector 100e interprets the command and draws the instructed outer frame and line segment.

上記処理を実施した後、PC200のCPU201は、表示部205に図6(e)に示す設置アシスト画面を表示し、ユーザによる設置処理の完了を待ち受ける。図6(e)に示す画像領域528は、516,525と同様に、カメラ300で撮影した画像を表示する領域である。ユーザは、投影面、もしくは、画像領域528を確認しながら、プロジェクタ100a,100b,100c,100dの投影位置を調整し、これが完了すると「Next」ボタン530を押下する。この操作を検出すると、CPU201は、図5のS407の射影変換パラメータ計算に遷移する。 After performing the above processing, theCPU 201 of thePC 200 displays the installation assist screen shown in FIG. 6E on thedisplay unit 205, and waits for the user to complete the installation processing. Theimage area 528 shown in FIG. 6E is an area for displaying an image taken by thecamera 300, similarly to 516 and 525. The user adjusts the projection positions of theprojectors 100a, 100b, 100c, and 100d while checking the projection surface or theimage area 528, and when this is completed, presses the "Next"button 530. When this operation is detected, theCPU 201 transitions to the projection conversion parameter calculation in S407 of FIG.

また、図6(e)の「Back」ボタン529の操作が検出されると、前画面(図6(d)に示す画面)に戻る。つまり、図5のフローチャートで、S406からS405に戻る。 When the operation of the "Back"button 529 in FIG. 6 (e) is detected, the screen returns to the previous screen (the screen shown in FIG. 6 (d)). That is, in the flowchart of FIG. 5, the process returns from S406 to S405.

ここで、ユーザによる設置処理について図8を用いて具体的に説明する。図8(a)は、図5のS406において、PC200から指示を受けた補助プロジェクタ100eが外枠、線分を描画した後の、投影面の状態を示した図である。図8(a)の太線で示したものが、補助プロジェクタが描画している外枠、線分であり、A,B,C,Dはマルチ投影面を構成するプロジェクタ100a,100b,100c,100dがそれぞれ投影している投影面である。ユーザは、各プロジェクタの投影面が、補助プロジェクタが描画している外枠、線分で示される担当領域を含めるようにプロジェクタ投影面を調整する必要がある。これが満たされていれば、以降の処理で説明するキーストーン変形によって、各プロジェクタの投影面をマルチ投影面の担当領域に合致させることが可能となる。 Here, the installation process by the user will be specifically described with reference to FIG. FIG. 8A is a diagram showing the state of the projection surface after theauxiliary projector 100e instructed by thePC 200 draws the outer frame and the line segment in S406 of FIG. The thick lines in FIG. 8A are the outer frames and line segments drawn by the auxiliary projector, and A, B, C, and D are theprojectors 100a, 100b, 100c, and 100d that form the multi-projection plane. Are the projection planes that are projected respectively. The user needs to adjust the projection surface of each projector so that the projection surface of each projector includes the outer frame drawn by the auxiliary projector and the area in charge indicated by the line segment. If this is satisfied, the projection plane of each projector can be matched with the area in charge of the multi-projection plane by the keystone deformation described in the subsequent processing.

図8(b)は、図8(a)から模式的にプロジェクタ100aの投影面Aとプロジェクタ100aの担当領域を示すマーカー部分だけを強調して示した図である。これを例にとって説明すると、ユーザはプロジェクタ100aの光学シフトや光学ズーム、またはプロジェクタ100aの設置位置を移動させるなどして、図8(c)の状態へとプロジェクタ100aの投影面を調整する。図8(c)の状態では、プロジェクタ100aの投影面Aが、補助プロジェクタが描画している外枠、線分で示される太線で示したプロジェクタ100aの担当領域を含むように位置調整されている。そして、これと同様の調整作業をプロジェクタ100b,100c,100dについても実施する。そして、これらの調整作業が完了した際に、ユーザは図6(e)の「Next」ボタンを押下して、PC200のCPU201に、調整作業が完了したことを通知する。 FIG. 8B is a diagram schematically showing from FIG. 8A by emphasizing only the projection surface A of theprojector 100a and the marker portion indicating the area in charge of theprojector 100a. Taking this as an example, the user adjusts the projection surface of theprojector 100a to the state shown in FIG. 8C by moving the optical shift or optical zoom of theprojector 100a or the installation position of theprojector 100a. In the state of FIG. 8C, the projection surface A of theprojector 100a is positioned so as to include the outer frame drawn by the auxiliary projector and the area in charge of theprojector 100a indicated by the thick line indicated by the line segment. .. Then, the same adjustment work is performed on theprojectors 100b, 100c, and 100d. Then, when these adjustment operations are completed, the user presses the "Next" button in FIG. 6 (e) to notify theCPU 201 of thePC 200 that the adjustment operations have been completed.

図5のS407では、CPU201は、プロジェクタ100a,100b,100c,100dにおけるプロジェクタ座標平面とカメラ座標平面との射影変換パラメータをそれぞれ求めて、RAM202に格納する。本処理は本実施形態の主要な部分ではないため、詳細な説明は省略するが、補助プロジェクタ100eのみが投影している投影面を撮像した画像と、各プロジェクタの投影領域を撮像した画像があれば、計算可能である。なお、射影変換パラメータの算出に用いるカメラ座標系における各プロジェクタの担当領域もRAM202に格納するものとする。そして、S408へ遷移する。 In S407 of FIG. 5, theCPU 201 obtains the projection conversion parameters of the projector coordinate plane and the camera coordinate plane in theprojectors 100a, 100b, 100c, and 100d, and stores them in theRAM 202. Since this process is not a main part of the present embodiment, detailed description thereof will be omitted, but there are an image of the projection surface projected only by theauxiliary projector 100e and an image of the projection area of each projector. For example, it can be calculated. The area in charge of each projector in the camera coordinate system used for calculating the projection conversion parameter is also stored in theRAM 202. Then, the transition to S408 occurs.

図5のS408では、CPU201は、投影面上で各プロジェクタの投影領域が図7で示した投影担当領域と重なるようにするためのキーストーン変形パラメータを算出する。具体的には、RAM202に格納されているカメラ座標平面における投影担当領域の座標を各プロジェクタ平面に対して射影することにより、各プロジェクタの変形後画像の座標を求め、元画像の座標から変形後画像へのキーストーン変形パラメータを算出する。そして、S409へ遷移する。 In S408 of FIG. 5, theCPU 201 calculates a keystone deformation parameter for making the projection area of each projector overlap the projection area shown in FIG. 7 on the projection surface. Specifically, by projecting the coordinates of the projection area in the camera coordinate plane stored in theRAM 202 onto each projector plane, the coordinates of the deformed image of each projector are obtained, and after the deformation from the coordinates of the original image. Calculate the keystone transformation parameters to the image. Then, the transition to S409 occurs.

図5のS409では、PC200のCPU201がネットワークIF206を介してS408で算出したキーストーン変形パラメータを、マルチ投影面を構成する各プロジェクタ100に対して送信する。プロジェクタ100はキーストーン変形パラメータをPCから受信すると、受信したキーストーン変形パラメータを自身の画像処理部109に送信し、表示画像の変形を実行する。ここでは、キーストーン変形を行うものとして説明したが、ズームやシフトを使用してもよい。光学的なズーム、シフトだけで投影担当領域に一致させることは困難であるが、画像処理によるキーストーン変形と比較して画質面で優れている。ズーム、シフトを併用することにより、キーストーン変形量を最小限に抑えれば、画質低下を抑制できる。また、PC200のCPU201はネットワークIF206を介して、S406で描画指示を行ったマーカー画像の描画停止を指示する。 In S409 of FIG. 5, theCPU 201 of thePC 200 transmits the keystone deformation parameter calculated in S408 via the network IF 206 to eachprojector 100 constituting the multi-projection plane. When theprojector 100 receives the keystone deformation parameter from the PC, it transmits the received keystone deformation parameter to its ownimage processing unit 109 to perform deformation of the displayed image. Although described here as performing keystone deformation, zooming and shifting may be used. It is difficult to match the area in charge of projection only by optical zoom and shift, but it is superior in terms of image quality compared to keystone deformation by image processing. By using zoom and shift together, the deterioration of image quality can be suppressed by minimizing the amount of keystone deformation. Further, theCPU 201 of thePC 200 instructs to stop drawing the marker image for which the drawing instruction was given in S406 via the network IF206.

図9は、図5のS406における設置アシスト処理内で行われる補助プロジェクタ100eによるマーカー画像の表示処理の動作を示すフローチャートである。 FIG. 9 is a flowchart showing the operation of the marker image display processing by theauxiliary projector 100e performed in the installation assist processing in S406 of FIG.

まず、S601において、ユーザは補助プロジェクタ100eを、図4(a)、(b)に示したように、その投影領域が目標投影領域を含むように、位置および向きを調整して設置する。 First, in S601, the user installs theauxiliary projector 100e by adjusting the position and orientation so that the projection area includes the target projection area as shown in FIGS. 4A and 4B.

S602では、ユーザは、所望する目標投影領域の解像度を、操作部204を介して、CPU201に入力する。CPU201は、入力された目標投影領域の解像度をRAM202に保存する。 In S602, the user inputs the desired resolution of the target projection area to theCPU 201 via theoperation unit 204. TheCPU 201 stores the input resolution of the target projection area in theRAM 202.

S603では、CPU201は、図5のS401とS402でRAM202に保存した「補助プロジェクタの解像度」「自動位置合わせ対象として選択した各プロジェクタの解像度、エッジブレンド情報」を取得する。 In S603, theCPU 201 acquires the "resolution of the auxiliary projector" and the "resolution and edge blend information of each projector selected as the automatic alignment target" stored in theRAM 202 in S401 and S402 of FIG.

S604では、CPU201は、S603で取得した各プロジェクタの解像度とエッジブレンド情報に基づいて、図7(b)に示したマルチ投影面の各部のサイズを算出し、各プロジェクタの投影目標位置を示すマーカーを生成する。マーカーの生成方法は、図7と図8を用いて前述したとおりである。 In S604, theCPU 201 calculates the size of each part of the multi-projection surface shown in FIG. 7B based on the resolution and edge blend information of each projector acquired in S603, and a marker indicating the projection target position of each projector. To generate. The method of generating the marker is as described above with reference to FIGS. 7 and 8.

S605では、CPU201は、補助プロジェクタ100eに指示して、S604において生成したマーカーを補助プロジェクタ100eに投影させる。 In S605, theCPU 201 instructs theauxiliary projector 100e to project the marker generated in S604 onto theauxiliary projector 100e.

以上で説明した処理、特にS406、図9で説明した処理によって、補助プロジェクタがマルチ投影面を構成する各プロジェクタの設置を補助するマーカーを投影することができる。そして、そのマーカーを参考に、各プロジェクタの設置を調整することにより、マルチ投影面の自動位置合わせが可能となる。 By the processing described above, particularly the processing described in S406 and FIG. 9, the auxiliary projector can project a marker that assists the installation of each projector constituting the multi-projection surface. Then, by adjusting the installation of each projector with reference to the marker, automatic alignment of the multi-projection plane becomes possible.

なお、本実施形態においては、マルチ投影面の解像度とエッジブレンド情報を、S406において、自動位置合わせ対象として選択した各プロジェクタの解像度、エッジブレンド情報から算出するものとして説明を行った。しかし、その他の形態として、図5のフローチャートの実行前に、ユーザの入力によってPC200上で動作する投射制御アプリケーションプログラムに、これらの情報を設定してもよい。 In the present embodiment, the resolution and edge blend information of the multi-projection plane will be calculated from the resolution and edge blend information of each projector selected as the automatic alignment target in S406. However, as another form, these information may be set in the projection control application program that operates on thePC 200 by the input of the user before the execution of the flowchart of FIG.

また、本実施形態の説明においては、説明を分かりやすくするために、マルチ投影面のアスペクト比と、補助プロジェクタのアスペクト比が同じ場合を例に挙げて説明した。しかし、これが一致しない場合は、前述の補助プロジェクタ100eの設置作業およびキーストーン補正の実施前に、補助プロジェクタ100eに、マルチ投影面のアスペクト比を設定するのが好ましい。そして、この設定を受けた補助プロジェクタ100eは自身の投影範囲を設定されたアスペクト比に応じて変更し、以降の処理における補助プロジェクタ100eの解像度は、このアスペクト比を踏まえたものとして処理を行えばよい。例えば、補助プロジェクタ100eの解像度は、本来は1280×800でアスペクト比は16:10であるが、マルチ投影面のアスペクト比が16:9であると設定した場合には、1280×720の解像度を持つプロジェクタとして扱えばよい。 Further, in the description of the present embodiment, in order to make the explanation easier to understand, the case where the aspect ratio of the multi-projection plane and the aspect ratio of the auxiliary projector are the same has been described as an example. However, if they do not match, it is preferable to set the aspect ratio of the multi-projection plane on theauxiliary projector 100e before the installation work of theauxiliary projector 100e and the keystone correction described above. Then, theauxiliary projector 100e that has received this setting changes its own projection range according to the set aspect ratio, and the resolution of theauxiliary projector 100e in the subsequent processing is processed based on this aspect ratio. Good. For example, the resolution of theauxiliary projector 100e is originally 1280 × 800 and the aspect ratio is 16:10, but when the aspect ratio of the multi-projection surface is set to 16: 9, the resolution of 1280 × 720 is set. You can treat it as a projector you have.

また、補助プロジェクタ100eの設置作業およびキーストーン補正は、図5のフローチャートの動作の実施前に行うものとしたが、S401の補助プロジェクタの選択処理を実施した後で、実施してもよい。この場合には、PC200上で動作する投射制御アプリケーションプログラムに対して、マルチ投影面のアスペクト比を入力すればよい。そして、これを検知したCPU201が、補助プロジェクタ100eに対して、投影範囲をそのアスペクト比に応じて変更する指示を送信する構成をとってもよい。このような形態をとれば、以降の処理における補助プロジェクタ100eの本来の解像度およびアスペクト比によらず、図5のフローチャートの処理が実施可能となる。 Further, although the installation work of theauxiliary projector 100e and the keystone correction are performed before the operation of the flowchart of FIG. 5 is performed, they may be performed after the selection process of the auxiliary projector of S401 is performed. In this case, the aspect ratio of the multi-projection plane may be input to the projection control application program running on the PC200. Then, theCPU 201 that detects this may be configured to transmit an instruction to change the projection range according to the aspect ratio to theauxiliary projector 100e. In such a form, the processing of the flowchart of FIG. 5 can be performed regardless of the original resolution and aspect ratio of theauxiliary projector 100e in the subsequent processing.

また、S406の設置アシスト処理では、補助プロジェクタが投影するためのマーカーを生成して、補助プロジェクタでこれを投影するものとして説明した。しかし、PC200上で動作する投射制御アプリケーションのUI上でのみマーカー表示を行うようにしてもよい。これは、補助プロジェクタが、マーカーの描画コマンドを解釈して描画することができない場合に有効な方法である。 Further, in the installation assist process of S406, it has been described that a marker for projection by the auxiliary projector is generated and projected by the auxiliary projector. However, the marker display may be performed only on the UI of the projection control application running on the PC200. This is an effective method when the auxiliary projector cannot interpret and draw the marker drawing command.

この方法についてもう少し説明する。CPU201は、S407と同様の手法によって、プロジェクタ100eにおけるプロジェクタ座標平面とカメラ座標平面との射影変換パラメータを算出して、これをRAM202に格納する。そして、図7(c)に示した、プロジェクタ100eのプロジェクタ座標平面上の外枠、エッジブレンド領域を示す線分を、前述の射影変換パラメータを用いて、カメラ座標平面に射影する。そして、図6(e)に示した画像領域528に重畳すればよい。このようにして計算して重畳したマーカーは、結果的にプロジェクタ100eでマーカー表示して、それをライブビュー表示している図6(e)と同じ態様となる。 I will explain this method a little more. TheCPU 201 calculates a projective transformation parameter between the projector coordinate plane and the camera coordinate plane in theprojector 100e by the same method as in S407, and stores this in theRAM 202. Then, the line segment showing the outer frame and the edge blend region on the projector coordinate plane of theprojector 100e shown in FIG. 7C is projected onto the camera coordinate plane by using the above-mentioned projective transformation parameter. Then, it may be superimposed on theimage area 528 shown in FIG. 6 (e). The marker calculated and superimposed in this manner eventually has the same mode as that of FIG. 6 (e) in which the marker is displayed on theprojector 100e and the marker is displayed in the live view.

(第2の実施形態)
以下、第2の実施形態について説明する。本実施形態は、プロジェクタに内蔵されたセンサーを用いることにより、第1の実施形態で説明したシステムのユーザビリティを更に向上させるためのものである。具体的には、第1の実施形態で示した投射位置を示すマーカーについて、ユーザが設置作業中であるプロジェクタに対応する投射位置を強調するマーカーを生成する。
(Second Embodiment)
Hereinafter, the second embodiment will be described. This embodiment is for further improving the usability of the system described in the first embodiment by using the sensor built in the projector. Specifically, with respect to the marker indicating the projection position shown in the first embodiment, a marker that emphasizes the projection position corresponding to the projector in which the user is installing is generated.

[投影システムの構成]
図10は、第2の実施形態の投影システムに含まれるプロジェクタ1100及びPC200の機能構成例を示すブロック図である。ここでは、第1の実施形態と同一の構成については同一の符号を付して、第1の実施形態との差分についてのみ説明する。第1の実施形態と比較して、本実施形態のシステムでは、プロジェクタ1100にセンサー112が追加される。なお、センサー112は自動位置合わせ処理の対象とする複数のプロジェクタに搭載されていればよく、補助プロジェクタにおいては必須構成ではない。
[Projection system configuration]
FIG. 10 is a block diagram showing a functional configuration example of theprojector 1100 and thePC 200 included in the projection system of the second embodiment. Here, the same components as those in the first embodiment are designated by the same reference numerals, and only the differences from the first embodiment will be described. Compared to the first embodiment, in the system of this embodiment, thesensor 112 is added to theprojector 1100. It should be noted that thesensor 112 may be mounted on a plurality of projectors to be automatically aligned, and is not an essential configuration for the auxiliary projector.

センサー112は、プロジェクタの姿勢の変化を検出するためのセンサーから構成される。なお、センサー112はプロジェクタの姿勢の変化を検出できればどのようなものでもよく、加速度センサー、重力センサー、ジャイロセンサー、イメージセンサーなどを用いればよい。 Thesensor 112 is composed of a sensor for detecting a change in the posture of the projector. Thesensor 112 may be any sensor as long as it can detect a change in the posture of the projector, and an acceleration sensor, a gravity sensor, a gyro sensor, an image sensor, or the like may be used.

センサー112が重力センサーやイメージセンサーであった場合は、プロジェクタ1100のCPU101がセンサー112のセンサー値を定期的に取得し、時系列での差分に基づいて姿勢の変化を検出することができる。また、センサーが加速度センサーやジャイロセンサーであった場合は、センサー値が所定の閾値を超えたか否かにより姿勢が変化した否かを判定することができる。プロジェクタ1100のCPU101が自身のセンサー112のセンサー値を取得する方法はどのような方法でもよく、例えば、ポーリング処理、割り込み処理、DMA(Direct Memory Access)を用いた方法を用いればよい。 When thesensor 112 is a gravity sensor or an image sensor, theCPU 101 of theprojector 1100 can periodically acquire the sensor value of thesensor 112 and detect the change in posture based on the difference in time series. Further, when the sensor is an acceleration sensor or a gyro sensor, it can be determined whether or not the posture has changed depending on whether or not the sensor value exceeds a predetermined threshold value. Any method may be used for theCPU 101 of theprojector 1100 to acquire the sensor value of itsown sensor 112, and for example, a method using polling processing, interrupt processing, or DMA (Direct Memory Access) may be used.

[第2の実施形態の特徴的な処理]
図11は、本実施形態におけるマルチ投影位置合わせ処理の動作を示すフローチャートである。図9に示した第1の実施形態のフローチャートにS1105を追加したものである。本実施形態では、ユーザがプロジェクタの初期設置を終えたことをPC200のCPU201に通知(例えば、不図示の「初期設置完了ボタン」を押下)するまで、補助プロジェクタ100eによるマーカーの投影を続ける(S1105〜S1106)。なお、S1101〜S1103の処理は図9のS601〜S603と同等の処理であるため説明を省略する。
[Characteristic processing of the second embodiment]
FIG. 11 is a flowchart showing the operation of the multi-projection alignment process in the present embodiment. S1105 is added to the flowchart of the first embodiment shown in FIG. In the present embodiment, the marker projection by theauxiliary projector 100e is continued until the user notifies theCPU 201 of thePC 200 that the initial installation of the projector has been completed (for example, the “initial installation completion button” (not shown) is pressed) (S1105). ~ S1106). Since the processes of S1101 to S1103 are the same as those of S601 to S603 of FIG. 9, the description thereof will be omitted.

図12は、図11のS1105の具体的な動作を示すフローチャートである。 FIG. 12 is a flowchart showing a specific operation of S1105 of FIG.

S1201では、まずPC200のCPU201はネットワークIF206を介して、調整対象プロジェクタ1100に対して姿勢が変化したか否かを取得するコマンドを送信する。プロジェクタ1100のCPU101はこのコマンドを受信すると、直近に自身の姿勢が変化したか否かを表すメッセージを、ネットワークIF108を介してPC200に対して送信する。PC200はプロジェクタ1100の姿勢が変化したか否かを表す情報を受信すると、自身のRAM202にその情報を格納する。 In S1201, theCPU 201 of thePC 200 first transmits a command for acquiring whether or not the posture has changed to theadjustment target projector 1100 via the network IF 206. When theCPU 101 of theprojector 1100 receives this command, it transmits a message indicating whether or not its posture has changed most recently to thePC 200 via the network IF 108. When thePC 200 receives the information indicating whether or not the posture of theprojector 1100 has changed, thePC 200 stores the information in itsown RAM 202.

なお、プロジェクタ1100の姿勢が変化したか否かは、PC200がプロジェクタ1100に対してコマンドを送ることで取得する形式でなくてもよい。プロジェクタ1100がPC200に対して定期的に自身の姿勢を表すメッセージを送信し、PC200がメッセージを定期的に監視してもよい。 Whether or not the posture of theprojector 1100 has changed does not have to be in a format obtained by thePC 200 sending a command to theprojector 1100. Theprojector 1100 may periodically send a message indicating its own posture to thePC 200, and thePC 200 may periodically monitor the message.

ここで、自身の姿勢の変化を表すメッセージは、姿勢が変化したか否かを判別できればどのような形式でも構わない。例えば、姿勢が変化したか否かを表す二値であってもよいし、センサー112が取得した数値であってもよい。 Here, the message indicating the change in one's posture may be in any format as long as it can be determined whether or not the posture has changed. For example, it may be a binary value indicating whether or not the posture has changed, or it may be a numerical value acquired by thesensor 112.

S1202〜S1204では、PC200のCPU201が調整対象であるプロジェクタの全てに対して、姿勢が変化したか否かを確認し、補助プロジェクタに姿勢が変化したと判断されたプロジェクタに対応する位置にマーカーを投影させるためのコマンドを生成する。なお、マーカー生成のための計算方法は第1の実施形態で説明した方法と同じである。 In S1202 to S1204, theCPU 201 of thePC 200 confirms whether or not the attitude of all the projectors to be adjusted has changed, and puts a marker on the auxiliary projector at a position corresponding to the projector determined to have changed the attitude. Generate a command to project. The calculation method for marker generation is the same as the method described in the first embodiment.

次に図13、図14を用いて、補助プロジェクタに投影させるマーカーの例について説明する。 Next, an example of a marker projected on the auxiliary projector will be described with reference to FIGS. 13 and 14.

図13(a)は右上に投影するプロジェクタの姿勢が変化しているときに補助プロジェクタが投影するマーカー画像である。図13(b)のようにマーカーだけでなく、文言を追加してもよい。文言もマーカーと同様に、PC200がプロジェクタ1100に対してコマンドを送信することで投影される。文言には、例えば調整対象のプロジェクタを一意に識別するためにプロジェクタの名称やIPアドレス、シリアルナンバーを含めてもよい。 FIG. 13A is a marker image projected by the auxiliary projector when the posture of the projector projected on the upper right is changing. Not only the marker but also the wording may be added as shown in FIG. 13 (b). Like the marker, the wording is projected when thePC 200 sends a command to theprojector 1100. The wording may include, for example, the name, IP address, and serial number of the projector in order to uniquely identify the projector to be adjusted.

複数台のプロジェクタが同時に姿勢変化している場合は、図13(c)のように同時にマーカーを投影すると共に、それぞれのマーカー同士の色を変えることにより、設置目標を視認しやすくしてもよい。マーカー同士の区別の方法は色を変える方法だけではなく、マーカーの輝度や形状を変える方法でもよい。 When a plurality of projectors are changing their postures at the same time, the markers may be projected at the same time as shown in FIG. 13 (c) and the colors of the markers may be changed to make the installation target easier to see. .. The method of distinguishing the markers is not only a method of changing the color but also a method of changing the brightness and shape of the markers.

更に図13(d)のようにプロジェクタの変形可能領域を考慮したマーカーを投影してもよい。図13(d)のマーカーを表示するためには、PC200がプロジェクタ1100に対して、歪み補正の変形可能量を取得するコマンドを送信し、受信したプロジェクタ1100の歪み補正の変形可能量に基づいて、マーカー描画コマンドを生成すればよい。 Further, as shown in FIG. 13D, a marker may be projected in consideration of the deformable region of the projector. In order to display the marker shown in FIG. 13D, thePC 200 sends a command to theprojector 1100 to acquire the deformable amount of the distortion correction, and based on the received deformable amount of the distortion correction of theprojector 1100. , Generate a marker drawing command.

その他、マーカー画像は姿勢が変化していないプロジェクタに対応する領域にも投影してもよい。図14(a)、(b)、(c)はそれぞれ右上に投影するプロジェクタの姿勢が変化しているときに補助プロジェクタに投影させる画像である。姿勢が変化していないプロジェクタに対応する領域を投影しつつも、右上に位置する領域のみ強調するような画像を用いればよい。 In addition, the marker image may be projected on the area corresponding to the projector whose posture has not changed. 14 (a), (b), and (c) are images projected onto the auxiliary projector when the posture of the projector projected on the upper right is changing. An image may be used that emphasizes only the area located in the upper right while projecting the area corresponding to the projector whose posture has not changed.

投影するマーカーはここまでに示したようなものに限らず、姿勢が変化したと判断されたプロジェクタに対応する投影位置を強調するようなものであればどのような画像でもよい。 The marker to be projected is not limited to the one shown so far, and any image may be used as long as it emphasizes the projection position corresponding to the projector determined to have changed its posture.

本実施形態で説明した構成を用いることにより、姿勢が変化しているプロジェクタ、即ちユーザがプロジェクタの設置作業をしているプロジェクタに対応する領域のみマーカーを強調して表示できるので、直感的な設置作業を促すことができる。 By using the configuration described in this embodiment, the markers can be emphasized and displayed only in the area corresponding to the projector whose posture is changing, that is, the projector in which the user is installing the projector, so that the installation is intuitive. Work can be encouraged.

(第3の実施形態)
第2の実施形態ではプロジェクタ1100に内蔵されたセンサー112を用いてマーカー画像を生成する方法について説明した。本実施形態では、センサー112を用いずに特定のプロジェクタの投射範囲を示すマーカーを強調して表示する方法について説明する。
(Third Embodiment)
In the second embodiment, a method of generating a marker image using thesensor 112 built in theprojector 1100 has been described. In this embodiment, a method of emphasizing and displaying a marker indicating a projection range of a specific projector without using thesensor 112 will be described.

[投影システムの構成]
本実施形態のシステム構成は第1の実施形態と同じである。
[Projection system configuration]
The system configuration of this embodiment is the same as that of the first embodiment.

[本実施形態の特徴的な処理]
図11に、本実施形態におけるマルチ投影位置合わせ処理の動作を示すフローチャートを示す(第2の実施形態と同様)。図9に示した第1の実施形態のフローチャートにS1106を追加したものである。本実施形態では、ユーザがプロジェクタの初期設置を終えたことをPC200のCPU201に通知(例えば、不図示の「初期設置完了ボタン」を押下)するまで、補助プロジェクタによるマーカーの投影を続ける(S1105〜S1106)。なお、S1101〜S1103の処理は図9のS601〜S603と同等の処理であるため説明を省略する。
[Characteristic processing of this embodiment]
FIG. 11 shows a flowchart showing the operation of the multi-projection alignment process in the present embodiment (similar to the second embodiment). S1106 is added to the flowchart of the first embodiment shown in FIG. In the present embodiment, the marker projection by the auxiliary projector is continued until the user notifies theCPU 201 of thePC 200 that the initial installation of the projector has been completed (for example, pressing the “initial installation completion button” (not shown)). S1106). Since the processes of S1101 to S1103 are the same as those of S601 to S603 of FIG. 9, the description thereof will be omitted.

図15は、本実施形態におけるCPU201が、マーカーを生成する動作を示すフローチャートである。 FIG. 15 is a flowchart showing an operation in which theCPU 201 in the present embodiment generates a marker.

本実施形態で説明する図15の処理フローは、第1の実施形態で説明した図9のS604(制御PCが各PJの目標位置を示すマーカーを生成)に該当する処理の派生系であり、その他の処理は第1の実施形態と同等である。従って、本実施形態での説明は図15のフローチャートを用いた説明に留める。 The processing flow of FIG. 15 described in the present embodiment is a derivative system of the processing corresponding to S604 (control PC generates a marker indicating the target position of each PJ) of FIG. 9 described in the first embodiment. Other processes are the same as those in the first embodiment. Therefore, the description in this embodiment is limited to the description using the flowchart of FIG.

S1501では、PC200のCPU201がユーザからプロジェクタに対する操作があったか否かを判定する。本実施形態では、プロジェクタに対する操作について、以下の2通りの場合についてそれぞれ説明する。 In S1501, theCPU 201 of thePC 200 determines whether or not the user has operated the projector. In the present embodiment, the operation for the projector will be described in each of the following two cases.

[プロジェクタの投射位置を制御する操作の場合]
この場合におけるGUI画面(プロジェクタ制御画面)を図16に示す。
[For operations that control the projection position of the projector]
The GUI screen (projector control screen) in this case is shown in FIG.

PC200のCPU201は、自身のRAM202に格納された、調整対象プロジェクタの一覧をリストビュー1601に表示する。なお、本実施形態においては、図1におけるプロジェクタ100a,100b,100c,100dのプロジェクタ名をそれぞれ、プロジェクタA、プロジェクタB、プロジェクタC、プロジェクタDとしている。 TheCPU 201 of thePC 200 displays a list of projectors to be adjusted stored in itsown RAM 202 in thelist view 1601. In this embodiment, the projector names of theprojectors 100a, 100b, 100c, and 100d in FIG. 1 are projector A, projector B, projector C, and projector D, respectively.

次に、ユーザはチェックボックス1602を用いて制御対象とするプロジェクタをリストビュー1601に列挙されているプロジェクタの中から選択する。選択するプロジェクタの台数は何台であってもよいが、ここでは、プロジェクタCのみを選択したものとして説明する。 Next, the user uses thecheck box 1602 to select the projector to be controlled from the projectors listed in thelist view 1601. The number of projectors to be selected may be any number, but here, it is assumed that only the projector C is selected.

ラジオボタン1603はプロジェクタのキーストーン補正(4点補正)の調整点を選択するためのものである。ユーザによって左上頂点が選択されたものとして説明する。ユーザによって調整点が指定されると、PC200のCPU201はプロジェクタと調整点が対になった情報を自身のRAM202に格納する。 Theradio button 1603 is for selecting the adjustment point of the keystone correction (four-point correction) of the projector. It is assumed that the upper left vertex is selected by the user. When the adjustment point is specified by the user, theCPU 201 of thePC 200 stores the information in which the projector and the adjustment point are paired in itsown RAM 202.

ボタン1604〜1607の何れかが押下されると、PC200のCPU201は、キーストーン補正を要求するコマンドを生成し、ネットワークIF206を介してチェックボックス1602で選択されているプロジェクタに対して送信する(S1502)。例えば、ラジオボタン1603で「左上」が選択された状態でボタン1604が押下された場合は、PC200のCPU201は左上頂点の座標を上に移動させるように変形させるためのコマンドを生成する。 When any of thebuttons 1604 to 1607 is pressed, theCPU 201 of thePC 200 generates a command requesting keystone correction and transmits it to the projector selected by thecheck box 1602 via the network IF206 (S1502). ). For example, when thebutton 1604 is pressed while "upper left" is selected by theradio button 1603, theCPU 201 of thePC 200 generates a command for transforming the coordinates of the upper left vertex so as to move it upward.

ボタン1608〜1611の何れかが押下されると、PC200のCPU201は、プロジェクタのレンズシフトを要求するコマンドを生成し、ネットワークIF206を介してチェックボックス1602で選択されているプロジェクタに対して送信する(S1502)。例えば、ボタン1608が押下された場合は、PC200のCPU201はチェックボックス1602で選択されているプロジェクタに対して上方向にレンズシフトさせるコマンドを生成する。 When any of thebuttons 1608 to 1611 is pressed, theCPU 201 of thePC 200 generates a command requesting the lens shift of the projector and transmits it to the projector selected by thecheck box 1602 via the network IF206 ( S1502). For example, when thebutton 1608 is pressed, theCPU 201 of thePC 200 generates a command to shift the lens upward with respect to the projector selected by thecheck box 1602.

ボタン1612或いは1613が押下されると、PC200のCPU201は、プロジェクタのズームを要求するコマンドを生成し、ネットワークIF206を介してチェックボックス1602で選択されているプロジェクタに対して送信する(S1502)。例えば、ボタン1613が押下された場合は、PC200のCPU201はテレ方向にズームさせるコマンドを生成する。 When thebutton 1612 or 1613 is pressed, theCPU 201 of thePC 200 generates a command requesting the zoom of the projector and transmits it to the projector selected by thecheck box 1602 via the network IF206 (S1502). For example, when thebutton 1613 is pressed, theCPU 201 of thePC 200 generates a command to zoom in the tele direction.

上記のようにユーザによってプロジェクタに対する制御指示がなされ、PC200のCPU201が制御コマンドを送信すると(S1502)、次にPC200のCPU201は補助プロジェクタに対して投影させる補助マーカーを生成する(S1503)。投影させる補助マーカーはユーザによって制御されているプロジェクタ(ここではプロジェクタC)の投影領域を表すマーカーである。 When a control instruction is given to the projector by the user as described above and theCPU 201 of thePC 200 transmits a control command (S1502), theCPU 201 of thePC 200 then generates an auxiliary marker to be projected onto the auxiliary projector (S1503). The auxiliary marker to be projected is a marker representing the projection area of the projector (projector C in this case) controlled by the user.

ユーザによって図16のOKボタン1614が押下されたことをPC200のCPU201が検知すると、補助プロジェクタのマーカー表示処理を終了する(図11のS1106−Yes)。 When theCPU 201 of thePC 200 detects that theOK button 1614 of FIG. 16 is pressed by the user, the marker display process of the auxiliary projector is terminated (S1106-Yes in FIG. 11).

本実施形態では、プロジェクタの制御(制御信号)としてキーストーン変形とレンズシフト、レンズズームについて説明したが、これに限らず、その他の幾何学変形処理や電子ズームなどを用いることもできる。 In the present embodiment, the keystone deformation, the lens shift, and the lens zoom have been described as the control (control signal) of the projector, but the present invention is not limited to this, and other geometric deformation processing, electronic zoom, and the like can also be used.

[投影対象プロジェクタにマーカーを投影させる操作の場合]
この場合におけるGUI画面(補助マーカー生成画面)を図17に示す。
[For operations that project a marker on the projector to be projected]
The GUI screen (auxiliary marker generation screen) in this case is shown in FIG.

PC200のCPU201は自身のRAM202に格納された調整対象プロジェクタの投影レイアウト情報に基づいてボタン1701〜1704を生成し、GUI画面(補助マーカー生成画面)上に表示する。ここでは、第1の実施形態と同じく2行2列のレイアウトが選択されている場合についてのみ説明するが、レイアウトはこれに限らず、例えば1行4列、3行1列であてもよい。 TheCPU 201 of thePC 200 generatesbuttons 1701 to 1704 based on the projection layout information of the projector to be adjusted stored in itsown RAM 202, and displays them on the GUI screen (auxiliary marker generation screen). Here, the case where the layout of 2 rows and 2 columns is selected as in the first embodiment will be described, but the layout is not limited to this, and may be, for example, 1 row, 4 columns, 3 rows, 1 column.

ボタン1701〜1704は、補助プロジェクタに該当領域に対するマーカー画像を表示させるとともに、選択した位置に対応するプロジェクタにマーカー画像を投影させるためのボタンである。ボタン1701〜1704の押下時の処理について詳細に説明する。Buttons 1701 to 1704 are buttons for displaying a marker image for the corresponding area on the auxiliary projector and projecting the marker image on the projector corresponding to the selected position. The processing when thebuttons 1701 to 1704 are pressed will be described in detail.

ボタン1703がユーザに押下された場合について説明する。ボタン1703が押下されると、PC200のCPU201は該当するプロジェクタ100cに対してマーカー画像を投影させるコマンドを生成して送信する(S1502)。 The case where thebutton 1703 is pressed by the user will be described. When thebutton 1703 is pressed, theCPU 201 of thePC 200 generates and transmits a command for projecting a marker image on thecorresponding projector 100c (S1502).

次に、PC200のCPU201は補助プロジェクタ100eに対してマーカー描画コマンドを生成し、送信する(S1503)。 Next, theCPU 201 of thePC 200 generates and transmits a marker drawing command to theauxiliary projector 100e (S1503).

図18(a)、(b)は投影面400における調整対象プロジェクタ100cと補助プロジェクタ100eがそれぞれ投影するマーカー画像の投影の様子を表す。1801は調整対象プロジェクタ100cが投影するマーカー画像で、1802は補助プロジェクタ100eが投影するマーカー画像である。なお、図18(a)、(b)に示したマーカー画像の形状はこれに限らない。調整対象プロジェクタが投影するマーカー画像と、補助プロジェクタが投影するマーカー画像の区別ができれば、それぞれどのようなマーカー画像を投影させても構わない。 18 (a) and 18 (b) show the projection of the marker image projected by theadjustment target projector 100c and theauxiliary projector 100e on theprojection surface 400, respectively. 1801 is a marker image projected by theadjustment target projector 100c, and 1802 is a marker image projected by theauxiliary projector 100e. The shape of the marker image shown in FIGS. 18A and 18B is not limited to this. Any marker image may be projected as long as the marker image projected by the adjustment target projector and the marker image projected by the auxiliary projector can be distinguished.

以上の処理を行うことにより、ユーザは1801と1802の位置関係を参考にしながらプロジェクタ100cの初期設置を行うことができる。例えば、図18(a)は調整可能な配置を示し、図18(b)は調整不可能な配置を示す。 By performing the above processing, the user can perform the initial installation of theprojector 100c while referring to the positional relationship between 1801 and 1802. For example, FIG. 18 (a) shows an adjustable arrangement and FIG. 18 (b) shows a non-adjustable arrangement.

ユーザによって図17のOKボタン1705が押下されたことをPC200のCPU201が検知すると、補助プロジェクタのマーカー表示処理を終了する(図11のS1106−Yes)。 When theCPU 201 of thePC 200 detects that theOK button 1705 of FIG. 17 is pressed by the user, the marker display process of the auxiliary projector ends (S1106-Yes in FIG. 11).

上記の説明では、「プロジェクタの投射位置を制御する操作の場合」と「投影対象プロジェクタにマーカーを投影させる操作の場合」の2通りを説明したが、システムは上記2通りの操作を備えていてもよいし、いずれか一つの操作のみを備えていてもよい。2通りの操作を備えている場合は、不図示の選択画面で「プロジェクタの投射位置を制御する操作」と「投影対象プロジェクタにマーカーを投影させる操作」をユーザに選択させてもよい。 In the above description, two types of operations are described, "in the case of an operation of controlling the projection position of the projector" and "in the case of an operation of projecting a marker on the projection target projector", but the system has the above two types of operations. Alternatively, it may have only one operation. When two kinds of operations are provided, the user may be allowed to select "the operation of controlling the projection position of the projector" and "the operation of projecting the marker on the projection target projector" on the selection screen (not shown).

本実施形態によれば、特定のプロジェクタの投射範囲を示すマーカーのみを強調して表示できるので、直感的な設置作業を促すことができる。 According to the present embodiment, only the marker indicating the projection range of a specific projector can be emphasized and displayed, so that intuitive installation work can be promoted.

(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the above embodiments, and various modifications and modifications can be made without departing from the spirit and scope of the invention. Therefore, a claim is attached to make the scope of the invention public.

100:プロジェクタ、200:PC、101,201:CPU、102,202:RAM、300:カメラ100: Projector, 200: PC, 101,201: CPU, 102,202: RAM, 300: Camera

Claims (21)

Translated fromJapanese
複数の投影プロジェクタを制御するための投影制御装置であって、
前記複数の投影プロジェクタから、投影面上にマルチ投影面を形成するための複数の第1のプロジェクタと、前記投影面にマーカーを投影するための第2のプロジェクタとを選択する選択手段と、
前記マルチ投影面の解像度と、前記第1のプロジェクタの解像度と、エッジブレンド情報と、前記第2のプロジェクタの解像度とに基づくマーカー画像を、前記第2のプロジェクタに投影させる制御手段と、
を備えることを特徴とする投影制御装置。
A projection control device for controlling multiple projection projectors.
A selection means for selecting a plurality of first projectors for forming a multi-projection surface on a projection surface and a second projector for projecting a marker on the projection surface from the plurality of projection projectors.
A control means for projecting a marker image based on the resolution of the multi-projection surface, the resolution of the first projector, edge blend information, and the resolution of the second projector onto the second projector.
A projection control device characterized by comprising.
前記第1のプロジェクタ及び前記第2のプロジェクタと通信する通信手段をさらに備えることを特徴とする請求項1に記載の投影制御装置。 The projection control device according to claim 1, further comprising a communication means for communicating with the first projector and the second projector. 前記複数の第1のプロジェクタは、それぞれが同じ構成のプロジェクタであることを特徴とする請求項1または2に記載の投影制御装置。 The projection control device according to claim 1 or 2, wherein the plurality of first projectors are projectors having the same configuration. 前記第2のプロジェクタは、前記第1のプロジェクタと同じ構成のプロジェクタであることを特徴とする請求項1乃至3のいずれか1項に記載の投影制御装置。 The projection control device according to any one of claims 1 to 3, wherein the second projector is a projector having the same configuration as the first projector. 前記投影面を撮像する撮像手段により撮像された、前記第1のプロジェクタによる投影画像と前記第2のプロジェクタによる投影画像とに基づいて、前記第1のプロジェクタの座標平面と前記撮像手段の座標平面との射影変換パラメータを算出し、該射影変換パラメータに基づいて、前記マルチ投影面を前記第2のプロジェクタにより投影されるマーカー画像と一致させるための変換パラメータを算出する算出手段をさらに備えることを特徴とする請求項1乃至4のいずれか1項に記載の投影制御装置。 The coordinate plane of the first projector and the coordinate plane of the imaging means are based on the projected image by the first projector and the projected image by the second projector, which are captured by the imaging means for imaging the projection surface. It is further provided with a calculation means for calculating the projective conversion parameters of the above and, based on the projective conversion parameters, calculating the conversion parameters for matching the multi-projection surface with the marker image projected by the second projector. The projection control device according to any one of claims 1 to 4, which is characterized. 前記制御手段は、前記マルチ投影面における、前記複数の第1のプロジェクタのそれぞれが担当する領域の外枠を示す表示を、前記第2のプロジェクタに前記マーカーとして投影させることを特徴とする請求項1乃至5のいずれか1項に記載の投影制御装置。 The control means is characterized in that a display indicating an outer frame of an area in charge of each of the plurality of first projectors on the multi-projection surface is projected onto the second projector as the marker. The projection control device according to any one of 1 to 5. 前記第1のプロジェクタは自身の姿勢の変化を検出するためのセンサーを備え、前記制御手段は、前記複数の第1のプロジェクタのうちの、前記センサーにより姿勢の変化が検出された第1のプロジェクタの担当する前記マルチ投影面の領域のマーカーを強調するように前記第2のプロジェクタを制御することを特徴とする請求項1乃至6のいずれか1項に記載の投影制御装置。 The first projector includes a sensor for detecting a change in its own posture, and the control means is a first projector among the plurality of first projectors in which the change in posture is detected by the sensor. The projection control device according to any one of claims 1 to 6, wherein the second projector is controlled so as to emphasize a marker in a region of the multi-projection plane in charge of the above. 前記制御手段は、前記複数の第1のプロジェクタに対して所定の制御信号を送信する場合に、該所定の制御信号を送信した前記第1のプロジェクタの担当する前記マルチ投影面の領域のマーカーを強調するように前記第2のプロジェクタを制御することを特徴とする請求項1乃至6のいずれか1項に記載の投影制御装置。 When the control means transmits a predetermined control signal to the plurality of first projectors, the control means sets a marker in the area of the multi-projection surface in charge of the first projector to which the predetermined control signal is transmitted. The projection control device according to any one of claims 1 to 6, wherein the second projector is controlled so as to emphasize. 前記所定の制御信号は、キーストーン補正を指示する信号、レンズシフトを指示する信号、ズームを指示する信号、幾何学変形を指示する信号、電子ズームを指示する信号を含むことを特徴とする請求項8に記載の投影制御装置。 The predetermined control signal includes a signal for instructing keystone correction, a signal for instructing lens shift, a signal for instructing zoom, a signal for instructing geometric deformation, and a signal for instructing electronic zoom. Item 8. The projection control device according to Item 8. 前記制御手段は、前記第1のプロジェクタの担当する領域のマーカーを強調する場合に、前記第1のプロジェクタの担当する領域のマーカーの色、輝度、形状の少なくともいずれかを異ならせることにより強調することを特徴とする請求項7乃至9のいずれか1項に記載の投影制御装置。 When emphasizing a marker in a region in charge of the first projector, the control means emphasizes by making at least one of the color, brightness, and shape of the marker in the region in charge of the first projector different. The projection control device according to any one of claims 7 to 9, wherein the projection control device is characterized. 複数の投影プロジェクタを制御するための投影制御方法であって、
前記複数の投影プロジェクタから、投影面上にマルチ投影面を形成するための複数の第1のプロジェクタと、前記投影面にマーカーを投影するための第2のプロジェクタとを選択する選択工程と、
前記マルチ投影面の解像度と、前記第1のプロジェクタの解像度と、エッジブレンド情報と、前記第2のプロジェクタの解像度とに基づくマーカー画像を、前記第2のプロジェクタに投影させる制御工程と、
を有することを特徴とする投影制御方法。
A projection control method for controlling multiple projection projectors.
A selection step of selecting a plurality of first projectors for forming a multi-projection surface on a projection surface and a second projector for projecting a marker on the projection surface from the plurality of projection projectors.
A control step of projecting a marker image based on the resolution of the multi-projection surface, the resolution of the first projector, edge blend information, and the resolution of the second projector onto the second projector.
A projection control method characterized by having.
前記第1のプロジェクタ及び前記第2のプロジェクタと通信する通信工程をさらに有することを特徴とする請求項11に記載の投影制御方法。 The projection control method according to claim 11, further comprising a communication step of communicating with the first projector and the second projector. 前記投影面を撮像する撮像手段により撮像された、前記第1のプロジェクタによる投影画像と前記第2のプロジェクタによる投影画像とに基づいて、前記第1のプロジェクタの座標平面と前記撮像手段の座標平面との射影変換パラメータを算出し、該射影変換パラメータに基づいて、前記マルチ投影面を前記第2のプロジェクタにより投影されるマーカー画像と一致させるための変換パラメータを算出する算出工程をさらに有することを特徴とする請求項11または12に記載の投影制御方法。 The coordinate plane of the first projector and the coordinate plane of the imaging means are based on the projected image by the first projector and the projected image by the second projector, which are captured by the imaging means for imaging the projection surface. Further having a calculation step of calculating the projective conversion parameters of and, and calculating the conversion parameters for matching the multi-projection surface with the marker image projected by the second projector based on the projective conversion parameters. The projection control method according to claim 11 or 12, characterized in that. 前記制御工程では、前記マルチ投影面における、前記複数の第1のプロジェクタのそれぞれが担当する領域の外枠を示す表示を、前記第2のプロジェクタに前記マーカーとして投影させることを特徴とする請求項11乃至13のいずれか1項に記載の投影制御方法。 The control step is characterized in that a display indicating an outer frame of an area in charge of each of the plurality of first projectors on the multi-projection surface is projected onto the second projector as the marker. The projection control method according to any one of 11 to 13. 前記第1のプロジェクタは自身の姿勢の変化を検出するためのセンサーを備え、前記制御工程では、前記複数の第1のプロジェクタのうちの、前記センサーにより姿勢の変化が検出された第1のプロジェクタの担当する前記マルチ投影面の領域のマーカーを強調するように前記第2のプロジェクタを制御することを特徴とする請求項11乃至14のいずれか1項に記載の投影制御方法。 The first projector includes a sensor for detecting a change in its own posture, and in the control step, the first projector in which the change in posture is detected by the sensor among the plurality of first projectors. The projection control method according to any one of claims 11 to 14, wherein the second projector is controlled so as to emphasize a marker in a region of the multi-projection surface in charge of the above. 前記制御工程では、前記複数の第1のプロジェクタに対して所定の制御信号を送信する場合に、該所定の制御信号を送信した前記第1のプロジェクタの担当する前記マルチ投影面の領域のマーカーを強調するように前記第2のプロジェクタを制御することを特徴とする請求項11乃至14のいずれか1項に記載の投影制御方法。 In the control step, when a predetermined control signal is transmitted to the plurality of first projectors, a marker in a region of the multi-projection surface in charge of the first projector that has transmitted the predetermined control signal is used. The projection control method according to any one of claims 11 to 14, wherein the second projector is controlled so as to emphasize. 前記所定の制御信号は、キーストーン補正を指示する信号、レンズシフトを指示する信号、ズームを指示する信号、幾何学変形を指示する信号、電子ズームを指示する信号を含むことを特徴とする請求項16に記載の投影制御方法。 The predetermined control signal includes a signal for instructing keystone correction, a signal for instructing lens shift, a signal for instructing zoom, a signal for instructing geometric deformation, and a signal for instructing electronic zoom. Item 16. The projection control method according to item 16. 前記制御工程では、前記第1のプロジェクタの担当する領域のマーカーを強調する場合に、前記第1のプロジェクタの担当する領域のマーカーの色、輝度、形状の少なくともいずれかを異ならせることにより強調することを特徴とする請求項15乃至17のいずれか1項に記載の投影制御方法。 In the control step, when emphasizing the marker in the area in charge of the first projector, the marker is emphasized by making at least one of the color, the brightness, and the shape of the marker in the area in charge of the first projector different. The projection control method according to any one of claims 15 to 17, characterized in that. 複数の投影プロジェクタと、該複数の投影プロジェクタを制御する制御装置とを備える投影システムであって、
前記制御装置は、
前記複数の投影プロジェクタから、投影面上にマルチ投影面を形成するための複数の第1のプロジェクタと、前記投影面にマーカーを投影するための第2のプロジェクタとを選択する選択手段と、
前記マルチ投影面の解像度と、前記第1のプロジェクタの解像度と、エッジブレンド情報と、前記第2のプロジェクタの解像度とに基づくマーカー画像を、前記第2のプロジェクタに投影させる制御手段と、
を備えることを特徴とする投影システム。
A projection system including a plurality of projection projectors and a control device for controlling the plurality of projection projectors.
The control device is
A selection means for selecting a plurality of first projectors for forming a multi-projection surface on a projection surface and a second projector for projecting a marker on the projection surface from the plurality of projection projectors.
A control means for projecting a marker image based on the resolution of the multi-projection surface, the resolution of the first projector, edge blend information, and the resolution of the second projector onto the second projector.
A projection system characterized by being equipped with.
コンピュータを請求項1乃至10のいずれか1項に記載の投影制御装置の各手段として機能させるためのプログラム。 A program for operating a computer as each means of the projection control device according to any one of claims 1 to 10. コンピュータを請求項1乃至10のいずれか1項に記載の投影制御装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。 A computer-readable storage medium that stores a program for causing the computer to function as each means of the projection control device according to any one of claims 1 to 10.
JP2019079561A2019-04-182019-04-18 Projection control device, projection control method, projection system, program, storage mediumPendingJP2020178248A (en)

Priority Applications (1)

Application NumberPriority DateFiling DateTitle
JP2019079561AJP2020178248A (en)2019-04-182019-04-18 Projection control device, projection control method, projection system, program, storage medium

Applications Claiming Priority (1)

Application NumberPriority DateFiling DateTitle
JP2019079561AJP2020178248A (en)2019-04-182019-04-18 Projection control device, projection control method, projection system, program, storage medium

Publications (1)

Publication NumberPublication Date
JP2020178248Atrue JP2020178248A (en)2020-10-29

Family

ID=72937489

Family Applications (1)

Application NumberTitlePriority DateFiling Date
JP2019079561APendingJP2020178248A (en)2019-04-182019-04-18 Projection control device, projection control method, projection system, program, storage medium

Country Status (1)

CountryLink
JP (1)JP2020178248A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
CN115150597A (en)*2021-03-312022-10-04成都极米科技股份有限公司Projection display method and device and projection equipment
CN115883801A (en)*2021-09-282023-03-31精工爱普生株式会社 Image projection method and projector
CN116156125A (en)*2021-11-192023-05-23华人运通(上海)云计算科技有限公司 Vehicle joint projection method, device, vehicle, terminal, storage medium and system
WO2023229146A1 (en)*2022-05-262023-11-30삼성전자 주식회사Projector device and control method therefor
US11877104B2 (en)2021-08-062024-01-16Seiko Epson CorporationDisplay method
US12445581B2 (en)2022-05-262025-10-14Samsung Electronics Co., Ltd.Projector device and method for controlling the same

Cited By (7)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
CN115150597A (en)*2021-03-312022-10-04成都极米科技股份有限公司Projection display method and device and projection equipment
CN115150597B (en)*2021-03-312023-08-15成都极米科技股份有限公司Projection display method and device and projection equipment
US11877104B2 (en)2021-08-062024-01-16Seiko Epson CorporationDisplay method
CN115883801A (en)*2021-09-282023-03-31精工爱普生株式会社 Image projection method and projector
CN116156125A (en)*2021-11-192023-05-23华人运通(上海)云计算科技有限公司 Vehicle joint projection method, device, vehicle, terminal, storage medium and system
WO2023229146A1 (en)*2022-05-262023-11-30삼성전자 주식회사Projector device and control method therefor
US12445581B2 (en)2022-05-262025-10-14Samsung Electronics Co., Ltd.Projector device and method for controlling the same

Similar Documents

PublicationPublication DateTitle
US10663844B2 (en)Projection control apparatus and control method thereof, and projection system
JP2020178248A (en) Projection control device, projection control method, projection system, program, storage medium
CN106605195B (en)Communication apparatus and control method of communication apparatus
US10297005B2 (en)Method for generating panoramic image
US7679643B2 (en)Remote instruction system, remote instruction method, and program product for remote instruction
US10754237B2 (en)Control apparatus, control method, projection system, and storage medium
JP2020088691A (en)Projection control device, control method of the same, and projection system
JP6753049B2 (en) Projector and projector control method.
US8985781B2 (en)Projector control device and computer-readable recording medium
JP7096664B2 (en) Projection control device and its control method, and projection system
JP2019207392A (en)Controller, control method, projection system, program, and storage medium
JP2020178221A (en) Projection control device, projection control method and program
US11538134B2 (en)Information generation method, information generation system, and non-transitory computer-readable storage medium storing program
JP2018125819A (en) Control device, control method, program, and storage medium
JP2020194998A (en)Control arrangement, projection system, control method, program and storage medium
JP2019204034A (en)Projection control device, control method thereof, projection system, program and storage medium
JP6064321B2 (en) Display device and display control method
JP2019192997A (en)Projection control apparatus and projection control method
JP2019110408A (en)Projection control device, control method of the same, and projection system
US20190327457A1 (en)Projection control apparatus and projection control method
JP2021061541A (en)Control device, control method, projection system, program, and storage medium
JP7272336B2 (en) INFORMATION GENERATION METHOD, INFORMATION GENERATION SYSTEM AND PROGRAM
JP2019192996A (en)Projection control apparatus and projection control method
JP2021136502A (en) Information processing equipment, its control method, projection system, program, and recording medium
US12387303B2 (en)Image correction method, information processing apparatus, and non-transitory computer-readable storage medium

Legal Events

DateCodeTitleDescription
RD01Notification of change of attorney

Free format text:JAPANESE INTERMEDIATE CODE: A7421

Effective date:20210103

A521Written amendment

Free format text:JAPANESE INTERMEDIATE CODE: A523

Effective date:20210113


[8]ページ先頭

©2009-2025 Movatter.jp