【０００１】[0001]
【発明の属する技術分野】本発明は、方位センサを内蔵
し、複数の映像を撮り込んで高精度に画像を張り合わ
せ、また画像合成が可能な複数の機能を有する電子カメ
ラに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an electronic camera having a plurality of functions capable of capturing a plurality of images, pasting the images with high precision, and synthesizing images.
【０００２】[0002]
【従来の技術】従来、電子カメラは、映像を２次元の電
気信号に変えるＣＣＤ（Charge Coupled Device）等
の固体撮像素子と、焦点を上記固体撮像素子の上に結像
するレンズ群と、メモリ等の記録手段とを有する構成が
一般的であるが、かかる構成の下では、撮像した画像の
位置情報や方位情報を得ることはできない。2. Description of the Related Art Conventionally, an electronic camera has a solid-state imaging device such as a CCD (Charge Coupled Device) for converting an image into a two-dimensional electric signal, a lens group for forming a focal point on the solid-state imaging device, and a memory. Is generally used, but under such a configuration, it is not possible to obtain position information and azimuth information of a captured image.
【０００３】電子カメラの映像を用いて、更に環境を取
込む手段を取り入れ、高画角の映像を得るためには、広
角又は超広角のレンズを用いて撮影する方法、或いは通
常画角で撮影した映像をパーソナルコンピュータに取り
込んだ上、ソフトウェアにて画像の張り合わせや画像合
成を行う方法を採用するのが一般的である。[0003] In order to obtain a high angle of view image by adopting a means for taking in the environment further by using the image of the electronic camera, a method of shooting with a wide angle or ultra wide angle lens, or a normal angle of view It is common to adopt a method in which the captured video is imported to a personal computer, and then the images are combined or synthesized by software.
【０００４】上記広角又は超広角のレンズを用いて撮影
する方法の場合、１回で撮影が終了するものの、レンズ
の強い収差のために、画像が大きく歪むといった問題点
がある。さらに、撮影レンズの特性を考慮に入れて歪み
をソフトウェア的に修正することも可能であるが、完全
に無くすことは困難である。また、広角を少ない画素の
ＣＣＤで撮像する為、画素が粗くなるといった問題も生
じる。[0004] In the case of the above-mentioned method of photographing using a wide-angle or ultra-wide-angle lens, although photographing is completed once, there is a problem that the image is greatly distorted due to strong aberration of the lens. Further, it is possible to correct the distortion by software taking into account the characteristics of the taking lens, but it is difficult to completely eliminate the distortion. In addition, since imaging is performed by a CCD having a small number of pixels with a wide angle, there is a problem in that the pixels are coarse.
【０００５】次に通常画角で撮影した映像を、パーソナ
ルコンピュータに取り込んだ上、ソフトウェアのシーケ
ンスに従って、画像の張り合わせや画像合成を行う方法
の場合、マニュアル操作にて予め２つの画像を一部重畳
しておく必要があること、また画像処理にて画像の重畳
部分を探るため、手掛かりが必要であること、処理のた
めの時間を要すること等、問題も多かった。[0005] Next, in a method of combining images taken at a normal angle of view into a personal computer and combining or synthesizing images in accordance with a software sequence, two images are partially superimposed in advance by manual operation. There are many problems, such as the necessity to perform such processing, the need for clues to search for a superimposed portion of an image in image processing, and the time required for processing.
【０００６】一方、電子カメラやビデオカムコーダの位
置や方位を計測して、有効に利用しようとする技術もこ
れまでに提案されている。特に、位置情報に関しては、
衛星測位システム（GPS ；Global Positioning Syst
em）に係る技術の発達によって、手軽に計測することが
可能となっている。On the other hand, there has been proposed a technique for measuring the position and orientation of an electronic camera or a video camcorder to effectively use the measured position and orientation. In particular, regarding location information,
Satellite Positioning System (GPS)
With the development of technology related to em), it is possible to easily measure.
【０００７】即ち、例えば特開平９−１３５４１６号公
報では、電子カメラにＧＰＳを搭載して、撮影場所の経
度と緯度を測定し、測距情報と共に記録する手段を備
え、地図等の作成を容易にする技術が開示されている。[0007] That is, for example, in Japanese Patent Application Laid-Open No. Hei 9-135416, a GPS is mounted on an electronic camera to measure the longitude and latitude of a photographing location, and a means for recording it together with distance measurement information is provided. Is disclosed.
【０００８】さらに、特開平７−２３１４１９号公報で
は、ＧＰＳからの経度と緯度を測定し、ＲＯＭ等のメモ
リに入ったデータからその位置情報、即ち場所を読み取
り、ファインダやメモリ上に表示や記録する技術が開示
されている。Further, in Japanese Patent Application Laid-Open No. Hei 7-231419, longitude and latitude from a GPS are measured, and positional information, that is, a location is read from data stored in a memory such as a ROM and displayed or recorded on a finder or a memory. A technique for performing this is disclosed.
【０００９】また、特開平９−２４７５１２号公報で
は、ＧＰＳからの経度と緯度を測定し、或いは磁気セン
サ等から方位を計測して、その方位と位置を計測して画
像と一緒にメモリ上に記録する技術が開示されている。In Japanese Patent Application Laid-Open No. 9-247512, longitude and latitude are measured from a GPS, or an azimuth is measured from a magnetic sensor or the like, and the azimuth and position are measured and stored in a memory together with an image. A recording technique is disclosed.
【００１０】以上のような位置や方位を測定するための
センサを内蔵するカメラは、その座標や方位を計測し、
そのデータを画像と一緒にメモリ等に記憶し、地図情報
と共に使用することが主目的であった。A camera incorporating a sensor for measuring the position and orientation as described above measures its coordinates and orientation,
The main purpose was to store the data in a memory or the like together with the image and use it together with map information.
【００１１】[0011]
【発明が解決しようとする課題】しかしながら、前述し
た従来技術では、より広い画角、位置や方位情報を撮り
込む手段として、低価格化及び小型化を伴うＧＰＳや方
位センサを採用し、これらにより電子カメラの位置情報
や方位情報を計測し、該位置情報及び方位情報を記録
し、場所を特定して表示したり、画像の張り合わせに用
いることがなされてきたが、実際にそれらの機能を実際
に実装し、フィールドでの試験を行うと、以下に示すよ
うな種々の問題が生じていた。However, in the above-mentioned prior art, as means for capturing wider angle of view, position and azimuth information, a GPS and an azimuth sensor accompanied by low cost and miniaturization are adopted. It has been used to measure the position information and direction information of electronic cameras, record the position information and direction information, specify the location and display it, and use it for image stitching. And tested in the field, there were various problems as described below.
【００１２】即ち、第１に広角レンズや魚眼レンズで撮
影する場合は画素が粗くなり、また強い歪みをレンズの
特性に合わせて除去するのは極めて困難である。第２に
画像処理のみで画像を張り合わせてパノラマ写真を作る
場合、特徴のある木や風景が２枚の端に必ず来るように
気を付けて画像を撮り、また、ある程度手動にて重ね合
わせる必要があった。また、比較的高性能なＣＰＵ（Ce
ntral Processing Unit）やＲＩＳＣ等の中央演算処理
装置を有するパーソナルコンピュータを用いて処理する
必要がある。また、海や空、繰り返しパターン等の映像
では、張り合わせの信頼性が低下するといった問題もあ
った。That is, first, when photographing with a wide-angle lens or a fish-eye lens, pixels become coarse, and it is extremely difficult to remove strong distortion according to the characteristics of the lens. Second, when creating a panoramic photo by combining images only with image processing, it is necessary to take care that the characteristic trees and landscapes always come to the two edges, take the images, and manually overlap them to some extent was there. In addition, a relatively high performance CPU (Ce
It is necessary to perform processing using a personal computer having a central processing unit such as a central processing unit (RIS) or a RISC. In addition, there is a problem that the reliability of bonding is reduced in images of the sea, the sky, and repetitive patterns.
【００１３】一方、撮像画像に撮影の方向の情報を付加
する先行技術も既に開示されているが、かかる技術で
は、撮像画角に関する情報は画像に付加されていない
為、複数の撮像画像を合成して１枚の広画角の画像を作
成する場合に、各画像を合成画像のどの位置に貼り付け
れば良いかは知ることができるが、どの大きさで貼れば
良いかは知ることができない。故に、従来技術では、複
数の画像を合成して１枚の広画角の画像を作成すること
は不可能であった。[0013] On the other hand, a prior art for adding information of a shooting direction to a picked-up image has already been disclosed. However, in this technology, since information relating to a picked-up view angle is not added to an image, a plurality of picked-up images are synthesized. When creating a single image with a wide angle of view, it is possible to know where each image should be pasted in the composite image, but it is not possible to know in what size it should be pasted . Therefore, in the related art, it was impossible to combine a plurality of images to create one wide-angle image.
【００１４】通常の撮影においても固定焦点のレンズを
使用することは稀であり、ズームレンズを使用したり、
レンズを交換したりして画像の画角は画像毎に異なって
いるため、画角情報は方位情報と共に画像の合成に必須
の情報である。It is rare to use a fixed-focus lens even in normal photographing.
Since the angle of view of an image differs for each image due to, for example, replacement of a lens, the angle of view information is essential information for synthesizing images together with azimuth information.
【００１５】本発明は、上記問題に鑑みてなされたもの
で、その目的とするところは、画像情報に撮像方位情報
と共に撮像画角情報も関連付けて、この情報を基に複数
の画像より広画角の合成画像を合成可能にすることにあ
る。SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to associate image information with image pickup angle information together with image pickup azimuth information so that a wider image can be obtained based on this information. An object of the present invention is to make it possible to combine a corner composite image.
【００１６】[0016]
【課題を解決するための手段】上記目的を達成するため
に、本発明の第１の態様によれば、撮像した画像を電子
的に記録する電子カメラにおいて、上記撮像した画像の
撮像方位情報と撮像画角情報を上記画像に関連づけて記
録する記録手段を具備することを特徴とする電子カメラ
が提供されることとなる。According to a first aspect of the present invention, there is provided an electronic camera for electronically recording a captured image, comprising: An electronic camera including a recording unit that records imaging angle-of-view information in association with the image is provided.
【００１７】更に、第２の態様によれば、上記第１の態
様において、上記記録手段は、複数の所望の画像同士を
関連付ける情報である画像関連情報も更に記録可能であ
ることを特徴とする電子カメラが提供される。Further, according to a second aspect, in the first aspect, the recording means can further record image-related information that is information for associating a plurality of desired images with each other. An electronic camera is provided.
【００１８】また、第３の態様によれば、上記第２の態
様において、上記電子カメラは、上記撮像方位情報と上
記撮像画角情報に基づいて、上記画像関連情報によって
関連付けられた画像同士を合成する画像合成手段を更に
具備することを特徴とする電子カメラが提供される。According to a third aspect, in the second aspect, the electronic camera associates the images associated with each other by the image-related information based on the imaging azimuth information and the imaging angle-of-view information. There is provided an electronic camera further comprising an image synthesizing means for synthesizing.
【００１９】上記第１乃至第３の態様によれば、以下の
作用が奏される。即ち、本発明の第１の態様では、記録
手段により、撮像した画像の撮像方位情報と撮像画角情
報とが上記画像に関連づけて記録される。According to the above-described first to third aspects, the following operations are provided. That is, in the first aspect of the present invention, the recording unit records the imaging azimuth information and the imaging view angle information of the captured image in association with the image.
【００２０】更に、第２の態様では、上記第１の態様に
おいて、上記記録手段により、複数の所望の画像同士を
関連付ける情報である画像関連情報も更に記録される。
また、第３の態様では、上記第２の態様において、画像
合成手段により、上記撮像方位情報と上記撮像画角情報
に基づいて、上記画像関連情報によって関連付けられた
画像同士が合成される。In a second aspect, in the first aspect, the recording means further records image-related information that is information for associating a plurality of desired images with each other.
In a third aspect, in the second aspect, the images associated with the image-related information are combined by the image combining means based on the imaging azimuth information and the imaging angle-of-view information.
【００２１】[0021]
【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態について説明する。本発明は、電子カメラに
おいて、実写画像を用いて「環境」を取込むことを目的
としている。ここで、「環境」とは、操作者以外の物体
や背景、色、濃淡、深さ、形状等の全てを含むが、電子
カメラは２次元情報を取り扱うものである為、先ずは操
作者の周辺環境を取り込むことを考える。Embodiments of the present invention will be described below with reference to the drawings. An object of the present invention is to capture “environment” in a digital camera by using a photographed image. Here, the “environment” includes all objects other than the operator, such as objects, backgrounds, colors, shades, depths, shapes, and the like. However, since the electronic camera handles two-dimensional information, Consider taking in the surrounding environment.
【００２２】以下、本発明の実施の形態に係る電子カメ
ラの技術的理解を深めるべく、後述する全ての実施の形
態に共通する基本原理を詳細に説明する。通常の銀塩カ
メラ、電子カメラ等で写真を撮影する場合には、レンズ
で捕らえられる画角の濃淡と色情報とを、フィルムや固
体撮像素子にて面（２次元）の像として捕らえるのが一
般的である。そして、フィルム面等に捕らえられた画像
には、画像情報以外の「環境」に係る情報は何ら含まれ
ていない。Hereinafter, in order to deepen the technical understanding of the electronic camera according to the embodiment of the present invention, a basic principle common to all embodiments described later will be described in detail. When a photograph is taken with a normal silver halide camera, electronic camera, or the like, it is necessary to capture the light and shade of the angle of view and color information captured by a lens as a plane (two-dimensional) image using a film or solid-state image sensor. General. The image captured on the film surface or the like does not include any information related to “environment” other than the image information.
【００２３】しかし、上記銀塩カメラ等とは異なり、電
子カメラでは、映像情報をデジタル信号として記録再生
できる為、通信や他のデータを用いて様々な画像の加工
や作成、創作、環境の作成ができる。また、例えば複数
の映像を正確な位置を基に張り合わせたり、パノラマ画
面を作成したりすることもできる。但し、この為には、
撮影した画像の実空間での位置（空間の認知）情報が必
要となる。However, unlike the above-mentioned silver halide camera and the like, an electronic camera can record and reproduce video information as a digital signal, so that various images can be processed, created, created, and created in an environment using communication and other data. Can be. Also, for example, a plurality of videos can be stuck on the basis of accurate positions, or a panoramic screen can be created. However, for this,
Information on the position of the photographed image in the real space (recognition of the space) is required.
【００２４】本発明は、撮影時における電子カメラの姿
勢を計測することで、撮影画像の位置を割り出し、その
後の画像の加工や創作に使用するものである。先ず、図
１には撮影時の電子カメラの姿勢と画像との関係を示し
説明する。According to the present invention, the position of a photographed image is determined by measuring the attitude of the electronic camera at the time of photographing, and is used for processing and creating the image thereafter. First, FIG. 1 shows and describes the relationship between the attitude of the electronic camera at the time of shooting and the image.
【００２５】図１（ａ）は、画角と方位の関係を示す図
である。この図１（ａ）において、Ｐ１は画像の中心、
Ｑは撮像素子の中心位置をそれぞれ示している。図１
（ｂ）のｘ、ｙ、ｚは、撮像素子の中心点Ｑを中心とし
たデカルト座標を示し、図中のｘ、ｙは撮影した画面の
座標を示している。θは、図１（ｂ）に示されるような
撮像素子の中心を含む水平面を回転面にした場合におけ
る当該水平面からの法線を回転中心とした場合の回転角
である。また、ψは、図１（ｂ）に示されるように地表
からの角度（仰角）である。このθとψで作られる座標
は、オイラー座標系に相当する。また、φは、カメラの
水平からの傾き角である。FIG. 1A shows the relationship between the angle of view and the azimuth. In FIG. 1A, P1 is the center of the image,
Q indicates the center position of the image sensor, respectively. FIG.
(B), x, y, and z indicate Cartesian coordinates with the center point Q of the image sensor as the center, and x and y in the figure indicate the coordinates of the captured image. θ is the rotation angle when the horizontal plane including the center of the image sensor as shown in FIG. 1B is the rotation plane and the normal to the horizontal plane is the rotation center. Ψ is an angle (elevation angle) from the ground surface as shown in FIG. The coordinates formed by θ and ψ correspond to the Euler coordinate system. Φ is an angle of inclination of the camera from the horizontal.
【００２６】上記θはパニング、ψはチルトの角度であ
るともいえる。従って、Δθはパニング方向の画角であ
り、Δψはチルト方向の画角である。また、画像Ｇは、
姿勢情報（θ、ψ、φ）と画角情報（Δθ、Δψ）との
計５個のパラメータで決定される。尚、プリントや投影
した場合の実際の画角は、図１（ｃ）に示されるよう
に、画角と仮想的に設定する投影距離ｄによって決定さ
れる。この図１（ｃ）において、ｇｘ、ｇｙは、それぞ
れ ｇｘ＝２・ｄ・ｔａｎ（Δθ／２） ｇｙ＝２・ｄ・ｔａｎ（Δψ／２） で示される。It can be said that θ is a panning angle and ψ is a tilt angle. Therefore, Δθ is the angle of view in the panning direction, and Δψ is the angle of view in the tilt direction. The image G is
It is determined by a total of five parameters of attitude information (θ, 情報, φ) and angle-of-view information (Δθ, Δψ). Note that the actual angle of view when printing or projecting is determined by the angle of view and the projection distance d virtually set, as shown in FIG. In FIG. 1C, gx and gy are represented by gx = 2 · d · tan (Δθ / 2) and gy = 2 · d · tan (Δψ / 2).
【００２７】次に図２には大画面やパノラマ等を作成す
る場合の画像を張り合わせる過程を示し説明する。画像
の張り合わせ時に必要な情報は、図２（ａ）に示される
ようにカメラの撮像中心から見た、即ち撮影した２枚の
画像Ｇ１、Ｇ２である。この画像の姿勢情報と画角情報
が有れば正確に張り合わせが可能である。張り合わせに
は、少なくとも２枚の画像Ｇ１（θ１、ψ１、φ１、Δ
θ１、Δψ１）と、Ｇ２（θ２、ψ２、φ２、Δθ２、
Δψ２）が必要となる。尚、図２（ａ）に示されるよう
に、一部重複部分が必要となることは勿論であり、図２
（ｂ）に示される複数の画像を組み合わせる場合も同様
である。Next, FIG. 2 shows a process of combining images when a large screen or a panorama is created. As shown in FIG. 2 (a), the information required at the time of laminating the images is two images G1 and G2 viewed from the center of the camera, that is, photographed. If there is the attitude information and the angle of view information of this image, the lamination can be performed accurately. At least two images G1 (θ1, ψ1, φ1, Δ
θ1, Δψ1) and G2 (θ2, ψ2, φ2, Δθ2,
Δψ2) is required. As shown in FIG. 2A, it is needless to say that a partially overlapping portion is required.
The same applies to the case of combining a plurality of images shown in (b).
【００２８】次に図３を参照して、大画面やパノラマ等
を作成する場合において、画像を張り合わせる過程につ
いて、更に正確で実用的な方法を説明する。前述したよ
うな姿勢情報（θ、ψ、φ）を精度良く実測するのは、
一般に容易ではない。例えば、建設現場等でプロが使用
する計測カメラを３脚に固定して高価なロータリーエン
コーダを用いる場合であっても、３６０度を３６００分
割して分解能を０．１度にすることは困難である。Next, referring to FIG. 3, a more accurate and practical method of the process of combining images when a large screen or a panorama is created will be described. To accurately measure the posture information (θ, ψ, φ) as described above,
Generally not easy. For example, even when a professional measurement camera is fixed to three legs and an expensive rotary encoder is used at a construction site or the like, it is difficult to divide 360 degrees into 3600 and make the resolution 0.1 degrees. is there.
【００２９】一方、２０度の画角をＶＧＡ（６４０×４
８０）で表示した場合の水平方向の１画素の方位は１／
３０度となる。本発明では、大衆商品として製造販売す
ること、且つ利用者の利便を向上させることを考えてい
るので、基準点なしに利用者が構えるだけで計測できる
ことが望まれ、ゆえに、方位の計測精度は８ｂｉｔから
１０ｂｉｔとするのが妥当である。On the other hand, the angle of view of 20 degrees is changed to VGA (640 × 4
80), the azimuth of one pixel in the horizontal direction is 1 /
30 degrees. In the present invention, since it is considered to manufacture and sell as a popular product and to improve the convenience of the user, it is desired that the measurement can be performed only by holding the user without a reference point. It is appropriate to set from 8 bits to 10 bits.
【００３０】即ち、方位の計測精度は０．１度から数度
となる。この為、図３（ａ）に示されるように、重複部
分の画像ずれが発生する可能性が想定される。ここで、
ずれの程度は、姿勢情報（θ、ψ、φ）の標準偏差の二
乗和の平方根であると考えられる。尚、これは、方位セ
ンサの測定値が原理的限界からガウシアン分布をとると
いうことが前提となっている。That is, the azimuth measurement accuracy is from 0.1 degree to several degrees. For this reason, as shown in FIG. 3A, it is assumed that an image shift of the overlapping portion may occur. here,
The degree of the deviation is considered to be the square root of the sum of squares of the standard deviation of the posture information (θ, ψ, φ). Note that this is based on the premise that the measured value of the azimuth sensor has a Gaussian distribution from a theoretical limit.
【００３１】図３（ｂ）は、この誤差を補正するため
に、画像の重複部分の画素レベルの相関を取って精度を
高めた例である。例えば、最初に方位情報からの座標
（Ｘ、Ｙ）と（Ｘ′、Ｙ′）との画像の画素の差の二乗
を重なり部分の全ての画素、又は一部の画素で和をと
る。そして、この和が最小になる新たな座標（Ｘ′、
Ｙ′）を見い出せるような手法を用いている。FIG. 3B shows an example in which, in order to correct this error, the accuracy is improved by correlating the pixel level of the overlapping portion of the image. For example, first, the square of the difference between the pixels of the image at the coordinates (X, Y) and (X ', Y') from the azimuth information is summed up for all or some of the pixels in the overlapping portion. Then, new coordinates (X ′,
Y ′) is used.
【００３２】ここで、図２４のフローチャートを参照し
て、外部コンピュータ又は電子カメラ内蔵コンピュータ
による演算のシーケンスを説明する。動作を開始する
と、先ず、電子カメラより１画像と関連づけられた撮像
方位情報と撮像画角情報を伝送する（ステップＳ２
１）。続いて、全画像の方位情報より、方位情報の最大
値と最小値を各成分ごと求め（ステップＳ２２）、上記
方位情報の各成分毎の最大値と最小値より出力画像の範
囲を仮決定し（ステップＳ２３）、上記出力画像の範囲
に座標平面を想定し（ステップＳ２４）、各撮像画像の
上記座標平面上の位置を、各画像に関連付けられた撮像
方位情報より計算する（ステップＳ２５）。Here, the sequence of the calculation by the external computer or the computer with the electronic camera will be described with reference to the flowchart of FIG. When the operation is started, first, the electronic camera transmits imaging azimuth information and imaging angle-of-view information associated with one image (step S2).
1). Subsequently, the maximum value and the minimum value of the azimuth information are obtained for each component from the azimuth information of all images (step S22), and the range of the output image is provisionally determined from the maximum value and the minimum value of each component of the azimuth information. (Step S23), a coordinate plane is assumed in the range of the output image (Step S24), and the position of each captured image on the coordinate plane is calculated from imaging azimuth information associated with each image (Step S25).
【００３３】次いで、各撮像画像の上記座標平面上の大
きさを、各画像に関連付けられた撮像画角情報より計算
し（ステップＳ２６）、計算した位置と大きさに従い、
撮像画像を座標平面に貼り付け（ステップＳ２７）、境
界に不連続部分があれば、対応する画素間で各画素との
ノルム（距離）の総和が最小となる位置に新画素を設定
し（ステップＳ２８）、貼り付けた撮像画像を１つの画
像として出力し（ステップＳ２９）、動作を終了する
（ステップＳ３０）。Next, the size of each captured image on the coordinate plane is calculated from the image capturing angle information associated with each image (step S26), and according to the calculated position and size,
The captured image is pasted on the coordinate plane (step S27), and if there is a discontinuity at the boundary, a new pixel is set at a position where the sum of the norms (distances) between the corresponding pixels and each pixel is minimum (step S27). S28), the pasted captured image is output as one image (step S29), and the operation ends (step S30).
【００３４】以上の基本原理をふまえて、以下、各実施
の形態を詳細に説明する先ず、第１の実施の形態を説明
する。図４は本発明の第１の実施の形態に係る電子カメ
ラの構成図である。Based on the above basic principle, each embodiment will be described in detail below, and the first embodiment will be described first. FIG. 4 is a configuration diagram of the electronic camera according to the first embodiment of the present invention.
【００３５】同図に示されるように、本実施の形態に係
る電子カメラは、光軸９を有するレンズ群１０、当該レ
ンズ群１０を含む鏡筒１１、ＣＣＤやＣＭＯＳセンサ等
の固体撮像素子１２、画像メモリ１３、制御部１４、姿
勢センサ１５、画角を計測する機能部１６、一連の関連
画像を特徴付ける機能部１７の主な構成要素から構成さ
れている。これらの内、画像メモリ１３は、電子カメラ
内部に搭載されても良いし、カードのように差し込み式
となっていても良い。また、上記構成要素のほか、自動
焦点（ＡＦ）センサや焦点調整のアクチュエータ、自動
露出（ＡＥ）センサや絞り等を搭載していても良いこと
は勿論である。As shown in FIG. 1, an electronic camera according to the present embodiment includes a lens group 10 having an optical axis 9, a lens barrel 11 including the lens group 10, a solid-state image sensor 12 such as a CCD or CMOS sensor. , An image memory 13, a control unit 14, a posture sensor 15, a function unit 16 for measuring an angle of view, and a function unit 17 for characterizing a series of related images. Of these, the image memory 13 may be mounted inside the electronic camera, or may be a plug-in type like a card. Further, in addition to the above components, it is needless to say that an automatic focus (AF) sensor, a focus adjustment actuator, an automatic exposure (AE) sensor, an aperture, and the like may be mounted.
【００３６】上記姿勢センサ１５は、この実施の形態で
は、３軸の方位を高精度で計測することができる。ここ
で、３軸とは、図５に示されるような軸と方位であり、
地表面１０１の法線１０２を中心軸とする角度１０３
（パンニング又はヨーイング）、カメラのレンズの光軸
９の地表面からの角度の計測１０４（チルトイング又は
ピッチ）、水平方向からの傾き１０５をここでは定義す
る。In this embodiment, the attitude sensor 15 can measure the directions of three axes with high accuracy. Here, the three axes are an axis and a direction as shown in FIG.
Angle 103 centered on normal 102 of ground surface 101
Here, panning or yawing, measurement 104 of the angle of the optical axis 9 of the camera lens from the ground surface (tilting or pitch), and inclination 105 from the horizontal direction are defined here.
【００３７】この計測の方法は、詳細には後述するが、
一般的に３つの方位センサを互いに９０度の傾きを持っ
て配置して計測させることが多い。上記画角を計測する
機能部１６は、使用するレンズの焦点距離や倍率、使用
する撮像素子の有効画素面積等を計測、或いは定数値か
ら計測して求める。上記一連の関連画像を特徴付ける機
能部１７は、複数の画像を用いて大きなパノラマや全天
周画像を作成させる場合の一群の画像を特徴付けるイン
デックスである。Although this measuring method will be described later in detail,
Generally, three azimuth sensors are often arranged at an angle of 90 degrees to each other for measurement. The function unit 16 for measuring the angle of view obtains the focal length and magnification of the lens to be used, the effective pixel area of the image sensor to be used, and the like, or obtains it from a constant value. The functional unit 17 for characterizing a series of related images is an index for characterizing a group of images when a large panorama or an all-sky image is created using a plurality of images.
【００３８】次に図６には第１の実施の形態に係る電子
カメラの構成図を示し説明する。同図に於いて、中央演
算処理装置（CPU ；Central Processing Unit）１４
は、電子カメラ全体の制御を司る。このＣＰＵ１４の入
力には、シャッタスイッチ１８、フラッシュのモードス
イッチ１９、再生機能スイッチ２０、メモリの制御（消
去等）のスイッチ２１、撮像素子からの映像信号２２、
ＡＦ信号部２３、ＡＥ信号部２４等からの信号が入力さ
れる。また、ＣＰＵ１４の出力信号は、フラッシュ機能
部（光源等）２５、レンズアクチュエータ２７に入力さ
れる。Next, FIG. 6 shows a configuration diagram of an electronic camera according to the first embodiment and will be described. In the figure, a central processing unit (CPU) 14
Controls the entire electronic camera. The inputs of the CPU 14 include a shutter switch 18, a flash mode switch 19, a reproduction function switch 20, a memory control (erase or the like) switch 21, a video signal 22 from the image sensor,
Signals from the AF signal unit 23, the AE signal unit 24, and the like are input. The output signal of the CPU 14 is input to a flash function unit (light source or the like) 25 and a lens actuator 27.
【００３９】特に、上記画像メモリ１３には、画像制御
信号２６と、バスライン２７を介したデジタル画像信号
が入力され、当該画像メモリ１３に蓄積される。この
他、ＣＰＵ１４の入力には、姿勢センサ１５、画角情報
部１６、関係付けＳＷ１７の出力が接続されており、通
信自在となっている。In particular, an image control signal 26 and a digital image signal via a bus line 27 are input to the image memory 13 and stored in the image memory 13. In addition, the input of the CPU 14 is connected to the output of the attitude sensor 15, the angle-of-view information unit 16, and the output of the associating SW 17, so that communication is possible.
【００４０】以下、図７のフローチャートを参照して、
上記構成の第１の実施の形態に係る電子カメラの動作を
説明する。電子カメラの電源スイッチが投入されると
（ステップＳ１）、前処理が実行される（ステップＳ
２）。ここでは、必要なデバイスの検証、メモリの初期
化、必要な情報のＲＯＭ等からレジスタや主記録装置に
ロード、ＬＣＤ等の表示装置の初期化等がなされる。こ
のとき、姿勢センサ１５の初期化やキャリブレーション
も必要であれば行う。この状態で、シャッタ待ちの状態
となる。Hereinafter, referring to the flowchart of FIG.
The operation of the electronic camera according to the first embodiment having the above configuration will be described. When the power switch of the electronic camera is turned on (step S1), preprocessing is executed (step S1).
2). Here, necessary devices are verified, memories are initialized, necessary information is loaded from a ROM or the like into a register or a main recording device, and a display device such as an LCD is initialized. At this time, initialization and calibration of the attitude sensor 15 are also performed if necessary. In this state, a state of waiting for a shutter is established.
【００４１】尚、画像の確認、画像メモリ１３の確認等
のイベント情報が入った場合は、そのイベントに対する
応答を行うことは勿論である。次いで、パノラマ等（環
境を撮るモード）の画像の関係付けＳＷ１７が押下され
ると（ステップＳ３）、方位検出による画像合成モード
に入り、関連付けのフラグがＯＮされ、姿勢センサ１５
の計測準備に入る（ステップＳ４）。When event information such as confirmation of an image and confirmation of the image memory 13 is entered, it is a matter of course to respond to the event. Next, when the image linking switch 17 for panorama or the like (mode for photographing the environment) is pressed (step S3), the image synthesis mode based on azimuth detection is entered, the association flag is turned on, and the posture sensor 15 is turned on.
Preparation for measurement is started (step S4).
【００４２】続いて、シャッタＳＷ１８がＯＮされると
（ステップＳ５）、画像取り込みのモードに入る。即
ち、ズームボタンが押下されると、操作者や指定するズ
ーム倍率に設定される。この画像取り込みモードでは、
焦点を合わせるレンズアクチュエータ２８が動作する。
また、自動焦点タイプで有れば、ＡＦセンサの信号が許
容値に達するまでアクチュエータが動作する（ステップ
Ｓ６）。Subsequently, when the shutter SW 18 is turned on (step S5), the mode is set to the image capturing mode. That is, when the zoom button is pressed, the operator or the specified zoom magnification is set. In this image capture mode,
The focusing lens actuator 28 operates.
If the type is the auto focus type, the actuator operates until the signal of the AF sensor reaches an allowable value (step S6).
【００４３】ここで、上記ステップＳ５、ステップＳ６
の処理は、相互に順番を変更しても良い。尚、関連付け
のフラグが立っている場合は、姿勢センサ１５の計測開
始を指示する。その後、シャッタ用のレンズアクチュエ
ータ２８が動作する。ここで、ＣＣＤの電子シャッタ機
能を用いても良い。Here, the above steps S5 and S6
May be changed in order. If the association flag is set, the start of measurement by the attitude sensor 15 is instructed. After that, the shutter lens actuator 28 operates. Here, the electronic shutter function of the CCD may be used.
【００４４】次いで、シャッタが開いている間にＣＣＤ
や撮像素子の画像取り込み信号を出力する（ステップＳ
７）。電子シャッタを使用する場合には、ＡＥ信号を受
けてホトダイードへの蓄積時間を決める。この後、直ち
に姿勢センサ１５の計測値を取込むか、又はその時点の
計測値をラッチする信号を出す（ステップＳ８）。その
後、ＣＣＤ等の撮像素子から画像データをシリアル又は
パラレルで画像メモリ１３に取込む（ステップＳ９）。
このとき、方位データの計測データ、レンズやズームか
らの画角データ、画像の関連付けのデータ等を同時に画
像メモリ１３内に取込む（ステップＳ１０）。ここで、
画像の関連付けとは、画像合成をする一連の画像のまと
まりや順序付けを意味する。Next, while the shutter is open, the CCD
Or an image capture signal of the image sensor (Step S
7). When the electronic shutter is used, the storage time in the photodiode is determined by receiving the AE signal. Thereafter, the measured value of the attitude sensor 15 is immediately taken in, or a signal for latching the measured value at that time is issued (step S8). Thereafter, image data is fetched serially or in parallel from the image sensor such as a CCD into the image memory 13 (step S9).
At this time, the measurement data of the azimuth data, the angle-of-view data from the lens and zoom, the data of image association, and the like are simultaneously loaded into the image memory 13 (step S10). here,
The image association means a grouping or ordering of a series of images to be synthesized.
【００４５】これらのデータはバッファに入れておき、
ステップＳ１１にて、まとめて画像メモリ１３に取込ん
でも良い。さらに、画像データが大きい場合は、直接ス
テップＳ７やステップＳ９の段階で画像メモリ１３に取
込んでも良い。この後、パノラマ画像の関係付けＳＷ１
７がＯＮされている場合（フラグが立っている場合）は
（ステップＳ１２）、関連付けデータの更新をしてシャ
ッタボタンを押下する準備段階に戻る（ステップＳ１
３）。These data are stored in a buffer,
In step S11, the images may be fetched into the image memory 13 all together. Further, when the image data is large, the image data may be directly taken into the image memory 13 at the step S7 or the step S9. Thereafter, the panoramic image association SW1
If 7 is ON (if the flag is set) (step S12), the association data is updated and the process returns to the preparation stage for pressing the shutter button (step S1).
3).
【００４６】以降、パノラマ合成した２番目の画像を撮
影し、上記した処理と同様の処理により必要な画像を取
込むこととなる。ここで、上記画像の関連付けは、関連
付けようとする画像を撮影するときにボタン等を押下す
ることにより指定する構成ととることもできるが、一般
に画像合成の対象となる複数の画像は電源投入から切断
の間に撮影される全画像であることが多い点に鑑み、電
子カメラに電源投入後最初に撮像された画像から、電源
切断の直前に撮像された画像まで関連付けるようにして
もよい。このようにすれば、操作が簡便になるととも
に、システム構成を安価にし、誤操作を防止する意味で
信頼性を向上できる。Thereafter, the second image subjected to the panorama synthesis is photographed, and a necessary image is fetched by the same processing as described above. Here, the association of the images can be specified by pressing a button or the like when the image to be associated is photographed. In view of the fact that all images are often taken during the disconnection, the electronic camera may be associated with an image captured first after power-on to an image captured immediately before power-off. By doing so, the operation can be simplified, the system configuration can be made inexpensive, and the reliability can be improved in the sense of preventing erroneous operation.
【００４７】次に図８を参照して、第１の実施の形態に
おける記録したデータの処理過程を説明する。同図に於
いて、本体４３、ＣＲＴ４４、マウス４５、キーボード
４６はパーソナルコンピュータ（以下、ＰＣとする）を
形成する。ここで、本実施の形態に係る電子カメラ１と
本体４３とは、信号ケーブル４７によりシリアル又はパ
ラレルに通信自在に接続されている。Next, a process of processing recorded data in the first embodiment will be described with reference to FIG. In the figure, a main body 43, a CRT 44, a mouse 45, and a keyboard 46 form a personal computer (hereinafter, referred to as PC). Here, the electronic camera 1 according to the present embodiment and the main body 43 are communicably connected to each other by a signal cable 47 in a serial or parallel manner.
【００４８】本実施の形態では、方位の計測の方法につ
いては何ら制限していない。実空間を空間認知する原理
から、電子カメラが画像情報、方位情報、画角情報、及
び画像の関連付け情報を用いて画像を取込み、画像メモ
リ１３に記録することを特徴としている。方位を示す姿
勢情報の値は、ＧＰＳ等より得た絶対的な方位座標にお
ける値で認識してもよいが、電子カメラに電源が投入さ
れた時点の姿勢情報の値をゼロとし、これに対する移動
量の値で認識してもよい。また、１つの画像における姿
勢情報の値をゼロとし、他の画像においてはこのゼロ値
からの移動量で値を認識してもよい。最後の方式による
と、演算がより簡単にできる。In the present embodiment, the method of measuring the direction is not limited at all. From the principle of recognizing a real space, an electronic camera captures an image using image information, azimuth information, view angle information, and image association information, and records the image in the image memory 13. The value of the attitude information indicating the azimuth may be recognized by a value in absolute azimuth coordinates obtained from a GPS or the like. However, the value of the attitude information at the time when the power of the electronic camera is turned on is set to zero, and It may be recognized by the value of the quantity. Further, the value of the posture information in one image may be set to zero, and in other images, the value may be recognized based on the amount of movement from the zero value. According to the last method, the operation can be made easier.
【００４９】尚、画像の貼り合わせは外部のＰＣで行っ
てもよい。この場合は画像の関連付け、即ち、どれとど
れの画像同士を貼り合わせるかといった選択もＰＣ上で
実施するとよい。このようにすれば、複数の画像を確認
した上で、適切な画像のみを選択して貼り合わせること
ができる。The bonding of the images may be performed by an external PC. In this case, the association of the images, that is, the selection of which and which images should be pasted together may be performed on the PC. In this way, after confirming a plurality of images, only appropriate images can be selected and attached.
【００５０】画像の関連付けは、このＰＣが行う以外に
も、本体に取り付けられたスイッチや、外部のボタン、
タッチパネル、マウス、音声認識等で行う構成がとれ
る。また、上記画像の関連付けを、所望の画像から所定
の時間内に撮影された複数の画像全てに対して行うよう
にしてもよい。このようにすれば、不要のボタン等の部
品を省くことができる。In addition to the PC, image association is performed by a switch attached to the main body, an external button,
A configuration in which a touch panel, a mouse, voice recognition, and the like are used can be employed. Further, the above-mentioned image association may be performed for all of a plurality of images taken within a predetermined time from a desired image. In this way, unnecessary components such as buttons can be omitted.
【００５１】次に第２の実施の形態を説明する。図９は
第２の実施の形態としての電子カメラの応用例を示す図
である。一般に、電子カメラはＰＣの周辺機器として発
展し、デジタル画像を取込み装置として認知、利用され
てきた。しかし、直接テレビジョン（ＴＶ）に接続して
映像を楽しむこととほか（図９（ａ）参照）、所謂「ホ
ームラボラトリ」という概念の下、プリンタに直接接続
することも可能である（図９（ｂ）参照）。Next, a second embodiment will be described. FIG. 9 is a diagram illustrating an application example of the electronic camera according to the second embodiment. In general, an electronic camera has been developed as a peripheral device of a PC, and has been recognized and used as a digital image capturing device. However, in addition to directly connecting to a television (TV) to enjoy images (see FIG. 9A), it is also possible to directly connect to a printer under the concept of a so-called “home laboratory” (FIG. 9). (B)).
【００５２】このような場合でも、本実施の形態に係る
電子カメラを採用すれば、画像の張り合わせ操作に、所
定の操作やマニュアル動作を何ら要しない。また、本実
施の形態では、画像間の関連付けと方位情報や画角情報
は撮影時に撮り込まれている為に、完全自動で最終画像
の作成ができる。つまり、電子カメラ１のＣＰＵによっ
て画像メモリからの画像情報、方位情報、画角情報、関
連付け情報を用いて、新たな座標を計算し、又は先に図
３に示した手法で最適化することにより、新たな座標を
再定義し、再度合成した画像データをメモリに蓄積す
る。よって、図９（ａ），（ｂ）に示されるようなＴＶ
での張り合わせ画像の再生や、プリンタへの張り合わせ
画像の出力ができるほか、図９（ｃ）に示されるよう
に、頭部や顔面の画像表示装置（HMD ；Head Mounted
Display ）５０に接続して張り合わせ画像を出力する
よう構成することもできる。この合成画像は、自動的に
電子カメラの画像メモリ１３に記憶しても良いし、画像
情報のみを記憶してもよい。Even in such a case, if the electronic camera according to the present embodiment is adopted, no predetermined operation or manual operation is required for the image joining operation. Further, in the present embodiment, since the association between the images, the azimuth information and the angle of view information are captured at the time of shooting, the final image can be created completely automatically. That is, the CPU of the electronic camera 1 calculates new coordinates using the image information, the azimuth information, the angle of view information, and the association information from the image memory, or optimizes the coordinates by the method shown in FIG. , New coordinates are redefined, and the recombined image data is stored in the memory. Therefore, the TV as shown in FIGS.
In addition to playing back the stitched image and outputting the stitched image to a printer, an image display device (HMD; Head Mounted) for the head and face as shown in FIG.
Display) 50 to output a stuck image. This composite image may be automatically stored in the image memory 13 of the electronic camera, or only the image information may be stored.
【００５３】次に第３の実施の形態を説明する。図１０
は第３の実施の形態に係る電子カメラの外観構成図であ
る。本実施の形態は、図１０（ａ）、（ｂ）に示される
ように、カメラに表示装置を機能を有する構成となって
いる。即ち、図１０（ａ）は高精細の平面型表示装置
（ＬＣＤ）５１を用いたもの、図１０（ｂ）はレンズを
通して小型表示装置を拡大表示するもので、ファインダ
５２を有している。尚、小さな画角で大画面を表示させ
るべく、表示の場所を変更するよう構成することもでき
る。Next, a third embodiment will be described. FIG.
FIG. 9 is an external configuration diagram of an electronic camera according to a third embodiment. In the present embodiment, as shown in FIGS. 10A and 10B, the camera has a display device function. 10A uses a high-definition flat display device (LCD) 51, and FIG. 10B shows an enlarged display of a small display device through a lens, and has a finder 52. It should be noted that the display location may be changed to display a large screen with a small angle of view.
【００５４】次に第４の実施の形態を説明する。図１１
は第４の実施の形態の基本原理を示す図である。一般に
民生カメラでは、パノラマ画像のみを撮る場合が多い。
この場合は、水平方向の角度、パニングのみで撮影可能
となる。Next, a fourth embodiment will be described. FIG.
FIG. 14 is a diagram showing a basic principle of the fourth embodiment. In general, consumer cameras often take only panoramic images.
In this case, shooting can be performed only by horizontal angle and panning.
【００５５】この第４の実施の形態では、カメラの視点
Ｑをできるだけ変えないで、パニングの方位θのみを計
測しながら、Ｇ１（θ１、Δθ１）、Ｇ２（θ２、Δθ
２）、Ｇ３（θ３、Δθ３）の画像を撮影する。このと
き、先に説明した第１の実施の形態と同様に、画像情
報、パニング方向の画角情報Δθ、パニングの方位情報
θ、を計測し、画像メモリ１３に記録する。In the fourth embodiment, G1 (θ1, Δθ1) and G2 (θ2, Δθ1) are measured while measuring only the panning azimuth θ without changing the viewpoint Q of the camera as much as possible.
2) An image of G3 (θ3, Δθ3) is taken. At this time, the image information, the panning direction angle-of-view information Δθ, and the panning azimuth information θ are measured and recorded in the image memory 13 as in the first embodiment described above.
【００５６】第４の実施の形態によれば、方位センサの
数が最小限となり、低コスト化を実現することができ
る。尚、上記バニング方向の画角情報Δθのほか、チル
ト方向の画角情報Δψも考慮に入れれば更に良いことは
勿論である。According to the fourth embodiment, the number of direction sensors can be minimized, and the cost can be reduced. Needless to say, in addition to the above-mentioned angle-of-view information Δθ in the baning direction, the angle-of-view information Δψ in the tilt direction may be taken into consideration.
【００５７】次に第５の実施の形態を説明する。図１２
は第５の実施の形態の基本原理を示す図である。一般に
民生カメラでは、ビルや塔のような縦長画面を撮る場合
が多いが、この場合は垂直方向の角度、チルトのみで撮
影可能となる。Next, a fifth embodiment will be described. FIG.
FIG. 14 is a diagram showing a basic principle of the fifth embodiment. In general, a consumer camera often takes a vertically long screen such as a building or a tower. In this case, it is possible to take a picture only with a vertical angle and a tilt.
【００５８】この第５の実施の形態では、カメラの視点
Ｑを極力変更しないで、チルトの方位ψのみを計測しな
がら、Ｇ１（ψ１、Δψ１）、Ｇ４（ψ４、Δψ４）、
Ｇ５（ψ５、Δψ５）の画像を撮影する。このとき、先
に説明した第１の実施例と同様に、画像情報、チルト方
向の画角情報Δψ、チルトの方位情報ψを計測し、画像
メモリ１３に記録する。In the fifth embodiment, G1 (ψ1, Δψ1), G4 (ψ4, Δψ4), G4 (ψ1, Δψ4), while measuring only the tilt direction ψ without changing the viewpoint Q of the camera as much as possible.
An image of G5 (ψ5, Δψ5) is taken. At this time, the image information, tilt angle of view information Δψ, and tilt azimuth information 計 測 are measured and recorded in the image memory 13 in the same manner as in the first embodiment described above.
【００５９】第５の実施の形態によれば、方位センサの
数が最小限となり、低コスト化を実現することができ
る。尚、上記チルト方向の画角情報Δψのほか、パニン
グ方向の画角情報Δθも考慮に入れれば更に良いことは
勿論である。According to the fifth embodiment, the number of direction sensors can be minimized, and cost reduction can be realized. Needless to say, in addition to the angle of view information Δψ in the tilt direction, the angle of view information Δθ in the panning direction may be considered.
【００６０】次に第６の実施の形態を説明する。図１３
は第６の実施の形態の基本原理を示す図である。一般
に、民生カメラでは、カメラを水平に保った画面を撮る
場合が多いが、この場合は水平と垂直方向の角度、パニ
ングとチルトのみで可能となる。Next, a sixth embodiment will be described. FIG.
FIG. 14 is a diagram showing a basic principle of the sixth embodiment. In general, a consumer camera often takes a picture while keeping the camera horizontal, but in this case, it is possible only with horizontal and vertical angles, panning and tilt.
【００６１】この第６の実施の形態では、カメラの視点
Ｑをできるだけ変えないで、方位φとψのみを計測しな
がら、Ｇ１（θ１、Δθ１、ψ１、Δψ１）、Ｇ２（θ
２、Δθ２、ψ２、Δψ２）、Ｇ３（θ３、Δθ３、ψ
３、Δψ３）、Ｇ４（θ４、Δθ４、ψ４、Δψ４）、
Ｇ５（θ５、Δθ５、ψ５、Δψ５）の画像を撮影す
る。このとき、先に説明した第１の実施の形態と同様
に、画像情報、チルト方向の画角情報Δθ、Δψ、チル
トの方向情報θ、ψ、を計測し、画像メモリ１３に記録
する。In the sixth embodiment, G1 (θ1, Δθ1, Δ1, Δψ1) and G2 (θ) are measured while measuring only the azimuths φ and ψ without changing the viewpoint Q of the camera as much as possible.
2, Δθ2, ψ2, Δψ2), G3 (θ3, Δθ3, ψ
3, Δψ3), G4 (θ4, Δθ4, ψ4, Δψ4),
An image of G5 (θ5, Δθ5, ψ5, Δψ5) is taken. At this time, similarly to the first embodiment described above, the image information, tilt angle of view information Δθ, Δψ, and tilt direction information θ, ψ are measured and recorded in the image memory 13.
【００６２】第６の実施の形態によれば、方位センサの
数が少なくなり、低コスト化を実現することができる。
次に第７の実施の形態を説明する。According to the sixth embodiment, the number of direction sensors is reduced, and cost reduction can be realized.
Next, a seventh embodiment will be described.
【００６３】図１４乃至図１６は、第７の実施の形態の
基本原理を示す図である。一般に民生カメラでは、低コ
スト化が要請される事に鑑み、本実施の形態では、方位
センサに換えて地磁気センサを採用することとした。FIGS. 14 to 16 show the basic principle of the seventh embodiment. Generally, in the consumer camera, in view of the demand for cost reduction, in the present embodiment, a geomagnetic sensor is used instead of the direction sensor.
【００６４】この地磁気センサにより、図１４（ａ）に
示される地磁気ベクトルＭのカメラ固定座標（ｘ、ｙ、
ｚ）の各方位成分を計測する。さらに、図１４（ｂ）に
示されるように、上記座標のｘ成分を計測する為に、コ
イルをｘ軸に垂直に配置し、Ｍｘを計測するようにして
いる。With this geomagnetic sensor, the camera fixed coordinates (x, y, x) of the geomagnetic vector M shown in FIG.
Measure each azimuth component of z). Further, as shown in FIG. 14B, in order to measure the x component of the coordinates, a coil is arranged perpendicular to the x axis, and Mx is measured.
【００６５】一方、図１５に示す構成では、ｘ成分とｙ
成分を計測する為に、コイルをｘ軸とｙ軸に垂直に配置
し、地磁気ベクトルＭｘ、Ｍｙを計測する。更に、図１
６に示す構成では、ｘ、ｙ、ｚの全ての成分を計測する
為にコイルをｘ、ｙ、ｚ軸に垂直に配置し、地磁気ベク
トルＭｘ、Ｍｙ、Ｍｚを計測する。On the other hand, in the configuration shown in FIG.
In order to measure the components, the coils are arranged perpendicularly to the x-axis and the y-axis, and the geomagnetic vectors Mx and My are measured. Further, FIG.
In the configuration shown in FIG. 6, coils are arranged perpendicular to the x, y, and z axes to measure all components of x, y, and z, and the geomagnetic vectors Mx, My, and Mz are measured.
【００６６】第７の実施の形態によれば、絶対方位は地
球上の場所によって変わるが、必ずしも方位の絶対座標
を求めなくても良こととなる。つまり、相対的な座標を
使って画像合成をすることができる。According to the seventh embodiment, although the absolute azimuth changes depending on the location on the earth, it is not always necessary to find the absolute coordinates of the azimuth. That is, image synthesis can be performed using relative coordinates.
【００６７】次に第８の実施の形態を説明する。図１７
に第８の実施例を示す。一般に民生カメラでは、低コス
ト化と同時に超小型化が要求されることに鑑み、この第
８の実施の形態では、方位センサに換えて、半導体プロ
セスを用いて作成した地磁気センサを採用することとし
た。Next, an eighth embodiment will be described. FIG.
An eighth embodiment is shown in FIG. In general, considering that consumer cameras require ultra-miniaturization at the same time as cost reduction, in the eighth embodiment, a geomagnetic sensor made by using a semiconductor process is used instead of the direction sensor. did.
【００６８】図１７には上記磁気抵抗素子を用いた構成
を示す。同図において、磁気抵抗センサには、図示のよ
うに半導体プロセスで構成可能な超薄膜磁性体を用い
る。そして、当該超薄膜磁性体を流れる電流成分が、磁
気ベクトルによって変調される効果を採用する。この例
では、ｘ軸であるが、２軸でも３軸でも良いことは勿論
である。更に、絶対方位は地球上の場所によって変わる
が必ずしも、方位の絶対座標を求めなくても良い。FIG. 17 shows a configuration using the above-described magnetoresistive element. In the figure, an ultra-thin magnetic material which can be formed by a semiconductor process as shown is used for the magnetoresistive sensor. Then, the effect that the current component flowing through the ultra-thin magnetic material is modulated by the magnetic vector is adopted. In this example, the x-axis is used, but it goes without saying that two or three axes may be used. Further, although the absolute azimuth varies depending on the location on the earth, the absolute coordinates of the azimuth need not always be obtained.
【００６９】この第８の実施の形態によれば、相対的な
座標を使って画像合成することができる。次に第９の実
施の形態を説明する。According to the eighth embodiment, images can be synthesized using relative coordinates. Next, a ninth embodiment will be described.
【００７０】図１８は第９の実施の形態の基本原理を示
す図である。一般に民生カメラでは、低コスト化と共に
高速応答性が要求される場合があることに鑑み、この第
９の実施の形態では、方位センサに換えて、振動ジャイ
ロの如き加速度センサを用いる構成としている。また、
絶対座標は必要でない場合も多いことに鑑み、方位の絶
対座標を求めなくても良い構成としている。FIG. 18 shows the basic principle of the ninth embodiment. In general, consumer cameras require an acceleration sensor such as a vibrating gyroscope in place of the azimuth sensor in view of the fact that high-speed response may be required in addition to cost reduction. Also,
In view of the fact that there are many cases where absolute coordinates are not required, the configuration is such that it is not necessary to obtain the absolute coordinates of the azimuth.
【００７１】むしろ、高速応答を実現するために、図１
８に示すように圧電型の振動ジャイロを採用している。
ここでは、地磁気センサも信頼度を高めるために使用し
たが、無くても良ことは勿論である。また、この例では
３軸であるが、２軸でも１軸でも良い。更に、より信頼
性を向上させる為に重力の加速度を計測しても良いこと
は勿論である。Rather, in order to realize a high-speed response, FIG.
As shown in FIG. 8, a piezoelectric vibrating gyroscope is employed.
Here, the geomagnetic sensor was also used to increase the reliability, but it is needless to say that it is not necessary. In this example, three axes are used, but two axes or one axis may be used. Further, it goes without saying that the acceleration of gravity may be measured in order to further improve the reliability.
【００７２】次に第１０の実施の形態を説明する。図１
９は第１０の実施の形態の基本原理を示す図である。一
般に民生カメラでは、低コスト化が要求される場合があ
ることに鑑み、中央演算装置に低価格のものを使用する
場合がある。この場合は、先に示した図３のような画素
間の相関を取って最適化し、２枚の絵で最も画像が合致
する様に座標変換を行う事が困難な場合がある。Next, a tenth embodiment will be described. FIG.
FIG. 9 shows the basic principle of the tenth embodiment. In general, low cost cameras are sometimes used for the central processing unit in consideration of the fact that consumer cameras may be required to be reduced in cost. In this case, it may be difficult to optimize by taking the correlation between the pixels as shown in FIG. 3 as described above, and to perform the coordinate conversion so that the images match the two pictures most.
【００７３】この第１０の実施の形態では、最適化処理
を行わないで、方位情報と画角情報で張り合わせの位置
を決める。そして、重複画像の中心（重心）も張り合わ
せ点にすることとしている。In the tenth embodiment, the position of the bonding is determined based on the azimuth information and the angle-of-view information without performing the optimization processing. Then, the center (center of gravity) of the overlapped image is also set as a bonding point.
【００７４】次に第１１の実施の形態を説明する。図２
０は第１１の実施の形態の基本構成を示す概念図であ
る。前述した各実施の形態は、パノラマ画像や３６０度
画像、全天周型画像、実写を用いた仮想現実空間等を形
成可能であるが、良い表示装置が無い。Next, an eleventh embodiment will be described. FIG.
0 is a conceptual diagram showing a basic configuration of the eleventh embodiment. Each of the above-described embodiments can form a panoramic image, a 360-degree image, an all-sky image, a virtual reality space using a real image, and the like, but there is no good display device.
【００７５】この第１１の実施の形態は、この課題を解
決するものである。即ち、頭部座標を検出可能な姿勢セ
ンサを組み込んだＦＭＤ（フェースマウントデスプレ
イ）やＨＭＤ（頭部装着表示装置）又は眼鏡型表示装置
を用いる。この場合は、直接電子カメラ１に接続しても
良いし、ＰＣを介しても良い。姿勢センサで観察者の目
の方向を（頭の方向）検出し表示する。これにより、作
成した大画面のうちの一部を見ることが可能となる。The eleventh embodiment solves this problem. That is, an FMD (face mount display), an HMD (head mounted display device), or a spectacle type display device incorporating a posture sensor capable of detecting the head coordinates is used. In this case, it may be directly connected to the electronic camera 1 or via a PC. The direction of the observer's eyes (head direction) is detected and displayed by the posture sensor. Thereby, it is possible to see a part of the created large screen.
【００７６】次に第１２の実施の形態を説明する。図２
１は第１２の実施の形態の基本構成を示す外観図であ
る。先に第１の実施の形態で、画角情報を使用するレン
ズから計算によって割出すことを述べたが、ズームレン
ズ６０を使用する場合はズームのワイドとテレのスイッ
チやボリュームスイッチ６１でズームレンズのアクチュ
エータを動作させる。この第１２の実施の形態では、こ
のボリュームスイッチ６１の信号量によって、画角を計
算するか、ルックアップテーブル等によって計算する。Next, a twelfth embodiment will be described. FIG.
FIG. 1 is an external view showing a basic configuration of a twelfth embodiment. In the first embodiment, the calculation of the angle of view information from the lens using the angle of view information has been described. However, when the zoom lens 60 is used, the zoom wide / tele switch and the volume switch 61 are used for the zoom lens. Actuator is operated. In the twelfth embodiment, the angle of view is calculated based on the signal amount of the volume switch 61, or is calculated using a look-up table or the like.
【００７７】次に第１３の実施の形態を説明する。図２
２は第１３の実施の形態の基本構成を示す図である。先
に第１の実施の形態で、画角情報を使用するレンズから
計算によって割出すことを述べたが、この計算は、ズー
ムレンズ６０を使用する場合は、ズームのワイドとテレ
のスイッチやヴォリウムでズームレンズのアクチュエー
タを動作させるが、このスイッチ等の指示の値と、実際
のズームレンズの動きが微妙にずれる場合がある。通常
は、このずれは、電源ＯＮ時に解消されるが、長時間使
用していると、誤差が蓄積される。この第１３の実施の
形態では、ズームレンズのアクチュエータの実動６３
や、レンズの位置６２を計測し、その計測量によって、
画角を計算するか、ルックアップテーブル等によって計
算する。Next, a thirteenth embodiment will be described. FIG.
FIG. 2 shows a basic configuration of the thirteenth embodiment. In the first embodiment, the calculation of the angle of view from the lens using the angle-of-view information has been described. However, when the zoom lens 60 is used, the zoom wide / tele switch or the volume control is used. , The actuator of the zoom lens is operated. However, the value of the instruction of the switch or the like may slightly deviate from the actual movement of the zoom lens. Normally, this deviation is eliminated when the power is turned on, but if the device is used for a long time, errors accumulate. In the thirteenth embodiment, the actual operation 63 of the zoom lens actuator is performed.
And the lens position 62 is measured, and the measured amount
The angle of view is calculated, or calculated using a look-up table or the like.
【００７８】次に第１４の実施の形態を説明する。特に
図示はしないが、先に説明した第１の実施の形態では、
画像の関連付けに関係付けＳＷ１７を用いたが、通常は
一連の画像は電源を入れて一度に撮る場合が多い。この
第１４の実施の形態では、電源を入れた後は、関連があ
るとして順番にメモリに蓄積するように構成することと
した。Next, a fourteenth embodiment will be described. Although not particularly shown, in the first embodiment described above,
Although the association SW 17 is used for image association, a series of images are usually taken at once with the power turned on. In the fourteenth embodiment, after the power is turned on, it is determined that there is a relation and the data is stored in the memory in order.
【００７９】次に第１５の実施の形態を説明する。図２
３は第１５の実施の形態の構成を示す図である。先に説
明した第１乃至第１４の実施の形態では、方位情報のみ
で位置は問題視しなかったが、カメラの位置が正確に判
るとより多くの情報が得られる。複数の衛星を用いたＧ
ＰＳ（グローバルポジションセンサ：ＧＰＳアンテナ６
４、計測装置６５）を用いると、極めて正確に経度と緯
度情報が分かり、撮影場所の位置が判る。これで、地図
上の位置と、カメラの方位が判る。Next, a fifteenth embodiment will be described. FIG.
FIG. 3 shows a configuration of the fifteenth embodiment. In the first to fourteenth embodiments described above, the position is not regarded as a problem only with the azimuth information, but more information can be obtained when the position of the camera is accurately known. G using multiple satellites
PS (Global position sensor: GPS antenna 6)
4. If the measuring device 65) is used, the longitude and latitude information can be known very accurately, and the position of the shooting location can be known. With this, the position on the map and the direction of the camera can be determined.
【００８０】この第１５の実施の形態では、ＰＣやカメ
ラがその地図情報を有している場合に、地図内の位置と
方位を地図情報の中に重ね合わせて表示する。また、そ
の地名や方位から見える場所を表示する。また、ナビゲ
ーションも可能とする。In the fifteenth embodiment, when the PC or camera has the map information, the position and the azimuth in the map are displayed so as to be superimposed on the map information. In addition, a place that can be seen from the place name and the direction is displayed. Navigation is also possible.
【００８１】尚、図２３（ｂ）には、取込んだ画像６６
と、地図情報６７と自己の位置６８と、その画像の方位
６９をそれぞれ示す。以上、本発明の実施の形態につい
て説明したが、本発明はこれに限定されることなく、そ
の趣旨を逸脱しない範囲で種々の改良・変更が可能であ
ることは勿論である。例えば、画像に方位・画角の情報
を関連付ける方法としては、この情報を画像データの一
部に含ませる、画像データのインデックス部に含ませ
る、ディレクトリの中に入れる、別ファイルとして画像
データとの間にリンクを貼る等の手法を採用することが
できる。FIG. 23B shows the captured image 66.
, Map information 67, own position 68, and azimuth 69 of the image. Although the embodiment of the present invention has been described above, the present invention is not limited to this, and it is needless to say that various improvements and modifications can be made without departing from the gist of the present invention. For example, as a method of associating the information of the azimuth and the angle of view with an image, this information is included in a part of the image data, included in an index part of the image data, put in a directory, and as a separate file with the image data. A technique such as putting a link between them can be adopted.
【００８２】尚、本発明の要旨をまとめると以下のよう
になる。 １．撮像した画像を電子的に記録する電子カメラにおい
て、電子カメラの撮像方位を検出する撮像方位検出手段
と、電子カメラの撮像画角を出力する撮像画角出力手段
と、撮像した画像を記録する際に、撮像時の撮像方位と
撮像画角を上記画像に関連づけて記録する記録手段と、
を具備することを特徴とする電子カメラ。The summary of the present invention is as follows. 1. In an electronic camera that electronically records a captured image, an imaging azimuth detecting unit that detects an imaging azimuth of the electronic camera, an imaging angle output unit that outputs an imaging angle of view of the electronic camera, and a recording unit that records the captured image. Recording means for recording the imaging direction and angle of view at the time of imaging in association with the image,
An electronic camera comprising:
【００８３】この態様によれば、撮像方位情報と撮像画
角情報に基づいて、複数の画像を合成して、より画角の
広い画像がえられる。即ち、電子カメラから画像を取込
み際に、カメラのレンズ光軸及び撮像面の法線方向の方
位情報と、撮像面に取込まれる画角情報を計測して記録
することによって、その方位を表示したり、パノラマや
大画面映像、カメラが取込み仮想現実空間を正確に自動
で作成することが可能となる。According to this aspect, a plurality of images are synthesized based on the imaging azimuth information and the imaging angle-of-view information to obtain an image having a wider angle of view. That is, when capturing an image from an electronic camera, the azimuth information is displayed by measuring and recording azimuth information of the camera's lens optical axis and the normal direction of the imaging surface, and angle-of-view information captured on the imaging surface. Or a panorama, a large screen image, or a camera, and the virtual reality space can be accurately and automatically created.
【００８４】２．上記記録手段は、複数の所望の画像ど
うしを関連づける情報である画像関連情報もさらに記録
可能であることを特徴とする付記１記載の電子カメラ。
この態様によれば、どの画像どうしを合成するかが、画
像関連情報に示されているので、画像合成処理を自動化
できる。即ち、電子カメラから画像を取込み際に、カメ
ラのレンズ光軸及び撮像面の法線方向の方位情報と、撮
像面に取込まれる画角情報を計測して記録し、更に相関
のある幾つかのまとまった映像の関連付けをすること
で、その関連性を方位と一緒に表示したり、パノラマや
大画面映像、カメラが取込み仮想現実空間を正確に自動
作成することが可能となる。2. 2. The electronic camera according to claim 1, wherein the recording unit can further record image-related information that is information relating a plurality of desired images.
According to this aspect, since the images to be combined are indicated in the image-related information, the image combining process can be automated. That is, when an image is captured from an electronic camera, the azimuth information of the camera's lens optical axis and the normal direction of the imaging surface, and the angle of view information captured on the imaging surface are measured and recorded. By associating a set of videos, it is possible to display the relationship together with the azimuth and to automatically create a virtual reality space by capturing a panorama, a large-screen video, or a camera.
【００８５】３．上記撮像方位検出手段は、電子カメラ
の撮像方位に垂直な１方位の方位のみ検出可能であるこ
とを特徴とする付記１記載の電子カメラ。この態様によ
れば、パノラマ写真等で、１方位にのみ広画角の画像の
ニーズがある点に鑑み、１方位のみ画像の合成をするよ
うに機能を絞りこむことにより、装置の簡易化・低価格
化がはかれる。即ち、カメラのレンズ光軸及び撮像面の
法線方向の方位情報として、単一センサで地上平面での
回転のみによって極めて安価で、信頼性のある方法によ
って、その方位を表示したり、パノラマや大画面映像、
カメラが取込み仮想現実空間を正確に自動作成すること
が可能となる。3. 2. The electronic camera according to claim 1, wherein the imaging azimuth detecting means can detect only one azimuth perpendicular to the imaging azimuth of the electronic camera. According to this aspect, in view of the need for an image having a wide angle of view only in one direction in a panoramic photograph or the like, the function is narrowed down so as to synthesize an image in only one direction, thereby simplifying the apparatus. The price will be reduced. That is, as the orientation information of the camera lens optical axis and the normal direction of the imaging surface, the orientation can be displayed by a single sensor only by rotating on the ground plane, in a very inexpensive and reliable method, and the panorama or panorama can be displayed. Large screen video,
It becomes possible for a camera to automatically and accurately create a captured virtual reality space.
【００８６】４．上記撮像方位検出手段は、電子カメラ
の撮像方位に垂直な第１の方位と、電子カメラの撮像方
位に垂直でかつ第１の方位にも垂直な第２の方位の、２
方位のみ検出可能であることを特徴とする付記１記載の
電子カメラ。[0086] 4. The imaging azimuth detecting means includes: a first azimuth perpendicular to the imaging azimuth of the electronic camera; and a second azimuth perpendicular to the imaging azimuth of the electronic camera and perpendicular to the first azimuth.
2. The electronic camera according to claim 1, wherein only the azimuth can be detected.
【００８７】この態様によれば、電子カメラを傾けた場
合の処理を外して、装置の簡易化・低価格化が図れる。
即ち、カメラのレンズ光軸及び撮像面の法線方向の方位
情報として、２つセンサで地上平面での回転と地平面か
らの高さの２つを計測することによって比較的安価で、
信頼性のある方法によって、十分な方位を表示したり、
パノラマや大画面映像、カメラが取込み仮想現実空間を
正確に自動で作成することが可能となる。According to this aspect, the processing when the electronic camera is tilted is omitted, and the apparatus can be simplified and the price can be reduced.
That is, as the azimuth information of the camera lens optical axis and the normal direction of the imaging surface, two sensors are used to measure the rotation on the ground plane and the height from the ground plane, so that it is relatively inexpensive.
In a reliable way, you can view enough bearings,
Panorama, large-screen video, and cameras can capture and automatically create a virtual reality space accurately and automatically.
【００８８】５．上記撮像方位検出手段は、電子カメラ
の撮像方位に垂直な第１の方位と、電子カメラの撮像方
位に垂直でかつ第１の方位にも垂直な第２の方位の２方
位と、電子カメラの撮像方位を中心とする傾きの方位
の、３方位を検出可能であることを特徴とする付記１記
載の電子カメラ。5. The imaging azimuth detecting means includes a first azimuth perpendicular to the imaging azimuth of the electronic camera, a second azimuth perpendicular to the imaging azimuth of the electronic camera, and a second azimuth perpendicular to the first azimuth. 3. The electronic camera according to claim 1, wherein three azimuths of a tilt azimuth centered on the imaging azimuth can be detected.
【００８９】この態様によれば、あらゆる撮像方位に対
して対応可能である。即ち、カメラのレンズ光軸及び撮
像面の法線方向の方位情報として、３つセンサで地上平
面での回転と地平面からの高さとカメラの水平方向から
の傾きの３つを計測することによって、信頼性のある方
法によって、完全な方位を表示したり、パノラマや大画
面映像、カメラが取込み仮想現実空間を正確に自動作成
することが可能となる。According to this aspect, it is possible to deal with any imaging orientation. That is, three sensors are used to measure the rotation on the ground plane, the height from the ground plane, and the inclination of the camera from the horizontal direction by using three sensors as azimuth information of the camera lens optical axis and the normal direction of the imaging surface. By using a reliable method, it is possible to display a complete azimuth, capture a panorama, a large-screen image, or a camera, and accurately and automatically create a virtual reality space.
【００９０】６．上記撮像方位検出手段は、複数の画像
を撮像する場合において、上記複数の画像のうち１つの
画像を基準として方位を検出することを特徴とする付記
１記載の電子カメラ。6. 2. The electronic camera according to claim 1, wherein the imaging azimuth detecting means detects an azimuth based on one of the plurality of images when capturing a plurality of images.
【００９１】この態様によれば、合成の演算量が少なく
することができる。 ７．上記撮像方位検出手段の検出する方位は、水平方位
・垂直方位・電子カメラの傾きの方位のうち何れか１つ
の方位であることを特徴とする付記６記載の電子カメ
ラ。According to this aspect, the amount of calculation for synthesis can be reduced. 7. 7. The electronic camera according to claim 6, wherein the azimuth detected by the imaging azimuth detecting means is any one of a horizontal azimuth, a vertical azimuth, and a tilt of the electronic camera.
【００９２】この態様によれば、装置の構成を簡易化で
きる。即ち、例えば水平方位のみを検出する場合は、カ
メラのレンズ光軸及び撮像面の法線方向の方位情報とし
て、地上面を平面とし、その法線を回転軸とした水平方
向を相対的に計測可能なセンサを用いることによって、
安価で信頼性のある方法によって、パノラマや大画面映
像、カメラが取込み仮想現実空間を正確に自動で作成す
ることが可能となる。According to this aspect, the configuration of the apparatus can be simplified. That is, for example, when detecting only the horizontal azimuth, as the azimuth information of the camera lens optical axis and the normal direction of the imaging surface, the horizontal direction with the ground surface as a plane and the normal as the rotation axis is relatively measured. By using possible sensors,
Inexpensive and reliable methods allow panoramic, large-screen video, and cameras to capture and create virtual reality spaces accurately and automatically.
【００９３】８．上記画像関連情報は、外部入力装置か
らの入力によって設定されることを特徴とする付記２記
載の電子カメラ。この態様によれば、画像関連情報をボ
タンやマウス等を使用して簡単に指定できる。即ち、１
つのパノラマや大画面映像、カメラが取込み仮想現実空
間を複数の映像を用いて再現する場合に、そのまとまっ
た関連のある映像群をレンズと撮像素子を含む本体に取
り付けられたスイッチ、ボタン、タッチパネル、マウ
ス、音声、音声認識結果等によって、最初の映像と最後
の映像を指定し、まとまった画像を関連付けすることに
よって、全体システムとして極めて安価でかつ最大の信
頼性のある方法によって、パノラマや大画面映像、カメ
ラが取込み仮想現実空間を正確に自動で作成することが
可能となる。8. 3. The electronic camera according to claim 2, wherein the image-related information is set by an input from an external input device. According to this aspect, the image-related information can be easily specified using a button, a mouse, or the like. That is, 1
When a panorama, a large-screen image, or a camera captures and reproduces a virtual reality space using multiple images, switches, buttons, and a touch panel attached to the main unit that includes the lens and image sensor are used to group the related images together. By specifying the first video and the last video with the mouse, voice, voice recognition results, etc., and associating a set of images, the panorama and large video can be displayed in an extremely inexpensive and maximum reliable way as a whole system. Screen images and cameras can be captured and automatically create a virtual reality space accurately and automatically.
【００９４】９．上記画像関連情報は、装置に電源投入
後最初に撮像された画像から、電源切断の直前に撮像さ
れた画像までが関連付けられていることを特徴とする付
記２記載の電子カメラ。9. 3. The electronic camera according to claim 2, wherein the image-related information is associated with an image captured first after power-on of the apparatus to an image captured immediately before power-off.
【００９５】この態様によれば、画像合成の対象となる
複数の画像は、電源投入から切断の間にとる全画像であ
ることが多いが、この点を仕様とすることで、不要なボ
タン等の部品を省ける。即ち、１つのパノラマや大画面
映像、カメラが取込み仮想現実空間を複数の映像を用い
て再現する場合に、そのまとまった関連のある映像群を
レンズと撮像素子を含む本体に取り付けられたスイッ
チ、ボタン、タッチパネル、マウス、音声、音声認識結
果等によって、電源をオンしたときに最初の映像を指定
し、電源をオフにした時に最後の映像を指定し、まとま
った画像を関連付けすることによって、全体システムと
して極めて安価でかつ最大の信頼性のある方法によっ
て、パノラマや大画面映像、カメラが取込み仮想現実空
間を正確に自動で作成することが可能となる。According to this aspect, the plurality of images to be image-combined are all images that are often taken between the time when the power is turned on and the time when the power is turned off. Parts can be omitted. That is, a single panorama or a large-screen image, when a camera captures and reproduces a virtual reality space using a plurality of images, a group of related images is connected to a switch attached to a main body including a lens and an image sensor, By specifying the first video when the power is turned on and the last video when the power is turned off by using buttons, touch panel, mouse, voice, voice recognition result, etc. By using a method that is extremely inexpensive and has the maximum reliability as a system, it is possible to automatically create a virtual reality space by capturing a panorama, a large-screen image, and a camera.
【００９６】１０．上記画像関連情報は、所望の画像か
ら所定の時間内に撮影された複数の画像が関連付けられ
ていることを特徴する付記２記載の電子カメラ。この態
様によれば、撮像時刻が近い画像を合成の対象とするこ
とで、不要なボタン等の部品を省ける。即ち、１つのパ
ノラマや大画面映像、カメラが取込み仮想現実空間を複
数の映像を用いて再現する場合に、そのまとまった関連
のある映像群を最初に撮影された映像から、一定時間内
で撮影された映像をまとまった画像を関連付けすること
によって、全体システムとして極めて安価でかつ簡易的
な方法によって、パノラマや大画面映像、カメラが取込
み仮想現実空間を正確に自動で作成することが可能とな
る。10. 3. The electronic camera according to claim 2, wherein the image-related information is associated with a plurality of images taken within a predetermined time from a desired image. According to this aspect, unnecessary components such as buttons can be omitted by setting an image whose imaging time is close to an object to be synthesized. That is, when a single panorama, a large-screen image, or a camera captures and reproduces a virtual reality space using a plurality of images, a group of related images is captured within a certain period of time from the first captured image. By associating the captured image with a group of images, it becomes possible to automatically and accurately create a virtual reality space captured by a panorama, a large screen image, and a camera by an extremely inexpensive and simple method as a whole system. .
【００９７】１１．上記撮像方位検出手段は、地磁気セ
ンサーより構成されることを特徴とする付記１記載の電
子カメラ。この態様によれば、装置を安価に構成でき
る。即ち、地磁気ベクトルは、地球上で人類が活動する
殆どの領域において、明確に決定されているため、全体
システムとして極めて安価でかつ簡易的な方法によっ
て、方位を表示したり、パノラマや大画面映像、カメラ
が取込み仮想現実空間を正確に自動で作成することが可
能となる。11. 2. The electronic camera according to claim 1, wherein the imaging azimuth detecting means includes a geomagnetic sensor. According to this aspect, the device can be configured at low cost. That is, since the geomagnetic vector is clearly determined in most of the region where human beings are active on the earth, the azimuth can be displayed by a very inexpensive and simple method as a whole system, and the panorama or large-screen image can be displayed. Then, the camera can capture and automatically create a virtual reality space accurately and automatically.
【００９８】１２．上記地磁気センサーは磁気抵抗素子
より構成されることを特徴とする付記１１記載の電子カ
メラ。この態様によれば、装置の小型化も可能である。
即ち、磁気抵抗は定電流で駆動された磁性薄膜の両端に
誘起される微少電圧を測定するものであるが、半導体プ
ロセスを用いて制作可能なため、低コストで大量に生産
可能である。全体システムとして極めて安価でかつ簡易
的な方法によって、方位を表示したり、パノラマや大画
面映像、カメラが取込み仮想現実空間を正確に自動で作
成することが可能となる。12. 12. The electronic camera according to claim 11, wherein the geomagnetic sensor comprises a magnetoresistive element. According to this aspect, the size of the device can be reduced.
That is, the magnetoresistance measures a minute voltage induced at both ends of a magnetic thin film driven by a constant current. However, since it can be manufactured using a semiconductor process, it can be mass-produced at low cost. The orientation can be displayed, a panorama, a large-screen image, and a camera can be taken in automatically and the virtual reality space can be accurately and automatically created by an extremely inexpensive and simple method as a whole system.
【００９９】１３．上記撮像方位検出手段は、さらに重
力の加速度センサーを含むことを特徴とする付記１１か
ら１２に記載の電子カメラ。この態様によれば、測定の
精度が向上する。即ち、地磁気ベクトルを用いる方法は
構成が極めて簡単であるが、電磁波の影響を受けやすい
ことや、信号対雑音比が小さいため、精度を高めようと
すると、測定に時間がかかり、早い運動について行けな
い可能性がある。また、地磁気ベクトルの周りの角度は
測定できないと言う問題もある。このため重力ベクトル
を加速度センサ等によって計測することによって、高い
信頼性をもって計測でき、方位を表示したり、パノラマ
や大画面映像、カメラが取込み仮想現実空間を正確に自
動で作成することが可能となる。13. 13. The electronic camera according to claims 11 to 12, wherein the imaging azimuth detecting means further includes a gravitational acceleration sensor. According to this aspect, the accuracy of the measurement is improved. In other words, the method using the geomagnetic vector has a very simple structure, but is susceptible to electromagnetic waves and has a low signal-to-noise ratio. May not be. There is also a problem that the angle around the geomagnetic vector cannot be measured. For this reason, by measuring the gravity vector with an acceleration sensor etc., it is possible to measure with high reliability, display the azimuth, capture the panorama, large screen image, camera, and create the virtual reality space accurately and automatically. Become.
【０１００】１４．上記画像方位検出手段は、加速度セ
ンサーを含むことを特徴とする付記１１から１２に記載
の電子カメラ。この態様によれば、地磁気ベクトルを用
いる方法は構成が極めて簡単であるが、電磁波の影響を
受けやすいことや、信号対雑音比が小さいため、精度を
高めようとすると、測定に時間がかかり、早い運動につ
いて行けない可能性がある。また地磁気ベクトルの周り
の角度は測定できないと言う問題もある。このため加速
度センサー等によって計測することによって、高い信頼
性をもって計測でき、方位を表示したり、パノラマや大
画面映像、カメラが取込み仮想現実空間を正確に自動で
作成することが可能となる。14. 13. The electronic camera according to any one of supplementary notes 11 to 12, wherein the image orientation detecting means includes an acceleration sensor. According to this aspect, the method using the geomagnetic vector has a very simple configuration, but is susceptible to electromagnetic waves and has a small signal-to-noise ratio. You may not be able to follow fast exercise. There is also a problem that the angle around the geomagnetic vector cannot be measured. For this reason, by measuring with an acceleration sensor or the like, measurement can be performed with high reliability, and it is possible to display a direction, take a panorama, a large-screen image, or a camera, and accurately and automatically create a virtual reality space.
【０１０１】１５．上記画像方位検出手段は、ＧＰＳに
より経度及び緯度を計測可能であることを特徴とする付
記１１から１２に記載の電子カメラ。この態様によれ
ば、地磁気ベクトルを用いる方法は構成が極めて簡単で
あるが、その絶対位置は不明であるし、地磁気ベクトル
回りの回転ベクトルは計測できない。この為、絶対位置
を計測するＧＰＳを用いる。また地球表面上の経度、緯
度が判るため、地磁気ベクトルと組み合わせると精度が
あがる。このためＧＰＳによって位置、経度、緯度を計
測することによって、高い信頼性をもって計測でき、方
位を表示したり、パノラマや大画面映像、地図上での位
置の特定、カメラが取込み仮想現実空間を正確に自動で
作成することが可能となる。15. The electronic camera according to any one of supplementary notes 11 to 12, wherein the image azimuth detecting means can measure longitude and latitude by GPS. According to this aspect, the method using the geomagnetic vector has a very simple configuration, but its absolute position is unknown, and a rotation vector around the geomagnetic vector cannot be measured. For this reason, GPS for measuring the absolute position is used. Also, since the longitude and latitude on the earth's surface can be determined, the accuracy will be improved when combined with geomagnetic vectors. Therefore, by measuring the position, longitude and latitude by GPS, it can be measured with high reliability, displaying the azimuth, specifying the position on the panorama or large screen image, the position on the map, capturing the virtual reality space with the camera Can be created automatically.
【０１０２】１６．上記撮像画角出力手段の出力する撮
像画角は、少なくとも撮像系の倍率および撮像素子の撮
像面の大きさを勘案して決定されることを特徴とする付
記１または２記載の電子カメラ。16. 3. The electronic camera according to claim 1, wherein the imaging angle of view output from the imaging angle of view output means is determined in consideration of at least a magnification of an imaging system and a size of an imaging surface of the imaging device.
【０１０３】この態様によれば、以下の効果が奏され
る。複数の画像から自動で大画面合成をする場合は、レ
ンズの方位と画角情報が必要であるが、画角情報はレン
ズの倍率又は焦点距離、また撮像素子の画素の大きさ等
の情報が必要である。固定焦点のレンズを使用する場合
は、カメラ固有の固定定数を用いる。これによって、高
い信頼性をもって画角が決まり、方位を表示したり、パ
ノラマや大画面映像、カメラが取込み仮想現実空間を正
確に自動で作成することが可能となる。また交換可能な
レンズを用いる場合もその定数を変えることで対応でき
る。According to this embodiment, the following effects can be obtained. To automatically compose a large screen from multiple images, lens orientation and angle of view information are required. The angle of view information includes information such as the magnification or focal length of the lens and the size of the pixel of the image sensor. is necessary. When a fixed focus lens is used, a fixed constant specific to the camera is used. As a result, the angle of view is determined with high reliability, the azimuth can be displayed, and a panorama, a large-screen image, and a camera can be accurately captured and automatically created. Also, when an interchangeable lens is used, it can be dealt with by changing the constant.
【０１０４】１７．上記電子カメラは撮像系にズームレ
ンズを含み、上記撮像画角出力手段の出力する撮像画角
は、少なくとも上記ズームレンズの撮像時の倍率および
撮像素子の撮像面の大きさを勘案して決定されることを
特徴とする付記１または２記載の電子カメラ。17. The electronic camera includes a zoom lens in an imaging system, and an imaging angle of view output from the imaging angle of view output unit is determined in consideration of at least a magnification at the time of imaging by the zoom lens and a size of an imaging surface of an imaging element. 3. The electronic camera according to claim 1 or 2, wherein
【０１０５】この態様によれば、以下の効果が奏され
る。複数の画像から自動で大画面合成をする場合は、レ
ンズの方位と画角情報が必要であるが、画角情報はレン
ズの倍率又は焦点距離、また撮像素子の画素の大きさ等
の情報が必要である。ズームレンズを搭載したカメラを
使用する場合は、搭載するズームレンズを操作する倍率
情報を用いて、使用するレンズの倍率、（又は焦点距
離）撮像素子の全素子面積で決まる変数を計算、または
ルックアップテーブルを用いる手段を用いた固定定数を
用いる。これによって高い信頼性をもって画角が決ま
り、方位を表示したり、パノラマや大画面映像、カメラ
が取込み仮想現実空間を正確に自動で作成することが可
能となる。According to this embodiment, the following effects can be obtained. To automatically compose a large screen from multiple images, lens orientation and angle of view information are required. The angle of view information includes information such as the magnification or focal length of the lens and the size of the pixel of the image sensor. is necessary. When using a camera equipped with a zoom lens, using the magnification information for operating the mounted zoom lens, calculate the variable determined by the magnification of the lens to be used (or the focal length) and the total element area of the image sensor, or look up A fixed constant using a means using an up table is used. As a result, the angle of view is determined with high reliability, and it is possible to display the azimuth, capture a panorama, a large-screen image, or a camera, and create a virtual reality space accurately and automatically.
【０１０６】１８．上記ズームレンズの倍率は、上記ズ
ームレンズの構成レンズの位置情報または上記のズーム
レンズに伴うレンズの回転情報に基づいて決定されるこ
とを特徴とする付記１７記載の電子カメラ。18. 18. The electronic camera according to claim 17, wherein the magnification of the zoom lens is determined based on position information of a constituent lens of the zoom lens or rotation information of the lens accompanying the zoom lens.
【０１０７】この態様によれば、以下の効果が奏され
る。複数の画像から自動で大画面合成をする場合は、レ
ンズの方位と画角情報が必要であるが、画角情報はレン
ズの倍率又は焦点距離、また撮像素子の画素の大きさ等
の情報が必要である。ズームレンズを搭載したカメラを
使用する場合は、画角情報は搭載するズームレンズの単
数、または複数の構成レンズの位置情報、または回転情
報を用いて、倍率や焦点距離を算出し、撮像素子の全素
子面積で決まる変数を計算、またはルックアップテーブ
ルを用いる手段を用いた固定定数を用いる。これによっ
てレンズを駆動するアクチュエータのずれ等が有って
も、高い信頼性をもって画角が決まり、方位を表示した
り、パノラマや大画面映像、カメラが取込み仮想現実空
間を正確に自動で作成することが可能となる。According to this embodiment, the following effects can be obtained. To automatically compose a large screen from multiple images, lens orientation and angle of view information are required. The angle of view information includes information such as the magnification or focal length of the lens and the size of the pixel of the image sensor. is necessary. When a camera equipped with a zoom lens is used, the angle of view information is calculated using the position information or rotation information of one or more constituent lenses of the mounted zoom lens, and the magnification and the focal length are calculated. A variable determined by the total element area is calculated, or a fixed constant using a means using a lookup table is used. As a result, even if there is a displacement of the actuator that drives the lens, the angle of view is determined with high reliability, the azimuth is displayed, the panorama, the large-screen image, and the camera are taken in and the virtual reality space is created accurately and automatically. It becomes possible.
【０１０８】１９．プログラムされたコンピュータによ
って撮影方向の異なる複数の入力画像を合成して、各入
力画像より広い画角をもつ出力画像に再構成する装置で
あって、電子的に撮像された入力画像とその入力画像に
関連付けられた撮像方位情報と撮像画角情報を入力する
入力手段と、上記撮像方位情報に基づいてこの撮像方位
情報が関連付けられた入力画像の出力画像における位置
を求め、上記撮像画角情報に基づいてこの撮像画角情報
が関連付けられた入力画像の出力画像における大きさを
求める演算手段と、上記演算手段の演算結果に基づき、
入力画像より出力画像を合成する画像合成手段とを具備
することを特徴とする画像合成装置。19. An apparatus for synthesizing a plurality of input images having different shooting directions by a programmed computer and reconstructing an output image having a wider angle of view than each input image, comprising an electronically captured input image and the input image Input means for inputting imaging azimuth information and imaging angle-of-view information associated with the camera, obtaining a position of an input image associated with the imaging azimuth information based on the imaging azimuth information in an output image, Calculating means for calculating the size of the input image associated with the imaging angle-of-view information in the output image, based on the calculation result of the calculating means,
An image synthesizing apparatus, comprising: an image synthesizing unit that synthesizes an output image from an input image.
【０１０９】この態様では、画像情報、方位情報、画角
情報、好ましくは画像間の相関情報は、電子カメラで取
った後、これらの情報は一旦記録装置に記録され、有線
または無線によって、パーソナルコンピュータに電送さ
れて、再度なんだかの手段によって記録する。方位情
報、画角情報、好ましくは画像間の相関情報を用いて画
像合成を行い、単一画像より広い画像（電子カメラの搭
載された撮像素子よりも多い画素数の画像）に再構成さ
れる。これによって電子カメラの中央処理装置の能力が
不十分であっても、高速なパーソナルコンピュータによ
って、パノラマや大画面映像、カメラが取込み仮想現実
空間を正確に自動で作成することが可能となる。In this embodiment, image information, azimuth information, angle-of-view information, and preferably correlation information between images are taken by an electronic camera, and then these information is temporarily recorded in a recording device, and is transmitted to a personal device by wire or wireless. It is transmitted to the computer and recorded again by some means. Image synthesis is performed using azimuth information, angle-of-view information, and preferably, correlation information between images, and is reconstructed into an image wider than a single image (an image having a larger number of pixels than the image sensor equipped with the electronic camera). . As a result, even if the central processing unit of the electronic camera has insufficient capacity, a high-speed personal computer can accurately and automatically create a virtual reality space captured by a panorama, a large-screen image, or a camera.
【０１１０】２０．上記電子カメラは、撮像した複数の
画像を合成して、各撮像画像より広い画角をもつ出力画
像に再構成する画像再構成手段をさらに具備し、上記画
像合成手段は、上記撮像方位情報に基づいてこの撮像方
位情報が関連付けられた画像の出力画像における位置を
求め、上記撮像画角情報に基づいてこの撮像画角情報が
関連付けられた入力画像の出力画像における大きさを求
める演算手段と、上記演算手段の演算結果に基づき、出
力画像を合成する画像合成手段とを具備することを特徴
とする付記１または２記載の電子カメラ。20. The electronic camera further includes an image reconstructing unit that combines the plurality of captured images and reconstructs an output image having a wider angle of view than each captured image. Calculating means for obtaining the position in the output image of the image associated with the imaging azimuth information based on the information, and obtaining the size in the output image of the input image associated with the imaging angle of view information based on the imaging angle of view information; 3. The electronic camera according to claim 1, further comprising an image synthesizing unit that synthesizes an output image based on a calculation result of the arithmetic unit.
【０１１１】この態様によれば、以下の効果が奏され
る。最近の電子カメラは、半導体技術の進歩に従い、カ
メラに搭載するＣＰＵも高性能化してきた。この為、カ
メラ内部にて画像の合成、画素間の相関情報を用いた位
置の最適化によって合成が可能となった。これによって
パノラマや大画面映像、カメラが取込み仮想現実空間を
正確に自動で作成することが可能となる。According to this embodiment, the following effects can be obtained. 2. Description of the Related Art In recent electronic cameras, the CPU mounted on the camera has also been improved in performance with the progress of semiconductor technology. For this reason, it is possible to combine images by combining the images inside the camera and optimizing the position using correlation information between pixels. This makes it possible to automatically and accurately create a virtual reality space captured by a panorama, a large-screen image, or a camera.
【０１１２】２１．合成した画像を表示する画像表示手
段を具備することを特徴とする付記２０記載の電子カメ
ラ。この態様によれば、以下の効果が奏される。電子カ
メラの内部で画素合成が可能となると、パーソナルコン
ピュータに接続すること無しに、本クレームに示す方法
によって、パノラマや大画面映像、カメラが取込み仮想
現実空間を正確に自動で作成することが可能となる。21. 21. The electronic camera according to claim 20, further comprising an image display means for displaying the synthesized image. According to this aspect, the following effects are obtained. When pixel synthesis becomes possible inside an electronic camera, the method described in this claim enables a panorama, a large-screen image, or a camera to capture and automatically create a virtual reality space without connecting to a personal computer. Becomes
【０１１３】２２．上記画像表示手段は、画像を拡大・
縮小して表示可能であり、画像の一部の表示も可能であ
ることを特徴とする付記２１記載の電子カメラ。この態
様によれば、以下の効果が奏される。電子カメラに接続
するか、搭載する表示装置は、カメラに合わせて低電力
で携帯可能である必要がある。この表示装置は再構成さ
れた画像よりも小さい画素数で構成されている。本クレ
ームに示す方法によって、小さな画像表示装置でパノラ
マや大画面映像、カメラが取込み仮想現実空間を表示す
ることが可能となる。22. The image display means enlarges an image.
22. The electronic camera according to attachment 21, wherein the electronic camera can be displayed in a reduced size and a part of an image can be displayed. According to this aspect, the following effects are obtained. A display device connected to or mounted on an electronic camera needs to be portable with low power according to the camera. This display device is configured with a smaller number of pixels than the reconstructed image. According to the method described in the present claim, it becomes possible for a small image display device to capture a panorama, a large screen image, or a camera and display the captured virtual reality space.
【０１１４】２３．上記画像表示手段は画像をチルト・
パン表示可能であることを特徴とする付記２１・２２記
載の電子カメラ。この態様によれば、以下の効果が奏さ
れる。電子カメラに接続するか、搭載する表示装置は、
カメラに合わせて低電力で携帯可能である必要がある。
この表示装置は再構成された画像よりも小さい画素数で
構成されている。本クレームに示す方法によって、小さ
な画像表示装置でも大きなパノラマや大画面映像、カメ
ラが取込み仮想現実空間を画面の隅から隅まで隅なく、
また自由に表示することが可能となる。23. The image display means tilts an image.
23. The electronic camera according to attachments 21 and 22, wherein panning is possible. According to this aspect, the following effects are obtained. The display device connected to or mounted on the electronic camera
It needs to be portable with low power to match the camera.
This display device is configured with a smaller number of pixels than the reconstructed image. By the method described in this claim, even a small image display device captures a large panorama or a large screen image, a camera, and captures a virtual reality space from corner to corner of the screen,
Also, it is possible to freely display.
【０１１５】２４．上記画像表示手段は上記電子カメラ
と別体に構成された、顔面前方に装着可能な機材である
ことを特徴とする付記２１から２３記載の電子カメラ。
この態様によれば、以下の効果が奏される。電子カメラ
に接続するか、搭載する表示装置は、カメラに合わせて
低電力で携帯可能である必要がある。本クレームに示す
方法によって、小さな画像表示装置を構成できる。この
方法によって大きなパノラマや大画面映像、カメラが取
込み仮想現実空間を画面の隅から隅まで隅なく、また自
由に表示することが可能となる。24. 24. The electronic camera according to any one of supplementary notes 21 to 23, wherein the image display means is a device configured separately from the electronic camera and attachable to the front of the face.
According to this aspect, the following effects are obtained. A display device connected to or mounted on an electronic camera needs to be portable with low power according to the camera. A small image display device can be configured by the method described in the present claim. With this method, a large panorama, a large screen image, and a camera can be captured and the virtual reality space can be displayed freely from corner to corner of the screen.
【０１１６】２５．上記画像表示手段は、表示する画像
が装着者の動きによっては影響されないように構成され
ていることを特徴とする付記２４記載の電子カメラ。こ
の態様によれば、以下の効果が奏される。電子カメラに
接続するか、搭載する表示装置は、カメラに合わせて低
電力で携帯可能である必要がある。この場合は目の位置
の前に目との距離を一定にして配置するＦａｃｅ Ｍｏ
ｕｎｔｅｄＤｉｓｐｌａｙの様な形式である。本クレー
ムに示す方法によって、小さな画像表示装置を構成でき
る。この方法によって大きなパノラマや大画面映像、カ
メラが取込み仮想現実空間を携帯表示装置によって観察
することが可能となる。25. 25. The electronic camera according to claim 24, wherein the image display means is configured so that an image to be displayed is not affected by a movement of a wearer. According to this aspect, the following effects are obtained. A display device connected to or mounted on an electronic camera needs to be portable with low power according to the camera. In this case, Face Mo is placed in front of the eye position with a constant distance from the eye.
This is a format such as untedDisplay. A small image display device can be configured by the method described in the present claim. With this method, a large panorama, a large screen image, and a camera can be captured and the virtual reality space can be observed on the portable display device.
【０１１７】２６．上記画像表示手段は、装着者の頭部
の動きを検出するセンサー手段をさらに具備し、上記セ
ンサー手段の検出結果に従って表示する画像を変化させ
るように構成されていることを特徴とする付記２４記載
の電子カメラ。26. 25. The supplementary note 24, wherein the image display means further comprises a sensor means for detecting a movement of the head of the wearer, and is configured to change an image to be displayed according to a detection result of the sensor means. Electronic camera.
【０１１８】この態様によれば、以下の効果が奏され
る。電子カメラに接続するか、搭載する表示装置は、カ
メラに合わせて低電力で携帯可能である必要がある。こ
の場合は目の位置の前に目との距離を一定にして配置す
るＦａｃｅ ＭｏｕｎｔｅｄＤｉｓｐｌａｙの様な形式
である。本クレームに示す方法によって、小さな画像表
示装置を構成できる。また表示装置に付帯した姿勢セン
サーによって頭部の運動を検出し表示内容を姿勢にリン
クさせて表示することにより、あたかも絶対座標に固定
した大きなパノラマや大画面映像、カメラが取込んだ仮
想現実空間を画面の隅から隅まで隅なく、また自由に表
示することが可能となる。According to this embodiment, the following effects can be obtained. A display device connected to or mounted on an electronic camera needs to be portable with low power according to the camera. In this case, it is a form such as Face Mounted Display in which the distance from the eye is fixed before the position of the eye. A small image display device can be configured by the method described in the present claim. In addition, by using a posture sensor attached to the display device, the movement of the head is detected and the display contents are linked to the posture and displayed. Can be freely displayed from corner to corner of the screen.
【０１１９】２７．上記画像合成手段は、画像の合成処
理に由来する画像の不連続性を低減するように画像処理
を施すことを特徴とする付記２０から２６記載の画像合
成装置または電子カメラ。27. 27. The image synthesizing apparatus or the electronic camera according to Supplementary Notes 20 to 26, wherein the image synthesizing means performs image processing so as to reduce discontinuity of the image resulting from the image synthesizing process.
【０１２０】この態様によれば、以下の効果が奏され
る。方位センサで計測した方位や換算した位置が、取り
込み画素の１画素分以上の誤差を含んでいる場合に、２
枚の映像の内、方位情報や画角情報から重なり合うと予
測される領域で画素単位の相関を取り、画像処理によっ
て最適な位置を決定し、パノラマや大画面映像、カメラ
が取込んだ仮想現実空間を作成することが可能となる。According to this embodiment, the following effects can be obtained. If the azimuth measured by the azimuth sensor or the converted position includes an error of one or more captured pixels, 2
Correlation on a pixel-by-pixel basis in areas predicted to overlap based on azimuth information and angle-of-view information in a single image, determining the optimal position by image processing, panorama, large-screen images, and virtual reality captured by the camera A space can be created.
【０１２１】２８．上記画像処理は、複数の画像上の対
応する画素間で、各画素とのノルムが最小になる位置に
新画素を設定する処理であることを特徴とする付記２７
記載の電子カメラ。28. The above-mentioned image processing is a process of setting a new pixel at a position where the norm with each pixel is minimized between corresponding pixels on a plurality of images.
Electronic camera as described.
【０１２２】２９．プログラムされたコンピュータによ
って撮影方向の異なる複数の入力画像を合成して、各入
力画像より広い画角をもつ出力画像に再構成する画像合
成方法であって、電子的に撮像された入力画像とその入
力画像に関連付けられた撮像方位情報と撮像画角情報を
入力する手順と、上記撮像方位情報に基づいてこの撮像
方位情報が関連付けられた入力画像の出力画像における
位置を求め、上記撮像画角情報に基づいてこの撮像画角
情報が関連付けられた入力画像の出力画像における大き
さを求める手順と、求められた入力画像の出力画像にお
ける位置と大きさに基づき、入力画像を合成して出力画
像を作成する手順とを具備することを特徴とする画像合
成方法。29. An image synthesizing method for synthesizing a plurality of input images having different photographing directions by a programmed computer and reconstructing an output image having a wider angle of view than each input image, comprising: Inputting the imaging azimuth information and imaging angle of view information associated with the input image; obtaining the position of the input image associated with the imaging azimuth information in the output image based on the imaging azimuth information; A procedure for obtaining the size of the input image associated with the imaging angle of view information in the output image based on the input image, and combining the input image based on the obtained position and size of the input image in the output image to form the output image. And a creating procedure.
【０１２３】この態様は上記（１９）の内容を方法に変
更したものである。 ３０．コンピュータによって撮影方向の異なる複数の入
力画像を合成して、各入力画像より広い画角をもつ出力
画像に再構成するための処理プログラムを記録した記録
媒体であって、該処理プログラムはコンピュータに電子
的に撮像された入力画像とその入力画像に関連付けられ
た撮像方位情報と撮像画角情報を入力させ、上記撮像方
位情報に基づいてこの撮像方位情報が関連付けられた入
力画像の出力画像における位置を求め、上記撮像画角情
報に基づいてこの撮像画角情報が関連付けられた入力画
像の出力画像における大きさを求めさせ、求められた入
力画像の出力画像における位置と大きさに基づき、入力
画像を合成して出力画像を作成させることを特徴とする
画像合成処理プログラムを記録した記録媒体。この態様
は、上記（１９）の内容をプログラムを記録した記録媒
体に変更したものである。This embodiment is a modification of the above (19) to a method. 30. A computer-readable recording medium storing a processing program for combining a plurality of input images having different photographing directions and reconstructing an output image having a wider angle of view than each of the input images. And inputting the image orientation information and the image angle of view information associated with the input image that has been imaged in a specific manner, and determining the position of the input image associated with the image orientation information in the output image based on the image orientation information. Based on the obtained angle-of-view information, the size of the input image associated with this angle-of-view information is calculated in the output image, and based on the position and size of the obtained input image in the output image, the input image is A recording medium storing an image compositing processing program, wherein an output image is created by compositing. In this embodiment, the content of the above (19) is changed to a recording medium on which a program is recorded.
【０１２４】[0124]
【発明の効果】以上詳述したように、本発明によれば、
画像情報に撮像方位情報と共に撮像画角情報も関連付け
て、この情報を基に複数の画像より広画角の合成画像を
合成可能にする電子カメラを提供することができる。As described in detail above, according to the present invention,
It is possible to provide an electronic camera that associates image information with image capturing angle information together with image capturing direction information, and can synthesize a composite image having a wider angle of view than a plurality of images based on this information.
【図１】撮影時の電子カメラの姿勢と画像との関係を示
す図である。FIG. 1 is a diagram illustrating a relationship between an attitude of an electronic camera and an image at the time of shooting.
【図２】大画面やパノラマ等を作成する場合の画像を張
り合わせる過程を示す図である。FIG. 2 is a diagram illustrating a process of combining images when a large screen, a panorama, or the like is created.
【図３】大画面やパノラマ等を作成する場合において、
画像を張り合わせる過程について、更に正確で実用的な
方法を説明するための図である。FIG. 3 When creating a large screen or a panorama,
FIG. 9 is a diagram for explaining a more accurate and practical method of attaching images.
【図４】本発明の第１の実施の形態に係る電子カメラの
構成図である。FIG. 4 is a configuration diagram of an electronic camera according to the first embodiment of the present invention.
【図５】姿勢センサが計測する３軸の方位を示す図であ
る。FIG. 5 is a diagram showing three azimuths measured by a posture sensor.
【図６】第１の実施の形態に係る電子カメラの制御系を
中心としたブロック構成図である。FIG. 6 is a block diagram mainly showing a control system of the electronic camera according to the first embodiment.
【図７】第１の実施の形態に係る電子カメラの動作を説
明するためのフローチャートである。FIG. 7 is a flowchart illustrating an operation of the electronic camera according to the first embodiment.
【図８】第１の実施の形態における記録したデータの処
理過程を説明するための図である。FIG. 8 is a diagram for explaining a process of processing recorded data according to the first embodiment.
【図９】第２の実施の形態としての電子カメラの応用例
を示す図である。FIG. 9 is a diagram illustrating an application example of an electronic camera as a second embodiment.
【図１０】第３の実施の形態に係る電子カメラの外観構
成図である。FIG. 10 is an external configuration diagram of an electronic camera according to a third embodiment.
【図１１】第４の実施の形態に係る電子カメラの基本原
理を示す図である。FIG. 11 is a diagram illustrating a basic principle of an electronic camera according to a fourth embodiment.
【図１２】第５の実施の形態に係る電子カメラの基本原
理を示す図である。FIG. 12 is a diagram illustrating a basic principle of an electronic camera according to a fifth embodiment.
【図１３】第６の実施の形態に係る電子カメラの基本原
理を示す図である。FIG. 13 is a diagram illustrating a basic principle of an electronic camera according to a sixth embodiment.
【図１４】第７の実施の形態の基本原理を示す図であ
る。FIG. 14 is a diagram showing a basic principle of the seventh embodiment.
【図１５】第７の実施の形態の基本原理を示す図であ
る。FIG. 15 is a diagram showing a basic principle of the seventh embodiment.
【図１６】第７の実施の形態の基本原理を示す図であ
る。FIG. 16 is a diagram showing a basic principle of the seventh embodiment.
【図１７】磁気抵抗素子を用いた第８の実施の形態に係
る電子カメラの構成を示す図である。FIG. 17 is a diagram illustrating a configuration of an electronic camera according to an eighth embodiment using a magnetoresistive element.
【図１８】第９の実施の形態の基本原理を示す図であ
る。FIG. 18 is a diagram showing a basic principle of the ninth embodiment.
【図１９】第１０の実施の形態の基本原理を示す図であ
る。FIG. 19 is a diagram showing a basic principle of the tenth embodiment.
【図２０】第１１の実施の形態の基本構成を示す概念図
である。FIG. 20 is a conceptual diagram showing a basic configuration of the eleventh embodiment.
【図２１】第１２の実施の形態の基本構成を示す外観図
である。FIG. 21 is an external view showing a basic configuration of a twelfth embodiment.
【図２２】第１３の実施の形態の基本構成を示す図であ
る。FIG. 22 is a diagram illustrating a basic configuration of a thirteenth embodiment.
【図２３】第１５の実施の形態の構成を示す図である。FIG. 23 is a diagram illustrating a configuration of a fifteenth embodiment.
【図２４】外部コンピュータ又は電子カメラ内蔵コンピ
ュータによる演算のシーケンスを説明するためのフロー
チャートである。FIG. 24 is a flowchart illustrating a sequence of a calculation performed by an external computer or a computer with an electronic camera.
１ 電子カメラ １２ ＣＣＤ １３ 画像メモリ １４ ＣＰＵ １５ 姿勢センサ １６ 画角情報部 １７ 関係付けＳＷ １８ シャッタＳＷ １９ フラッシュモードＳＷ ２０ 再生機能ＳＷ ２１ 消去ＳＷ ２２ 映像信号 ２３ ＡＦ信号部 ２４ ＡＥ信号部 ２５ フラッシュ機能部 ２６ 画像制御信号 ２７ バスライン ２８ レンズアクチュエータ DESCRIPTION OF SYMBOLS 1 Electronic camera 12 CCD 13 Image memory 14 CPU 15 Attitude sensor 16 Angle-of-view information part 17 Correlation SW 18 Shutter SW 19 Flash mode SW 20 Reproduction function SW 21 Erase SW 22 Video signal 23 AF signal part 24 AE signal part 25 Flash function Part 26 image control signal 27 bus line 28 lens actuator
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） // Ｇ０３Ｂ 17/24 Ｈ０４Ｎ 5/781 ５１０Ｌ 37/00 ５１０Ｆ Ｆターム(参考） 2H059 AA04 BA00 BA06 BA11 2H103 AA06 AA07 AA32 AA46 ZA51 ZA56 5B057 BA02 CE10 CH11 5C022 AA13 AB02 AB15 AB22 AB66 AB68 AC03 AC06 AC32 AC42 AC52 AC54 AC75 5C053 FA08 FA27 FA30 GB02 HA08 JA30 KA04 KA05 KA24 KA30 LA01 LA11──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl.7 Identification symbol FI theme coat ゛ (reference) // G03B 17/24 H04N 5/781 510L 37/00 510F F term (reference) 2H059 AA04 BA00 BA06 BA11 2H103 AA06 AA07 AA32 AA46 ZA51 ZA56 5B057 BA02 CE10 CH11 5C022 AA13 AB02 AB15 AB22 AB66 AB68 AC03 AC06 AC32 AC42 AC52 AC54 AC75 5C053 FA08 FA27 FA30 GB02 HA08 JA30 KA04 KA05 KA24 KA30 LA01 LA11
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10192928AJP2000032379A (en) | 1998-07-08 | 1998-07-08 | Electronic camera |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10192928AJP2000032379A (en) | 1998-07-08 | 1998-07-08 | Electronic camera |
| Publication Number | Publication Date |
|---|---|
| JP2000032379Atrue JP2000032379A (en) | 2000-01-28 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10192928AWithdrawnJP2000032379A (en) | 1998-07-08 | 1998-07-08 | Electronic camera |
| Country | Link |
|---|---|
| JP (1) | JP2000032379A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004228711A (en)* | 2003-01-20 | 2004-08-12 | Sony Corp | Supervisory apparatus and method, program, and supervisory system |
| US7450839B2 (en) | 2004-08-20 | 2008-11-11 | Samsung Electronics Co., Ltd. | Photographing device and method for panoramic imaging |
| JP2009302785A (en)* | 2008-06-11 | 2009-12-24 | Sony Corp | Information processing apparatus, image-capturing system, reproduction control method, recording control method, and program |
| JP2010028764A (en)* | 2008-07-24 | 2010-02-04 | Sony Corp | Imaging apparatus, image processing method, and program |
| JP2010171743A (en)* | 2009-01-23 | 2010-08-05 | Kyocera Corp | Portable terminal and synthesis program |
| JP2011151635A (en)* | 2010-01-22 | 2011-08-04 | Hidetoyo Tonuma | User interface program related to ar (augmented reality), or information processing apparatus |
| JP2012075018A (en)* | 2010-09-29 | 2012-04-12 | Casio Comput Co Ltd | Reproduction device and method, and program |
| US8558874B2 (en) | 2008-09-08 | 2013-10-15 | Fujifilm Corporation | Image processing device and method, and computer readable recording medium containing program |
| JP2014003715A (en)* | 2013-09-27 | 2014-01-09 | Casio Comput Co Ltd | Imaging apparatus, imaging method and program |
| JP2015532077A (en)* | 2012-09-27 | 2015-11-05 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングｍｅｔａｉｏ ＧｍｂＨ | Method for determining the position and orientation of an apparatus associated with an imaging apparatus that captures at least one image |
| DE102015107434A1 (en) | 2014-05-13 | 2015-11-19 | Canon Kabushiki Kaisha | Image pickup device, and control method therefor |
| JP2018524830A (en)* | 2015-05-26 | 2018-08-30 | グーグル エルエルシー | Omni-directional shooting of mobile devices |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004228711A (en)* | 2003-01-20 | 2004-08-12 | Sony Corp | Supervisory apparatus and method, program, and supervisory system |
| US7450839B2 (en) | 2004-08-20 | 2008-11-11 | Samsung Electronics Co., Ltd. | Photographing device and method for panoramic imaging |
| EP1628474A3 (en)* | 2004-08-20 | 2009-01-21 | Samsung Electronics Co., Ltd. | Image pickup device and method for panoramic imaging |
| JP2009302785A (en)* | 2008-06-11 | 2009-12-24 | Sony Corp | Information processing apparatus, image-capturing system, reproduction control method, recording control method, and program |
| JP2010028764A (en)* | 2008-07-24 | 2010-02-04 | Sony Corp | Imaging apparatus, image processing method, and program |
| US8558874B2 (en) | 2008-09-08 | 2013-10-15 | Fujifilm Corporation | Image processing device and method, and computer readable recording medium containing program |
| JP2010171743A (en)* | 2009-01-23 | 2010-08-05 | Kyocera Corp | Portable terminal and synthesis program |
| JP2011151635A (en)* | 2010-01-22 | 2011-08-04 | Hidetoyo Tonuma | User interface program related to ar (augmented reality), or information processing apparatus |
| JP2012075018A (en)* | 2010-09-29 | 2012-04-12 | Casio Comput Co Ltd | Reproduction device and method, and program |
| JP2015532077A (en)* | 2012-09-27 | 2015-11-05 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングｍｅｔａｉｏ ＧｍｂＨ | Method for determining the position and orientation of an apparatus associated with an imaging apparatus that captures at least one image |
| JP2014003715A (en)* | 2013-09-27 | 2014-01-09 | Casio Comput Co Ltd | Imaging apparatus, imaging method and program |
| DE102015107434A1 (en) | 2014-05-13 | 2015-11-19 | Canon Kabushiki Kaisha | Image pickup device, and control method therefor |
| US9549112B2 (en) | 2014-05-13 | 2017-01-17 | Canon Kabushiki Kaisha | Image capturing apparatus, and control method therefor |
| DE102015107434B4 (en) | 2014-05-13 | 2022-03-17 | Canon Kabushiki Kaisha | Image pickup device, and control method therefor |
| JP2018524830A (en)* | 2015-05-26 | 2018-08-30 | グーグル エルエルシー | Omni-directional shooting of mobile devices |
| US10334165B2 (en) | 2015-05-26 | 2019-06-25 | Google Llc | Omnistereo capture for mobile devices |
| Publication | Publication Date | Title |
|---|---|---|
| US10638039B2 (en) | Apparatus, system, and method of controlling image capturing, and recording medium | |
| US8416282B2 (en) | Camera for creating a panoramic image | |
| US20110234750A1 (en) | Capturing Two or More Images to Form a Panoramic Image | |
| JP6115606B2 (en) | Imaging apparatus and imaging system | |
| US7583858B2 (en) | Image processing based on direction of gravity | |
| JP7030442B2 (en) | Image processing equipment, image processing methods, and programs | |
| JP5620036B1 (en) | Digital camera for panoramic photography and panoramic photography system | |
| US20060078215A1 (en) | Image processing based on direction of gravity | |
| CN101010942A (en) | capture image sequence | |
| JP2012065263A (en) | Imaging apparatus | |
| CN105659287A (en) | Image processing apparatus, image processing method, and imaging system | |
| JP7306089B2 (en) | Image processing system, imaging system, image processing device, imaging device, and program | |
| JP2002503893A (en) | Virtual reality camera | |
| CN108445705A (en) | Image processing apparatus, image processing method and program | |
| JP2013046270A (en) | Image connecting device, photographing device, image connecting method, and image processing program | |
| JP7383911B2 (en) | Imaging system, image processing device, imaging device and program | |
| JP2000032379A (en) | Electronic camera | |
| JP6741498B2 (en) | Imaging device, display device, and imaging display system | |
| JP5812509B2 (en) | Map display device, map display method and program | |
| JP4565909B2 (en) | camera | |
| JP7352672B2 (en) | Imaging display method | |
| JP5914714B2 (en) | Imaging equipment and method | |
| JP3993672B2 (en) | Coordinate conversion method, image composition method, and information recording medium | |
| JPH11298837A (en) | Image input device and image input method | |
| JP2008152374A (en) | Image system, photographing direction specifying device, photographing direction specifying method and program |
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed | Free format text:JAPANESE INTERMEDIATE CODE: A300 Effective date:20051004 |