【０００１】[0001]
【発明の属する技術分野】本発明は、カメラ装置により
画像を撮影し、撮影した画像を所定のデータ通信回線に
より伝送するカメラ画像伝送方法及びカメラ画像伝送シ
ステムに関し、特に、魚眼レンズ等を用いたカメラ装置
により入力される高解像度で画像歪みを有するカメラ画
像を、ＰＨＳ（Ｐersonal Ｈand-Ｐhone Ｓystem）等の
低速なデータ通信回線を用いて伝送し、画像受信側装置
に接続される画像表示装置等に、画像歪みが補正された
視野空間パノラマ画像を表示するカメラ画像伝送システ
ムに適用して有効な技術に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a camera image transmission method and a camera image transmission system for photographing an image by a camera device and transmitting the photographed image through a predetermined data communication line, and more particularly to a camera using a fisheye lens or the like. A camera image having high resolution and image distortion input by the apparatus is transmitted using a low-speed data communication line such as a PHS (Personal Hand-Phone System), and is transmitted to an image display apparatus or the like connected to the image receiving apparatus. The present invention relates to a technique which is effective when applied to a camera image transmission system that displays a view space panoramic image in which image distortion has been corrected.
【０００２】[0002]
【従来の技術】ＣＣＴＶ（Ｃlosed Ｃircuit Ｔe1evisi
on）システムの分野においては、カメラ装置の監視可能
範囲を向上するためカメラ装置にカメラ視点を変更する
電動式雲台等の装置を具備したカメラ装置が開発されて
いる。また、近年、魚眼レンズを用いることにより上下
左右１８０°以上の視野空間画像（以下、魚眼レンズカ
メラ画像という）を同時に撮影可能としたカメラ装置が
提案されている。魚眼レンズを用いる場合は、カメラ視
点を変更するための装置を具備しなくても広範囲の可視
領域を得ることができる。魚眼レンズカメラ画像等は、
レンズの特性に依存して、撮影された画像は撮影対象と
なる実像に対して歪みを有している。このため、魚眼レ
ンズカメラ画像を、通常のレンズを用いたカメラ画像と
同様に利用するためには、レンズの特性に依存して生じ
る画像歪みを補正する処理を行う必要があり、魚眼レン
ズカメラ画像の有する画像歪みを補正して上下左右１８
０°以上の視野空間のパノラマ画像（以下、視野空間パ
ノラマ画像という）を生成するアルゴリズムが提案され
ている。また、従来、カメラ装置により撮影されたカメ
ラ画像は、一画像フレーム毎に有線回線を利用して伝送
されていたが、ＰＨＳ等の無線データ通信技術の発展に
伴い、カメラ画像を無線データ通信回線により伝送する
システムも開発されている。2. Description of the Related Art CCTV (Closed Circuit Te1evisi)
On) In the field of systems, camera devices having a device such as a motorized pan head that changes the camera viewpoint to a camera device have been developed in order to improve the monitoring range of the camera device. In recent years, there has been proposed a camera device capable of simultaneously capturing a view space image of 180 ° or more in the vertical and horizontal directions (hereinafter referred to as a fisheye lens camera image) by using a fisheye lens. When a fisheye lens is used, a wide visible region can be obtained without a device for changing the camera viewpoint. Fisheye lens camera images, etc.
Depending on the characteristics of the lens, the captured image has distortion with respect to the real image to be captured. For this reason, in order to use a fisheye lens camera image in the same way as a camera image using a normal lens, it is necessary to perform processing for correcting image distortion that occurs depending on the characteristics of the lens. 18
An algorithm for generating a panoramic image of a viewing space of 0 ° or more (hereinafter referred to as a viewing space panoramic image) has been proposed. Conventionally, camera images captured by a camera device have been transmitted using a wired line for each image frame. However, with the development of wireless data communication technologies such as PHS, camera images have been transferred to wireless data communication lines. A transmission system has also been developed.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、通常の
レンズを用いたカメラ装置にカメラ視点を変更する電動
式雲台等の装置を具備し、遠隔繰作によりカメラ視点を
変更し、撮影した画像をＰＨＳ等の低速なデータ通信回
線を用いて伝送するシステムにおいて、目的位置のカメ
ラ画像を得るためには、目的位置にカメラ視点が移動す
るまでの時間、及び目的位置にカメラ視点が移動するま
でに送信される複数の画像の伝送遅延時間から、目的位
置の画像を得るための待ち時間が長くなるという問題が
あった。また、カメラ装置に電動式雲台等のカメラ視点
変更用の装置を具備するとカメラ装置構成が複雑化する
ため、装置の保守における負担が増加することや、カメ
ラ装置の小型化を実現することが困難であるという問題
があった。However, a camera device using a normal lens is provided with a device such as a motorized pan head that changes the camera viewpoint, and the camera image is changed by remote processing to obtain a captured image. In a system that transmits data using a low-speed data communication line such as a PHS, in order to obtain a camera image at a target position, the time required for the camera viewpoint to move to the target position and the time required for the camera viewpoint to move to the target position must be determined. There is a problem that the waiting time for obtaining the image at the target position becomes longer due to the transmission delay time of the plurality of images to be transmitted. Further, if the camera device is provided with a device for changing the viewpoint of the camera, such as a motorized pan head, the configuration of the camera device becomes complicated, so that the burden on maintenance of the device increases and the size of the camera device can be reduced. There was a problem that it was difficult.
【０００４】前述したカメラ視点の移動に起因する問題
は、魚眼レンズ等を利用することで解決される。しかし
ながら、魚眼レンズを用いて撮影される画像歪みを有し
た魚眼レンズカメラ画像から、十分な画像品質を維持し
た視野空間パノラマ画像を得るためには、元となる魚眼
レンズカメラ画像の解像度を極めて高くする必要があ
り、画像一枚あたりのデータ量が大きくなる。そのた
め、ＰＨＳ等の低速なデータ通信回線を介して画像を伝
送する場合に、画像一枚辺りの伝送に要する時間が長く
なる。したがって、高解像度の魚眼レンズカメラ画像等
を、ＰＨＳ等を介して伝送する場合には、画像受信側装
置より画像を撮影するための制御情報をカメラ画像送信
側端末装置に送った後、画像受信側端末装置に接続され
る画像表示装置等に画像が表示されるまでの遅延時間が
大きくなる。また、魚眼レンズカメラ画像を、連続的に
撮影し伝送する場合には、画像伝送遅延時間が大きくな
るとともに、画像フレームレートが低くなるという問題
があった。さらに、魚眼レンズカメラ画像等の有する画
像歪みを補正するための処理時間も、画像受信側装置に
接続される画像表示装置等にカメラ画像が表示されるま
での遅延時間の増加や画像フレームレートの低下の要因
となる。[0004] The above-mentioned problem caused by the movement of the camera viewpoint can be solved by using a fisheye lens or the like. However, in order to obtain a view space panoramic image with sufficient image quality from a fish-eye lens camera image having image distortion captured using a fish-eye lens, the resolution of the original fish-eye lens camera image needs to be extremely high. Yes, the data amount per image becomes large. Therefore, when transmitting an image via a low-speed data communication line such as a PHS, the time required to transmit one image becomes longer. Therefore, when transmitting a high-resolution fisheye lens camera image or the like via a PHS or the like, after transmitting control information for photographing an image from the image receiving device to the camera image transmitting terminal device, the image receiving device transmits the control information. The delay time until an image is displayed on an image display device or the like connected to the terminal device increases. Further, when a fisheye lens camera image is continuously photographed and transmitted, there is a problem that the image transmission delay time increases and the image frame rate decreases. Further, the processing time for correcting the image distortion of a fisheye lens camera image or the like also increases the delay time until the camera image is displayed on an image display device or the like connected to the image receiving device or decreases the image frame rate. Is a factor.
【０００５】本発明の目的は、カメラ画像伝送システム
において、画像受信側装置がカメラ画像送信側端末装置
に対してカメラ画像の送信を指示する制御情報を送信し
てから、画像受信側装置に接続された画像表示装置等に
視野空間パノラマ画像が出力されるまでの遅延時間を短
縮することが可能な技術を提供することにある。本発明
の他の目的は、カメラ画像伝送システムにおいて、連続
的にカメラ画像を伝送する場合に、高い画像フレームレ
ートを得ることが可能な技術を提供することにある。本
発明の前記ならびにその他の目的及び新規な特徴は、本
明細書の記述及び添付図面によって明らかにする。An object of the present invention is to provide a camera image transmission system in which an image receiving device transmits control information for instructing a camera image transmitting terminal device to transmit a camera image, and then connects to the image receiving device. It is an object of the present invention to provide a technique capable of shortening a delay time until a visual field space panoramic image is output to an image display device or the like that has been set. Another object of the present invention is to provide a technique capable of obtaining a high image frame rate when camera images are continuously transmitted in a camera image transmission system. The above and other objects and novel features of the present invention will become apparent from the description of the present specification and the accompanying drawings.
【０００６】[0006]
【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば、以
下のとおりである。 （１）撮影対象となる実像に対してレンズの特性に依存
する画像歪みを有する高解像度のカメラ画像を撮影し、
この撮影された画像を符号化し、所定のデータ通信回線
を用いて伝送する画像伝送方法において、カメラ画像送
信側で、前記撮影されたカメラ画像を複数個の部分領域
画像に分割し、この分割された各部分領域画像毎に符号
化して画像データフレームを構成し、この構成された画
像データフレームを画像受信側に送信し、この送信され
た画像データフレームを画像受信側で受信し、この受信
された各画像フレームに含まれる部分領域画像毎に復号
化処理を行うとともに、前記画像データフレームに含ま
れる領域位置範囲情報を用いて画像歪みの補正処理を行
う方法である。The outline of a typical invention among the inventions disclosed in the present application will be briefly described as follows. (1) capturing a high-resolution camera image having image distortion depending on the characteristics of a lens with respect to a real image to be captured;
In an image transmission method for encoding the photographed image and transmitting the encoded image using a predetermined data communication line, the camera image transmitting side divides the photographed camera image into a plurality of partial area images, and An image data frame is configured by encoding each of the partial area images, and the configured image data frame is transmitted to the image receiving side.The transmitted image data frame is received by the image receiving side, and the received image data frame is received. In addition, the decoding process is performed for each partial region image included in each image frame, and the image distortion correction process is performed using the region position range information included in the image data frame.
【０００７】（２）前記手段（１）のカメラ画像伝送方
法において、前記画像歪みの補正処理は、前記画像デー
タフレームに含まれる前記領域位置範囲情報に基づき、
前記画像データフレームに含まれる部分領域画像の各画
素の位置情報を求め、この求められた各画素の位置情報
により、前記部分領域画像の有するレンズの特性に依存
した画像歪みを補正し、前記領域位置範囲情報で規定さ
れる位置に部分領域画像をはめ込み、歪み補正されたカ
メラ画像を再構築する方法である。(2) In the camera image transmission method of the means (1), the image distortion correction processing is performed based on the area position range information included in the image data frame.
The position information of each pixel of the partial area image included in the image data frame is obtained, and the obtained position information of each pixel is used to correct an image distortion depending on a characteristic of a lens included in the partial area image. This is a method of fitting a partial region image to a position specified by position range information and reconstructing a camera image corrected for distortion.
【０００８】（３）前記手段（１）又は（２）のカメラ
画像伝送方法において、前記画像受信側で、所望の１個
の前記カメラ画像送信側に対する制御情報を送信し、も
しくは複数個の前記カメラ画像送信側に対する制御情報
を同時に送信し、前記カメラ画像送信側が前記撮影され
たカメラ画像を分割して送信する場合に、前記画像受信
側は、前記分割された各部分領域画像の画像データフレ
ームの送信順序を規定する送信順序制御情報を、１個も
しくは複数個の前記カメラ画像送信側に送信し、前記カ
メラ画像送信側は、前記送信順序制御情報が受信された
場合に、前記受信された前記送信順序制御情報により規
定される送信順序にしたがって画像データフレームの送
信を行う方法である。(3) In the camera image transmitting method according to the means (1) or (2), the image receiving side transmits control information to a desired one of the camera image transmitting sides, or a plurality of the control information. When simultaneously transmitting control information to a camera image transmitting side and the camera image transmitting side divides and transmits the captured camera image, the image receiving side transmits an image data frame of each of the divided partial area images. Transmitting transmission order control information that specifies the transmission order to one or more camera image transmission sides, and the camera image transmission side receives the transmission order control information when the transmission order control information is received. This is a method of transmitting an image data frame according to a transmission order defined by the transmission order control information.
【０００９】（４）前記手段（１）乃至（３）のうちい
ずれか１個のカメラ画像伝送方法において、前記画像受
信側は、所望の１個の前記カメラ画像送信側に対する制
御情報を送信し、もしくは複数個の前記カメラ画像送信
側に対する制御情報を同時に送信し、前記画像受信側
は、所望の時点に、前記カメラ画像の分割形式を規定す
る分割形式制御情報を、１個もしくは複数個の前記カメ
ラ画像送信側に送信し、前記カメラ画像送信側は、前記
分割形式制御情報が受信された場合に、前記受信された
前記分割形式制御情報により規定される分割形式にした
がって画像データフレームの送信を行う方法である。(4) In any one of the means (1) to (3), the image receiving side transmits control information to a desired one of the camera image transmitting sides. Or, simultaneously transmitting control information to a plurality of the camera image transmitting side, the image receiving side, at a desired time, divided format control information defining the divided format of the camera image, one or more Transmitting the image data frame to the camera image transmitting side, and transmitting the image data frame according to the division format defined by the received division format control information when the division format control information is received. How to do.
【００１０】（５）カメラ画像送信手段と、該カメラ画
像送信手段と通信回線を介して通信する画像受信手段と
を具備する画像伝送システムにおいて、カメラ画像送信
手段は、撮影対象となる実像に対してレンズの特性に依
存する画像歪みを有する高解像度のカメラ画像を撮影す
るカメラ装置と、該カメラ装置で撮影された画像データ
を符号化する画像符号化手段と、前記撮影されたカメラ
画像を複数個の部分領域画像に分割し、この分割された
各部分領域画像毎に前記画像符号化手段により符号化す
るとともに各部分領域画像に対応する領域位置範囲を示
す情報を付加した画像データフレームを構築する画像分
割制御手段と、前記構築された画像データフレームの送
信制御を行う画像送信制御手段とを具備し、前記画像受
信手段は、前記送信された画像データフレームを受信
し、この受信された各画像フレームに含まれる部分領域
画像毎に復号化処理を行う画像復号化手段と、前記画像
データフレームに含まれる領域位置範囲情報を用いて画
像歪みの補正処理を行う画像歪み補正手段と、画像歪み
が補正されたカメラ画像を再構築する画像再構築手段と
を具備するシステムである。(5) In an image transmission system including a camera image transmitting unit and an image receiving unit communicating with the camera image transmitting unit via a communication line, the camera image transmitting unit transmits a real image to be photographed. A camera device that captures a high-resolution camera image having image distortion depending on the characteristics of the lens, an image encoding unit that encodes image data captured by the camera device, and a plurality of the captured camera images. The image encoding unit divides the image into a plurality of partial area images, encodes each of the divided partial area images by the image encoding unit, and constructs an image data frame to which information indicating an area position range corresponding to each partial area image is added. Image transmission control means for controlling transmission of the constructed image data frame, wherein the image receiving means Image decoding means for receiving the received image data frame, and performing a decoding process for each partial area image included in each of the received image frames, and an image using area position range information included in the image data frame. This is a system including image distortion correction means for performing distortion correction processing and image reconstruction means for reconstructing a camera image in which image distortion has been corrected.
【００１１】（６）前記手段（５）のカメラ画像伝送シ
ステムにおいて、前記画像歪みの補正手段は、前記画像
データフレームに含まれる前記領域位置範囲情報に基づ
き、前記画像データフレームに含まれる部分領域画像の
各画素の位置情報を求め、この求められた各画素の位置
情報により、前記部分領域画像の有するレンズの特性に
依存した画像歪みを補正する手段からなり、前記画像再
構築手段は、前記画像歪みが補正された部分領域画像を
前記領域位置範囲情報で規定される位置にはめ込んで、
歪み補正されたカメラ画像を再構築する手段からなるシ
ステムである。(6) In the camera image transmission system of the means (5), the image distortion correcting means includes a partial area included in the image data frame based on the area position range information included in the image data frame. The position information of each pixel of the image is obtained, and the obtained position information of each pixel is used to correct an image distortion depending on a characteristic of a lens included in the partial area image. Fit the partial area image corrected image distortion to the position defined by the area position range information,
This is a system comprising means for reconstructing a camera image corrected for distortion.
【００１２】（７）前記手段（５）又は（６）のカメラ
画像伝送システムにおいて、前記画像受信手段は、所望
の１個の前記カメラ画像送信側に対する制御情報を送信
し、もしくは複数個の前記カメラ画像送信側に対する制
御情報を同時に送信する手段と、前記カメラ画像送信手
段が前記撮影されたカメラ画像を分割して送信する場合
に、前記分割された各部分領域画像の画像データフレー
ムの送信順序を規定する送信順序制御情報を、１個もし
くは複数個の前記カメラ画像送信手段に送信する手段と
を具備し、前記カメラ画像送信手段は、前記送信順序制
御情報が受信された場合に、前記受信された前記送信順
序制御情報により規定される送信順序にしたがって画像
データフレームを送信する手段を具備するシステムであ
る。(7) In the camera image transmission system of the means (5) or (6), the image receiving means transmits control information to a desired one camera image transmitting side, or a plurality of the control information. Means for simultaneously transmitting control information to a camera image transmitting side, and a transmission order of image data frames of each of the divided partial area images when the camera image transmitting means divides and transmits the photographed camera image. Means for transmitting transmission order control information defining one or more of the camera image transmission means, wherein the camera image transmission means receives the transmission order control information when the transmission order control information is received. And transmitting means for transmitting image data frames in accordance with the transmission order defined by the transmission order control information.
【００１３】（８）前記手段（５）乃至（７）のうちい
ずれか１個のカメラ画像伝送システムにおいて、前記画
像受信手段は、所望の１個の前記カメラ画像送信側に対
する制御情報を送信し、もしくは複数個の前記カメラ画
像送信側に対する制御情報を同時に送信する手段と、所
望の時点に、前記カメラ画像の分割形式を規定する分割
形式制御情報を、１個もしくは複数個の前記カメラ画像
送信手段に送信する手段とを具備し、前記カメラ画像送
信手段は、前記分割形式制御情報が受信された場合に、
前記受信された前記分割形式制御情報により規定される
分割形式にしたがって画像データフレームを送信する手
段を具備するシステムである。(8) In any one of the means (5) to (7), the image receiving means transmits control information to a desired one of the camera image transmitting sides. Or means for simultaneously transmitting control information to a plurality of camera image transmitting sides, and, at a desired time, transmitting one or a plurality of the camera image Means for transmitting to the means, the camera image transmitting means, when the division format control information is received,
A system comprising means for transmitting an image data frame according to a division format defined by the received division format control information.
【００１４】前記手段（１）によれば、画像受信側装置
からカメラ画像送信側端末装置に対してカメラ画像の送
信が要求されてから、画像受信側装置に接続される画像
表示装置に対して画像を出力するまでの遅延時間の低減
が図れるとともに、カメラ画像を連続的に伝送する場合
の画像フレームレートの向上が図れる。According to the means (1), after the image reception side device requests the camera image transmission side terminal device to transmit the camera image, the image display device connected to the image reception side device is transmitted. The delay time until the image is output can be reduced, and the image frame rate when camera images are continuously transmitted can be improved.
【００１５】前記手段（４）乃至（６）によれば、画像
受信側装置において、特定の部分領域画像を迅速に取得
する必要が生じた場合、制御情報送信手段により、カメ
ラ画像を必要な部分領域画像へ分割することを指示する
第一の制御情報を、カメラ画像送信側端末装置に送信す
るとともに、前記第一の制御情報にしたがってカメラ画
像を分割し構築された画像データフレームの送信順序を
規定する第二の制御情報を、カメラ画像送信側端末装置
に送信し、必要な画像データフレームの送信を優先させ
ることによって、画像受信側装置は、必要とする部分領
域画像を迅速に取得することが可能となる。According to the above means (4) to (6), when it is necessary to quickly obtain a specific partial area image in the image receiving apparatus, the control information transmitting means converts the camera image into a necessary part. The first control information instructing the division into the area image is transmitted to the camera image transmitting side terminal device, and the transmission order of the image data frame constructed by dividing the camera image according to the first control information is changed. By transmitting the prescribed second control information to the camera image transmitting terminal device and giving priority to the transmission of the required image data frame, the image receiving device can quickly acquire the required partial area image. Becomes possible.
【００１６】前記手段（７）のカメラ画像伝送システム
によれば、カメラ画像送信側端末装置は、画像受信側装
置より、任意の枚数のカメラ画像を一定の画像フレーム
レートで連続撮影することを指示する第三の制御情報を
受信した場合、前記第三の制御情報に基いた撮影タイミ
ングでカメラ画像を連続撮影し、画像データ記憶手段に
バッファリングする。その後、画像データ記憶手段にバ
ッファリングされているカメラ画像を逐次伝送する。According to the camera image transmission system of the above means (7), the camera image transmitting terminal device instructs the image receiving side device to continuously shoot an arbitrary number of camera images at a constant image frame rate. When the third control information to be received is received, the camera image is continuously photographed at the photographing timing based on the third control information, and is buffered in the image data storage means. Thereafter, the camera images buffered in the image data storage means are sequentially transmitted.
【００１７】これにより、伝送可能な画像フレームレー
トより、高い画像フレームレートで連続撮影された複数
のカメラ画像が必要な場合に、画像受信側装置からの指
示に従って一時的に画像データ記憶手段にバッファリン
グ可能な任意の枚数分だけ、任意の画像フレームレート
で連続撮影したカメラ画像を送信することが可能とな
る。以下、本発明について、図面を参照して、発明の実
施形態（実施例）とともに詳細に説明する。According to this, when a plurality of camera images continuously shot at an image frame rate higher than the image frame rate at which transmission is possible are required, a buffer is temporarily stored in the image data storage means in accordance with an instruction from the image receiving apparatus. It is possible to transmit camera images continuously photographed at an arbitrary image frame rate for an arbitrary number of rings that can be ringed. Hereinafter, the present invention will be described in detail together with embodiments (examples) of the present invention with reference to the drawings.
【００１８】[0018]
【発明の実施の形態】以下の本発明の実施形態（実施
例）は、カメラ画像を送信するカメラ画像送信側端末装
置が魚眼レンズカメラを用いることを仮定した場合につ
いて説明している。図１は、本発明の実施形態（実施
例）のカメラ画像伝送システムを利用する通信システム
の一構成例を示す模式図である。この図１の構成例は、
カメラ画像の伝送に無線データ通信回線を利用する場合
について示している。DESCRIPTION OF THE PREFERRED EMBODIMENTS The following embodiments (examples) of the present invention are described on the assumption that a camera image transmitting terminal device for transmitting a camera image uses a fisheye lens camera. FIG. 1 is a schematic diagram illustrating a configuration example of a communication system using a camera image transmission system according to an embodiment (example) of the present invention. The configuration example of FIG.
The case where a wireless data communication line is used for transmitting a camera image is shown.
【００１９】図１に示すように、カメラ画像送信側端末
装置１は、無線データ送信手段１０によりＰＨＳ非制限
デジタルベアラやＩＥＥＥ８０２.１１に準拠する無線
ＬＡＮ(Ｌocal Ａrea Ｎetwork）等の無線データ通信回
線３を用いて画像受信側装置２と通信し、魚眼レンズカ
メラ４より入力されるカメラ画像を送信する。画像受信
側装置２は、画像受信側装置２の無線データ受信手段２
０により、１個または複数個のカメラ画像送信側端末装
置１と無線データ通信回線３を介して通信を行う。As shown in FIG. 1, a camera image transmitting side terminal device 1 uses a wireless data transmitting unit 10 to transmit a wireless data communication line such as a PHS unrestricted digital bearer or a wireless LAN (Local Area Network) conforming to IEEE 802.11. 3 and communicate with the image receiving side device 2 to transmit a camera image input from the fisheye lens camera 4. The image receiving device 2 is a wireless data receiving unit 2 of the image receiving device 2.
With 0, communication is performed with one or more camera image transmitting terminal devices 1 via the wireless data communication line 3.
【００２０】無線データ送信手段１０と無線データ受信
手段２０は、無線データ通信回線において発生する伝送
誤りを訂正し、伝送誤りのない透過なデータ通信を実現
するためのデータリンク層データ伝送制御機能を提供す
る。例えば、ＰＨＳ非制限デジタルベアラを利用する場
合においては、ＰＩＡＦＳ（ＰＨＳ Ｉnternet Ａccess
Ｆorum Ｓtandard）手順や、ＨＤＬＣ（Ｈigh-1evel
Ｄata Ｌink Ｃontrol）手順等のデータ伝送制御機能を
提供する。The wireless data transmitting means 10 and the wireless data receiving means 20 have a data link layer data transmission control function for correcting transmission errors occurring in the wireless data communication line and realizing transparent data communication without transmission errors. provide. For example, when a PHS unrestricted digital bearer is used, PIAFS (PHS Internet Access) is used.
Forum Standard) procedure, HDLC (High-1evel)
It provides data transmission control functions such as Data Link Control procedures.
【００２１】画像受信側装置２には、受信された画像を
表示するための画像表示装置５や、任意のカメラ画像送
信側端末装置１あるいは複数個のカメラ画像送信側端末
装置１に対する制御を行うための制御パネル６が接続さ
れる。The image receiving device 2 controls an image display device 5 for displaying a received image, an arbitrary camera image transmitting terminal device 1 or a plurality of camera image transmitting terminal devices 1. Control panel 6 is connected.
【００２２】また、画像受信側装置２を通信ネットワー
ク７に接続し、通信ネットワーク７に接続されるＰＣ
（Ｐersonal Ｃomputer）端末８と通信し、カメラ画像
送信側装置１より受信した画像をＰＣ端末８に送信し表
示するとともに、ＰＣ端末８からカメラ画像送信側端末
装置１を制御するための信号を受信する場合もある。例
えば、ＩＳＤＮ（Ｉntegrated Ｓervice Ｄigital Ｎet
work）回線に接続する場合には、画像受信側装置２は、
Ｈ.３２０に準拠するＴＶ会議端末等と通信し、ＬＡＮ
やＷＡＮ（Ｗide Ａrea Ｎetwork）等のＩＰ（Ｉnterne
t Ｐrotocol）パケット通信ネットワークに接続される
場合には、画像受信側装置は、Ｈ.３２０に準拠するＴ
Ｖ（Ｔelevision）会議通信システム等を実装したＰＣ
端末８と通信する。The image receiving side device 2 is connected to a communication network 7 and a PC connected to the communication network 7
(Personal Computer) Communicates with the terminal 8, transmits and displays the image received from the camera image transmitting side device 1 to the PC terminal 8, and receives a signal for controlling the camera image transmitting side terminal device 1 from the PC terminal 8. In some cases. For example, ISDN (Integrated Service Digital Net)
work) When connecting to a line, the image receiving side device 2
Communicates with H.320 compliant TV conference terminals, etc.
(Internet) such as Internet and WAN (Wide Area Network)
t Protocol) When connected to a packet communication network, the image receiving apparatus uses a T.320 compliant with H.320.
PC equipped with V (Television) conference communication system
Communicate with terminal 8.
【００２３】また、画像受信側装置２は、該画像受信側
装置２に直接接続されるデータ蓄積装置９、あるいは、
通信ネットワーク７を介して接続されるデータ蓄積装置
９に受信した画像データを蓄積することが可能である。Further, the image receiving side device 2 is connected to the data storage device 9 directly connected to the image receiving side device 2 or
The received image data can be stored in the data storage device 9 connected via the communication network 7.
【００２４】図２は、本発明による一実施形態のカメラ
画像伝送システムの概略構成を示すブロック構成図であ
る。本実施形態のカメラ画像伝送システムは、図２に示
すように、魚眼レンズを有するカメラ画像送信側端末装
置１と、１個のカメラ画像送信側端末装置１と無線デー
タ通信回線３を介して通信する画像受信側装置２とで構
成されている。FIG. 2 is a block diagram showing a schematic configuration of a camera image transmission system according to an embodiment of the present invention. As shown in FIG. 2, the camera image transmission system according to the present embodiment communicates with a camera image transmitting terminal device 1 having a fisheye lens and one camera image transmitting terminal device 1 via a wireless data communication line 3. It is configured with the image receiving side device 2.
【００２５】前記カメラ画像送信側装置１は、上下左右
１８０°以上の視野角を有する魚眼レンズ１１と、ＣＣ
Ｄ（Ｃharge Ｃoupled Ｄevice）やＣＭＯＳ（Ｃomplem
entary Ｍetal Ｏxide Ｓemiconductor）等の固体撮影
素子により魚眼レンズより入力される画像を電気信号に
変換するイメージセンサ１２と、イメージセンサ１２に
よって電気信号に変換された画像のデジタル量子化等を
行うＤＳＰ（ＤigitalＳignal Ｐrocessor）１３と、こ
のＤＳＰ１３によりデジタル化された画像データを記憶
する画像データ記憶手段１４と、画像データをＪＰＥＧ
（Ｊoint Ｐhotographic Ｃoding Ｅxperts Ｇroup）に
より符号化する画像符号化手段１５と、魚眼レンズカメ
ラ画像を複数の部分領域に分割し、各部分領域画像毎に
前記画像符号化手段１５により符号化するとともに領域
位置範囲情報を付加した画像データフレーム３０を構成
する画像分割制御手段１６と、画像データフレーム３０
を無線データ通信回線３により送信する無線データ送信
手段１０と、画像データフレームの送信制御を行う画像
送信制御手段１７から構成される。The camera image transmitting apparatus 1 includes a fisheye lens 11 having a viewing angle of 180 ° or more in the vertical and horizontal directions,
D (Charge Coupled Device) and CMOS (Coupled
An image sensor 12 that converts an image input from a fish-eye lens into an electric signal by a solid-state imaging device such as an entary metal oxide semiconductor, and a DSP (Digital Signal Processor) that performs digital quantization and the like of the image converted into an electric signal by the image sensor 12. ) 13, image data storage means 14 for storing image data digitized by the DSP 13, and JPEG image data.
(Joint Photographic Coding Experts Group), an image encoding means 15 for encoding, and a fisheye lens camera image is divided into a plurality of partial areas, and each partial area image is encoded by the image encoding means 15 and the area position range An image division control unit 16 that constitutes an image data frame 30 to which information is added;
Wireless data transmitting means 10 for transmitting the image data over the wireless data communication line 3 and an image transmission control means 17 for controlling transmission of image data frames.
【００２６】前記画像受信側装置２には、受信した画像
を表示する画像表示装置５と、カメラ画像送信側端末装
置の制御を行うための制御パネル６が接続されている。
画像受信側装置２は、カメラ画像送信側端末装置１から
無線データ通信回線３を介して送信される画像データフ
レーム３０等を受信する無線データ受信手段２０と、受
信された画像データフレームに含まれる符号化データに
対する復号化処理を行う画像復号化手段２１と、前記画
像データフレームに含まれる領域位置範囲情報を用い
て、前記画像データフレームに含まれる部分領域画像の
各画素の位置情報を求め、前記各画素の位置情報を魚眼
レンズの特性に対応する位置依存型歪み補正関数に代入
することで、前記部分領域画像の有する魚眼レンズの特
性に依存した画像歪みを補正する画像歪み補正手段２２
と、領域位置範囲情報で規定される位置に歪みが補正さ
れた前記部分領域画像をはめ込むことで、歪み補正され
たカメラ画像を再構築する画像再構築手段２３と、画像
データを記憶する受信画像データ記憶手段２４と、画像
を画像表示装置や所定の通信ネットワーク等に出力する
ための出力インタフェース２５と、さらに、制御パネル
や所定の通信ネットワーク等からの制御情報３５を入力
するための制御情報の入力インタフェース２６と、制御
情報３５をカメラ画像送信側端末装置１に送信するため
の制御情報送信手段２７から構成される。The image receiving device 2 is connected to an image display device 5 for displaying a received image and a control panel 6 for controlling the camera image transmitting terminal device.
The image receiving device 2 includes a wireless data receiving unit 20 that receives an image data frame 30 and the like transmitted from the camera image transmitting terminal device 1 via the wireless data communication line 3, and is included in the received image data frame. Image decoding means 21 for performing a decoding process on the encoded data, and using the area position range information included in the image data frame, to obtain the position information of each pixel of the partial area image included in the image data frame, An image distortion correction unit 22 that corrects image distortion depending on the characteristics of the fisheye lens of the partial area image by substituting the position information of each pixel into the position-dependent distortion correction function corresponding to the characteristics of the fisheye lens.
And an image reconstructing means 23 for reconstructing the distortion-corrected camera image by fitting the partial-region image corrected for distortion at a position defined by the region position range information, and a received image storing image data. A data storage means 24, an output interface 25 for outputting an image to an image display device or a predetermined communication network or the like; and a control information for inputting control information 35 from a control panel or a predetermined communication network or the like. It comprises an input interface 26 and control information transmitting means 27 for transmitting control information 35 to the camera image transmitting terminal device 1.
【００２７】一般に、カメラ画像送信側端末装置１は、
小型化が求められるとともに、図１及び図２に示したよ
うに無線データ通信回線３を利用して画像受信側装置２
と通信を行う場合等では、可搬性を維持するためにカメ
ラ画像送信側端末装置１内に具備されるバッテリーによ
り動作するため、消費電力が少ないことが求められる。
このことから、カメラ画像送信側端末装置１において高
い演算処理能力を実現することは困難である。これに対
して画像受信側装置２は、一般に、コンセント等から電
源を供給できることから消費電力等に対する制限がな
く、高い演算処理能力を実現できる。Generally, the camera image transmitting terminal device 1
In addition to the demand for miniaturization, the image receiving side device 2 utilizing the wireless data communication line 3 as shown in FIGS.
For example, when communication is performed with the camera, the terminal is operated by a battery provided in the camera image transmitting terminal device 1 in order to maintain portability, so that low power consumption is required.
For this reason, it is difficult for the camera image transmitting terminal device 1 to realize high arithmetic processing capability. On the other hand, the image receiving side device 2 can generally supply power from an outlet or the like, so that there is no limitation on power consumption and the like, and high image processing capability can be realized.
【００２８】本実施形態のカメラ画像伝送システムは、
図２に示したように、比較的処理量の大きい画像歪み補
正処理をカメラ画像送信側端末装置１で行わず、処理能
力の高い画像受信側装置２に画像歪み補正手段２２を有
する構成としている。これにより、画像歪み補正処理に
要する処理時間の短縮が図れる。The camera image transmission system according to the present embodiment comprises:
As shown in FIG. 2, the image distortion correction processing having a relatively large processing amount is not performed by the camera image transmission side terminal device 1, and the image reception side device 2 having a high processing capability includes the image distortion correction means 22. . Thereby, the processing time required for the image distortion correction processing can be reduced.
【００２９】また、魚眼レンズ１１によるカメラ画像等
では、画像歪み補正処理を施した後の視野空間パノラマ
画像の方が、画像歪み補正処理を施さない魚眼レンズ１
１によるカメラ画像に比較してデータ量が増加するた
め、画像受信側装置２で画像歪み補正処理を行う構成に
することにより、カメラ画像送信側端末装置１で画像歪
み補正処理を行う場合に比較して、データ通信回線３を
効率的に利用できる。In a camera image or the like by the fish-eye lens 11, the panoramic image of the view space after the image distortion correction processing is performed on the fish-eye lens 1 without the image distortion correction processing.
Since the data amount increases as compared with the camera image obtained by the camera image transmission device 1, the image distortion correction process is performed by the image receiving device 2 so that the image distortion correction process is performed by the camera image transmission terminal device 1. Thus, the data communication line 3 can be used efficiently.
【００３０】なお、画像歪み補正手段２２による画像歪
み補正処理は、画像データフレームに付加される領域位
置範囲情報を用いて、部分領域画像内の各画素の位置情
報、すなわち、各画素の画像全体における座標位置、及
び各画素の魚眼レンズ１１より入力される円形画像の中
心点からの距離を算出し、これらの数値を文献「Ｓhish
ir Ｓhah，Ｊ．Ｋ．Ａggarwel，″Ｉntrinsic Ｐaramet
er Ｃalibration Ｐrocedure for Ａ（Ｈigh-Ｄistorti
on）Ｆish-Ｅye Ｌens Ｃamera Ｗith Ｄistortion Ｍo
del and Ａccuracy Ｅstimation，″Ｐattern Ｒecogni
tion，29，pp.1775〜1788」等に記載の魚眼レンズの位
置依存型歪み補正関数に入力していくことにより実現す
る。The image distortion correction processing by the image distortion correction means 22 uses the position information of the region added to the image data frame to obtain the position information of each pixel in the partial region image, that is, the entire image of each pixel. , And the distance of each pixel from the center point of the circular image input from the fisheye lens 11 is calculated.
ir Shah, J.M. K. Aggarwel, "Intrinsic Paramet
er Calibration Procedure for A (High-Distorti
on) Fish-Eye Lens Camera With Distortion Mo
del and Accuracy Estimation, "Pattern Recogni
, 29, pp. 1775-1788, etc. ”and the like.
【００３１】図３乃至図７は、本実施形態のカメラ画像
伝送システムにおける各種カメラ画像伝送の手順につい
て説明するための図である。本実施形態のカメラ画像伝
送システムは、図２に示すように、画像受信側装置２の
制御情報送信手段２７から無線データ通信回線３を介し
てカメラ画像送信側端末装置１の画像送信制御手段１７
に制御情報３５を送信し、カメラ画像送信側端末装置１
を制御することにより、任意の時点で撮影された魚眼レ
ンズカメラ画像の全体、もしくは、魚眼レンズカメラ画
像の部分領域画像を伝送する。これにより逐次撮影され
た魚眼レンズカメラ画像の全体、もしくは、魚眼レンズ
カメラ画像の部分領域画像を連続的に伝送することが可
能である。FIGS. 3 to 7 are diagrams for explaining the procedure of transmitting various camera images in the camera image transmission system of the present embodiment. As shown in FIG. 2, the camera image transmission system according to the present embodiment uses the image transmission control unit 17 of the camera image transmission terminal device 1 from the control information transmission unit 27 of the image reception side device 2 via the wireless data communication line 3.
The control information 35 is transmitted to the terminal device 1 on the camera image transmitting side.
Is transmitted, the entire fish-eye lens camera image taken at an arbitrary time or a partial area image of the fish-eye lens camera image is transmitted. As a result, it is possible to continuously transmit the entire fish-eye lens camera image or the partial region image of the fish-eye lens camera image sequentially captured.
【００３２】図３乃至図５に示す例は、カメラ画像送信
側端末装置１において、任意の時点で撮影されたカメラ
画像の全体を送信する場合、及び逐次撮影されたカメラ
画像の全体を連続的に送信する場合について説明してい
る。図３は、カメラ画像送信側端末装置１に具備される
画像分割制御手段１６によるカメラ画像３１の分割形式
の一例を示す図である。The examples shown in FIGS. 3 to 5 show the case where the camera image transmitting terminal device 1 transmits the entirety of the camera image taken at an arbitrary time and the whole of the sequentially taken camera image. Is described. FIG. 3 is a diagram illustrating an example of a division format of the camera image 31 by the image division control unit 16 provided in the camera image transmission terminal device 1.
【００３３】本実施形態のカメラ画像伝送システムにお
いて、カメラ画像送信側端末装置１の画像分割制御手段
１６は、撮影されるカメラ画像を、画像受信側装置２よ
り送信される第１の制御情報により規定される分割方式
にしたがって１個以上の部分領域に分割する。ただし、
画像受信側装置２よりカメラ画像の分割方式を指示する
第１の制御情報が送信されない場合、カメラ画像送信側
端末装置１の画像分割制御手段１６は既知の分割方式に
したがってカメラ画像を分割する。In the camera image transmission system of the present embodiment, the image division control means 16 of the camera image transmitting terminal device 1 determines the camera image to be photographed by the first control information transmitted from the image receiving device 2. It is divided into one or more partial areas according to a defined division method. However,
When the first control information indicating the camera image division method is not transmitted from the image receiving side device 2, the image division control means 16 of the camera image transmission side terminal device 1 divides the camera image according to a known division method.
【００３４】前記図３に示す分割形式は、魚眼レンズカ
メラより撮影されるカメラ画像３１の分割形式の一例で
あり、この図３の例では、カメラ画像３１を３４個の部
分領域画像３２に分割しており、カメラ画像３１の中央
上部に位置する斜線で示した１個の部分領域画像３２に
対応する領域位置範囲情報３３は（３，１）である。The division format shown in FIG. 3 is an example of the division format of the camera image 31 captured by the fisheye lens camera. In the example of FIG. 3, the camera image 31 is divided into 34 partial region images 32. The area position range information 33 corresponding to one shaded partial area image 32 located at the upper center of the camera image 31 is (3, 1).
【００３５】図３の例では、各部分領域画像が正方形と
なるように分割しているが、分割形式として、各部分領
域画像をそれぞれ任意の大きさの長方形や台形などの多
角形型にする形式や、各部分領域画像を任意の曲線によ
り規定される範囲で分割する形式等を適用することがで
きる。In the example of FIG. 3, each partial area image is divided so as to be square, but each partial area image is divided into polygons such as rectangles and trapezoids of an arbitrary size. A format, a format in which each partial area image is divided in a range defined by an arbitrary curve, and the like can be applied.
【００３６】図４は、前記画像分割制御手段１６により
生成される画像データフレーム３０の一構成例を示す図
である。図４に示すように、画像データフレーム３０
は、画像符号化手段１５により符号化された部分領域画
像符号化データ４１に、その部分領域画像に対応する領
域位置範囲情報３３を付加した構成となる。FIG. 4 is a diagram showing an example of the configuration of an image data frame 30 generated by the image division control means 16. As shown in FIG.
Has a configuration in which the area position range information 33 corresponding to the partial area image is added to the partial area image encoded data 41 encoded by the image encoding means 15.
【００３７】図５は、カメラ画像送信側端末装置１に具
備される画像送信制御手段１７による部分領域画像３２
の送信順序の一例を示す図である。本実施形態のカメラ
画像伝送システムにおいて、カメラ画像送信側端末装置
１の画像送信制御手段１７は、画像受信側装置２の制御
情報送信手段２７より送信される画像データフレームの
送信順序を規定する第２の制御情報にしたがって画像デ
ータフレームを送信する。ただし、画像受信側装置２よ
り画像データフレームの送信を制御する第２の制御情報
が送信されない場合、カメラ画像送信側端末装置１の画
像送信制御手段１７は既知の送信順序にしたがって画像
データフレームを送信する。FIG. 5 shows a partial area image 32 by the image transmission control means 17 provided in the camera image transmitting terminal device 1.
FIG. 3 is a diagram showing an example of the transmission order of the data. In the camera image transmission system of the present embodiment, the image transmission control unit 17 of the camera image transmission side terminal device 1 defines the transmission order of the image data frames transmitted from the control information transmission unit 27 of the image reception side device 2. The image data frame is transmitted according to the control information of No. 2. However, when the second control information for controlling the transmission of the image data frame is not transmitted from the image receiving side device 2, the image transmission control means 17 of the camera image transmitting side terminal device 1 transmits the image data frame according to a known transmission order. Send.
【００３８】図５は、カメラ画像３１を図３の例にした
がって分割した場合における各部分領域画像の送信順序
の一例を示し、図５中の各部分領域画像３２の中に記載
された数字が送信順序３４を示している。この図５の例
では、カメラ画像３１の中央上部に位置する斜線で示し
た一つの部分領域画像３２の送信順序３４は１０番目で
ある。FIG. 5 shows an example of the transmission order of each partial area image when the camera image 31 is divided according to the example of FIG. 3, and the number described in each partial area image 32 in FIG. The transmission order 34 is shown. In the example of FIG. 5, the transmission order 34 of one of the partial region images 32 indicated by oblique lines located at the upper center of the camera image 31 is the tenth.
【００３９】また、魚眼レンズカメラ画像は、円形の画
像となるため、一般の正方形に固体撮影素子が敷き詰め
られたイメージセンサにより入力される正方形のカメラ
画像３１の角部には画像情報を含まない部分が存在す
る。このため、図５に示すように、正方形のカメラ画像
の角部に相当する部分領域画像、すなわち、図３中の領
域位置範囲情報（１１，１１），（１２，１１），（１
１，１２），（５１，１１），（５２，１１），（５
１，１２），（１１，５１），（１１，５２），（１
２，５２），（５２，５１），（５１，５２），（５
２，５２）に対応する部分領域画像３２には、送信順序
を割り当てず、これらの部分領域画像３２は送信の対象
としない。これにより、正方形のカメラ画像を全て送信
する場合に比較して、送信するデータ量が削減され、魚
眼レンズカメラ画像の伝送効率の向上が図れる。Further, since the fisheye lens camera image is a circular image, a corner portion of a square camera image 31 input by an image sensor in which a solid-state imaging element is spread over a general square does not include image information. Exists. For this reason, as shown in FIG. 5, the partial area image corresponding to the corner of the square camera image, that is, the area position range information (11, 11), (12, 11), (1) in FIG.
(1,12), (51,11), (52,11), (5
(1,12), (11,51), (11,52), (1
(2, 52), (52, 51), (51, 52), (5
No transmission order is assigned to the partial area images 32 corresponding to (2, 52), and these partial area images 32 are not to be transmitted. As a result, the amount of data to be transmitted is reduced as compared with the case where all square camera images are transmitted, and the transmission efficiency of fisheye lens camera images can be improved.
【００４０】図２乃至図５に示す例において、本実施形
態のカメラ画像伝送システムのカメラ画像送信側端末装
置１は、画像分割制御手段１６により、カメラ画像３１
を図３に示した複数の部分領域画像３２に分割し、一つ
の部分領域画像３２に対応する画像データを画像符号化
手段１５により符号化し、図４に示した画像データフレ
ーム３０を構築する。そして、画像送信制御手段１７に
より各画像データフレーム３０を、図５に示す送信順序
に従って無線データ送信手段１０により、画像受信側装
置２へ送信する。In the examples shown in FIGS. 2 to 5, the camera image transmitting terminal device 1 of the camera image transmission system according to the present embodiment
Is divided into a plurality of partial region images 32 shown in FIG. 3, and image data corresponding to one partial region image 32 is encoded by the image encoding means 15 to construct the image data frame 30 shown in FIG. Then, the image data control unit 17 transmits each image data frame 30 to the image receiving side device 2 according to the transmission order shown in FIG.
【００４１】画像受信側装置２は、受信された画像デー
タフレーム３０に含まれる部分領域画像符号化データ４
１を画像復号化手段２１により復号化し、画像歪み補正
手段２２は、画像データフレームに含まれる領域位置範
囲情報３３を用いて部分領域画像３２が有する歪みの特
性を算出し、画像歪みを補正する処理を行う。そして、
画像再構築手段２３により、歪みが補正された部分領域
画像３２を領域位置範囲情報３３により規定される位置
にはめ込む画像再構築処理を行う。The image receiving side device 2 transmits the partial area image coded data 4 included in the received image data frame 30.
1 is decoded by the image decoding unit 21, and the image distortion correction unit 22 calculates the characteristic of the distortion included in the partial area image 32 using the area position range information 33 included in the image data frame, and corrects the image distortion. Perform processing. And
The image reconstructing means 23 performs an image reconstructing process of fitting the partial region image 32 whose distortion has been corrected into a position defined by the region position range information 33.
【００４２】前述の手順でカメラ画像の伝送処理を行う
ことにより、最後の画像データフレーム３０に対する処
理が終了した時点で、即座に、魚眼レンズカメラ画像の
対応する視野空間パノラマ画像が、受信画像データ記憶
手段２４内に構築され、出力インタフェース２５を介し
て画像表示装置５に前記視野空間パノラマ画像を出力す
ることができる。By performing the camera image transmission processing according to the above-described procedure, when the processing for the last image data frame 30 is completed, the corresponding view space panorama image of the fisheye lens camera image is immediately stored in the received image data. The viewing space panorama image can be output to the image display device 5 via the output interface 25, built in the means 24.
【００４３】また、最後の画像データフレームが受信さ
れるまでの間に、既に画像受信側装置２に受信され、画
像再構築手段２３による画像再構築処理までが終了し、
受信画像データ記憶手段２４に保持されている画像デー
タを用いることにより、逐次、部分的な視野空間パノラ
マ画像を画像表示装置５に出力し利用することができ
る。Also, by the time the last image data frame is received, the image data has already been received by the image receiving side device 2 and the image reconstruction processing by the image reconstruction means 23 has been completed.
By using the image data stored in the received image data storage means 24, a partial view space panoramic image can be sequentially output to the image display device 5 and used.
【００４４】ただし、この時点で、画像表示装置５に出
力される視野空間パノラマ画像は、部分的にまだ受信さ
れていない画像を含むため、受信されていない部分につ
いては、特定の色で覆い補完する、もしくは、魚眼レン
ズカメラ画像を連続的に受信する場合においては、直前
に受信された魚眼レンズカメラ画像中の同じ領域の部分
領域画像から生成される画像により補完する等の処理を
画像再構築手段２３により行う。However, at this point, the view space panoramic image output to the image display device 5 partially includes an image that has not yet been received, so that the part that has not been received is covered with a specific color and complemented. Or when the fisheye lens camera image is continuously received, the image reconstructing unit 23 performs processing such as complementing with an image generated from a partial area image of the same area in the fisheye lens camera image received immediately before. Performed by
【００４５】特に、ＶＧＡ（Ｖideo Ｇraphics Ａrra
y）やＳＶＧＡの解像度を有する一般の画像表示装置５
を用いる場合においては、視野空間パノラマ画像全体を
同時に表示することは不可能であることから、画像表示
装置５には視野空間パノラマ画像が部分的に表示されて
おり、適時、制御パネル６に対するユーザ操作に応じて
表示する部分領域を変更する。In particular, VGA (Video Graphics Arra)
y) or a general image display device 5 having SVGA resolution
Is not possible to simultaneously display the entire viewing space panorama image, and therefore the viewing space panorama image is partially displayed on the image display device 5, and the user with respect to the control panel 6 Change the partial area to be displayed according to the operation.
【００４６】図３及び図５に示した例は、ＶＧＡやＳＶ
ＧＡの解像度を有する一般の画像表示装置を用いる場合
において、図３中の領域位置範囲情報（３，３）に対応
する部分領域画像が、画像受信側装置２の画像表示装置
における表示の対象となっている場合に対応する。The examples shown in FIG. 3 and FIG.
When a general image display device having a resolution of GA is used, the partial area image corresponding to the area position range information (3, 3) in FIG. Corresponding to
【００４７】この場合には、図５に示すように領域位置
範囲情報（３，３）に対応する部分領域画像３２の送信
順序３４を１番に設定する。画像受信側装置２は、１番
目に受信される領域位置範囲情報（３，３）の画像デー
タフレームに対して復号化処理及び画像歪み補正処理を
行ったうえ、この画像データを即座に画像表示装置に出
力する。これにより、画像受信側装置２からカメラ画像
３１の送信を要求する処理を行った後から、画像表示装
置５に視野空間パノラマ画像が表示されるまでの遅延時
間が効果的に短縮される。In this case, the transmission order 34 of the partial area image 32 corresponding to the area position range information (3, 3) is set to the first as shown in FIG. The image receiving side device 2 performs a decoding process and an image distortion correction process on the image data frame of the area position range information (3, 3) received first, and immediately displays the image data on the image. Output to the device. As a result, the delay time from when the process of requesting transmission of the camera image 31 from the image receiving device 2 to when the view space panoramic image is displayed on the image display device 5 is effectively reduced.
【００４８】また、本実施形態のカメラ画像伝送システ
ムにおいては、画像受信側装置２は、受信された画像デ
ータフレーム３０に含まれる部分領域画像符号化データ
４１を画像復号化手段２１により復号化した後、画像歪
み補正手段２２による画像歪み補正処理を行わず、画像
再構築手段２３により領域位置範囲情報３３により規定
される位置にはめ込む処理を行うことも可能である。こ
の場合、受信画像データ記憶手段２４には、視野空間パ
ノラマ画像ではなく、魚眼レンズカメラ画像がそのまま
再構築され、これを画像表示装置５に出力することがで
きる。Further, in the camera image transmission system of the present embodiment, the image receiving device 2 decodes the partial area image encoded data 41 included in the received image data frame 30 by the image decoding means 21. After that, it is also possible to perform the process of fitting the image to the position specified by the area position range information 33 by the image reconstructing unit 23 without performing the image distortion correcting process by the image distortion correcting unit 22. In this case, the received image data storage means 24 reconstructs the fisheye lens camera image as it is, instead of the visual field space panoramic image, and can output this to the image display device 5.
【００４９】さらに、前述の視野空間パノラマ画像を生
成する場合と同様に、最後の画像データフレームが受信
されるまでの間に、画像受信側装置２に受信され、既に
画像再構築処理が終了し受信画像データ記憶手段２４に
保持されている画像データを利用して、逐次、部分的な
魚眼レンズカメラ画像を画像表示装置５に出力すること
ができる。Further, similarly to the case of generating the view space panoramic image, the image is received by the image receiving side device 2 until the last image data frame is received, and the image reconstruction processing is already completed. By utilizing the image data held in the received image data storage means 24, a partial fisheye lens camera image can be sequentially output to the image display device 5.
【００５０】この時点で、画像表示装置５に出力される
魚眼レンズカメラ画像は、部分的にまだ受信されていな
い画像を含むため、受信されていない部分については、
特定の色で覆い補完する。もしくは、魚眼レンズカメラ
画像を連続的に受信する場合においては、直前に受信さ
れた魚眼レンズカメラ画像中の同じ領域の部分領域画像
により補完する等の処理を画像再構築手段２３により行
う。At this point, the fisheye lens camera image output to the image display device 5 partially includes an image that has not been received yet.
Complement with a specific color. Alternatively, in the case of continuously receiving the fisheye lens camera image, the image reconstructing unit 23 performs processing such as supplementing with a partial area image of the same area in the fisheye lens camera image received immediately before.
【００５１】本実施形態のカメラ画像伝送システムは、
一枚のカメラ画像を複数の画像データフレームに分割し
送信している途中に、画像データフレームの送信順序を
変更することができる。The camera image transmission system according to the present embodiment
The transmission order of the image data frames can be changed during the transmission of a single camera image divided into a plurality of image data frames.
【００５２】図６は、一枚のカメラ画像の送信中に画像
データフレームの送信順序を変更する場合における画像
送信制御手段１７の動作フロチャート例を示す図であ
る。図６の動作フロチャートは、カメラ画像送信側端末
装置１が、一枚のカメラ画像３１全体を送信した後、連
続して次に撮影されたカメラ画像３１全体を送信する場
合について示している。FIG. 6 is a diagram showing an example of an operation flowchart of the image transmission control means 17 when the transmission order of image data frames is changed during transmission of one camera image. The operation flowchart of FIG. 6 illustrates a case where the camera image transmitting terminal device 1 transmits the entire camera image 31 continuously after transmitting the entire camera image 31.
【００５３】通常、画像送信制御手段１７は、図６に示
すように、既知の、もしくは、画像受信側端末装置１か
ら送信された送信順序を制御する第２の制御情報により
規定される送信順序に従って画像データフレーム３０を
送信して行く（Ｓ６０１）。画像受信側装置２は、一枚
のカメラ画像３１の受信中に、制御パネル６から特定の
部分領域画像３２の送信を要求する信号が入力された場
合、制御情報送信手段２７により対応する部分領域画像
３２の領域位置範囲情報３３を含む送信順序変更を目的
とした第２の制御情報を、カメラ画像送信側端末装置１
に送信する。Normally, as shown in FIG. 6, the image transmission control means 17 controls the transmission order specified by the second control information for controlling the transmission order transmitted from the known or image receiving side terminal device 1. The image data frame 30 is transmitted according to (S601). When a signal requesting transmission of a specific partial area image 32 is input from the control panel 6 during reception of one camera image 31, the image receiving side device 2 sends the corresponding partial area The second control information for the purpose of changing the transmission order including the area position range information 33 of the image 32 is transmitted to the camera image transmitting side terminal device 1.
Send to
【００５４】前記画像送信制御手段１７が、前記第２の
制御情報を画像受信側装置２より受信したかを調べ（Ｓ
６０２）、前記第２の制御情報を受信していた場合（Ｙ
ｅｓ）、受信した制御情報に対応する画像データフレー
ムは未送信かを調べる（Ｓ６０３）。未送信であれば
（Ｙｅｓ）、受信した制御情報に対応する画像データフ
レームの送信を行う（Ｓ６０４）。送信していなければ
（Ｎｏ）、画像データフレーム３０の送信順序を変更
し、受信した第２の制御情報に含まれる領域位置範囲情
報３３に対応する画像データフレーム３０を優先して送
信する（Ｓ６０５）。The image transmission control means 17 checks whether the second control information has been received from the image receiving device 2 (S
602), when the second control information has been received (Y
es), it is checked whether or not the image data frame corresponding to the received control information has not been transmitted (S603). If not transmitted (Yes), an image data frame corresponding to the received control information is transmitted (S604). If not transmitted (No), the transmission order of the image data frames 30 is changed, and the image data frames 30 corresponding to the area position range information 33 included in the received second control information are transmitted with priority (S605). ).
【００５５】次に、全ての画像データフレームの送信が
完了したかを調べ（Ｓ６０６）、完了していれば（Ｙｅ
ｓ）、魚眼レンズ視野空間画像の送信を終了し（Ｓ６０
７）、魚眼レンズ視野空間画像の撮影処理を行う（Ｓ６
０８）。全ての画像データフレームの送信が完了してい
なければ（Ｎｏ）、前記ステップＳ６０２に戻り、前記
の処理動作を繰り返す。Next, it is checked whether transmission of all image data frames has been completed (S606).
s), the transmission of the fisheye lens visual field space image ends (S60).
7), photographing processing of a fisheye lens visual field space image is performed (S6).
08). If transmission of all image data frames has not been completed (No), the process returns to step S602, and the above-described processing operation is repeated.
【００５６】これにより、画像受信側装置２に接続され
る制御パネル６から特定の部分領域画像３２の送信が要
求された場合に、即座に、カメラ画像送信側端末装置１
が、要求される部分画像領域３２に対応する画像データ
フレーム３０を送信し、画像受信側装置２において復号
化処理等を行い、画像表示装置５に出力することができ
る。Thus, when transmission of a specific partial area image 32 is requested from the control panel 6 connected to the image receiving side device 2, the camera image transmitting side terminal device 1 is immediately sent.
Can transmit the image data frame 30 corresponding to the required partial image area 32, perform a decoding process or the like in the image receiving side device 2, and output it to the image display device 5.
【００５７】例えば、視野空間パノラマ画像全体を同時
に表示することは不可能であるＶＧＡやＳＶＧＡの解像
度を有する一般の画像表示装置５を用いる場合、一枚の
カメラ画像の送信中に、ユーザ繰作により表示する部分
領域画像が変更された時に、前述した手順を用いて、新
たに表示の対象となった部分領域画像の送信を優先する
ことにより、低遅延時間で新たに表示の対象となった部
分領域画像を画像表示装置５に出力することができる。For example, when a general image display device 5 having a VGA or SVGA resolution that cannot simultaneously display the entire view space panorama image is used, a user operation is performed during transmission of one camera image. When the partial area image to be displayed is changed by using the procedure described above, the transmission of the partial area image that is newly displayed is prioritized, and the display is newly performed with a low delay time. The partial area image can be output to the image display device 5.
【００５８】前述の本実施形態では、カメラ画像送信側
端末装置１が、常に撮影された魚眼レンズカメラ画像全
体を送信する場合について述べたが、本発明のカメラ画
像伝送システムでは、画像受信側装置２に接続される画
像表示装置５に、カメラ画像の特定の部分領域画像をで
きる限り高い画像フレームレートで表示させる必要があ
る場合等には、カメラ画像全体ではなく、必要な部分領
域画像のみを送信する。In the above-described embodiment, the case where the camera image transmitting terminal device 1 always transmits the entire photographed fish-eye lens camera image has been described. However, in the camera image transmission system of the present invention, the image receiving side device 2 is used. For example, when it is necessary to display a specific partial area image of a camera image at the highest possible image frame rate on the image display device 5 connected to the camera, only the necessary partial area image is transmitted instead of the entire camera image. I do.
【００５９】図７は、カメラ画像の一部の部分領域画像
のみを送信する場合の、画像受信側装置２から送信され
る第２の制御情報３５により規定される部分領域画像３
２の送信順序の一例を示す図である。FIG. 7 shows a partial area image 3 defined by the second control information 35 transmitted from the image receiving apparatus 2 when only a partial area image of the camera image is transmitted.
FIG. 7 is a diagram illustrating an example of a transmission order of No. 2;
【００６０】図７は、カメラ画像３１を図３の例にした
がって分割した場合における各部分領域画像の送信順序
の一例を示している。図７中の各部分領域画像３２の中
に記載された数字が送信順序３４を示しており、この図
７の例では、カメラ画像３１の中央に位置する斜線で示
した一つの部分領域画像３２の送信順序３４は１番目で
ある。FIG. 7 shows an example of the transmission order of each partial area image when the camera image 31 is divided according to the example of FIG. The numbers described in the respective partial area images 32 in FIG. 7 indicate the transmission order 34. In the example of FIG. 7, one of the partial area images 32 indicated by oblique lines is located at the center of the camera image 31. Is the first transmission order.
【００６１】図７の例では、図３における領域位置範囲
情報（３，２），（４，２），（３，３），（４，３）
に対応する部分領域画像以外には送信順序を割り当て
ず、領域位置範囲情報（３，２），（４，２），（３，
３），（４，３）に対応する部分領域画像以外は送信の
対象としない。In the example of FIG. 7, the area position range information (3, 2), (4, 2), (3, 3), (4, 3) in FIG.
No transmission order is assigned to the partial area images other than the partial area image corresponding to the area position information (3, 2), (4, 2), (3
3) Other than the partial area images corresponding to (4, 3) are not to be transmitted.
【００６２】以下に、図２乃至図４及び図７により、本
実施形態のカメラ画像伝送システムにおいて、カメラ画
像の一部の部分領域画像のみを送信する場合のカメラ画
像伝送の手順について説明する。A procedure for transmitting a camera image when transmitting only a partial area image of the camera image in the camera image transmission system of the present embodiment will be described below with reference to FIGS. 2 to 4 and 7.
【００６３】カメラ画像送信側端末装置１は、画像分割
制御手段１６により、カメラ画像３１を図３に示した複
数の部分領域画像３２に分割し、一つの部分領域画像３
２に対応する画像データを画像符号化手段１５により符
号化し、図４に示した画像データフレーム３０を構築す
る。そして、画像送信制御手段１７により各画像データ
フレーム３０を、図７に示す送信順序に従って無線デー
タ送信手段１０により、画像受信側装置２へ送信する。The camera image transmitting terminal device 1 divides the camera image 31 into a plurality of partial region images 32 shown in FIG.
2 is encoded by the image encoding means 15 to construct the image data frame 30 shown in FIG. Then, the image data control unit 17 transmits each image data frame 30 to the image receiving side device 2 according to the transmission order shown in FIG.
【００６４】画像受信側装置２は、受信された画像デー
タフレーム３０に含まれる部分領域画像符号化データ４
１を画像復号化手段２１により復号化し、画像歪み補正
手段２２は、画像データフレームに含まれる領域位置範
囲情報３３を用いて部分領域画像３２が有する歪みの特
性を算出し、画像歪みを補正する処理を行う。そして、
画像再構築手段２３により、歪みが補正された部分領域
画像３２を領域位置範囲情報３３により規定される位置
にはめ込む画像再構築処理を行う。The image receiving-side apparatus 2 transmits the partial area image coded data 4 included in the received image data frame 30.
1 is decoded by the image decoding unit 21, and the image distortion correction unit 22 calculates the characteristic of the distortion included in the partial area image 32 using the area position range information 33 included in the image data frame, and corrects the image distortion. Perform processing. And
The image reconstructing means 23 performs an image reconstructing process of fitting the partial region image 32 whose distortion has been corrected into a position defined by the region position range information 33.
【００６５】また、画像受信側装置２は、受信された画
像データフレーム３０に含まれる部分領域画像符号化デ
ータ４１を画像復号化手段２１により復号化した後、画
像歪み補正手段２２による画像歪み補正処理を行わず、
画像再構築手段２３により領域位置範囲情報３３により
規定される位置にはめ込む処理を行う。前記画像再構築
手段２３で再構築された画像は受信画像データ記憶手段
２４に記憶される。The image receiving side device 2 decodes the partial area image coded data 41 included in the received image data frame 30 by the image decoding means 21 and then corrects the image distortion by the image distortion correcting means 22. Do not process,
The image reconstructing means 23 performs a process of fitting the image to a position specified by the area position range information 33. The image reconstructed by the image reconstruction means 23 is stored in the received image data storage means 24.
【００６６】また、カメラ画像送信側端末装置１は、画
像受信側装置２より、任意の枚数のカメラ画像を一定の
画像フレームレートで連続撮影することを指示する第３
の制御情報３５を受信した場合、前記第３の制御情報３
５により指定された撮影タイミングでカメラ画像３１を
連続撮影し、画像データ記憶手段１４にバッファリング
する。その後、画像データ記憶手段１４にバッファリン
グされているカメラ画像３１を逐次伝送する。Further, the camera image transmitting side terminal device 1 instructs the image receiving side device 2 to continuously photograph an arbitrary number of camera images at a constant image frame rate.
Is received, the third control information 3
The camera image 31 is continuously photographed at the photographing timing designated by 5 and buffered in the image data storage means 14. Thereafter, the camera images 31 buffered in the image data storage means 14 are sequentially transmitted.
【００６７】この際、画像データ記憶手段１４にバッフ
ァリングされている各カメラ画像３１の伝送手順は、前
述したカメラ画像３１の伝送手順と同様であり、各カメ
ラ画像３１全体を伝送すること、もしくは、各カメラ画
像３１の一部の部分領域画像３２を伝送することが可能
である。At this time, the transmission procedure of each camera image 31 buffered in the image data storage means 14 is the same as the transmission procedure of the camera image 31 described above. It is possible to transmit a partial area image 32 of each camera image 31.
【００６８】以上の手順により、低速なデータ通信回線
で伝送可能な画像フレームレートよりも高い画像フレー
ムレートで連続撮影された複数のカメラ画像が必要な場
合に、一時的に画像データ記憶手段１４にバッファリン
グ可能な任意の枚数分だけ、任意の画像フレームレート
で連続撮影したカメラ画像を伝送することが可能とな
る。According to the above procedure, when a plurality of camera images continuously photographed at an image frame rate higher than the image frame rate that can be transmitted through the low-speed data communication line are required, the image data storage means 14 is temporarily stored. It is possible to transmit camera images continuously shot at an arbitrary image frame rate by an arbitrary number of images that can be buffered.
【００６９】[0069]
【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果は以下のとおりである。 （１）魚眼レンズ等を用いたカメラ装置により入力され
る高解像度かつ画像歪みを有するカメラ画像を、ＰＨＳ
等の低速なデータ通信回線を用いて伝送し、画像受信側
装置の画像表示装置等に、視野空間パノラマ画像等を表
示する場合に、カメラ画像送信側端末装置が撮影された
カメラ画像を複数の部分領域に分割し画像データフレー
ムを構築し送信すること、及び処理量の多い画像歪み補
正処理を処理能力の高い画像受信側装置で処理すること
により、カメラ画像の分割方式及び画像データフレーム
の送信順序を適時、画像受信側装置から制御することが
できるので、低速なデータ通信回線を効率良く利用する
ことができる。 （２）画像受信側装置がカメラ画像送信側端末装置に対
してカメラ画像の送信を指示してから、画像受信側装置
の画像表示装置に視野空間パノラマ画像等が出力される
までの遅延時間を低減（短縮）することができる。 （３）カメラ画像送信側端末装置の画像データ記憶部に
複数のカメラ画像をバッファリングした後に、バッファ
リングされたカメラ画像を送信することにより、高い画
像フレームレートでのカメラ画像を得ることができる。The effects obtained by typical ones of the inventions disclosed in the present application are as follows. (1) A camera image having high resolution and image distortion input by a camera device using a fisheye lens or the like is
When using a low-speed data communication line to transmit a panoramic image of the viewing space on an image display device or the like of the image receiving device, the camera image transmitting terminal device transmits a plurality of captured camera images. By dividing the image data into partial areas and constructing and transmitting the image data frame, and processing the image distortion correction processing with a large amount of processing by an image receiving side device having a high processing capability, the division method of the camera image and the transmission of the image data frame Since the order can be appropriately controlled from the image receiving side device, the low speed data communication line can be used efficiently. (2) The delay time from when the image receiving side device instructs the camera image transmitting side terminal device to transmit a camera image to when the view space panorama image or the like is output to the image display device of the image receiving side device is It can be reduced (shortened). (3) By buffering a plurality of camera images in the image data storage unit of the camera image transmitting terminal device and transmitting the buffered camera images, a camera image with a high image frame rate can be obtained. .
【図１】本発明によるカメラ画像伝送システムを利用す
る通信システムの構成例を示す模式図である。FIG. 1 is a schematic diagram showing a configuration example of a communication system using a camera image transmission system according to the present invention.
【図２】本発明による実施形態のカメラ画像伝送システ
ムの概略構成を示すブロック構成図である。FIG. 2 is a block diagram showing a schematic configuration of a camera image transmission system according to an embodiment of the present invention.
【図３】本実施形態のカメラ画像の領域分割の一例を示
す図である。FIG. 3 is a diagram illustrating an example of area division of a camera image according to the present embodiment.
【図４】本実施形態の画像データフレームの一構成例を
示す図である。FIG. 4 is a diagram illustrating a configuration example of an image data frame according to the embodiment;
【図５】本実施形態の部分領域画像の送信順序の一例を
示す図である。FIG. 5 is a diagram illustrating an example of a transmission order of partial area images according to the present embodiment.
【図６】本実施形態の画像送信制御手段の動作フロチャ
ートの一例を示す図である。FIG. 6 is a diagram illustrating an example of an operation flowchart of an image transmission control unit according to the embodiment;
【図７】本実施形態のカメラ画像の領域分割の別の例を
示す図である。FIG. 7 is a diagram illustrating another example of area division of a camera image according to the present embodiment.
１…カメラ画像送信側端末装置、２…画像受信側装置、
３…無線データ通信回線、４…魚眼レンズカメラ、５…
画像表示装置、６…制御パネル、７…通信ネットワー
ク、８…ＰＣ端末、９…データ蓄積装置、１０…無線デ
ータ送信手段、１１…魚眼レンズ、１２…イメージセン
サ、１３…ＤＳＰ、１４…画像データ記憶手段、１５…
画像符号化手段、１６…画像分割制御手段、１７…画像
送信制御手段、２０…無線データ受信手段、２１…画像
復号化手段、２２…画像歪み補正手段、２３…画像再構
築手段、２４…受信画像データ記憶手段、２５…出力イ
ンタフェース、２６…入力インタフェース、２７…制御
情報送信手段、３０…画像データフレーム、３１…カメ
ラ画像、３２…部分領域画像、３３…領域情報、３４…
送信順序、３５…制御情報、４１…部分領域画像符号化
データ。1 ... Camera image transmitting terminal device 2 ... Image receiving device
3: Wireless data communication line, 4: Fisheye lens camera, 5:
Image display device, 6 control panel, 7 communication network, 8 PC terminal, 9 data storage device, 10 wireless data transmission means, 11 fisheye lens, 12 image sensor, 13 DSP, 14 image data storage Means, 15 ...
Image encoding means, 16 image division control means, 17 image transmission control means, 20 wireless data reception means, 21 image decoding means, 22 image distortion correction means, 23 image reconstruction means, 24 reception Image data storage means, 25 output interface, 26 input interface, 27 control information transmitting means, 30 image data frame, 31 camera image, 32 partial area image, 33 area information, 34
Transmission order, 35: control information, 41: partial area image coded data.
フロントページの続き (72)発明者 外村 佳伸 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 5B047 AA30 BB04 BC05 CA14 CB09 5C022 AA01 AB68 AC00 AC01 AC54 5C053 FA07 FA11 FA30 GB36 HA40 LA01 LA11 LA14 5C054 CC03 CC05 DA01 DA07 DA09 EA03 EA05 EG04 EG06 EH00 EH07 FC12 FD02 HA00 HA18 5K034 AA03 AA04 CC02 FF15 HH01 HH02 HH12 HH16Continuation of the front page (72) Inventor Yoshinobu Tomura 3-19-2 Nishi-Shinjuku, Shinjuku-ku, Tokyo F-term in Nippon Telegraph and Telephone Corporation (reference) 5B047 AA30 BB04 BC05 CA14 CB09 5C022 AA01 AB68 AC00 AC01 AC54 5C053 FA07 FA11 FA30 GB36 HA40 LA01 LA11 LA14 5C054 CC03 CC05 DA01 DA07 DA09 EA03 EA05 EG04 EG06 EH00 EH07 FC12 FD02 HA00 HA18 5K034 AA03 AA04 CC02 FF15 HH01 HH02 HH12 HH16
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13266399AJP3550046B2 (en) | 1999-05-13 | 1999-05-13 | Camera image transmission method and camera image transmission system |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13266399AJP3550046B2 (en) | 1999-05-13 | 1999-05-13 | Camera image transmission method and camera image transmission system |
| Publication Number | Publication Date |
|---|---|
| JP2000324474Atrue JP2000324474A (en) | 2000-11-24 |
| JP3550046B2 JP3550046B2 (en) | 2004-08-04 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13266399AExpired - Fee RelatedJP3550046B2 (en) | 1999-05-13 | 1999-05-13 | Camera image transmission method and camera image transmission system |
| Country | Link |
|---|---|
| JP (1) | JP3550046B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004193941A (en)* | 2002-12-11 | 2004-07-08 | Nippon Telegr & Teleph Corp <Ntt> | Arbitrary viewpoint image transmission method and its implementation device, and its processing program and recording medium |
| DE102007013239A1 (en)* | 2007-03-15 | 2008-09-18 | Mobotix Ag | supervision order |
| JP2008227562A (en)* | 2007-03-08 | 2008-09-25 | Sony Corp | Image processor, camera apparatus and camera system |
| WO2014148173A1 (en)* | 2013-03-19 | 2014-09-25 | クラリオン株式会社 | Camera image display system |
| JP2017050818A (en)* | 2015-09-04 | 2017-03-09 | 株式会社ソシオネクスト | Image processing method and image processing program |
| CN109714528A (en)* | 2018-12-11 | 2019-05-03 | Tcl移动通信科技（宁波）有限公司 | Mobile terminal camera data transfer control method, mobile terminal and storage medium |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007129403A (en)* | 2005-11-02 | 2007-05-24 | Olympus Corp | Image encoder and image processing system |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004193941A (en)* | 2002-12-11 | 2004-07-08 | Nippon Telegr & Teleph Corp <Ntt> | Arbitrary viewpoint image transmission method and its implementation device, and its processing program and recording medium |
| JP2008227562A (en)* | 2007-03-08 | 2008-09-25 | Sony Corp | Image processor, camera apparatus and camera system |
| US9065996B2 (en) | 2007-03-15 | 2015-06-23 | Mobotix Ag | Surveillance system |
| DE102007013239A1 (en)* | 2007-03-15 | 2008-09-18 | Mobotix Ag | supervision order |
| WO2008110158A2 (en) | 2007-03-15 | 2008-09-18 | Mobotix Ag | Surveillance system |
| JP2010521844A (en)* | 2007-03-15 | 2010-06-24 | モボティックス アクチエンゲゼルシャフト | Monitoring system |
| EP2137960B1 (en)* | 2007-03-15 | 2018-10-17 | Mobotix AG | Surveillance system |
| JP2014183440A (en)* | 2013-03-19 | 2014-09-29 | Clarion Co Ltd | Camera image display system |
| CN105009573A (en)* | 2013-03-19 | 2015-10-28 | 歌乐牌株式会社 | Camera image display system |
| CN105009573B (en)* | 2013-03-19 | 2016-08-17 | 歌乐牌株式会社 | Camera image displaying system |
| US9467913B2 (en) | 2013-03-19 | 2016-10-11 | Clarion Co., Ltd. | Camera image display system |
| WO2014148173A1 (en)* | 2013-03-19 | 2014-09-25 | クラリオン株式会社 | Camera image display system |
| JP2017050818A (en)* | 2015-09-04 | 2017-03-09 | 株式会社ソシオネクスト | Image processing method and image processing program |
| CN109714528A (en)* | 2018-12-11 | 2019-05-03 | Tcl移动通信科技（宁波）有限公司 | Mobile terminal camera data transfer control method, mobile terminal and storage medium |
| Publication number | Publication date |
|---|---|
| JP3550046B2 (en) | 2004-08-04 |
| Publication | Publication Date | Title |
|---|---|---|
| US20060262365A1 (en) | Method, system and apparatus for imaging by remote control | |
| US6539547B2 (en) | Method and apparatus for electronically distributing images from a panoptic camera system | |
| US7092012B2 (en) | Image processing apparatus and method, storage medium, and communication system | |
| JP5268743B2 (en) | Image communication system | |
| US20080084482A1 (en) | Image-capturing system and method | |
| US20140244858A1 (en) | Communication system and relaying device | |
| JP2008225600A (en) | Image display system, image transmitter, image transmission method, image display device, image display method, and program | |
| KR20130109588A (en) | Apparatus and mehod for processing a image in camera device | |
| US20140092263A1 (en) | System and method for remotely performing image processing operations with a network server device | |
| JP2010171690A (en) | Television conference system and video communication method | |
| JP3550046B2 (en) | Camera image transmission method and camera image transmission system | |
| JP3875133B2 (en) | Image transmission method, apparatus, and program | |
| US20190306462A1 (en) | Image processing apparatus, videoconference system, image processing method, and recording medium | |
| JP2004266670A (en) | Image pickup device and method, image information providing system and program | |
| US7468752B2 (en) | Camera output format for real time viewfinder/video image | |
| EP1441523A1 (en) | Mobile terminal having image processing function and method therefor | |
| JP2004289225A (en) | Imaging apparatus | |
| EP3190460A1 (en) | Image capturing device on a moving body | |
| CN108184053B (en) | Embedded image processing method and device | |
| JP3957156B2 (en) | Image correction method, apparatus, and program | |
| JP3227834B2 (en) | Image processing apparatus and method | |
| JP2001111976A (en) | Video shooting device and communication terminal device | |
| JP2004007066A (en) | Image transmission device | |
| KR20070058263A (en) | How to shoot panoramic images using multiple cameras | |
| JP2006165664A (en) | Image transmission / reception system |
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20040401 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20040420 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20040422 | |
| R150 | Certificate of patent or registration of utility model | Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20090430 Year of fee payment:5 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20090430 Year of fee payment:5 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20100430 Year of fee payment:6 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20100430 Year of fee payment:6 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20110430 Year of fee payment:7 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20120430 Year of fee payment:8 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20130430 Year of fee payment:9 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20140430 Year of fee payment:10 | |
| S531 | Written request for registration of change of domicile | Free format text:JAPANESE INTERMEDIATE CODE: R313531 | |
| R350 | Written notification of registration of transfer | Free format text:JAPANESE INTERMEDIATE CODE: R350 | |
| LAPS | Cancellation because of no payment of annual fees |