JP4245095B2 - Image transmission device - Google Patents

Description

Translated fromJapanese

【０００１】
【発明の属する技術分野】
本発明は、通信回線を経由して画像を送信する画像送信装置に関する。
【０００２】
【従来の技術】
従来より、動画をあらわす画像データをフレーム単位に圧縮して所定のフレームレート（一秒間当りに送信されるフレームの数）で、イーサネット等の通信回線を経由して送信する画像送信装置が知られている。一般に、通信回線にはパーソナルコンピュータ等の端末装置が複数接続されており、それら複数の端末装置が同時に通信回線を使用する要求を出せば、各端末装置間で競合調整が行なわれるため、各端末装置に割り当てられる処理時間は減少し、従って通信回線の、各端末装置における伝送能力は低下することとなる。通信回線の伝送能力が低下すると、上述した画像送信装置では、動画を構成するフレームのうちの一部のフレームについての画像が送信を拒否されて捨てられてしまい、動画の表示が不自然になるという問題がある。
【０００３】
この問題を解決するために、特開平８−０６３４１２号公報に１つの提案がある。この公報によれば、
（１）プロセッサの処理能力（動画の取り込み処理に割り当てられる時間）
（２）通信回線の伝送能力（通信回線を占有できる時間）
をモニタして、その時点で処理可能な最大のフレームレートで画像を送信することにより、動画の表示が不自然になるのを防止している。
【０００４】
【発明が解決しようとする課題】
しかし、上述した公報に提案された技術では、フレームレートが変化するため、表示される動画の動きが不自然になる場合が考えられる。また、画像を圧縮して送信するとはいえ、１フレーム分の画像は数ｋ〜十数ｋバイトになり、このように多量のデータからなる圧縮画像を通信回線を経由して送信する場合、数回〜十数回のパケットに分割する必要がある。ここで、複数の端末装置から通信回線を使用する要求が同時に行なわれて、通信回線の伝送能力が極度に低下した場合、その１フレーム分の画像を全て送信するまでに長い時間がかかり、その時点で定められた処理可能な最大のフレームレートを保つことが困難になり、従って動画表示が不自然になる可能性がある。
【０００５】
本発明は、上記事情に鑑み、動画を自然に表示することができる画像送信装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成する本発明の画像送信装置は、通信回線を経由して画像を送信する画像送信装置において、
（１）上記通信回線の伝送能力をモニタするモニタ部
（２）上記モニタ部によりモニタされた通信回線の伝送能力に応じて、その伝送能力が低下するほど圧縮率を高めた画像圧縮を行なう画像圧縮部
（３）上記画像圧縮部で得られた圧縮画像を送信する画像送信部
を備えたことを特徴とする。
【０００７】
本発明の画像送信装置は、通信回線の伝送能力に応じて、その伝送能力が低下するほど圧縮率を高めた圧縮画像を送信するものであるため、動画の送信にあたり、通信回線の伝送能力が低下した場合であっても、所定のフレームレートで、動画を構成する全てのフレームについての画像を送信することができる。従って、従来の画像送信装置のように、動画を構成するフレームのうちの一部のフレームについての画像が送信を拒否されて捨てられたり、またフレームレートを変化させて対応することに起因する不自然な動画表示もなく、動画を自然に表示することができる。
【０００８】
ここで、上記モニタ部が、上記通信回線の伝送能力を１フレーム分の画像の伝送に要する時間よりも短い周期でモニタするものであって、
上記画像送信部は、１フレーム分の画像の送信の途中で上記モニタ部により現在送信中の画像の圧縮率よりもさらに圧縮率を高めた画像を送信する程度にまで低下したことが検知された場合に送信中の１フレーム分の画像の送信を中断して中断した旨を受信側に向けて送信し、改めて、上記画像圧縮部により新たに圧縮処理の行なわれた、送信を中断したフレームと同一のフレームについての画像から送信を再開するものであることが好ましい。
【０００９】
このようなモニタ部および画像送信部を備えると、通信回線の伝送能力が低下した場合であっても、１フレーム分の画像毎に、伝送能力が低下するほど圧縮率を高めた画像を送信することができるため、動画をより自然に表示することができる。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態について説明する。
【００１１】
図１は、本発明の一実施形態の画像送信装置のブロック図である。
【００１２】
図１に示す画像送信装置１０は、動画の送信を行なうにあたり、通信回線の伝送能力が低下した場合であっても、所定のフレームレートで、動画を構成する全てのフレームについての画像を送信するとともに、１フレーム分の画像毎に、伝送能力が低下するほど圧縮率を高めた画像を送信する装置である。以下、この画像送信装置１０の構成について説明する。
【００１３】
図１に示す画像送信装置１０には、カメラ１１と、メモリ１２と、通信回線モニタ部１３と、圧縮率コントロール部１４と、動画取り込み圧縮処理部１５と、圧縮データ送信処理部１６とが備えられている。
【００１４】
カメラ１１は、レンズを通して結像される被写体像を固体撮影素子（ＣＣＤ）で映像信号に変換し、さらにこの映像信号をディジタルの画像データに変換してメモリ１２に向けて出力する。
【００１５】
メモリ１２は、カメラ１１からの画像データを記憶する。
【００１６】
通信回線モニタ部１３は、詳細は後述する圧縮データ送信処理部１６を介して通信回線の伝送能力を１フレーム分の画像の伝送に要する時間よりも短い周期でモニタする。このように短い周期でモニタすることにより、１フレーム分の画像の伝送の途中で通信回線の伝送能力が低下した場合であっても、後述するようにして、その１フレームの画像の送信を中断し、改めて、送信を中断したフレームと同じフレームについての画像を圧縮率を高めて送信することが可能となる。
【００１７】
圧縮率コントロール部１４および動画取り込み圧縮処理部１５は、本発明にいう画像圧縮部に相当し、圧縮率コントロール部１４は、通信回線モニタ部１３によりモニタされた通信回線の伝送能力に応じて、その伝送能力が低下するほど縮率を高めた圧縮率を動画取り込み圧縮処理部１５に向けて出力する。
【００１８】
動画取り込み圧縮処理部１５は、メモリ１２に記憶された画像データを読み出し、読み出された画像データを、圧縮率コントロール部１４から出力された圧縮率で圧縮する。圧縮された画像データは、圧縮データ送信処理部１６に向けて出力される。
【００１９】
圧縮データ送信処理部１６は、動画取り込み圧縮処理部１５からの圧縮画像データを、通信回線を経由して受信側（図示せず）に送信する。この圧縮データ送信処理部１６は、送信にあたり、１フレーム分の画像の送信の途中で上記通信回線モニタ部１３により現在送信中の画像の圧縮率よりもさらに圧縮率を高めた画像を送信する程度にまで低下したことが検知された場合に送信中の１フレーム分の画像の送信を中断して中断した旨を受信側に向けて送信する。さらに、改めて、通信回線モニタ部１３，圧縮率コントロール部１４を介して動画取り込み圧縮処理部１５で新たに圧縮処理の行なわれた、送信を中断したフレームと同一のフレームについての画像から送信を再開する。
【００２０】
以下、図１に示す画像送信装置１０の動作について説明する。
【００２１】
カメラ１１で撮影された動画をあらわす映像信号はディジタルの画像データに変換されてメモリ１２に格納される。メモリ１２に格納された画像データは、動画取り込み圧縮処理部１５で１フレーム分毎に読み出され所定の圧縮率で圧縮処理される。圧縮処理された画像データは、圧縮データ送信処理部１６に入力される。圧縮データ送信処理部１６では、所定のフレームレートで、１フレーム分の画像毎に通信回線を経由して受信側（図示せず）に送信する。一方、通信回線モニタ部１３は、圧縮データ送信処理部１６を介して、１フレーム分の画像の伝送に要する時間よりも短い周期で通信回線の伝送能力をモニタする。
【００２２】
ここで、１フレーム分の画像の伝送の途中で、通信回線モニタ部１３により、現在送信中の画像の圧縮率よりもさらに圧縮率を高めた画像を送信する程度にまで通信回線の伝送能力が低下したことが検知されたものとする。すると、圧縮データ送信処理部１６では、送信中の１フレーム分の画像の送信を中断して中断した旨を受信側に向けて送信する。また圧縮率コントロール部１４でも、通信回線モニタ部１３からの検知を受けて、通信回線の低下した度合いに対応する、現在送信中の画像の圧縮率よりもさらに高い圧縮率を出力する。動画取り込み圧縮処理部１５では、この高い圧縮率で現在送信中の画像データを圧縮し、圧縮された圧縮データを圧縮データ送信処理部１６に向けて出力する。圧縮データ送信処理部１６では、この画像データを、送信を中断したフレームと同一のフレームについての画像として送信する。これにより、改めて、送信を中断したフレームと同一のフレームについての画像から送信が再開される。
【００２３】
本実施形態の画像送信装置１０は、このように、１フレーム分の画像の送信の途中で通信回線の伝送能力が低下した場合であっても、フレームレートを変化させることなく、送信中の１フレーム分の画像の送信を中断し、改めて、さらに圧縮率を高めた１フレーム分の画像を送信するものであるため、動画を自然に表示することができる。
【００２４】
【発明の効果】
以上説明したように、本発明によれば、動画を自然に表示することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の画像送信装置のブロック図である。
【符号の説明】
１０ 画像送信装置
１１ カメラ
１２ メモリ
１３ 通信回線モニタ部
１４ 圧縮率コントロール部
１５ 動画取り込み圧縮処理部
１６ 圧縮データ送信処理部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image transmission apparatus that transmits an image via a communication line.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there has been known an image transmission apparatus that compresses image data representing a moving picture in units of frames and transmits the data via a communication line such as Ethernet at a predetermined frame rate (the number of frames transmitted per second). ing. In general, a plurality of terminal devices such as personal computers are connected to the communication line, and if the plurality of terminal devices issue requests to use the communication line at the same time, contention adjustment is performed between the terminal devices. The processing time allocated to the apparatus is reduced, and therefore the transmission capacity of each communication terminal in the communication line is reduced. When the transmission capability of the communication line is reduced, in the above-described image transmission device, images of some of the frames constituting the moving image are rejected and discarded, and the moving image display becomes unnatural. There is a problem.
[0003]
In order to solve this problem, there is one proposal in JP-A-8-063412. According to this publication,
(1) Processing capacity of processor (time allotted for moving image capture processing)
(2) Transmission capacity of communication line (time when communication line can be occupied)
Is monitored, and an image is transmitted at the maximum frame rate that can be processed at that time, thereby preventing unnatural display of the moving image.
[0004]
[Problems to be solved by the invention]
However, in the technique proposed in the above-mentioned publication, since the frame rate changes, the motion of the displayed moving image may be unnatural. In addition, although an image is compressed and transmitted, an image for one frame is several k to several tens of kilobytes. When a compressed image consisting of a large amount of data is transmitted via a communication line as described above, It is necessary to divide the packet into 10 to 10 or more times. Here, when requests for using a communication line are simultaneously made from a plurality of terminal devices and the transmission capability of the communication line is extremely reduced, it takes a long time to transmit all the images for one frame. It may be difficult to maintain the maximum processable frame rate determined at the time, and the moving image display may become unnatural.
[0005]
In view of the above circumstances, an object of the present invention is to provide an image transmission device capable of naturally displaying a moving image.
[0006]
[Means for Solving the Problems]
The image transmission apparatus of the present invention that achieves the above object is an image transmission apparatus that transmits an image via a communication line.
(1) A monitor unit that monitors the transmission capability of the communication line. (2) An image that performs image compression with a higher compression ratio as the transmission capability decreases in accordance with the transmission capability of the communication line monitored by the monitor unit. Compression unit (3) An image transmission unit for transmitting the compressed image obtained by the image compression unit is provided.
[0007]
The image transmission apparatus according to the present invention transmits a compressed image with a higher compression ratio as the transmission capability decreases according to the transmission capability of the communication line. Even in the case of a decrease, it is possible to transmit images for all the frames constituting the moving image at a predetermined frame rate. Therefore, as in the conventional image transmission apparatus, the image of some of the frames constituting the moving image is rejected for transmission and discarded, or caused by changing the frame rate. There is no natural video display and video can be displayed naturally.
[0008]
Here, the monitor unit monitors the transmission capability of the communication line at a cycle shorter than the time required to transmit an image for one frame,
It has been detected that the image transmission unit has fallen to the extent that an image with a higher compression rate than that of the image currently being transmitted is transmitted by the monitor unit during transmission of an image for one frame. In this case, the transmission of the image for one frame being transmitted is interrupted and transmitted to the reception side, and the transmission is interrupted again and the transmission compression is newly performed by the image compression unit. It is preferable that transmission is resumed from an image for the same frame.
[0009]
When such a monitor unit and image transmission unit are provided, even if the transmission capability of the communication line is reduced, an image with a higher compression rate is transmitted for each image of one frame as the transmission capability is reduced. Therefore, the moving image can be displayed more naturally.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described.
[0011]
FIG. 1 is a block diagram of an image transmission apparatus according to an embodiment of the present invention.
[0012]
Theimage transmitting apparatus 10 shown in FIG. 1 transmits images for all frames constituting a moving image at a predetermined frame rate even when the transmission capability of the communication line is reduced when transmitting the moving image. At the same time, for each image for one frame, the apparatus transmits an image with a higher compression ratio as the transmission capability decreases. Hereinafter, the configuration of theimage transmission apparatus 10 will be described.
[0013]
Theimage transmission apparatus 10 shown in FIG. 1 includes acamera 11, amemory 12, a communicationline monitor unit 13, a compressionrate control unit 14, a moving image capturecompression processing unit 15, and a compressed datatransmission processing unit 16. It has been.
[0014]
Thecamera 11 converts a subject image formed through a lens into a video signal by a solid-state imaging device (CCD), further converts the video signal into digital image data, and outputs it to thememory 12.
[0015]
Thememory 12 stores image data from thecamera 11.
[0016]
The communicationline monitoring unit 13 monitors the transmission capability of the communication line through a compressed datatransmission processing unit 16 described later in detail at a cycle shorter than the time required to transmit an image for one frame. By monitoring in such a short cycle, even if the transmission capacity of the communication line is reduced during the transmission of an image for one frame, transmission of the image for that frame is interrupted as described later. Then, it is possible to transmit an image for the same frame as the frame for which transmission is interrupted with an increased compression rate.
[0017]
The compressionrate control unit 14 and the moving image capturecompression processing unit 15 correspond to the image compression unit according to the present invention, and the compressionrate control unit 14 corresponds to the transmission capacity of the communication line monitored by the communicationline monitor unit 13. A compression rate with a higher reduction rate as the transmission capability decreases is output to the moving image capturecompression processing unit 15.
[0018]
The moving image capturecompression processing unit 15 reads the image data stored in thememory 12 and compresses the read image data at the compression rate output from the compressionrate control unit 14. The compressed image data is output to the compressed datatransmission processing unit 16.
[0019]
The compressed datatransmission processing unit 16 transmits the compressed image data from the moving image capturecompression processing unit 15 to the receiving side (not shown) via the communication line. The compressed datatransmission processing unit 16 transmits an image having a higher compression rate than the compression rate of the image currently being transmitted by the communicationline monitoring unit 13 during transmission of an image for one frame. When it is detected that the image has been lowered to the point of time, the transmission of the image for one frame being transmitted is interrupted, and the fact that it has been interrupted is transmitted to the receiving side. Furthermore, transmission is resumed from an image of the same frame as the frame for which transmission has been interrupted, which has been newly compressed by the moving image capturing /compression processing unit 15 via the communicationline monitor unit 13 and the compressionrate control unit 14. To do.
[0020]
Hereinafter, the operation of theimage transmission apparatus 10 shown in FIG. 1 will be described.
[0021]
A video signal representing a moving image shot by thecamera 11 is converted into digital image data and stored in thememory 12. The image data stored in thememory 12 is read out every frame by the moving image capturing /compression processing unit 15 and compressed at a predetermined compression rate. The compressed image data is input to the compressed datatransmission processing unit 16. The compressed datatransmission processing unit 16 transmits each image for one frame to the receiving side (not shown) via a communication line at a predetermined frame rate. On the other hand, the communicationline monitor unit 13 monitors the transmission capability of the communication line via the compressed datatransmission processing unit 16 at a cycle shorter than the time required for transmitting one frame of image.
[0022]
Here, in the middle of transmission of an image for one frame, the transmission capacity of the communication line is such that the communicationline monitor unit 13 transmits an image having a higher compression ratio than the compression ratio of the image currently being transmitted. It is assumed that a drop has been detected. Then, the compressed datatransmission processing unit 16 suspends the transmission of the image for one frame being transmitted and transmits a message indicating that the image has been interrupted to the reception side. The compressionrate control unit 14 also receives a detection from the communicationline monitor unit 13 and outputs a compression rate that is higher than the compression rate of the currently transmitted image corresponding to the degree of reduction of the communication line. The moving image capturecompression processing unit 15 compresses the image data currently being transmitted at this high compression rate, and outputs the compressed data to the compressed datatransmission processing unit 16. The compressed datatransmission processing unit 16 transmits this image data as an image for the same frame as the frame for which transmission was interrupted. As a result, transmission is restarted from the image for the same frame as the frame for which transmission was interrupted.
[0023]
As described above, theimage transmission apparatus 10 according to the present embodiment does not change the frame rate without changing the frame rate even when the transmission capability of the communication line is reduced during transmission of an image for one frame. Since the transmission of the image for the frame is interrupted and the image for one frame with a further increased compression rate is transmitted again, the moving image can be displayed naturally.
[0024]
【The invention's effect】
As described above, according to the present invention, a moving image can be naturally displayed.
[Brief description of the drawings]
FIG. 1 is a block diagram of an image transmission apparatus according to an embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OFSYMBOLS 10Image transmitter 11Camera 12Memory 13 Communication line monitorpart 14 Compressionrate control part 15 Moving image takingcompression process part 16 Compressed data transmission process part

Claims (1)

Translated fromJapanese

通信回線を経由して画像を送信する画像送信装置において、
前記通信回線の伝送能力を１フレーム分の画像の伝送に要する時間よりも短い周期でモニタするモニタ部と、
前記モニタ部によりモニタされた通信回線の伝送能力に応じて、該伝送能力が低下するほど圧縮率を高めた画像圧縮を行なう画像圧縮部と、
前記画像圧縮部で得られた圧縮画像を送信する画像送信部とを備え、
前記画像送信部は、１フレーム分の送信の画像の送信の途中で、前記モニタ部により、現在送信中の画像の圧縮率では所定のフレームレートで送信することが困難な程度にまで前記通信回線の伝送能力が低下したことが検知された場合に、送信中の１フレーム分の画像の送信を中断し、改めて、前記画像圧縮部により送信を中断する以前よりもさらに高い圧縮率で新たに圧縮処理の行なわれた画像データを、送信を中断したフレームと同一のフレームについての画像から送信を再開するものであることを特徴とする画像送信装置。In an image transmission device that transmits an image via a communication line,
A monitor unitthat monitors the transmission capability of the communication line at acycle shorter than the time required to transmit an image forone frame ;
In accordance with the transmission capability of the communication line monitored by the monitor unit, an image compression unit that performs image compression with an increased compression rate as the transmission capability decreases;
An image transmission unit that transmits the compressed image obtained by the image compression unit,
In the middle of transmission of an image for transmission of one frame, the image transmission unit is configured so that it is difficult for the monitor unit to transmit at a predetermined frame rate with a compression rate of an image currently being transmitted. When it is detected that the transmission capacity of the image is reduced, transmission of the image for one frame being transmitted is interrupted, and the image compression unit newly compresses the image at a higher compression rate than before the transmission is interrupted. An image transmission apparatus characterizedby restarting transmission of processed image data from an image of the same frame as the frame for which transmission was interrupted .

Images