【０００１】[0001]
【発明の属する技術分野】本発明は、ブロック単位の符
号化処理を行う不可逆画像符号化による圧縮を用いた実
時間画像通信装置等において、画像受信側のユーザが復
号画像の画面上における特定領域の画質を操作できる機
能を備えた画像通信装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a real-time image communication apparatus and the like using compression by irreversible image coding which performs block-based coding processing. The present invention relates to an image communication device having a function of controlling the image quality of an image.
【０００２】[0002]
【従来の技術】本発明に近い技術として、画像送信側で
画像符号化の前に符号化対象となる画像を解析し、特定
の条件を満たした領域に関しては復号時の画質が高くな
るように、画像を符号化する符号化方式がある。この例
の文献として、（ＰＣＳＪ９５，１９９５年画像符号化
シンポジウム，５−６，ｐｐ８５−８６「注視領域優先
符号化方式の検討」中嶋、野中、三部、中村）がある。2. Description of the Related Art As a technique close to the present invention, an image to be encoded is analyzed on the image transmitting side before image encoding, and the image quality at the time of decoding is improved in a region satisfying a specific condition. And an encoding method for encoding an image. The literature of this example is (PCSJ95, 1995 Image Coding Symposium, 5-6, pp. 85-86, "Study of Gaze Area Priority Coding", Nakajima, Nonaka, Sanbe, Nakamura).
【０００３】そのような符号化方式を実現する装置の構
成を図７に示す。ここで、画像送信装置（Ａ）は、画像
入力装置（１）、画像符号化装置（２）、送信装置
（３）、画像解析装置（７）からなる。画像受信装置
（Ｂ）は、受信装置（４）、画像復号化装置（５）、画
像表示装置（６）からなる。FIG. 7 shows a configuration of an apparatus for realizing such an encoding method. Here, the image transmission device (A) includes an image input device (1), an image encoding device (2), a transmission device (3), and an image analysis device (7). The image receiving device (B) includes a receiving device (4), an image decoding device (5), and an image display device (6).
【０００４】画像符号化装置（２）は、量子化パラメー
タ決定部（２−ｂ）と、符号化処理部（２−ａ）からな
り、入力される画像が符号化処理部（２−ａ）で量子化
パラメータ（２１）に応じて符号化されストリーム（１
３）として出力される。量子化パラメータ（２１）は画
像解析装置７により指定される領域を示す情報によって
決定される。The image encoding device (2) comprises a quantization parameter determining unit (2-b) and an encoding processing unit (2-a), and the input image is encoded by the encoding processing unit (2-a). And the stream (1) encoded according to the quantization parameter (21).
Output as 3). The quantization parameter (21) is determined by information indicating an area specified by the image analysis device 7.
【０００５】まず、画像入力装置（１）において、符号
化可能な形式の入力画像（１２）として画像が出力され
る。つづいて、画像符号化装置（２）において圧縮符号
化され、ストリーム（１３）が生成される。First, an image is output from an image input device (1) as an input image (12) in a format that can be encoded. Subsequently, the image is compressed and encoded in the image encoding device (2) to generate a stream (13).
【０００６】生成されたストリーム（１３）は、画像送
信装置（Ａ）の送信装置（３）から画像受信装置（Ｂ）
の受信装置（４）に送られる。このストリームは、画像
復号化装置（５）において画像データに復号され、画像
表示装置（６）において復号画像（１４）が表示され
る。[0006] The generated stream (13) is transmitted from the transmitting device (3) of the image transmitting device (A) to the image receiving device (B).
To the receiving device (4). This stream is decoded into image data by the image decoding device (5), and the decoded image (14) is displayed on the image display device (6).
【０００７】ここで、 ａ）画像送信装置（Ａ）の画像解析装置（７）が入力画
像（１２）を解析し、画像受信装置（Ｂ）のユーザが注
視すると予想される領域を特定の条件にしたがって自動
的に特定する。その条件としては、画像の中央部付近、
画像の輪郭の存在する部分などが用いられる。Here, a) The image analysis device (7) of the image transmission device (A) analyzes the input image (12), and determines a region expected to be watched by the user of the image reception device (B) under specific conditions. Automatically specified in accordance with The conditions include near the center of the image,
A portion where the outline of the image exists is used.
【０００８】ｂ）画像符号化装置（２）に、領域を示す
情報（１５）が入力され、その領域について、ほかの領
域よりも復号化時の画質が良くなるように、画質決定パ
ラメータである量子化パラメータ（２１）を変化させて
符号化処理を施す。B) Information (15) indicating an area is input to the image encoding device (2), and is an image quality determining parameter so that the image quality of the area at the time of decoding is better than other areas. The encoding process is performed by changing the quantization parameter (21).
【０００９】ｃ）全体としての発生符号量に大きな変化
がないように、その他の領域においては、逆に画質が低
くなるように量子化パラメータ（２１）が設定される。C) In other areas, the quantization parameter (21) is set so that the picture quality is low in the other areas so that the generated code amount as a whole does not greatly change.
【００１０】ｄ）画像受信装置（Ｂ）にそのストリーム
（１３）が送信され、画像復号化装置（５）において復
号化される。D) The stream (13) is transmitted to the image receiving device (B), and is decoded in the image decoding device (5).
【００１１】これにより、全体としての発生符号量を大
きく変化させることなく、復号画像（１４）においては
人物の顔などのユーザにとって視覚的に重要な領域の画
質が視覚的に重要でない領域に比べて良くなり、受信側
のユーザは主観的に画質が高いと感じる画像を見ること
ができる。As a result, the image quality of a region that is visually important to the user, such as the face of a person, in the decoded image (14) can be compared with a region that is not visually important without largely changing the amount of generated code as a whole. As a result, the user on the receiving side can subjectively view an image that the user feels high in image quality.
【００１２】[0012]
【発明が解決しようとする課題】上に述べた従来技術の
場合、図７に示すように、画像送信装置（Ａ）の画像解
析装置（７）においては、入力画像（１２）の通信に際
して、特定の条件を用いて受信側のユーザが注視すると
推測できる領域を自動的に確定するため、画像受信側の
ユーザがより鮮明に見たい領域と、画像送信側の画像解
析装置によって特定される領域とが必ずしも一致しない
という問題がある。たとえば、画像受信者が画面上のど
のような領域を鮮明に見たいと思うかはその場合によっ
てさまざまである。In the case of the above-mentioned prior art, as shown in FIG. 7, in the image analysis device (7) of the image transmission device (A), when the input image (12) is communicated, A region that can be estimated to be watched by the user on the receiving side using a specific condition is automatically determined, so that a region that the user on the image receiving side wants to see more clearly and a region that is specified by the image analysis device on the image transmitting side Is not always the same. For example, the area on the screen that the image recipient wants to see sharply varies from case to case.
【００１３】また、一般的に、画像圧縮を用いた画像通
信においてそのビットレートが低い場合、画面全体にわ
たって画像パターンを十分に認識できないほどに画質が
低下する場合がある。しかし、従来の方法においては、
画質の制御は、図７に示すとおり、画像送信装置（Ａ）
の中で閉じており、画像受信側のユーザが注視する領域
の画質が不十分で、その領域に関してより高い画質が必
要であると感じても、そのような要求を反映する手段は
従来の枠組みにおいては困難であった。In general, when the bit rate is low in image communication using image compression, the image quality may be so low that the image pattern cannot be sufficiently recognized over the entire screen. However, in the conventional method,
As shown in FIG. 7, the control of the image quality is performed by the image transmitting apparatus (A).
Even if the image receiving user feels that the image quality of the area to be watched is insufficient and the image receiving user feels that a higher image quality is required for that area, the means for reflecting such a request is based on the conventional framework. Was difficult.
【００１４】このような要求を反映させることが可能な
装置がより容易な構成によって実現されることが求めら
れている。It is demanded that a device capable of reflecting such a demand be realized with a simpler configuration.
【００１５】本発明の目的は、画像受信側のユーザが特
定の領域をより高い画質で見たいという要求を直接画像
送信側の装置に反映させることができる画像通信装置を
提供することにある。[0015] It is an object of the present invention to provide an image communication apparatus which can directly reflect a request for a user on the image receiving side to view a specific area with higher image quality to the apparatus on the image transmitting side.
【００１６】[0016]
【課題を解決するための手段】本発明は、画像受信側の
ユーザが画面上の特定の領域をより詳しく見たいという
要求を画像送信側装置に反映させるという目的を達成す
るために、画像受信側のユーザが画像受信装置内の画像
複号化装置により復号された画像を見ながら、より高い
画質が必要だと考える領域を主観的に判断し、画面の特
定の領域を指定する情報を画像受信側の入力装置を用い
て入力し、その領域情報を画像送信装置に送信し、画像
送信装置においてその領域情報を受信し、さらに画像送
信側の画像符号化処理において、復号化時の画質を決定
する画質決定パラメータを、指定領域に関しては画質が
向上するように、もしくは割当符号量を多くするように
変化させ、逆にそれ以外の領域に関しては全体の発生符
号量が同程度になるように割当符号量が少なくなるよう
に、もしくは画質が低下するように変化させることで、
画像受信装置における復号画像の画質に反映させるもの
で、以下の構成を特徴とする。SUMMARY OF THE INVENTION According to the present invention, there is provided an image receiving apparatus in which an image receiving side user is requested to view a specific area on a screen in more detail. While viewing the image decoded by the image decoding device in the image receiving device, the user on the side side subjectively determines an area where higher image quality is necessary, and outputs information specifying a specific area on the screen to the image. Input using the input device on the receiving side, transmit the area information to the image transmitting apparatus, receive the area information in the image transmitting apparatus, and further, in the image encoding processing on the image transmitting side, determine the image quality at the time of decoding. The determined image quality determination parameters are changed so as to improve the image quality in the designated area or to increase the allocated code amount, and conversely, in the other areas, the generated code amount becomes substantially the same. As assigned code amount is small as, or that the image quality is varied to decrease,
This is reflected on the image quality of the decoded image in the image receiving apparatus, and is characterized by the following configuration.
【００１７】（１）画像符号化装置により圧縮された画
像情報を送信する画像送信装置と、圧縮された画像情報
を受信し画像復号化装置により伸長する画像受信装置と
からなる画像通信装置において、前記画像受信装置は、
受信画面の特定の領域をユーザが指定できる入力装置
と、この入力装置によって指定された画面の特定の領域
を示す情報を前記画像送信装置側に送信する送信装置を
設け、前記画像送信装置は、前記特定の領域を示す情報
を受信する受信装置と、前記画像符号化装置による画像
符号化時の画質決定パラメータを前記受信装置が受信し
た特定の領域について変化させる領域情報処理装置を設
けたことを特徴とする。(1) An image communication device comprising an image transmitting device for transmitting image information compressed by an image encoding device, and an image receiving device for receiving compressed image information and decompressing by an image decoding device, The image receiving device,
An input device that allows a user to specify a specific area of the reception screen, and a transmission device that transmits information indicating a specific area of the screen specified by the input device to the image transmission device side, the image transmission device includes: A receiving device that receives the information indicating the specific region, and an area information processing device that changes an image quality determination parameter at the time of image encoding by the image encoding device for the specific region received by the receiving device is provided. Features.
【００１８】（２）上記（１）の構成において、前記画
像符号化装置が符号化時に画質決定パラメータとして領
域に割り当てる目標符号量を用いている場合、前記領域
情報処理装置は前記受信装置が受信した特定の領域を示
す情報に基づき前記画像符号化装置の符号化時の割り当
て符号量を変化させることを特徴とする。(2) In the configuration of (1), when the image encoding device uses a target code amount to be assigned to an area as an image quality determination parameter during encoding, the area information processing apparatus receives The code amount allocated at the time of encoding of the image encoding device is changed based on the information indicating the specific area.
【００１９】（３）上記（１）又は（２）の構成におい
て、前記画像符号化装置が複数の単位符号化装置から構
成され、符号化装置に入力された画像が複数の領域に分
割され、それぞれの領域に対応する単位符号化装置によ
って並列に符号化処理が行われる場合、前記領域情報処
理装置は前記受信装置が受信した特定の領域を示す情報
に基づき前記各単位符号化装置の画像符号化への割り当
て符号量を変化させることを特徴とする。(3) In the configuration of the above (1) or (2), the image encoding device comprises a plurality of unit encoding devices, and an image input to the encoding device is divided into a plurality of regions, When the encoding process is performed in parallel by the unit encoding devices corresponding to the respective regions, the region information processing device determines the image code of each of the unit encoding devices based on information indicating the specific region received by the receiving device. The present invention is characterized in that the amount of code allocated to the conversion is changed.
【００２０】[0020]
【発明の実施の形態】以下の各実施形態においては、画
像符号化方式として、Ｈ.２６１，Ｈ.２６３，ＭＰＥＧ
−１，ＭＰＥＧ−２などのマクロブロック単位で量子化
パラメータが画質決定パラメータとして設定されている
符号化方式とする実時間画像通信装置に適用した場合で
説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In the following embodiments, H.261, H.263, MPEG
A case will be described in which the present invention is applied to a real-time image communication apparatus using a coding method in which a quantization parameter is set as a picture quality determination parameter in macroblock units such as MPEG-1 and MPEG-2.
【００２１】（第１の実施形態）本実施形態の構成図を
図１に示す。同図が図７と異なる部分は、画像送信装置
（Ａ）では画像解析装置（７）に代えて受信装置（１
０）と領域情報処理装置（１１）を設け、画像受信装置
（Ｂ）では領域入力装置（８）と送信装置（９）を設け
た点にある。(First Embodiment) FIG. 1 shows a configuration diagram of this embodiment. This figure differs from FIG. 7 in that the image transmitting apparatus (A) is replaced with the receiving apparatus (1) instead of the image analyzing apparatus (7).
0) and an area information processing apparatus (11), and the image receiving apparatus (B) is provided with an area input apparatus (8) and a transmitting apparatus (9).
【００２２】画像符号化装置（２）は量子化パラメータ
決定部（２−ｂ）と符号化処理部（２−ａ）からなり、
入力される画像が符号化処理部（２−ａ）で量子化パラ
メータ（２１）に応じて符号化されストリーム（１３）
として出力される。量子化パラメータ（２１）は符号化
処理部（２−ａ）からの符号化処理情報（２２）と領域
情報処理装置（１１）から入力されるマクロブロックを
指定する情報（１７）によって決定される。これら装置
を使った画像の送受信処理を以下に詳細に説明する。The image encoding device (2) comprises a quantization parameter determining section (2-b) and an encoding processing section (2-a).
The input image is encoded by the encoding processing unit (2-a) according to the quantization parameter (21), and the stream (13)
Is output as The quantization parameter (21) is determined by the coding processing information (22) from the coding processing unit (2-a) and the information (17) specifying the macroblock input from the area information processing device (11). . The image transmission / reception processing using these devices will be described in detail below.
【００２３】ａ）まず、外部より、画像送信装置（Ａ）
の画像入力装置（１）に画像が取り込まれる。A) First, an image transmitting apparatus (A) is externally provided.
The image is taken into the image input device (1).
【００２４】ｂ）画像送信装置（Ａ）の画像入力装置
（１）において、画像送信装置（Ａ）の画像符号化装置
（２）で符号化が可能なフォーマットに変換され、入力
画像（１２）が出力される。B) In the image input device (1) of the image transmission device (A), the input image (12) is converted into a format that can be encoded by the image encoding device (2) of the image transmission device (A). Is output.
【００２５】ｃ）画像送信装置（Ａ）の画像符号化装置
（２）において、入力画像（１２）が圧縮符号化され、
ストリーム（１３）として出力される。C) In the image encoding device (2) of the image transmitting device (A), the input image (12) is compression-encoded,
Output as a stream (13).
【００２６】ｄ）画像送信装置（Ａ）の送信装置（３）
において、ストリーム（１３）が画像受信装置（Ｂ）に
送信される。D) Transmission device (3) of image transmission device (A)
In, the stream (13) is transmitted to the image receiving device (B).
【００２７】ｅ）画像受信装置（Ｂ）の受信装置（４）
において、ストリーム（１３）が受信される。E) Receiving device (4) of image receiving device (B)
At, a stream (13) is received.
【００２８】ｆ）画像受信装置（Ｂ）の画像復号化装置
（５）において、ストリーム（１３）が伸長復号化され
る。F) In the image decoding device (5) of the image receiving device (B), the stream (13) is decompressed and decoded.
【００２９】ｇ）画像受信装置（Ｂ）の画像表示装置
（６）において、復号画像（１４）が表示される。G) The decoded image (14) is displayed on the image display device (6) of the image receiving device (B).
【００３０】ｈ）画像受信側のユーザが画像受信装置
（Ｂ）の画像表示装置（６）における復号画像（１４）
を見て、より鮮明な画質で見たいと思う領域を画面内か
ら選び、画像受信側のユーザが画像受信装置（Ｂ）の領
域情報入力装置（８）を用いて、その領域を任意の大き
さと位置の長方形領域として指定する。H) The user on the image receiving side reads the decoded image (14) on the image display device (6) of the image receiving device (B).
, The user selects an area that he / she wants to see with a clearer image quality from the screen, and the user on the image receiving side uses the area information input device (8) of the image receiving device (B) to make the region an arbitrary size. Specify as a rectangular area between and
【００３１】ｉ）領域情報入力装置（８）の例としては
マウスを使用した装置が挙げられ、その場合、特定の長
方形の領域をその左上の座標と右下の座標をクリックア
ンドドラッグすることにより指定する。I) An example of the area information input device (8) is a device using a mouse. In this case, a specific rectangular area is clicked and dragged by clicking its upper left coordinate and lower right coordinate. specify.
【００３２】ｊ）画像受信装置（Ｂ）の領域入力装置
（８）出力として、特定の長方形領域を表す左上の座標
と右下の座標の２つの座標データからなる領域情報（１
６）が送信装置（９）に送られる。J) The area input device (8) of the image receiving apparatus (B) outputs, as an output, area information (1) consisting of two coordinate data of upper left coordinates and lower right coordinates representing a specific rectangular area.
6) is sent to the transmitting device (9).
【００３３】ｋ）画像受信装置（Ｂ）の送信装置（９）
によって、領域情報（１６）が画像送信装置（Ａ）に送
信される。K) Transmission device (9) of image receiving device (B)
Thus, the area information (16) is transmitted to the image transmitting device (A).
【００３４】ｌ）画像送信装置（Ａ）の受信装置（１
０）において、領域情報（１６）が受信される。L) Receiving device (1) of image transmitting device (A)
At 0), the area information (16) is received.
【００３５】ｍ）画像送信装置（Ａ）の受信装置（１
０）から領域情報を受け取った領域情報処理装置（１
１）において、領域情報（１６）がマクロブロックの複
数の組み合わせ、または特定の１つで示される表現に変
換される。M) Receiving device (1) of image transmitting device (A)
Area information processing apparatus (1) that has received the area information from (0)
In 1), the area information (16) is converted into a plurality of combinations of macroblocks or a representation indicated by a specific one.
【００３６】ｎ）領域情報である長方形領域の左上と右
下の２点の座標を、最も近いマクロブロックの頂点の座
標に変換し、そこから長方形領域を近似するマクロブロ
ックの組み合わせを求め、それを構成するマクロブロッ
クを指し示す情報（１７）を出力する。これを図２に示
す。N) The coordinates of the upper left and lower right points of the rectangular area, which is the area information, are converted into the coordinates of the vertices of the closest macroblock, and a combination of macroblocks approximating the rectangular area is obtained therefrom. Is output as information (17) indicating the macroblocks constituting. This is shown in FIG.
【００３７】ｏ）画像符号化装置（２）においては、以
下の符号化処理を行う。O) The image encoding device (2) performs the following encoding processing.
【００３８】（ｏ−１）各マクロブロックで量子化パラ
メータ（２１）を決定する処理において量子化パラメー
タを一旦仮に決定する。(O-1) In the process of determining the quantization parameter (21) for each macroblock, the quantization parameter is temporarily determined.
【００３９】（ｏ−２）当該マクロブロックが入力され
たマクロブロックを指し示す情報（１７）で指定された
マクロブロックに該当する場合にのみ、あらかじめ定め
た値を仮に決定した量子化パラメータから一定の割合だ
け小さくした値を最終的な量子化パラメータ（２１）と
して決定する。(O-2) Only when the macroblock corresponds to the macroblock specified by the information (17) indicating the input macroblock, a predetermined value is set to a predetermined value from the provisionally determined quantization parameter. The value reduced by the ratio is determined as the final quantization parameter (21).
【００４０】（ｏー３）量子化パラメータの最小値が、
符号化方式もしくは画像復号化装置（２）により規定さ
れている場合は最終的な量子化パラメータ（２１）が最
小値を下回らないように決定する。(O-3) The minimum value of the quantization parameter is
If the encoding method or the image decoding device (2) specifies the final quantization parameter (21), the final quantization parameter (21) is determined so as not to fall below the minimum value.
【００４１】（ｏ−４）当該マクロブロックが入力され
たマクロブロックを指し示す情報（１７）で指定された
領域に該当しない領域においては、図面全体としての発
生符号量が変わらないように量子化パラメータ（２１）
を決定し、相対的に大きな量子化パラメータ（２１）を
決定する。(O-4) In an area that does not correspond to the area specified by the information (17) indicating the macroblock in which the macroblock is input, the quantization parameter is set so that the generated code amount in the entire drawing does not change. (21)
And a relatively large quantization parameter (21) is determined.
【００４２】以上の構成により、受信側のユーザが復号
画像（１４）を見ながら特定の領域を選択し、その情報
を受けとった画像送信装置（Ａ）の画像符号化装置
（２）がその領域に対してより多くの符号量を割り当て
ることにより指定された領域の画質を上げることができ
る。With the above arrangement, the user on the receiving side selects a specific area while viewing the decoded image (14), and the image coding apparatus (2) of the image transmitting apparatus (A) receiving the information selects the specific area. By assigning a larger code amount to, the image quality of the designated area can be improved.
【００４３】（第２の実施形態）図３に本実施形態の全
体の構成図を示す。前記の第１の実施形態においては、
任意の位置と大きさの長方形を指定したが、本実施形態
においては、あらかじめ画面上に隙間がないように複数
の長方形や他の形状の領域を設定しておく。それぞれの
領域が重なり合ってもよい。また、その領域はマクロブ
ロックの形状に添った形状のものとする。画像送信装置
（Ａ）の領域情報処理装置（１１）と画像受信装置
（Ｂ）の領域入力装置（８）でその領域情報を共有して
おき、それぞれの領域を特定する領域情報コード（１
８）を決めておく。これを図４に示す。本実施形態によ
る画質変更処理は、以下の手順になる。(Second Embodiment) FIG. 3 shows an overall configuration diagram of the present embodiment. In the first embodiment,
Although a rectangle having an arbitrary position and size is designated, in the present embodiment, a plurality of rectangles and regions of other shapes are set in advance so that there is no gap on the screen. Each area may overlap. In addition, the region has a shape following the shape of the macroblock. The area information is shared between the area information processing apparatus (11) of the image transmitting apparatus (A) and the area input apparatus (8) of the image receiving apparatus (B), and the area information code (1) for specifying each area is provided.
8) is determined. This is shown in FIG. The image quality changing process according to the present embodiment is performed in the following procedure.
【００４４】ａ）受信側のユーザが画像受信装置（Ｂ）
の画像表示装置（６）における復号画像（１４）を見
て、より鮮明な画質で見たいと思う領域を画面内から選
び、領域内の一点を画像受信装置（Ｂ）の領域入力装置
（８）のポインタによって指定する。領域入力装置
（８）は指定された位置を含むような設定領域が選択さ
れたとみなす。領域が重なり合って設定されている位置
においては、ポインタによって指し示される位置と設定
領域の対応関係が一意に決まるようにあらかじめ設定し
ておく。A) The user on the receiving side is the image receiving device (B)
Looking at the decoded image (14) in the image display device (6), an area desired to be seen with clearer image quality is selected from the screen, and one point in the area is input to the area input device (8) of the image receiving device (B). ). The area input device (8) regards that the setting area including the specified position has been selected. At the position where the areas are set to overlap, the setting is previously set so that the correspondence between the position indicated by the pointer and the set area is uniquely determined.
【００４５】ｂ）指定された設定領域を表す領域情報コ
ード（１８）が送信装置（９）によって画像送信装置
（Ａ）に送られる。B) The area information code (18) representing the designated set area is transmitted by the transmitting device (9) to the image transmitting device (A).
【００４６】ｃ）画像送信装置（Ａ）の領域情報処理装
置（１１）に領域情報コード（１８）が入力される。あ
らかじめそれぞれの領域情報コード（１８）に対応する
マクロブロックの組み合わせが記憶されているので、マ
クロブロックを指し示す情報（１７）が符号化装置
（２）に入力される。C) The area information code (18) is input to the area information processing apparatus (11) of the image transmitting apparatus (A). Since a combination of macroblocks corresponding to each area information code (18) is stored in advance, information (17) indicating a macroblock is input to the encoding device (2).
【００４７】ｄ）画像符号化装置（２）においては、以
下の符号化処理を行う。D) The image encoding device (2) performs the following encoding processing.
【００４８】（ｄ−１）各マクロブロックで量子化パラ
メータ（２１）を決定する処理において、量子化パラメ
ータを一旦仮に決定する。(D-1) In the process of determining the quantization parameter (21) for each macroblock, the quantization parameter is temporarily determined.
【００４９】（ｄ−２）当該マクロブロックが入力され
たマクロブロックを指し示す情報（１７）で指定された
領域に該当する場合にのみ、あらかじめ定めた値を仮に
決定した量子化パラメータに対し、一定の割合だけ小さ
くした値を最終的な量子化パラメータ（２１）として決
定する。(D-2) Only when the macroblock corresponds to the area specified by the information (17) indicating the input macroblock, the predetermined value is fixed against the temporarily determined quantization parameter. Is determined as the final quantization parameter (21).
【００５０】（ｄ−３）量子化パラメータの最小値が、
符号化方式もしくは画像符号化装置（２）により規定さ
れている場合は最終的な量子化パラメータ（２１）が最
小値を下回らないように決定する。(D-3) The minimum value of the quantization parameter is
When the encoding method or the image encoding device (2) specifies the final quantization parameter (21), the final quantization parameter (21) is determined so as not to be smaller than the minimum value.
【００５１】（ｄ−４）当該マクロブロックが入力され
たマクロブロックを指し示す情報（１７）で指定された
領域に該当しない領域においては、画面全体としての発
生符号量が変わらないように量子化パラメータ（２１）
を決定し、相対的に大きな量子化パラメータ（２１）を
決定する。(D-4) In an area that does not correspond to the area specified by the information (17) indicating the macroblock to which the macroblock is inputted, the quantization parameter is set so that the generated code amount of the entire screen does not change. (21)
And a relatively large quantization parameter (21) is determined.
【００５２】以上の構成により、受信側のユーザが復号
画像（１４）を見ながら特定の領域を容易に選択し、よ
り少ない情報量で画像送信装置（Ａ）に選択した領域情
報を送信することができる。With the above arrangement, the user on the receiving side can easily select a specific area while viewing the decoded image (14), and transmit the selected area information to the image transmitting apparatus (A) with a smaller amount of information. Can be.
【００５３】（第３の実施形態）図５に本実施形態の全
体の構成図を示す。前記までの第１及び第２の実施形態
においては、符号化時の画質決定パラメータとして量子
化パラメータ（２１）を用いたが、本実施形態において
は特定の符号化処理単位に割り当てる符号量を用いる。(Third Embodiment) FIG. 5 shows an overall configuration diagram of the present embodiment. In the first and second embodiments described above, the quantization parameter (21) is used as the image quality determination parameter at the time of encoding. However, in the present embodiment, the code amount allocated to a specific encoding processing unit is used. .
【００５４】画像符号化装置（２）は割当符号量決定部
（２−ｃ）と符号化処理部（２−ａ）からなり、入力さ
れる画像が符号化処理部（２−ａ）で目標符号量（２
３）に応じて符号化されストリーム（１３）として出力
される。目標符号量（２３）は符号化処理部（２−ａ）
からの符号化処理情報（２２）と領域情報処理装置（１
１）から入力される符号化処理単位を指定する情報（１
９）によって決定される。本実施形態による画質変更処
理は、以下の手順になる。The image coding apparatus (2) comprises an allocated code amount determining section (2-c) and an encoding processing section (2-a). Code amount (2
Encoded according to 3) and output as stream (13). The target code amount (23) is calculated by the coding processing unit (2-a).
Processing information (22) from the region information processing device (1)
Information (1) specifying the encoding processing unit input from (1)
9). The image quality changing process according to the present embodiment is performed in the following procedure.
【００５５】ａ）画像送信装置（Ｂ）の受信装置（１
０）において受信した領域情報（１６）は領域情報処理
装置（１１）に入力される。A) Receiving device (1) of image transmitting device (B)
The area information (16) received in (0) is input to the area information processing device (11).
【００５６】ｂ）画像送信装置（Ｂ）の領域情報処理装
置（１１）において、前記領域情報（１６）は画像符号
化装置（２）において目標符号量（２３）の割当が決定
される最小の処理単位の組み合わせで示される情報に変
換され、その符号化処理単位を指し示す情報（１９）が
画像符号化装置（２）に入力される。B) In the area information processing apparatus (11) of the image transmitting apparatus (B), the area information (16) is the minimum value at which the allocation of the target code amount (23) is determined in the image coding apparatus (2). The information is converted into information represented by a combination of processing units, and information (19) indicating the encoding processing unit is input to the image encoding device (2).
【００５７】ｃ）画像符号化装置（２）においては、第
２の実施形態において量子化パラメータ（２１）を操作
したのに対し、以下のように符号化処理単位に割り当て
る目標符号量（２３）の操作をする。C) In the image encoding device (2), while the quantization parameter (21) is manipulated in the second embodiment, the target code amount (23) to be allocated to the encoding processing unit is as follows: Operation.
【００５８】（ｃ−１）符号化時の画質を決定するパラ
メータとして領域に割り当てる目標符号量（２３）を用
い、ある領域を符号化するときの符号量を制御して符号
化を行なう。(C-1) Using a target code amount (23) to be assigned to a region as a parameter for determining the image quality at the time of coding, the coding is performed by controlling the code amount when coding a certain region.
【００５９】（ｃ−２）符号化処理単位を指し示す情報
（１９）で指定された符号化処理単位を符号化する際
に、通常の処理により決定される目標符号量（２３）に
対して、一定の割合だけ増やした目標符号量（２３）を
当該領域に割り当てて符号化を行なう。(C-2) When encoding the encoding processing unit specified by the information (19) indicating the encoding processing unit, a target code amount (23) determined by normal processing is The coding is performed by allocating the target code amount (23) increased by a certain ratio to the area.
【００６０】（ｃ−３）逆に、指定された処理単位以外
の処理単位においては、全体としての発生符号量が同じ
になるように、少ない目標符号量（２３）を割り当てて
符号化処理を行う。(C-3) Conversely, in a processing unit other than the designated processing unit, a small target code amount (23) is allocated so that the encoding process is performed so that the generated code amount as a whole becomes the same. Do.
【００６１】以上の構成により、受信側のユーザが復号
画像（１４）を見ながら特定の領域を選択し、その領域
情報（１６）を受け取った画像送信装置（Ａ）の画像符
号化装置（２）がその領域に対してより多くの符号量を
割り当てることにより指定された領域の画質を上げるこ
とができる。With the above arrangement, the user on the receiving side selects a specific area while viewing the decoded image (14), and receives the area information (16) from the image encoding apparatus (2) of the image transmitting apparatus (A). ) Can increase the image quality of the designated area by allocating a larger amount of code to the area.
【００６２】（第４の実施形態）図６に本実施形態の全
体の構成図を示す。本実施形態においては、画像送信装
置（Ａ）の画像符号化装置（２）が複数の単位符号化装
置（２−ｄ）から構成されていて、画像符号化装置
（２）に入力された画像がまず複数の領域に分割され、
それに対応した単位符号化装置（２−ｄ）がそれぞれの
分轄領域の符号化処理を行う装置に適用した場合であ
る。(Fourth Embodiment) FIG. 6 shows an overall configuration diagram of the present embodiment. In the present embodiment, the image encoding device (2) of the image transmitting device (A) includes a plurality of unit encoding devices (2-d), and an image input to the image encoding device (2) is used. Is first divided into multiple regions,
This is a case where the corresponding unit coding device (2-d) is applied to a device that performs a coding process for each of the divided areas.
【００６３】画像符号化装置（２）は、複数の単位符号
化装置（２−ｄ）からなり、各単位符号化装置（２−
ｄ）はそれぞれの対応する領域を符号化し、ストリーム
（１３）を統合して出力とする。また、目標符号量割当
ての制御のために外部から単位符号化装置を示す情報
（２０）をそれぞれの単位符号化装置（２−ｄ）に入力
する構成となる。本実施形態による画質変更処理は、以
下の手順になる。The image coding device (2) is composed of a plurality of unit coding devices (2-d).
d) encodes each corresponding area, integrates the stream (13) and outputs it. In addition, information (20) indicating the unit encoding device is externally input to each unit encoding device (2-d) for controlling the target code amount allocation. The image quality changing process according to the present embodiment is performed in the following procedure.
【００６４】ａ）あらかじめ画像送信装置（Ａ）の領域
情報処理装置（１１）と画像受信装置（Ｂ）の領域入力
装置（８）との間で、画面上のどの領域が画像符号化装
置（２）内のどの単位符号化装置（２−ｄ）と対応関係
にあるかという情報を共有しておき、それぞれの領域を
指し示す領域情報コード（１８）を決めておく。A) Between the area information processing apparatus (11) of the image transmitting apparatus (A) and the area input apparatus (8) of the image receiving apparatus (B), which area on the screen is previously determined by the image encoding apparatus ( Information on which unit encoding device (2-d) in 2) is in correspondence is shared, and an area information code (18) indicating each area is determined.
【００６５】ｂ）画像受信側のユーザが画像受信装置
（Ｂ）の画像表示装置（６）を見て、画像送信装置
（Ａ）の画像符号化装置（２）の各単位符号化装置（２
−ｄ）に対応する複数の領域の中から、より高い画質が
必要だと感じる領域を特定し、領域入力装置（８）、た
とえばマウスを使用した入力装置で、その領域を指定す
る。B) The user on the image receiving side looks at the image display device (6) of the image receiving device (B) and sees each unit encoding device (2) of the image encoding device (2) of the image transmitting device (A).
From among the plurality of areas corresponding to -d), an area for which higher image quality is required is specified, and the area is specified by an area input device (8), for example, an input device using a mouse.
【００６６】ｃ）画像受信装置（Ｂ）の領域入力装置
（８）は指定された領域の情報をあらかじめ設定してあ
る、領域情報コード（１８）として出力する。C) The area input device (8) of the image receiving apparatus (B) outputs the information of the specified area as a preset area information code (18).
【００６７】ｄ）画像受信装置（Ｂ）の送信装置（９）
から画像送信装置（Ａ）の受信装置（１０）に、領域情
報コード（１８）が送信される。D) Transmitter (9) of image receiver (B)
Transmits the area information code (18) to the receiving device (10) of the image transmitting device (A).
【００６８】ｅ）画像送信装置（Ａ）の領域情報処理装
置（１１）において領域情報コード（１８）がそれに対
応する単位符号化装置を指し示す情報（２０）に変換さ
れる。E) In the area information processing apparatus (11) of the image transmission apparatus (A), the area information code (18) is converted into information (20) indicating the corresponding unit coding apparatus.
【００６９】ｆ）画像送信装置（Ａ）の画像符号化装置
（２）に、領域情報処理装置（１１）から特定の単位符
号化装置を示す情報（２０）が入力される。F) Information (20) indicating a specific unit encoding device is input from the area information processing device (11) to the image encoding device (2) of the image transmitting device (A).
【００７０】ｇ）画像符号化装置（２）においては、以
下の符号化処理を行う。G) The following encoding process is performed in the image encoding device (2).
【００７１】（ｇ−１）符号化時の画質を決定するパラ
メータとして領域に割り当てる符号量を用い、ある領域
を符号化するときの符号量を設定して符号化を行なう。(G-1) Encoding is performed by setting the encoding amount for encoding a certain region using the encoding amount assigned to the region as a parameter for determining the image quality at the time of encoding.
【００７２】（ｇ−２）入力された単位符号化装置を示
す情報（２０）で指定される単位符号化装置（２−ｄ）
の符号化を行なう際に、通常の処理によって決定される
割当符号量に対して一定の割合だけ増やした符号量を符
号化処理の目標符号量として符号化を行なう。(G-2) The unit coding device (2-d) specified by the input information (20) indicating the unit coding device
When encoding is performed, encoding is performed using a code amount that is increased by a fixed ratio with respect to an allocated code amount determined by normal processing as a target code amount of the encoding process.
【００７３】（ｇ−３）逆に、指定された単位符号化装
置以外の単位符号化装置（２−ｄ）においては、全体と
しての発生符号量が同じになるように、少ない目標符号
量を割り当てて符号化処理を行う。(G-3) Conversely, in the unit encoding device (2-d) other than the designated unit encoding device, a small target code amount is set so that the generated code amount becomes the same as a whole. Coding is performed by assigning.
【００７４】以上の構成により、受信側のユーザが復号
画像（１４）を見ながら特定の領域を選択し、その情報
を受けとった画像送信装置（Ａ）の画像符号化装置
（２）がその領域に対してより多くの符号量を割り当て
ることにより指定された領域の画質を上げる。With the above arrangement, the user on the receiving side selects a specific area while viewing the decoded image (14), and the image coding apparatus (2) of the image transmitting apparatus (A) receiving the information selects the specific area. The image quality of the designated area is increased by allocating a larger code amount to.
【００７５】本実施形態においては、画像受信側のユー
ザは特定の単位符号化装置（２−ｄ）にちょうど対応し
ている領域を指定して、その領域の画質制御を行う。こ
のため、画像受信装置（Ｂ）から画像送信装置（Ａ）に
は単に単位符号化装置を指し示す領域情報コード（１
８）を送信すればよいので、一般的に想定される単位符
号化装置の数においては、その情報量は一回の領域指定
につき１バイト以下と非常に少なくて済む。In the present embodiment, the user on the image receiving side designates an area corresponding to a specific unit encoding device (2-d), and controls the image quality of that area. For this reason, the area information code (1) indicating the unit encoding apparatus is simply transmitted from the image receiving apparatus (B) to the image transmitting apparatus (A).
8), the amount of information can be very small, that is, 1 byte or less per one-time area designation, with the number of unit encoding devices generally assumed.
【００７６】また、画像符号化装置（２）において、画
質を制御する処理単位が単位符号化装置（２−ｄ）であ
り、マクロブロック単位の制御などの画像符号化装置
（２）のより下位の処理単位の制御に機能を付加する必
要がない。In the image encoding device (2), the processing unit for controlling the image quality is the unit encoding device (2-d), which is lower than the image encoding device (2) for controlling in units of macroblocks. It is not necessary to add a function to the control of the processing unit.
【００７７】以上の理由から、装置の実現が比較的容易
である利点がある。For the above reasons, there is an advantage that the realization of the device is relatively easy.
【００７８】[0078]
【発明の効果】以上のとおり、本発明によれば、画像を
受信するユーザが視覚的に重要な領域を選択してその部
分の画質を他の領域に比べて高くさせるように、もしく
は割当符号量を多くして符号化処理を施すことができる
ため、画質に関するユーザの主観的な要求を反映した画
像通信が可能となる。As described above, according to the present invention, a user receiving an image selects a visually important area so that the image quality of that area is higher than that of other areas, or an assigned code is used. Since the encoding process can be performed with a large amount, image communication that reflects a user's subjective request regarding image quality can be performed.
【００７９】それ以外の符号化処理単位に関しては、全
体としての発生符号量が変化しないように逆に割当符号
量を少なく、もしくは画質が下がるように符号化処理を
施すこともできる。Concerning the other encoding processing units, the encoding processing can be performed so that the allocated code amount is reduced so that the generated code amount as a whole does not change, or the image quality is reduced.
【００８０】また、本発明によれば、画像符号化装置が
複数個の単位符号化装置からなり、画像を分割してそれ
ぞれが符号化処理を行う構成を持つ場合、画像受信側の
ユーザは特定の単位符号化装置を指定してその領域の画
質決定パラメータを制御するため、画像受信側から画像
送信側には単に単位符号化装置を指し示すコードを送信
するだけであり、一般的に想定される単位符号化装置の
数においてはその情報量は一回の領域指定につき１バイ
ト以下と非常に少なくて済む。また、画像符号化装置に
おいて、画質を制御する処理単位が特定の単位符号化装
置であり、マクロブロック単位の制御など、符号化装置
のより下位の処理単位の制御をする必要がなく、実装上
の困難が少ない。Further, according to the present invention, when the image encoding device is composed of a plurality of unit encoding devices and has a configuration in which an image is divided and each of them is subjected to an encoding process, the user on the image receiving side can identify the user. In order to specify the unit encoding device and control the image quality determination parameter of the area, the image receiving side simply transmits a code indicating the unit encoding device to the image transmitting side, which is generally assumed. With respect to the number of unit encoders, the amount of information can be extremely small, that is, 1 byte or less per one area designation. Further, in the image encoding device, the processing unit for controlling the image quality is a specific unit encoding device, and there is no need to control a lower processing unit of the encoding device, such as control on a macroblock basis, so that mounting is not possible. Less difficulty.
【図１】本発明の第１の実施形態を示す構成図。FIG. 1 is a configuration diagram showing a first embodiment of the present invention.
【図２】第１の実施形態における領域情報処理例。FIG. 2 is an example of area information processing according to the first embodiment.
【図３】本発明の第２の実施形態を示す構成図。FIG. 3 is a configuration diagram showing a second embodiment of the present invention.
【図４】第２の実施形態における領域情報コード例。FIG. 4 is an example of an area information code according to the second embodiment.
【図５】本発明の第３の実施形態を示す構成図。FIG. 5 is a configuration diagram showing a third embodiment of the present invention.
【図６】本発明の第４の実施形態を示す構成図。FIG. 6 is a configuration diagram showing a fourth embodiment of the present invention.
【図７】従来の画像通信装置を示す構成図。FIG. 7 is a configuration diagram showing a conventional image communication device.
Ａ…画像送信装置 Ｂ…画像受信装置 １…画像入力装置 ２…画像符号化装置 ３…送信装置 ４…受信装置 ５…画像復号化装置 ６…画像表示装置 ８…領域入力装置 ９…領域情報送信装置 １０…領域情報受信装置 １１…領域情報処理装置 ２−ａ…符号化処理部 ２−ｂ…量子化パラメータ決定部 ２−ｃ…割当符号量決定部 ２−ｄ…単位符号化装置 A: Image transmitting device B: Image receiving device 1: Image input device 2: Image encoding device 3: Transmitting device 4: Receiving device 5: Image decoding device 6: Image display device 8: Area input device 9: Area information transmission Apparatus 10 Area information receiving apparatus 11 Area information processing apparatus 2-a Encoding processing unit 2-b Quantization parameter determining unit 2-c Assigned code amount determining unit 2-d Unit coding apparatus
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4488598AJPH11243540A (en) | 1998-02-26 | 1998-02-26 | Image communication device |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4488598AJPH11243540A (en) | 1998-02-26 | 1998-02-26 | Image communication device |
| Publication Number | Publication Date |
|---|---|
| JPH11243540Atrue JPH11243540A (en) | 1999-09-07 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4488598APendingJPH11243540A (en) | 1998-02-26 | 1998-02-26 | Image communication device |
| Country | Link |
|---|---|
| JP (1) | JPH11243540A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002325754A (en)* | 2001-04-27 | 2002-11-12 | Canon Inc | Image processing method and apparatus |
| US6922490B2 (en) | 2000-06-09 | 2005-07-26 | Mitsubishi Denki Kabushiki Kaisha | Image compression of selected regions based on transmission bit rate, motion, and/or region information, and bit selection before compression based on transmission bit rate |
| JP2008131321A (en)* | 2006-11-21 | 2008-06-05 | Nippon Telegr & Teleph Corp <Ntt> | Video transmission method, video transmission program, and computer-readable recording medium recording the program |
| KR101295158B1 (en)* | 2007-02-20 | 2013-08-09 | 세종대학교산학협력단 | Image codec system for supporting spatial random access and image encoding/decoding equipment and method thereof |
| JP2014195740A (en)* | 2014-07-15 | 2014-10-16 | キヤノン株式会社 | Image processing method and device |
| JP2015144929A (en)* | 2015-05-19 | 2015-08-13 | キヤノン株式会社 | Image processing method and apparatus |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6922490B2 (en) | 2000-06-09 | 2005-07-26 | Mitsubishi Denki Kabushiki Kaisha | Image compression of selected regions based on transmission bit rate, motion, and/or region information, and bit selection before compression based on transmission bit rate |
| JP2002325754A (en)* | 2001-04-27 | 2002-11-12 | Canon Inc | Image processing method and apparatus |
| JP2008131321A (en)* | 2006-11-21 | 2008-06-05 | Nippon Telegr & Teleph Corp <Ntt> | Video transmission method, video transmission program, and computer-readable recording medium recording the program |
| KR101295158B1 (en)* | 2007-02-20 | 2013-08-09 | 세종대학교산학협력단 | Image codec system for supporting spatial random access and image encoding/decoding equipment and method thereof |
| JP2014195740A (en)* | 2014-07-15 | 2014-10-16 | キヤノン株式会社 | Image processing method and device |
| JP2015144929A (en)* | 2015-05-19 | 2015-08-13 | キヤノン株式会社 | Image processing method and apparatus |
| Publication | Publication Date | Title |
|---|---|---|
| US7738720B2 (en) | Image distribution apparatus, communication terminal apparatus, and control method thereof | |
| US8754827B2 (en) | Updating an image | |
| US7218790B2 (en) | Adaptive entropy encoding/decoding for screen capture content | |
| JP3982835B2 (en) | Image data compression for interactive applications | |
| Liu et al. | A novel rate control technique for multiview video plus depth based 3D video coding | |
| US20020048408A1 (en) | Image data coding and/or decoding system capable of high-efficient coding | |
| JP2017531946A (en) | Quantization fit within the region of interest | |
| CN101589626A (en) | Image processing system for processing combined image data and depth data | |
| US6476873B1 (en) | Enhancement of a selectable region of video | |
| JPH11177983A (en) | Image compression processor | |
| US20160360231A1 (en) | Efficient still image coding with video compression techniques | |
| US12100100B2 (en) | Systems and methods for signal-based point cloud representation | |
| JPH06165151A (en) | Video code amount control device | |
| JP2013168739A (en) | Image processing system and image processing method | |
| JPH11243540A (en) | Image communication device | |
| CN102099830A (en) | System and method for improving the quality of compressed video signals by smoothing the entire frame and overlaying preserved detail | |
| US7245773B2 (en) | Method and system for coding or decoding of a series of images | |
| JPH10271495A (en) | Image data encoding method and apparatus | |
| JPH10271499A (en) | Image processing method using image area, image processing unit using the method and image processing system | |
| CN114554173A (en) | Cloud XR-based Cloud simplified point-of-regard rendering method and device | |
| JP4145292B2 (en) | Image transmission apparatus and method | |
| JPH04336894A (en) | Moving picture coder | |
| JP2006121578A (en) | Image transmission system, image transmission device, image reception device, and image transmission method | |
| US20050036542A1 (en) | Computation of compressed video information | |
| JPH0833000A (en) | Video transmission device and video transmission method |