JP2005341076A - Image communication system, communication conference system, hierarchical encoding device, server device, image communication method, image communication program, and image communication program recording medium - Google Patents
Image communication system, communication conference system, hierarchical encoding device, server device, image communication method, image communication program, and image communication program recording mediumDownload PDFInfo
- Publication number
- JP2005341076A JP2005341076AJP2004155421AJP2004155421AJP2005341076AJP 2005341076 AJP2005341076 AJP 2005341076AJP 2004155421 AJP2004155421 AJP 2004155421AJP 2004155421 AJP2004155421 AJP 2004155421AJP 2005341076 AJP2005341076 AJP 2005341076A
- Authority
- JP
- Japan
- Prior art keywords
- encoded data
- bit rate
- data
- image
- hierarchically
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Translated fromJapaneseDescription
Translated fromJapanese本発明は，階層符号化データを用いた画像通信技術に係わり，特に多地点テレビ会議などの画像通信システムにおいて，ある指定されたビットレートのもとで特定の画像領域の部分の画質を簡易に向上させることができるようにした画像通信技術に関するものである。 The present invention relates to an image communication technique using hierarchically encoded data, and in particular, in an image communication system such as a multipoint video conference, the image quality of a specific image area portion can be easily simplified under a specified bit rate. The present invention relates to an image communication technique that can be improved.
従来の多地点通信会議システムとしては，例えば下記の特許文献１「多地点会議制御装置」，特許文献２「画像符号化方式及びその画像符号化方式を用いた多地点間テレビ会議方式」，特許文献３「多地点間テレビ会議装置」等に記載されたものが知られている。 As conventional multipoint communication conference systems, for example, the following
一般にこれらの多地点通信会議システムでは，個人画像から興味のある領域の一部を切り出し，その部分を高精細に視聴することができなかった。 In general, in these multipoint communication conference systems, it is impossible to cut out a part of an area of interest from a personal image and view that part with high definition.
画像通信におけるスケーラブルな符号化方式としては，例えば下記の非特許文献１に記載されているようなＭＰＥＧ−４・ＦＧＳ(Fine Granularity Scalable) 符号化方式が知られている。このような階層符号化の目的は，伝送帯域の変動があった場合に，拡張レイヤを適応的にカットして，画像の途切れをなくすための機能を実現することである。また，一つのソースにて複数のビットストリームを取り出せるという，いわゆる One Source Multi-use を実現するものである。
多地点テレビ会議などの通信会議システムにおいて，あるクライアントＡが，他のクライアントＢの個人画像の特定の領域部分だけを高精細に視聴したいと思った場合でも，従来方式では，サーバ装置とクライアント端末間で送受信される符号化データが，通常，一定のデータ量になるように符号化されているため，特定の領域部分だけを高精細に表示させることはできなかった。 In a communication conference system such as a multipoint video conference, even when a client A wants to view only a specific area portion of a personal image of another client B with high definition, in the conventional method, a server device and a client terminal Since the encoded data transmitted / received between them is usually encoded so as to have a certain amount of data, it was not possible to display only a specific area portion with high definition.
受信側のクライアント端末で，クライアントが見たい特定の領域部分を高精細に表示することができるようにする方法として考えられるのは，データ量が少ない通常の符号化データストリームと，データ量が多い高精細版の符号化データストリームの２本のストリームデータを，サーバ装置が，常時クライアント端末から受信し，受信側のクライアント端末からの要求によって，通常のストリームデータを高精細版のストリームデータに切り替える方法である。しかし，この方法では，通常のストリームデータから高精細版のストリームデータに切り替えたときにデータ量が大幅に増加するため，帯域幅に制限があるときに，その帯域幅の中でストリームデータを円滑に送信することができないという問題がある。 As a method for enabling the client terminal on the receiving side to display a specific area portion desired by the client in high definition, a normal encoded data stream with a small amount of data and a large amount of data are considered. The server device always receives two stream data of the encoded data stream of the high definition version from the client terminal, and switches the normal stream data to the high definition version of the stream data in response to a request from the client terminal on the receiving side. Is the method. However, this method greatly increases the amount of data when switching from normal stream data to high-definition version stream data. Therefore, when the bandwidth is limited, stream data is smoothed within that bandwidth. There is a problem that cannot be sent to.
この問題は，基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化方式による符号化データとして，各クライアント端末に画像データを配信する場合にも同様に発生する。すなわち，基本レイヤビットストリームと拡張レイヤビットストリームのすべてのレイヤの符号化データを各クライアント端末に配信した場合には，データ量が増大化するため，ネットワークによる伝送能力やクライアント端末の通信処理能力で対応することができなくなるという問題がある。 This problem also occurs when image data is distributed to each client terminal as encoded data based on a hierarchical encoding method composed of a base layer bit stream and an enhancement layer bit stream. In other words, when the encoded data of all layers of the base layer bit stream and the enhancement layer bit stream is distributed to each client terminal, the amount of data increases, so the transmission capacity by the network and the communication processing capacity of the client terminal There is a problem that it becomes impossible to cope.
本発明は上記問題点の解決を図り，通信会議システム等において階層符号化方式により符号化された映像をリアルタイムに受信し表示する装置が，ある制限されたビットレートのもとで，すなわち少ない符号化データ量で画像の特定の部分だけを高精細に表示することができるようにすることを目的とする。 The present invention has been made to solve the above-mentioned problems, and an apparatus for receiving and displaying a video encoded by a hierarchical encoding method in a teleconferencing system or the like in real time has a limited bit rate, that is, a small code. It is an object of the present invention to display only a specific portion of an image with high definition by using a digitized data amount.
上記課題を解決するため，本発明は，基本レイヤビットストリームと拡張レイヤビットストリームとからなる階層符号化されたデータの通信を行う画像通信システムにおいて，前記データのビットレートを指示するビットレート指示手段と，送信対象となる前記階層符号化されたデータのデータ量が，前記ビットレート指示手段により指示されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード手段と，送信される階層符号化されたデータを復号した画像の特定部分の領域を，他の部分よりも高精細に表示させることを指示する画質向上領域指示手段と，前記画質向上領域指示手段により高精細に表示させる特定部分の領域の指示があった場合に，前記ビットレートトランスコード手段によるビットレートの調整前に，送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち，前記特定部分の領域以外の領域に相当する符号化データのデータ量を削減するコード変換を行う拡張レイヤ領域トランスコード手段とを備えることを特徴とする。 In order to solve the above problems, the present invention provides a bit rate indicating means for indicating a bit rate of the data in an image communication system that performs communication of hierarchically encoded data including a base layer bit stream and an enhancement layer bit stream. And the enhancement layer bits of the hierarchically encoded data so that the data amount of the hierarchically encoded data to be transmitted is a data amount that matches the bit rate specified by the bit rate indicating means. Bit rate transcoding that adjusts the bit rate by performing code conversion that truncates the encoded data in the order of the encoded data of the lower plane of the stream, the encoded data of the upper plane, and then the encoded data of the base layer And the characteristics of the decoded image of the hierarchically encoded data to be transmitted. When there is an image quality improvement area instruction means for instructing to display a partial area with higher definition than the other parts, and a specific portion area to be displayed with high definition by the image quality improvement area instruction means, Before the bit rate adjustment by the bit rate transcoding means, the amount of encoded data corresponding to an area other than the specific part of the enhancement layer bit stream of the hierarchically encoded data to be transmitted And an enhancement layer region transcoding means for performing code conversion for reducing the amount of data.
また，前記階層符号化されたデータは，拡張レイヤの解像度が基本レイヤの解像度のｎ倍（ただしｎ＞１）の解像度を持つデータであることを特徴とする。 The hierarchically encoded data is data in which the resolution of the enhancement layer is n times (where n> 1) the resolution of the base layer.
図１は，本発明の概要を説明するための図である。本発明は，テレビ会議システムなどの画像通信システムにおいて，所定のビットレート（帯域幅）のもとで，指定された特定の領域（以下，ＲＯＩ（Region Of Interest）選択領域という）を高精細に表示することを，階層符号化方式における拡張レイヤビットストリームを操作することにより実現するものである。 FIG. 1 is a diagram for explaining the outline of the present invention. According to the present invention, in a video communication system such as a video conference system, a specified specific region (hereinafter referred to as ROI (Region Of Interest) selection region) is defined with high definition under a predetermined bit rate (bandwidth). The display is realized by manipulating the enhancement layer bit stream in the hierarchical coding system.
スケーラブルな符号化が可能な階層符号化方式では，入力映像を基本レイヤ符号化部と拡張レイヤ符号化部とによって符号化し，符号化データをそれぞれ基本レイヤビットストリーム１１，拡張レイヤビットストリーム１２として出力する。拡張レイヤビットストリーム１２は，通常，図１（Ａ）に示すように複数のビットプレーン（レイヤ）Ｐ１〜Ｐｋの可変長符号化データＶＬＣからなる。 In the hierarchical encoding method capable of scalable encoding, the input video is encoded by the base layer encoding unit and the enhancement layer encoding unit, and the encoded data is output as the base
ビットレートトランスコード部１６は，受信側の装置から指示されたビットレートによる転送可能ビット量に応じて，拡張レイヤビットストリーム１２の下位側のビットプレーンをカットすることにより，送信するビットストリームのビット量を，指示されたビットレートで送ることができるように調整する処理を行うものである。 The bit
一般に拡張レイヤビットストリーム１２のデータ量は，基本レイヤビットストリーム１１のデータ量よりも多くなる。図１（Ａ）に示す例では，指示されたビットレートによる転送可能ビット量から，基本レイヤビットストリーム１１と拡張レイヤビットストリーム１２のうち最上位レイヤのビットプレーンＰ１の符号化データだけを送信している。ビットレートによっては，拡張レイヤビットストリーム１２をまったく送らない場合もあり，また基本レイヤビットストリーム１１におけるＢピクチャ，さらにＰピクチャをカットする場合もある。もちろん，拡張レイヤビットストリーム１２として送信するビットプレーン数が多ければ多いほど，受信側の装置において符号化データを復号した画像は，高精細に表示されることになる。 In general, the data amount of the enhancement
本発明は，例えば図１（Ｂ）に示すように，受信側の装置において表示された表示画像４０において，ある特定の領域を高精細に見たいというユーザの希望により，ユーザがＲＯＩ指示部２３によってＲＯＩ選択領域４１を指定した場合，送信側の装置では，そのＲＯＩ情報を受け取り，拡張レイヤ領域トランスコード部１５が拡張レイヤビットストリーム１２の符号化データを次のように加工する。すなわち，拡張レイヤビットストリーム１２の可変長符号化データＶＬＣのうち，ＲＯＩ選択領域４１以外の部分をすべて“０”のコードに置き換える。ＲＯＩ選択領域４１に含まれる部分の可変長符号化データＶＬＣは，元の値のままとする。 In the present invention, for example, as shown in FIG. 1 (B), the user desires to view a specific area with high definition in a
このようにＲＯＩ選択領域４１以外の部分の可変長符号化データＶＬＣをすべて“０”コードにすれば，各ビットプレーンＰ１〜Ｐｋのデータ量は大幅に削減されることになる。したがって，ビットレートトランスコード部１６では，図１（Ａ）と同一のビットレートのもとで，図１（Ｂ）に示すように，拡張レイヤビットストリーム１２の多くのビットプレーン（例えばＰ１〜Ｐｊ）の符号化データを，送信することができるようになる。 If all the variable length encoded data VLC other than the
受信側の装置がこのビットストリームを復号して表示した場合，表示画像４０におけるＲＯＩ選択領域４１以外の部分は，基本レイヤビットストリーム１１の復号画像として見ることができ，ＲＯＩ選択領域４１の部分については，さらにビットプレーンＰ１〜Ｐｊの符号化データを用いた高精細な画像として見ることができることになる。 When the receiving side apparatus decodes and displays this bit stream, the part other than the
本発明によれば，階層符号化方式により符号化された画像を受信する装置が，同一ビットレートのもとで，画像の特定の部分だけを高精細に表示することができるようになる。特に，複数の個人画像を表示するようなテレビ会議システムにおいて，帯域幅に制限があるような場合に，特定の個人画像の特定の領域を高精細に切り換えて表示することができるようになり，会議資料の高精細な表示などにより会議を円滑に進行させることができるようになる。 According to the present invention, an apparatus that receives an image encoded by a hierarchical encoding method can display only a specific portion of an image with high definition at the same bit rate. In particular, in a video conference system that displays multiple personal images, when the bandwidth is limited, a specific area of a specific personal image can be switched in high definition and displayed. The meeting can be smoothly advanced by high-definition display of meeting materials.
以下，図面を用いて本発明の実施の形態を説明する。図２は，本発明を適用した４者間の通信会議システムの例を示している。各クライアント端末２Ａ〜２Ｄは，それぞれ自端末で撮影した映像を階層符号化方式により符号化してビットストリームを生成し，上りセッションにてサーバ装置１にアップロードする。サーバ装置１は，テレビ会議を制御する多地点接続装置（ＭＣＵ：Multipoint Connection Unit）であり，サーバ装置１では，各クライアント端末２Ａ〜２Ｄから要求のあったデータ量だけを切り出して，個々のクライアント端末２Ａ〜２Ｄに，基本レイヤビットストリームと拡張レイヤビットストリームからなる階層符号化されたデータを配信する。 Embodiments of the present invention will be described below with reference to the drawings. FIG. 2 shows an example of a communication conference system between four parties to which the present invention is applied. Each of the
図３は，サーバ装置とクライアント端末の構成例を示している。クライアント端末については，説明を分かりやすくするために，自画像をサーバ装置１にアップロードするクライアント端末（送信側）２と，サーバ装置１からスケーラブルビットストリームを受信して復号し，画像を表示するクライアント端末（受信側）２’とを分けて書いてある。実際には，各クライアント端末は，送信側と受信側の両方の機能を持つ。 FIG. 3 shows a configuration example of the server device and the client terminal. For easy understanding of the client terminal, a client terminal (transmission side) 2 that uploads the self-portrait to the
サーバ装置１は，各クライアント端末２からのスケーラブルビットストリーム（基本レイヤビットストリーム１１と拡張レイヤビットストリーム１２）を受信する受信バッファ１０と，クライアント端末（受信側）２’からＲＯＩ情報を受信するＲＯＩ情報受信部１３と，ＲＯＩの有無によってデータの流れを切り換えるＲＯＩ切換え部１４と，拡張レイヤ領域トランスコード部１５と，ビットレートトランスコード部１６と，スケーラブルビットストリームを各クライアント端末（受信側）２’に送信するための送信バッファ１７と，クライアント端末（受信側）２’から指示されたビットレート情報を受信するビットレート受信部１８と，受信したビットレートをビットレートトランスコード部１６へ伝達するビットレート指示部１９とを備える。 The
クライアント端末（送信側）２は，映像を入力するカメラ２０と，カメラ２０から入力した映像を階層符号化する階層符号化部２１と，階層符号化部２１により符号化したスケーラブルビットストリームを送信するための送信バッファ２２とを備える。 The client terminal (transmission side) 2 transmits a
また，クライアント端末（受信側）２’は，ユーザからＲＯＩ選択領域の指示を入力するＲＯＩ指示部２３と，指示されたＲＯＩ情報をサーバ装置１へ送信するＲＯＩ情報送信部２４と，サーバ装置１からスケーラブルビットストリームを受信するための受信バッファ２５と，受信したスケーラブルビットストリームを復号する階層復号部２６と，復号画像を表示するディスプレイ等の表示部２７と，自装置で受信を希望するデータ量のビットレート情報をサーバ装置１へ送信するビットレート送信部２８とを備える。 Further, the client terminal (reception side) 2 ′ includes an
図３に示す例では，クライアント端末（受信側）２’がＲＯＩ選択領域を指定しているが，サーバ装置１がＲＯＩ選択領域を指定してもよい。例えば，テレビ会議において特定のクライアントが発話した場合に，複数のクライアントの画像の中で，発話したクライアントの画像の顔部分の領域を，画像認識により自動的にＲＯＩ選択領域とするようなこともできる。 In the example shown in FIG. 3, the client terminal (reception side) 2 'designates the ROI selection area, but the
クライアント端末（受信側）２’においてデータを受信するときのビットレートは，例えばビットレートもしくは受信するビットストリームのデータ量を入力するためのスライダーバーを表示部２７に表示し，ユーザに指定させてもよいし，クライアント端末（受信側）２’が規定値もしくは通信状況に応じて自動的に決定してもよい。また，データを受信するときのビットレートをクライアント端末（受信側）２’が指定するのではなく，ネットワークの状況などに応じてネットワーク上の装置またはサーバ装置１が指定するようにしてもよい。 For the bit rate when data is received at the client terminal (reception side) 2 ′, for example, a slider bar for inputting the bit rate or the amount of data of the bit stream to be received is displayed on the
クライアント端末（送信側）２は，スケーラブルビットストリームを送信しているが，非スケーラブル符号化データを送信するクライアント端末が存在してもよい。 The client terminal (transmission side) 2 transmits a scalable bit stream, but there may be a client terminal that transmits non-scalable encoded data.
サーバ装置１には，複数のクライアント端末からスケーラブルデータもしくは非スケーラブルデータが上がってくる（上りの符号化データ）。各クライアント端末は，これらのデータを，クライアント指定もしくはサーバ装置１が自動的に判断した任意のビットレートおよびＲＯＩ情報によって目的とする符号化データにトランスコードしたものを受信する。 The
以下では，クライアントＡが他のクライアントＢの画像領域をＲＯＩ選択領域として指定し，またそのデータの受信ビットレートをサーバ装置１に対して指定した場合の動作を説明する。クライアントＡ（図３ではクライアント端末（受信側）２’のクライアント）は，受信している複数のクライアントの画像うち，特定のクライアントＢ（図３ではクライアント端末（送信側）２のクライアント）を選択し，クライアントＢの符号化データの受信ビットレートとＲＯＩ情報を，それぞれビットレート送信部２８とＲＯＩ情報送信部２４によってサーバ装置１に通知する。サーバ装置１は，ビットレート受信部１８およびＲＯＩ情報受信部１３にて，それぞれ受信ビットレートおよびＲＯＩ情報をクライアントＡのクライアント端末（受信側）２’から受ける。 Hereinafter, an operation when the client A designates the image area of another client B as the ROI selection area and designates the reception bit rate of the data to the
ＲＯＩ情報は，ＲＯＩ指定があるかないかの情報，およびＲＯＩ指定がある場合に，そのＲＯＩ選択領域の位置およびサイズを示す領域情報である。この領域情報は，領域が矩形の場合，例えば左上隅の座標と右下隅の座標の座標情報のようなものでよい。また，領域が任意形状の場合，例えばマクロブロックごとに，ＲＯＩ選択領域に属するマクロブロックの位置を“１”，ＲＯＩ選択領域に属さないマクロブロックの位置を“０”に設定したビットマップデータのようなものでもよい。 The ROI information is information indicating whether or not there is ROI designation, and area information indicating the position and size of the ROI selection area when there is ROI designation. When the area is rectangular, the area information may be, for example, coordinate information of the coordinates of the upper left corner and the coordinates of the lower right corner. Also, if the area has an arbitrary shape, for example, for each macroblock, bitmap data in which the position of a macroblock belonging to the ROI selection area is set to “1” and the position of a macroblock not belonging to the ROI selection area is set to “0”. Something like that.
サーバ装置１は，受信したビットレート情報とＲＯＩ情報とに基づいて，拡張レイヤ領域トランスコード部１５およびビットレートトランスコード部１６によるトランスコード処理を行う。 The
クライアントＡからクライアントＢの画像についてのＲＯＩの指示があった場合，指定されたクライアントＢの拡張レイヤビットストリーム１２を，ＲＯＩ切換え部１４を介して拡張レイヤ領域トランスコード部１５へ送る。拡張レイヤ領域トランスコード部１５では，クライアントＢの拡張レイヤビットストリーム１２の中で，ＲＯＩ選択領域に入らないマクロブロックの可変長符号化データを“０”というコードに置き換えてビットレートトランスコード部１６へ出力する。ＲＯＩ選択領域に入る部分の可変長符号化データはそのまま出力する。 When there is an ROI instruction for the image of client B from client A, the enhancement
ビットレートトランスコード部１６は，受信バッファ１０から基本レイヤビットストリーム１１を入力し，また拡張レイヤ領域トランスコード部１５からトランスコードした拡張レイヤビットストリーム１２を入力し，またビットレート指示部１９からビットレート指示情報を入力する。ビットレートトランスコード部１６は，入力されたビットストリームにおいて，ビットレート指示部１９により指示された任意のビットレートになるまで，送信するビットストリームのデータ量を削減するため，拡張レイヤの下位側のビットプレーンから順番に符号化データに“０”を入れる。拡張レイヤのデータがなくなった場合には，基本レイヤのＢピクチャから“０”とし，次にＰピクチャ，Ｉピクチャの順に符号化データを“０”とする。ビットレートトランスコード部１６にてトランスコードされたクライアントＢのビットストリームは，送信バッファ１７に送られ，送信バッファ１７からクライアントＡのクライアント端末（受信側）２’へ送信される。 The bit
一方，ＲＯＩの指示がない場合，すなわち，クライアントＡがクライアントＢの画像に対して，ＲＯＩの指定を行わず，ビットレートの指定（必須）のみを行った場合には，受信バッファ１０中のクライアントＢの基本レイヤビットストリーム１１および拡張レイヤビットストリーム１２は，直接，ビットレートトランスコード部１６へ送られ，ビットレートトランスコード部１６でビットレート指示部１９により指定されたビットレートに相当するデータ量に調整され，送信バッファ１７を介して，クライアントＡのクライアント端末（受信側）２’へ送信される。 On the other hand, when there is no ROI instruction, that is, when the client A does not specify the ROI for the image of the client B but only specifies the bit rate (required), the client in the
図４は，拡張レイヤ領域トランスコード部１５の処理を説明するフローチャートである。拡張レイヤにＭＰＥＧ−４のＦＧＳ(Fine Granularity Scalable) 符号化を用いるものとする。ＦＧＳ符号化の場合，拡張レイヤのビットストリームは，基本的にマクロブロック単位の可変長符号化データＶＬＣから構成される。よって，ＲＯＩ選択領域に相当しないマクロブロックの可変長符号化データＶＬＣをすべて“０”に置き換えることで，トランスコードができる。すなわち，この個々の可変長符号化データＶＬＣがＲＯＩの領域であるなら，ＶＬＣに何も操作せず，ＲＯＩ以外の領域であるなら，ＶＬＣを“０”のコードに置き換える。 FIG. 4 is a flowchart for explaining the processing of the enhancement layer
すなわち，拡張レイヤビットストリーム１２の各マクロブロックごとに，図４に示す処理を実行する。ｆ番目のフレームのｌ番目のレイヤのｍ個目のマクロブロックにおけるＶＬＣ符号を，ＶＬＣf（ｌ，ｍ）とし，ｆ番目のフレームのｍ個目のマクロブロックにおける選択領域情報を，Ｒf（ｍ）とする。なお，このｍ個目のマクロブロックがＲＯＩ選択領域内であれば，Ｒf（ｍ）＝１であり，ＲＯＩ選択領域外であれば，Ｒf（ｍ）＝０と定義されているものとする。That is, the process shown in FIG. 4 is executed for each macroblock of the
ステップＳ１では，現在処理しているｍ個目のマクロブロックのＲf（ｍ）が０かどうかを判定する。０でない場合には，そのマクロブロックのＶＬＣf（ｌ，ｍ）を，ＶＬＣ符号としてそのまま出力する。Ｒf（ｍ）が０の場合，ステップＳ２においてＶＬＣf（ｌ，ｍ）を“０”のコードに置き換えて出力する。ステップＳ３では，変換後の拡張レイヤビットストリーム１２を再構成してビットレートトランスコード部１６へ出力する。このビットストリームの再構成は，ＶＬＣf（ｌ，ｍ）が“０”のコードを圧縮する処理であり，きわめて簡単なコード変換処理で実現することができる。In step S1, it is determined whether Rf (m) of the m-th macroblock currently processed is 0. If it is not 0, VLCf (l, m) of the macroblock is output as it is as a VLC code. If Rf (m) is 0, VLCf (l, m) is replaced with a code of “0” and output in step S2. In step S3, the converted enhancement
図５は，ビットレートトランスコード部１６の処理を説明するフローチャートである。本実施の形態で扱う拡張レイヤビットストリーム１２のデータ形式は，図５（Ａ）に示すように，１フレーム分の可変長符号化データ（ＶＬＣ）の前に，ＦＧＳのＶＯＰ（Video Object Plane）スタートコードビットＳcが付加された形式になっている。FIG. 5 is a flowchart for explaining the processing of the bit
クライアントから指示されたビットレートをＢc［bit per sec ］，直前のＧＯＶのフレームレートｆ［frames per sec］とする。まず，ステップＳ１０では，Ｂcをｆで割る（Ｂv＝Ｂc／ｆ）ことにより，１フレーム当たりのビット量Ｂvを計算する。The bit rate instructed by the client is Bc [bit per sec], and the frame rate f [frames per sec] of the previous GOV is assumed. First, in step S10, the bit amount Bv per frame is calculated by dividing Bc by f (Bv = Bc / f).
次に，ステップＳ１１では，ビット量をカウントするためのビットカウント値を“０”に初期化する。ステップＳ１２では，拡張レイヤビットストリーム１２の先頭から順番にビットデータを取り出して解析する。取り出したビットデータがＦＧＳのＶＯＰスタートコードビットＳcであれば（ステップＳ１３），ステップＳ１１へ戻り，再度，ビットカウント値を“０”に初期化してカウントを続ける。In step S11, a bit count value for counting the bit amount is initialized to “0”. In step S12, bit data is extracted and analyzed in order from the beginning of the
ＦＧＳのＶＯＰスタートコードビットＳcでなければ，ビットカウント値がＢvを超えるか（ステップＳ１５），次のＦＧＳのＶＯＰスタートコードビットＳcが現れるまで（ステップＳ１３），ビットカウント値をカウントアップし，符号化ビットをカウントする。ビットカウント値が１フレーム当たりのビット量Ｂvを超えたら，ステップＳ１６へ進み，そのフレームの残りのデータ（ＶＬＣ），すなわち次のＦＧＳのＶＯＰスタートコードビットＳcが現れるまでのデータをすべて“０”というコードにする。以上の処理を一連の拡張レイヤビットストリーム１２について繰り返す。Otherwise VOP start code bits Sc of FGS, whether the bit count is greater than Bv (step S15), and until a VOP start code bits Sc of the next FGS (step S13), and increments the bit counter value And count the coded bits. When the bit count value exceeds the amount of bits Bv per frame, the process proceeds to step S16, the remaining data of the frame (VLC), ie, all data until a VOP start code bits Sc of the next FGS " The code is “0”. The above processing is repeated for a series of
ビットレートトランスコード部１６は，以上の処理をＧＯＶ（Ｉピクチャから次のＩピクチャまでのデータ）ごとに行うことによって，クライアントが指定したビットレートとなるように，送信するビットストリームのビット量を調整することができる。 The bit
図６〜図８は，図３に示すクライアント端末（送信側）２における階層符号化部２１の構成例を示す。いずれもＭＰＥＧ−４ ＡＳＰ／ＦＧＳ符号化方式による基本レイヤと拡張レイヤからなる階層符号化を行うものである。図６および図７は，基本レイヤと拡張レイヤとが同じ解像度を持つ場合の階層符号化方式を示しており，一般に知られているものである。図８は，従来の階層符号化方式を本実施の形態のために改良したものであり，拡張レイヤが基本レイヤの２倍の解像度を持つ階層符号化を行うものである。なお，図６〜図８では，図をわかりやすくするために動き検出部および動き補償部については図示を省略している。 6 to 8 show configuration examples of the hierarchical encoding unit 21 in the client terminal (transmission side) 2 shown in FIG. In either case, hierarchical encoding consisting of a base layer and an enhancement layer by the MPEG-4 ASP / FGS encoding method is performed. FIG. 6 and FIG. 7 show a hierarchical encoding method when the base layer and the enhancement layer have the same resolution, and are generally known. FIG. 8 shows an improvement of the conventional hierarchical encoding method for this embodiment, in which the enhancement layer performs hierarchical encoding with twice the resolution of the base layer. 6 to 8, the motion detection unit and the motion compensation unit are not shown for easy understanding of the drawings.
まず，図６の階層符号化方式について説明する。基本レイヤの符号化では，デジタル化された入力映像２１１が入力されると，減算器２１２により入力映像２１１と動き補償された予測画像との差分が算出される。ＤＣＴ部２１３は，この差分信号を離散コサイン変換し，結果のＤＣＴ係数を出力する。量子化部２１４は，そのＤＣＴ係数を量子化し，量子化結果を可変長符号化部２１５と，逆量子化部２１６へ出力する。可変長符号化部２１５は，量子化されたＤＣＴ係数を可変長符号化し，基本レイヤビットストリームを生成する。逆量子化部２１６は，量子化されたＤＣＴ係数を逆量子化し，逆ＤＣＴ部２１７は，さらにそれを逆離散コサイン変換して，予測画像に用いるための復号画像を生成する。 First, the hierarchical encoding method of FIG. 6 will be described. In the encoding of the base layer, when the digitized
拡張レイヤの符号化では，逆量子化部２１６と逆ＤＣＴ部２１７とによってローカルデコードされた基本レイヤの復号画像と，入力映像２１１との差分画像を減算器２１８によって算出し，それをＤＣＴ部２１９によって離散コサイン変換する。ビットプレーン展開部２２０は，ＤＣＴ係数をそのままビットプレーン展開し，選択的拡張処理部（ＳＥ：Selective Enhancement ）２２１は，可変長符号化する前のビットプレーン展開されたＤＣＴ係数の符号化優先順位の変更を行う。可変長符号化部２２２は，その結果を可変長符号化し，拡張レイヤビットストリームを生成する。 In the enhancement layer coding, a
図７に示す構成による階層符号化部による符号化は，次のように入力映像２３１の階層符号化を行う。基本レイヤの符号化は，図６と同様であり，減算器２３２，ＤＣＴ部２３３，量子化部２３４，可変長符号化部２３５，逆量子化部２３６および逆ＤＣＴ部２３７によって，基本レイヤビットストリームの生成と，次の予測符号化のための復号画像の生成を行う。 The encoding by the hierarchical encoding unit having the configuration shown in FIG. 7 performs hierarchical encoding of the
拡張レイヤの符号化では，基本レイヤにおけるＤＣＴ部２３３によるＤＣＴ変換直後のＤＣＴ係数と，量子化部２３４による量子化，逆量子化部２３６による逆量子化した後のＤＣＴ係数との差分を，減算器２３８によって直接的に計算する。このＤＣＴ係数の差分をビットプレーン展開部２３９によってビットプレーン展開する。選択的拡張処理部（ＳＥ）２４０は，可変長符号化する前のビットプレーン展開された差分ＤＣＴ係数の符号化優先順位の変更を行い，可変長符号化部２４１は，その結果を可変長符号化して拡張レイヤビットストリームを生成する。この方法によっても，ＦＧＳ符号化シンタックスに則ったビットストリームを生成することができ，図６の方法よりも処理を高速化することができる。 In the enhancement layer encoding, the difference between the DCT coefficient immediately after the DCT transform by the
図８に示す構成の階層符号化部による符号化では，拡張レイヤが基本レイヤの２倍の解像度を持つように階層符号化する。図６に示す階層符号化部との違いは，入力映像２５１を，例えば１／２というような所定の縮小率に応じて縮小する画像縮小部２５２が，予測画像との差分を算出する減算器２５３の前に設けられていること，および拡張レイヤの符号化の際に，縮小された基本レイヤの復号画像を元のサイズに拡大する画像拡大部２５９が，逆ＤＣＴ部２５８と減算器２６０との間に設けられていることである。 In the encoding by the hierarchical encoding unit configured as shown in FIG. 8, hierarchical encoding is performed so that the enhancement layer has a resolution twice that of the base layer. A difference from the hierarchical encoding unit shown in FIG. 6 is that an
画像縮小部２５２は，図８（Ｂ）に示すように，入力映像２５１の１フレームの縦横の画素数を例えば半分に縮小し，その縮小画像２５１ａを基本レイヤの符号化に用いる。拡張レイヤの符号化では，縮小画像２５１ａを符号化してそれをローカルデコードしたものを，画像拡大部２５９によって元の入力映像２５１の画像サイズに拡大し，その拡大した復号画像２５１ｂと入力映像２５１との差分を算出して符号化する。すなわち，図８に示す方式の階層符号化では，入力映像２５１を例えば半分の解像度にしたものを基本レイヤの符号化に用いる。拡張レイヤの符号化では，基本レイヤの単純拡大画像と，入力映像２５１の原画像との差分を符号化する。 As shown in FIG. 8B, the
図８の階層符号化方式により階層符号化されたビットストリームを復号するクライアント端末（受信側）２’では，階層復号部２６において，基本レイヤの復号画像を２倍に拡大し，拡張レイヤの復号データと重ね合わせる。 In the client terminal (reception side) 2 ′ that decodes the bit stream that has been hierarchically encoded by the hierarchical encoding method of FIG. 8, the
図８に示す階層符号化方式を用いることの利点は，基本レイヤビットストリーム１１のデータ量を大きく削減することができることである。この結果，同一のビットレートで符号化ビットストリームを送信する場合に，基本レイヤビットストリーム１１のデータ量が少なくなる分だけ，拡張レイヤビットストリーム１２のデータ量を増加させることができるようになる。基本レイヤだけの復号画像の表示では，解像度が半分になるため画質が劣化するが，拡張レイヤを用いて階層復号された結果の解像度は，実質的に拡張レイヤの解像度によって決まるため，基本レイヤの解像度を半分にしたことによる影響は少ない。 The advantage of using the hierarchical coding scheme shown in FIG. 8 is that the data amount of the
図９は，本実施の形態における選択的画質向上（ＲＯＩ）の様子を図式化したものである。図９（Ａ）は，基本レイヤと拡張レイヤの解像度が同じ場合の様子を示しており，図９（Ｂ）は，基本レイヤと拡張レイヤの解像度が異なり，拡張レイヤの解像度が基本レイヤの２倍の解像度の場合の様子を示している。すなわち，図９（Ａ）は，図６または図７に示す階層符号化方式によって生成されたビットストリームを用いる場合，図９（Ｂ）は，図８に示す階層符号化方式によって生成されたビットストリームを用いる場合の例である。 FIG. 9 is a schematic diagram showing the state of selective image quality improvement (ROI) in the present embodiment. FIG. 9A shows a state where the resolution of the base layer and the enhancement layer is the same. FIG. 9B shows that the resolution of the base layer and the enhancement layer is different, and the resolution of the enhancement layer is 2 of the basic layer. The situation in the case of double resolution is shown. 9A uses the bitstream generated by the hierarchical encoding scheme shown in FIG. 6 or FIG. 7, and FIG. 9B shows the bits generated by the hierarchical encoding scheme shown in FIG. This is an example of using a stream.
例えば，クライアント端末（受信側）２’において，図９（Ａ１）に示すようなクライアントの画像を見ているユーザが，ポインティングデバイス等によりＲＯＩ選択領域４１を指定すると，その部分の拡張レイヤのデータがサーバ装置１から多く送信され，図９（Ａ２）のように，選択された領域が他の部分よりも高精細に表示される。表示方法として，全体の表示の中で一部だけを高精細に表示する方法以外に，図９（Ａ３）に示すように，領域の一部だけを切り出して，高精細に表示する方法を用いることもできる。 For example, when a user viewing a client image as shown in FIG. 9A1 at the client terminal (reception side) 2 ′ designates the
次に，拡張レイヤの解像度が基本レイヤの２倍の解像度で階層符号化されている場合の例を，図９（Ｂ）に従って説明する。ユーザがＲＯＩ選択領域４１を指定していない状態では，例えば図９（Ｂ１）に示すような基本レイヤのみの復号画像が表示されているものとする。図９（Ｂ１）のクライアント画像を見ているユーザが，ポインティングデバイス等によりＲＯＩ選択領域４１を指定すると，拡張レイヤを含めた階層復号により，図９（Ｂ２）のように，選択された領域が高精細に表示される。このとき全体の解像度は，拡張レイヤの解像度になる。なお，図９（Ｂ３）に示すように，高精細化された領域だけをクリップして表示するような方法を用いることもできる。 Next, an example in which the resolution of the enhancement layer is hierarchically encoded at twice the resolution of the base layer will be described with reference to FIG. In a state where the user does not designate the
以上のサーバ装置１およびクライアント端末２，２’が行う処理は，ハードウェアやファームウェアによって実現することができるだけでなく，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。 The processes performed by the
１ サーバ装置
２，２’ クライアント端末
１０ 受信バッファ
１１ 基本レイヤビットストリーム
１２ 拡張レイヤビットストリーム
１３ ＲＯＩ情報受信部
１４ ＲＯＩ切換え部
１５ 拡張レイヤ領域トランスコード部
１６ ビットレートトランスコード部
１７ 送信バッファ
１８ ビットレート受信部
１９ ビットレート指示部
２０ カメラ
２１ 階層符号化部
２２ 送信バッファ
２３ ＲＯＩ指示部
２４ ＲＯＩ情報送信部
２５ 受信バッファ
２６ 階層復号部
２７ 表示部
２８ ビットレート送信部
４０ 表示画像
４１ ＲＯＩ選択領域DESCRIPTION OF
Claims (11)
Translated fromJapanese前記データのビットレートを指示するビットレート指示手段と，
送信対象となる前記階層符号化されたデータのデータ量が，前記ビットレート指示手段により指示されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード手段と，
送信される階層符号化されたデータを復号した画像の特定部分の領域を，他の部分よりも高精細に表示させることを指示する画質向上領域指示手段と，
前記画質向上領域指示手段により高精細に表示させる特定部分の領域の指示があった場合に，前記ビットレートトランスコード手段によるビットレートの調整前に，送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち，前記特定部分の領域以外の領域に相当する符号化データのデータ量を削減するコード変換を行う拡張レイヤ領域トランスコード手段とを備える
ことを特徴とする画像通信システム。In an image communication system for performing communication of hierarchically encoded data composed of a base layer bit stream and an enhancement layer bit stream,
Bit rate indicating means for indicating the bit rate of the data;
Among the layer-encoded data, the enhancement layer bit stream is set so that the data amount of the layer-encoded data to be transmitted corresponds to the data amount corresponding to the bit rate specified by the bit rate indicating means. Bit rate transcoding means for adjusting the bit rate by performing code conversion for truncating the encoded data in the order of the encoded data of the lower plane, the encoded data of the upper plane, and then the encoded data of the base layer ,
An image quality improvement region indicating means for instructing to display a region of a specific portion of an image obtained by decoding the hierarchically encoded data to be transmitted with higher definition than other portions;
When there is an instruction of a specific part area to be displayed in high definition by the image quality improvement area instruction means, before the bit rate adjustment by the bit rate transcoding means, the hierarchically encoded data to be transmitted An image communication system, comprising: an extension layer region transcoding unit that performs code conversion to reduce a data amount of encoded data corresponding to a region other than the region of the specific portion in the enhancement layer bitstream.
前記階層符号化されたデータは，拡張レイヤの解像度が基本レイヤの解像度のｎ倍（ただしｎ＞１）の解像度を持つデータである
ことを特徴とする画像通信システム。The image communication system according to claim 1,
The hierarchical communication data is an image communication system characterized in that the resolution of the enhancement layer is data having a resolution n times (where n> 1) the resolution of the base layer.
前記各クライアント端末は，
自端末における入力映像を階層符号化する手段と，
階層符号化されたデータを前記サーバ装置へ送信する手段と，
前記サーバ装置から階層符号化されたデータを受信する手段と，
受信した階層符号化されたデータを階層復号する手段と，
階層復号した画像を表示する手段と，
自端末が受信するデータのビットレートを前記サーバ装置へ通知する手段と，
前記階層符号化されたデータを復号した画像の特定部分の領域を，他の部分よりも高精細に表示させることを指示する画質向上領域指示情報を前記サーバ装置へ送信する手段とを備え，
前記サーバ装置は，
前記各クライアント端末への送信対象となる前記階層符号化されたデータのデータ量が，前記クライアント端末から通知されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード手段と，
前記クライアント端末から画質向上領域指示情報を受信した場合に，前記ビットレートトランスコード手段によるビットレートの調整前に，送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち，前記特定部分の領域以外の領域に相当する符号化データのデータ量を削減するコード変換を行う拡張レイヤ領域トランスコード手段とを備える
ことを特徴とする通信会議システム。Hierarchically encoded data comprising a base layer bit stream and an enhancement layer bit stream, comprising a plurality of client terminals and a server device connected to the client terminals via a network and controlling communication between the client terminals A teleconferencing system for video conferencing using
Each of the client terminals is
Means for hierarchically encoding input video at the terminal;
Means for transmitting the hierarchically encoded data to the server device;
Means for receiving hierarchically encoded data from the server device;
Means for hierarchically decoding received hierarchically encoded data;
Means for displaying the hierarchically decoded image;
Means for notifying the server device of the bit rate of data received by the terminal;
Means for transmitting to the server device image quality improvement region instruction information for instructing to display a region of a specific portion of an image obtained by decoding the hierarchically encoded data at a higher definition than other portions;
The server device
Of the hierarchically encoded data, an extension is made so that the data amount of the hierarchically encoded data to be transmitted to each client terminal is a data amount suitable for the bit rate notified from the client terminal. Bit rate that adjusts the bit rate by performing code conversion that truncates the encoded data in the order of the encoded data of the lower plane of the layer bitstream to the encoded data of the upper plane and then the encoded data of the base layer Transcoding means;
When the image quality improvement region instruction information is received from the client terminal, before the bit rate is adjusted by the bit rate transcoding means, the specific layer of the enhancement layer bit stream of the hierarchically encoded data to be transmitted is specified. A communication conference system, comprising: an extension layer region transcoding unit that performs code conversion to reduce a data amount of encoded data corresponding to a region other than a partial region.
前記各クライアント端末は，
自端末における入力映像を階層符号化する手段と，
階層符号化されたデータを前記サーバ装置へ送信する手段と，
前記サーバ装置から階層符号化されたデータを受信する手段と，
受信した階層符号化されたデータを階層復号する手段と，
階層復号した画像を表示する手段と，
自端末が受信するデータのビットレートを前記サーバ装置へ通知する手段とを備え，
前記サーバ装置は，
前記各クライアント端末への送信対象となる前記階層符号化されたデータのデータ量が，前記クライアント端末から通知されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード手段と，
前記階層符号化されたデータを前記クライアント端末にて復号した画像の特定部分の領域を，他の部分よりも高精細に表示させることを指示する画質向上領域指示手段と，
前記画質向上領域指示手段により高精細に表示させる特定部分の領域の指示があった場合に，前記ビットレートトランスコード手段によるビットレートの調整前に，送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち，前記特定部分の領域以外の領域に相当する符号化データのデータ量を削減するコード変換を行う拡張レイヤ領域トランスコード手段とを備える
ことを特徴とする通信会議システム。Hierarchically encoded data comprising a base layer bit stream and an enhancement layer bit stream, comprising a plurality of client terminals and a server device connected to the client terminals via a network and controlling communication between the client terminals A teleconferencing system for video conferencing using
Each of the client terminals is
Means for hierarchically encoding input video at the terminal;
Means for transmitting the hierarchically encoded data to the server device;
Means for receiving hierarchically encoded data from the server device;
Means for hierarchically decoding received hierarchically encoded data;
Means for displaying the hierarchically decoded image;
Means for notifying the server device of the bit rate of data received by the terminal,
The server device
Of the hierarchically encoded data, an extension is made so that the data amount of the hierarchically encoded data to be transmitted to each client terminal is a data amount suitable for the bit rate notified from the client terminal. Bit rate that adjusts the bit rate by performing code conversion that truncates the encoded data in the order of the encoded data of the lower plane of the layer bitstream to the encoded data of the upper plane and then the encoded data of the base layer Transcoding means;
An image quality improvement region instruction means for instructing to display a region of a specific portion of an image obtained by decoding the hierarchically encoded data at the client terminal in a higher definition than other portions;
When there is an instruction of a specific part area to be displayed in high definition by the image quality improvement area instruction means, before the bit rate adjustment by the bit rate transcoding means, the hierarchically encoded data to be transmitted A communication conferencing system comprising: an extension layer region transcoding unit that performs code conversion to reduce a data amount of encoded data corresponding to a region other than the region of the specific portion of the enhancement layer bitstream.
前記クライアント端末が受信するデータのビットレートを前記サーバ装置へ通知する手段を持つ代わりに，ネットワーク上の装置または前記サーバ装置が，各クライアント端末に対して送信するデータのビットレートを決定し，前記ビットレートトランスコード手段に通知する手段を持つ
ことを特徴とする通信会議システム。In the communication conference system according to claim 3 or 4,
Instead of having a means for notifying the server device of the bit rate of data received by the client terminal, the device on the network or the server device determines the bit rate of data to be transmitted to each client terminal, and A communication conference system comprising means for notifying a bit rate transcoding means.
入力映像を１／ｎ（ただしｎ＞１）に縮小する画像縮小手段と，
前記画像縮小手段によって縮小した画像を符号化し，基本レイヤビットストリームを生成する基本レイヤ符号化手段と，
前記基本レイヤ符号化手段によって符号化したデータを復号した画像を，ｎ倍に拡大する画像拡大手段と，
入力映像と前記画像拡大手段によって拡大した画像とを用いて，拡張レイヤビットストリームを生成する拡張レイヤ符号化手段とから構成される
ことを特徴とする階層符号化装置。A hierarchical encoding device used by a client terminal of a communication conference system according to claim 3, claim 4 or claim 5,
Image reduction means for reducing the input video to 1 / n (where n>1);
Base layer encoding means for encoding the image reduced by the image reduction means and generating a base layer bitstream;
An image enlarging means for enlarging an image obtained by decoding the data encoded by the base layer encoding means by n times;
A hierarchical coding apparatus comprising: an enhancement layer encoding means for generating an enhancement layer bitstream using an input video and an image enlarged by the image enlargement means.
前記クライアント端末への送信対象となる前記階層符号化されたデータのデータ量が，前記クライアント端末に対して指定されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード手段と，
送信される階層符号化されたデータを前記クライアント端末にて復号した画像の特定部分の領域を，他の部分よりも高精細に表示させることを指示する画質向上領域指示情報に基づき，前記ビットレートトランスコード手段によるビットレートの調整前に，送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち，前記特定部分の領域以外の領域に相当する符号化データのデータ量を削減するコード変換を行う拡張レイヤ領域トランスコード手段とを備える
ことを特徴とするサーバ装置。A server device that is connected to a plurality of client terminals performing a video conference via a network and controls a video conference using hierarchically encoded data including a base layer bit stream and an enhancement layer bit stream,
Of the hierarchically encoded data, the data amount of the hierarchically encoded data to be transmitted to the client terminal is a data amount that matches the bit rate specified for the client terminal, Bit that adjusts the bit rate by performing code conversion that truncates the encoded data in the order of the encoded data of the lower plane of the enhancement layer bitstream, the encoded data of the upper plane, and then the encoded data of the base layer Rate transcoding means;
The bit rate based on the image quality improvement region indication information that instructs to display the region of the specific portion of the image obtained by decoding the hierarchically encoded data to be transmitted at the client terminal in a higher definition than the other portion. Before the bit rate is adjusted by the transcoding means, the amount of encoded data corresponding to an area other than the specific part of the enhancement layer bit stream of the hierarchically encoded data to be transmitted is reduced. A server apparatus comprising: an enhancement layer area transcoding unit that performs code conversion.
前記データのビットレートを指示するビットレート指示過程と，
送信対象となる前記階層符号化されたデータのデータ量が，前記ビットレート指示過程において指示されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード過程と，
送信される階層符号化されたデータを復号した画像の特定部分の領域を，他の部分よりも高精細に表示させることを指示する画質向上領域指示過程と，
前記画質向上領域指示過程により高精細に表示させる特定部分の領域の指示があった場合に，前記ビットレートトランスコード過程によるビットレートの調整前に，送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち，前記特定部分の領域以外の領域に相当する符号化データのデータ量を削減するコード変換を行う拡張レイヤ領域トランスコード過程とを有する
ことを特徴とする画像通信方法。An image communication method in an image communication system for performing communication of hierarchically encoded data composed of a base layer bit stream and an enhancement layer bit stream,
A bit rate indicating process for indicating the bit rate of the data;
Of the layer-encoded data, the enhancement layer bitstream of the layer-encoded data is set so that the data amount of the layer-encoded data to be transmitted is a data amount corresponding to the bit rate indicated in the bit rate indication process. A bit rate transcoding process for adjusting the bit rate by performing code conversion for truncating the encoded data in the order of the encoded data of the lower plane, the encoded data of the upper plane, and then the encoded data of the base layer. ,
An image quality improvement region indicating process for instructing to display a region of a specific portion of an image obtained by decoding the hierarchically encoded data to be transmitted with higher definition than other portions;
When there is an instruction of a specific part area to be displayed in high definition by the image quality improvement area instruction process, before the bit rate adjustment by the bit rate transcoding process, the hierarchically encoded data to be transmitted An image communication method comprising: an enhancement layer region transcoding process for performing code conversion for reducing a data amount of encoded data corresponding to a region other than the region of the specific portion of the enhancement layer bitstream.
前記階層符号化されたデータは，拡張レイヤの解像度が基本レイヤの解像度のｎ倍（ただしｎ＞１）の解像度を持つデータである
ことを特徴とする画像通信方法。The image communication method according to claim 8,
2. The image communication method according to claim 1, wherein the hierarchically encoded data is data whose resolution of the enhancement layer is n times (where n> 1) that of the base layer.
前記クライアント端末への送信対象となる前記階層符号化されたデータのデータ量が，前記クライアント端末に対して指定されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード手段と，
送信される階層符号化されたデータを前記クライアント端末にて復号した画像の特定部分の領域を，他の部分よりも高精細に表示させることを指示する画質向上領域指示情報に基づき，前記ビットレートトランスコード手段によるビットレートの調整前に，送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち，前記特定部分の領域以外の領域に相当する符号化データのデータ量を削減するコード変換を行う拡張レイヤ領域トランスコード手段として，
前記コンピュータを機能させるための画像通信プログラム。To be executed by a computer of a server device that is connected to a plurality of client terminals performing a video conference via a network and controls a video conference using hierarchically encoded data composed of a base layer bit stream and an enhancement layer bit stream An image communication program of
Of the hierarchically encoded data, the data amount of the hierarchically encoded data to be transmitted to the client terminal is a data amount that matches the bit rate specified for the client terminal, Bit that adjusts the bit rate by performing code conversion that truncates the encoded data in the order of the encoded data of the lower plane of the enhancement layer bitstream, the encoded data of the upper plane, and then the encoded data of the base layer Rate transcoding means;
The bit rate based on the image quality improvement region indication information that instructs to display the region of the specific portion of the image obtained by decoding the hierarchically encoded data to be transmitted at the client terminal in a higher definition than the other portion. Before the bit rate is adjusted by the transcoding means, the amount of encoded data corresponding to an area other than the specific part of the enhancement layer bit stream of the hierarchically encoded data to be transmitted is reduced. As an extension layer area transcoding means for code conversion,
An image communication program for causing the computer to function.
前記クライアント端末への送信対象となる前記階層符号化されたデータのデータ量が，前記クライアント端末に対して指定されたビットレートに見合うデータ量になるように，階層符号化されたデータのうち，拡張レイヤビットストリームの下位プレーンの符号化データから上位プレーンの符号化データ，次に基本レイヤの符号化データの順番で，符号化データを切り捨てるコード変換を行うことにより，ビットレートの調整を行うビットレートトランスコード手段と，
送信される階層符号化されたデータを前記クライアント端末にて復号した画像の特定部分の領域を，他の部分よりも高精細に表示させることを指示する画質向上領域指示情報に基づき，前記ビットレートトランスコード手段によるビットレートの調整前に，送信対象となる前記階層符号化されたデータの拡張レイヤビットストリームのうち，前記特定部分の領域以外の領域に相当する符号化データのデータ量を削減するコード変換を行う拡張レイヤ領域トランスコード手段として，
前記コンピュータを機能させるためのプログラムを記録した
ことを特徴とする画像通信プログラム記録媒体。To be executed by a computer of a server device that is connected to a plurality of client terminals performing a video conference via a network and controls a video conference using hierarchically encoded data composed of a base layer bit stream and an enhancement layer bit stream A computer-readable recording medium recording the image communication program of
Of the hierarchically encoded data, the data amount of the hierarchically encoded data to be transmitted to the client terminal is a data amount that matches the bit rate specified for the client terminal, Bit that adjusts the bit rate by performing code conversion that truncates the encoded data in the order of the encoded data of the lower plane of the enhancement layer bitstream, the encoded data of the upper plane, and then the encoded data of the base layer Rate transcoding means;
The bit rate based on the image quality improvement region indication information that instructs to display the region of the specific portion of the image obtained by decoding the hierarchically encoded data to be transmitted at the client terminal in a higher definition than the other portion. Before the bit rate is adjusted by the transcoding means, the amount of encoded data corresponding to an area other than the specific part of the enhancement layer bit stream of the hierarchically encoded data to be transmitted is reduced. As an extension layer area transcoding means for code conversion,
An image communication program recording medium, wherein a program for causing the computer to function is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004155421AJP3936708B2 (en) | 2004-05-26 | 2004-05-26 | Image communication system, communication conference system, hierarchical encoding device, server device, image communication method, image communication program, and image communication program recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004155421AJP3936708B2 (en) | 2004-05-26 | 2004-05-26 | Image communication system, communication conference system, hierarchical encoding device, server device, image communication method, image communication program, and image communication program recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005341076Atrue JP2005341076A (en) | 2005-12-08 |
| JP3936708B2 JP3936708B2 (en) | 2007-06-27 |
Family
ID=35494151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004155421AExpired - LifetimeJP3936708B2 (en) | 2004-05-26 | 2004-05-26 | Image communication system, communication conference system, hierarchical encoding device, server device, image communication method, image communication program, and image communication program recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3936708B2 (en) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008131321A (en)* | 2006-11-21 | 2008-06-05 | Nippon Telegr & Teleph Corp <Ntt> | Video transmission method, video transmission program, and computer-readable recording medium recording the program |
| WO2009035012A1 (en)* | 2007-09-10 | 2009-03-19 | Fujifilm Corporation | Image processing apparatus, image processing method, and program |
| JP2010503280A (en)* | 2006-08-29 | 2010-01-28 | マイクロソフト コーポレーション | Visual composition management technology for multimedia audio conferencing |
| US8036476B2 (en) | 2006-10-18 | 2011-10-11 | Realtek Semiconductor Corp. | Image encoding/decoding device and method thereof with data blocks in a determined order |
| JP2013048356A (en)* | 2011-08-29 | 2013-03-07 | Ricoh Co Ltd | Tv conference system, video distribution apparatus and data processing method |
| JP2014514883A (en)* | 2011-05-11 | 2014-06-19 | アルカテル−ルーセント | Method for dynamically adapting video image parameters to facilitate subsequent applications |
| JP2016504812A (en)* | 2012-11-20 | 2016-02-12 | アルカテル−ルーセント | Method for sending a video stream |
| JP2016105593A (en)* | 2014-11-26 | 2016-06-09 | ソニー株式会社 | Live selective adaptive bandwidth |
| CN106254952A (en)* | 2015-06-09 | 2016-12-21 | 维布络有限公司 | video quality dynamic control method and device |
| JP2017022529A (en)* | 2015-07-09 | 2017-01-26 | キヤノン株式会社 | Communication system, communication device, communication method, and program |
| CN106464837A (en)* | 2014-03-05 | 2017-02-22 | 株式会社理光 | Data transmission system, terminal device, program, and method |
| JP2017098898A (en)* | 2015-11-27 | 2017-06-01 | キヤノン株式会社 | Image encoding apparatus, control method thereof, program, and storage medium |
| US10771745B2 (en) | 2016-08-23 | 2020-09-08 | Nec Corporation | Image processing apparatus, image processing method, and storage medium having program stored therein |
| JP2022532065A (en)* | 2019-12-30 | 2022-07-13 | テンセント・アメリカ・エルエルシー | Methods, computer systems, and computer programs for alignment between layers in a coded video stream. |
| WO2023106259A1 (en)* | 2021-12-06 | 2023-06-15 | 日本放送協会 | Delivery device and receiving device |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5335313A (en)* | 1976-09-13 | 1978-04-01 | Nippon Telegr & Teleph Corp <Ntt> | Picture image communication system |
| JPH0216887A (en)* | 1988-07-04 | 1990-01-19 | Nippon Telegr & Teleph Corp <Ntt> | Picture encodor |
| JPH0669811A (en)* | 1992-08-21 | 1994-03-11 | Oki Electric Ind Co Ltd | Encoding circuit and decoding circuit |
| JPH06319134A (en)* | 1993-05-07 | 1994-11-15 | Oki Electric Ind Co Ltd | Picture communication system |
| JPH0746553A (en)* | 1993-07-30 | 1995-02-14 | Canon Inc | Image communication device and system |
| JPH07288806A (en)* | 1994-04-20 | 1995-10-31 | Hitachi Ltd | Video communication system |
| JPH08149434A (en)* | 1994-11-18 | 1996-06-07 | Casio Comput Co Ltd | Video phone |
| JPH0998434A (en)* | 1995-09-29 | 1997-04-08 | Toshiba Corp | Image encoding device and image decoding device |
| JPH10271515A (en)* | 1997-03-26 | 1998-10-09 | Sanyo Electric Co Ltd | Noticed area tracing method, noticed area tracing device using the method and image coding method |
| JPH10271499A (en)* | 1997-03-26 | 1998-10-09 | Sanyo Electric Co Ltd | Image processing method using image area, image processing unit using the method and image processing system |
| JPH10304335A (en)* | 1997-04-28 | 1998-11-13 | Fujitsu Ltd | Information transmission equipment |
| JPH10304334A (en)* | 1997-04-25 | 1998-11-13 | Canon Inc | Communication method, communication device, transmitting device, receiving device, communication system, and storage medium |
| JPH11187371A (en)* | 1997-12-24 | 1999-07-09 | Kyocera Corp | Real-time image transmission method for videophone system |
| JP2000152234A (en)* | 1998-11-16 | 2000-05-30 | Canon Inc | Data processing apparatus and method, and data processing system |
| JP2000358232A (en)* | 1999-06-15 | 2000-12-26 | Toshiba Corp | VOD system |
| JP2001069502A (en)* | 1999-08-25 | 2001-03-16 | Toshiba Corp | Video transmitting terminal and video receiving terminal |
| JP2002084524A (en)* | 2000-09-06 | 2002-03-22 | Nippon Telegr & Teleph Corp <Ntt> | Video / audio / data broadcast receiving / encoding / recording / transmission method and broadcast recording / playback server device |
| JP2003174645A (en)* | 2001-11-30 | 2003-06-20 | Inst For Information Industry | Wavelet transform processing method for video images |
| JP2004023732A (en)* | 2002-06-20 | 2004-01-22 | Matsushita Electric Ind Co Ltd | Data transmission device, data reception device, data transmission method, and data reception method |
- 2004
- 2004-05-26JPJP2004155421Apatent/JP3936708B2/ennot_activeExpired - Lifetime
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5335313A (en)* | 1976-09-13 | 1978-04-01 | Nippon Telegr & Teleph Corp <Ntt> | Picture image communication system |
| JPH0216887A (en)* | 1988-07-04 | 1990-01-19 | Nippon Telegr & Teleph Corp <Ntt> | Picture encodor |
| JPH0669811A (en)* | 1992-08-21 | 1994-03-11 | Oki Electric Ind Co Ltd | Encoding circuit and decoding circuit |
| JPH06319134A (en)* | 1993-05-07 | 1994-11-15 | Oki Electric Ind Co Ltd | Picture communication system |
| JPH0746553A (en)* | 1993-07-30 | 1995-02-14 | Canon Inc | Image communication device and system |
| JPH07288806A (en)* | 1994-04-20 | 1995-10-31 | Hitachi Ltd | Video communication system |
| JPH08149434A (en)* | 1994-11-18 | 1996-06-07 | Casio Comput Co Ltd | Video phone |
| JPH0998434A (en)* | 1995-09-29 | 1997-04-08 | Toshiba Corp | Image encoding device and image decoding device |
| JPH10271515A (en)* | 1997-03-26 | 1998-10-09 | Sanyo Electric Co Ltd | Noticed area tracing method, noticed area tracing device using the method and image coding method |
| JPH10271499A (en)* | 1997-03-26 | 1998-10-09 | Sanyo Electric Co Ltd | Image processing method using image area, image processing unit using the method and image processing system |
| JPH10304334A (en)* | 1997-04-25 | 1998-11-13 | Canon Inc | Communication method, communication device, transmitting device, receiving device, communication system, and storage medium |
| JPH10304335A (en)* | 1997-04-28 | 1998-11-13 | Fujitsu Ltd | Information transmission equipment |
| JPH11187371A (en)* | 1997-12-24 | 1999-07-09 | Kyocera Corp | Real-time image transmission method for videophone system |
| JP2000152234A (en)* | 1998-11-16 | 2000-05-30 | Canon Inc | Data processing apparatus and method, and data processing system |
| JP2000358232A (en)* | 1999-06-15 | 2000-12-26 | Toshiba Corp | VOD system |
| JP2001069502A (en)* | 1999-08-25 | 2001-03-16 | Toshiba Corp | Video transmitting terminal and video receiving terminal |
| JP2002084524A (en)* | 2000-09-06 | 2002-03-22 | Nippon Telegr & Teleph Corp <Ntt> | Video / audio / data broadcast receiving / encoding / recording / transmission method and broadcast recording / playback server device |
| JP2003174645A (en)* | 2001-11-30 | 2003-06-20 | Inst For Information Industry | Wavelet transform processing method for video images |
| JP2004023732A (en)* | 2002-06-20 | 2004-01-22 | Matsushita Electric Ind Co Ltd | Data transmission device, data reception device, data transmission method, and data reception method |
Non-Patent Citations (4)
| Title |
|---|
| FERNANDO PEREIRA, TOURADJ EBRAHIMI, THE MPEG-4 BOOK, JPN4006012343, 10 July 2002 (2002-07-10), pages 330 - 343, ISSN: 0000756402* |
| FERNANDO PEREIRA, TOURADJ EBRAHIMI, THE MPEG-4 BOOK, JPNX007014042, 10 July 2002 (2002-07-10), pages 330 - 343, ISSN: 0000830294* |
| 三木弼一編著, 多彩な映像、音声を自在に符号化する ＭＰＥＧ−４のすべて, JPN4006012342, 30 September 1998 (1998-09-30), pages 254 - 260, ISSN: 0000756403* |
| 三木弼一編著, 多彩な映像、音声を自在に符号化する ＭＰＥＧ−４のすべて, JPNX007014043, 30 September 1998 (1998-09-30), pages 254 - 260, ISSN: 0000830295* |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9635314B2 (en) | 2006-08-29 | 2017-04-25 | Microsoft Technology Licensing, Llc | Techniques for managing visual compositions for a multimedia conference call |
| JP2010503280A (en)* | 2006-08-29 | 2010-01-28 | マイクロソフト コーポレーション | Visual composition management technology for multimedia audio conferencing |
| US8773494B2 (en) | 2006-08-29 | 2014-07-08 | Microsoft Corporation | Techniques for managing visual compositions for a multimedia conference call |
| US10187608B2 (en) | 2006-08-29 | 2019-01-22 | Microsoft Technology Licensing, Llc | Techniques for managing visual compositions for a multimedia conference call |
| US8036476B2 (en) | 2006-10-18 | 2011-10-11 | Realtek Semiconductor Corp. | Image encoding/decoding device and method thereof with data blocks in a determined order |
| JP2008131321A (en)* | 2006-11-21 | 2008-06-05 | Nippon Telegr & Teleph Corp <Ntt> | Video transmission method, video transmission program, and computer-readable recording medium recording the program |
| WO2009035012A1 (en)* | 2007-09-10 | 2009-03-19 | Fujifilm Corporation | Image processing apparatus, image processing method, and program |
| US8498483B2 (en) | 2007-09-10 | 2013-07-30 | Fujifilm Corporation | Image processing apparatus, image processing method, and computer readable medium |
| JP2014514883A (en)* | 2011-05-11 | 2014-06-19 | アルカテル−ルーセント | Method for dynamically adapting video image parameters to facilitate subsequent applications |
| JP2013048356A (en)* | 2011-08-29 | 2013-03-07 | Ricoh Co Ltd | Tv conference system, video distribution apparatus and data processing method |
| JP2016504812A (en)* | 2012-11-20 | 2016-02-12 | アルカテル−ルーセント | Method for sending a video stream |
| US10250652B2 (en) | 2014-03-05 | 2019-04-02 | Ricoh Company, Limited | Data transmission system, terminal device, program, and method |
| CN106464837A (en)* | 2014-03-05 | 2017-02-22 | 株式会社理光 | Data transmission system, terminal device, program, and method |
| EP3116222A4 (en)* | 2014-03-05 | 2017-02-22 | Ricoh Company, Limited | Data transmission system, terminal device, program, and method |
| JP2016105593A (en)* | 2014-11-26 | 2016-06-09 | ソニー株式会社 | Live selective adaptive bandwidth |
| US9554085B2 (en)* | 2015-06-09 | 2017-01-24 | Wipro Limited | Method and device for dynamically controlling quality of a video |
| CN106254952A (en)* | 2015-06-09 | 2016-12-21 | 维布络有限公司 | video quality dynamic control method and device |
| CN106254952B (en)* | 2015-06-09 | 2020-03-10 | 维布络有限公司 | Video quality dynamic control method and device |
| JP2017022529A (en)* | 2015-07-09 | 2017-01-26 | キヤノン株式会社 | Communication system, communication device, communication method, and program |
| JP2017098898A (en)* | 2015-11-27 | 2017-06-01 | キヤノン株式会社 | Image encoding apparatus, control method thereof, program, and storage medium |
| US10771745B2 (en) | 2016-08-23 | 2020-09-08 | Nec Corporation | Image processing apparatus, image processing method, and storage medium having program stored therein |
| JP2022532065A (en)* | 2019-12-30 | 2022-07-13 | テンセント・アメリカ・エルエルシー | Methods, computer systems, and computer programs for alignment between layers in a coded video stream. |
| JP7223169B2 (en) | 2019-12-30 | 2023-02-15 | テンセント・アメリカ・エルエルシー | Method, computer system, and computer program for alignment between layers in encoded video streams |
| WO2023106259A1 (en)* | 2021-12-06 | 2023-06-15 | 日本放送協会 | Delivery device and receiving device |
| EP4447461A4 (en)* | 2021-12-06 | 2025-08-20 | Japan Broadcasting Corp | DISPENSING DEVICE AND RECEIVING DEVICE |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3936708B2 (en) | 2007-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100440953B1 (en) | Method for transcoding of image compressed bit stream | |
| JP5089658B2 (en) | Transmitting apparatus and transmitting method | |
| JP4160278B2 (en) | Scalable encoding method of media stream, scalable encoder, and multimedia terminal | |
| JP3936708B2 (en) | Image communication system, communication conference system, hierarchical encoding device, server device, image communication method, image communication program, and image communication program recording medium | |
| EP1638333A1 (en) | Rate adaptive video coding | |
| US20030023982A1 (en) | Scalable video encoding/storage/distribution/decoding for symmetrical multiple video processors | |
| US20070285500A1 (en) | Method and Apparatus for Video Mixing | |
| US20090168880A1 (en) | Method and Apparatus for Scalably Encoding/Decoding Video Signal | |
| US6987889B1 (en) | System and method for dynamic perceptual coding of macroblocks in a video frame | |
| JP2022514513A (en) | Split tiles and sub-images | |
| JP2005524304A (en) | Method and apparatus for displaying quantizer parameters in a video coding system | |
| JP3936707B2 (en) | Scalable communication conference system, server device, scalable communication conference method, scalable communication conference control method, scalable communication conference control program, and program recording medium thereof | |
| JP2007507927A (en) | System and method combining advanced data partitioning and efficient space-time-SNR scalability video coding and streaming fine granularity scalability | |
| JPH10178639A (en) | Image codec and image data encoding method | |
| EP1227684A2 (en) | Encoding of video signals | |
| US6864909B1 (en) | System and method for static perceptual coding of macroblocks in a video frame | |
| JP2024019620A (en) | Event-based trigger interval in RTCP viewport signaling for immersive videoconferencing and telepresence for remote terminals | |
| US11711492B2 (en) | Signaling of the RTCP viewport feedback for immersive teleconferencing and telepresence for remote terminals | |
| US20060120454A1 (en) | Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer | |
| JP2005045666A (en) | Transcoder | |
| JP4241463B2 (en) | Image processing device | |
| US20070242747A1 (en) | Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer | |
| JP2008011191A (en) | Video coding / synthesizing apparatus, video coding / synthesizing method, and video transmission system | |
| HK40067907A (en) | Video signal transmission method, device, computer equipment and storage medium | |
| US20060133498A1 (en) | Method and apparatus for deriving motion vectors of macroblocks from motion vectors of pictures of base layer when encoding/decoding video signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20060725 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20060925 | |
| RD04 | Notification of resignation of power of attorney | Free format text:JAPANESE INTERMEDIATE CODE: A7424 Effective date:20060925 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20070320 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20070323 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:3936708 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| RD02 | Notification of acceptance of power of attorney | Free format text:JAPANESE INTERMEDIATE CODE: R3D02 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20110330 Year of fee payment:4 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20110330 Year of fee payment:4 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20120330 Year of fee payment:5 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20130330 Year of fee payment:6 | |
| S531 | Written request for registration of change of domicile | Free format text:JAPANESE INTERMEDIATE CODE: R313531 | |
| R350 | Written notification of registration of transfer | Free format text:JAPANESE INTERMEDIATE CODE: R350 | |
| EXPY | Cancellation because of completion of term |