JP2004056335A - Information processing apparatus and method, display apparatus and method, and program - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To make a required range of image data high in resolution and to minimize a communicated image data quantity. <P>SOLUTION: An image server transmits an image captured by a camera to a head mount display via a network. The head mount display displays a received image, detects a position of eye balls of a user, and transmits the variance of the viewpoint to the image server. The image server brings a prescribed range of an image around the viewpoint 154 of the user to be a high resolution image 153 and the other ranges to be a low resolution image 152 on the basis of the variance of the viewpoint to encode the image data and transmits the result to the head mount display. As a result, the quantity of the transmitted image data can be decreased and the range notified by the user can be brought into a high resolution image. This invention is applicable to display apparatuses for displaying images acquired via a network. <P>COPYRIGHT: (C)2004,JPO

Description

Translated fromJapanese

【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法、表示装置および方法、並びにプログラムに関し、特に、画像の必要な範囲を高解像度にしつつ、かつ、通信する画像データ量を最小限に抑えることができるようにした情報処理装置および方法、表示装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、例えばパーソナルコンピュータが、エンコードされた画像データをサーバからダウンロードし、同時に再生する、所謂、ストリーミング再生の技術が知られている。この場合、サーバからパーソナルコンピュータに送信される画像データは、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）２、またはＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）などの画像圧縮規格により圧縮（符号化）されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、ＭＰＥＧ２やＪＰＥＧなどの画像圧縮規格においては、画像の解像度、すなわち、圧縮係数は１つの画面で一定であった。従って、サーバからパーソナルコンピュータに、高解像度の画像を送信する場合、画面全体を高解像度で圧縮する必要があり、送信する画像データのデータ量が多くなるという課題があった。
【０００４】
従って、画像データの送信時間が長くなってしまったり、ネットワークに大きな負荷をかけてしまうという課題があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、ユーザの視点のばらつきにもとづいて、画像の最適な範囲を高解像度にし、かつ、通信する画像データ量を最小限に抑えることを目的とする。
【０００６】
【課題を解決するための手段】
本発明の情報処理装置は、画像の第１の領域をそれ以外の第２の領域より高解像度にして符号化する符号手段と、符号手段により符号化された画像を表示装置に送信する送信手段と、表示装置より、予め設定された所定の時間内における、画像に対するユーザの視点の座標の平均値、および分散値を受信する受信手段と、受信手段により受信された画像に対するユーザの視点の座標の平均値、および分散値に基づいて、画像内における第１の領域を指定する指定手段とを備え、符号手段は、指定手段により指定された第１の領域を高解像度にして符号化することを特徴とする。
【０００７】
前記画像を撮影する撮影手段をさらに設けるようにすることができる。
【０００８】
前記指定手段には、前記分散値の大きさに比例して、前記第１の領域を広範囲に指定するようにさせることができる。
【０００９】
前記指定手段には、前記視点の座標の平均値を中心にして、前記第１の領域を指定するようにさせることができる。
【００１０】
本発明の情報処理方法は、画像の第１の領域をそれ以外の第２の領域より高解像度にして符号化する符号ステップと、符号ステップの処理により符号化された画像を表示装置に送信する送信ステップと、表示装置より、記画像に対するユーザの視点の座標の平均値、および分散値を受信する受信ステップと、受信ステップの処理により受信された画像に対するユーザの視点の座標の平均値、および分散値に基づいて、画像内における第１の領域を指定する指定ステップとを含み、符号ステップの処理は、指定ステップの処理により指定された第１の領域を高解像度にして符号化することを特徴とする。
【００１１】
本発明の第１のプログラムは、画像の第１の領域をそれ以外の第２の領域より高解像度にして符号化する符号ステップと、符号ステップの処理により符号化された画像の表示装置への送信を制御する送信制御ステップと、表示装置からの、画像に対するユーザの視点の座標の平均値、および分散値の受信を制御する受信制御ステップと、受信制御ステップの処理により受信が制御された画像に対するユーザの視点の座標の平均値、および分散値に基づいて、画像内における第１の領域を指定する指定ステップとをコンピュータに実行させることを特徴とする。
【００１２】
本発明の表示装置は、情報処理装置より、第１の領域がそれ以外の第２の領域より高解像度にして符号化された画像を受信する受信手段と、受信手段により受信された画像を復号する復号手段と、復号手段により復号された画像を表示する表示手段と、表示手段により表示されている画像に対するユーザの視点の座標を検出する検出手段と、検出手段により検出されたユーザの視点の座標を、予め設定された所定の時間毎に取得する取得手段と、取得手段により取得された、所定の個数の視点の座標の平均値、および分散を演算する演算手段と、演算手段により演算された、ユーザの視点の座標の平均値および分散値を、情報処理装置に送信する送信手段とを備えることを特徴とする。
【００１３】
本発明の表示方法は、情報処理装置より、第１の領域がそれ以外の第２の領域より高解像度にして符号化された画像を受信する受信ステップと、受信ステップの処理により受信された画像を復号する復号ステップと、復号ステップの処理により復号された画像を表示する表示ステップと、表示ステップの処理により表示されている画像に対するユーザの視点の座標を検出する検出ステップと、検出ステップの処理により検出されたユーザの視点の座標を、予め設定された所定の時間毎に取得する取得ステップと、取得ステップの処理により取得された、所定の個数の視点の座標の平均値、および分散を演算する演算ステップと、演算ステップの処理により演算された、ユーザの視点の座標の平均値および分散値を、情報処理装置に送信する送信ステップとを含むことを特徴とする。
【００１４】
本発明の第２のプログラムは、情報処理装置からの、第１の領域がそれ以外の第２の領域より高解像度にして符号化された画像の受信を制御する受信制御ステップと、受信制御ステップの処理により受信が制御された画像を復号する復号ステップと、復号ステップの処理により復号された画像の表示を制御する表示制御ステップと、表示制御ステップの処理により表示が制御されている画像に対するユーザの視点の座標を検出する検出ステップと、検出ステップの処理により検出されたユーザの視点の座標を、予め設定された所定の時間毎に取得する取得ステップと、取得ステップの処理により取得された、所定の個数の視点の座標の平均値、および分散を演算する演算ステップと、演算ステップの処理により演算された、ユーザの視点の座標の平均値および分散値の、情報処理装置への送信を制御する送信制御ステップとをコンピュータに実行させることを特徴とする。
【００１５】
本発明の情報処理装置および方法、並びにプログラムにおいては、画像の第１の領域がそれ以外の第２の領域より高解像度にして符号化され、符号化された画像が表示装置に送信され、表示装置より、予め設定された所定の時間内における、画像に対するユーザの視点の座標の平均値、および分散値が受信され、受信された画像に対するユーザの視点の座標の平均値、および分散値に基づいて、画像内における第１の領域が指定され、指定された第１の領域が高解像度にして符号化される。
【００１６】
本発明の表示装置および方法、並びにプログラムにおいては、情報処理装置より、第１の領域がそれ以外の第２の領域より高解像度にして符号化された画像が受信され、受信された画像が復号され、復号された画像が表示され、表示されている画像に対するユーザの視点の座標が検出され、検出されたユーザの視点の座標が、予め設定された所定の時間毎に取得され、取得された、所定の個数の視点の座標の平均値、および分散が演算され、演算された、ユーザの視点の座標の平均値および分散値が、情報処理装置に送信される。
【００１７】
【発明の実施の形態】
図１は、本発明を適用したサービス提供システムの一実施の形態を示す図である。本実施の形態においては、図１において、インターネットなどのネットワーク１０には、ヘッドマウントディスプレイ（ＨＭＤ）１１、および画像サーバ１２が接続されている。また、画像サーバ１２は、カメラ１３に接続されている。カメラ１３により撮影された画像は、画像サーバ１２により加工され、ネットワーク１０を介して、ヘッドマウントディスプレイ１１に供給される。ヘッドマウントディスプレイ１１は、ネットワーク１０を介して、画像サーバ１２から供給された画像を表示し、ユーザに視聴させる。
【００１８】
図２は、ヘッドマウントディスプレイ１１の外観の構成例を示している。ユーザは、ヘッドマウントディスプレイ１１を、図２に示されるように、メガネをかけるように装着する。ヘッドマウントディスプレイ１１においては、ユーザの目の前方の位置に、映像を表示する表示部２５８（図５）が配置されている。ユーザは、この表示部２５８に表示される映像を見ることができる。ヘッドマウントディスプレイ１１には、視点検出部１０１が内蔵されている。視点検出部１０１は、例えば角膜（強膜）反射方式（眼球の黒目と白目の反射率の違いを利用する）により、ユーザの眼球の位置を検出する。視点検出部１０１の視点検出の原理について以下に説明する。
【００１９】
視点検出部１０１は、水平方向の眼球の位置を検出するセンサと、垂直方向の眼球の位置を検出するセンサにより構成される。水平方向の眼球の位置を検出するセンサは、１つの発光素子（赤外ＬＥＤ）、および発光素子を挟むように左右に配置された２つの受光素子（フォトダイオード）により構成される。発光素子は、眼球の中央に位置する黒目に赤外光を照射する。受光素子は、発光素子が眼球に照射した赤外光の反射光を受光する。左右の受光素子によりそれぞれ受光された反射光の強度の差に基づいて、水平方向の眼球の位置が検出される。
【００２０】
すなわち、眼球の黒目の部分は、反射率が低く、白目の部分は、反射率が高い。よって、黒目の部分の面積が大きくなる側の受光素子は、黒目の部分の面積が小さい側の受光素子と比べて、より少ない反射光しか受光しない。従って、黒目が右側の受光素子側に移動した場合、右側の受光素子が受光する反射光の光量は左側の受光素子と比べて少ないものとなる。反対に、黒目が左側の受光素子側に移動した場合、左側の受光素子が受光する反射光の光量は右側の受光素子と比べて少ないものとなる。以上のような、左右の受光素子が受光する反射光の強度の差に基づいて、眼球の水平方向の位置が検出される。
【００２１】
垂直方向の眼球の位置を検出するセンサも、１つの発光素子（赤外ＬＥＤ）、および発光素子を挟むように左右に配置された２つの受光素子（フォトダイオード）により構成される。発光素子は、眼球の表面下縁に向かって赤外光を照射する。受光素子は、発光素子が眼球に照射した赤外光の反射光を受光する。左右の受光素子によりそれぞれ受光された反射光の強度の和に基づいて、垂直方向の眼球の位置が検出される。
【００２２】
すなわち、眼球が下を向くと、眼球の表面下縁における黒目の面積が多くなるため、左右の受光素子が受光する反射光強度が低くなる。反対に、眼球が上を向くと、黒目の面積が少なくなるため、左右の受光素子が受光する反射光強度が高くなる。左右の受光素子が受光した反射光の強度を足し算することにより、眼球の垂直方向の眼球の位置が検出される。
【００２３】
なお、以上のような視点検出方法は、例えば、特開平８−２２９００８号公報に開示されている。また、視点検出部１０１の視点検出方法としては、上記した角膜反射方式に限定されるものではなく、角膜反射方式以外の方法を用いても良い。例えば、ＶＯＧ（Ｖｉｄｅｏ−ｏｃｕｌｏｇｒａｍ）方式を用いるようにすることもできる。
【００２４】
ヘッドマウントディスプレイ１１は、視点検出部１０１により検出されたユーザの眼球の位置に基づいて、表示部２５８に表示されている画像の中で、ユーザの視線が注がれている部分を特定する。その後、ヘッドマウントディスプレイ１１は、ユーザの視線が注がれている部分を特定する情報を、ネットワーク１０を介して、画像サーバ１２に通知する。画像サーバ１２は、ヘッドマウントディスプレイ１１からの通知に基づいて、ユーザの視線が注がれている部分の画像を、それ以外の部分より高解像度にした画像データを、ヘッドマウントディスプレイ１１に供給する。その結果、ヘッドマウントディスプレイ１１の表示部２５８には、例えば図３に示されるような画像が表示される。
【００２５】
図３の画面１５１は、表示部２５８に表示されている画面を示している。画面１５１中、視点１５４は、ユーザの視線が注がれていた部分である。視点１５４を中心として所定の領域が高解像度画像１５３となっている。また、画面１５１中、高解像度画像１５３以外の領域が低解像度画像１５２となっている。このように、送信する画像データのうち、ユーザが注視している部分のみを高解像度とし、それ以外の部分を低解像度とすることにより、画像データ全体のデータ量を少なくすることが可能である。従って、画像サーバ１２からヘッドマウントディスプレイ１１に送信する画像データのデータ量が少なくなるため、より短時間で、画像サーバ１２からヘッドマウントディスプレイ１１に画像データを送信することができる。
【００２６】
本発明は、図３の高解像度画像の領域が、ユーザの視点の位置の分散に基づいて可変であることを１つの特徴とする。すなわち、ユーザが、１点を凝視している場合、ユーザの視点の座標の分散が小さくなるため、高解像度画像１５３の領域を、ユーザが凝視している点を中心とした小さい範囲にとどめる。一方、ユーザが、画面１５１の１点を凝視せず、視点が移動している場合、ユーザの視点の分散が大きくなるため、高解像度画像１５３の領域をより広い範囲に取る。このようにすることにより、画像サーバ１２からヘッドマウントディスプレイ１１に送信すべき画像データのデータ量を必要最小限にしつつ、ユーザが注視する部分については、より高解像度の画像とすることができる。
【００２７】
このように、画像データのうち、所定の領域のみを高解像度画像１５３にし、それ以外の領域を低解像度画像１５２にする画像圧縮方式として、本実施の形態においては、ＪＰＥＧ２０００を利用する。ＪＰＥＧ２０００は、画像の一部分だけを高い解像度で実現する機能を有している。なお、このことは、本発明の画像圧縮方式がＪＰＥＧ２０００に限定されることを意味するものではない。画像データのうち、所定の領域のみを高解像度にし、それ以外の領域を低解像度にすることが可能な、ＪＰＥＧ２０００以外の画像圧縮方式を利用することも勿論可能である。
【００２８】
次に、図４は、画像サーバ１２の内部の構成例を表している。図４において、操作部２０１は、画像サーバ１２の管理者の操作の入力を受け付け、入力された操作に対応する操作情報を制御部２０２に送信する。制御部２０２は、操作部２０１から受信した操作情報に従って、画像サーバ１２内の各部の動作を制御する。また、制御部２０２は、タイマを内蔵しており、タイマに基づいた所定のタイミングで、予め設定された所定のプログラムを実行し、画像サーバ１２内の各部の動作を制御する。
【００２９】
エンコーダ２０３は、カメラ１３により取り込まれている画像を、キャプチャする。そして、エンコーダ２０３は、キャプチャした画像データを、ＲＯＩ（Ｒｅｇｉｏｎ　ｏｆ　Ｉｎｔｅｒｅｓｔ）指定部２０５からの指定に従って、ＪＰＥＧ２０００の画像圧縮方式により圧縮（符号化）して、所定の領域を高解像度にし、それ以外の部分を低解像度にした画像データを作成する。そして、エンコーダ２０３は、作成した画像データを通信部２０４に送信する。
【００３０】
通信部２０４は、エンコーダ２０３から供給されたＪＰＥＧ２０００方式でエンコードされた画像データを、ネットワーク１０を介して、ヘッドマウントディスプレイ１１に送信する。また、通信部２０４は、ネットワーク１０を介して、ヘッドマウントディスプレイ１１より、視点情報を受信し、これをＲＯＩ指定部２０５に供給する。なお、視点情報とは、ユーザが注視している部分を特定するための情報であり、詳細な説明は後述する。
【００３１】
ＲＯＩ指定部２０５は、通信部２０４から供給された視点情報に基づいて、高解像度にする領域とそれ以外の領域を、エンコーダ２０３に対して指定する。
【００３２】
次に、図５は、ヘッドマウントディスプレイ１１の内部の構成例を表している。図５において、操作部２５１は、ユーザの操作の入力を受け付け、入力された操作に対応する操作情報を制御部２５２に送信する。制御部２５２は、操作部２５１から受信した操作情報に従って、ヘッドマウントディスプレイ１１内の各部の動作を制御する。また、制御部２５２は、タイマを内蔵しており、タイマに基づいた所定のタイミングで、予め設定された所定のプログラムを実行し、ヘッドマウントディスプレイ１１内の各部の動作を制御する。
【００３３】
視点検出部１０１は、ユーザの眼球の位置を検出して（詳細な説明は上記した通り）、画面１５１上のユーザが注視している座標（以下、画面１５１上のユーザが注視している座標を視点座標とも称する）を演算し、この視点座標を視点座標保持部２５３に供給する。視点座標保持部２５３は、視点検出部１０１から供給された視点座標を記憶する。また、視点座標保持部２５３は、視点座標を演算処理部２５４に供給すると共に、演算処理部２５４より、演算結果としての視点情報を受信し記憶する。そして、視点座標保持部２５３は、記憶した視点情報を、所定のタイミングで、パケット作成部２５５に供給する。
【００３４】
演算処理部２５４は、視点座標保持部２５３より、視点座標を取得し、この視点座標に基づいて視点情報を演算する。そして、演算処理部２５４は、演算結果の視点情報を視点座標保持部２５３に供給し、記憶させる。
【００３５】
パケット作成部２５５は、所定のタイミングで、視点座標保持部２５３より視点情報を取得し、この視点情報をパケット通信により画像サーバ１２に送信するためのパケットを作成し、これを通信部２５６に供給する。通信部２５６は、パケット作成部２５５から供給された、視点情報を含むパケットを、ネットワーク１０を介して、画像サーバ１２に送信する。また、通信部２５６は、ネットワーク１０を介して、画像サーバ１２から、ＪＰＥＧ２０００方式で圧縮（符号化）された画像データを受信し、これをデコーダ２５７に供給する。
【００３６】
デコーダ２５７は、通信部２５６から供給された画像データを伸長（復号）し、これを表示部２５８に供給する。表示部２５８は、例えば小型のＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）により構成され、デコーダ２５７から供給された、伸長された画像データに基づいて、画像を出力し、ユーザの目の前に表示させ、閲覧させる。
【００３７】
次に、図６および図７のフローチャートを参照して、画像データ表示処理、すなわち、画像サーバ１２からヘッドマウントディスプレイ１１に画像データを供給し、ヘッドマウントディスプレイ１１の表示部２５８に表示するまでの処理について説明する。
【００３８】
なお、図６はヘッドマウントディスプレイ１１の処理を、図７は画像サーバ１２の処理を、それぞれ示している。また、ヘッドマウントディスプレイ１１と画像サーバ１２間の通信は、全てネットワーク１０を介して行われるものとして、以下の説明においては、ネットワーク１０を介する旨の記載は省略する。
【００３９】
図６のステップＳ１０１において、ヘッドマウントディスプレイ１１の制御部２５２は、操作部２５１からの操作情報に基づいて、ユーザから画像視聴開始の指示が入力されたか否かを判定して、待機する。そして、ユーザから画像視聴開始の指示が入力された場合、ステップＳ１０２に進み、制御部２５２は、通信部２５６を介して、画像サーバ１２に、画像データを要求する。
【００４０】
図７のステップＳ１３１において、画像サーバ１２の制御部２０２は、通信部２０４を介して、ヘッドマウントディスプレイ１１より画像データの要求を受信すると、ステップＳ１３２において、画像データ送信処理を実行する。
【００４１】
画像データ送信処理の詳細について、図８のフローチャートを参照して説明する。図８のステップＳ１７１において、制御部２０１は、エンコードするタイミングか否かを判定し、エンコードするタイミングである場合、処理はステップＳ１７１に進む。なお、今回は、ヘッドマウントディスプレイ１１より画像データの要求を受信してから初めての画像データ送信処理なので、制御部２０２は、ステップＳ１７１において、エンコードするタイミングであると判定し、処理はステップＳ１７２に進む。
【００４２】
ステップＳ１７２において、制御部２０２は、エンコーダ２０３に指示して、カメラ１３から供給されている画像データをキャプチャさせる。ステップＳ１７３において、制御部２０２は、ＲＯＩ指定部２０５に、ＲＯＩパラメータをエンコーダ２０３に供給するように指示する。ここで、ＲＯＩパラメータとは、高解像度の領域を指定する情報のことである。
【００４３】
ただし、今回は、ヘッドマウントディスプレイ１１より画像データの要求を受信してから初めての画像データ送信処理であり、ヘッドマウントディスプレイ１１から、視点情報を取得していないので、ＲＯＩ指定部２０５は、高解像度領域を指定しない。従って、ステップＳ１７３において、ＲＯＩ指定部２０５からエンコーダ２０３へは、高解像度領域が無いことを示すＲＯＩパラメータが供給される。エンコーダ２０３は、ＲＯＩ指定部２０５より、高解像度領域がないことを示すＲＯＩパラメータを取得する。
【００４４】
ステップＳ１７４において、制御部２０２からの指示により、エンコーダ２０３は、ステップＳ１７３で取得したＲＯＩパラメータに従って、ステップＳ１７２でキャプチャした画像データをエンコードする。なお、今回は、ヘッドマウントディスプレイ１１より画像データの要求を受信してから初めての画像データ送信処理であり、上記したように、ステップＳ１７３で高解像度領域が無いことを示すＲＯＩパラメータを取得しているので、エンコーダ２０３は、画像データ全体を低解像度にして画像をエンコードする。
【００４５】
ステップＳ１７５において、制御部２０２からの指示により、エンコーダ２０３は、ステップＳ１７４でエンコードした画像データを、通信部２０４に供給する。通信部２０４は、エンコーダ２０３から供給された、エンコードされた画像データを、ヘッドマウントディスプレイ１１に送信する。なお、この送信には、例えばＲＴＰ（Ｒｅａｌ−ｔｉｍｅ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ）が利用される。
【００４６】
ステップＳ１７６において、制御部２０２は、エンコード時間を更新する。すなわち、一旦画像をエンコードして送信して（ステップＳ１７１乃至ステップＳ１７６）から次に画像をエンコードして送信するまでの時間は予め設定されている。その時間は、例えば、０．１秒とされる。そこで、制御部２０２は、例えば０．１秒後に、再度、ステップＳ１７１乃至ステップＳ１７６の処理を開始するように、内蔵するタイマを更新する。
【００４７】
以上で、画像データ送信処理を終了する。
【００４８】
ヘッドマウントディスプレイ１１の制御部２５２は、ステップＳ１０３において、画像サーバ１２が図８のステップＳ１７５で送信した画像データを、通信部２５６を介して受信する。ステップＳ１０４において、制御部２５２は、ステップＳ１０３で受信されたパケットの受信状況に基づいて、パケット喪失率を算出し、パケット損失率を含むＲＴＣＰ（ＲＴＰ　Ｃｏｎｔｒｏｌ　Ｐｒｏｔｏｃｏｌ）レシーバレポートを、通信部２５６を介して、画像サーバ１２に送信する。図９は、ステップＳ１０４で、ヘッドマウントディスプレイ１１から画像サーバ１２に送信されるＲＴＣＰレシーバレポートのフォーマットを示す図である。なお、ＲＴＣＰ　Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃは、ＲＦＣ（Ｒｅｑｕｅｓｔ　Ｆｏｒ　Ｃｏｍｍｅｎｔｓ）１８８９に定義されている。
【００４９】
図９のＲＴＣＰレシーバレポートにおいて、１番上の段の１番左側から右に向かって、バージョン番号（ｖ）、パディング（ｐ）、ペイロードタイプ（Ｐｔ＝２０１）、メッセージ長が記録されている。上から２段目には、送信者の同期ソース識別子（ＳＳＲＣ）が記録されている。上から３段目には、左からパケット損失率、および累計喪失パケット数が記録されている。上から４段目には、最大受信シーケンス番号が記録されている。上から５段目には、パケット間隔ジッタが記録されている。上から６段目には、最新送信レポート時刻が記録されている。１番下の段には、送信レポート経過時間が記録されている。
【００５０】
図７に戻って、ステップＳ１３３において、画像サーバ１２の制御部２０２は、図６のステップＳ１０４でヘッドマウントディスプレイ１１が送信したパケット喪失率を、通信部２０４を介して受信し、記憶する。すなわち、制御部２０２は、図９のＲＴＣＰレシーバレポートからパケット喪失率を読み出し、記憶する。
【００５１】
ここで、図６に戻り、ステップＳ１０５において、ヘッドマウントディスプレイ１１の制御部２５２は、ステップＳ１０３で受信した画像データを、通信部２５６からデコーダ２５７に供給させる。そして、デコーダ２５７は、制御部２５２からの指示により、供給された画像データをデコードし、表示部２５８に供給する。表示部２５８は、供給された画像データに対応する画像を表示させる。ユーザは、表示部２５８に表示された画像を見ることができる。
【００５２】
ステップＳ１０６において、ヘッドマウントディスプレイ１１の制御部２５２は、操作部２５１からの操作情報に基づいて、ユーザにより視聴停止の指示が入力されたか否かを判定し、ユーザにより視聴停止の指示が入力された場合、処理はステップＳ１０７に進む。
【００５３】
ステップＳ１０７において、ヘッドマウントディスプレイ１１の制御部２５２は、通信部２５６を介して、画像サーバ１２に視聴停止を通知する。そして、ヘッドマウントディスプレイ１１は、画像データ表示処理を終了する。
【００５４】
このとき、画像サーバ１２の制御部２０２は、ヘッドマウントディスプレイ１１がステップＳ１０７で送信した視聴停止の通知を受信するため、図７のステップＳ１３４において、視聴停止の通知が受信されたと判定し、画像データ表示処理を終了する。
【００５５】
視聴停止の指示が入力されていない場合、図６のステップＳ１０６において、ヘッドマウントディスプレイ１１の制御部２５２は、視聴停止の指示が入力されていないと判定し、ステップＳ１０３に戻り、ステップＳ１０３以降の処理を繰り返し実行する。すなわち、画像サーバ１２の制御部２０２は、図７のステップＳ１３４において、ヘッドマウントディスプレイ１１より、視聴停止の通知が受信されていないと判定し、ステップＳ１３２以降の処理を繰り返す。従って、ヘッドマウントディスプレイ１１は、ステップＳ１０３において、画像サーバ１２より、次の画像データを受信し、それ以降の処理を繰り返す。
【００５６】
ところで、画像サーバ１２からヘッドマウントディスプレイ１１に、１つ目の画像データ（全体が低解像度領域の画像データ）が送信され、ヘッドマウントディスプレイ１１の表示部２５８に表示されたとき、ヘッドマウントディスプレイ１１は、ユーザの視点の位置に基づいて、視点情報を算出し、これを画像サーバ１２に送信する。画像サーバ１２は、この視点情報に基づいて、図８のステップＳ１７４で、高解像度領域を含む画像データを作成し、ヘッドマウントディスプレイ１１に供給する。ヘッドマウントディスプレイ１１は、供給された高解像度領域のある画像データを表示する。
【００５７】
そこで、次に、図１０のフローチャートを参照して、ヘッドマウントディスプレイ１１の視点情報送信処理、すなわち、ヘッドマウントディスプレイ１１が視点情報を算出し、ヘッドマウントディスプレイ１１から、画像サーバ１２に視点情報を送信するまでの処理について説明する。なお、視点情報送信処理は、視聴開始の指示が入力された後、１回目のステップＳ１０５の処理により、表示部２５８に画像が表示されたとき、開始される。
【００５８】
図１０のステップＳ２０１において、制御部２５２からの指示により、演算処理部２５４は、変数ｎを初期化して、ｎ＝０に設定する。各変数の具体的な説明は後述する。
【００５９】
ステップＳ２０２において、ヘッドマウントディスプレイ１１の制御部２５２は、内蔵するタイマに基づいて、視点情報の計算時刻か否かを判定し、計算時刻である場合、処理はステップＳ２０３に進む。なお、図１０のステップＳ２０１の後、１回目のステップＳ２０２の処理においては、制御部２５２は、視点情報の計算時刻であると判定し、処理はステップＳ２０３に進む。
【００６０】
ステップＳ２０３において、制御部２５２からの指示により、視点座標保持部２５３は、視点検出部１０１から供給される視点座標を記憶する。ここで、視点座標について、図１１を参照して説明する。図１１において、画面領域４０１は、表示部２５８に表示される画面全体を示している。画面領域４０１の横方向にＸ軸を、縦方向にＹ軸をとる。画面領域４０１のＸ軸方向を０乃至１００の１０１個の座標に分割する。同様に、画面領域４０１のＹ軸方向を０乃至１００の１０１個の座標に分割する。視点検出部１０１は、ユーザの眼球の位置を検出した後、その眼球の位置において、眼球が注視している画面領域４０１の座標を算出する。
【００６１】
視点検出部１０１は、例えば、眼球が注視している位置が、図１１の視点４０２であると算出する。その後、視点検出部１０１は、視点４０２の画面領域４０１内での座標を算出する。例えば、視点４０２が、図１１のように、画面領域４０１の中央に位置していた場合、視点検出部１０１は、視点座標を（ｘ，ｙ）＝（５０，５０）と算出する。視点検出部１０１は、所定のタイミングで、視点座標を算出し、視点座標保持部２５３に出力している。視点検出部２５４は、１秒間にａ回以上、視点座標を算出する。なお、ａは、予め設定された所定の定数のことであり、後述するステップＳ２０５の処理で利用される。視点検出部２５４は、例えば、１秒間に１００回、視点座標を算出する。
【００６２】
視点座標保持部２５３は、視点検出部１０１から供給された視点座標を記憶する。
【００６３】
ステップＳ２０４において、制御部２５２からの指示により、演算処理部２５４は、変数ｎの値を１だけインクリメントする。ステップＳ２０５において、演算処理部２０５は、ｎ≧ａ（ただし、ａは予め設定された定数）か否かを判定する。なお、以下の例においては、ａ＝１０に設定されている。ただし、勿論、ａ＝１０は一例であり、ａは１０以外の値でも良い。
【００６４】
そして、演算処理部２０５がｎ≧ａではないと判定した場合、処理はステップＳ２０２に戻り、ステップＳ２０２以降の処理が繰り返し実行される。
【００６５】
ステップＳ２０５で、演算処理部２０５がｎ≧ａであると判定するまで、ステップＳ２０２乃至ステップＳ２０５の処理は繰り返される。そして、そのたびに、ｎが１ずつインクリメントされてゆく。
【００６６】
以下に、２回目以降のステップＳ２０２乃至ステップＳ２０５の処理について説明する。１回目のステップＳ２０５の処理で、演算処理部２０５がｎ≧ａではないと判定した後、２回目のステップＳ２０２において、制御部２５２は、計算時刻であるか否かを判定する。なお、ステップＳ２０１の処理の後、ステップＳ２０５で演算処理部２０５がｎ≧ａであると判定するまでの間、制御部２５２に内蔵されているタイマは、例えば０．１秒毎に、計算時刻であると判定するようになっている。そこで、２回目のステップＳ２０２において、制御部２５２は、計算時刻であると判定する。そして、制御部２５２が、計算時刻であると判した後、ステップＳ２０３で、視点座標保持部２５３は、視点検出部１０１から入力される視点座標を記憶し、ステップＳ２０４で、演算処理部２５４はｎの値を１だけインクリメントして、ｎ＝２とする。
【００６７】
その後、２回目のステップＳ２０５の処理で、演算処理部２０５がｎ≧ａではないと判定した後、３回目のステップＳ２０２において、制御部２５２は、計算時刻であるか否かを判定する。そして、制御部２５２が、計算時刻であると判した後、ステップＳ２０３で、視点座標保持部２５３は、視点検出部１０１から入力される視点座標を記憶し、ステップＳ２０４で、演算処理部２５４はｎの値を１だけインクリメントして、ｎ＝３とする。
【００６８】
以降、同様にして、４回目乃至９回目のステップＳ２０２乃至ステップＳ２０５の処理が実行されたとき、視点座標保持部２５３には、９個の視点座標が記憶され、ｎはｎ＝９になっている。その後、１０回目のステップＳ２０２において、制御部２５２は、計算時刻であるか否かを判定する。そして、制御部２５２が、計算時刻であると判した後、ステップＳ２０３で、視点座標保持部２５３は、視点検出部１０１から入力される視点座標を記憶し、ステップＳ２０４で、演算処理部２５４はｎの値を１だけインクリメントして、ｎ＝１０とする。
【００６９】
その後、ステップＳ２０５において、演算処理部２５４は、ｎ≧ａであると判定し、処理はステップＳ２０６に進む。
【００７０】
以上のステップＳ２０２乃至ステップＳ２０５の処理の繰り返しにおいて、視点座標保持部２５３が視点座標を記憶する仕組みについて説明する。
【００７１】
視点座標保持部２５３は、ａ＝１０個分の視点座標を記憶する領域を有している。視点座標保持部２５３が、視点座標を記憶する際の概念図を、図１２乃至図１５に示す。図１２に示されている輪は、１０個の領域に分割されており、分割された各領域が、ａ乃至ｊにより示されている。ａ乃至ｊの各領域には、それぞれ１つずつ、視点座標が記憶される。書き込みポイントの矢印が示す位置の領域（図１２においてはａで示された領域）に、視点座標が記憶される。
【００７２】
図１０において、１回目のステップＳ２０３の処理において、図１２に示される領域ａに、視点座標（ｘ０，ｙ０）が記憶される。その後、図１２に示された輪は、視点座標の記憶領域１つ分だけ回転し、図１３に示されるように、書き込みポイントの位置に、領域ｂが位置する。２回目のステップＳ２０３の処理において、図１３に示される領域ｂに、視点座標（ｘ１，ｙ１）が記憶される。その後、図１３に示された輪は、視点座標の記憶領域１つ分だけ回転し、図１４に示されるように、書き込みポイントの位置に、領域ｃが位置する。３回目のステップＳ２０３の処理において、図１４に示される領域ｃに、視点座標（ｘ２，ｙ２）が記憶される。
【００７３】
以下、同様にして、４回目のステップＳ２０３において、領域ｄに、視点座標（ｘ３，ｙ３）が記憶され、５回目のステップＳ２０３において、領域ｅに、視点座標（ｘ４，ｙ４）が記憶され、６回目のステップＳ２０３において、領域ｆに、視点座標（ｘ５，ｙ５）が記憶され、７回目のステップＳ２０３において、領域ｇに、視点座標（ｘ６，ｙ６）が記憶され、８回目のステップＳ２０３において、領域ｈに、視点座標（ｘ７，ｙ７）が記憶され、９回目のステップＳ２０３において、領域ｉに、視点座標（ｘ８，ｙ８）が記憶される。
【００７４】
そして、１０回目のステップＳ２０３において、図１５に示されるように、領域ｊに、視点座標（ｘ９，ｙ９）が記憶される。
【００７５】
このようにして、領域ａ乃至ｊに記憶された視点座標の例を、図１６に示す。図１６において、１番左側の列は、上から順番に領域ａ乃至ｊを示す。また、図１６において、中央の列は、視点座標保持部２５３に記憶されたｘ座標の例を示している。また、図１６において、１番右側の列は、視点座標保持部２５３に記憶されたｙ座標の例を示している。
【００７６】
図１６に示されるように、領域ａには、視点座標（ｘ，ｙ）＝（１０，２０）が記憶されている。また、領域ｂには、視点座標（ｘ，ｙ）＝（３０，３０）が記憶されている。以下、同様に、領域ｃには、視点座標（ｘ，ｙ）＝（１０，４０）が記憶され、領域ｄには、視点座標（ｘ，ｙ）＝（４０，４０）が記憶され、領域ｅには、視点座標（ｘ，ｙ）＝（５０，５０）が記憶され、領域ｆには、視点座標（ｘ，ｙ）＝（５０，５０）が記憶され、領域ｇには、視点座標（ｘ，ｙ）＝（６０，２０）が記憶され、領域ｈには、視点座標（ｘ，ｙ）＝（１０，１０）が記憶され、領域ｉには、視点座標（ｘ，ｙ）＝（５，１）が記憶され、領域ｊには、視点座標（ｘ，ｙ）＝（９０，９０）が記憶されている。
【００７７】
このように、視点座標保持部２５３に、所定の個数の視点座標が記憶されたとき、ステップＳ２０５において、演算処理部２５４は、ｎ≧ａである（予め設定された所定の個数の視点座標が、視点座標保持部２５３に記憶された）と判定し、処理はステップＳ２０６に進む。
【００７８】
ステップＳ２０６において、演算処理部２５４は、ｘ座標の平均値（以下、ｘ座標の平均値をｘｍとする）、およびｙ座標の平均値（以下、ｙ座標の平均値をｙｍとする）を算出する。図１６の例においては、演算処理部２５４は、ｘｍ＝（１０＋３０＋１０＋４０＋５０＋５０＋６０＋１０＋５＋９０）／１０＝３５．５、およびｙｍ＝（２０＋３０＋４０＋４０＋５０＋５０＋２０＋１０＋１＋３０）／１０＝２９．１を計算する。
【００７９】
次に、ステップＳ２０７において、演算処理部２５４は、ｘの分散（以下、ｘの分散をσ＾２ｘとする）、およびｙの分散（以下、ｙの分散をσ＾２ｙとする）を算出する。ここで、ｘの分散を算出する式は、以下のようになっている。
【００８０】
【数１】

【００８１】
以上の式を式（１）とする。式（１）に関する以下の説明においては、ｘの添え字ｉは、ｘ＿ｉのように記す。同様に、ｆの添え字ｉは、ｆ＿ｉのように記す。式１に示されるようにｉは１乃至１０１の値をとる。すなわち、図１１を参照して説明したように、ｘ座標は、０乃至１００の１０１個の座標に分割されている。従って、ｉの値１乃至１０１は、それぞれ、ｘ座標０乃至１００に対応している。
【００８２】
ｘ＿ｉは、ｘ座標の値である。すなわち、ｘ＿ｉの値は、（ｉ−１）である。ｘｍは、ステップＳ２０６で算出したｘ座標の平均値である。ｆ＿ｉは、視点座標のｘ座標の、０乃至１００の各ｘ座標における度数分布を示す値である。例えば、図１６の例において、ｘ＝５０は領域ｅと領域ｆの２個あるので、ｘ＝５０の度数分布であるｆ＿５１はｆ＿５１＝２である。
【００８３】
つまり、式（１）は、変量の値ｘ＿ｉの、平均値ｘｍからの偏差を２乗し、それに度数ｆ＿ｉを掛け算した値を、ｉが１の場合乃至１０１の場合分だけ足し算し、これを、視点座標の個数１０で割り算したものである。
【００８４】
ｙの分散を算出する式は、以下のようになっている。
【００８５】
【数２】

【００８６】
以上の式を式（２）とする。式（２）は、式（１）におけるｘ＿ｉおよびｘｍを、それぞれｙ＿ｉおよびｙｍに置き換えたものである。つまり、式（２）は、変量の値ｙ＿ｉの、平均値ｙｍからの偏差を２乗し、それに度数ｆ＿ｉを掛け算した値を、ｉが１の場合乃至１０１の場合分だけ足し算し、これを、視点座標の個数１０で割り算したものである。
【００８７】
図１０に戻って、ステップＳ２０８において、ヘッドマウントディスプレイ１１の演算処理部２５４は、ステップＳ２０６で算出したｘｍおよびｙｍ、並びにステップＳ２０７で算出したσ＾２ｘおよびσ＾２ｙを、視点座標保持部２５３に記憶させる。
【００８８】
ステップＳ２０９において、制御部２５２は、ステップＳ２０８で視点座標保持部２５３に記憶されたｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙを、パケット作成部２５５に供給させる。そして、制御部２５２は、パケット作成部２５５に、ｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙを含む、送信用のパケットを作成させる。図１７は、パケット作成部２５５により作成されたパケットの例を示している。図１７は、ＲＴＣＰ　Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃのフォーマットを表している。なお、ＲＴＣＰ　Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃは、ＲＦＣ１８８９に定義されている。
【００８９】
図１７において、１番上の段には、左側から右側に向かって順番に、バージョン番号（ｖ）、パディング（ｐ）、パケットタイプ、メッセージ長が記録されている。上から２段目には、送信者の同期ソース識別子（ＳＳＲＣ）が記録されている。上から３段目には、アプリケーション名が記録されている。上から４段目には、データ、すなわち、ｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙが記録されている。
【００９０】
ステップＳ２０９の処理の後、ステップＳ２１０において、ヘッドマウントディスプレイ１１の制御部２５２は、入力モードが１であるか否かを判定し、入力モードが１である場合、処理はステップＳ２１１に進む。ユーザは、操作部２５１を操作して、入力モードを０または１のいずれかに設定することができる。入力モード＝１の場合、制御部２５２は、計算時刻までのタイマを０．１秒に設定する（前回、ステップＳ２０２で計算時刻であると判定された時刻から０．１秒後に、再度計算時刻がくるように設定する）。その後、処理はステップＳ２０２に戻る。
【００９１】
この場合、ステップＳ２０２において、制御部２５２は、前回、ステップＳ２０２で計算時刻であると判定してから０．１秒後に、再び、計算時刻であると判定する。結果的に、前回、演算処理部２５４がｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙを算出してから０．１秒後に、演算処理部２５４は、次のｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙを算出する。
【００９２】
ステップＳ２１０において、制御部２５２が、入力モードは１ではない、すなわち入力モードは０であると判定した場合、処理はステップＳ２１２に進む。
【００９３】
ステップＳ２１２において、制御部２５２は、計算時刻までのタイマを０．２秒に設定する（前回、ステップＳ２０２で計算時刻であると判定された時刻から０．２秒後に、再度計算時刻がくるように設定する）。その後、処理はステップＳ２０２に戻る。
【００９４】
この場合、ステップＳ２０２において、制御部２５２は、前回、ステップＳ２０２で計算時刻であると判定してから０．２秒後に、再び、計算時刻であると判定する。結果的に、前回、演算処理部２５４がｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙを算出してから０．２秒後に、演算処理部２５４は、次のｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙを算出する。
【００９５】
以上のように、入力モードの切り替えにより、ｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙを算出する間隔を調節することができる。したがって、入力モード＝１を選択することにより、より細かい眼球の位置の変化を検出することができ、入力モード＝０を選択することにより、より大雑把な眼球の位置の変化を検出することができる。なお、以上の例においては、入力モードは０か１の２パターンしかないが、入力モードは３パターン以上にすることも勿論可能である。
【００９６】
ところで、図１０において、ステップＳ２１１、またはステップＳ２１２の処理によりタイマをセットした後、ステップＳ２０２で計算時刻であると判定された場合、処理はステップＳ２０３に進む。このとき、視点座標保持部２５３は、すでに１０個の視点座標を記憶しているので、ステップＳ２０３において、視点座標保持部２５３は、記憶している１０個の視点座標のうち最も古い視点座標に、視点検出部１０１から入力された視点座標を上書きして、記憶させる。この処理の概念を、図１５および図１８を参照して説明する。
【００９７】
すなわち、例えば、図１５には、領域ａ乃至ｊの全ての領域に視点座標が既に記憶されている場合の例が示されている。図１５において、１番古く記憶されている視点座標は、領域ａの（ｘ０，ｙ０）である。そこで、新しい視点座標を記憶させるとき、図１８に示されるように、領域ａに記憶されていた（ｘ０，ｙ０）を消去し、領域ａに新しい視点座標（ｘ１０，ｙ１０）を記憶させる。
【００９８】
より一般的な概念図を図１９に示す。図１９において、書き込みポイントに位置する領域には最新の視点座標（ｘｎ，ｙｎ）が記憶される。その１つ下の領域には、１つ前に取得された視点座標（ｘｎ−１，ｙｎ−１）が記憶されている。さらに、その１つ下の領域には、２つ前に取得された視点座標（ｘｎ−２，ｙｎ−２）が記憶されている。以下、同様に、より古い視点座標が記憶され、輪の１番上の領域には最新の視点座標（ｘｎ，ｙｎ）の８つ前に取得された視点座標（ｘｎ−８，ｙｎ−８）が記憶されている。視点座標（ｘｎ−８，ｙｎ−８）の下には、最新の視点座標（ｘｎ，ｙｎ）の９つ前に取得された視点座標（ｘｎ−９，ｙｎ−９）が記憶されている。このように、視点座標保持部２５３は、新しい視点座標を順次上書きしてゆく。
【００９９】
図１０のステップＳ２０９で、ヘッドマウントディスプレイ１１が送信した視点情報（ｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙ）は、画像サーバ１２により受信され記憶される。次に、図２０のフローチャートを参照して、画像サーバ１２の視点情報受信処理について説明する。
【０１００】
ステップＳ２５１において、画像サーバ１２の通信部２０４は、ヘッドマウントディスプレイ１１が図１０のステップＳ２０９で送信した視点情報（ｘｍ、ｙｍ、σ＾２ｘ、およびσ＾２ｙ）を受信する。
【０１０１】
ステップＳ２５２において、画像サーバ１２の制御部２０２は、ステップＳ２５１で通信部２０４が受信した視点情報を、ＲＯＩ指定部２０５に供給させる。そして、制御部２０２は、ＲＯＩ指定部２０５に、視点情報を記憶させる。
【０１０２】
以上で、画像サーバ１２の視点情報受信処理を終了する。
【０１０３】
画像サーバ１２のＲＯＩ指定部２０５は、以上のようにして記憶した視点情報を基に、高解像度領域を指定するＲＯＩパラメータを演算し、エンコーダ２０３に供給する。エンコーダ２０３は、図８のステップＳ１７４において、このＲＯＩパラメータに基づいて、高解像度領域を含む画像データを作成する。
【０１０４】
次に、図２１のフローチャートを参照して、画像サーバ１２のＲＯＩ範囲決定処理、すなわち、視点情報に基づいて、高解像度領域を指定する処理について説明する。
【０１０５】
図２１のステップＳ３０１において、制御部２０２からの指示に基づいて、ＲＯＩ指定部２０５は、変数ａ，ｂ，Ｃを初期化する。ここで、変数ａ，ｂ，Ｃについて、図２２を参照して説明する。
【０１０６】
図２２においては、画面領域４０１の中で、視点４０２を中心とした所定の範囲が、高解像度領域５０１として指定されている。視点４０２の座標は、視点情報に含まれている（ｘ，ｙ）＝（ｘｍ，ｙｍ）である。この高解像度領域５０１は、Ｙ軸方向の辺の長さをαとし、Ｘ軸方向の辺の長さをβとする長方形（正方形を含む）である。
【０１０７】
ここで、αは、例えば、
α＝ａσ＾２ｙ
により算出される。この式を式（３）とする。
【０１０８】
また、βは、例えば、
β＝ｂσ＾２ｘ
により算出される。この式を式（４）とする。
【０１０９】
上記の式（３）および式（４）の中のａおよびｂは、ネットワークの状況に応じて設定される。例えば、パケット喪失率が高くなった場合、ａおよびｂを小さな値にすることにより、αおよびβの長さを短くすることができる。結果的に、高解像度領域５０１を少なくして、エンコードした画像データのデータ量を少ないものにすることができる。
【０１１０】
また、ユーザが、視点４０２を凝視して、眼球の位置を移動させなかった場合、分散σ＾２ｘ、または分散σ＾２ｙは限りなく０に近づいてしまう。その場合、上記の式（３）または式（４）においては、α、またはβの長さも限りなく０に近づいてしまう。結果的に、ユーザが、１点を凝視すればするほど、高解像度領域５０１がほとんどなくなってしまう。
【０１１１】
また、ネットワーク１０の輻輳が続いた場合、ａおよびｂの値が、０になってしまう可能性がある。その場合も、上記の式（３）または式（４）においては、α、またはβの長さが０になってしまう。結果的に、高解像度領域５０１がなくなってしまう。
【０１１２】
このような事態を避けるために、αおよびβには、最小値Ｃが設定され、もし式（３）または式（４）において、α、またはβの値が最小値Ｃを下回った場合、その辺の長さは、Ｃとされる。
【０１１３】
変数ａ，ｂ，Ｃには、予め設定された所定の初期値があり、ステップＳ３０１で、画像サーバ１２のＲＯＩ指定部２０５は、変数ａ，ｂ，Ｃを、予め設定された初期値に設定する。
【０１１４】
ステップＳ３０２において、制御部２０２は、ヘッドマウントディスプレイ１１から、パケット喪失率、および視点情報を受信したか否かを判定し、パケット喪失率、および視点情報を受信していた場合、処理はステップＳ３０３に進む。ここで、パケット喪失率は、図７のステップＳ１３３で受信したものである。また、視点情報は、図２０のステップＳ２５１で受信したものである。
【０１１５】
ステップＳ３０３において、制御部２０２は、記憶していたパケット喪失率をＲＯＩ指定部２０５に供給する。ＲＯＩ指定部２０５は、制御部２０２から供給されたパケット喪失率を、予め設定されている所定の基準値Ｘと比較し、パケット喪失率がＸ以上であるか否かを判定する。その結果、パケット喪失率がＸ以上ではなかった場合、処理はステップＳ３０４に進む。
【０１１６】
ステップＳ３０４において、ＲＯＩ指定部２０５は、ａの値に１足して、これを新たなａとして設定する。また、ＲＯＩ指定部２０５は、ｂの値に１足して、これを新たなｂとして設定する。
【０１１７】
ステップＳ３０３において、ＲＯＩ指定部２０５が、パケット喪失率がＸ以上ではない、すなわちＸ未満であると判定した場合、処理はステップＳ３０５に進む。
【０１１８】
ステップＳ３０５において、ＲＯＩ指定部２０５は、ａの値から１引いて、これを新たなａとして設定する。また、ＲＯＩ指定部２０５は、ｂの値から１引いて、これを新たなｂとして設定する。
【０１１９】
ステップＳ３０４、またはステップＳ３０５の処理の後、処理はステップＳ３０６に進み、ＲＯＩ指定部２０５は、式（３）および式（４）を実行し、αおよびβの値を算出する。
【０１２０】
ステップＳ３０７において、ＲＯＩ指定部２０５は、α＜Ｃであるか否かを判定し、α＜Ｃである場合、処理はステップＳ３０８に進む。ステップＳ３０８において、ＲＯＩ指定部２０５は、α＝Ｃに設定する。その後、処理はステップＳ３０９に進む。
【０１２１】
ステップＳ３０７において、ＲＯＩ指定部２０５が、α＜Ｃではないと判定した場合、すなわち、α≧Ｃであると判定した場合、ステップＳ３０８の処理はスキップされ、処理はステップＳ３０９に進む。
【０１２２】
ステップＳ３０９において、ＲＯＩ指定部２０５は、β＜Ｃであるか否かを判定し、β＜Ｃである場合、処理はステップＳ３１０に進む。ステップＳ３１０において、ＲＯＩ指定部２０５は、β＝Ｃに設定する。その後、処理はステップＳ３１１に進む。
【０１２３】
ステップＳ３０９において、ＲＯＩ指定部２０５が、β＜Ｃではないと判定した場合、すなわち、β≧Ｃであると判定した場合、ステップＳ３１０の処理はスキップされ、処理はステップＳ３１１に進む。
【０１２４】
ステップＳ３１１において、ＲＯＩ指定部２０５は、ステップＳ３０６乃至ステップＳ３１０の処理により設定された値α、β、並びに視点情報に含まれているｘｍおよびｙｍを、１グループとして、記憶する。ステップＳ３１１の処理の後、処理はステップＳ３０２に戻り、ステップＳ３０２以降の処理が繰り返される。
【０１２５】
以上のようにして、高解像度領域５０１が決定される。ＲＯＩ指定部２０５は、以上の処理により設定された値α、β、ｘｍ、およびｙｍをもとに、高解像度領域５０１を指定するためのＲＯＩパラメータを作成し、所定のタイミングで、ＲＯＩパラメータを、エンコーダ２０３に供給する（図８のステップＳ１７３）。エンコーダ２０３は、このＲＯＩパラメータに従って、高解像度領域５０１を含む画像データを作成する（図８のステップＳ１７４）。
【０１２６】
なお、図２１のフローチャートにおいては、高解像度領域５０１の辺αおよびβは、それぞれ、式（３）および式（４）により算出する場合を例にして説明したが、このことは、本発明が、高解像度領域５０１の辺αおよびβを、それぞれ、式（３）および式（４）により算出することに限定されることを意味するものではない。
【０１２７】
例えば、式（３）および式（４）において、ｂ∝ａとしても良い。また、α∝βとしてもよい。この場合、αおよびβを算出する式を、例えば、
α＝ａ（σ＾２ｘ＋σ＾２ｙ）
β＝ｂ（σ＾２ｘ＋σ＾２ｙ）
としても良い。
【０１２８】
また、ａおよびｂを、パケット喪失率とは無関係に、定数にするようにしても良い。さらに、上記で説明した例は、高解像度領域５０１が長方形（正方形を含む）の場合であるが、高解像度領域５０１は、長方形以外の形状でも良い。ＪＰＥＧ２０００においては、高解像度領域は、任意の形状を指定することができる。高解像度領域は、例えば、図２３に示されるように、円形でも良い。
【０１２９】
図２３において、高解像度領域５１１は、視点４０２を中心とし、半径をｒとする円形である。この場合、半径ｒは、例えば、
ｒ＝ｋ（ａσ＾２ｘ＋ｂσ＾２ｙ）
により算出してもよい。なお、ｋは、予め設定された定数である。また、ａおよびｂの算出方法は、図２１のフローチャートのステップＳ３０３乃至ステップＳ３０５の処理と同様の方法にすることができる。
【０１３０】
また、高解像度領域は、例えば、図２４に示されるように、楕円形でも良い。図２４において、高解像度領域５２１は、視点４０２を中心とした楕円形である。αおよびβの算出方法は、図２１のフローチャートと同様でも良い。
【０１３１】
以上、本実施の形態において説明したように、ユーザの視点の分散に基づいて、高解像度領域を指定するようにすることにより、画像サーバ１２からヘッドマウントディスプレイ１１に送信する画像データ全体のデータ量を必要最小限に抑えつつ、ユーザが注視している領域は高解像度にすることができる。
【０１３２】
ヒトの眼球運動は、一般的にサッケード（跳躍性眼球運動）と滑動性眼球運動に分類される。サッケードとは、ある注視点から、他の注視点へ高速に視点を移動させる眼球運動であり、サッケード中は、表示部２５８に表示された画像を知覚することができない。滑動性眼球運動とは、注視している対象物（例えば、表示部２５８に表示されている人物など）が低速で移動してゆく場合に、その対象物を追従してゆく眼球運動であり、滑動性眼球運動中は、表示部２５８に表示された画像を知覚することができる。
【０１３３】
サッケードが生じた場合、分散の値は大きくなる。従って、高解像度領域は、より広い範囲になる。このようにすることにより、ユーザの注視点が瞬間的に、遠い位置に移動しても（例えば、ユーザの注視点が、図３の画面１５１の左上端から、右下端へと、瞬間的に移動しても）、注視点の移動先が高解像度領域内である確率を高めることができる。また、仮に、注視点の移動先が、視点の移動直後には高解像度領域ではなかったとしても、速やかに、高解像度領域内とすることができる。
【０１３４】
それに対して、滑動性眼球運動が生じた場合、分散は、サッケードの場合と比較して、より小さい値となる。従って、高解像度領域は、サッケードの場合と比較して、より狭い範囲となる。このようにすることにより、ユーザの注視点が低速で移動した場合（例えば、ユーザの注視点が、図３の画面１５１の視点１５４から、徐々に下方へと移動した場合）、高解像度領域の範囲を必要最小限の広さに抑えた上で（従って、画像サーバ１２からヘッドマウントディスプレイ１１に送信する画像データのデータ量を少なく抑えた上で）、注視点の移動先が高解像度領域内であるようにすることができる。
【０１３５】
また、ヒトの視野は、一般的に中心視野と周辺視野に分類される。視野とは、眼前の１点を固視している場合に、同時に見える空間の範囲をいう。ヒトが対象物を見るとき、眼球のレンズを通過した光は網膜に像が倒置した状態で結ばれる。網膜の部分によって、得られる視力は異なり、網膜の中心部（網膜中心窩）において、最も良好な視力を得ることができる。中心視野とは、網膜中心窩に結ばれた像の範囲である。また、周辺視野とは、網膜の網膜中心窩以外の部分に結ばれた像の範囲である。周辺視野においては、中心視野ほど、良好な視力を得ることができない。
【０１３６】
視力は、網膜中心窩から離れるに従い、急激に低下する。例えば、網膜中心窩に結像された画像に対して１．０乃至１．２の視力を有するヒトにおいて、網膜中心窩から、角度が５度離れた部分に結像された画像に対する視力は、０．１程度であり、角度が１０度離れた部分に結像された画像に対する視力は、０．０５程度である。
【０１３７】
例えば、図２２において、ユーザの視点４０２の位置する部分の画像が、網膜中心窩に結像される。よって、ユーザの視力は、視点４０２において最も良好であり、視点４０２から離れるにつれて急激に低下する。従って、仮に、図２２の画面１５１全体の画像を高解像度にしたとしても、ユーザは、視点４０２から離れた部分の画像を鮮明に知覚することができない。
【０１３８】
そこで、本発明のように、視点４０２から離れた部分の画像を低解像度の画像にしても、ユーザが画面４０１に表示されている画像全体を知覚する際に、ユーザの知覚能力に大きな影響を与えることはない。
【０１３９】
また、網膜上には、光を受容する光受容細胞が存在する。光受容細胞には、錐体細胞と桿体細胞の２種類ある。錐体細胞は、網膜中心窩に多く分布し、桿体細胞は、網膜の周辺部に多く分布している。つまり、中心視野は、主に錐体細胞の働きにより得られ、周辺視野は、主に桿体細胞の働きにより得られる。
【０１４０】
錐体細胞は、赤の波長を吸収するタイプ、青の波長を吸収するタイプ、および緑の波長を吸収するタイプに分類される。錐体細胞は、明るいところで、色彩を識別するために働く。一方、桿体細胞は、可視光の全波長を吸収する。桿体細胞は、暗いなかで、物の形を識別するために働く。
【０１４１】
従って、中心視野内の画像（例えば、図３の高解像度画像１５３）をカラー表示にし、周辺視野内の画像（例えば、図３の低解像度画像１５２）を、グレースケールで表示するようにしても良い。
【０１４２】
なお、本実施の形態において説明したヘッドマウントディスプレイ１１の外観の構成は、図２に示されたものに限定されるものではなく、任意の形状のヘッドマウントディスプレイを採用することができる。また、図２においては、視点検出部１０１は、ヘッドマウントディスプレイ１１に内蔵されているが、視点検出部１０１は、ヘッドマウントディスプレイ１１の本体とは別体として構成するようにしても良い。また、視点検出部１０１は、図２においては、ユーザの右眼の前方に設置され、右眼の眼球の位置を検出するようになっているが、視点検出部１０１は、ユーザの左眼の前方に設置され、ユーザの左眼の眼球の位置を検出するようにしても良い。
【０１４３】
また、本発明は、ヘッドマウントディスプレイ１１以外の表示装置に適用することも可能である。例えば、ユーザから所定の距離だけ前方に位置する筐体に画面を設置したディスプレイ、ユーザの前方に位置するスクリーンに画像を投影するプロジェクタなどに、本発明を適用することができる。その場合、ユーザには、眼球の位置を検出するための検出装置が装着される。
【０１４４】
また、本実施の形態においては、ＲＴＣＰ　Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ、およびＲＴＣＰ　Ｒｅｃｅｉｖｅｒ　Ｒｅｐｏｒｔを利用して、ヘッドマウントディスプレイ１１から画像サーバ１２へ、視点情報やパケット喪失率を送信しているが、このことは、本発明が、ＲＴＣＰ　Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ、およびＲＴＣＰ　Ｒｅｃｅｉｖｅｒ　Ｒｅｐｏｒｔを利用することに限定されることを意味するものではない。
【０１４５】
また、本実施の形態においては、説明を簡単にするために、画像サーバ１２は、１台のヘッドマウントディスプレイ１１に対してのみ、画像データを送信する場合を例にして説明したが、画像サーバ１２は、複数のヘッドマウントディスプレイ１１に対して、独立並行に画像データを送信するようにすることもできる。その場合、各ヘッドマウントディスプレイ１１は、例えば、ＲＴＣＰ　Ａｐｐｌｉｃａｔｉｏｎ　ＳｐｅｃｉｆｉｃやＲＴＣＰ　Ｒｅｃｅｉｖｅｒ　Ｒｅｐｏｒｔに含まれる送信者の同期ソース識別子により、個々に識別される。そして、画像サーバ１２は、識別した各ヘッドマウントディスプレイ１１に対して、それぞれ、独立して、本実施の形態で説明した処理を実行する。
【０１４６】
また、本実施の形態においては、高解像度領域（例えば、図２２の高解像度領域５０１、図２３の高解像度領域５１１、または図２４の高解像度領域５２１）を指定する場合、視点４０２の座標として、（ｘｍ，ｙｍ）を利用しているが、視点４０２の座標は、例えば、ヘッドマウントディスプレイ１１が図１９の書き込みポイントで書き込んだばかりの（ｘｎ，ｙｎ）とすることができる。
【０１４７】
また、本実施の形態においては、画像サーバ１２は、ヘッドマウントディスプレイ１１に対して、エンコードした画像データのみを送信する場合について説明したが、画像サーバ１２は、勿論、画像データと共に、音声データを送信するようにすることができる。すなわち、画像サーバ１２は、カメラ１３に備えられたマイクロフォンにより集音された音声データを、エンコーダ２０３により、画像データと共にエンコードし、通信部２０４を介して、ヘッドマウントディスプレイ１１に送信することができる。
【０１４８】
また、図４には、画像サーバ１２から受信した音声データを再生するスピーカが記載されていないが、スピーカをさらに備えるようにすることもできる。すなわち、ヘッドマウントディスプレイ１１が、通信部２５６を介して、画像サーバ１２から受信したデータは、デコーダ２５７によりデコードされ、デコードされたデータのうち、画像データは、表示部２５８に表示され、音声データは、スピーカに供給され、音声データに対応する音声が出力される。
【０１４９】
また、本実施の形態においては、画像サーバ１２は、カメラ１３から取り込まれた画像をエンコードする場合を例として説明しているが、このことは、本発明がカメラ１３から取り込まれた画像をエンコードする場合に限定されることを意味するものではない。画像サーバ１２は、例えば、予め所定の記録媒体に記録された画像データをキャプチャし、エンコーダ２０３でエンコードし、通信部２０４を介して、ヘッドマウントディスプレイ１１に送信することもできる。また、勿論、予め所定の記録媒体に記録された画像データをエンコードする際に、視点情報に基づいて、高解像度領域を指定することも可能である。
【０１５０】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、例えば、画像サーバ１２、またはヘッドマウントディスプレイ１１は、図２５に示されるような汎用のパーソナルコンピュータ７００により構成される。
【０１５１】
図２５において、ＣＰＵ７０１は、ＲＯＭ７０２に記憶されているプログラム、または記憶部７０９からＲＡＭ７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５２】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インターフェース７０５も接続されている。
【０１５３】
入出力インターフェース７０５には、キーボード、マウスなどよりなる操作部７０６、スピーカなどよりなり、音声を出力する音声出力部７０７、ＬＣＤ、またはＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）などよりなるディスプレイ７０８、ハードディスクなどより構成される記憶部７０９、モデム、ターミナルアダプタなどより構成される通信部７１０が接続されている。通信部７１０は、インターネットを含むネットワーク１０を介しての通信処理を行う。
【０１５４】
入出力インターフェース７０５にはまた、必要に応じてドライブ７１１が接続され、磁気ディスク７２１、光ディスク７２２、光磁気ディスク７２３、或いは半導体メモリ７２４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０９にインストールされる。
【０１５５】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１５６】
この記録媒体は、図２５に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク７２１（フレキシブルディスクを含む）、光ディスク７２２（ＣＤ−ＲＯＭ，ＤＶＤを含む）、光磁気ディスク７２３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）を含む）、もしくは半導体メモリ７２４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ７０２や、記憶部７０９に含まれるハードディスクなどで構成される。
【０１５７】
また、記録媒体へのプログラムの格納は、必要に応じて通信部７１０を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった有線または無線の通信媒体を利用して行われるようにしても良い。
【０１５８】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１６０】
【発明の効果】
以上のように、第１の本発明によれば、ネットワークを介して表示装置に、画像を送信することが可能となる。
【０１６１】
また、第１の本発明によれば、ネットワークを介して送信する画像データのうち、ユーザが注視している範囲の画像解像度を高解像度に保ちつつ、画像データのデータ量を必要最小限に抑えることが可能となる。従って、画像データの送信時間を短縮することができる。また、ネットワークが輻輳することを防ぐことができる。
【０１６２】
さらに、第１の本発明によれば、ユーザの眼球運動、すなわちサッケード、滑動性眼球運動、および眼球を動かさずに１点を固視した場合のそれぞれにおいて、高解像度の画像にする領域が、最適な範囲に指定された画像を、表示装置に送信することができる。
【０１６３】
また第２の本発明によれば、ネットワークを介して、画像を受信することができる。
【０１６４】
また、第２の本発明によれば、ネットワークを介して受信する画像データのうち、ユーザが注視している範囲の画像解像度を高解像度に保ちつつ、画像データのデータ量を必要最小限に抑えることが可能となる。従って、画像データの受信時間を短縮することができる。また、ネットワークが輻輳することを防ぐことができる。
【０１６５】
さらに、第２の本発明によれば、ユーザの眼球運動、すなわちサッケード、滑動性眼球運動、および眼球を動かさずに１点を固視した場合のそれぞれにおいて、高解像度の画像にする領域が、最適な範囲に指定された画像を表示することができる。
【図面の簡単な説明】
【図１】本発明を適用したサービス提供システムの構成例を示すブロック図である。
【図２】ヘッドマウントディスプレイの外観の構成例を示す図である。
【図３】ヘッドマウントディスプレイの表示部に表示される画面の例を示す図である。
【図４】画像サーバの内部の構成例を示すブロック図である。
【図５】ヘッドマウントディスプレイの内部の構成例を示すブロック図である。
【図６】ヘッドマウントディスプレイの画像データ表示処理を説明するフローチャートである。
【図７】画像サーバの画像データ表示処理を説明するフローチャートである。
【図８】画像サーバの画像データ送信処理を説明するフローチャートである。
【図９】図６のステップＳ１０４で送信されるパケットのフォーマットの例を示す図である。
【図１０】ヘッドマウントディスプレイの視点情報送信処理を説明するフローチャートである。
【図１１】視点座標の特定方法を説明する図である。
【図１２】視点情報保持部の視点座標の記憶方法を概念的に説明する図である。
【図１３】視点情報保持部の視点座標の記憶方法を概念的に説明する、図１２に続く図である。
【図１４】視点情報保持部の視点座標の記憶方法を概念的に説明する、図１３に続く図である。
【図１５】視点情報保持部の視点座標の記憶方法を概念的に説明する、図１４に続く図である。
【図１６】視点座標保持部に記憶される視点座標の例を示す図である。
【図１７】図１０のステップＳ２０９図でで送信されるパケットのフォーマットの例を示す図である。
【図１８】視点情報保持部の視点座標の記憶方法を概念的に説明する、図１５に続く図である。
【図１９】視点情報保持部の視点座標の記憶方法を概念的に説明する図である。
【図２０】画像サーバの視点情報受信処理を説明するフローチャートである。
【図２１】画像サーバのＲＯＩ範囲決定処理を説明するフローチャートである。
【図２２】ＲＯＩ範囲の指定方法を説明する図である。
【図２３】ＲＯＩ範囲の指定方法を説明する他の図である。
【図２４】ＲＯＩ範囲の指定方法を説明するさらに他の図である。
【図２５】本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
１０　ネットワーク，　１１　ヘッドマウントディスプレイ，　１２　画像サーバ，　１３　カメラ，　１０１　視点検出部，　１５２　低解像度画像，　１５３高解像度画像，　１５４　視点，　２０１　操作部，　２０２　制御部，　２０３エンコーダ，　２０４　通信部，　２５１　操作部，　２５２　制御部，　２５３視点座標保持部，　２５４　演算処理部，　２５５　パケット作成部，　２５６
通信部，　２５７　デコーダ，　２５８　表示部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an information processing apparatus and method, a display apparatus and method, and a program, and more particularly, to a technique that enables a necessary range of an image to be increased in resolution and an amount of image data to be communicated to be minimized. The present invention relates to an information processing device and method, a display device and method, and a program.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there is known a so-called streaming reproduction technique in which, for example, a personal computer downloads encoded image data from a server and simultaneously reproduces the encoded image data. In this case, the image data transmitted from the server to the personal computer is compressed (encoded) according to an image compression standard such as MPEG (Moving Picture Experts Group) 2 or JPEG (Joint Photographic Experts Group).
[0003]
[Problems to be solved by the invention]
However, in image compression standards such as MPEG2 and JPEG, the resolution of an image, that is, the compression coefficient is constant in one screen. Therefore, when transmitting a high-resolution image from a server to a personal computer, it is necessary to compress the entire screen at a high resolution, and there is a problem that the amount of image data to be transmitted increases.
[0004]
Therefore, there has been a problem that the transmission time of the image data becomes longer and a heavy load is imposed on the network.
[0005]
The present invention has been made in view of such circumstances, and has as its object to increase the optimum range of an image based on variations in a user's viewpoint and to minimize the amount of image data to be communicated. And
[0006]
[Means for Solving the Problems]
An information processing apparatus according to the present invention comprises: encoding means for encoding a first area of an image at a higher resolution than the other second area; and transmitting means for transmitting the image encoded by the encoding means to a display device. Receiving means for receiving an average value and a variance value of coordinates of the user's viewpoint with respect to the image within a predetermined time set in advance from the display device; and coordinates of the user's viewpoint with respect to the image received by the receiving means. Designating means for designating a first area in an image based on the average value and the variance of the image, and the encoding means encodes the first area designated by the designating means with a high resolution. It is characterized by.
[0007]
A photographing means for photographing the image may be further provided.
[0008]
The designating means may be configured to designate the first region in a wide range in proportion to the magnitude of the variance value.
[0009]
The designating means may designate the first area around an average of coordinates of the viewpoint.
[0010]
According to the information processing method of the present invention, a coding step of coding a first area of an image with a higher resolution than the other second areas and transmitting the image coded by the processing of the coding step to a display device. A transmitting step, from the display device, a receiving step of receiving the average value of the coordinates of the viewpoint of the user with respect to the image, and a variance value, and an average value of the coordinates of the viewpoint of the user with respect to the image received by the processing of the receiving step, and A designating step of designating a first region in the image based on the variance value, wherein the process of the signing step includes encoding the first region designated by the process of the designation step with high resolution. Features.
[0011]
A first program according to the present invention includes a coding step of coding a first area of an image at a resolution higher than that of the other second areas and coding the image coded by the processing of the coding step to a display device. A transmission control step of controlling transmission, a reception control step of controlling reception of an average value and a variance value of coordinates of a user's viewpoint with respect to the image from the display device, and an image whose reception is controlled by the processing of the reception control step And a designation step of designating a first region in an image based on an average value and a variance value of coordinates of a user's viewpoint with respect to.
[0012]
The display device according to the present invention comprises: a receiving unit for receiving, from an information processing device, an image in which the first area is encoded with a higher resolution than the other second areas; and a decoding unit for decoding the image received by the receiving unit. Decoding means, display means for displaying the image decoded by the decoding means, detection means for detecting the coordinates of the user's viewpoint with respect to the image displayed by the display means, and detection of the user's viewpoint detected by the detection means. Acquiring means for acquiring coordinates at predetermined time intervals; computing means for computing the average value and variance of coordinates of a predetermined number of viewpoints acquired by the acquiring means; and computing means for computing. And transmitting means for transmitting the average value and the variance value of the coordinates of the user's viewpoint to the information processing apparatus.
[0013]
According to the display method of the present invention, a receiving step of receiving an image in which a first area is encoded with a higher resolution than other second areas from an information processing apparatus, and an image received by the processing of the receiving step , A display step of displaying an image decoded by the processing of the decoding step, a detection step of detecting the coordinates of the viewpoint of the user with respect to the image displayed by the processing of the display step, and a processing of the detection step Acquiring the coordinates of the user's viewpoint detected by the above at predetermined intervals, and calculating the average value and variance of the coordinates of the predetermined number of viewpoints acquired by the processing of the acquiring step And transmitting the average value and the variance value of the coordinates of the user's viewpoint calculated by the processing of the calculation step to the information processing device. Characterized in that it comprises a step.
[0014]
A second program according to the present invention includes: a reception control step of controlling reception of an image coded with a first area having a higher resolution than the other second area from an information processing apparatus; A decoding step of decoding an image the reception of which is controlled by the processing of the above, a display control step of controlling the display of the image decoded by the processing of the decoding step, and a user for the image whose display is controlled by the processing of the display control step. A detection step of detecting the coordinates of the viewpoint, and an acquisition step of acquiring the coordinates of the viewpoint of the user detected by the processing of the detection step at predetermined intervals, and acquired by the processing of the acquisition step. A calculation step of calculating an average value and a variance of coordinates of a predetermined number of viewpoints; and a position of the user's viewpoint calculated by the processing of the calculation step. The average and variance values, characterized in that to execute a transmission control step of controlling the transmission to the information processing apparatus to the computer.
[0015]
In the information processing apparatus and method and the program according to the present invention, the first area of the image is encoded with a higher resolution than the other second area, and the encoded image is transmitted to the display device and displayed. From the device, within a predetermined time set in advance, the average value of the coordinates of the user's viewpoint with respect to the image, and the variance value are received, based on the average value of the coordinates of the user's viewpoint with respect to the received image, and the variance value Then, a first region in the image is designated, and the designated first region is encoded with high resolution.
[0016]
In the display device, the method, and the program according to the present invention, an image in which the first region is encoded with a higher resolution than the other second region is received from the information processing device, and the received image is decoded. The decoded image is displayed, the coordinates of the user's viewpoint with respect to the displayed image are detected, and the coordinates of the detected user's viewpoint are acquired at predetermined time intervals. The average and variance of the coordinates of the predetermined number of viewpoints are calculated, and the calculated average and variance of the coordinates of the viewpoint of the user are transmitted to the information processing apparatus.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a diagram showing an embodiment of a service providing system to which the present invention is applied. In the present embodiment, a head-mounted display (HMD) 11 and animage server 12 are connected to anetwork 10 such as the Internet in FIG. Theimage server 12 is connected to thecamera 13. An image captured by thecamera 13 is processed by theimage server 12 and supplied to the head mounteddisplay 11 via thenetwork 10. The head mounteddisplay 11 displays an image supplied from theimage server 12 via thenetwork 10 and allows the user to view the image.
[0018]
FIG. 2 shows a configuration example of the appearance of the head mounteddisplay 11. The user wears the head-mounteddisplay 11 so as to wear glasses as shown in FIG. In the head mounteddisplay 11, a display unit 258 (FIG. 5) for displaying an image is arranged at a position in front of the user's eyes. The user can see the video displayed on thedisplay unit 258. The head mounteddisplay 11 has a built-inviewpoint detection unit 101. Theviewpoint detecting unit 101 detects the position of the user's eyeball by, for example, a corneal (scleral) reflection method (using a difference in reflectance between the iris and the white of the eyeball). The principle of viewpoint detection by theviewpoint detection unit 101 will be described below.
[0019]
Theviewpoint detection unit 101 includes a sensor that detects the position of the eyeball in the horizontal direction and a sensor that detects the position of the eyeball in the vertical direction. The sensor that detects the position of the eyeball in the horizontal direction is composed of one light-emitting element (infrared LED) and two light-receiving elements (photodiodes) arranged on both sides of the light-emitting element. The light emitting element emits infrared light to a black eye located at the center of the eyeball. The light receiving element receives reflected light of infrared light emitted from the light emitting element to the eyeball. The position of the eyeball in the horizontal direction is detected based on the difference between the intensities of the reflected lights received by the right and left light receiving elements, respectively.
[0020]
That is, the iris portion of the eyeball has a low reflectance, and the iris portion has a high reflectance. Therefore, the light receiving element on the side where the area of the iris is larger receives less reflected light than the light receiving element on the side where the area of the iris is smaller. Therefore, when the iris moves to the right light receiving element, the amount of reflected light received by the right light receiving element becomes smaller than that of the left light receiving element. Conversely, when the iris moves toward the left light receiving element, the amount of reflected light received by the left light receiving element is smaller than that of the right light receiving element. The horizontal position of the eyeball is detected based on the difference between the intensities of the reflected lights received by the left and right light receiving elements as described above.
[0021]
The sensor for detecting the position of the eyeball in the vertical direction is also constituted by one light emitting element (infrared LED) and two light receiving elements (photodiodes) arranged on the left and right with the light emitting element interposed therebetween. The light emitting element emits infrared light toward the lower edge of the surface of the eyeball. The light receiving element receives reflected light of infrared light emitted from the light emitting element to the eyeball. The position of the eyeball in the vertical direction is detected based on the sum of the intensities of the reflected lights respectively received by the right and left light receiving elements.
[0022]
That is, when the eyeball faces downward, the area of the iris at the lower edge of the surface of the eyeball increases, so that the reflected light intensity received by the left and right light receiving elements decreases. Conversely, when the eyeball faces upward, the area of the iris decreases, and the reflected light intensity received by the left and right light receiving elements increases. By adding the intensities of the reflected lights received by the left and right light receiving elements, the position of the eyeball in the vertical direction of the eyeball is detected.
[0023]
The above viewpoint detection method is disclosed in, for example, Japanese Patent Application Laid-Open No. Hei 8-229008. Further, the viewpoint detection method of theviewpoint detection unit 101 is not limited to the corneal reflection method described above, and a method other than the corneal reflection method may be used. For example, a VOG (Video-oculogram) method can be used.
[0024]
The head-mounteddisplay 11 specifies a portion of the image displayed on thedisplay unit 258 where the user's line of sight is focused, based on the position of the user's eyeball detected by theviewpoint detection unit 101. Thereafter, the head-mounteddisplay 11 notifies theimage server 12 via thenetwork 10 of information for specifying the part where the user's gaze is focused. Based on the notification from the head-mounteddisplay 11, theimage server 12 supplies the head-mounteddisplay 11 with image data in which the image of the part where the user's line of sight is focused has a higher resolution than the other parts. . As a result, an image as shown in FIG. 3, for example, is displayed on thedisplay unit 258 of the head mounteddisplay 11.
[0025]
A screen 151 in FIG. 3 shows a screen displayed on thedisplay unit 258. In the screen 151, the viewpoint 154 is a portion where the user's line of sight is focused. A predetermined area around the viewpoint 154 is a high-resolution image 153. In the screen 151, an area other than the high-resolution image 153 is a low-resolution image 152. As described above, in the image data to be transmitted, only the part that the user is gazing at has a high resolution, and the other parts have a low resolution, so that the data amount of the entire image data can be reduced. . Accordingly, since the amount of image data transmitted from theimage server 12 to the head mounteddisplay 11 is reduced, the image data can be transmitted from theimage server 12 to the head mounteddisplay 11 in a shorter time.
[0026]
The present invention is characterized in that the region of the high-resolution image in FIG. 3 is variable based on the variance of the position of the viewpoint of the user. That is, when the user is staring at one point, the variance of the coordinates of the viewpoint of the user is small, so that the area of the high-resolution image 153 is limited to a small range around the point where the user is staring. On the other hand, when the user does not stare at one point on the screen 151 and moves the viewpoint, the variance of the user's viewpoint is increased, so that the area of the high-resolution image 153 is set to be wider. By doing so, it is possible to minimize the amount of image data to be transmitted from theimage server 12 to the head-mounteddisplay 11 and to obtain a higher-resolution image for the part that the user gazes at.
[0027]
As described above, in the present embodiment, JPEG2000 is used as an image compression method in which only a predetermined area of the image data is set to the high-resolution image 153 and the other areas are set to the low-resolution image 152. JPEG2000 has a function of realizing only a part of an image at a high resolution. Note that this does not mean that the image compression method of the present invention is limited to JPEG2000. Of course, it is also possible to use an image compression method other than JPEG2000, which allows high resolution only in a predetermined area and low resolution in other areas of the image data.
[0028]
Next, FIG. 4 illustrates an example of the internal configuration of theimage server 12. In FIG. 4, anoperation unit 201 receives an input of an operation of an administrator of theimage server 12 and transmits operation information corresponding to the input operation to thecontrol unit 202. Thecontrol unit 202 controls the operation of each unit in theimage server 12 according to the operation information received from theoperation unit 201. Thecontrol unit 202 has a built-in timer, executes a predetermined program set in advance at a predetermined timing based on the timer, and controls the operation of each unit in theimage server 12.
[0029]
Theencoder 203 captures an image captured by thecamera 13. Then, theencoder 203 compresses (encodes) the captured image data according to the specification of the ROI (Region of Interest) specifyingunit 205 according to the JPEG2000 image compression method, thereby setting a predetermined area to a high resolution. To create image data with a low resolution. Then, theencoder 203 transmits the created image data to thecommunication unit 204.
[0030]
Thecommunication unit 204 transmits the image data encoded by the JPEG2000 method supplied from theencoder 203 to the head mounteddisplay 11 via thenetwork 10. In addition, thecommunication unit 204 receives the viewpoint information from the head mounteddisplay 11 via thenetwork 10 and supplies this to theROI designation unit 205. Note that the viewpoint information is information for specifying a part that the user is gazing at, and will be described later in detail.
[0031]
TheROI designation unit 205 designates, to theencoder 203, an area to be made high-resolution and other areas based on the viewpoint information supplied from thecommunication unit 204.
[0032]
Next, FIG. 5 illustrates an example of an internal configuration of the head mounteddisplay 11. In FIG. 5, an operation unit 251 receives an input of a user operation and transmits operation information corresponding to the input operation to the control unit 252. The control unit 252 controls the operation of each unit in the head mounteddisplay 11 according to the operation information received from the operation unit 251. The control unit 252 has a built-in timer, executes a predetermined program set in advance at a predetermined timing based on the timer, and controls the operation of each unit in the head mounteddisplay 11.
[0033]
Theviewpoint detection unit 101 detects the position of the user's eyeball (as described in detail above), and coordinates on which the user is gazing on the screen 151 (hereinafter, coordinates on which the user is gazing on the screen 151) Is also referred to as viewpoint coordinates), and the viewpoint coordinates are supplied to the viewpoint coordinatestorage unit 253. The viewpoint coordinatestorage unit 253 stores the viewpoint coordinates supplied from theviewpoint detection unit 101. In addition, the viewpoint coordinatestorage unit 253 supplies the viewpoint coordinates to thearithmetic processing unit 254, and receives and stores viewpoint information as an arithmetic result from thearithmetic processing unit 254. Then, the viewpoint coordinatestorage unit 253 supplies the stored viewpoint information to thepacket creating unit 255 at a predetermined timing.
[0034]
Thearithmetic processing unit 254 acquires the viewpoint coordinates from the viewpoint coordinatestorage unit 253, and calculates viewpoint information based on the viewpoint coordinates. Then, thecalculation processing unit 254 supplies the viewpoint information of the calculation result to the viewpoint coordinate holdingunit 253 and stores the viewpoint information.
[0035]
Thepacket creation unit 255 acquires the viewpoint information from the viewpoint coordinatestorage unit 253 at a predetermined timing, creates a packet for transmitting the viewpoint information to theimage server 12 by packet communication, and supplies the packet to thecommunication unit 256. I do. Thecommunication unit 256 transmits the packet including the viewpoint information supplied from thepacket creation unit 255 to theimage server 12 via thenetwork 10. Thecommunication unit 256 receives image data compressed (encoded) by the JPEG2000 system from theimage server 12 via thenetwork 10 and supplies the image data to thedecoder 257.
[0036]
Thedecoder 257 decompresses (decodes) the image data supplied from thecommunication unit 256 and supplies it to thedisplay unit 258. Thedisplay unit 258 is configured by, for example, a small LCD (Liquid Crystal Display), outputs an image based on the expanded image data supplied from thedecoder 257, displays the image in front of the user, and allows the user to view the image. .
[0037]
Next, with reference to the flowcharts of FIGS. 6 and 7, image data display processing, that is, a process of supplying image data from theimage server 12 to the head mounteddisplay 11 and displaying the image data on thedisplay unit 258 of the head mounteddisplay 11. The processing will be described.
[0038]
6 shows the processing of the head mounteddisplay 11, and FIG. 7 shows the processing of theimage server 12, respectively. In addition, it is assumed that all communication between the head mounteddisplay 11 and theimage server 12 is performed via thenetwork 10, and in the following description, the description that the communication is performed via thenetwork 10 is omitted.
[0039]
In step S101 in FIG. 6, the control unit 252 of the head mounteddisplay 11 determines whether or not an instruction to start image viewing has been input from the user based on operation information from the operation unit 251, and waits. Then, when an instruction to start image viewing is input from the user, the process proceeds to step S <b> 102, and the control unit 252 requests image data from theimage server 12 via thecommunication unit 256.
[0040]
In step S131 of FIG. 7, when thecontrol unit 202 of theimage server 12 receives a request for image data from the head mounteddisplay 11 via thecommunication unit 204, thecontrol unit 202 executes image data transmission processing in step S132.
[0041]
The details of the image data transmission processing will be described with reference to the flowchart in FIG. In step S171 of FIG. 8, thecontrol unit 201 determines whether it is the timing to encode, and if it is the timing to encode, the process proceeds to step S171. Note that this is the first image data transmission process after receiving the request for image data from the head mounteddisplay 11, so thecontrol unit 202 determines in step S171 that it is the timing to encode, and the process proceeds to step S172. move on.
[0042]
In step S172, thecontrol unit 202 instructs theencoder 203 to capture the image data supplied from thecamera 13. In step S173, thecontrol unit 202 instructs theROI designation unit 205 to supply the ROI parameters to theencoder 203. Here, the ROI parameter is information for specifying a high-resolution area.
[0043]
However, this is the first image data transmission process after receiving a request for image data from the head mounteddisplay 11, and since the viewpoint information has not been obtained from the head mounteddisplay 11, theROI designation unit 205 Do not specify a resolution area. Therefore, in step S173, theROI designation unit 205 supplies theencoder 203 with the ROI parameter indicating that there is no high-resolution area. Theencoder 203 acquires, from theROI designation unit 205, an ROI parameter indicating that there is no high-resolution area.
[0044]
In step S174, in accordance with an instruction from thecontrol unit 202, theencoder 203 encodes the image data captured in step S172 according to the ROI parameter acquired in step S173. This is the first image data transmission process after receiving the request for the image data from the head mounteddisplay 11, and as described above, the ROI parameter indicating that there is no high-resolution area is acquired in step S173. Therefore, theencoder 203 encodes the image with the entire image data at a low resolution.
[0045]
In step S175, in accordance with an instruction from thecontrol unit 202, theencoder 203 supplies the image data encoded in step S174 to thecommunication unit 204. Thecommunication unit 204 transmits the encoded image data supplied from theencoder 203 to the head mounteddisplay 11. For this transmission, for example, RTP (Real-time Transport Protocol) is used.
[0046]
In step S176, thecontrol unit 202 updates the encoding time. That is, the time from once encoding and transmitting an image (steps S171 to S176) to encoding and transmitting the next image is preset. The time is, for example, 0.1 second. Therefore, thecontrol unit 202 updates the built-in timer so that the processes of steps S171 to S176 are started again, for example, after 0.1 seconds.
[0047]
Thus, the image data transmission processing ends.
[0048]
In step S103, the control unit 252 of the head-mounteddisplay 11 receives, via thecommunication unit 256, the image data transmitted by theimage server 12 in step S175 in FIG. In step S104, the control unit 252 calculates a packet loss rate based on the reception status of the packet received in step S103, and sends an RTCP (RTP Control Protocol) receiver report including the packet loss rate via thecommunication unit 256. To theimage server 12. FIG. 9 is a diagram showing a format of the RTCP receiver report transmitted from the head mounteddisplay 11 to theimage server 12 in step S104. Note that the RTCP Application Specific is defined in RFC (Request For Comments) 1889.
[0049]
In the RTCP receiver report of FIG. 9, the version number (v), padding (p), payload type (Pt = 201), and message length are recorded from the left to the right in the top row. In the second row from the top, the synchronization source identifier (SSRC) of the sender is recorded. In the third row from the top, the packet loss rate and the total number of lost packets are recorded from the left. In the fourth row from the top, the maximum reception sequence number is recorded. In the fifth row from the top, the packet interval jitter is recorded. In the sixth row from the top, the latest transmission report time is recorded. At the bottom, the transmission report elapsed time is recorded.
[0050]
Returning to FIG. 7, in step S133, thecontrol unit 202 of theimage server 12 receives, via thecommunication unit 204, the packet loss rate transmitted by the head mounteddisplay 11 in step S104 in FIG. That is, thecontrol unit 202 reads out and stores the packet loss rate from the RTCP receiver report of FIG.
[0051]
Here, returning to FIG. 6, in step S105, the control unit 252 of the head mounteddisplay 11 supplies the image data received in step S103 from thecommunication unit 256 to thedecoder 257. Then, thedecoder 257 decodes the supplied image data according to an instruction from the control unit 252 and supplies the decoded image data to thedisplay unit 258. Thedisplay unit 258 displays an image corresponding to the supplied image data. The user can see the image displayed on thedisplay unit 258.
[0052]
In step S <b> 106, the control unit 252 of the head mounteddisplay 11 determines whether or not an instruction to stop viewing has been input by the user based on operation information from the operation unit 251, and the instruction to stop viewing has been input by the user. If so, the process proceeds to step S107.
[0053]
In step S107, the control unit 252 of the head mounteddisplay 11 notifies theimage server 12 via thecommunication unit 256 of the stop of viewing. Then, the head mounteddisplay 11 ends the image data display processing.
[0054]
At this time, since thecontrol unit 202 of theimage server 12 receives the viewing stop notification transmitted by the head mounteddisplay 11 in step S107, thecontrol unit 202 determines that the viewing stop notification has been received in step S134 in FIG. The data display processing ends.
[0055]
If the instruction to stop viewing has not been input, the control unit 252 of the head mounteddisplay 11 determines in step S106 of FIG. 6 that the instruction to stop viewing has not been input, returns to step S103, and returns to step S103. Repeat the process. That is, thecontrol unit 202 of theimage server 12 determines in Step S134 of FIG. 7 that the notification of the viewing stop has not been received from the head mounteddisplay 11, and repeats the processing of Step S132 and thereafter. Therefore, in step S103, the head mounteddisplay 11 receives the next image data from theimage server 12, and repeats the subsequent processing.
[0056]
By the way, when the first image data (the whole image data in the low resolution area) is transmitted from theimage server 12 to the head mounteddisplay 11 and displayed on thedisplay unit 258 of the head mounteddisplay 11, Calculates viewpoint information based on the position of the viewpoint of the user, and transmits this to theimage server 12. Theimage server 12 creates image data including the high-resolution area based on the viewpoint information and supplies the created image data to the head-mounteddisplay 11 in step S174. The head mounteddisplay 11 displays the supplied image data having a high resolution area.
[0057]
Therefore, next, referring to the flowchart of FIG. 10, the viewpoint information transmission processing of the head mounteddisplay 11, that is, the head mounteddisplay 11 calculates the viewpoint information, and transmits the viewpoint information from the head mounteddisplay 11 to theimage server 12. Processing until transmission is described. Note that the viewpoint information transmission processing is started when an image is displayed on thedisplay unit 258 by the first processing of step S105 after an instruction to start viewing is input.
[0058]
In step S201 of FIG. 10, thearithmetic processing unit 254 initializes a variable n and sets n = 0 according to an instruction from the control unit 252. Specific description of each variable will be described later.
[0059]
In step S202, the control unit 252 of the head mounteddisplay 11 determines whether or not it is the time of calculation of the viewpoint information based on a built-in timer. If the time is the time of calculation, the process proceeds to step S203. In step S202 of the first time after step S201 in FIG. 10, the control unit 252 determines that the calculation time is the viewpoint information, and the process proceeds to step S203.
[0060]
In step S203, in response to an instruction from the control unit 252, the viewpoint coordinatestorage unit 253 stores the viewpoint coordinates supplied from theviewpoint detection unit 101. Here, the viewpoint coordinates will be described with reference to FIG. 11, ascreen area 401 shows the entire screen displayed on thedisplay unit 258. The X axis is set in the horizontal direction of thescreen area 401, and the Y axis is set in the vertical direction. The X-axis direction of thescreen area 401 is divided into 101 coordinates of 0 to 100. Similarly, the Y-axis direction of thescreen area 401 is divided into 101 coordinates from 0 to 100. After detecting the position of the user's eyeball, theviewpoint detection unit 101 calculates the coordinates of thescreen area 401 where the eyeball gazes at the position of the eyeball.
[0061]
Theviewpoint detection unit 101 calculates, for example, that the position where the eyeball gazes is theviewpoint 402 in FIG. After that, theviewpoint detection unit 101 calculates the coordinates of theviewpoint 402 in thescreen area 401. For example, when theviewpoint 402 is located at the center of thescreen area 401 as shown in FIG. 11, theviewpoint detection unit 101 calculates the viewpoint coordinates as (x, y) = (50, 50). Theviewpoint detection unit 101 calculates viewpoint coordinates at a predetermined timing, and outputs the coordinates to the viewpoint coordinate holdingunit 253. Theviewpoint detection unit 254 calculates the viewpoint coordinates at least a times per second. Note that a is a predetermined constant set in advance, and is used in the processing of step S205 described later. Theviewpoint detection unit 254 calculates viewpoint coordinates, for example, 100 times per second.
[0062]
The viewpoint coordinatestorage unit 253 stores the viewpoint coordinates supplied from theviewpoint detection unit 101.
[0063]
In step S204, theoperation processing unit 254 increments the value of the variable n by 1 according to an instruction from the control unit 252. In step S205, thearithmetic processing unit 205 determines whether n ≧ a (where a is a preset constant). In the following example, a = 10 is set. However, of course, a = 10 is an example, and a may be a value other than 10.
[0064]
When thearithmetic processing unit 205 determines that n ≧ a is not satisfied, the process returns to step S202, and the processes after step S202 are repeatedly executed.
[0065]
Until thearithmetic processing unit 205 determines in step S205 that n ≧ a, the processing of steps S202 to S205 is repeated. Then, each time n is incremented by one.
[0066]
Hereinafter, the processing of steps S202 to S205 after the second time will be described. After thearithmetic processing unit 205 determines that n ≧ a is not satisfied in the first process of step S205, the control unit 252 determines whether or not the calculation time is reached in the second step S202. After the process in step S201, the timer built in the control unit 252 keeps the calculation time, for example, every 0.1 second until thearithmetic processing unit 205 determines in step S205 that n ≧ a. Is determined. Therefore, in the second step S202, the control unit 252 determines that it is the calculation time. Then, after the control unit 252 determines that it is the calculation time, in step S203, the viewpoint coordinatestorage unit 253 stores the viewpoint coordinates input from theviewpoint detection unit 101, and in step S204, thearithmetic processing unit 254 The value of n is incremented by 1 so that n = 2.
[0067]
After that, in the processing of the second step S205, thearithmetic processing unit 205 determines that n ≧ a is not satisfied. Then, in the third step S202, the control unit 252 determines whether or not it is the calculation time. Then, after the control unit 252 determines that it is the calculation time, in step S203, the viewpoint coordinatestorage unit 253 stores the viewpoint coordinates input from theviewpoint detection unit 101, and in step S204, thearithmetic processing unit 254 The value of n is incremented by 1 so that n = 3.
[0068]
Thereafter, similarly, when the processes of steps S202 to S205 are executed for the fourth to ninth times, nine viewpoint coordinates are stored in the viewpoint coordinate holdingunit 253, and n becomes n = 9. I have. After that, in the tenth step S202, the control unit 252 determines whether or not it is the calculation time. Then, after the control unit 252 determines that it is the calculation time, in step S203, the viewpoint coordinatestorage unit 253 stores the viewpoint coordinates input from theviewpoint detection unit 101, and in step S204, thearithmetic processing unit 254 The value of n is incremented by 1 so that n = 10.
[0069]
Thereafter, in step S205, thearithmetic processing unit 254 determines that n ≧ a, and the process proceeds to step S206.
[0070]
A description will be given of a mechanism in which the viewpoint coordinatestorage unit 253 stores the viewpoint coordinates in the repetition of the processing of steps S202 to S205.
[0071]
The viewpoint coordinatestorage unit 253 has an area for storing a = 10 viewpoint coordinates. 12 to 15 show conceptual diagrams when the viewpoint coordinatestorage unit 253 stores the viewpoint coordinates. The ring shown in FIG. 12 is divided into ten regions, and the divided regions are indicated by a to j. One viewpoint coordinate is stored in each of the areas a to j. The viewpoint coordinates are stored in the area indicated by the arrow of the writing point (the area indicated by a in FIG. 12).
[0072]
In FIG. 10, in the first process of step S203, the viewpoint coordinates (x0, y0) are stored in the area a shown in FIG. Thereafter, the wheel shown in FIG. 12 is rotated by one storage area of the viewpoint coordinates, and the area b is located at the position of the writing point as shown in FIG. In the process of the second step S203, the viewpoint coordinates (x1, y1) are stored in the area b shown in FIG. Thereafter, the wheel shown in FIG. 13 rotates by one storage area of the viewpoint coordinates, and as shown in FIG. 14, the area c is located at the position of the writing point. In the process of the third step S203, the viewpoint coordinates (x2, y2) are stored in the area c shown in FIG.
[0073]
Hereinafter, similarly, in the fourth step S203, the viewpoint coordinates (x3, y3) are stored in the region d, and in the fifth step S203, the viewpoint coordinates (x4, y4) are stored in the region e. In the sixth step S203, the viewpoint coordinates (x5, y5) are stored in the region f. In the seventh step S203, the viewpoint coordinates (x6, y6) are stored in the region g. , The region coordinates (x7, y7) are stored in the region h, and the viewpoint coordinates (x8, y8) are stored in the region i in the ninth step S203.
[0074]
Then, in the tenth step S203, the viewpoint coordinates (x9, y9) are stored in the area j as shown in FIG.
[0075]
FIG. 16 shows an example of the viewpoint coordinates stored in the areas a to j in this way. In FIG. 16, the leftmost column indicates the regions a to j in order from the top. In FIG. 16, the center column shows an example of the x-coordinate stored in the viewpoint coordinatestorage unit 253. In FIG. 16, the rightmost column shows an example of the y coordinate stored in the viewpoint coordinatestorage unit 253.
[0076]
As shown in FIG. 16, the viewpoint a (x, y) = (10, 20) is stored in the area a. In the area b, the viewpoint coordinates (x, y) = (30, 30) are stored. Similarly, in the area c, the viewpoint coordinates (x, y) = (10, 40) are stored, in the area d, the viewpoint coordinates (x, y) = (40, 40) are stored. In e, viewpoint coordinates (x, y) = (50, 50) are stored, in region f, viewpoint coordinates (x, y) = (50, 50) are stored, and in region g, viewpoint coordinates are stored. (X, y) = (60, 20) is stored, the viewpoint coordinates (x, y) = (10, 10) are stored in the region h, and the viewpoint coordinates (x, y) = (5, 1) is stored, and the view point coordinates (x, y) = (90, 90) are stored in the area j.
[0077]
As described above, when a predetermined number of viewpoint coordinates are stored in the viewpoint coordinatestorage unit 253, in step S205, thearithmetic processing unit 254 satisfies n ≧ a (the predetermined predetermined number of viewpoint coordinates is , Stored in the viewpoint coordinate storage unit 253), and the process proceeds to step S206.
[0078]
In step S206, thearithmetic processing unit 254 calculates an average value of the x coordinate (hereinafter, the average value of the x coordinate is xm) and an average value of the y coordinate (hereinafter, the average value of the y coordinate is ym). I do. In the example of FIG. 16, thearithmetic processing unit 254 calculates xm = (10 + 30 + 10 + 40 + 50 + 50 + 60 + 10 + 5 + 90) /10=35.5, and ym = (20 + 30 + 40 + 40 + 50 + 50 + 20 + 10 + 1 + 30) /10=29.1.
[0079]
Next, in step S207, thearithmetic processing unit 254 calculates the variance of x (hereinafter, the variance of x is σ ＾ 2x) and the variance of y (hereinafter, the variance of y is σ ＾ 2y). . Here, the formula for calculating the variance of x is as follows.
[0080]
(Equation 1)

[0081]
The above equation is defined as equation (1). In the following description of Expression (1), the subscript i of x is described as x_i. Similarly, the subscript i of f is described as f_i. As shown inExpression 1, i takes a value from 1 to 101. That is, as described with reference to FIG. 11, the x coordinate is divided into 101 coordinates from 0 to 100. Therefore, thevalues 1 to 101 of i correspond to the x coordinates 0 to 100, respectively.
[0082]
x_i is the value of the x coordinate. That is, the value of x_i is (i-1). xm is the average value of the x coordinates calculated in step S206. f_i is a value indicating the frequency distribution at each x coordinate of 0 to 100 of the x coordinate of the viewpoint coordinates. For example, in the example of FIG. 16, x = 50 includes two regions e and f, so that f_51 which is a frequency distribution of x = 50 is f_51 = 2.
[0083]
That is, the equation (1) is obtained by squaring the deviation of the variable x_i from the average xm and multiplying it by the frequency f_i for the case where i is 1 to 101 and adding this value. , Divided by thenumber 10 of viewpoint coordinates.
[0084]
The equation for calculating the variance of y is as follows.
[0085]
(Equation 2)

[0086]
The above equation is defined as equation (2). Equation (2) is obtained by replacing x_i and xm in equation (1) with y_i and ym, respectively. That is, equation (2) calculates the square of the deviation of the variable value y_i from the average value ym and multiplies it by the frequency f_i for the case where i is 1 to 101 and adds this value. , Divided by thenumber 10 of viewpoint coordinates.
[0087]
Returning to FIG. 10, in step S208, thearithmetic processing unit 254 of the head mounteddisplay 11 stores the xm and ym calculated in step S206, and the σ ＾ 2x and σ ＾ 2y calculated in step S207, in the viewpoint coordinatestorage unit 253. To memorize.
[0088]
In step S209, the control unit 252 causes thepacket creating unit 255 to supply xm, ym, σ ＾ 2x, and σ ＾ 2y stored in the viewpoint coordinatestorage unit 253 in step S208. Then, the control unit 252 causes thepacket creating unit 255 to create a transmission packet including xm, ym, σ ＾ 2x, and σ ＾ 2y. FIG. 17 shows an example of a packet created by thepacket creating unit 255. FIG. 17 shows the format of the RTCP Application Specific. Note that RTCP Application Specific is defined in RFC1889.
[0089]
In FIG. 17, the version number (v), padding (p), packet type, and message length are recorded in order from left to right in the uppermost row. In the second row from the top, the synchronization source identifier (SSRC) of the sender is recorded. In the third row from the top, the application name is recorded. In the fourth row from the top, data, that is, xm, ym, σ ＾ 2x, and σ ＾ 2y are recorded.
[0090]
After the process in step S209, in step S210, the control unit 252 of the head mounteddisplay 11 determines whether or not the input mode is 1, and if the input mode is 1, the process proceeds to step S211. The user can operate the operation unit 251 to set the input mode to either 0 or 1. In the case of the input mode = 1, the control unit 252 sets the timer until the calculation time to 0.1 second (the calculation time is again set to 0.1 second after the time previously determined to be the calculation time in step S202). Is set to come). Thereafter, the process returns to step S202.
[0091]
In this case, in step S202, the control unit 252 again determines that the calculation time is 0.1 seconds after the determination in step S202 is the calculation time. As a result, after 0.1 second from the previous time when thearithmetic processing unit 254 calculates xm, ym, σ ＾ 2x, and σ 演算 2y, thearithmetic processing unit 254 sets the next xm, ym, σ ＾ 2x, And σ ＾ 2y are calculated.
[0092]
If the control unit 252 determines in step S210 that the input mode is not 1, that is, the input mode is 0, the process proceeds to step S212.
[0093]
In step S212, the control unit 252 sets the timer until the calculation time to 0.2 seconds (so that the calculation time comes again 0.2 seconds after the time previously determined to be the calculation time in step S202). Set to.) Thereafter, the process returns to step S202.
[0094]
In this case, in step S202, the control unit 252 again determines that the calculation time is 0.2 seconds after the calculation time is determined in step S202. As a result, 0.2 seconds after the last time thearithmetic processing unit 254 calculates xm, ym, σ 、 2x, and σｙ2y, thearithmetic processing unit 254 sets the next xm, ym, σ ＾ 2x, And σ ＾ 2y are calculated.
[0095]
As described above, the intervals at which xm, ym, σ 、 2x, and σ ＾ 2y are calculated can be adjusted by switching the input mode. Therefore, by selecting the input mode = 1, a finer change in the position of the eyeball can be detected, and by selecting the input mode = 0, a more coarse change in the position of the eyeball can be detected. . In the above example, the input mode has only two patterns of 0 or 1, but it is of course possible to have three or more input modes.
[0096]
By the way, in FIG. 10, after setting the timer in the processing of step S211 or step S212, if it is determined in step S202 that it is the calculation time, the processing proceeds to step S203. At this time, since the viewpoint coordinatestorage unit 253 has already stored the ten viewpoint coordinates, in step S203, the viewpoint coordinatestorage unit 253 sets the oldest viewpoint coordinate among the stored ten viewpoint coordinates. The viewpoint coordinates input from theviewpoint detection unit 101 are overwritten and stored. The concept of this processing will be described with reference to FIGS.
[0097]
That is, for example, FIG. 15 shows an example in which the viewpoint coordinates are already stored in all the regions a to j. In FIG. 15, the earliest stored viewpoint coordinates are (x0, y0) of the area a. Therefore, when storing the new viewpoint coordinates, as shown in FIG. 18, (x0, y0) stored in the area a is deleted, and the new viewpoint coordinates (x10, y10) are stored in the area a.
[0098]
FIG. 19 shows a more general conceptual diagram. In FIG. 19, the latest viewpoint coordinates (xn, yn) are stored in the area located at the writing point. In the area immediately below, the viewpoint coordinates (xn-1, yn-1) acquired immediately before are stored. Further, in the area immediately below, the viewpoint coordinates (xn−2, yn−2) acquired two times earlier are stored. Hereinafter, similarly, the older viewpoint coordinates are stored, and the viewpoint coordinates (xn-8, yn-8) acquired eight times before the latest viewpoint coordinates (xn, yn) are stored in the uppermost region of the ring. Is stored. Under the viewpoint coordinates (xn-8, yn-8), viewpoint coordinates (xn-9, yn-9) acquired nine times before the latest viewpoint coordinates (xn, yn) are stored. As described above, the viewpoint coordinatestorage unit 253 sequentially overwrites new viewpoint coordinates.
[0099]
In step S209 of FIG. 10, the viewpoint information (xm, ym, σ ＾ 2x, and σ ＾ 2y) transmitted by the head mounteddisplay 11 is received and stored by theimage server 12. Next, the viewpoint information reception processing of theimage server 12 will be described with reference to the flowchart in FIG.
[0100]
In step S251, thecommunication unit 204 of theimage server 12 receives the viewpoint information (xm, ym, σ ＾ 2x, and σ ＾ 2y) transmitted by the head mounteddisplay 11 in step S209 of FIG.
[0101]
In step S252, thecontrol unit 202 of theimage server 12 causes theROI designation unit 205 to supply the viewpoint information received by thecommunication unit 204 in step S251. Then,control unit 202 causesROI designation unit 205 to store the viewpoint information.
[0102]
Thus, the viewpoint information receiving process of theimage server 12 ends.
[0103]
TheROI specifying unit 205 of theimage server 12 calculates an ROI parameter that specifies a high-resolution area based on the viewpoint information stored as described above, and supplies the ROI parameter to theencoder 203. Theencoder 203 creates image data including a high-resolution area based on the ROI parameter in step S174 of FIG.
[0104]
Next, the ROI range determination processing of theimage server 12, that is, the processing of specifying a high-resolution area based on viewpoint information will be described with reference to the flowchart of FIG.
[0105]
In step S301 in FIG. 21, theROI designation unit 205 initializes variables a, b, and C based on an instruction from thecontrol unit 202. Here, the variables a, b, and C will be described with reference to FIG.
[0106]
In FIG. 22, a predetermined range around theviewpoint 402 in thescreen area 401 is designated as the high-resolution area 501. The coordinates of theviewpoint 402 are (x, y) = (xm, ym) included in the viewpoint information. The high resolution area 501 is a rectangle (including a square) in which the length of the side in the Y-axis direction is α and the length of the side in the X-axis direction is β.
[0107]
Here, α is, for example,
α = aσ ＾ 2y
Is calculated by This equation is defined as equation (3).
[0108]
Β is, for example,
β = bσ ＾ 2x
Is calculated by This equation is defined as equation (4).
[0109]
A and b in the above equations (3) and (4) are set according to the network situation. For example, when the packet loss rate increases, the lengths of α and β can be shortened by setting a and b to small values. As a result, it is possible to reduce the amount of encoded image data by reducing the high resolution area 501.
[0110]
In addition, if the user does not move the position of the eyeball while staring at theviewpoint 402, the variance σ ＾ 2x or the variance ＾＾ 2y approaches 0 without limit. In that case, the length of α or β in Equation (3) or Equation (4) also approaches 0 without limit. As a result, the more the user gazes at one point, the more the high resolution area 501 disappears.
[0111]
Further, when the congestion of thenetwork 10 continues, the values of a and b may become zero. Also in that case, the length of α or β becomes 0 in the above equation (3) or equation (4). As a result, the high resolution area 501 disappears.
[0112]
In order to avoid such a situation, a minimum value C is set for α and β, and if the value of α or β falls below the minimum value C in equation (3) or (4), The length of the side is C.
[0113]
The variables a, b, and C have predetermined preset initial values. In step S301, theROI designation unit 205 of theimage server 12 sets the variables a, b, and C to the preset initial values. I do.
[0114]
In step S302, thecontrol unit 202 determines whether the packet loss rate and the viewpoint information have been received from the head mounteddisplay 11, and if the packet loss rate and the viewpoint information have been received, the process proceeds to step S303. Proceed to. Here, the packet loss rate is the one received in step S133 in FIG. The viewpoint information is the one received in step S251 of FIG.
[0115]
In step S303, thecontrol unit 202 supplies the stored packet loss rate to theROI specifying unit 205.ROI designation section 205 compares the packet loss rate supplied fromcontrol section 202 with a predetermined reference value X set in advance, and determines whether or not the packet loss rate is equal to or greater than X. As a result, if the packet loss rate is not equal to or higher than X, the processing proceeds to step S304.
[0116]
In step S304, theROI specifying unit 205 adds one to the value of a and sets this as a new a. Also, theROI specifying unit 205 adds one to the value of b and sets this as a new b.
[0117]
In step S303, when theROI specifying unit 205 determines that the packet loss rate is not equal to or more than X, that is, is smaller than X, the process proceeds to step S305.
[0118]
In step S305, theROI designation unit 205 subtracts 1 from the value of a and sets this as a new a. Also, theROI specifying unit 205 subtracts 1 from the value of b and sets this as a new b.
[0119]
After the process of step S304 or step S305, the process proceeds to step S306, where theROI specifying unit 205 executes the formulas (3) and (4) and calculates the values of α and β.
[0120]
In step S307,ROI specifying section 205 determines whether or not α <C. If α <C, the process proceeds to step S308. In step S308, theROI designation unit 205 sets α = C. Thereafter, the process proceeds to step S309.
[0121]
In step S307, when theROI specifying unit 205 determines that α <C is not satisfied, that is, when it determines that α ≧ C, the process of step S308 is skipped, and the process proceeds to step S309.
[0122]
In step S309,ROI designation section 205 determines whether or not β <C. If β <C, the process proceeds to step S310. In step S310,ROI designation section 205 sets β = C. Thereafter, the process proceeds to step S311.
[0123]
In step S309, if theROI specifying unit 205 determines that β <C is not satisfied, that is, determines that β ≧ C, the process of step S310 is skipped, and the process proceeds to step S311.
[0124]
In step S311, theROI designation unit 205 stores the values α and β set by the processing in steps S306 to S310 and xm and ym included in the viewpoint information as one group. After the process in step S311, the process returns to step S302, and the processes in and after step S302 are repeated.
[0125]
As described above, the high resolution area 501 is determined. TheROI designation unit 205 creates an ROI parameter for designating the high resolution area 501 based on the values α, β, xm, and ym set by the above processing, and assigns the ROI parameter at a predetermined timing. Is supplied to the encoder 203 (step S173 in FIG. 8). Theencoder 203 creates image data including the high-resolution area 501 according to the ROI parameter (Step S174 in FIG. 8).
[0126]
In the flowchart of FIG. 21, the case where sides α and β of the high-resolution area 501 are calculated by Expressions (3) and (4), respectively, has been described as an example. However, this does not mean that the sides α and β of the high-resolution region 501 are limited to the calculation using the equations (3) and (4), respectively.
[0127]
For example, in Expressions (3) and (4), b∝a may be set. Also, α∝β may be satisfied. In this case, the equations for calculating α and β are, for example,
α = a (σ ＾ 2x + σ ＾ 2y)
β = b (σ ＾ 2x + σ ＾ 2y)
It is good.
[0128]
Further, a and b may be constants irrespective of the packet loss rate. Further, in the example described above, the high-resolution area 501 is a rectangle (including a square), but the high-resolution area 501 may have a shape other than a rectangle. In JPEG2000, an arbitrary shape can be specified for the high resolution area. The high-resolution area may be, for example, circular as shown in FIG.
[0129]
In FIG. 23, the high-resolution area 511 is a circle having a center at theviewpoint 402 and a radius of r. In this case, the radius r is, for example,
r = k (aσ ＾ 2x + bσ ＾ 2y)
May be calculated by Here, k is a preset constant. Further, the method of calculating a and b can be the same method as the processing of steps S303 to S305 in the flowchart of FIG.
[0130]
The high resolution area may be, for example, elliptical as shown in FIG. In FIG. 24, the high resolution area 521 is elliptical with theviewpoint 402 as the center. The method of calculating α and β may be the same as the flowchart in FIG.
[0131]
As described above, as described in the present embodiment, by specifying the high resolution area based on the dispersion of the user's viewpoint, the data amount of the entire image data transmitted from theimage server 12 to the head mounteddisplay 11 Can be set to a high resolution while the area of the user's gaze is minimized.
[0132]
Human eye movements are generally classified into saccades (jumping eye movements) and sliding eye movements. The saccade is an eyeball movement that moves the viewpoint from one point of gazing point to another point of gazing point at high speed, and during the saccade, the image displayed on thedisplay unit 258 cannot be perceived. The slippery eye movement is an eye movement that follows an object that is gazing (for example, a person displayed on the display unit 258) when the object moves at a low speed, During the smooth eye movement, the image displayed on thedisplay unit 258 can be perceived.
[0133]
If saccades occur, the value of the variance increases. Therefore, the high resolution area has a wider range. By doing in this way, even if the user's point of gaze momentarily moves to a far position (for example, the user's point of gaze instantaneously moves from the upper left corner to the lower right corner of the screen 151 in FIG. 3). Even if it moves, it is possible to increase the probability that the destination of the gazing point is within the high resolution area. Further, even if the destination of the gazing point is not in the high-resolution area immediately after the movement of the viewpoint, the gazing point can be quickly set in the high-resolution area.
[0134]
On the other hand, when a smooth eye movement occurs, the variance becomes smaller as compared with the case of the saccade. Therefore, the high-resolution area has a narrower range than the case of the saccade. By doing in this way, when the user's gazing point moves at a low speed (for example, when the user's gazing point gradually moves downward from the viewpoint 154 of the screen 151 in FIG. 3), the high resolution area After the range is reduced to the minimum necessary size (therefore, the amount of image data transmitted from theimage server 12 to the head-mounteddisplay 11 is reduced), the moving destination of the gazing point is within the high-resolution area. .
[0135]
Human visual fields are generally classified into central visual fields and peripheral visual fields. The field of view refers to a range of a space that can be simultaneously viewed when one point in front of the eye is fixed. When a human looks at an object, light passing through the lens of the eyeball is formed on the retina with the image inverted. The obtained visual acuity differs depending on the retinal portion, and the best visual acuity can be obtained in the central portion of the retina (fovea retinal). The central field is the area of the image formed in the fovea. Further, the peripheral visual field is a range of an image formed in a portion of the retina other than the fovea centralis. In the peripheral visual field, better visual acuity cannot be obtained as in the central visual field.
[0136]
Visual acuity drops sharply as one moves away from the fovea. For example, in a human having a visual acuity of 1.0 to 1.2 with respect to an image formed in the fovea retinal, the visual acuity for an image formed in a portion at an angle of 5 degrees from the fovea is: The visual acuity for an image formed at a portion separated by an angle of 10 degrees is about 0.1, and is about 0.05.
[0137]
For example, in FIG. 22, an image of a portion where theviewpoint 402 of the user is located is formed in the fovea of the retina. Therefore, the user's visual acuity is the best at theviewpoint 402, and sharply decreases as the distance from theviewpoint 402 increases. Therefore, even if the image of the entire screen 151 in FIG. 22 is set to a high resolution, the user cannot clearly perceive the image of the part distant from theviewpoint 402.
[0138]
Therefore, even when the image of the portion distant from theviewpoint 402 is a low-resolution image as in the present invention, when the user perceives the entire image displayed on thescreen 401, the user's perceptual ability is greatly affected. I will not give.
[0139]
In addition, photoreceptor cells that receive light exist on the retina. There are two types of photoreceptor cells, cone cells and rod cells. Pyramidal cells are widely distributed in the fovea of the retina, and rod cells are widely distributed in the periphery of the retina. That is, the central visual field is mainly obtained by the action of cone cells, and the peripheral visual field is mainly obtained by the action of rod cells.
[0140]
Pyramidal cells are classified into a type that absorbs red wavelengths, a type that absorbs blue wavelengths, and a type that absorbs green wavelengths. Pyramidal cells work in bright places to distinguish colors. On the other hand, rod cells absorb all wavelengths of visible light. Rod cells work to identify the shape of an object in the dark.
[0141]
Therefore, an image in the central visual field (for example, the high-resolution image 153 in FIG. 3) is displayed in color, and an image in the peripheral visual field (for example, the low-resolution image 152 in FIG. 3) is displayed in gray scale. good.
[0142]
The configuration of the appearance of the head mounteddisplay 11 described in the present embodiment is not limited to that shown in FIG. 2, and a head mounted display having an arbitrary shape can be adopted. In addition, in FIG. 2, theviewpoint detection unit 101 is built in the head mounteddisplay 11, but theviewpoint detection unit 101 may be configured separately from the main body of the head mounteddisplay 11. In addition, in FIG. 2, theviewpoint detection unit 101 is installed in front of the right eye of the user and detects the position of the right eyeball. However, theviewpoint detection unit 101 detects the position of the left eye of the user. It may be installed in front and detect the position of the eyeball of the left eye of the user.
[0143]
Further, the present invention can be applied to a display device other than the head mounteddisplay 11. For example, the present invention can be applied to a display in which a screen is installed in a housing located a predetermined distance in front of the user, a projector that projects an image on a screen located in front of the user, and the like. In that case, the user is equipped with a detection device for detecting the position of the eyeball.
[0144]
Also, in the present embodiment, the viewpoint information and the packet loss rate are transmitted from the head mounteddisplay 11 to theimage server 12 using the RTCP Application Specific and the RTCP Receiver Report. It is not meant that the invention is limited to utilizing RTCP Application Specific and RTCP Receiver Report.
[0145]
Further, in the present embodiment, for the sake of simplicity, theimage server 12 has been described as an example in which image data is transmitted to only one head-mounteddisplay 11. Thedevice 12 can transmit image data to the plurality of head mounted displays 11 independently and in parallel. In this case, each head-mounteddisplay 11 is individually identified, for example, by the sender's synchronization source identifier included in the RTCP Application Specific or RTCP Receiver Report. Then, theimage server 12 independently executes the processing described in the present embodiment on each of the identified head-mounted displays 11.
[0146]
In the present embodiment, when a high-resolution area (for example, the high-resolution area 501 in FIG. 22, the high-resolution area 511 in FIG. 23, or the high-resolution area 521 in FIG. , (Xm, ym), the coordinates of theviewpoint 402 can be, for example, (xn, yn) just written by the head mounteddisplay 11 at the writing point in FIG.
[0147]
Further, in the present embodiment, the case where theimage server 12 transmits only the encoded image data to the head mounteddisplay 11 has been described, but theimage server 12 may, of course, transmit the audio data together with the image data. Can be sent. That is, theimage server 12 can encode the audio data collected by the microphone provided in thecamera 13 together with the image data by theencoder 203 and transmit the encoded audio data to the head mounteddisplay 11 via thecommunication unit 204. .
[0148]
Although FIG. 4 does not show a speaker that reproduces the audio data received from theimage server 12, a speaker may be further provided. That is, the data received by the head-mounteddisplay 11 from theimage server 12 via thecommunication unit 256 is decoded by thedecoder 257, and the image data among the decoded data is displayed on thedisplay unit 258, and the audio data Is supplied to a speaker, and a sound corresponding to the sound data is output.
[0149]
Further, in the present embodiment, the case where theimage server 12 encodes an image captured from thecamera 13 is described as an example. This is because the present invention encodes an image captured from thecamera 13. It is not meant to be limited to the case where Theimage server 12 can, for example, capture image data recorded in advance on a predetermined recording medium, encode the image data with theencoder 203, and transmit the encoded data to the head-mounteddisplay 11 via thecommunication unit 204. Of course, when encoding image data recorded in a predetermined recording medium in advance, it is also possible to specify a high-resolution area based on viewpoint information.
[0150]
The series of processes described above can be executed by hardware, but can also be executed by software. In this case, for example, theimage server 12 or the head-mounteddisplay 11 is configured by a general-purpose personal computer 700 as shown in FIG.
[0151]
In FIG. 25, aCPU 701 executes various processes according to a program stored in aROM 702 or a program loaded from astorage unit 709 into aRAM 703. TheRAM 703 also stores data and the like necessary for theCPU 701 to execute various types of processing.
[0152]
TheCPU 701, theROM 702, and theRAM 703 are mutually connected via abus 704. The input /output interface 705 is also connected to thebus 704.
[0153]
The input /output interface 705 includes anoperation unit 706 including a keyboard, a mouse, and the like, asound output unit 707 including a speaker, and outputting sound, adisplay 708 including an LCD or a CRT (Cathode Ray Tube), a hard disk, and the like. Acommunication unit 710 including astorage unit 709, a modem, a terminal adapter, and the like is connected. Thecommunication unit 710 performs communication processing via thenetwork 10 including the Internet.
[0154]
Adrive 711 is connected to the input /output interface 705 as necessary, and amagnetic disk 721, anoptical disk 722, a magneto-optical disk 723, asemiconductor memory 724, or the like is appropriately mounted. It is installed in thestorage unit 709 as needed.
[0155]
When a series of processing is executed by software, a program constituting the software can execute various functions by installing a computer built into dedicated hardware or installing various programs. It is installed in a possible, for example, a general-purpose personal computer from a network or a recording medium.
[0156]
As shown in FIG. 25, this recording medium is a magnetic disk 721 (including a flexible disk) storing a program and an optical disk 722 (including a flexible disk) which are distributed to supply the user with the program separately from the apparatus main body. Not only a package medium including a CD-ROM and a DVD), a magneto-optical disk 723 (including an MD (Mini-Disk)), or asemiconductor memory 724, but also a state in which the optical disk is pre-installed in the apparatus main body. Thestorage unit 709 includes aROM 702 that stores a program and is supplied to the user, and a hard disk included in thestorage unit 709.
[0157]
The storage of the program in the recording medium may be performed using a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via thecommunication unit 710 as necessary.
[0158]
In this specification, the steps of describing a program provided by a medium are not necessarily performed in chronological order, but may be performed in parallel or individually according to the described order. This includes the processing to be executed.
[0159]
Also, in this specification, a system refers to an entire device including a plurality of devices.
[0160]
【The invention's effect】
As described above, according to the first aspect of the present invention, it is possible to transmit an image to a display device via a network.
[0161]
Further, according to the first aspect of the present invention, of the image data transmitted via the network, the amount of image data is minimized while maintaining a high image resolution in a range where the user is gazing. It becomes possible. Therefore, the transmission time of the image data can be reduced. In addition, network congestion can be prevented.
[0162]
Furthermore, according to the first aspect of the present invention, in each of the user's eye movements, that is, the saccade, the smooth eye movement, and the case where one point is fixed without moving the eye, the region to be a high-resolution image is The image specified in the optimum range can be transmitted to the display device.
[0163]
According to the second aspect of the present invention, an image can be received via a network.
[0164]
Further, according to the second aspect of the present invention, of the image data received via the network, the image resolution of the range in which the user is gazing is kept high, and the data amount of the image data is minimized. It becomes possible. Therefore, the reception time of the image data can be reduced. In addition, network congestion can be prevented.
[0165]
Further, according to the second aspect of the present invention, the eye movement of the user, that is, the saccade, the smooth eye movement, and in each case where one point is fixed without moving the eyeball, the region to be a high-resolution image, An image specified in an optimal range can be displayed.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of a service providing system to which the present invention has been applied.
FIG. 2 is a diagram illustrating a configuration example of an appearance of a head mounted display.
FIG. 3 is a diagram illustrating an example of a screen displayed on a display unit of a head mounted display.
FIG. 4 is a block diagram illustrating an example of the internal configuration of an image server.
FIG. 5 is a block diagram illustrating an example of the internal configuration of a head mounted display.
FIG. 6 is a flowchart illustrating image data display processing of a head mounted display.
FIG. 7 is a flowchart illustrating an image data display process of the image server.
FIG. 8 is a flowchart illustrating an image data transmission process of the image server.
FIG. 9 is a diagram illustrating an example of a format of a packet transmitted in step S104 of FIG. 6;
FIG. 10 is a flowchart illustrating a viewpoint information transmission process of a head mounted display.
FIG. 11 is a diagram illustrating a method of specifying viewpoint coordinates.
FIG. 12 is a diagram conceptually illustrating a method of storing viewpoint coordinates in a viewpoint information holding unit.
FIG. 13 is a diagram subsequent to FIG. 12 and conceptually illustrating a method of storing viewpoint coordinates in the viewpoint information holding unit.
FIG. 14 is a diagram subsequent to FIG. 13 and conceptually illustrating a method of storing viewpoint coordinates in the viewpoint information holding unit.
FIG. 15 is a diagram subsequent to FIG. 14 and conceptually illustrating a method of storing viewpoint coordinates in the viewpoint information holding unit.
FIG. 16 is a diagram illustrating an example of viewpoint coordinates stored in a viewpoint coordinate holding unit.
FIG. 17 is a diagram showing an example of a format of a packet transmitted in step S209 in FIG. 10;
FIG. 18 is a diagram subsequent to FIG. 15 and conceptually illustrating a method of storing viewpoint coordinates in the viewpoint information holding unit.
FIG. 19 is a diagram conceptually illustrating a method of storing viewpoint coordinates in a viewpoint information holding unit.
FIG. 20 is a flowchart illustrating a viewpoint information receiving process of the image server.
FIG. 21 is a flowchart illustrating an ROI range determination process of the image server.
FIG. 22 is a diagram illustrating a method of specifying a ROI range.
FIG. 23 is another diagram illustrating a method of specifying a ROI range.
FIG. 24 is yet another diagram illustrating a method of specifying a ROI range.
FIG. 25 is a block diagram illustrating a configuration example of a personal computer to which the present invention has been applied.
[Explanation of symbols]
Reference Signs List 10 network, 11 head mounted display, 12 image server, 13 camera, 101 viewpoint detection unit, 152 low resolution image, 153 high resolution image, 154 viewpoint, 201 operation unit, 202 control unit, 203 encoder, 204 communication unit, 251 operation Unit, 252 control unit, 253 viewpoint coordinate storage unit, 254 arithmetic processing unit, 255 packet creation unit, 256
Communication unit, 257 decoder, 258 display unit

Claims (9)

Translated fromJapanese

画像の第１の領域をそれ以外の第２の領域より高解像度にして符号化する符号手段と、
前記符号手段により符号化された前記画像を表示装置に送信する送信手段と、
前記表示装置より、予め設定された所定の時間内における、前記画像に対するユーザの視点の座標の平均値、および分散値を受信する受信手段と、
前記受信手段により受信された前記画像に対する前記ユーザの前記視点の座標の平均値、および前記分散値に基づいて、前記画像内における前記第１の領域を指定する指定手段と
を備え、
前記符号手段は、前記指定手段により指定された前記第１の領域を高解像度にして符号化する
ことを特徴とする情報処理装置。Encoding means for encoding the first area of the image at a higher resolution than the other second areas;
Transmission means for transmitting the image encoded by the encoding means to a display device,
From the display device, within a predetermined time set in advance, receiving means for receiving the average value of the coordinates of the viewpoint of the user with respect to the image, and a variance value,
Specifying means for specifying the first area in the image based on the average value of the coordinates of the viewpoint of the user with respect to the image received by the receiving means, and the variance value,
The information processing apparatus according to claim 1, wherein the encoding unit encodes the first area designated by the designation unit with a high resolution.前記画像を撮影する撮影手段をさらに備える
ことを特徴とする請求項１に記載の情報処理装置。The information processing apparatus according to claim 1, further comprising a photographing unit that photographs the image.前記指定手段は、前記分散値の大きさに比例して、前記第１の領域を広範囲に指定する
ことを特徴とする請求項１に記載の情報処理装置。2. The information processing apparatus according to claim 1, wherein the specifying unit specifies the first area in a wide range in proportion to the magnitude of the variance value. 3.前記指定手段は、前記視点の座標の平均値を中心にして、前記第１の領域を指定する
ことを特徴とする請求項１に記載の情報処理装置。The information processing apparatus according to claim 1, wherein the specifying unit specifies the first area around an average of coordinates of the viewpoint.画像の第１の領域をそれ以外の第２の領域より高解像度にして符号化する符号ステップと、
前記符号ステップの処理により符号化された前記画像を表示装置に送信する送信ステップと、
前記表示装置より、前記画像に対するユーザの視点の座標の平均値、および分散値を受信する受信ステップと、
前記受信ステップの処理により受信された前記画像に対する前記ユーザの前記視点の座標の平均値、および前記分散値に基づいて、前記画像内における前記第１の領域を指定する指定ステップと
を含み、
前記符号ステップの処理は、前記指定ステップの処理により指定された前記第１の領域を高解像度にして符号化する
ことを特徴とする情報処理方法。A coding step of coding the first area of the image at a higher resolution than the other second areas;
A transmitting step of transmitting the image encoded by the processing of the encoding step to a display device,
From the display device, a receiving step of receiving the average value of the coordinates of the viewpoint of the user with respect to the image, and a variance value,
A designation step of designating the first area in the image based on the average value of the coordinates of the viewpoint of the user with respect to the image received by the processing of the reception step, and the variance value,
The information processing method according to claim 1, wherein the processing of the encoding step includes encoding the first area specified by the processing of the specifying step with a high resolution.画像の第１の領域をそれ以外の第２の領域より高解像度にして符号化する符号ステップと、
前記符号ステップの処理により符号化された前記画像の表示装置への送信を制御する送信制御ステップと、
前記表示装置からの、前記画像に対するユーザの視点の座標の平均値、および分散値の受信を制御する受信制御ステップと、
前記受信制御ステップの処理により受信が制御された前記画像に対する前記ユーザの前記視点の座標の平均値、および前記分散値に基づいて、前記画像内における前記第１の領域を指定する指定ステップと
をコンピュータに実行させることを特徴とするプログラム。A coding step of coding the first area of the image at a higher resolution than the other second areas;
A transmission control step of controlling transmission of the image encoded by the processing of the encoding step to a display device,
From the display device, the average value of the coordinates of the viewpoint of the user with respect to the image, and a reception control step of controlling the reception of the variance value,
A designation step of designating the first region in the image based on the average value of the coordinates of the viewpoint of the user with respect to the image whose reception is controlled by the process of the reception control step, and the variance value. A program that is executed by a computer.情報処理装置より、第１の領域がそれ以外の第２の領域より高解像度にして符号化された画像を受信する受信手段と、
前記受信手段により受信された前記画像を復号する復号手段と、
前記復号手段により復号された前記画像を表示する表示手段と、
前記表示手段により表示されている前記画像に対するユーザの視点の座標を検出する検出手段と、
前記検出手段により検出された前記ユーザの視点の座標を、予め設定された所定の時間毎に取得する取得手段と、
前記取得手段により取得された、所定の個数の前記視点の座標の平均値、および分散を演算する演算手段と、
前記演算手段により演算された、前記ユーザの視点の座標の前記平均値および前記分散値を、前記情報処理装置に送信する送信手段と
を備えることを特徴とする表示装置。Receiving means for receiving, from the information processing apparatus, an image in which the first area is encoded at a higher resolution than the other second areas;
Decoding means for decoding the image received by the receiving means,
Display means for displaying the image decoded by the decoding means,
Detecting means for detecting coordinates of a user's viewpoint with respect to the image displayed by the display means,
Acquisition means for acquiring the coordinates of the viewpoint of the user detected by the detection means at predetermined time intervals,
An arithmetic unit that calculates an average value and a variance of coordinates of a predetermined number of the viewpoints acquired by the acquiring unit,
A display device, comprising: a transmission unit that transmits the average value and the variance value of the coordinates of the user's viewpoint calculated by the calculation unit to the information processing device.情報処理装置より、第１の領域がそれ以外の第２の領域より高解像度にして符号化された画像を受信する受信ステップと、
前記受信ステップの処理により受信された前記画像を復号する復号ステップと、
前記復号ステップの処理により復号された前記画像を表示する表示ステップと、
前記表示ステップの処理により表示されている前記画像に対するユーザの視点の座標を検出する検出ステップと、
前記検出ステップの処理により検出された前記ユーザの視点の座標を、予め設定された所定の時間毎に取得する取得ステップと、
前記取得ステップの処理により取得された、所定の個数の前記視点の座標の平均値、および分散を演算する演算ステップと、
前記演算ステップの処理により演算された、前記ユーザの視点の座標の前記平均値および前記分散値を、前記情報処理装置に送信する送信ステップと
を含むことを特徴とする表示方法。A receiving step of receiving, from the information processing apparatus, an image in which the first area is encoded with a higher resolution than the other second areas;
A decoding step of decoding the image received by the processing of the receiving step,
A display step of displaying the image decoded by the processing of the decoding step;
A detection step of detecting coordinates of a user's viewpoint with respect to the image displayed by the processing of the display step,
An acquisition step of acquiring the coordinates of the viewpoint of the user detected by the processing of the detection step at predetermined time intervals;
An arithmetic step of calculating an average value and a variance of coordinates of a predetermined number of viewpoints acquired by the processing of the acquiring step,
A transmitting step of transmitting the average value and the variance value of the coordinates of the viewpoint of the user calculated by the processing of the calculating step to the information processing device.情報処理装置からの、第１の領域がそれ以外の第２の領域より高解像度にして符号化された画像の受信を制御する受信制御ステップと、
前記受信制御ステップの処理により受信が制御された前記画像を復号する復号ステップと、
前記復号ステップの処理により復号された前記画像の表示を制御する表示制御ステップと、
前記表示制御ステップの処理により表示が制御されている前記画像に対するユーザの視点の座標を検出する検出ステップと、
前記検出ステップの処理により検出された前記ユーザの視点の座標を、予め設定された所定の時間毎に取得する取得ステップと、
前記取得ステップの処理により取得された、所定の個数の前記視点の座標の平均値、および分散を演算する演算ステップと、
前記演算ステップの処理により演算された、前記ユーザの視点の座標の前記平均値および前記分散値の、前記情報処理装置への送信を制御する送信制御ステップと
をコンピュータに実行させることを特徴とするプログラム。A reception control step of controlling reception of an image encoded with a first area having a higher resolution than the other second area from the information processing apparatus;
A decoding step of decoding the image whose reception has been controlled by the processing of the reception control step;
A display control step of controlling display of the image decoded by the processing of the decoding step;
A detection step of detecting coordinates of a user's viewpoint with respect to the image whose display is controlled by the processing of the display control step,
An acquisition step of acquiring the coordinates of the viewpoint of the user detected by the processing of the detection step at predetermined time intervals;
An arithmetic step of calculating an average value and a variance of coordinates of a predetermined number of viewpoints acquired by the processing of the acquiring step,
A transmission control step of controlling transmission of the average value and the variance value of the coordinates of the user's viewpoint calculated by the processing of the calculation step to the information processing apparatus. program.

Images