以下、図面を参照しながら本発明の実施形態に係る画面表示処理装置および方法について詳細に説明する。なお、以下の実施形態中では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
(第1の実施形態)
<全体の構成>
第1の実施形態に係る画面表示処理装置について図1を参照して説明する。
本実施形態の画面表示処理装置は、可動機構部101、可動パラメータ取得部102、形状変化検出部103、アプリケーション切り替え制御部104、アプリケーション動作部105、表示部106、および、操作部107を含む。
可動機構部101は、画面表示処理装置を含む装置(例えば、携帯電話端末などの携帯端末装置)を構成する複数の筐体同士を相対的に可動させる。可動機構部101の詳細については後に図2、図3を参照して説明する。
可動パラメータ取得部102は、可動機構部101がそれぞれの筐体を可動するための、各筐体に対応している可動パラメータを取得する。可動パラメータ取得部102の詳細については後に説明する。
形状変化検出部103は、可動パラメータ取得部102で取得された可動パラメータに基づいて、画面表示処理装置を含む装置の形状の変化を検出する。形状変化検出部103は、例えば、画面表示処理装置を含む装置の形状変化が「あり」または「なし」の情報を取得する。形状変化検出部103の詳細については後に説明する。
アプリケーション切り替え制御部104は、形状変化検出部103で検出された形状変化が「あり」または「なし」の情報、および、可動パラメータ取得部102で取得された可動パラメータを使用して、画面表示処理装置を含む装置に搭載されている機能を制御する。本実施形態では、画面表示処理装置を含む装置で動作しているアプリケーションを切り替える制御を行う。アプリケーション切り替え制御部104の詳細については後に説明する。
アプリケーション動作部105は、アプリケーション切り替え制御部104からの制御内容を受けて、所定のアプリケーションにアプリケーションを切り替え、そのアプリケーションを動作させる。アプリケーション動作部105の詳細については後に説明する。
表示部106は、文字情報、画像情報などを表示可能な画面(例えば、液晶画面)であり、画面表示処理装置を含む装置の動作状況や結果などを表示する。
操作部107は、押しボタン式の各種のキーを備え、ダイアル入力、文字入力、コマンド入力などを行うためのもので、キー操作に応じたキー入力信号を出力する。
次に、図1の画面表示処理装置を内蔵している携帯電話端末の外観の一例について図2を参照して説明する。
この携帯電話端末は、上部筐体201、下部筐体202を備えている。上部筐体201と下部筐体202とは可動機構部101を介して開閉可能(折りたたみ可能)に取り付けられたもので、上部筐体201には表示部106が、下部筐体202には操作部107が備えられている。
このような携帯電話端末は、通常、操作部107の操作に応じて、端末の各種の機能部(図示せず)が動作し、その動作内容や結果が表示部106に出力される。例えば、操作部107の中にある「メール」キーを押すことで、動作がメール機能のアプリケーションに切り替わり、メール・アプリケーションの動作画面が表示部106に表示される。この状態で、操作部107を用いて文字入力を行うと、その入力文字がメール・アプリケーションにて処理され、逐次、表示部106にメール入力中の様子として表示される。また、Webアプリケーションボタンを押すと、Webアプリケーションに切り替わり、表示部106、操作部107はWebアプリケーションの表示、操作用になる。
本実施形態は、このような携帯電話端末、あるいは、これに準じる携帯情報端末に含まれる画面表示処理装置に係るものであり、以降、本実施形態の画面表示処理装置を構成する各部に関して詳細に説明していく。
<可動機構部101>
可動機構部101は、端末を構成する複数の筐体同士を相対的に可動させるためのものである。具体的には、上述したように、本実施形態で想定する携帯電話端末は、例えば図2に示すように、上部筐体201と下部筐体202を有し、この2つが可動機構部101を介して開閉可能(折りたたみ可能)に取り付けられたものである。この例の場合、可動機構部101は、典型的にはヒンジとなっており、上部筐体201と下部筐体202を回転機構によって可動させ、開閉可能(折りたたみ可能)とする機構となっている。これは、いわゆる2つ折り型と呼ばれる携帯電話端末の例である。
2つ折り型以外でも可動機構部101を持つ携帯電話端末は存在する。一例を図3に示す。これは、スライド型と呼ばれるタイプであり、この携帯電話端末は、可動機構部101(図示せず)、表示部106、第1の操作部301、第2の操作部302、上部筐体201、下部筐体202などから構成されている。
第1の操作部301、第2の操作部302は、前述した操作部107の機能を2カ所に分けたものである。このタイプの携帯電話端末は、可動機構部101にてスライド機構を有しており、このスライド機構によって、上部筐体201と下部筐体202を水平方向に可動させ、開閉可能(スライド可能)とする機構となっている。図3に(a)携帯電話端末を開いた場合(スライドさせた場合)、(b)閉じた場合(スライドさせていない場合)を示す。2つ折り型とは、携帯電話端末の開閉の手段が異なってはいるが、その他の機能に関しては、ほぼ同等である。
なお、ここでは、2つ折り型、スライド型の2つのタイプの携帯電話端末における可動機構部101の例を示したが、あくまでもこれは一例であり、これに限定されるものではない。可動機構を有するものであれば、どのような機構であっても同様である。
<可動パラメータ取得部102>
可動パラメータ取得部102は、可動機構部101の可動パラメータ(複数の筐体が相対的に動いているかを判定するためのパラメータ)を取得するためのものである。換言すれば、可動パラメータ取得部102は、複数の筐体が相対的に動いているかを判定するためのパラメータ値を検出する。携帯電話端末が上述の2つ折り型、つまり、可動機構部101の可動機構が回転機構である場合には、可動パラメータとして回転角度、つまり上部筐体201と下部筐体202の成す角度が取得される。携帯電話端末がスライド型、つまり、可動機構部101の可動機構がスライド機構である場合には、可動パラメータとしてスライド量、つまり上部筐体201からみて下部筐体202が移動した量(あるいは、下部筐体202からみて上部筐体201が移動した量)が可動パラメータとして取得される。これ以外の可動機構に対しても同様である。すなわち、その可動機構の有する可動量となりうるパラメータが取得される。また、パラメータは必ずしも1つとは限らない。複数方向に可動する場合は、パラメータが複数となることもあり得る。
なお、以降、説明を簡単とするために、2つ折り型を例として説明を継続するが、その他のタイプの携帯電話端末に関しても同様である。以下の説明を、それぞれのタイプの端末の可動機構、可動パラメータに適宜読み替えて実現することができる。
<形状変化検出部103>
形状変化検出部103は、可動パラメータ取得部102で取得された可動パラメータから端末の形状の変化を検出するためのものである。形状変化検出部103は、パラメータ値に基づいて前記携帯端末装置の形状に変化があるか否かを判定する。形状変化の検出は、単純には、ある基準からパラメータ値が特定量よりも変化した場合に変化として検出すればよい。例えば、時刻tにおけるパラメータ値をf(t)とし、基準値となるパラメータ値をf0、変化検出のための閾値をTHとすると、
|f(t)−f0| > TH
として検出するとこができる。すなわち、|f(t)−f0|がTHを超える場合には形状変化があると判定する。
また、ある時刻tと、その時刻より少し(Δtだけ)前の時刻t−Δtにおけるパラメータ値の差を用いて検出することが可能である。
|f(t)−f(t−Δt)| > TH
となった場合、形状に変化があったとし、f(t)−f(t−Δt)を変化量とする。
また、単に変化量をとるのではなく、変化率の量をもととして変化を検出してもよい。
|df(t)/dt| = |(f(t)−f(t−Δt))/Δt| > TH
などといったようにである。
なお、ここでは単純に時間差分などにより変化を検出する方法を示したが、これに限定されるものではない。刻々と変化する情報を、スプライン曲線などで近似し、その傾きが特定の傾きよりも大きくなるような場合に形状変化があると判定してもよいし、もっと複雑な信号処理の手法を取ることもできる。本実施形態では、この取得方法自体は本質的ではなく、存在する様々な検出方法を適宜選択して使うことが可能である。
また、ここではパラメータ値が単一量であった場合に関して説明したが、複数量であった場合には、上記の判断をパラメータ数個別に行い、それぞれの重み付き平均から変化の「あり」または「なし」を検出したり、パラメータ量をベクトルと見なし、ベクトルに対して検出のため予め用意した任意の関数を適用したりなどして検出する。
閾値、検出手法などは、後述するアプリケーション切り替え制御部104での制御内容に合わせて、予め設定しておく。なお、閾値や検出手法を複数用意しておいて、携帯電話端末の操作メニューにおいて、使用者が適宜選択したり、閾値量を入力できるようにしておいても良い。
以上により、例えば、2つ折り型の携帯電話端末において、上部筐体201と下部筐体202が可動したかどうかの検出が可能となる。
また、検出は上述したような1段階に限るものではない。複数の閾値を用意し、複数の検出状態を出力しても構わない。すなわち、上部筐体201と下部筐体202がどの位の角度で変化したのか、を何段階かで検出する場合がある。
<アプリケーション切り替え制御部104、アプリケーション動作部105>
アプリケーション切り替え制御部104は、形状変化検出部103で検出された形状変化の「あり」または「なし」の情報、および、可動パラメータ取得部102で取得された可動パラメータの値を用いて、端末の現在動作しているアプリケーションの切り替えのための制御信号をアプリケーション動作部105に送ることで、端末で現在動作するアプリケーションの切り替えを行うためのものである。
アプリケーション動作部105は、アプリケーション切り替え制御部104からの制御内容を受けて、所定のアプリケーションにアプリケーションを切り替え、そのアプリケーションを動作させる。
具体的には、例えば、アプリケーション切り替え制御部104は、形状変化検出部103が端末の形状の変化を検出した場合に、アプリケーション動作部105から取得した現在の端末の状態と、可動パラメータ取得部102で取得された可動パラメータの値に応じて、切り替えを行うアプリケーションを決定し、決定したアプリケーションに切り替える旨の制御信号をアプリケーション動作部105に送る。
ここで、アプリケーション動作部105から取得する現在の端末の状態とは、現在実行中のアプリケーションの情報、何かイベントが発生した場合、どのようなイベントで、そのイベントに対して何をすべきかの情報、端末への入出力の状況、・・・、といったものである。このような現在の端末の状態のうち、アプリケーション切り替え制御部104は必要なものを適宜受け取り、制御のための情報として扱う。
アプリケーション動作部105は、アプリケーション切り替え制御部104からの制御信号を受けて、現在実行中のアプリケーションから、指定されたアプリケーションへと動作を切り替える。
なお、ここでは、アプリケーションの動作手法は問わない。例えばマルチスレッド型の場合、現在のアプリケーションを非アクティブとして、切り替え対象のアプリケーションが起動していない場合には起動し、起動している場合にはアクティブとする。疑似マルチスレッド型の場合には、現在のアプリケーションの状態を保持し、アプリケーションを終了し、切り替え対象のアプリケーションを終了した時の状態を復元して起動する。また、アプリケーションの切り替えは、必ずしも全画面単位であるとは限らない。あるアプリケーションの画面の一部にウィンドウをオーバーラップし、そのウィンドウ内で別のアプリケーションが実行されても構わない。また、切り替えは単一であるとは限らない。複数のアプリケーションが同時に1画面内で実行されても構わない。
アプリケーション動作部105は、通常、CPUやLSIにて実現され、通信部(図示せず)、メモリ(図示せず)、スピーカやマイクといった入出力部(図示せず)、カメラ、GPSなどといった各種デバイス(図示せず)を、プログラムを用いて適宜駆動、制御することで、携帯電話端末のメニュー操作、アプリケーション実行、通話、などといった動作を実現する。
<全体の動作>
以上で説明した携帯電話端末、あるいは、これに準じる携帯情報端末における画面表示処理装置では、以下のような動作が実現できる。
2つ折り型携帯電話端末を完全に開いて(図2のような状態にして)使用するのは、図4に示すように、通常の通りである。これに加えて、例えば、Webページを閲覧している際に、メール着信があった場合には、通常の携帯電話端末の場合、画面(表示部106)の一部にメール着信があった旨の通知が表示される。あるいは、もう少し親切な機種では、誰からどのようなタイトルのメールがあったかが同時に表示される。この通知は、典型的には、一定の時間のみ表示され、一定時間が経過した後には消えて、もとのWebページ閲覧の状態に戻る。この際、機種によっては、メール着信のアイコンが残るものもある。この辺りの挙動は、機種により様々であるが、従来の携帯電話端末の場合、着信したメールを読みたい場合には、一度メールボタンを押して、Webブラウザアプリを終了してメールアプリに移行し、メールを読む必要がある。このため、再びもとのWebブラウザの閲覧状態に戻るには再びWebブラウザを起動して、もとのページを読み込む必要があり、手間がかかる。
このような場合、通常は、従来のように携帯電話端末を完全に開いて作業(WebブラウザによるWebの閲覧)を行っていて、メール着信があった場合には、図5に示すように、携帯電話端末の上部筐体201を少し回転可動させる。この可動変化を形状変化検出部103にて検出し、アプリケーション切り替え制御部104にて、メール着信情報の表示のためのアプリケーションに切り替えるような制御を行い、アプリケーション動作部105にて、メール着信情報の表示動作を行う。そして、この状態を保っている場合には、メール着信情報の表示動作が継続され、表示部106は、メール着信情報の表示が継続される。
携帯電話端末の上部筐体201を再び元の完全に開いた状態に戻すと、形状変化検出部103は再び形状変化を検出し、アプリケーション切り替え制御部104にて、もとのWebブラウザのアプリケーションに切り替える制御を行い、アプリケーション動作部105にて、もとのWebブラウザの状態にアプリケーションを切り替える。
以上の動作により、ある作業(例えば、上の例では、Webブラウジング)を行っているときに、何かのイベント(上の例では、メール着信)があった場合に、筐体を少し可動させることで、そのイベントに応じたアプリケーションに画面が切り替わり、イベントの情報の確認が素早く可能となり、情報の閲覧が終了した際には、筐体をもとの状態に戻す(可動する)ことで、速やかにもとの作業に復帰するという機能を実現することが可能となる。つまり、ボタン(操作部107)に一切ふれることなく、情報を容易に確認でき、速やかにもとの状態に復帰することが可能となる。
次に、図1の画面表示処理装置の動作の一例について図6を参照して説明する。
まず、形状変化検出部103が形状変化1を検出したかを判定する(ステップS601)。上の例の場合、形状変化1とは、上部筐体201と下部筐体202が完全に開いたところから、所定の角度θまで(あるいはθ以上)閉じられたという形状変化である。角度θは可動パラメータ取得部102にて取得され、形状変化検出部103にてこのような形状変化1が生じたかどうかが判定される。
ステップS601で形状変化1が生じていると判定された場合、次に、何かイベントが生じているかを判定する(ステップS602)。上の例の場合、メール着信があったというイベントが生じている。これは、通常、割り込み信号として、OS(オペレーティングシステム)あるいはそれに準じるシステム管理プログラムに通知される。通常、アプリケーション動作部105にて行われることが多いが、図示されていない携帯電話端末の他の構成部分によって管理、制御、動作が行われていても構わない。ステップS602でイベントが生じていないと判定された場合は、S601へ戻る。
次に、アプリケーション切り替え制御部104が、イベントに応じた処理がアプリケーション切り替えであるかどうかを判定する(ステップS603)。イベントに応じた処理がアプリケーション切り替えであるかどうかは予めアプリケーション切り替え制御部104が保持しているデータベース(図示せず)に記録されている。アプリケーション切り替え制御部104は、このデータベースと照らし合わせ、判定する。アプリケーション切り替えであると判定された場合はステップS604へ、そうでなければステップS601へ戻る。
アプリケーション切り替え制御部104がアプリケーション切り替えのための前準備として、現在のアプリケーションの状態を待避する(ステップS604)。ここでは、携帯電話端末におけるアプリケーション切り替え手法が疑似マルチタスクである場合を説明している。上の例の場合、Webブラウザにて、現在閲覧しているページの情報(URL、閲覧位置など)を待避する。次に、先のイベントに応じて切り替えるべきアプリケーションが選択される(ステップS605)。上の例では、メール着信者やメールタイトルを通知するアプリケーションが選択される。そして、選択したアプリケーションへの切り替えが行われる(ステップS606)。上の例では、メール着信者やメールタイトルを通知するアプリケーション(メール着信通知アプリ)が起動される。
形状変化検出部103は形状変化2が検出されたかどうかを判定する(ステップS607)。ステップS607で形状変化2が検出された場合はステップS608へ、そうでない場合にはS607へ戻る。ここで、形状変化2とは、形状変化1の逆の形状変化である。上の例の場合、上部筐体201と下部筐体202が角度θ開いている(あるいはθ以上開いている)状態から、上部筐体201と下部筐体202が完全に開いた状態へ変化する形状変化となる。つまり、形状変化1の後に形状変化2が生じると、形状変化1の前の元の形状に戻るという訳である。次に、待避した元のアプリケーションの状態を復元し(ステップS608)、元のアプリケーションへ切り替えて終了である(ステップS609)。上の例の場合、メール着信通知アプリ起動前のWebブラウザの状態(開いていたURL、閲覧位置など)を復元し、Webブラウザを起動する。以上により、上部筐体201をθだけ動かした状態の時にのみメール着信アプリに切り替わり、着信情報が確認でき、上部筐体201を元の状態に戻すと、元々起動していたアプリに復帰するという動作が実現されている。
以上の第1の実施形態により、あるアプリケーションを実行中に何らかのイベントが生じた際に、携帯電話の可動部を少し動かすだけで、操作部107を操作することなく、簡単にイベントによって得られる情報を閲覧可能である。また、携帯電話の可動部を元に戻すだけで、速やかに元のアプリケーション操作に復帰可能である。
なお、以上では、メール着信通知アプリを例として説明したが、これに限定されるものではない。また、形状変化1が生じたことによりアプリケーションが切り替わった状態で、操作部107を用いて操作可能であってもよい。例えば、メール着信通知アプリにメール本文が表示されていて、方向キーを用いてメール本文をスクロールして閲覧可能となっていてもよい。
また、以上では、回転機構を有している携帯電話端末を例として説明してきたが、これに限定されるものではない。可動機構の可動手法に応じて、同様の動作を実現することが可能である。
また、以上では、所定のイベントが発生した場合に、形状変化に応じてアプリケーションを切り替える動作について説明したが、これに限定されるものではない。形状変化があった場合に、カレンダー表示アプリケーションに切り替わるといったように、切り替えるアプリケーションはイベントに連動していなくともよい。これにより、あるアプリケーションを実行中にカレンダーを確認したくなった場合、携帯電話の可動部を少し動かすだけで確認できる。他のアプリケーションに関しても同様である。
また、以上で説明した動作は、典型的には、端末内に予め幾つか定めてある動作群の中から、使用者がメニューなどを用いて適宜選択することで変えることが可能である。例えば、形状変化検出のための閾値や、切り替えるアプリケーションの内容、切り替えに用いる形状変化の内容がある。また、動作群は、端末の通信機能などを用いてインターネットにアクセスし、端末外から取得することもできる。現在の携帯電話が着信音やメニューのGUI(グラフィカルユーザインタフェース)を外部から取得して、変更できるのと同じようなものである。
(第1の実施形態の変形例1)
上述した第1の実施形態では、所定の可動変化があった場合にアプリケーションが切り替わり、所定の可動変化の逆の変化、つまり元の形状へ戻る変化があった場合には、元のアプリケーションに復帰する動作に関して説明したが、これに限定されるものではない。これに限定されず、任意の形状変化に対して、任意のアプリケーション切り替えを行っても良い。
例えば、図7に示すような動作を行うことが可能である。
まず、アプリケーション切り替え制御部104が、形状変化3が検出されたか判定し(ステップS701)、形状変化3が検出されたらステップS702へ、そうでなければステップS701へ戻る。ここで、例えば、S701における形状変化3として、上部筐体201と下部筐体202が完全に開いたところから、所定の角度θまで(あるいはθ以上)閉じ、再び完全に開いたところまで戻すという一連の状態を用いる。
次に、アプリケーション切り替え制御部104が、現在他のアプリケーションが起動しているか、あるいは、現在待避している他のアプリケーションが存在しているか、を判定し(ステップS702)、他のアプリケーションが存在する場合にはステップS703へ、そうでない場合には終了する。次に、現在のアプリケーションの状態を待避し(ステップS703)、次のアプリケーションを選択する(ステップS704)。ここで、次のアプリケーションはどのように決定してもよいが、現在起動しているアプリケーションをその使用順にキューやFIFOで管理するなどして、次に切り替えるべきアプリケーションを決定する。そして、選択したアプリケーションへの切り替えを行う(ステップS705)。
以上のようにすることで、例えば、携帯電話の可動機構を用いた形状変化をタスクスイッチ用途に用いることが可能となる。例えば、現在、メール、Webブラウザ、スケジュール帳の3つのアプリケーションが実行されており、現在アクティブなアプリケーションはメールであるとする。このとき、携帯電話を少し可動させることで、アクティブなアプリケーションをWebブラウザ、スケジュール帳、・・・と逐次変更することが可能である。MicrosoftのWindows(登録商標)では、「Altキー」を押しながら「Tabキー」を逐次押すことで、現在アクティブなタスクを切り替えることが可能であるが、これと同様な動作である。
(第1の実施形態の変形例2)
上述した第1の実施形態では、所定の単一の形状変化に対して、単一のアプリケーションの切り替えを行う動作を説明したが、これに限定されるものではない。例えば、上部筐体201と下部筐体202が角度θ1以上変化した場合には、アプリケーション1へ切り替え、θ2以上(θ2>θ1)変化した場合には、アプリケーション2へ切り替え、・・・、といったように、形状変化の変化量に応じて切り替わるアプリケーションが変化しても良い。
(第1の実施形態の変形例3)
例えば、上部筐体201と下部筐体202が角度θ1以上変化した場合には、あるアプリケーションのモード1へ切り替え、θ2以上(θ2>θ1)変化した場合には、同じアプリケーションのモード2へ切り替え、・・・、といったように、形状変化の変化量に応じて切り替わるアプリケーションの実行状態が変化しても良い。
これは、例えば、メール着信通知アプリケーションに、モード1では着信者情報のみ表示、モード2では着信者情報にあわせてメールタイトルも表示、モード3ではモード2にあわせてメール本文も表示するといった複数のモードを持たせておいて、上部筐体201と下部筐体202が角度θ1以上変化した場合にはメール着信通知アプリケーションに切り替わるが着信者情報のみ表示し、θ2以上(θ2>θ1)変化した場合には着信者情報のみでなくメールタイトルも表示する、といったような動作を実現することができる。これにより、携帯電話端末の可動部分の可動量に応じて、切り替えるアプリケーションのモードを変更することで、得たい情報を制御することができる。
このような使い方は、プライベートな情報をあまり周囲に漏らしたくないような場合に役に立つ。携帯電話を大きく(上部筐体201と下部筐体202の成す角度が大きく)開けた場合の画面の見え方(図8(a))と、小さく(上部筐体201と下部筐体202の成す角度が小さく)しか開けていない場合の画面の見え方(図8(b))の例を示す。図8(a)の方が周辺から画面が良く見え、図8(b)の方が画面の内容が見にくいことが分かる。
この関係を上手く活用すれば、携帯を余り閉じない場合には、アプリケーション切り替えによって、着信のありなしのみが表示され、携帯を小さくしか開いていない場合には、送信者、メールタイトル、本文が表示されるようにしておくことで、携帯電話の開け方(閉め方)によって画面に表示される情報を変えることができる。つまり、周囲に人がいて、メールの内容が見られたくない場合には、携帯電話を図8(b)のように小さくしか開いていない状態に変化させ、送信者、メールタイトル、本文といった情報をこっそり閲覧することが可能となる。
以上のように、携帯電話の可動量の大小により、画面に表示する情報量を感覚的に制御することが可能となる。
(第1の実施形態の変形例4)
第1の実施形態の変形例4に係る画面表示処理装置について図9を参照して説明する。
本変形例の画面表示処理装置は、第1の実施形態の画面表示処理装置に、表示位置・サイズ制御部901と表示位置・サイズ変更部902を追加されたものである。
表示位置・サイズ制御部901は、可動パラメータ取得部102で取得されたパラメータ量をもとにして、アプリケーションの画面表示の位置やサイズを制御する。
表示位置・サイズ変更部902は、表示位置・サイズ制御部901の制御内容に従ってアプリケーションの画面表示の位置やサイズを変更する。
<表示位置・サイズ制御部901、表示位置・サイズ変更部902>
表示位置・サイズ制御部901は、具体的には、可動パラメータ取得部102で取得されたパラメータ量に応じて、アプリケーション切り替え制御部104、アプリケーション動作部105で切り替えられ動作しているアプリケーションの表示画面のサイズや位置を制御する。
あるアプリケーション実行中に、携帯電話端末の可動部の形状変化によって、時刻を画面の一部に重畳表示する時計アプリにアプリケーションが切り替わるという状況を考える。この様子を図10(a)に示す。ある形状変化により、画面の中央に時計アプリの表示が重畳されている。この際、図8(b)のように、携帯電話を比較的小さくしか開いていない場合には、図10(a)のような表示では見にくい。本変形例は、このような状況を鑑みて実施されたもので、可動パラメータ取得部102で取得されたパラメータ量に応じて、アプリケーションの画面表示の位置やサイズを制御することを可能としたものである。
具体的には、例えば、上部筐体201と下部筐体202の成す角度が小さい場合には、それに比例して、図10(b)のように画面情報に表示位置をずらし、表示サイズも比例して大きくする、などといった処理を行う。表示サイズ、表示位置は、可動パラメータをθとすると、f(θ)、g(θ)といった関数でそれぞれ表すことができる。この関数f、gは、予め定めておき、表示位置・サイズ制御部901が参照するデータベース(図示せず)に格納されている。表示位置・サイズ制御部901は、データベースを参照してこの関数f、gを取得し、これとパラメータ量から、サイズ、位置を算出する。なお、関数の内容は、利用シーンにあわせて適宜変更することが可能であり、どのようなものでも用いることができる。なお、ここでは可動パラメータが1次元の例に関して説明したが、一般的にはn次元のベクトルとなる。また、f、gはn次元のベクトルを入力として、それぞれサイズ、位置を算出する関数である。
以上により、携帯電話端末の形状変化の度合いに応じて、表示位置やサイズを適宜変更することが可能となり、形状変化しても見やすい表示を提供することが可能となる。
(第1の実施形態の変形例5)
第1の実施形態の変形例5に係る画面表示処理装置について図11から図14までを参照して説明する。
本変形例の画面表示処理装置は、第1の実施形態の画面表示処理装置に、表示切り替え部1101、第1の表示部1102、第2の表示部1103が追加されたものである。
表示切り替え部1101は、アプリケーション動作部105での動作結果や状態、アプリケーションの画面を表示する表示部を、第1の表示部1102あるいは第2の表示部1103に切り替える。
<第1の表示部1102、第2の表示部1103>
最近の携帯電話端末は、多くが、2つ以上の表示部を持っていることが多い。第1の実施形態では、表示部106は、携帯電話のどの表示部であるかの区別は特に行っていない。つまり、どの表示部を選択しても同様の実施が可能であった。
本変形例では、表示部を区別する。図12に携帯電話端末の一例を示す。最近の2つ折り型の携帯電話端末には、通常、メイン画面と呼ばれる比較的大型の画面(液晶画面)と、携帯電話端末の外側(通常は、メイン画面の裏側)に配されているサブ画面(背面画面とも呼ぶ)が存在する。第1の表示部1102は例えばメイン画面、第2の表示部1103は例えばサブ画面である。
なお、ここでは、第1の表示部1102がメイン画面、第2の表示部1103がサブ画面である例を示したがこれに限定されるものではない。また、画面が3つ以上ある場合には、そのうち2つを選んで第1の表示部1102、第2の表示部1103とすればよい。なお、第1の表示部1102、第2の表示部1103の機能は、第1の実施形態にて説明した表示部106と同様である。
<表示切り替え部1101>
表示切り替え部1101は、アプリケーション動作部105での表示画面を、第1の表示部1102、第2の表示部1103で切り替えるものである。この際に、可動パラメータ取得部102で取得したパラメータ量、および/または、形状変化検出部103で検出した形状変化結果を切り替えるための判断材料として用いる。
次に、2つ折り型携帯電話端末における上部筐体と下部筐体の成す角度による画面の見え方の差について図13を参照して説明する。
図13(a)は成す角度が大きい場合で、第1の表示部1102は見えるが、第2の表示部1103は見えない。一方、図13(b)は成す角度が小さい場合で、反対に、第2の表示部1103は見えるが、第1の表示部1102は見えない。つまり、この例の場合は、上部筐体と下部筐体の成す角度に応じて、表示部を第1の表示部1102、第2の表示部1103に適宜切り替えることにより、常に見える方の表示部に表示内容を表示することが可能となる。
具体的には、この例の場合、成す角度θが
if θ > TH then 第1の表示部を選択 else 第2の表示部を選択
などというようにして選択先を決定する。ここで、THは切り替えのための閾値である。なお、この切り替え先の算出方法はあくまでも一例であり、携帯電話端末の形状、可動機構の構成などから、適宜最適な算出方法を用いて算出すれば良い。
以上により、第1の実施形態の効果に合わせて、より見やすい方の画面を選択して情報の閲覧が可能となる。
<表示内容変更部>
なお、第1の表示部1102と第2の表示部1103では、表示性能が異なる場合がある。第1の表示部1102がメイン画面、第2の表示部1103がサブ画面であった場合、通常、メイン画面はインチ数も大きく、解像度も高い。これに比較して、サブ画面はインチ数も小さく解像度も低いことが多い。また反応速度も低いことが多い。
このような場合、図14に示すように、図11の画面表示処理装置に表示内容変更部1401をさらに追加し、第1の表示部1102と第2の表示部1103の性能差に合わせて表示内容の変更を行い、変更後の表示内容を第2の表示部1103に表示するようにすることで問題を解消することができる。
具体的には、例えば、第2の表示部1103の方の解像度が低い場合、アプリケーション動作部105の画面表示内容を変更し、一部の内容しか表示されないように変更するなどである。また、表示のレイアウトの変更などを行うこともあるし、表示文字サイズ変更などを行うこともある。変更内容は、これに限定されるものではなく、色々な手段を用いることが可能である。
(第1の実施形態の変形例6)
第1の実施形態の変形例6に係る画面表示処理装置について図15を参照して説明する。
第1の実施形態からの変更点は、アプリケーション切り替え制御部104が光量変更制御部1501に変更され、発光部1502が新たに追加されている点である。
<発光部1502>
発光部1502は、表示部106の表示光量(表示明度)を変更するもので、いわゆるバックライトである。発光量は何段階かで変更することが可能である。発光部1502の発光量によって、表示部106の表示明度が決定される。
<光量変更制御部1501>
光量変更制御部1501は、形状変化検出部103で検出された形状変化の「あり」または「なし」の情報、および、可動パラメータ取得部102で取得された可動パラメータの値を用いて、携帯端末装置に搭載されている機能を制御する。本実施形態では、光量変更制御部1501は、発光部1502の発光量を決定するためのものである。
また同時に、光量変更制御部1501は、形状変化検出部103で検出された形状変化の「あり」または「なし」の情報、および、可動パラメータ取得部102で取得された可動パラメータの値を用いて、アプリケーションの動作画面の配色やコントラスト、表示サイズなどの制御を行う。アプリケーション動作部105では、光量変更制御部1501からの制御内容を受けて、アプリケーションの動作画面の配色やコントラスト、表示サイズなどを変更して、表示部106に出力する。
<全体の動作>
以上により、本変形例6に係る画面表示処理装置では、携帯電話端末の可動機構の形状変更に応じて、発光部1502の発光量を変更することができる。これは、結果として表示部106の発光量の変更に連動する。発光量を変えることで、環境の光量に合わせて見やすい表示を行うことが可能となる。
また、端末の可動機構の形状変更に応じて、表示部106に表示されるアプリケーションの表示画面の配色やコントラスト、表示サイズなどを変更することができる。配色やコントラストを変更することで、暗いところでも見やすい表示や、明るいところでも見やすい表示などを行うことが可能である。配色やコントラストの変更の仕方は、実施形態では特に問わず、既存の様々な手法を用いることが可能である。また、アプリケーションの表示画面の表示サイズなどを変更することでも暗いところでの見やすさを変えることができる。
図16に、図16(a)文字サイズを変えないで、表示領域のサイズを小さくした場合と、図16(b)文字サイズも変更して、表示領域のサイズを小さくした場合の例を示す。いずれの場合も、表示領域のサイズを変更し、領域外の部分を描画しないエリア(例えば黒で描画するエリア)とすれば、全体的に明るい部分が減り、画面全体の平均的な輝度が下がる。これにより、暗いところでも見やすくなるという訳である。なお、個々で説明したのはあくまでも一例であり、様々な手法を併用することができる。
以上で説明したように、発光部1502の発光量の変更と、表示部106に表示されるアプリケーションの表示画面の配色やコントラスト、表示サイズなどを変更、いずれにも、環境光量に合わせて見やすい表示を行うことが可能となるという効果がある。この双方を同時に使うことで、その効果は増す。
ここで、暗い場所で携帯電話を使うシチュエーションを考えてみる。例えば、映画館などで映画を見ている際に携帯電話にメール着信があったとする。このような時に、携帯電話を開いてメールを確認しようとした場合、通常、携帯電話を開いた瞬間、発光部1502が発光し、表示部106の内容が明るく表示される。暗闇の中でこれを行うと、周囲に大量の光が漏れ、周囲の人々がその光による眩しさで迷惑する。特に映画館のような場所では、周辺にいる人がこのような行為を行うと、その光漏れによる迷惑は甚だしい。
第1の実施形態の変形例6は、このような問題の解決を目指したものであり、端末の可動機構の形状変更に応じて、発光部1502の発光量の変更と、表示部106に表示されるアプリケーションの表示画面の配色やコントラスト、表示サイズなどを変更を同時に行うことで、なるべく周囲への光漏れを減らし、かつ、必要な情報を閲覧することが可能な環境を提供する。
具体的には、例えば、上部筐体201と下部筐体202の成す角度θの量に比例して、光量を増大させる。θが小さいときには、光量を小さく、θが大きいときには、光量を大きく、上部筐体201と下部筐体202が完全に開いた状態で最大光量、などとする。光量は、θの増大に比例して線形に増大するように変更してもよいし、それ以外の方法で変更してもよい。
このようにすることで、図8(b)に示したように、携帯電話を比較的小さく開けるに留めれば、小さい発光量にて発光部1502が発光し、表示部106が暗く表示されることになる。第1の実施形態の変形例3でも説明したように、携帯電話を比較的小さく開けるに留めれば、周辺から見える画面の見え方も小さい(図8(b)を参照した上記説明を参照)ため、光量漏れは小さくなるが、これにあわせて発光量が少なくなるように制御するため、この効果は大きい。発明者らは、このように、暗闇で光漏れによる迷惑を防止するために光量を抑える機能を「光量マナーモード」と呼んでいる。本実施形態は、この光量マナーモードの実現に非常に適している。
なお、以上では、θに比例して光量を増大させる例を説明したが、これに限定されるものではない。逆にθに反比例して光量を増大させる場合もあるし、これ以外の光量変化を行う場合もあり得る。
さらに、θに応じて、図16に示したような表示サイズの変更やコントラストの変更などを同時に適用してあげることで、効果はさらに増すことになる。
(第1の実施形態の変形例7)
第1の実施形態の変形例7に係る画面表示処理装置について図17を参照して説明する。
本変形例の画面表示処理装置は、第1の実施形態の変形例6に係る画面表示処理装置に、画面表示変更オンオフ部1701を追加したものである。
画面表示変更オンオフ部1701は、第1の実施形態の変形例6に係る画面表示処理装置における可動機構による形状変化に応じた発光部1502の発光量の変更と、表示部106に表示されるアプリケーションの表示画面の配色やコントラスト、表示サイズなどを変更の処理を行う(オン)か行わないか(オフ)を切り替えるためのものである。
画面表示変更オンオフ部1701は、操作部107に既に存在しているボタン、あるいは、新規に追加したボタンを用いて実現する。例えば、ボタンの押し下げによって、オンとオフを逐次切り替える。
なお、上述したような「光量マナーモード」を実現する場合、操作部107に既に存在しているマナーモードボタンを画面表示変更オンオフ部1701として利用することが望ましい。マナーモードボタンは、現在でも色々なモードがあるが、そのモードの一つとして、第1の実施形態の変形例6に係る画面表示処理装置の機能を割り当て、他のモードと同様にマナーモードボタンで扱うことで実現される。この場合、光量マナーモード機能が、マナーモードのモードの1つとして扱われ、マナーモード押下時に表示されるメニューからオンオフを設定したり、幾つかのマナーモードを纏めたセットを作っておき(このなかに、光量マナーモード機能も含まれることになる)、マナーモード押下でまとめてオンオフしたりという使い方となる。
(第2の実施形態)
<全体の構成>
第2の実施形態に係る画面表示処理装置について図18を参照して説明する。
本実施形態の画面表示処理装置は、姿勢情報取得部1801、姿勢変化検出部1802、アプリケーション切り替え制御部1803、操作部107、アプリケーション動作部105、表示部106を含む。
姿勢情報取得部1801は、端末を構成する少なくとも1つ以上の筐体の姿勢を取得する。
姿勢変化検出部1802は、姿勢情報取得部1801で取得された少なくとも1つ以上の姿勢情報から端末の姿勢の変化を検出する。
アプリケーション切り替え制御部1803は、姿勢変化検出部1802で検出された姿勢変化の「あり」または「なし」の情報、および、姿勢情報取得部1801で取得された姿勢情報を用いて、端末で動作しているアプリケーションを切り替える制御を行う。
<姿勢情報取得部1801>
姿勢情報取得部1801は、具体的には、端末を構成する少なくとも1つ以上の筐体に、少なくとも1つ以上の姿勢検知センサを設置し、これらを用いて、端末の姿勢情報を取得する。姿勢検知センサは、傾きセンサ、加速度センサ、角速度センサ(ジャイロセンサ)、磁気センサなどの少なくとも1つ以上を用いて実現される。なお、ここで挙げたセンサは、あくまでも一例であり、他の手段を用いた姿勢検知センサであっても構わない。
端末のセンサ取り付け位置、取り付け個数、取り付け方向などは既知のため、これとセンサからの情報を用いることで、端末の現在の姿勢情報が得られる。
なお、姿勢情報は、姿勢検知センサ毎に個別に出力してもよいし、これらを幾つかのグループに分割し、それぞれのグループ内での姿勢情報を何らかの関数で算出し、グループ毎の姿勢情報として出力してもよいし、全体を1つのトータルな姿勢情報として何らかの関数で算出することもできる。関数は、端末のセンサ取り付け位置、取り付け個数、取り付け方向などの情報を加味して、予め定めておく。
<姿勢変化検出部1802>
姿勢変化検出部1802は、端末の姿勢の変化を検出するものであり、ここで使用される姿勢の変化の検出方法は、上述した本発明の第1の実施形態とほぼ同様である。姿勢変化検出部1802は、携帯端末装置を構成する1以上の筐体の姿勢を示す姿勢情報に基づいて姿勢に変化があるか否かを判定する。例えば、3軸の姿勢検知センサからの情報が姿勢情報取得部1801から得られたとする。これをv=(vx,vy,vz)とすると、vはベクトル量となる。ある基準の姿勢情報をv0=(vx0,vy0,vz0)とすると、その差の大きさ、つまり、
||v − v0|| > TH
となったとき、姿勢変化があったと見なすことができる。ここで、THは予め定めた閾値、||・||は、L2ノルムである。このようにすることで、ある基準の姿勢からの姿勢変化を検出することが可能である。なお、ここで説明した検出方法はあくまでも一例であり、これに限定されるものではない。上述した第1の実施形態で説明した各種の方法も同様に用いることが可能であるし、ここで説明した以外の方法を用いてもよい。
<アプリケーション切り替え制御部1803>
アプリケーション切り替え制御部1803は、姿勢変化検出部1802で検出された姿勢変化の「あり」または「なし」の情報、および、姿勢情報取得部1801で取得された姿勢情報を用いて、端末で動作しているアプリケーションを切り替える制御を行うためのものである。
なお、アプリケーション切り替え制御部1803の動作は、上述した第1の実施形態とほぼ同様である。アプリケーション切り替え制御部104の説明の箇所で、形状変化検出結果を姿勢変化検出結果に、可動パラメータ情報を姿勢情報に、適宜変更すれば形状変化検出部103の動作の説明になる。
<全体の動作>
第1の実施形態では携帯電話端末の形状変化を用いてアプリケーションを切り替えることが可能であることを説明したが、第2の実施形態では、同様に、携帯電話端末の姿勢変化を用いて同様の効果を実現することが可能となる。
(第2の実施形態の変形例1)
第1の実施形態の変形例1から変形例7と同様の変形を第2の実施形態でも採用することが可能である。この際、第1の実施形態の変形例における形状変化を、姿勢変化に置き換えることで、同様の効果が得られる。
(第3の実施形態)
<全体の構成>
第3の実施形態に係る画面表示処理装置について図19を参照して説明する。
本実施形態の画面表示処理装置は、姿勢情報取得部1801、姿勢変化検出部1802、画面閲覧方向推測部1901、表示情報変換制御部1902、表示情報変換部1903、表示部106を含む。
画面閲覧方向推測部1901は、姿勢情報取得部1801で取得された少なくとも1つ以上の姿勢情報から端末使用者が端末の画面を閲覧している方向を推測する。
表示情報変換制御部1902は、姿勢変化検出部1802で検出された姿勢変化の「あり」または「なし」の情報、および、姿勢情報取得部1801で取得された姿勢情報、および、画面閲覧方向推測部1901で推測された画面閲覧方向の情報を用いて、端末の表示情報の変換のための制御を行う。
表示情報変換部1903は、表示情報変換制御部1902での制御内容に従って、端末の表示情報の変換を行う。
<画面閲覧方向推測部1901>
画面閲覧方向推測部1901は、先に説明したとおり、姿勢情報取得部1801で取得された少なくとも1つ以上の姿勢情報、および、端末のセンサ取り付け位置、取り付け個数、取り付け方向といった既知の情報を用いることで、端末の姿勢を検出することが可能である。画面閲覧方向推測部1901では、まず、この検出された姿勢情報と、これまた既知である姿勢検出センサと表示部106との位置関係の情報を用いて、表示部106の姿勢情報を算出する。
これと、端末使用者は通常、頭を垂直方向の状態(立っている時や、椅子に座っている時の状態)で画面と対面して画面を閲覧しているという仮定を用いて、表示部106の画面を閲覧している方向を推測する。この様子について図20を用いて説明する。図20(a)は端末を通常方向で閲覧している例である。この時、表示部106の姿勢は例えば上向き(垂直方向との成す角度が0度の姿勢)であると検出されているとする。これと、先のような仮定(図20に図示した人のような状態)の場合は、画面を向かって上向き(垂直方向との成す角度が0度)で閲覧していると推定する。同様に図20(b)は端末を逆向き(垂直方向との成す角度が180度の姿勢)で閲覧していると推測する。同様に図20(c)は端末を横向き、さらに細かくいうと向かって右向き(垂直方向との成す角度が90度の姿勢)で閲覧していると推測する。任意の姿勢の際に、同様の推測が成立する。
なお、以上で説明した姿勢情報からの推測手法はあくまでも一例であり、これに限定されるものではない。任意の姿勢情報を用いて推測することができる。また、上述した以外の仮定を用いることも可能であるし、幾つかの仮定を予め用意しておき、使用者にそれを選択させることで、仮定を変化させてもよい。
<表示情報変換制御部1902>
表示情報変換制御部1902は、具体的には、姿勢変化検出部1802で姿勢変化を検出した場合に、姿勢情報取得部1801で取得された姿勢情報、および、画面閲覧方向推測部1901で推測された画面閲覧方向の情報を用いて、例えば、使用者の画面閲覧方向にあわせて、常に表示内容が通常方向(上向き)を向くように変換するための制御を行う。図21にこの様子を示す。図21に示されたように、従来の携帯電話端末では、表示方向が固定であるために携帯電話端末を正しい方向(図21(a)の方向)で閲覧しないと、表示されている情報が見にくかった(図21の右列の従来の表示を参照)。使用者の画面閲覧方向にあわせて、常に表示内容が通常方向(上向き)を向くように変換することで、端末の画面閲覧方向に関係なく、常に同じ向きを向いた表示情報として閲覧することが可能となる(図21の中列の本発明での表示例を参照)。この際に、表示情報変換制御部1902は、例えば、画面閲覧方向推測部1901で推測された画面閲覧方向がθ度であるという情報から、画面に表示する文字を−θ回転させれば良いというような変換を行うような制御信号を表示情報変換部1903に送る。
<表示情報変換部1903>
表示情報変換部1903は、具体的には、例えば、表示情報変換制御部1902から受けた表示内容の回転変換制御の指示の通りに表示内容の回転変換を実行して、表示部106に出力する。これにより、図21に示されたような表示が実現される。
なお、以上の表示情報変換制御部1902、表示情報変換部1903での説明では回転変換の例を用いて説明したが、これに限定されるものではなく、任意の変換制御を行うことが可能である。
<全体の動作>
以上で説明した第3の実施形態では、携帯電話端末の姿勢、および/あるいは、姿勢変化に応じて画面の表示内容を変更することができる。これにより、携帯電話端末の姿勢を気にすることなく表示情報を閲覧することが可能となる。
ここで、例えば、図22に示すような、カバンに携帯電話を収納していて、そこから、携帯電話を取り出して時刻を確認するという状況について説明する。最近、携帯電話を時計の代替品として使用して、これ以外の時計を持ち歩かない人々も多い。このような場合、カバンの中に入っている携帯電話を保持して、取り出す際、通常は、何となくカバンに手を突っ込んで、携帯電話を目視することなく感触で携帯電話を探して掴んで取り出すことが多い。この場合、取り出した携帯電話は、色々な方向を向いていることが多い。また、カバンの中を目視して携帯電話を探して取り出す場合でも、携帯電話は特定の方向を向いているとは限らないため、それを掴んで取り出すと、多くの場合、上記と同様に色々な方向を向いている。
図22(a)、図22(b)、図22(c)は、携帯電話を上向き、下向き、横向きにそれぞれ取り出す様子が描かれている。以上の話は、携帯電話をズボンのポケットに入れていて取り出す場合でも同様である。つまり、携帯電話をどこからか取り出す場合、図22に示すように、その携帯電話の収納されている姿勢によって、使用者が取り出した際の姿勢が異なることが多い。このような状況で画面に表示されている時刻を確認する場合、そのままでは画面閲覧方向は様々であるため、表示されている文字が見にくい。これは、図21で説明した通りである。通常は、この後、携帯電話を画面が見やすい方向(以降、正しい方向、と呼ぶ)、つまり、図22(a)のような方向に保持し直して、画面を閲覧することになる(図22(d)、図22(e))。何故ならば、携帯電話は、通常、図22(a)のような状態(正しい方向で保持された状態)にて画面が正しく読めるように画面表示されているからである。
つまり、従来、このような状態で携帯電話を使用したい場合、例えばカバンから取り出し、正しい方向に携帯電話を保持しなおして、携帯電話を使用することになる。しかし、これには、ちょっと時刻を確認したいという簡単な要望を実現するために、煩わしい手間がかかり過ぎ、情報(ここでは時刻)にアクセスするのに時間がかかるという問題がある。このような場合に、携帯電話端末を取り出した姿勢のままで、見やすい状態、つまり図21で示したように、常に上向きで情報が表示されている状態で情報にアクセスが出来れば、上記の問題は解決される。さらに、携帯電話をカバンから取り出さなくとも、カバンの中で携帯電話を探し、その画面が見える状態にすれば、素早く時刻を確認でき、さらに効果があると言える。
以上の説明は、あくまでも使用方法の一例であるが、携帯電話端末の姿勢、および/あるいは、姿勢変化に応じて画面の表示内容を変更することを可能とし、携帯電話端末の姿勢を気にすることなく表示情報を閲覧することを実現する効果は非常に大きい。
なお、以上では姿勢、および、閲覧方向を便宜上1次元として説明したが、これに限定されるものではない。これは、2次元、3次元、あるいはそれ以上であっても構わない。
また、以上では、表示情報変換制御部1902、表示情報変換部1903での変換の一例について回転を例として1次元パラメータによる変換として示したがこれに限定されるものではない。例えば、3次元の姿勢情報を考えた場合、表示部106は図23(a)に示すように、奥行き方向への透視成分が存在するため、台形のように歪んで見えることになる(ここでは、説明のために形状を誇張して描いた)。このような場合、画面に表示された情報、例えば文字は、図23(b)のように、同様の台形歪みがある状態として閲覧される。このような状況を鑑み、図23(c)のように、文字を逆台形に変換するような変換制御、処理を表示情報変換制御部1902、表示情報変換部1903で行えば、図23(d)のように、斜めから表示部106を閲覧しても、歪みのない文字が閲覧可能となる。このように、端末の姿勢に応じてパラメータが変化するアフィン変換を行うような処理も有効である。
また、同様の理由から、図23のような場合、画面の閲覧者から見た手前側(画面の下側)と奥側(画面の上側)では、観測される文字の大きさも異なるため(同じサイズの文字を表示しても、手前が大きく、奥が小さく見える)、これを端末の姿勢にあわせて揃えるような処理も有効である。また、手前の方が見やすいため、画面表示情報のレイアウトを変更して、重要な情報は手前に持ってくるなどといったようなレイアウトの変換も有効である。さらに、図16で説明したように、表示領域のサイズを変えるなどといったような変換処理も効果が高い。これ以外に、様々な変換を行うことが考えられる。
(第3の実施形態の変形例1)
本発明の第3の実施形態の変形例1では、図19の第3の実施形態の画面表示処理装置に加えて、図24に示すように、カメラ機能部2401、カメラ情報解析部2402を含み、画面閲覧方向推測部1901に代えて画面閲覧方向推測部2403を含む。
カメラ機能部2401は、カメラを実現する機能であり、外界から画像情報(例えば、静止画)を取得する。
カメラ情報解析部2402は、カメラ機能部2401で撮像した画像情報を解析する。
画面閲覧方向推測部2403は、カメラ情報解析部2402での解析結果と姿勢情報取得部1801で取得された少なくとも1つ以上の姿勢情報とを使用して、使用者の画面閲覧方向の推測を行う。
<カメラ情報解析部2402>
カメラ情報解析部2402は、具体的には、画像情報から、顔認識などのコンピュータビジョンの技術を用いて、顔らしい領域、顔が向いている方向などを解析する。これにより、携帯電話端末に備えたカメラの撮影可能範囲に使用者が映っている場合、使用者の顔位置を知ることが可能となる。解析した顔位置情報、顔方向情報などと、先に説明した表示部106の姿勢情報を用いると、より詳細な使用者の画面閲覧方向を推測することが可能となる。具体的には、カメラに写っている顔位置、方向情報から、カメラから使用者の顔のある方位ベクトルが算出できる。これと、カメラ機能部2401と表示部106との位置・姿勢関係の情報を用いて、表示部106から使用者の顔のある方位ベクトルが推測可能となる。
上記の第3の実施形態では、端末使用者は通常、頭を垂直方向の状態(立っている時や、椅子に座っている時の状態)で画面と対面して画面を閲覧しているという仮定を用いて、表示部106の画面を閲覧している方向を推測する必要があったが、本変形例1のような構成を追加することで、この仮定無しで、画面閲覧方向推測部2403で推測を行うことが可能となる。
なお、以上では顔認識を用いた画面閲覧方向推測の例を示したが、これに限定されるものではない。例えば、カメラ機能部2401で撮像した画像情報から空や蛍光灯、天井らしい部分を認識したした場合、カメラ機能部2401は上方を向いていると見なすことができるし、逆に、床や使用者の足を認識した場合、カメラ機能部2401は下方を向いていると見なすことができる。これを用いて、画面の姿勢を推測するようにしてもよい。また、使用者の顔が認識されなくとも、髪の毛や体の一部などが撮影されていれば、これを頼りに使用者に対する画面閲覧方向を推測することが可能である。
(第3の実施形態の変形例2)
本発明の第3の実施形態の変形例2では、図19の第3の実施形態の画面表示処理装置に加えて、図25に示すように、保持情報取得部2501、保持情報解析部2502を含み、画面閲覧方向推測部1901に代えて画面閲覧方向推測部2503を含む。
保持情報取得部2501は、端末の保持情報を取得する。
保持情報解析部2502は、保持情報取得部2501で取得した保持情報を解析する。
画面閲覧方向推測部2503は、保持情報解析部2502での解析結果と姿勢情報取得部1801で取得された少なくとも1つ以上の姿勢情報とを使用して、使用者の画面閲覧方向の推測を行う。
<保持情報取得部2501、保持情報解析部2502>
保持情報取得部2501は、具体的には、タッチセンサなどを用いて実現される。端末を構成する少なくとも1つ以上の筐体に、少なくとも1つ以上のタッチセンサを配置し、これを用いて、端末使用者が端末を保持している情報(保持位置、保持面積、保持方向、保持角度、・・・)を取得する。タッチセンサは、タッチしている部分の座標値を取得する。例えば、1つのタッチセンサで複数の座標値を取得している場合に、それら座標値を接続した領域を保持面積と見なすことができる。なお、タッチセンサは、1つのセンサで1本の指等しか認識しないものや、1つのセンサに複数の認識部があり、複数の指等を認識するものもある。
保持情報解析部2502は、保持情報により端末使用者がどのような形態で端末を保持しているのかを解析する。例えば、端末を右側だけで保持しているとか、下部筐体を囲む用に保持しているとか、いったようにである。この情報をさらに用いて、画面閲覧方向推測部2503で画面閲覧方向を推測する。
第3の実施形態の変形例1の効果と同様、端末をどのような形で保持しているのかを知ることが可能となるため、端末使用者は通常、頭を垂直方向の状態(立っている時や、椅子に座っている時の状態)で画面と対面して画面を閲覧しているという仮定に頼らずに、画面閲覧方向を推測することが可能である。推測は、任意の手法を用いて行うことが可能であるが、例えば、タッチセンサの値が大きいところ(例えば、センサ値の重心)が端末の下方向と推測し、これと端末の姿勢情報から、使用者の保持姿勢を仮定して閲覧方向を算出する。この際、使用者の聞き手情報などを端末に予め入力させておいて、使用するとより効果的である。
(第4の実施形態)
<全体の構成>
第4の実施形態に係る画面表示処理装置について図26を参照して説明する。
本実施形態の画面表示処理装置は、姿勢情報取得部1801、画面閲覧方向推測部2601、表示情報変換制御部2602、表示情報変換部1903、可動機構部101、可動パラメータ取得部102、形状変化検出部103、表示部106を含む。
画面閲覧方向推測部2601は、可動パラメータ取得部102で取得された可動パラメータ、および/あるいは、姿勢情報取得部1801で取得された少なくとも1つ以上の姿勢情報から端末使用者が端末の画面を閲覧している方向を推測する。
表示情報変換制御部2602は、形状変化検出部103で検出された形状変化の「あり」または「なし」の情報、および、可動パラメータ取得部102で取得された可動パラメータ情報、および、画面閲覧方向推測部2601で推測された画面閲覧方向の情報を用いて、端末の表示情報の変換のための制御を行う。
<画面閲覧方向推測部2601>
画面閲覧方向推測部2601は、可動パラメータ取得部102で取得された可動パラメータを用いることで、端末の形状変化に伴う表示部106の位置、向いている方位などを含む姿勢の情報を取得することが可能である。
また、第3の実施形態で説明したとおり、姿勢情報取得部1801で取得された少なくとも1つ以上の姿勢情報、および、端末のセンサ取り付け位置、取り付け個数、取り付け方向といった既知の情報を用いることで、端末の姿勢を検出することが可能である。画面閲覧方向推測部2601では、これらの取得された情報を総合的に用いて、表示部106の姿勢情報を算出する。
<表示情報変換制御部2602>
表示情報変換制御部2602は、第3の実施形態の表示情報変換制御部1902と異なり、表示情報変換制御部1902では姿勢情報および姿勢変化情報を用いているのに対し、可動パラメータ情報および形状変化情報を用いている。この他の点は同様である。つまり、携帯電話端末の形状変化の「あり」または「なし」に応じて、その形状変化に応じて、画面閲覧方向推測部2601で推測された画面閲覧方向に対して、見やすいなどといった各種効果を生むための表示情報の変換のための制御を行うのが特徴である。
<全体の動作>
以上で説明した第4の実施形態では、携帯電話端末の形状変化、および/あるいは、その時の形状に応じて、その形状あるいは形状変化の際の姿勢にあわせた画面の表示内容を変更することができる。これにより、携帯電話端末の形状変化に応じた画面表示を提供する際に、そのときの携帯電話端末の姿勢を気にすることなく表示情報を閲覧することが可能となる。
例えば、図27に異なる姿勢で携帯電話端末の形状変化を行った例を示す。
図27(a)は、下部筐体202を下にして携帯電話端末を開く、つまり、可動機構部101を用いて上部筐体201と下部筐体202の成す角度を変化された場合である。また、図27(b)は、上部筐体201を下にして携帯電話端末を開く、つまり、可動機構部101を用いて上部筐体201と下部筐体202の成す角度を変化された場合である。この際に、図27(a)では画面閲覧方向と表示部106の表示方向が同じであるが、図27(b)では、逆である(180度程度回転している)ことが分かる。このような状況で、第1の実施形態で説明したように、形状変化に応じて画面表示を変えようとした場合に、姿勢情報取得部1801で取得された姿勢情報をあわせて用いれば、第3の実施形態で説明したように、画面閲覧方向推測部2601で推測した方向にあわせて、例えば表示部106の表示方向を変換して、使用者にそのままの姿勢でも見やすいように表示部106へ画面表示を行うことが可能となる。本実施形態は、この効果を狙ったものである。
このようにすることで、例えば、サブ画面(背面画面)を持たない2つ折り型の携帯電話で時刻を確認したい場合、携帯電話の姿勢を気にすることなく、携帯電話をちょっとだけ開いて、画面を隙間からのぞき見て、時刻を確認することが可能となる(図27(a)、図27(b)などのように)。発明者らは、このような情報閲覧方法を「ちょっと見」と呼んでいるが、このような情報閲覧方法は、簡単に情報にアクセスでき、かつ、第1の実施形態の変形例6で説明した光量マナーモードの要素も併せ持ち、非常に効果が高いといえる。
(第4の実施形態の変形例1)
本変形例は、図28に示すように、上記の第4の実施形態の画面表示処理装置から、姿勢情報取得部1801が省かれた場合である。この場合、形状、および、形状変化の情報から使用者の画面閲覧方向を推測すること以外は、第4の実施形態と同様である。
なお、第4の実施形態では、第1〜第3の実施形態、および、それぞれにおける変形例を適宜組み合わせて用いることが可能であり、その効果は、それぞれの実施形態、変形例のところで述べたものにあわせ第4の実施形態における効果の相乗効果となるため、非常に有効である。
(第5の実施形態)
<全体の構成>
本発明の第5の実施形態は、第1〜第4の実施形態に、さらに、周辺環境の情報を取得するための周辺環境情報取得部2901が追加された構成となっている。
<周辺環境情報取得部2901>
周辺環境情報取得部2901は、周辺環境の光量の情報を取得するためのものであり、例えば、光量計、照度計、輝度計、光センサ、フォトダイオードなどを用いて実現される。周辺環境情報取得部2901により、端末の周辺環境の明るさを知ることができる。
第1の実施形態(図29)(あるいは第2の実施形態(図30))に周辺環境情報取得部2901が追加された場合、周辺環境情報取得部2901はアプリケーション切り替え制御部104(第2の実施形態ではアプリケーション切り替え制御部1803。以下同様)に取得した周辺環境情報を送信し、アプリケーション切り替え制御部104では、従来の情報に加え、さらに、この周辺環境情報を加味して制御内容を決定する。アプリケーション切り替え制御部104は、例えば、周辺環境の明るさに応じて、切り替えるアプリケーションを変えたり、アプリケーションのモードを変えたり、アプリケーションの画面レイアウトを変えたりといった制御を行う。
第1の実施形態の変形例6に周辺環境情報取得部2901が追加された場合、周辺環境情報取得部2901は光量変更制御部1501に取得した周辺環境情報を送信し、光量変更制御部1501では、従来の情報に加え、さらに、この周辺環境情報を加味して制御内容を決定する。例えば、周辺環境の明るさが暗い場合には、発光量をより小さくするなどといったような制御である。
第3の実施形態(図31)(あるいは第4の実施形態(図32))に周辺環境情報取得部2901が追加された場合、周辺環境情報取得部2901は表示情報変換制御部1902に取得した周辺環境情報を送信し、表示情報変換制御部1902では、従来の情報に加え、さらに、この周辺環境情報を加味して制御内容を決定する。例えば、周辺環境の明るさに応じて、表示のためのレイアウトや、表示領域サイズ、表示情報の形状などの変換方法を変えたりといった制御を行う。
なお、以上では光量計、照度計、輝度計、光センサ、フォトダイオードなどを用いて実現する例を示したが、これに限定されるものではない。携帯電話端末に具備されたカメラ機能を用いて実現してもよい。この場合、カメラの撮影情報の平均輝度などを用いて実現可能である。
(第6の実施形態)
<全体の構成>
第6の実施形態は、第1〜第4の実施形態に、さらに、端末の画面の閲覧可能方向を制御するための画面閲覧方向制御部3301が追加された構成となっている。なお、第1〜第4の実施形態に対応する本実施形態の図面は図33〜図36である。
<画面閲覧方向制御部>
画面閲覧方向制御部3301は、具体的には、端末の表示部106に備えられた画面が見える方位を制御する。例えば、正面(画面の法線方向付近)からは見えるが、画面との成す角度が小さい(画面の法線方向との成す角度が大きい)ときには見えないといったようにである。ちょうど、携帯電話のプライバシーフィルタのような機能である。また、制御は、上記の逆であっても構わない。
画面閲覧方向制御部3301は、例えば、かける電圧によって、光を通す方向が変化する液晶やデジタルレンズのようなものを用いて実現可能である。また、液晶とバックライトの間にスリットパターンの制御可能なスリット機構(例えば、液晶で実現可能)などを配置し、このスリットパターンを変えることでも実現可能である。実現方法はこれに限定されるものではなく、任意の手法を用いて実現されていればよい。
本実施形態によれば、例えば、第3の実施形態にこの構成が追加された場合(図35)、端末の姿勢変更に応じて、使用者の閲覧方向から見やすいように画面が変更されて表示されるが、この際に、同時に、使用者の閲覧方向からは閲覧可能であるが、それ以外の方向からは閲覧不可能とすることが可能となる。こうすることで、利用者は情報を容易に見やすく得ることができるが、閲覧者以外にはその情報を見られる心配がなくなり、プライベートな情報が表示されていても安心である。また、閲覧者以外にはその情報を見られないということは、言い換えれば、閲覧者方向以外では、画面が発光して見えないということであるから、「光量マナー」に関しても、効果が高いと言える。
(第6の実施形態の変形例1)
本実施例の画面表示処理装置は、画面閲覧方向制御部3301の替わりに、画面閲覧方向情報制御部3701と画面表示情報切り替え部3702を備えてものである。なお、第1〜第4の実施形態に対応する本変形例の図面は図37〜図40である。
画面閲覧方向情報制御部3701は、端末の画面の閲覧方向に応じて、画面に表示される画面情報が異なるように制御する。例えば、表示部106を右からみた場合と左からみた場合に、画面に違う内容が表示されるように制御するものである。画面閲覧方向情報制御部3701は、携帯端末装置の画面の複数の閲覧方向に応じて異なる表示内容を提示するように制御する。
画面表示情報切り替え部3702は、画面閲覧方向情報制御部3701での制御内容に応じて、表示部106に表示される内容を切り替える。画面表示情報切り替え部3702は、表示部106に表示される内容を使用者の閲覧方向に応じて切り替える。例えば、画面上部にレンチキュラーレンズを配置したり、画面とバックライトの間に、スリットパターンを変化可能なスリット機構(例えば、液晶で実現可能)などを配置することで実現可能である。
本発明の第6の実施形態の変形例1によれば、例えば、第4の実施形態にこの構成が追加された場合、使用者の閲覧方向に応じて画面に見える情報が変化するようにすることができる。例えば、端末をある形状変更して、ある姿勢1で眺めた場合にはある情報1(例えば、メール)が、違う姿勢2で眺めた場合には別の情報2(例えば、時計)が提供されるというようにすることが可能である。
以上に示した実施形態によれば、携帯電話端末の筐体の機構を活用し、機構の変化による形状変化と姿勢変化を有効活用することで、状況に応じた適切な画面表示を行うことができる。すなわち、従来の携帯電話に存在する操作性の問題、アプリケーションの使いやすさの問題、機構の活用の問題、画面の見やすさの問題、光漏れに対するマナーに対する問題、画面表示に対するプライバシーの問題など携帯電話端末の動作に関する様々な課題を解決することが可能になる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
101・・・可動機構部、102・・・可動パラメータ取得部、103・・・形状変化検出部、104、1803・・・アプリケーション切り替え制御部、105・・・アプリケーション動作部、106・・・表示部、107・・・操作部、201・・・上部筐体、202・・・下部筐体、301・・・第1の操作部、302・・・第2の操作部、901・・・表示位置・サイズ制御部、902・・・表示位置・サイズ変更部、1101・・・表示切り替え部、1102・・・第1の表示部、1103・・・第2の表示部、1401・・・表示内容変更部、1501・・・光量変更制御部、1502・・・発光部、1701・・・画面表示変更オンオフ部、1801・・・姿勢情報取得部、1802・・・姿勢変化検出部、1901、2403・・・画面閲覧方向推測部、1902、2602・・・表示情報変換制御部、1903・・・表示情報変換部、2401・・・カメラ機能部、2402・・・カメラ情報解析部、2501・・・保持情報取得部、2502・・・保持情報解析部、2503、2601・・・画面閲覧方向推測部、2901・・・周辺環境情報取得部、3301・・・画面閲覧方向制御部、3701・・・画面閲覧方向情報制御部、3702・・・画面表示情報切り替え部。