JP6685695B2 - 端末及び撮像装置 - Google Patents

Description

本発明は、操作装置に関し、特にタッチ検出を備えた操作装置及びそれを有する撮像装置及び携帯情報端末関するものである。

従来、液晶パネル等のディスプレイ上に、いわゆるタッチパネルが配置された情報表示・入力装置では、ディスプレイ画面上に例えば仮想ボタンの画像等が表示されている。その状態で、仮想キーの表示位置に対応したタッチパネルエリア上を、ユーザが指先やスタイラスペンのペン先などで触れることにより、その仮想ボタンに割り当てられている情報を入力もしくは選択するようなことが可能となされている。このようなタッチパネルの表面形状は、ほぼ平坦であり、ユーザ入力については視覚的誘導に依拠しているため、近接するボタンを手触りで区別できず、正確にデータを入力することが本質的に難しい。そこで、触覚的誘導を提供可能なユーザインターフェースが提案されている。

例えば、特許文献１では表面層の下の空洞部を拡張させることにより表面の特定領域を変形させ、触覚的誘導をユーザに与えることを可能としているユーザインターフェースが開示されている。
また、特許文献２では信号により可逆的に伸張制御される複数の凹凸出力用の素子を、柔軟性をもつシート間に配列し前記の凹凸出力用の素子それぞれを外部より制御する端子を持つ凹凸表示装置が開示されている。

特表２０１１−５０８９３５号公報特開平６−３３２６０１号公報

特許文献１，２に開示された従来技術では、ユーザが指先やスタイラスペンのペン先などで操作を行った際、意図通りの動作が行われたかを認識するためにはディスプレイを目視する必要があった。

本発明は、例えば、ユーザへの通知の点で有利な端末を提供することを目的とする。

本発明の端末は、前記端末の表面への操作を検出する検出部と、前記表面に配置され、形状が可変に構成された形状可変部と、前記表面に表示を行うディスプレイと、前記ディスプレイによって前記表面内の場所に表示されたアイコンの機能が、前記ディスプレイによって表示されたオブジェクトであって、前記アイコンへドラッグされたオブジェクトまたはドラッグされるオブジェクトに対しては許可されていない場合、前記表面内の前記場所が変形するように、前記検出部によって検出された操作に基づいて、前記形状可変部の制御を行う制御部と、を有することを特徴とする。

本発明によれば、例えば、ユーザへの通知の点で有利な端末を提供することができる。

実施例１における操作装置の構成図。実施例１における操作装置の外部構成を示す図。実施例１における各ボタンの触覚ＵＩの断面構成図。実施例１におけるユーザ入力と検出閾値との関係を示す図。実施例１における入力検出処理の流れを示すフローチャート。実施例１におけるユーザ操作と触覚ＵＩの動作を示すフローチャート。実施例１におけるユーザ操作と触覚ＵＩの動作を示す図。実施例１におけるユーザ操作と触覚ＵＩの動作を示す図。実施例２における操作装置の構成図。実施例２における操作装置の外部構成を示す図。実施例２におけるユーザ操作と触覚ＵＩの動作を示すフローチャート。実施例２におけるユーザ操作と触覚ＵＩの動作を示す図。実施例２におけるユーザ操作と触覚ＵＩの動作を示す図。実施例３における操作装置の構成図。実施例３における操作装置の外部構成を示す図。実施例３における各ボタンの触覚ＵＩの断面構成図。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

以下、図１〜８を参照して、本発明の第１の実施例による、操作装置（ユーザインターフェース装置）について説明する。本実施例では、ユーザインターフェース装置の一例として、撮像装置であるデジタルカメラ１の画像管理機能のユーザインターフェースを例にとって説明する。

図１は、本発明の第１の実施例であるユーザインターフェース装置の構成を示している。

タッチセンサ（検出手段）１０１は、例えば表示装置の表示面に搭載される静電容量型の従来のタッチセンサであり、指先やスタイラスペンのペン先が近接することによる静電容量の変化に基づいて、ユーザ入力を検出する。すなわち、必ずしもディスプレイ１０４への接触を検出の必須とするものではない。ユーザ入力の検出方法の詳細に関しては後述する。操作判断部１０２は、タッチセンサ１０１によるユーザ入力のパターンにより、タッチ操作、スライド操作など、どのような操作かを判断する。操作判断の詳細に関しては後述する。

なお、本明細書中でスライド操作とは、指やタッチペンなどでのタッチ操作によってタッチセンサ１０１での接触の検出が途切れることなく、かつ、接触を検出している位置が連続的に変化している場合に、スライド操作がなされているものとする。より具体的には、例えば、指やタッチペンなどでディスプレイ１０４の表面に触れて表面を摺動して移動する状態をスライド操作とする。厳密には、以下の実施例で例示するように、表面に触れなくてもディスプレイ１０４の表面近傍に指やタッチペンがあることで検出可能である場合もある。従って上述の通り、触覚の検知手段が検出した状態で、その検出が途切れることなく、その検出位置が連続的に変化している場合をスライド操作があったものとする。

画像制御部１０３は、操作判断部１０２により判断したユーザ操作に応じて、ディスプレイ１０４に表示させる画像を制御する。ディスプレイ１０４は視覚的な方法でユーザとのインターフェースになるように機能し、例えば従来の液晶ディスプレイなどである。

形状制御部１０５は操作判断部１０２により判断したユーザ操作、及び画像制御部１０３により制御される画像位置に応じて、形状可変部１０７のアクチュエータ１０６を制御する。アクチュエータ１０６は形状可変部１０７の形状を変化させる動力部であり、形状可変部１０７はタッチディスプレイとともに構成され、タッチディスプレイ上に凸部を形成するための部材である。詳細については後述する。

次に、図２を用いて、デジタルカメラ１の外部構成について説明を行う。
図２（ａ）は、デジタルカメラ１の画像表示機能におけるユーザインターフェースを示している。

デジタルカメラ１は、ディスプレイ画面１０を有しており、該ディスプレイ画面１０には、複数の画像表示領域２０１と、削除ボタン２０２と、保護ボタン２０３と、メニューボタン２０４が構成される。ディスプレイ画面１０は、通常平坦な面（第１の形状）をしているが、ユーザに触覚的誘導を与えるために、平坦面の特定領域を凸形状（第２の形状）に変形することが可能なディスプレイ（以下、触覚ＵＩとも記載する）である。本実施例の画像管理機能時は、各ボタンに対して、触覚ＵＩにより表面を凸形状に変形させる。

画像表示領域２０１は、画像管理機能において画像を表示する領域であり、複数の画像表示領域２０１によりサムネイル表示を行っている。また、画像表示領域２０１は、画像を選択するタッチ操作、表示する画像群を変更するスライド操作１（スワイプ操作とも呼ばれる）、及び画像を移動させるスライド操作２（ドラッグ操作とも呼ばれる）の入力を受け付けることができる。各操作の詳細については後述する。

削除ボタン２０２は、例えばごみ箱のアイコンが表示されており、選択されている画像を削除する操作を受けつける入力部である。保護ボタン２０３は、たとえば錠のアイコンが表示されており、選択されている画像を保護する操作を受けつける入力部である。メニューボタン２０４は、たとえばＭｅｎｕと表示されており、画像を管理するための機能を選択するメニュー表示を行う操作を受け付ける入力部である。さらに、デジタルカメラ１は、各ボタンに接続されるアクチュエータであるポンプ部２０６が１つ構成され、触覚ＵＩにより表面を凸形状に変形させることができる。

これらのボタンはサムネイル画像を選択したのちに押し込み操作を行う方法に加え、スライド操作２によりサムネイル画像をボタンの上まで移動させる方法でも入力を受け付けることが可能である。

また、デジタルカメラ１は、画像管理機能に加え、画像撮影機能や設定変更機能など、様々な機能を有しており、ディスプレイ画面１０は、その機能に従って、様々な表示または入力検出、及び触覚ＵＩによる凸形状への変形操作を行う。たとえば図２（ｂ）に示す画像撮影機能におけるユーザインターフェースでは、ディスプレイ画面１０全体をライブビュー表示領域として使用し、触覚ＵＩによる凸形状への変形は行わず平面状態に操作する。これにより、ディスプレイ画面１０を最大限活用し構図及びカメラの状態を確認することができ、また凸形状による視認性の悪化を防ぐとこができる。

続いて、図３を用いてアクチュエータ１０６及び形状可変部１０７の詳細について説明する。
図３は、各ボタンの触覚ＵＩの断面構成を示した図であり、図３（ａ）は触覚ＵＩが平坦な状態、図３（ｂ）はユーザに触覚的誘導を与えるため、触覚ＵＩを凸形状に変形させた状態を示した図である。なお、図１で説明した内容と同様の構成要素は、同一符号で示し、説明を省略する。

触覚ＵＩは、透明シート３０１、透明基板３０２、空洞部３０３、タッチセンサ１０１、ディスプレイ１０４、アクチュエータであるポンプ部２０６により構成される。

透明シート（形状可変部）３０１、空洞部３０３、ポンプ部２０６は、以下で説明する形状可変手段を構成する。透明シート３０１は、伸縮性を有する透明エラストマー材等により形成され、ディスプレイ画面の表面に設けられるとともにディスプレイ画面の略々全面を覆うように配置される。さらに透明シート３０１は、流動体の導入（加圧）によって空洞部３０３が拡張すると変形し、流動体の抽出（減圧）によって空洞部３０３が収縮すると通常の平面状態に戻るように機能する。透明基板３０２は、透明シート３０１を支持して空洞部３０３を少なくとも部分的に規定するように機能する。透明基板３０２は、好適には硬質である。空洞部３０３は、流動体を保持し、収縮した体積状態（図３（ａ）に示す）（第１の状態）と、拡張した体積状態（図３（ｂ）に示す）（第２の状態）を有するように機能する。流動体は、好適には液体であるが、気体またはその他の物質であっても良い。また、空洞部３０３は流路を介してポンプ部２０６との連結されている。ポンプ部２０６は、空洞部３０３内の流動体の体積を変更するように機能する。すなわち、収縮した体積状態から拡張した体積状態に空洞部３０３を拡張し、最終的に透明シート３０１の特定領域（空洞部の上部）を変形させる。空洞部３０３の体積状態の変更は、ポンプ部２０６から流動体を追加（流入）、除去（流出）することにより変更する。すなわち、形状制御部１０５は、ポンプ部２０６を制御し、変形可能な透明シート３０１の形状を変えることにより、触覚ＵＩの表面の一部の形状を、各ボタンの領域（表面の一部の領域）の表面形状を該一部の領域以外の領域に対して変化させることができる。

以上により、触覚ＵＩは、ディスプレイ画面１０上に凸形状を形成することができ、ディスプレイ１０４により表示する入力グラフィックと併用して用いることで、ユーザにより押下でき、タッチセンサ１０１上の入力位置を知らせるボタンとして機能する。

次に、図４により、タッチセンサ１０１によるユーザ入力の検出方法について説明する。

図４は、タッチパネル及び触覚ＵＩにおけるユーザ入力とタッチセンサ１０１の検出閾値との関係を示した図であり、触覚ＵＩの断面構成を示している。図４（ａ）は凸形状に変形していない場所における、ユーザ入力が検出されない状態を示し、図４（ｂ）は凸形状に変形していない場所における、ユーザ入力が検出される状態を示している。同様に、図４（ｃ）は凸形状に変形した場所における、ユーザ入力が検出されない状態を示し、図４（ｄ）は凸形状に変形した場所における、ユーザ入力が検出される状態を示している。図１及び図３で説明した内容と同様の構成要素は、同一符号で示し、説明を省略する。

指先４０１は、ユーザが触覚ＵＩを操作する際の指先であり、触覚ＵＩへの入力操作を示している。

検出閾値４０２は、タッチセンサ１０１において検出された静電容量の変化量から求めた指先の高さに対して、ユーザ入力を検出するか否かを判定する閾値を示している。
検出閾値４０２は、触覚ＵＩの全域において、凸形状の高さよりも低く、かつ平坦面よりも高く設定される。指先４０１の高さが、検出閾値４０２よりも低い（タッチセンサ１０１に近い）と、触覚ＵＩが操作されたと認識し、ユーザ入力を検出する。

図４（ａ）は、触覚ＵＩを指先で触れていない状態を示している。この状態では、指先４０１は検出閾値４０２よりも高いため、ユーザ入力は検出されない。図４（ｂ）は、触覚ＵＩの平坦面を指先で触れている状態を示している。この状態では、指先４０１は検出閾値４０２よりも低くなるため、触覚ＵＩはユーザ入力を検出する。

図４（ｃ）は、凸形状を指先で触れた状態を示している。この状態では、指先４０１は透明シート３０１に触れているものの、検出閾値４０２よりも高いため、ユーザ入力は検出されない。図４（ｄ）は、凸形状を指先４０１で押し込んだ状態を示している。この状態では、指先４０１は検出閾値４０２よりも低くなるため、触覚ＵＩはユーザ入力を検出する。すなわち、凸形状を形成した領域においては、凸形状を押しこむ操作を行うことで初めてユーザ入力を検出するため、ユーザは従来のボタンと同様の操作感を得ることができる。

続いて、図５のフローチャートを用いて、操作判断部１０２によるユーザ入力による操作判断処理について説明を行う。

Ｓ５０１では指先４０１の高さが検出閾値４０２より低いか判断し、低い場合（ユーザ入力があることを検出中である場合）はＳ５０２へ、高い場合（ユーザ入力がない場合）はＳ５１１へと進む。
Ｓ５０２では操作が継続している間のユーザ入力位置が一定であるか判断し、一定である場合はＳ５０３へ、一定でない（移動している、スライドしている）場合はＳ５０８へと進む。
Ｓ５０３ではユーザ入力位置が凸形状位置であるかどうか判断し、凸形状位置である場合はＳ５０４へ、凸形状位置でない場合はＳ５０５へと進む。
Ｓ５０４ではユーザ入力は押し込み操作だと判断し、処理を終了する。
Ｓ５０５では、ユーザ入力がある閾値時間以上経過したか判断し、経過していない場合はＳ５０６へ、経過した場合はＳ５０７へと進む。
Ｓ５０６ではユーザ入力はタッチ操作だと判断し、処理を終了する。
Ｓ５０７ではユーザ入力は長押し操作だと判断し、処理を終了する。
Ｓ５０８では、直前のユーザ入力が長押し操作かスライド操作２であったか判断し、長押し操作かスライド操作２であった場合はＳ５１０へ、長押し操作かスライド操作２でなかった場合はＳ５０９へと進む。
Ｓ５０９ではユーザ入力はスライド操作１だと判断し、処理を終了する。
Ｓ５１０ではユーザ入力はスライド操作２だと判断し、処理を終了する。
Ｓ５１１は指の高さが検出閾値内にない場合であり、ユーザ入力が無いと判断できるので、処理を終了する。

以上の処理フローにより、ユーザ入力による操作の判断を最適に行うことが可能となる。

ここで、図６〜図８を用いて、画像管理機能の一機能であるスライド操作２による画像の削除について説明を行う。

図６はスライド操作２による画像の削除についての触覚ＵＩの動作を示すフローチャートである。

Ｓ６０１ではユーザ操作がスライド操作２であるか判断し、スライド操作２である場合はＳ６０２へ、スライド操作２でない場合はＳ６０６へ進む。
Ｓ６０２ではユーザの入力位置が削除ボタンの上かどうか判断し、削除ボタンの上である場合はＳ６０３へ、削除ボタンでない場合はＳ６０５へ進む。
Ｓ６０３ではスライド操作２で選択している画像が保護状態であるか判断し、保護状態である場合はＳ６０４へ、保護状態でない場合はＳ６０５へ進む。
Ｓ６０４では、削除ボタン部の形状を凸状態に制御し、処理を終了する。これにより、ユーザは削除ボタン部へのスライド操作２が無効であることを触覚で直感的に認知することが可能となる。
Ｓ６０５では、削除ボタン部の形状を平坦状態に制御し、処理を終了する。これにより、ユーザは形状可変部を触覚的に認知することがなく、違和感なく削除ボタン部へのスライド操作２が可能となる。
Ｓ６０６では、タッチ操作で選択している画像が保護状態であるか判断し、保護状態である場合はＳ６０７へ、保護状態でない場合はＳ６０８へ進む。
Ｓ６０７では、削除ボタン部の形状を平坦状態に制御し、処理を終了する。これにより、ユーザは削除ボタンへの押し込み操作が無効であることを認知することができる。
Ｓ６０８では、削除ボタンの形状を凸状態に制御し、処理を終了する。これにより、ユーザは削除ボタンを押し込みボタンとして使用可能であることを触覚で直感的に認知することが可能となる。また触覚ＵＩは、押し込み操作時にボタンが凹むことで入力を受け付けるため、ユーザは従来のボタンと同様の操作感を得ることができる。

続いて、図７はスライド操作２による画像の削除について、スライド操作２により削除操作を行う画像が保護されていない場合についての触覚ＵＩの動作を示す図である。なお、図２（ａ）と同様の構成については同符号を付し、説明を省略する。

指先７０１は、サムネイル画像８の位置であり、スライド操作２の開始位置である。
指先７０２は、削除ボタン２０２の位置であり、スライド操作２の終了位置である。

図７（ａ）はスライド操作２を行う前の状態であり、画像１〜９がサムネイル表示されている。選択されている画像８は保護されていないため、削除ボタン２０２を含む各ボタンは、凸状態となっている（Ｓ６０８）。

図７（ｂ）はサムネイル画像８に対してスライド操作２を開始した状態を示す図である。すなわち、サムネイル画像８上でのタッチ操作が閾値時間以上続くと（Ｓ５０５）、長押し操作と判断し（Ｓ５０７）、選択されたサムネイル画像８の枠を強調表示する。その後検出位置が変化すると（Ｓ５０２）、スライド操作２の開始と判断し（Ｓ５１０）、削除ボタン２０２を含む各ボタンは、平坦な状態に変化する（Ｓ６０５）。

図７（ｃ）はスライド操作２中を示す図である。すなわち、スライド操作２開始時に選択されたサムネイル画像８が指先７０１から指先７０２への移動に追従して表示される。その際、削除ボタン２０２を含む各ボタンは、サムネイル画像８が保護されていないため、平坦な状態のままである（Ｓ６０５）。

図７（ｄ）はスライド操作２終了時の図であり、図７（ｃ）の状態で指を離した際の動作を示す。画像８が削除され、サムネイル表示上に画像８は表示しない。また、選択画像は削除した画像８の次に構成されている画像９となり、画像９が保護されていない場合は、削除ボタン２０２を含む各ボタンは、凸状態に変化する（Ｓ６０８）。なお、削除を実行する前に、削除を実行して良いかを確認するようにしてもよい。

以上のように、保護されていない画像についてはスライド操作２により快適に削除操作を行うことができる。

続いて、図８はスライド操作２による画像の削除について、スライド操作２により削除操作を行う画像が保護されている場合についての触覚ＵＩの動作を示す図である。なお、構成は図７と同様であるため、同符号を付し、説明を省略する。

図８（ａ）はスライド操作２を行う前の状態であり、画像１〜９がサムネイル表示されている。選択されている画像８は保護されているため、削除ボタン２０２を含む各ボタンは、平坦な状態となっている（Ｓ６０７）。

図８（ｂ）はサムネイル画像８に対してスライド操作２を開始した状態を示す図であり、図７（ｂ）と同等のため説明を省略する。

図８（ｃ）はスライド操作２中を示す図である。すなわち、スライド操作２開始時に選択されたサムネイル画像８が指先７０１から指先７０２への移動に追従して表示される。その際、削除ボタン２０２を含む各ボタンは、サムネイル画像８が保護されているため、指先７０２の位置になると凸状態へと変化する（Ｓ６０４）。

図８（ｄ）はスライド操作２終了時の図であり、図８（ｃ）の状態で指を離した際の動作を示す。画像８は保護されているため削除されず、即ちスライド操作２前の図８（ａ）と同じ状態となる。また、削除ボタン２０２を含む各ボタンは、平面状態に変化する（Ｓ６０８）。

以上のように、保護されている画像に対してスライド操作２により削除操作を要求された際に、図８（ｃ）に示すように削除ボタンを凸状態へと変化させることで、ユーザは触覚で直感的に削除操作が無効であることを認知することが可能となる。

なお、Ｓ６０４において凸状態へと変化させたが、これに限るものではなく、たとえば凸状態と平坦な状態とを定期的に（交互に）繰り返すようにしてもよい。
また、図８（ｂ）において、サムネイル画像８に対してスライド操作２を開始した時点で、操作されている対象のサムネイル画像８は保護されているので、この操作対象に対し無効となる操作（処理）である削除ボタンを凸状態へと変化させるようにしてもよい。すなわち、制御手段は、検出手段によって操作（保護されているサムネイル画像のドラッグ操作）が検出された時点で、その操作による処理が無効となる対象である削除ボタン（無効な処理に対応する位置の形状可変部）の形状を変更してユーザへ通知を行うようにしてもよい。また、ドラッグ操作されている対象を判断して、その対象に対する処理（操作）が無効となるような処理（操作）を示す位置の触覚ＵＩ（削除ボタン等）の形状を凸状態へと変化させるようにしてもよい。

以上説明したとおり、スライド操作２による削除操作が無効である場合に、触覚的誘導を用いて直感的にユーザへ通知をすることが可能となる。

なお、本実施例では形状可変部に相当する３つのボタンに対してポンプが１つのみである構成において説明を行ったが、それぞれのボタンに対してポンプを有し、それぞれの形状を独立して変化させることが可能な構成でも同様の効果を奏することができる。その際、Ｓ６０２に示した判断を行わず、スライド操作２により選択された画像が保護状態である場合に、削除ボタンのみを凸状態としてもよい。

また、例えば、本実施例においてはディスプレイが平坦である場合の説明を行ったが、これに限るものではなく、湾曲している表面に変形部材を構成したユーザインターフェース装置においても同様の効果を奏することができる。

また、触覚ＵＩの形状を変化させる構成として、空洞部に流動体を流入する例を用いて説明したが、これに限られる訳ではなく、表面の形状を変化させユーザに触覚的誘導を与えられる構成であれば何でもよい。さらには、形状変化として凸形状を例にあげて説明をしたがこれに限られることはなく、凹状態や凸凹状態、また電気的特性により表面の摩擦係数を変化させる構成においても同様の効果を得ることができる。

また、本実施例において、ユーザの入力を検出する構成として、静電容量型のタッチセンサのみでタッチ操作、長押し操作、スライド操作１、スライド操作２、押し込み操作を判別する例について説明したが、これに限られる訳ではない。例えば、静電容量型のタッチセンサに加えて、空洞部に圧電センサを構成し、ユーザが凸形状を押し込むことによる空洞部内の圧力の変化を検出し、ユーザの押込み操作を検出するようにしても良い。

続いて、以下、図９〜図１３を参照して、本発明の第２の実施例による、操作装置（ユーザインターフェース装置）について説明する。本実施例では、ユーザインターフェース装置の一例として、撮像装置であるデジタルカメラ２の画像表示機能のユーザインターフェースを例にとって説明する。

図９は、本発明の第２の実施例であるユーザインターフェース装置の構成を示している。なお、図１と同様の構成については同符号を付し、説明を省略する。
形状制御部９０５は実施例１とは異なる判断にて動作するため別符号を付す。
アクチュエータ９０６及び形状可変部９０７は、実施例１におけるアクチュエータ１０６及び形状可変部１０７と異なるため別符号を付す。これらの詳細については後述する。

次に、図１０を用いて、デジタルカメラ２の外部構成及び画像表示機能時の動作について説明を行う。

図１０（ａ）に示すように、デジタルカメラ２のディスプレイ画面２０にタッチセンサ１０１とディスプレイ１０４は重なって構成され、略々全面に形状可変部９０７が構成されている。具体的には縦に５か所、横に７か所の、計３５か所に形状可変部９０７を有し、左上から右に９０７ａ１、９０７ｂ１、・・・、９０７ｇ１、また下に９０７ａ１、９０７ａ２、・・・、９０７ａ５とする。すなわち、右下の形状可変部は９０７ｇ５となる。また、デジタルカメラ２は形状可変部９０７ごとにアクチュエータ９０６であるポンプを有し、形状制御部９０５はそれぞれのアクチュエータ（ポンプ）９０６を用いて、それぞれの形状変形部の形状を、独立して制御することが可能である。

即ち、実施例１との差異としては、ディスプレイ画面２０の略々全面に形状可変部９０７が構成されていることと、形状制御部９０５はそれぞれの形状変形部の形状を、独立して制御することが可能であることが挙げられる。

以上のように、ディスプレイ画面２０は、通常平坦な面をしているが、ユーザに触覚的誘導を与えるために、平坦面の特定領域を凸形状に変形することが可能なディスプレイ（以下、触覚ＵＩとも記載する）である。本実施例の画像表示機能時は、各ボタン（複数の領域から構成される一部の領域）に対して、触覚ＵＩにより表面を凸形状に変形させる。

デジタルカメラ２における画像表示機能は、図１０（ａ）に示すように、ディスプレイ画面２０全体に画像が表示される。そして、たとえば左右方向へのスライド操作１で表示画像を次の画像、前の画像へと切り替える動作を行う。

また、図１０（ｂ）はデジタルカメラ２で撮影した画像が保存されている構成を示す。デジタルカメラ２は撮影した画像をグループごとにまとめて保存しており、撮影時にどのグループに保存するか、画像撮影機能時のメニューにて切り替えが可能である。画像表示機能時には、Ｐｈｏｔｏ０１０１の次がＰｈｏｔｏ０１０２、さらに次がＰｈｏｔｏ０２０１、のように、スライド操作１により次の画像が要求された際には、グループを超えて順次表示を行う。

なお、画像表示機能時には、形状可変部９０７は通常、平坦な状態となっている。これは、形状が変化していると画像の視認性が悪くなるためである。一方、デジタルカメラ２は、画像表示機能以外の機能である場合に、凸形状をボタンとして使用する。例えば、実施例１で示した画像管理機能時には各ボタンに合わせて凸形状を形成する。

アクチュエータ９０６及び形状可変部９０７の構造の詳細については実施例１の図３と同等であるため説明を省略する。

また、タッチセンサ１０１によるユーザ入力の検出方法についても実施例１の図４と同等であるため説明を省略する。

また、操作判断部１０２によるユーザ入力による操作判断処理についても実施例１の図５と同等であるため説明を省略する。

続いて、図１１、図１２を用いて画像表示機能時の画像変更について説明を行う。

図１１はスライド操作１による画像の切り替えについての触覚ＵＩの動作を示すフローチャートである。

Ｓ１１０１ではユーザ操作がスライド操作１であるか判断し、スライド操作１である場合はＳ１１０２へ、スライド操作１でない場合はＳ１１０４へ進む。
Ｓ１１０２では切り替える前後の画像のグループが同一か判断し、同一でない場合はＳ１１０３へ、同一である場合はＳ１１０４へ進む。
Ｓ１１０３では、全ての形状可変部を凸状態にし、処理を終了する。
Ｓ１１０４では、全ての形状可変部を平坦な状態にし、処理を終了する。

以上のフローチャートにより、スライド操作１による画像切り替え時にグループをまたいで画像が切り替わった際に、ディスプレイ画面２０の略全面に配置されている形状可変部９０７が凸形状へと変化する（Ｓ１１０３）。また、スライド操作１が終了すると、全ての形状可変部を平坦にし（Ｓ１１０４）、画像の視認性低下を防ぐことができる。

図１２はユーザによる画像変更を要求するスライド操作１を示す。なお、図１０（ｂ）と同様の構成については同符号を付し、説明を省略する。
図１２（ａ）はスライド操作１を上面から示した図である。

指先１２０１は、スライド操作１の開始位置であり、指先１２０２は、スライド操作１の終了位置である。また軌跡１２０３は、スライド操作１時の指先の軌跡である。指先１２０２は指先１２０１よりも左側に位置しており、操作判断部はスライド操作１の方向が左方向であることから、次の画像へと切り替える操作であると判断する。

図１０（ｂ）で示した保存画像の構成において、現在Ｐｈｏｔｏ０１０１が表示されているときに、図１２（ａ）で示す左スライド操作１が実行された場合、Ｐｈｏｔｏ０１０２が表示される。その際、Ｐｈｏｔｏ０１０１とＰｈｏｔｏ０１０２のグループが同一であるため（Ｓ１１０２）、図１２（ｂ）で示す断面図のように、形状可変部は平坦な状態のままとなる（Ｓ１１０４）。

続いて、さらに図１２で示す左スライド操作１が実行された場合、Ｐｈｏｔｏ０２０１が表示される。その際、Ｐｈｏｔｏ０１０２とＰｈｏｔｏ０２０１のグループが異なるため（Ｓ１１０２）、図１２（ｃ）で示す断面図のように、形状可変部はスライド操作１の間、凸形状となる（Ｓ１１０３）。

すなわち、軌跡１２０３上に位置している形状可変部９０７ａ３〜９０７ｅ３も凸形状となり、これにより、スライド操作１中にユーザが凹凸を感じることができ、触覚的誘導により直感的にグループが変化したことを知ることができる。

なお、本実施例では形状変化部すべてを凸形状とすることで通知を行ったが、これに限ることはなく、スライド操作１の速度及び方向から、今後指先が通過する軌跡を推定し、その軌跡に応じた形状可変部のみを凸形状としてもよい。即ち、指先１２０１から左方向にスライド操作１があることを検出した際に、図１３（ａ）に示すように、今後指先が通過する形状可変部９０７ａ３〜９０７ｅ３のみを凸形状とし、その周囲については平坦な形状としてもよい。また、軌跡を厳密に推定することは難しいため、図１３（ｂ）に示すように、指先１２０１の位置から、スライド操作１の方向の上下一定角度以内にある形状可変部のみを凸形状とし、その周囲については平坦な形状としてもよい。またさらには、図１３（ｃ）に示すように、スライド操作１の方向に加え、スライド操作１の速度に応じて、現在の指先の位置からある時間Ｔ内に到達する距離にある形状可変部のみを凸形状とし、その周囲については平坦な形状としてもよい。この時間Ｔとは、形状可変部の形状を平坦な状態から凸状態へと変化させるために必要な時間から算出される。さらには、スライド操作１中常に凹凸により通知を行う必要はなく、図１３（ｄ）に示すように、１か所のみ凸形状とすることでもユーザへ通知を行うことが可能である。

また、保存するフォルダが変化した際に形状を変化させてユーザに通知を行ったが、これに限ることはなく、たとえば次のようなタイミングで通知を行ってもよい。すなわち、写真に記録されている撮影日やＧＰＳ位置情報、使用したレンズ情報等が変化したとき、画像の最後でさらに次の画像へと切り替える操作が発生したとき、画像のサイズや形式が変化したとき、等である。

また、次の画像が動画である場合には毎回通知を行ってもよい。動画の場合ユーザは再生を実行する必要があるが、静止画と動画が混在して保存されている場合、表示している画像が動画か否か判断する必要がある。そこで、動画である場合は触覚的誘導によりユーザに通知を行うことで、ユーザは瞬時に、次に表示される画像が動画であることを認知することができる。さらには、動画である場合、凸形状を生成してユーザに通知を行った後に形状可変部を平坦状態へと戻さずに、凸形状を動画の再生を促す押し込みボタンとして利用することもできる。

さらには、複数の要因で通知を行いたい場合、凹凸のパターンを変化させてもよい。例えばグループが変わるときには図１３（ｄ）に示すような１か所のみの凸形状による通知を行い、最後の画像で次の画像がない時には全面を凸形状にして通知を行うこともできる。

また、複数位置のスライド操作による写真の拡大、縮小が可能な場合、例えば最大サイズで表示している際にさらに拡大を要求する操作がなされた際にも、形状を変化させてユーザに通知を行ってもよい。

なお、本実施例ではデジタルカメラの画像表示機能を例に挙げて説明を行ったが、これに限ることはなく、さまざまな製品の、さまざまな機能において同様の効果を奏することができる。

例えば携帯情報端末の文書データ表示機能時にも同様の効果を奏することができる。その場合は、例えば次のようなタイミングで通知を行うことが考えられる。すなわち、文章の最初や最後になった際、次の文章へ切り替わった際、文章内の章が切り替わった際、文章内に動画やアニメーションが埋め込まれている際、などが挙げられる。

また、例えば、本実施例においてはディスプレイが平坦である場合の説明を行ったが、これに限るものではなく、湾曲している表面に変形部材を構成したユーザインターフェース装置においても同様の効果を奏することができる。

また、触覚ＵＩの形状を変化させる構成として、空洞部に流動体を流入する例を用いて説明したが、これに限られる訳ではなく、表面の形状を変化させユーザに触覚的誘導を与えられる構成であれば何でもよい。さらには、形状変化として凸形状を例にあげて説明をしたがこれに限られることはなく、凹状態や凸凹状態、また電気的特性により表面の摩擦係数を変化させる構成においても同様の効果を得ることができる。

このように、形状制御部（制御手段）は、タッチセンサへの操作による装置への指令（スライド操作での次の画像への移動など）に対する指令先からの応答（画像情報の変化など）に応じて、形状可変部の形状を変更してユーザへ通知する。

また、本実施例において、ユーザの入力を検出する構成として、静電容量型のタッチセンサのみでタッチ操作、スライド操作、押し込み操作を判別する例について説明したが、これに限られる訳ではない。例えば、静電容量型のタッチセンサに加えて、空洞部に圧電センサを構成し、ユーザが凸形状を押し込むことによる空洞部内の圧力の変化を検出し、ユーザの押込み操作を検出するようにしても良い。

続いて、以下、図１４〜図１６を参照して、本発明の第３の実施例による、操作装置（ユーザインターフェース装置）について説明する。本実施例では、ユーザインターフェース装置の一例として、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）３のデジタルカメラ遠隔操作機能のユーザインターフェースを例にとって説明する。

図１４は、本発明の第３の実施例であるユーザインターフェース装置の構成を示している。なお、図１と同様の構成については同符号を付し、説明を省略する。
アクチュエータ１４０６及び形状可変部１４０７は、他の実施例におけるアクチュエータ及び形状可変部と異なる構造のため別符号を付す。これらの詳細については後述する。
なお、不図示のデジタルカメラとの接続は、無線でもよいし、有線でもよい。

次に、図１５を用いて、携帯情報端末３の外部構成及びデジタルカメラ遠隔操作機能の例を示す。

図１５（ａ）に示すように、携帯情報端末３のディスプレイ画面３０にタッチセンサ１０１とディスプレイ１０４は重なって構成され、全面に形状可変部１４０７が構成されている。そして、形状可変部１４０７により、ディスプレイ画面３０の任意の位置の形状を可変し、凸部を生成することが可能である。詳細については後述する。

携帯情報端末３におけるデジタルカメラ遠隔操作機能の例を、図１５（ｂ）に示す。
カメラ画像表示エリア１５０１は、接続しているデジタルカメラが撮影している映像を表示するエリアである。また、カメラ画像表示エリア１５０１内の任意の場所をタッチすることで、フォーカスエリアを設定し、またその場所にフォーカスを合わせるオートフォーカス操作を実行することができる。

カメラ情報表示エリア１５０２はカメラに設定されている情報を表示するエリアであり、撮影モードやデジタルカメラの電池の残量、撮影可能枚数等を表示する。

メニューボタン１５０３はデジタルカメラや携帯情報端末３のデジタルカメラ遠隔操作機能に関する様々な設定変更を行うためのメニューを表示させるボタンである。

ズーム操作エリア１５０４はデジタルカメラのズーム操作を携帯情報端末３から遠隔で操作するためのエリアである。ユーザは、スライダー１５０４ａをタッチ操作により選択したのち、そのままスライドバー１５０４ｂに沿って上下にスライド操作を行うことで、ズームの操作が可能である。操作ガイド部１５０４ｃは、通常平面状態であり、スライダー１５０４ａを選択した際に凸状態へと変化することで、スライダー１５０４ａをスライドバー１５０４ｂに沿って操作しやすくするためのガイド部である。また、表示バー１５０４ｄは全域の相対的なズーム位置を表示する表示部である。ズーム操作についての詳細は後述する。

フォーカス操作エリア１５０５はデジタルカメラのフォーカス操作を携帯情報端末３から遠隔で操作するためのエリアであり、＋ボタン１５０５ａ、−ボタン１５０５ｂ、及びスライダー１５０５ｃを用いての操作が可能となっている。＋ボタン１５０５ａ、−ボタン１５０５ｂはタッチ操作に加え、長押し操作により連続的に操作が可能となっている。また、スライダー１５０５ｃ及びスライドバー１５０５ｄは、フォーカス全域の相対的なフォーカス位置として、右側が無限側、左側が至近側を示す。さらに、スライダー１５０５ｃをタッチ操作により選択したのち、そのままスライドバー１５０５ｄに沿って左右にスライド操作を行うことで、フォーカス操作を行うこともできる。また、操作ガイド部１５０５ｅは、ズームの操作ガイド部１５０４ｃと同様であるため説明を省略する。フォーカス操作の詳細については後述する。

自動露出設定エリア１５０６はデジタルカメラの自動露出設定を携帯情報端末３から遠隔で設定するためのエリアであり、＋ボタン１５０６ａ、−ボタン１５０６ｂ、を用いての設定が可能となっている。

画像評価値表示エリア１５０７は、画像の評価値を表示するエリアであり、例えばコントラスト評価値や、ベクトルスコープ評価値等である。また、設定されたフォーカスエリアの拡大画像であってもよい。

レリーズボタン１５０８は遠隔で操作しているデジタルカメラのレリーズを行うボタンである。レリーズボタン１５０８は凸形状を成し、押し込み操作によりレリーズを行う。
デジタルカメラ遠隔操作機能において、通常時はレリーズボタン１５０８が凸形状を成し、その他のボタンやエリアは平面状態となっている。

続いて、図１６を用いてアクチュエータ１４０６及び形状可変部１４０７の詳細について説明する。

図１６は、各ボタンの触覚ＵＩの断面構成を示した図であり、図１６（ａ）は触覚ＵＩが平坦な状態、図１６（ｂ）はユーザに触覚的誘導を与えるため、触覚ＵＩを凸形状に変形させた状態を示した図である。なお、図３で説明した内容と同様の構成要素は、同一符号で示し、説明を省略する。

触覚ＵＩは、透明シート３０１、伸縮素材１６０２、電極１６０３、タッチセンサ１０１、ディスプレイ１０４により構成される。１６０２は電気信号により伸縮する透明な伸縮素材であり、アクチュエータ９０６と形状可変部９０７を兼ねる。１６０３は伸縮素材１６０２に電気信号を伝達する電極であり、透明であることが望ましい。

図１６（ａ）は電極１６０３により、伸縮素材１６０２が収縮する信号を出力している状態であり、ディスプレイ画面上が平坦となっている。一方、図１６（ｂ）は電極１６０３により、伸縮素材１６０２のうちの１６０２ａ、１６０２ｂ、１６０２ｃに対して、膨張する信号を出力している状態であり、ディスプレイ上に凸部が生成されている。

さらに、携帯情報端末３は、伸縮素材１６０２がディスプレイ画面上に二次元に配置されており、形状制御部１０５は電極１６０３を用いて伸縮素材１６０２ごとに伸縮を制御可能である。

以上により、触覚ＵＩは、ディスプレイ画面３０上の任意の位置、任意の形状、任意の大きさで凸形状を形成することが可能である。さらには、伸縮素材１６０２はそれぞれのサイズが小さい方が望ましく、ディスプレイの画素サイズ以下であれば、画面上の画像と一致して凸部を生成することが可能となる。そして、ディスプレイ画面３０により表示する入力グラフィックと併用して用いることで、ユーザにより押下でき、タッチセンサ１０１上の入力位置を知らせるボタンとして機能する。

なお、タッチセンサ１０１によるユーザ入力の検出方法、及び操作判断部１０２によるユーザ入力による操作判断処理については、それぞれ実施例１の図４、図５と同等であり、説明を省略する。

次に、フォーカスの＋ボタン１５０５ａ操作における携帯情報端末３のデジタルカメラ遠隔操作機能のユーザインターフェース動作についての説明を行う。

フォーカスの＋ボタン１５０５ａは通常平坦状態となっている。そして、ユーザは＋ボタン１５０５ａを長押し操作している時間に応じて、フォーカスの位置指令を無限側へと更新し、遠隔操作しているデジタルカメラのフォーカスを無限側へ操作することができる。また、駆動したフォーカスの全域に対する相対的な位置はスライダー１５０５ｃによって表示される。

ここで、フォーカスが無限端へと駆動してもなお＋ボタン１５０５ａを長押し操作している場合、＋ボタン１５０５ａの形状を凸状態へと変形させる。これにより、フォーカスがユーザの操作に応じて動作することができないことを、操作を行っている指先に対して触覚的誘導により通知を行うことができる。
なお、フォーカスの−ボタン１５０５ｂや自動露出設定エリア１５０６でも同等である。

続いて、ズームのスライダー操作における携帯情報端末３のデジタルカメラ遠隔操作機能のユーザインターフェース動作についての説明を行う。

ズーム操作エリアのスライダー１５０４ａがスライドバー１５０４ｂの中心にあると停止していることを示し、スライダー１５０４ａを上方向へと操作すると、ズームが望遠方向に、下方向へと操作すると、ズームが広角方向に駆動する。即ち、スライドバー１５０４ｂ上の任意の位置へスライド操作を行うことで、スライダー１５０４ａが操作位置に移動し、操作位置に応じてズーム駆動のための速度指令を、操作時間だけ出力する。これにより、操作位置に応じて駆動速度が変化し、スライダー１５０４ａが中心に近いほど低速で、中心から離れた位置まで操作すると高速でズームが駆動する。さらに、スライド操作によりズームを操作中に指を離すと、スライダー１５０４ａがスライドバー１５０４ｂの中心に戻り、ズームの駆動が停止する。

ここで、ズームのスライダー１５０４ａ、スライドバー１５０４ｂ、及び操作ガイド部１５０４ｃは通常平坦状態となっている。そして、ユーザがスライダー１５０４ａをタッチ操作により選択すると、操作ガイド部１５０４ｃが凸状態へと変化させる。これにより、スライドバー１５０４ｂを囲うように凸形状が生成され、スライド操作にてズーム操作可能な範囲を、操作を行っている指先に対して触覚的誘導により通知を行うことができる。また、操作が無効となる方向に凸形状を生成することで、ユーザが操作しづらくなるので、より快適にズームを操作することができる。

またさらには、スライドバー１５０４ｂの中心も凸形状を成すことで、逆方向への操作へと切り替わる位置を触覚的誘導により通知してもよい。

また、スライダー１５０４ａを上方へと操作し望遠側へズームを操作していて、ズームが望遠端に達した場合、フォーカスの＋ボタン操作で説明したのと同様に、スライダー１５０４ａを凸形状に変形させてもよい。すなわち、スライダー１５０４ａは指先に追従して移動するため、指先の位置が凸形状に変化することとなる。これにより、ズームがユーザの操作に応じて動作することができないことを、操作を行っている指先に対して触覚的誘導により通知を行うことができる。なお、広角側への操作の場合も同様である。

また、フォーカス操作エリアのスライダー操作における操作ガイド部１５０５ｅについても、ズーム操作エリアの操作ガイド部１５０４ｃと同様であるため説明を省略する。

このように、形状制御部（制御手段）は、タッチセンサへの操作による装置への指令（スライド操作でのズーム・フォーカスの位置操作など）に対する指令先（デジタルカメラ）からの応答（可動端であることなど）に応じて、形状可変部の形状を変更してユーザへ通知する。

以上説明したとおり、形状可変部を凸形状にすることで、ユーザへの触覚的誘導による通知として機能させることができる。形状可変部による凸形状をボタンとして機能させるだけではなく、ユーザへの触覚的誘導による通知として機能させることで、さらに表現豊かな触覚ＵＩを提供することが可能となる。

また、本実施例では携帯情報端末のデジタルカメラ遠隔操作機能について説明を行ったが、これに限ることはなく、さまざまな機器のさまざまな機能において、同様の効果を奏することができる。例えば監視カメラの遠隔操作機におけるパン、チルトの操作においてもズームやフォーカスの操作と同様の動作を行うことで、同様の効果を奏することができる。

なお、例えば、本実施例においてはディスプレイが平坦である場合の説明を行ったが、これに限るものではなく、湾曲している表面に変形部材を構成したユーザインターフェース装置においても同様の効果を奏することができる。

また、触覚ＵＩの形状を変化させる構成として、電気信号により伸縮可能な素材を用いる例について説明したが、これに限られる訳ではなく、表面の形状を変化させユーザに触覚的誘導を与えられる構成であれば何でもよい。さらには、形状変化として凸形状を例にあげて説明をしたがこれに限られることはなく、凹状態や凸凹状態、また電気的特性により表面の摩擦係数を変化させる構成においても同様の効果を得ることができる。

また、本実施例において、ユーザの入力を検出する構成として、静電容量型のタッチセンサのみでタッチ操作、スライド操作１、押し込み操作を判別する例について説明したが、これに限られる訳ではない。例えば、静電容量型のタッチセンサに加えて、押し込み操作により電極に流れる逆起電流を検知しても良い。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ タッチセンサ（検出手段）
１０５ 形状制御部（制御手段）
３０１ 透明シート（形状可変部、形状可変手段）
３０３ 空洞部（形状可変手段）
１０６ ポンプ（形状可変手段）

Claims (11)

1. 端末であって、
   前記端末の表面への操作を検出する検出部と、
   前記表面に配置され、形状が可変に構成された形状可変部と、
   前記表面に表示を行うディスプレイと、
   前記ディスプレイによって前記表面内の場所に表示されたアイコンの機能が、前記ディスプレイによって表示されたオブジェクトであって、前記アイコンへドラッグされたオブジェクトまたはドラッグされるオブジェクトに対しては許可されていない場合、前記表面内の前記場所が変形するように、前記検出部によって検出された操作に基づいて、前記形状可変部の制御を行う制御部と、
   を有することを特徴とする端末。
2. 前記制御部は、凸形状および凸形状とは異なる形状のうちの少なくとも一方に前記表面が変形するように、前記制御を行うことを特徴とする請求項１に記載の端末。
3. 前記制御部は、前記場合は、表示された前記オブジェクトの状態が、前記ドラッグの終了の後、前記ドラッグの前の状態となるように、前記ディスプレイの制御を行うことを特徴とする請求項１または請求項２に記載の端末。
4. 前記端末は、撮像装置であり、
   前記撮像装置は、撮像光学系と、前記撮像光学系から受光する撮像素子と、を有する、
   ことを特徴とする請求項１ないし請求項３のうちいずれか１項に記載の端末。
5. 端末であって、
   前記端末の表面へのスライド操作を検出する検出部と、
   前記表面に配置され、形状が可変に構成された形状可変部と、
   前記形状可変部の制御を行う制御部と、
   を有し、
   前記制御部は、第１形状と前記第１形状とは異なる第２形状とに空間的に交互に前記形状可変部が形成されるようにして、前記検出部により検出された操作に対応する処理の無効性に関して、ユーザに情報を与える、
   ことを特徴とする端末。
6. 前記制御部は、前記検出部により検出された、ある場所への操作に基づいて、該場所での前記形状可変部が前記第１形状と前記第２形状とに空間的に交互に形成されるようにすることを特徴とする請求項５に記載の端末。
7. 前記表面に表示を行うディスプレイを有し、
   前記制御部は、前記ディスプレイにより前記場所に表示されたアイコンに基づいて、該場所での前記形状可変部が前記第１形状と前記第２形状とに空間的に交互に形成されるようにする、
   ことを特徴とする請求項６に記載の端末。
8. 端末であって、
   前記端末の表面への操作を検出する検出部と、
   前記表面に配置され、形状が可変に構成された形状可変部と、
   前記形状可変部の制御を行う制御部と、
   前記表面に表示を行うディスプレイと、
   を有し、
   前記制御部は、前記検出部により検出された、ある場所への操作と、前記ディスプレイにより前記場所に表示されたアイコンとに基づいて、前記ディスプレイにより表示されたオブジェクトがドラッグされた前記アイコンの機能が前記オブジェクトに対して許可されていない場合、前記場所での前記形状可変部が第１形状と前記第１形状とは異なる第２形状とに交互に形成されるようにして、前記検出部により検出された操作に対応する処理の無効性に関して、ユーザに情報を与える、
   ことを特徴とする端末。
9. 前記制御部は、前記検出部により検出された操作に応じて、前記形状可変部が前記第１形状と前記第２形状とに空間的に交互に形成されるようにすることを特徴とする請求項５に記載の端末。
10. 前記制御部は、前記ディスプレイにより表示された前記アイコンおよび前記オブジェクトに基づいて、前記場所での前記形状可変部が前記第１形状と前記第２形状とに交互に形成されるようにすることを特徴とする請求項８に記載の端末。
11. 撮像装置であって、
    受光を行う撮像素子と、
    前記撮像装置のユーザインターフェースとして機能する請求項１ないし請求項１０のうちいずれか１項に記載の端末と、
    を有することを特徴とする撮像装置。

Images