JP5000747B2 - ユーザの注目の的およびアクティビティに基づく通知ヘラルドの位置決めおよびレンダリング - Google Patents

Description

本出願は、２０００年３月１６日に出願した「ATTENTIONAL SYSTEMS AND INTERFACES」という表題の米国仮特許出願第６０／１８９，８０１号明細書の利益を主張する、２００１年３月１６日に出願したＰＣＴ Ａｐｐｌｉｃａｔｉｏｎ Ｓｅｒｉａｌ Ｎｏ．ＰＣＴ／ＵＳ０１／０８７１０の優先権を主張する、２００２年８月３０日に出願した「PRIORITIES GENERATION AND MANAGEMENT」という表題の米国特許出願第１０／２２０，５５０号明細書の一部継続出願である。

本出願は、２０００年３月１６日に出願した「ATTENTIONAL SYSTEMS AND INTERFACES」という表題の米国仮特許出願第６０／１８９，８０１号明細書の利益を主張する、２００１年３月１６日に出願したＰＣＴ Ａｐｐｌｉｃａｔｉｏｎ Ｓｅｒｉａｌ Ｎｏ．ＰＣＴ／ＵＳ０１／０８７１１の優先権を主張する、２００２年８月３０日に出願した「NOTIFICATION PLATFORM ARCHITECTURE」という表題の米国特許出願第１０／２２０，４１９号明細書の一部継続出願でもある。上記の出願はすべて、参照により本明細書に組み込まれる。

本発明は、一般に、デバイス、システム、プロセス、および／または個人の間の通信を手助けするシステムおよび方法に関する。より具体的には、本発明は、ユーザの注目の的(focus of attention)、認知的負荷(cognitive load)、およびアクティビティ(activity)に基づいてユーザ向けに情報を動的にレンダリングすることに関する。

このようなシステムのユーザは、これまで、コンピュータシステムの発達に合わせて、急速に変化する技術革新に対し適応しなければならなかった。これは、情報を管理する様々な形態のデスクトップアプリケーションすべてを考えると明らかなことである。ユーザは、自分のデスクトップコンピュータ上で単にアプリケーションを利用するだけのために、文字通り、数千も異なるソフトウェアオプションの中から選択することができる。また多くのユーザは、このようなアプリケーションとのインターフェースのために複数のコンピュータおよびディスプレイを自由に使える状態にある。現在使われているアプリケーションは、ワードプロセッサ、スプレッドシート、Ｗｅｂブラウザ、カレンダシステム、電子メールアプリケーション、ＣＡＤシステムなど多岐に渡る。しかし、アプリケーションの数は増大する一方であるため、ユーザにとっては、それぞれのアプリケーションを適切に配備するだけでなく、それらから生み出される膨大な量の情報を管理することも困難である。

情報管理に関する一例では、作業中のユーザは、多くの場合、毎日数十回もの電子的割り込みに見舞われる。大半のユーザは当面の与えられたタスクをせっせとこなそうとしているのであるので、これはきわめて厳しいことと考えられる。このような割り込みは、電子メール、スケジュールの通知（例えば、電子カレンダシステムから生成される）、インスタントメッセージの通知、リマインダ、オーディオメッセージ、さらに所定のアプリケーションを取り扱うときに発生しうる個別注意（例えば、自動化されたヘルプまたはトラブルシューティングアドバイスなどのアプリケーションの実行中にポップアップ表示されるメッセージ）の管理など複数のソースから生じる可能性がある。このような中断があるので、ユーザは、当面の与えられたタスクとその日に利用可能になると思われるすべての情報の処理に当たろうとすることとの間でバランスをとる難題に常にさらされる。

コンピュータ科学および人工知能の研究者たちは、タスクとステータスに関するアドバイスおよびサポートにより様々な方法でユーザを支援する方法に関する多くの側面を考察している。多くの態様において、これらの科学では、コンピュータ関連のタスクを実行するときに、ユーザが情報を処理する、またはそれとは別に、ユーザがコンピュータによるユーザに対するより効果的な支援を可能にすることを容易にするコンピュータ技術革新を実現しようと試みている。しかし、これらの技術分野からのそれぞれの技術革新は、それ独自の有用なさらに多くのアプリケーションを生み出すことにつながり、様々なアプリケーションからのますます増える情報を処理しなければならないユーザのタスクは全体として拡大する。

情報更新およびアラートを取り扱う厄介な仕事は、広くなったディスプレイ面と複数ディスプレイ構成の利用の拡大により悪化させられる。ユーザは、様々な領域に注意を払っているが、重要なメッセージに関する通知を送り、また潜在的に１つまたは複数のジェスチャー（表示されているヘラルドの一領域をクリックするなど）を介してメッセージに関するさらなる詳細にアクセスできるようにする、またはジェスチャーを介して特定のビューアまたは他のアプリケーションの呼び出しを許可する視覚的「ヘラルド」(visual herald)のグラフィックレンダリングを検索し、見つけて、潜在的に相互作用しようとするがそれは手間がかかると思い、そこで、それまでに注目していた領域に戻り、他の表示されているアイテムをレビューするか、またはそれを相互作用する作業を続ける可能性がある（例えば、現在の画面または他の画面上の別のロケーションに表示される一次文書処理タスクに戻る）。また、ユーザは、注目していない領域内に表示される重要な通知を見逃す可能性もある。

したがって、ユーザによってレビューされる情報の重要度、およびユーザが情報を見る、または情報にアクセスする容易さおよび有効性を考慮し、しかもそれと同時にアプリケーションユーザのために情報の過負荷および阻害を最小限に抑える、明示的なシステム、プロセス、および設計が開発される必要がある。

以下では、本発明のいくつかの態様の基本的な内容を理解できるように、発明の開示を簡単に説明する。この発明の開示は、本発明の概要を広範囲にわたって述べたものではない。この発明の開示は、本発明の鍵となる／決定的な要素を示したり、本発明の範囲を定めることを目的としていない。後で述べるさらなる詳細な説明の前置きとして、本発明のいくつかの概念を簡略化した形式で述べることのみを目的とする。

本発明は、ユーザの注目の的および現在のアクティビティに基づきユーザに対し情報をレンダリングするためのシステムおよび方法に関する。例えば電子メールなど広く使用される通知アプリケーションが出現し、購読中心の通知サービスの重要性が増大したことで、認知的負荷および全体的中断を最小限に抑えて潜在的に重要な通知を気づかせるアクセス手段をユーザが利用できるようにするツールおよび設計をユーザに提供する重要性が増してきている。また、ディスプレイのサイズが大きくなり、複数のモニタを使用することも増えてきているため、着信情報を「メインロケーション(main location)」に配置するといった単純なデフォルト配置は、見逃される可能性がある。そこで、本発明では、注視および姿勢情報などのユーザの決心されたアクティビティに基づく視覚的ヘラルドの注目感応型配置(attention-sensitive placement)および構成を実現する。

視覚的ヘラルド(visual herald)は、本発明により動的にレンダリングされ、緊急値(urgency value)を着信メッセージ(incoming message)に割り当てる優先順位付きメッセージングシステム(prioritized messaging system)に関連付けることが可能である。このようなメッセージは、要約され、情報がユーザにどのように提示されるかを制御するためにデスクトップディスプレイなどのユーザのワークスペース内に、ユーザ側での途絶を最小限に抑えるように設計された方法で、動的に配置できる。ユーザの注目の的および認知的負荷を記述する１つまたは複数のモデルからフィードバックまたは入力を受け取る情報コントローラが実現され、そこでは、例えば１つまたは複数の動的コントロールが視覚的ヘラルドの様々な側面を案内し、ユーザに対し情報がどのように、またいつ提示されるかを指令する。このようなコントロールは、ヘラルドの動的位置決め、コントロールの動的サイズ決定、ヘラルドの形状、色、および寸法を制御するなどの動的レンダリングコントロール、動的オーディオコントロール、動的表示コントロール（例えば、フェードイン／フェードアウト）、および／またはどのように長い情報をユーザに掲示するかというタイミングなどのその他のコントロールを含む。本発明では、ユーザの現在の注目の的などのファクタを考慮し、現在の焦点に基づき途絶を最小限に抑えるユーザに情報を動的に送ることにより、ユーザが情報を効率のよい方法で認知的に処理できるようにする（例えば、着信メッセージが高緊急度であり、所定のしきい値に基づきユーザが他の何らかのタスクにひどくかかりっきりになっていないと判定された場合に、ディスプレイヘラルドをユーザの現在の注目の的に移動し、そう判定されなければ、時間と共にゆっくりとフェードアウトする）。

前記の目的を達成するために、本発明のいくつかの例示されている態様について、以下の説明および付属の図面により説明していく。これらの態様は、本発明を実施できる様々な方法を示しており、すべて、本発明の対象となることを意図されている。本発明の他の利点および新規性のある特徴は、図面と共に本発明の以下の詳細な説明を考察すると明白になるであろう。

本発明の一態様による情報処理システムを例示したブロック図である。本発明の一態様によるヘラルド表示の実施例を例示した図である。本発明の一態様によるユーザインターフェースの実施例を示す図である。本発明の一態様による他のプレゼンテーションオプションを示す図である。本発明の一態様によるヘラルドオプションを例示した図である。本発明の一態様による通知ヘラルド処理を例示した流れ図である。本発明の一態様による、ワークスペース、通知ヘラルド、および通知ヘラルド移動の実施例を示す図である。本発明の一態様による、ワークスペース、通知ヘラルド、および通知ヘラルド移動の実施例を示す図である。本発明の一態様による、ワークスペース、通知ヘラルド、および通知ヘラルド移動の実施例を示す図である。本発明の一態様によるヘラルドアクションおよび移動を例示した図である。本発明の一態様によるヘラルドアクションおよび移動を例示した図である。本発明の一態様によるヘラルドアクションおよび移動を例示した図である。本発明の一態様によるヘラルドアクションおよび移動を例示した図である。本発明の一態様によるヘラルドアクションおよび移動を例示した図である。本発明の一態様によるヘラルドアクションおよび移動を例示した図である。本発明の一態様によるヘラルドアクションおよび移動を例示した図である。本発明の一態様によるヘラルドアクションおよび移動を例示した図である。本発明の一態様によるヘラルドアクションおよび移動を例示した図である。本発明の一態様による複数のモニタヘラルド移動を例示した図である。本発明の一態様による動的ベイズモデルを例示した図である。本発明の一態様によるイベントシステムのコントロールパネルを例示した図である。本発明の一態様によるイベントホワイトボードを例示した図である。本発明の一態様による時間の経過に伴うアテンション状態および予想割り込みコストに関する推論を例示した図である。本発明の一態様によるアラート表示を例示した図である。本発明の一態様による優先順位付けシステムを例示したブロック図である。本発明の一態様による通知エンジンとコンテキストアナライザとの間の体系的連携を例示したブロック図である。本発明の一態様による好適な動作環境を例示したブロック図である。本発明との相互やり取りが可能なコンピューティング環境例を示すブロック図である。

本発明は、ユーザによる電子通知の効率的な、自動化された処理を手助けするためのシステムおよび方法に関する。通知システム(notification system)は、要約された通知(summarized notification)をユーザに提示する情報ヘラルドまたは表示オブジェクトを含む。情報コントローラは、それぞれのユーザに関連したアテンション入力を受け取り、１つまたは複数のディスプレイ画面上に情報ヘラルドを動的に生成またはレンダリングし、要約された通知のユーザ処理を容易にする。アテンション入力(attention input)は、注視または頭部姿勢追跡デバイスなどのシステムから導かれることが可能であり、そこでは、そのようなシステムは、ユーザの現在の注目の的および／または認知的負荷を判別するためにモデルにより分析されることが可能である。注目および／または負荷に応じて、情報ヘラルドでは、複数の動的調整を行って、ユーザへの情報の提示およびタイミング設定を容易にすることができる。また、例えば、優先順位付けシステムまたは通知システムなどのメッセージングシステムは、情報コントローラと連動して動作し、メッセージの順位付けをし、さらに、オペレーションの制御を行う。

本出願で使用されているように、「コンポーネント」、「モデル」、「コントローラ」、「ヘラルド」、「システム」などの用語は、コンピュータ関連のエンティティ、つまりハードウェア、ハードウェアとソフトウェアの組み合わせ、ソフトウェア、または実行中のソフトウェアのいずれかを指すことを意図されている。例えば、コンポーネントとして、限定はしないが、プロセッサ上で実行されているプロセス、プロセッサ、オブジェクト、実行可能ファイル、実行のスレッド、プログラム、および／またはコンピュータなどがある。例えば、サーバ上で実行されているアプリケーションとサーバは両方ともコンポーネントであってよい。１つまたは複数のコンポーネントは、１つのプロセスおよび／または実行スレッド内に常駐することができ、またコンポーネントは、１台のコンピュータにローカルとして配置され、および／または２台以上のコンピュータ間に分散されることも可能である。

本明細書で使用しているように、「推論(inference)」という用語は、一般に、イベントおよび／またはデータを介して得られるような一組の観察結果から、システム、環境、および／またはユーザの状態を推理または推論するプロセスを指す。推論は、特定のコンテキストまたはアクションを識別するために使用することができ、または例えば、複数の状態にわたる公算分布を生成することができる。推論は公算的であってよい、つまり、データおよびイベントの考察に基づいて注目している状態にわたる公算分布を計算することができる。推論は、さらに、一組のイベントおよび／またはデータから高水準のイベントを構成するために使用されるルールベース、論理的ポリシー、または方法を実行する手法を指す場合もある。このような推論を行うことで、イベント同士が時間的に近い関係による相関関係があるかどうか、またイベントおよびデータが１つまたは複数のイベントおよびデータソースを発生元としているかどうかに関係なく、一組の観察されたイベントおよび／または格納されているイベントデータから新しいイベントまたはアクションが構築される。

まず図１を参照すると、システム１００は、本発明の一態様による情報処理を例示している。１つまたは複数のメッセージ１１０は、通知および／または優先順位付けシステム１２０により処理され、そこで、１つまたは複数の優先順位付けされた通知１２４（または非優先順位付け）が生成され、その後、情報コントローラ１３０により処理される。情報コントローラ１３０は、１つまたは複数のアテンションモデル１４０などからユーザアクティビティに関する入力を受け取り、１つまたは複数の動的出力１４４を生成し、ワークスペース１５０で情報をユーザに供給し／制御する。ワークスペース１５０内の様々な場所で動作する情報ヘラルド１６０は、情報コントローラ１３０から動的に調整可能なデータを受け取り、ユーザに通知を、ユーザの気を散らしたり、邪魔したりしないような形で送る。情報コントローラ１３０は、ワークスペース／ディスプレイ１５０内で情報ヘラルドの位置決めおよび内容を制御し、および／または１７０に例示されている１つまたは複数の他のワークスペース／ディスプレイ内で類似のコントロールおよび位置決めを提示することに注意されたい。

システム１００は、アテンションモデル１４０などを介したユーザのアクティビティおよび／または後述の注視および姿勢情報などの視覚的注目の的に関するその他の利用可能な入力に基づいて情報ヘラルド１６０の注目感応型配置および構成を行う。一般に、システム１００は、ユーザが、高いレベルで、着信メッセージ１１０にどれだけ注目するか（例えば、さらに詳しくメッセージにアクセスするためにドリルダウンするかどうか）に関する決定の要約をレビューすることを可能にする様々な通知表示プロセスを提供している。情報コントローラ１３０などの様々なコンポーネントも、自動的に「情報ヘラルド１６０を邪魔にならないようにする」洗練されたメカニズムを備える（例えば、ユーザがホバリングまたはドリルダウン操作を行わない場合に一定時間表示した後ヘラルドが徐々に消えて行くか、またはタイムアウトになる）。このような一定の待ち時間の経過後のタイムアウトにより、ユーザは、ヘラルドをちらっと見て、または見ずに仕事をしているので仕事を続けることができる−ユーザは、ヘラルド１６０で提示される情報に興味がないという暗黙的シグナルを送ることができる、つまり、明示的なユーザアクションを行わない。

ヘラルド１６０は、さらに詳しくするための選択可能なポータルとして適応されることが可能である、例えば、電子メールでは、ヘラルドは、送信者、受信者、件名、および電子メールの最初の行を含むことができるが、メッセージをクリックすると、同じ場所、または現在の作業領域から少し離れた場所に詳細内容が表示されることに注意されたい。

ユーザコントロール１４４は、情報ヘラルド１６０をユーザに押し付ける／向けるための複数のコントロールを含むことができる。これらは、ヘラルドの座標位置を制御するための動的位置決めコントロール（例えば、ワークスペース１６０および／またはその他のディスプレイ１７０内）、ヘラルドのサイズを変更するための動的サイジングコントロール、ヘラルド内に現れる、またはヘラルドに関連した情報を変更するための動的コンテンツコントロール（例えば、要約情報を供給する大きなメッセージ、メッセージ全体を表示する小さなメッセージ上）、ヘラルドまたはその中の内容の表示の仕方（例えば、色、形状、フォント、次元２Ｄから３Ｄ、など）を変更する、後述のようなオーディオキューを変更する、および／または情報表示のタイミングの制御およびヘラルドのフェードイン、フェードアウトなどの他の動的コントロールを提供する動的レンダリングコントロールを含むことができる。

本発明の他の態様は、ヘラルド１６０のレンダリングのポリシーに関する決定のためのコントロールへのエントリポイントを提供すること、および一般に調整のため、または当面のケースについて、コントロールに入ることを可能にするそれぞれのヘラルドの内側のヘラルドの位置決めおよびレンダリング（例えば、ヘラルドの右下、右側の特定の領域またはボタン）を含む（例えば、ユーザがトップウィンドウ内でタイピング中であり、またＷｏｒｄアプリケーションで作業中であり、コントロールが呼び出されたときに状態として利用可能になっていることに注意）。

例えば、ヘラルド１６０は、重要な情報に関するヘラルドの位置感応レンダリングにおけるコンテキストの考慮の影響に関して以下のユーザオプションを指定することにより表示され、制御されるようにできる。

以下のオプションについて考える。
[ ] All Times
[ ] When I am in any desktop Application
[x] Only when I using Microsoft Word
[ ] When I've been typing

より一般的に言えば、これらのオプションは、ヘラルドに関するプリファレンスを指定するためのリッチコントロールパネルを介していつでもユーザが選択できるように利用可能にできる（例えば、注目感応位置決めに関して）。また、ヘラルド１６０がアクセスされ、その情報が表示される場合に、また情報または情報の構成が複雑である場合、他の開いているウィンドウまたは現在または他のタスクに関連した構造が横に移動されるか、または特定のアイコン構造または他のシンボル表現に縮小され、最小化されることが可能なオプションが追加されうる。ヘラルドからの情報が閉じられた場合、そのタスクは、ヘラルドがアクセスされる前の状態に似た状態に復元される（例えば、タスクは、以前あった位置に少し戻されるか、または完全なサイズおよび以前あった位置に「水で戻されるようにして戻される」）。他のコントロールは、ヘラルドまたは一般的ジェスチャーまたはヘラルド１６０に対し「ｎｏ，ｎｏｔ ｎｏｗ」とユーザに言わせるコントロールを含む。つまり、ただ去るのではなく、ユーザに少し時間があるか、または何かを終了したばかりのときに、ヘラルドがすぐに再び戻って来るように指示されるようにできるということである。これは、さらに、「スヌーズ」機能とも結合されることが可能であり、これによりユーザは、「ｌａｔｅｒ」または「ｉｎ ５ ｍｉｎｕｔｅｓ，ｐｌｅａｓｅ」と言うことができる（今でなく、５分後に再び現れる）。

他の態様では、ヘラルド(herald)１６０上でホバリングまたはクリックすることに関連付けられている情報およびアイテムの表示は、複雑な構造とすることが可能であり、これは、一度に閉じるためその構造に付けられた１つまたは複数の「ハンドル(handle)」で実現されることができる。つまり、ヘラルド１６０は、重要な電子メールにしてヘラルドをクリックしたときに単一電子メールメッセージにアクセスし、単一電子メールメッセージを見て、その後そのメッセージを閉じるケースに似せることができる。他のグラフィックアイテム用の複雑な一組のウィンドウも、構造の一部として表示されることが可能であり、ユーザは、何らかの相互作用の後に「全部閉じる」手段を与えられるようにできる（例えば、構造全体を閉じるために選択グラフィックを相互作用することにより）。

例えば、メッセージ緊急度に基づき、ヘラルドは、適切な場所で位置を変更できる。例えば、重要な情報のヘラルド位置は、アクティブウィンドウの右下隅に表示され、このアクティブウィンドウは、現在アクティブで作業中の（またはつい最近までアクティブで作業中であった）内容を含むウィンドウであるが、アクティビティの時間が経過し、あるしきい値時間に達した場合、アイテムが最後にアクティブであったモニタの中心に表示され、さらに時間が経過すると、ヘラルドがデフォルトの場所（一番左のディスプレイの右下）に表示され、および／またはさらに時間が経過すると、ユーザは席を立っているとみなされ、ヘラルドは、システムに「帰ってきた」と感知されたときに特定の場所で重要な見えなくされているヘラルドをユーザに表示するメカニズムを介してログに記録される。

他のヘラルドの態様は、「while you were away, you missed these notices」機能などのアラート機能を含む。ユーザが周囲にいた場合に表示されているヘラルドについては、ユーザが離脱期間後（例えば、システム上でアクティビティがない一定時間後、またはより高度なシステムでは、システムを注視していることが見られなくなった後、またはオフィスアクティビティが検出されず（例えば、オーディオ）、その後、注視またはその他の存在で戻っていることがわかるか、またはマウスを移動し、スクリーンセーバーを停止した場合など）、ユーザは、ある場所（例えば、デフォルトのスポット、マウスが現在ある場所、アクティブな初期ウィンドウなど）の欠けている情報のヘラルドのリストを表示される。これらのオプションは、ヘラルドの重要度のタイムアウトと結合されることが可能であり、例えば、最後の１時間からのメッセージは、明示的に示されるが、他は、閉じられたリンク（例えば、「Ｏｌｄｅｒ ｔｈａｎ １ ｈｒ」というラベルの）にひとまとめにされる。ステレオ音響レンダリングなどの音源定位法は、ヘラルドの物理的レンダリングの場所またはそこに近い場所の位置でヘラルドに関連付けられているオーディオを認知的に定位できる。

注目感応ヘラルド(attention-sensitive herald)は、アクティブウィンドウの右下側（または他の場所）にも現れることができ、またメッセージの重要度が大きくなるに従ってウィンドウの右辺にそってウィンドウの中心に向かい直線的に（または他の何らかの機能）徐々に上昇することも可能である。これは、現在または最新の（時間水平線の範囲内の）マウスカーソル位置（アクティブマウスの場合）のレベルに向かって徐々に上昇するものとして設計することも可能である。

また、補助的情報（例えば、電子メールメッセージ）は、非常に重要な場合に（クリックまたはジェスチャーなしで）自動的に表示されるか、またはユーザ側が積極的にクリックするか、または「ｎｏ」または「ｎｏｔ ｎｏｗ」などを伝えた場合に一定時間後に自動的に表示されるようにできる。

本発明は、多次元座標系を含む実質的にどのような座標系をも採用することができ、また情報ヘラルド１６０の実質的にどのような表示形式をも採用することができ、表示形式は、実質的にどのような形状、色、次元、埋め込まれた実行ファイルを含むコード形式を含み、これらおよびその他のそれぞれの形式または属性の組み合わせを含むことができることは理解されるであろう。さらに、メッセージ１１０から取り出された情報は、システム１００で示されている見かけの表示順序に関係なく、ワークスペース１５０および／または１７０の実質的にどのような部分にも送られるようにできる。表示内容は、ワークスペース１５０および／または１７０上に配置されるときに変換されることができることに注意されたい。例えば、内容または情報ヘラルド１６０は、内容のアイコン表現を生成するなどの、より小さな方法でスケーリングされるようにすることも可能である。

情報ヘラルド(information herald)は、情報コントローラ１３０と関連してグラフィカルユーザインターフェースの一部として供給されるようにでき、またディスプレイ１５０または１７０の一部として、および／またはディスプレイ１５０または１７０に関連して供給されるようにもできる。ディスプレイ１５０、１７０、および／または情報ヘラルド１６０は、表示または内容のプリファレンス、構成、および／またはユーザによる望まれている情報書式設定の様々な態様に関してインターフェースを介して構成できる。ディスプレイ１５０、１７０、および／または情報ヘラルド１６０は、ヘラルドの最適な制御、サイジング／サイズ変更、形式および／または表示を行いやすくするため複数の次元、形状、色、テキスト、データ、およびサウンドを持つ表示オブジェクト（例えば、アイコン、ボタン、スライダ、入力ボックス、選択オプション、メニュー、タブなど）を含むことができる。これは、ヘラルドの次元設定、表示される内容またはモデルに関するフィードバックの供給、およびヘラルド更新の制御などの態様を含むことができる。さらに、本発明の複数の態様を実行する様々なメニューおよび代替え画面または表示出力が、提供される。これらの態様は、さらに、本発明の１つまたは複数の態様を調整し構成するための複数の入力を備えることもできる。これは、関連したグラフィカルユーザインターフェースを介してディスプレイ１５０、１７０のオペレーションを実行するマウス、キーボード、オーディオ入力および／またはその他のデバイスからのユーザコマンドを受け取ることを含む。

そこで図２を参照すると、システム２００は、本発明の一態様によるヘラルド表示処理の一実施例を示している。この態様では、様々なメッセージ２０４は、ヘラルド表示２２０内の情報の表示およびプレゼンテーションを制御する１つまたは複数のコントロール２１４を備える情報コントローラ２１０により処理される。メッセージ２０４に関連する情報を要約する要約コンポーネント２３０が備えられている（例えば、表示ＲＥ：メッセージの行、表示メッセージチャンク、表示メッセージアウトライン）。上述のように、本発明は、ユーザの注目の的の近くに使いやすく配置されるように、コンピュータデスクトップ環境内で、着信通知２０４の視覚的要約をヘラルド表示２２０のところに動的に配置することを規定する。これらの視覚的ヘラルド２２０は、一態様では（αブレンディングで）フェードインし、一定期間残り、その後徐々に消えて行くように設定されることができる。ユーザが視覚的ヘラルド２２０の上でカーソルをホバリングした場合、フェーディングは、例えば、検査のため一時停止される。ユーザが視覚的ヘラルド（またはオーディオなどの他の信号）をクリックした場合に、着信メッセージ全部が呼び出されるようにできる。

基本的なアプローチでは、特定のプロパティを含む、例えばプリセットされたしきい値を超えるメッセージが届いたときに、視覚的ヘラルドが特定の場所（例えば、一番右のモニタの右下画面）に現れる。基本的な制御を超える部分については、システム２００により、ユーザはコントロールパネル内で、システムがユーザコントロール２４０を介して「Ａｔｔｅｎｔｉｏｎ−Ｓｅｎｓｉｔｉｖｅ Ｈｅｒａｌｄ．」を採用すべきであることを指示することができる。この機能は、参照番号３１０の図３のユーザインターフェース３００に示されている。この構成では、システムは、ユーザが「ａｃｔｉｖｅ ｔｉｍｅ ｈｏｒｉｚｏｎ」内のアプリケーションウィンドウで作業をしていたかどうかを感知し、ユーザがそのウィンドウ内で現在アクティブである（例えば、フォーカスが置かれているアプリケーションでマウスおよびキーボード操作をしている）か、またはその水平線内でアクティブであった場合、着信した視覚的ヘラルドがそのウィンドウ内の事前定義またはプリセットされた位置（例えば、右下隅）に配置される。ユーザがその時間水平線の外にある期間では不アクティビティ状態であった場合、視覚的ヘラルドはデフォルトのトップレベル位置（例えば、一番右のモニタの右下側）に現れる。

次に図４を参照すると、システム４００は、本発明の一態様による他のプレゼンテーションオプションを例示している。この態様では、視覚的ヘラルド４１０は、メッセージの緊急度の高まりと共に、ディスプレイ４２０の周辺から（例えば、周辺内のデフォルト位置から）動的に移動され、徐々にユーザの注目の的に近づくため、このような緊急性が後述の優先順位付けシステムによって記述される。これらのオプションは、通常、ユーザがそのユーザのプリファレンスを表現できるようにする構成パネルを介して制御される（例えば、周辺ではすべてのメッセージを中優先度よりも低くなるように保持し、そうでない場合には、高い優先度の通知を自分の注目の的に移動する）。

図５は、本発明の一態様による１つまたは複数の他のヘラルドオプション５００を例示する。５１０で、上述のシステムおよびコンポーネントは、着信メッセージの緊急度を表す聴覚的キューを使用し、視覚的表示と共にオーディオヘラルドを選択的に含むように構成できる。他の態様では、システムは、キューだけを使用するか、または誰もそこにいない場合に−オーディオによるアラートが含まれていないと見過ごされやすいヘラルドであるため、トップレベルのデフォルト領域に配置されている視覚的ヘラルドについてのみ−キューを追加する。

５２０において、ヘラルドのドウェル時間は、ヘラルドが表示されている場所および／またはユーザの作業負荷に応じて短くも長くもできる。例えば、ユーザが作業している場所から遠く離れている可能性のある−特に複数モニタ状況の−デフォルトの場所で表示されている場合にヘラルドが表示される時間を延長すると有益な場合がある。ユーザが忙しい場合、ユーザに検討しその後、ユーザが関心を持っている場合に、メッセージをさらにドリルダウンすることを決定するチャンスを与えるため比較的長い期間、メッセージを表示したままにしておくと都合がよい場合がある。５３０において、より詳しい検査を行わない場合に徐々に消えてゆく視覚的ヘラルドが、ヘラルドジャーナルまたはフォルダに付加され、これによりユーザは、後から、効率よくヘラルドを検査することができる。このようなジャーナルのエントリは、必要ならば、ライフスパンおよび／または最大サイズを与えられることができる。このような検査可能な、拡張可能なジャーナルを使用すると、ユーザがたまたま忙しい場合にヘラルド内の情報にあまり急いでアクセスしなくてもすむようになる。

図６は、本発明による通知ヘラルド処理の方法を例示している。説明を簡単にするために、方法が図に例示され、一連のアクティビティとして記述されているが、本発明はアクティビティの順序によって制限されるわけではなく、本発明により、いくつかのアクティビティはその図に示されているここで説明しているのと異なる順序で、および／または他のアクティビティと同時に実行することも可能であることが理解され、認識されるであろう。例えば、当業者であれば、代替えとして方法を一連の相互に関連のある状態またはイベントとして状態図などの中に表されることが可能であることを理解し、認識するであろう。さらに、本発明により、方法を実施するために例示されているすべてのアクティビティが必要なわけではない。

６０２において、通知ヘラルドの外観および配置は、自動的に決定される。上記のように、これは、通知を要約し、実質的に任意の形態または形状を持つ小さなディスプレイ内に置くことを含むことができる。６０４において、メッセージ緊急度は、自動的に決定される。後述のように、メッセージの緊急度値を自動的に割り当てるために１つまたは複数の分類器が使用されることが可能である。６０８において、通知ヘラルドは、ユーザの１つまたは複数のワークスペース内のデフォルトの場所に自動的に配置される。ユーザがそれぞれのデフォルトの場所を設定できるように、コントロールが提供される。６１２において、ユーザアクティビティがモニタされる。上記のように、これは、ユーザの注目の的またはその他のアクティビティを記述／決定するアテンションモデルを定義することを含むことができる。

６１６において、ユーザが６０８に配置されたヘラルドを無視するかどうかに関する決定が行われる。無視する場合、プロセスは、６２０に進み、それにより、ヘラルドは、時間の経過と共にゆっくりとフェードされ、必要ならば６２４において、動的にジャーナル内に配置することができる。ユーザが６１６でヘラルドを無視しない場合、６２８においてメッセージ緊急度に関する他の決定が下される。通知が緊急であると判定された場合、プロセスは６３２に進み、ヘラルドを動的にユーザの注目の的に近づけてから、６１６に戻る。メッセージが特に緊急であると判定されない場合（所定のしきい値によって定義されているように）、プロセスは、６２０に戻り、そこで、ヘラルドはフェードされ、および／または６２４でジャーナル内に配置される。図７および図８は、本発明の一態様による、ワークスペース、通知ヘラルド、および通知ヘラルド移動の実施例を示す。図７では、通知ヘラルド７００は、ユーザワークスペース実施例のデフォルトの場所に例示されている。図８に進むと、通知ヘラルド８００（ヘラルド７００と同じ情報）は、ユーザの注目の的に動的に近づいているように示されている。上記のように、この種類の移動は、与えられた通知に関連付けられることが可能な様々な緊急度レベルを介して自動的に開始されることができる。

図９は、一態様でヘラルド９１０が緊急に９２０の現在のカーソル位置に近づいてゆく（がいろいろなものをぼかさない）ようにできることを例示している。また、本発明は、例えば、９１０の位置と９３０の他の下側位置との間で補間を行うことができる（例えば、あるしきい値よりも大きい緊急度で直線的に）。ヘラルドを９３０の右下隅から上にアクティブウィンドウの真ん中まで、またはアクティブカーソルが置かれている場所まで移動するという特定の解決方法は、メッセージ緊急度または表示しきい値に対する重要度に基づくことができ、その場合、その配置は、滑らかに、または階段関数方式で、緊急度または重要度にマッピングすることができる。

図１０〜図１８は、本発明の一態様によるヘラルドアクションおよび移動の実施例を順番に例示している。図１０では、ヘラルドメッセージは、ユーザが忙しいか、または席を外していた間に関係する所定の時間しきい値を超えたメッセージについて最も古いメッセージから最も新しいメッセージへの昇順で（逆にすることも可能）１０００のフォルダに置かれる。例えば、ヘラルドメッセージは、見逃された可能性のあるアイテムを後からレビューするため、１時間以上前または他の判定基準よりも古いメッセージなどのフォルダに格納されるようにできる。他の判定基準は、１０１０に例示されており、これは、１日以上前のメッセージ用のフォルダを示している。

図１１〜図１８は、１つまたは複数のアプリケーションがアクティブになっているデスクトップ設定でヘラルドが注目の的にどのように入ることができるかを例示している。例えば、図１１は、デスクトップ上で開いている３つのアクティブウィンドウを示しており、そこでは、カーソル１１００はフォーカスが当たっている、またはトップにあるアプリケーション上でアクティブである。図１２は、１２００のトップアプリケーションの下側部分に自動的に送られたヘラルドを例示している。図１３は、１３００でヘラルドを検査するためユーザが動かすカーソルを例示している。図１４は、ユーザが図１３ですでに選択されているヘラルドを選択またはホバリングすることに基づいてヘラルドの詳細を表示するポップアップウィンドウ１４００を例示している。図１５は、ユーザが１５１０でヘラルド情報を調べている間に、１５００で現在のデスクトップアプリケーションが最小化されるのを示しているこのアクションは、ユーザプリファレンス設定を介して制御されることが可能であることに注意されたい（例えば、ヘラルド検査中にアプリケーション最小化を要求する設定を選択する）。ヘラルドの検査後、ユーザは、１５２０で選択によりヘラルドを削除または最小化することができ、そこで、図１６は１６００でヘラルドの最小化または削除を例示している。図１７は、１７００の前のアプリケーションの自動復帰を例示しているが、図１８は、図１３〜図１５でヘラルドを受け取って検査する前のユーザの以前のデスクトップ環境を例示している。

図１９は、本発明の一態様による複数のモニタヘラルド移動(monitor herald movement)を例示している。この態様では、ユーザは、アプリケーションを実行する複数のモニタを自由に提供できる。マルチモニタ状況では、キューまたは情報は、頭部の姿勢および／または注視に基づき現在のアクティブウィンドウから、または注目のモデルから出てくる。例えば、３モニタ状況では、ヘラルドは、１９００で第１のモニタに届く。しかし、ユーザの注目の的が現在どこにあるかを判別する頭部または注視追跡コンポーネントを介して、ユーザが現在１９１０の第３のモニタに注意を向けていると判別され、１９００からのヘラルドは、１９２０のユーザの注目の的に、またはその近くに自動的に位置に決めされる。

空間的および時間的制約条件は、ヘラルドが重要な内容をわかりにくくしない、または現在の相互作用を中断しないことを保証するために、ソフトウェアアプリケーションの種類、そのアプリケーションに関連した表示情報の構成、および内容との現在または最近の特定の相互作用に基づいて考慮され、ヘラルドのレンダリングが引き起こす中断を最小限に抑えるようにできる。例えば、ヘラルドをアクティブウィンドウの右辺にそって現在の相互作用の位置の高さに方向に上に向かって移動するシステムの出力は、ユーザが現在タイピングしている位置に被さる位置にヘラルドが置かれないように修正されることができる、例えば、「反発力フィールド(repellent force field)」が、わかりにくくならないようにするためユーザの現在の作業位置に置くことができる。したがって、ヘラルドは、ユーザにできる限り近づくように徐々に上昇してゆくが、中断を引き起こす位置に被さることを回避することができる。同様に、現在のアクティビティが考慮され、簡単な「時間的力場」が適用され、レンダリングを遅らせることができる。例えば、レンダリングは、Ｗｏｒｄ処理アプリケーションで現在のタイピングシーケンスが終わるまで、またはグラフィックスアプリケーション内で移動されているグラフィックが位置決めされるまで、遅延することができる。

図２０〜図２４は、本発明によるユーザアクティビティおよび状態を判別するモデリングの態様を説明している。図２０は、本発明の一態様により基本変数および依存関係を捕捉するユーザの注目の的に関する推論を行う動的ベイズモデルを例示するダイヤグラム２０００である。ダイヤグラム２０００に例示されているように、アラート媒介システムの初期バージョンでは手作りの動的ベイズネットワークモデルを採用しており、それぞれのモデルも、ユーザ指定に基づいて動的に生成されることが可能である。ベイズネットワークで考察される重要な変数は、注目の的である。この変数の状態は、注目の約１５（または他の数）の相互排他的状態に構造化されており、作業負荷別にコンテキストをセグメント分割したある範囲のユーザ状況を捕捉する。状態は、例えば、高焦点ソロアクティビティ、中焦点ソロアクティビティ、低焦点ソロアクティビティ、オフィス内の会話、プレゼンテーション、運転、プライベートの個人的時間、および睡眠などの区別を含む。

注目のモデルの目標(a goal of the model of attention)は、ユーザが特定のアテンション状態にある場合に様々な種類の割り込みのコストを推論することである。これを達成するために、本発明では、アテンション状態Ａ_jにあるユーザがタスクまたは通信イベントＤ_jにより中断されるコストを捕捉するユーティリティｕ（Ｄ_i，Ａ_j）を考察する。このコストは、それぞれの組み合わせに対するドル金額の中断回避のため対価を支払う意志として評価することができる。中断を回避するための一組のドル金額、およびユーザのアテンション状態に対し推論される公算分布が与えられたとすると、割り込みの予想コスト（ＥＣＩ）は、受け取った知覚情報のストリームを条件とする、それぞれの注目の状態の公算により重み付けされた、ユーティリティを総和することにより計算することができる。つまり、ＥＣＩは、

であり、ここでｐ（Ａｊ｜Ｅ）は、証拠ストリームＥを条件とする、アテンション状態の公算である。

図２１は、本発明の一態様による、音響および視覚情報を処理するイベントクラスおよびグラフィック表示を示すイベントシステムのコントロールパネルを例示したダイヤグラム２１００である。２１００で示されているインターフェースでは、知覚情報のストリームから割り込みのコストを与えることができるシステムの現実世界の実施の追加詳細を考慮する。この実施例では、ユーザのアクティビティは、イベント知覚を行うクライアントデバイスおよびクライアント上で実行されるオペレーティングシステムおよびアプリケーションからコンピュータイベントを感知する抽象化システムとのやり取りをモニタしている。さらに、視覚的姿勢は、ベイズ頭部追跡システムおよびオーディオ信号処理分析を含む周囲音響アクティビティにより処理される。最後に、ユーザのカレンダは、電子カレンダアプリケーション（例えば、Ｏｕｔｌｏｏｋ）とのインターフェースを介して自動的に調べられ、会合が予定されているかどうかを判別する。図２１は、以下で詳しく説明されるＩｎｆｌｏｗという名前のイベントモニタおよび制御システムを示している。

クライアントイベントシステム(client event system)は、低レベルシステムイベントの複数のパターンをより高いレベルのイベントに融合するための抽象化ツールを備える。本発明では、注目のモデルにおいて、低レベルイベントおよび高レベルイベントの両方を考察する。例えば、低レベル状態は、ユーザがタイピングしているか、マウスでクリックしているかに関係なくアプリケーションが使用されていること、さらには、アプリケーション間の切り換え（例えば、アプリケーション間の単一アプリケーションフォーカス対切り換え）、タスク完了の指示（例えば、メッセージが送信される、ファイルが閉じられる、アプリケーションが閉じられるなど）のパターンなどのより高いレベルのイベントの集合として捕捉することができる。

カレンダイベント(calendar event)の場合、会合が進行中かどうかに関係なく、会合が終わるまでの時間の長さ、および会合の場所が考慮されることができる。音響および視覚分析では、会話またはその他の信号が識別されたかどうか、ユーザがデスクトップシステムの近くに存在するかどうか、もし存在すれば、ユーザはコンピュータを注視しているか、または席を離れているかが判別される。

図２２は、本発明の一態様によるイベントホワイトボード２２００を例示する図である。イベントホワイトボード２２００は、システムによって考慮される低レベルおよびより高いレベルのイベントの状態を捕捉し、分配するために採用される。図に示されているように、イベントは、アプリケーションの誕生と死、アプリケーションが現在「トップ」にあり相互作用されていること、およびデスクトップ利用パターンなどの利用パターンを捕捉するイベント、この場合、ユーザがプリセットされた時間水平線内（この場合１５秒）で別のアプリケーションに切り替えることを示すことに関する詳細を含む。

図２３は、本発明の一態様による時間の経過に伴うアテンション状態および予想割り込みコストに関する推論を例示するダイヤグラム２３００である。上述のＩｎｆｌｏｗシステムでは、様々なイベントを考慮し、動的ベイズネットワークを使用して、アテンション状態における公算分布を推論する。２３１０での出力は、高焦点ソロアクティビティ、低焦点ソロアクティビティ、オフィス内の会話、プレゼンテーションまたは会合、運転、プライベートの個人的時間、睡眠、および現在利用可能の注目の８つの状態を考慮するモデルの出力を示している。出力２３１０は、オフィス内の会話の最初の高い公算は、一番最近に、高焦点ソロアクティビティが支配的であったことを例示している。

出力２３２０は、異なる中断Ｄ_iに対する時間の経過により変化する予想割り込みコストに関する推論を示している。この場合、粗ユーザアテンション状態での推論された公算分布から、異なる通信イベントを回避するためにユーザが支払う意志のある予想ドル金額が計算されうる。ダイヤグラム２３２０の曲線は、電話、ページャ、チャイム音ヘラルド付きの完全な視覚的アラート、チャイム音付きサムネイル表示、チャイム音なしの完全視覚的アラート、およびチャイム音なしのサムネイル表示を含む、６つの異なる割り込みに関連する予想コストを、上から下への順で、表している。

図２４は、本発明の一態様によるアラート表示を例示したダイヤグラム２４００である。ダイヤグラム２４００は、予想割り込みコストのモデルを採用する通知システム内の完全視覚的アラートの視覚的表示の一実施例を示している（例えば、ニュース、金融、電子メール、インスタントメッセージなどに関する通知）。アラートは、オーディオおよび／または視覚的ヘラルドと結合することができる。本発明では、情報の価値の別々の分析での評価に従って、異なるメッセージ送受信アクションに対するこのような推論された予想コストと異なる通信の予想される価値とのバランスをとることができる。

図２５を参照すると、システム２５１０は、本発明の一態様による優先順位付けシステム２５１２および通知アーキテクチャを例示している。優先順位付けシステム２５１２は、１つまたは複数のメッセージまたは通知(notification)２５１４を受信し、関連したメッセージに対する優先度または重要度の尺度（例えば、メッセージが高または低優先度である公算値）を生成し、関連した優先度値を持つ１つまたは複数のメッセージを出力２５１６に送り出す。以下で詳しく説明するように、メッセージ２５１４に優先度の尺度を自動的に割り当てるように、分類器の構築および学習が行われる。例えば、出力２５１６は、メッセージに、高、中、低、またはその他の重要度分類のカテゴリに属す公算を割り当てられるように書式設定されうる。メッセージは、決定された重要度カテゴリに応じて、例えば、電子メールプログラム（図に示されていない）のインボックス内に自動的ソートされるようにできる。このソーティングは、さらに、ファイルを、重要度の定義済みラベルを持つシステムフォルダに送ることも含むことができる。これは、低、中、および高などの重要度でラベル付けされたフォルダを持つことを含むことができ、特定の重要度の決定されたメッセージは、関連したフォルダに合わせてソートされる。同様に、１つまたは複数のオーディオまたは視覚的表示（例えば、アイコン、シンボル）は、所望の優先度を持つメッセージが受信されたことをユーザに警告するように適応できる（例えば、高優先度メッセージには３回のビープ音、中優先度には２回のビープ音、低優先度には１回のビープ音、高優先度には赤色または点滅するアラートシンボル、中優先度メッセージを示す緑色および点滅しないアラートシンボルが受信されている）。

本発明の他の態様によれば、通知プラットフォーム２５１７は、優先順位付けシステム２５１２と併用され、優先順位付けされたメッセージをユーザからアクセス可能な１つまたは複数の通知シンクに送ることができる。以下でさらに詳しく説明するように、通知プラットフォーム２５１７は、優先順位付けされたメッセージ２５１６を受信し、例えば、ユーザに通知する時期、場所、および方法に関する決定を下すように適応できる。例えば、通知プラットフォーム２５１７は、通信様式（例えば、携帯電話、またはパーソナルデジタルアシスタント（ＰＤＡ）などのユーザの現在の通知シンク２５１８）および可能な場所および／または可能なユーザの注目の的を決定することができる。例えば、高重要度電子メールが受信された場合、通知プラットフォーム２５１７は、ユーザの位置／焦点を判別し、ユーザに関連した通知シンク２５１８に対しメッセージを送る／再書式設定することができる。通知プラットフォーム２５１７は、より低い優先度のメッセージ２５１６が受信された場合に、例えば、必要ならば、電子メールをユーザのインボックスに残し、後でレビューできるように構成することができる。以下でさらに詳しく説明するように、優先順位付けされたメッセージ２５１６をユーザおよび／または他のシステムに送るために他の経路指定および／またはアラート発生システム２５１９が使用できる。

次に図２６を参照すると、システム２６００は、本発明の一態様により通知エンジンおよびコンテキストアナライザがともにどのように機能するかを例示している。システム２６００は、コンテキストアナライザ２６２２、通知エンジン２６２４、１からＮまでの１つまたは複数の通知ソース２６２６、２６２７、２６２８、通知ソースとして動作することが可能な優先順位付けシステム２６３０、および１からＭまでの１つまたは複数の通知シンク２６３６、２６３７、２６３８を含み、ＮおよびＭはそれぞれ整数である。これらのソースは、イベントパブリッシャとも呼ばれ、これらのシンクは、イベントサブスクライバとも呼ばれる。シンクおよびソースはいくつあってもよい。一般に、通知エンジン２６２４は、一部はコンテキストアナライザ２６２２に格納される、および／またはアクセスされるパラメトリック情報に基づき、イベントまたはアラートとも呼ばれる通知を、ソース２６２６〜２６２８からシンク２６３６〜２６３８に伝達する。

コンテキストアナライザ２６２２は、通知意思決定に影響を及ぼすユーザの変数およびパラメータに関する情報を格納／分析する。例えば、複数のパラメータは、時刻毎の、また曜日毎のユーザの標準的な位置および注目焦点またはアクティビティなどのコンテキスト情報、およびユーザが異なる場所でアクセスする傾向のあるデバイスなどの、そのようなパラメータを条件とする追加パラメータを含むことができる。このようなパラメータは、さらに、１つまたは複数のセンサを介して自律的に行われる観察の機能とすることもできる。例えば、１つまたは複数のプロファイル（図に示されていない）は、グローバルポジショニングシステム（ＧＰＳ）サブシステムにより供給されることが可能なユーザの位置に関する情報、使用されているデバイスの種類および／またはデバイスの利用パターンに関する情報、およびユーザによって特定の種類のデバイスが最後にアクセスされた時間に基づいて選択または修正できる。さらに、以下で詳しく説明するように、場所および注目などのパラメータまたは状態を動的に推論するために、自動化推論も採用することができる。プロファイルパラメータは、ユーザによって編集可能なユーザプロファイルとして格納することができる。事前定義されたプロファイルまたは動的推論の集合に依存することを超えて、通知アーキテクチャにより、ユーザは、例えば、次の「ｘ」時間の間、または指定された時間まで重要な通知がある場合以外ユーザは対応できないなどの自分の状態をリアルタイムで指定することが可能である。

パラメータは、さらに、異なる設定で異なる種類の通知により分配することに関するユーザのプリファレンスに関するデフォルトの通知プリファレンスパラメータを含むこともでき、これは、通知エンジン２６２４による通知決定を下すための基準として使用することができ、またそのときにユーザは変更を開始できる。パラメータは、ユーザが異なる状況で通知される望む方法（例えば、携帯電話、ページャを使用するなど）に関するデフォルトのパラメータを含むことができる。これらのパラメータは、異なる設定の異なるモードで通知されることに関連する中断のコストなどの評価を含むことができる。これは、ユーザが異なる場所にいる可能性、異なるデバイスが利用可能である可能性、および所定の時刻のユーザの注目ステータスの可能性を示すコンテキストパラメータだけでなく、ユーザが所定の時刻に通知される望む方法を示す通知パラメータを含むことができる。

本発明の一態様により、コンテキストアナライザ２６２２により格納される情報は、アナライザにより決定されたコンテキスト情報を含む。コンテキスト情報は、説明の最後の節でより詳しく説明されているように、１つまたは複数のコンテキスト情報源（図に示されていない）に基づきユーザの位置および注目ステータスを識別することでアナライザ２６２２により判別される。例えば、コンテキストアナライザ２６２２は、ユーザの自動車または携帯電話の一部であるグローバルポジショニングシステム（ＧＰＳ）を介してユーザの実際の位置を高い精度で判別することができる。アナライザは、さらに、統計モデルを使用し、ユーザのカレンダ内の曜日の種類、時刻、データ、およびユーザのアクティビティに関する観察結果などの情報を考察して収集されたバックグラウンドの評価および／または観察結果を考慮することによりユーザが所定の注目の状態にある可能性を判別することもできる。所定の注目の状態は、ユーザが通知を受けられる状態にあるか、忙しくて通知を受け取れる状態にないかの情報を含むことができ、また平日、週末、休日、および／またはその他の機会／期間などの他の考慮を含むことができる。

ソース２６２６〜２６２８、２６３０は、ユーザおよび／またはその他のエンティティを対象とする通知を生成する。例えば、ソース２６２６〜２６２８は、インターネットおよびネットワークベースの通信、および電話通信などの通信と共に、ソフトウェアサービスも含むことができる。通知ソースは、一般にここでは、ユーザ、またはユーザのプロキシに、情報、サービス、および／またはシステムまたはワールドイベントに関する警告を送ることを目的とする、通知およびアラートと呼ばれることもある、イベントを発生するものとして定義される。通知ソースは、イベントソースと呼ばれることもある。

例えば、電子メールは、優先順位付けされるように優先順位付けシステム２６３０により通知として生成することができ、その場合、通知を生成するアプリケーションプログラムまたはシステムは、ユーザへの電子メールの可能な重要度または緊急度に対応する相対的優先度を電子メールに割り当てる。電子メールは、さらに、ユーザに相対的重要度と無関係に送信されるようにもできる。インターネット関係のサービスは、例えば、頻繁にある最新ニュースのヘッドライン、株式市況などのユーザが購読している情報を含む通知を含むことができる。

通知ソース(notification source)２６２６〜２６２８は、それ自体、プッシュ型またはプル型ソースとすることができる。プッシュ型ソースは、ヘッドラインニュース、および購読された後自動的に情報を送信する他のインターネット関連サービスなど、対応する要求なしで情報を自動的に生成し、送信するソースである。プル型ソースは、メールサーバがポーリングされた後電子メールが受信されるなど、要求に対する応答として情報を送信するソースである。さらに他の通知ソースには以下のものがある。
・ カレンダシステムなどの電子メールデスクトップアプリケーション、
・ コンピュータシステム（例えば、システムアクティビティまたは問題に関するアラートに関する情報のメッセージをユーザにアラートすることができる）、
・ インターネット関連サービス、アポイントメント情報、スケジューリング問い合わせ、
・ １つまたは複数の共有フォルダ内の複数のドキュメントまたはいくつかの種類の複数のドキュメントの変更、
・ 情報の絶え間ない、または永続的な問い合わせに対する応答としての新しいドキュメントの利用可能性、および／または
・ 人およびその存在、所在の変更、近接性（例えば、私が移動中に同僚または友人が私のところから１０マイル（１６．０９ｋｍ）以内のところにいる場合に知らせてほしい）、または利用可能性（例えば、Ｓｔｅｖｅが会話できる状態にあり、完全なビデオ遠隔会議をサポートできる高速リンクの近くにいる場合に知らせてほしい）に関する情報の情報源。

通知シンク(notification sink)２６３６〜２６３８は、ユーザに通知を供給することができる。例えば、このような通知シンク２６３６〜２６３８は、デスクトップおよび／またはラップトップコンピュータ、ハンドヘルドコンピュータ、携帯電話、通常電話、ページャ、車載コンピュータなどのコンピュータ、さらには評価可能な他のシステムおよびアプリケーションを含むことができる。シンク２６３６〜２６３８の一部は、複数のシンクのうちの他のものよりも情報量豊富な形で通知を伝達することができることに注意されたい。例えば、デスクトップコンピュータは、通常、スピーカおよびスピーカに結合されると共に、ローカルネットワークまたはインターネットに結合された場合に情報を受け取るためのより高い帯域幅を持つ、比較的大型のカラーディスプレイを備える。そのため、通知は、デスクトップコンピュータにより、比較的情報量豊富な形でユーザに伝達されることができる。逆に、多くの携帯電話は、場合によっては白黒の、例えば比較的より低い帯域幅で情報を受信することができる、より小型のディスプレイを備える。それに対応して、携帯電話により伝達される通知に関連した情報は、一般に、短く、例えば、電話のインターフェース機能に適合されることが可能である。そのため、通知の内容は、携帯電話に送信されるのか、デスクトップコンピュータに送信されるのかに応じて異なる場合がある。本発明の一態様によれば、通知シンクは、例えばイベントサブスクリプションサービスを介して、イベントまたは通知を購読するものを参照することができる。

通知エンジン(notification engine)２６２４は、コンテキストアナライザによって格納され、および／または決定された情報にアクセスし、ソース２６２６〜２６２８から受信された通知のうちどれがシンク２６３６〜２６３８のうちのどれに伝達されるかを決定する。さらに、通知エンジン２６２４は、シンク２６３６〜２６３８のうちのどれが情報の送信先として選択されているかに応じて通知がどのように伝達されるかを決定することができる。例えば、通知は、選択されたシンク２６３６〜２６３８に供給される前に通知が要約されなければならないと判断されることがある。

本発明は、エンジン２６２４が通知のうちのどれを通知シンクのどれに伝達するか、および通知がどのような方法で伝達されるかに関する決定を下す方法に限定されない。一態様によれば、決定理論分析が使用可能である。例えば、通知エンジン２６２４は、ユーザの位置、注目、デバイス利用可能性、およびアラートがなかった場合にユーザが情報にアクセスするまでの時間の長さを含む変数に関する重要な不確定性を推論するように適応することができる。通知エンジン２６２４は、その後、ユーザに通知をアラートするかどうか、もしそうならば、要約の性質および通知を中継するために使用するのに適した１つまたは複数のデバイスに関する通知決定を下すことができる。一般に、通知エンジン２６２４は、通知の予想される正味価値を判別する。そうする際に、以下の点を考慮することができる。
・ それぞれの利用可能な通知シンクの忠実度および伝送信頼性、
・ ユーザを煩わせることの注目コスト、
・ ユーザへの情報の目新しさ、
・ ユーザが自分で情報レビューするまでの時間、
・ 情報の潜在的コンテキスト依存の値、および／または
・ 通知内に含まれる情報の時間の経過により増減する値。

不確定性に関して行われる推論は、例えば、ユーザの何らかのアテンション状態を与えられた場合に特定のデバイスの特定のモードを使用することによるユーザへの中断のコストなどの値の予想される可能性として生成することができる。通知エンジン２６２４では、以下のうちの１つまたは複数に関して決定を下すことができる。
・ ユーザが現在注目し、実行している対象（例えば、注視追跡装置により追跡されるような頭部姿勢および／または注視を含むコンテキスト情報に基づく）、
・ ユーザが現在いる場所、
・ 情報がどれだけ重要であるか、
・ 通知を遅らせるコストはどのようなものか、
・ 通知はどれだけ注意をそらすか、
・ ユーザに連絡がつく可能性はどれだけか、
・ 与えられた通知シンクの特定のモードの使用に関連する忠実度損失はどれだけか。

したがって、通知エンジン２６２４は、保留通知およびアクティブ通知の決定理論分析などの分析を実行し、情報シンクおよびソースにより与えられるコンテキスト依存変数を評価し、ユーザが情報およびユーザの位置および現在のアテンション状態をレビューできるようになるまでの時間などの選択された不確定性を推論することができる。

さらに、通知エンジン２６２４は、個人化された決定理論分析の代わりに、またはサポートするためにコンテキストアナライザ２６２２によりユーザプロファイルに格納されている情報にアクセスできる。例えば、ユーザプロファイルは、所定の時刻に、ユーザがページャを介して、また通知が所定の重要度レベルを持つ場合にのみ、通知されることを好むことを指示することができる。このような情報は、決定理論分析を開始するためのベースラインとして使用することができるか、または通知エンジン２６２４がユーザに通知する方法および通知するかどうかを決定する手段とすることも可能である。

本発明の一態様によれば、通知プラットフォームアーキテクチャ(notification platform architecture)２６００は、イベンティング(eventing)またはメッセージング(messaging)のインフラストラクチャの上に置かれる層として構成することができる。しかし、本発明は特定のイベンティングのインフラストラクチャに限定されない。

さらに、このアーキテクチャは、当業者であれば理解できるであろうが、柔軟な分散型計算インフラストラクチャの上に置かれる層として構成することができる。そのため、通知プラットフォームアーキテクチャは、例えば、根幹のインフラストラクチャを、ソースが通知、アラート、およびイベントを送信する手段として、またエンドポイントデバイスなどのシンクが通知、アラート、およびイベントを受信する手段として使用することができる。しかし、本発明は、そのように限定されない。

図２７を参照すると、本発明の様々な態様を実施するための環境例２７１０はコンピュータ２７１２を含んでいる。コンピュータ２７１２は、処理ユニット２７１４、システムメモリ２７１６、およびシステムバス２７１８を備える。システムバス２７１８は、限定はしないがシステムメモリ２７１６を含むシステムコンポーネントを処理ユニット２７１４に結合する。処理ユニット２７１４は、様々な市販プロセッサがあるがそのうちのどれでもよい。デュアルマイクロプロセッサおよびその他のマルチプロセッサアーキテクチャも、処理ユニット２７１４として採用される。

システムバス２７１８は、メモリバスまたはメモリコントローラ、周辺機器バスまたは外部バス、および／または限定はされないが、１１ビットバス、Ｉｎｄｕｓｔｒｉａｌ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＩＳＡ）、Ｍｉｃｒｏ−Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＭＣＡ）、Ｅｘｔｅｎｄｅｄ ＩＳＡ（ＥＩＳＡ）、Ｉｎｔｅｌｌｉｇｅｎｔ Ｄｒｉｖｅ Ｅｌｅｃｔｒｏｎｉｃｓ（ＩＤＥ）、ＶＥＳＡ Ｌｏｃａｌ Ｂｕｓ（ＶＬＢ）、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）、Ａｄｖａｎｃｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ（ＡＧＰ）、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｃｉａｔｉｏｎバス（ＰＣＭＣＩＡ）、およびＳｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍｓ Ｉｎｔｅｒｆａｃｅ（ＳＣＳＩ）をはじめとする利用可能な各種バスアーキテクチャを使用するローカルバスなど数種類のバス構造のうちのいずれでもよい。

システムメモリ２７１６は、揮発性メモリ２７２０および不揮発性メモリ２７２２を含む。起動時などにコンピュータ２７１２内の要素間の情報転送を行うための基本ルーチンを含む基本入出力システム（ＢＩＯＳ）は、不揮発性メモリ２７２２に格納される。例えば、限定はしないが、不揮発性メモリ２７２２には、読み取り専用メモリ（ＲＯＭ）、プログラム可能ＲＯＭ（ＰＲＯＭ）、電気的プログラム可能ＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＲＯＭ（ＥＥＰＲＯＭ）、またはフラッシュメモリなどがある。揮発性メモリ２７２０には、外部キャッシュメモリとして動作するランダムアクセスメモリ（ＲＡＭ）がある。例えば、限定はしないが、使用可能なＲＡＭには、同期ＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ ＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、ｅｎｈａｎｃｅｄ ＳＤＲＡＭ（ＥＳＤＲＡＭ）、Ｓｙｎｃｈｌｉｎｋ ＤＲＡＭ（ＳＬＤＲＡＭ）、およびｄｉｒｅｃｔ Ｒａｍｂｕｓ ＲＡＭ（ＤＲＲＡＭ）など様々な形態のものがある。

コンピュータ２７１２は、さらに、取り外し可能／取り外し不可能な揮発性／不揮発性コンピュータ記憶媒体も備える。図２７は、例えばディスクストレージ２７２４を示している。ディスクストレージ２７２４は、限定はしないが、磁気ディスクドライブ、磁気ディスクドライブ、テープドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ−１００ドライブ、フラッシュメモリカード、またはメモリスティックなどのデバイスを含む。さらに、ディスクストレージ２７２４は、記憶媒体を、単独で備えることも、また限定はしないが、コンパクトディスクＲＯＭデバイス（ＣＤ−ＲＯＭ）、ＣＤ書き込み可能ドライブ（ＣＤ−Ｒドライブ）、ＣＤ書き換え可能ドライブ（ＣＤ−ＲＷドライブ）、またはデジタル多用途ディスクＲＯＭドライブ（ＤＶＤ−ＲＯＭ）などの光ディスクドライブを含む他の記憶媒体と組み合わせて備えることもできる。ディスクストレージ２７２４をシステムバス２７１８に接続しやすくするために、通常、インターフェース２７２６などの取り外し可能または取り外し不可能インターフェースを使用する。

図２７は、ユーザと適当な動作環境２７１０内の説明されている基本コンピュータ資源との媒介手段として動作するソフトウェアを説明していることは理解されるであろう。このようなソフトウェアとして、オペレーティングシステム２７２８がある。オペレーティングシステム２７２８は、ディスクストレージ２７２４に格納することができ、コンピュータシステム２７１２の資源の制御および割り当てを行う働きをする。システムアプリケーション２７３０は、システムメモリ２７１６またはディスクストレージ２７２４に格納されているプログラムモジュール２７３２およびプログラムデータ２７３４を通じてオペレーティングシステム２７２８により資源の管理を利用する。本発明は、様々なオペレーティングシステムまたはオペレーティングシステムの組み合わせで実施できることは理解されるであろう。

ユーザは（複数の）入力デバイス２７３６を使用してコマンドまたは情報をコンピュータ２７１２に入力する。入力デバイス２７３６は、限定はしないが、マウスなどのポインティングデバイス、トラックボール、ペン、タッチパッド、キーボード、マイク、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、ＴＶチューナーカード、デジタルカメラ、デジタルビデオカメラ、Ｗｅｂカメラなどを含む。これらの入力デバイスやその他の入力デバイスは、（複数の）インターフェースポート２７３８を介してシステムバス２７１８を通じて処理ユニット２７１４に接続する。例えば、（複数の）インターフェースポート２７３８には、シリアルポート、パラレルポート、ゲームポート、およびユニバーサルシリアルバス（ＵＳＢ）がある。（複数の）出力デバイス２７４０は、（複数の）入力デバイス２７３６と同じ種類のポートのうちいくつかを使用する。したがって、例えば、ＵＳＢポートは、コンピュータ２７１２に入力し、コンピュータ２７１２からの情報を出力デバイス２７４０に出力するために使用することができる。出力アダプタ２７４２が備えられており、特別なアダプタを必要とする他の出力デバイス２７４０のうちモニタ、スピーカ、およびプリンタなどいくつかの出力デバイスがあることを示している。出力アダプタ２７４２は、例えば、限定はしないが、出力デバイス２７４０とシステムバス２７１８とを接続する手段となるビデオおよびサウンドカードを含む。他のデバイスおよび／またはデバイスのシステムは（複数の）リモートコンピュータ２７４４などの入出力機能を備えることに留意されたい。

コンピュータ２７１２は、（複数の）リモートコンピュータ２７４４などの１つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク接続環境で動作させることができる。（複数の）リモートコンピュータ２７４４は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ワークステーション、マイクロプロセッサベースの機器、ピアデバイス、またはその他の共通ネットワークノードなどとすることができ、通常は、コンピュータ２７１２に関係する上述の要素の多くまたはすべてを含む。簡単のため、メモリストレージ２７４６のみ（複数の）リモートコンピュータ２７４４と共に例示されている。（複数の）リモートコンピュータ２７４４は、ネットワークインターフェース２７４８を通じてコンピュータ２７１２に論理的に接続され、通信接続２７５０を介して物理的に接続される。ネットワークインターフェース２７４８は、ローカルエリアネットワーク（ＬＡＮ）およびワイドエリアネットワーク（ＷＡＮ）などの通信ネットワークを含む。ＬＡＮ技術には、Ｆｉｂｅｒ Ｄｉｓｔｒｉｂｕｔｅｄ Ｄａｔａ Ｉｎｔｅｒｆａｃｅ（ＦＤＤＩ）、Ｃｏｐｐｅｒ Ｄｉｓｔｒｉｂｕｔｅｄ Ｄａｔａ Ｉｎｔｅｒｆａｃｅ（ＣＤＤＩ）、Ｅｔｈｅｒｎｅｔ（登録商標）／ＩＥＥＥ１１０２．３、Ｔｏｋｅｎ Ｒｉｎｇ／ＩＥＥＥ１１０２．５などがある。ＷＡＮ技術には、限定はされないが、２地点間接続リンク、統合サービスデジタル通信網（ＩＳＤＮ）などの回線交換ネットワークとその変種、パケット交換ネットワーク、およびデジタル加入者回線（ＤＳＬ）などがある。

（複数の）通信接続２７５０とは、ネットワークインターフェース２７４８をバス２７１８に接続するために使用されるハードウェア／ソフトウェアのことである。通信接続２７５０はわかりやすくするためにコンピュータ２７１２内に示されているが、コンピュータ２７１２の外部にあってもかまわない。ネットワークインターフェース２７４８の接続に必要なハードウェア／ソフトウェアには、例示的な目的のみで、例えば、通常の電話グレードのモデム、ケーブルモデム、およびＤＳＬモデムを含むモデム、ＩＳＤＮアダプタ、およびＥｔｈｅｒｎｅｔ（登録商標）カードなどの内部および外部技術がある。

図２８は、本発明との相互やり取りが可能なコンピューティング環境２８００の実施例を示す概略ブロック図である。システム２８００は、１つまたは複数のクライアント２８１０を備える。（複数の）クライアント２８１０は、ハードウェアおよび／またはソフトウェア（例えば、スレッド、プロセス、コンピューティングデバイス）とすることができる。システム２８００は、さらに、１つまたは複数のサーバ２８３０も備える。サーバ２８３０も、ハードウェアおよび／またはソフトウェア（例えば、スレッド、プロセス、コンピューティングデバイス）とすることができる。サーバ２８３０は、例えば、本発明を採用することにより変換を実行するスレッドを置くことができる。クライアント２８１０とサーバ２８３０との間で可能な通信の１つは、２つまたはそれ以上のコンピュータプロセス間で伝送されるように適合されたデータパケットの形であってよい。システム２８００は、（複数の）クライアント２８１０と（複数の）サーバ２８３０との間の通信を容易に行えるようにするために採用されることができる通信フレームワーク２８５０を含む。（複数の）クライアント２８１０は、（複数の）クライアント２８１０のローカルにある情報を格納するために使用できる１つまたは複数のクライアントデータストア２８６０に動作可能なように接続される。同様に、（複数の）サーバ２８３０は、（複数の）サーバ２８３０のローカルにある情報を格納するために使用できる１つまたは複数のサーバデータストア２８４０に動作可能なように接続される。

上述した内容は、本発明の複数の実施例を含む。もちろん、本発明を説明するためにコンポーネントまたは方法の考えられるすべての組み合わせを説明することは不可能であるが、当業者であれば、本発明の他の多くの組み合わせおよび置換が可能であることを理解できるであろう。したがって、本発明は、各請求項の精神と範囲内に収まるすべてのそのような変更、修正、および変更形態を包含することが意図されている。

Claims (2)

1. 少なくとも１つのプロセッサの動作によって実行され、ユーザへの通知を制御する方法であって、
   ユーザのアクティビティをモニタするステップと、
   前記ユーザのアクティビティに基づいてユーザのアテンション状態を判定するステップと、
   ユーザの現在の注目の的のディスプレイ上の位置を判定するステップと、
   前記ユーザのアクティビティを分析するアテンションモデルを構築するステップであって、前記アテンションモデルは、アテンション状態にあるユーザがタスクまたは通信イベントにより中断されるコストを捕捉するユーティリティを考察する、ステップと、
   前記アテンションモデルで生成されたユーティリティに少なくとも部分的に基づいて、ワークスペース内に情報アラートを動的に配置するステップと
   を含むことを特徴とする方法。
2. 入来する知覚情報のストリームを条件として、それぞれのアテンション状態の公算により重み付けされた、ユーティリティの総和を計算することにより割り込みの予想コスト（ＥＣＩ）を計算するステップをさらに含み、該予想コスト（ＥＣＩ）は、以下の式で表されることを特徴とする請求項１に記載の方法。
   

   

   ここで、
   ｕ（Ｄ_i，Ａ_j）は、ユーティリティ、
   Ａ_jは、アテンション状態、
   Ｄ_iは、タスクまたは通信イベント
   ｐ（Ａ_j｜Ｅ）は、証拠ストリームＥを条件とするアテンション状態の確率である。

Images