【発明の詳細な説明】 触覚刺激によって強調された仮想現実を示す方法と、この方法を 実行するシステム発明の分野 本発明は、データ処理システムのユーザが仮想現実環境中を動き回ることを可能にし、ユーザが操作する制御装置に応じて視覚ディスプレイにおいて前記仮想現実環境の視覚表現の連続物を発生することを具える方法に関係する。背景技術 しばらくの間、映画製作者は、視覚表現の印象は、音のような他の感覚の知覚に関する刺激と組み合わせた場合、強調されるという事実を認識してきた。ある映画は、観客が、スクリーン上に表示される動きに同期して動かされる台に腰掛ける環境において上演された。例えば、ローラコースタに乗る映画の上映は、観客に本当に乗っている感じを与えるために、傾き、振動する台が加えられ、地震についての映画の上映は、不可聴音を使用し、観客を物理的に振動させる。しかしながら、観客は、示されているビデオ情報を越える影響も、前記台の傾きまたは振動を越える影響も受けない。 曲芸飛行シミュレータの状態は、ビデオ情報を、操縦席を有する実物大模型のコックピットを収容する台の傾けと組み合わせて使用する。ここで、前記コックピット内の人は、前記操縦席の制御を通じて、前記台の動きおよび表示される前記ビデオ情報の双方を誘導する。飛行経路の選択は、示される前記ビデオ情報を決定し、傾き角は、人が席と共に飛行することによる慣性として感じられる重力の方向を決定する。これらのシステムの使用、開発および保守は、極めて費用が掛かり、大規模な娯楽または専門的な使用に対してのみ商業的に利用できることは明らかである。 ジェイコブズ、他に対する米国特許明細書５４５９３８２号は、６つの自由度を有する仮想現実環境における触覚フィードバックを与える方法を記載している。インタフェース装置においてユーザによってもたらされる実際の動き制御に応じて、最初に、仮想現実力場発生器を活性化し、この仮想現実力場発生器は、力信号を前記インタフェース装置に戻って発生させる。保守的な力場の定義によって、ユーザに後に実世界において実行しなければならない操作を訓練させるように、種々の形式の力フィートバックをユーザに対してエミュレートすることができる。しかしながら、前記参考文献は、より複雑な実生活の操作を形成する予期しない、特に、動的な妨害の訓練を考慮していない。さらに、前記参考文献は、娯楽システムに適当であるような完全な仮想現実よりも、実世界をシミュレートすることに主に関係する。発明の要約 したがって、とりわけ、本発明の目的は、ユーザが、特に、このような予期しない妨害を処理しなければならない、強調された仮想現実を体験できるようにする低費用な方法を提供することである。他の目的は、マルチメディア環境におけるこのような方法を提供することである。 ここで、その態様の１つにより、本発明による方法は、前記操作される制御装置に関係するフィードバックメカニズムを経て、利用可能な触覚刺激によるデータベースから予めプログラムされた動的な触覚刺激を、ユーザに、選択的で、発生された前記視覚表現の連続物の実際の間隔に結合した制御の下で与えることを特徴とする。本発明者は、視覚と、あるいは聴覚の刺激に加えられた場合、触覚刺激、特に、動的な刺激は、ビデオゲームにおけるような仮想現実風景に実際に入り込むユーザの印象に大きく寄与することができると認識している。ビデオおよび／またはグラフィックスを使用し、種々の視点から特定の風景の視覚表現を形成する。この視覚表現を、前記制御装置によって、ユーザが前記風景を通って動いているかのように変化させる。前記ディスプレイに表示される視覚表現は、前記制御装置によって選択された面における前記仮想風景のマッピングである。触覚テクスチャを前記ビデオ情報に結合する。前記視覚表現と同様に、触覚表現は、前記仮想現実風景におけるイベントに予め割り当てられた属性の、前記制御装置へのマッピングである。前記ディスプレイに示される仮想環境を通って動く場合、ユーザは、前記コントロール装置を通じて前記仮想環境内の個々の表面領域または物体から関係するテクスチャまたは他の刺激を感じ、これらが実際に存在する印象が強められる。 触覚フィードバックを与える制御装置は、すべて本譲受人に譲渡された欧州特許出願第４８９４６９号と、対応する米国特許出願第０８／６７８，１１５号と、未公開の欧州特許出願第９５２００５９９．９号と、対応する米国特許出願第０８／６１５，５５９号において開示されている。これらの出願は、回転部材をユーザによって操作され、正および負のトルクを与えるようにソフトウェア制御の下で電気モータによって駆動もされる、トラックボールおよびコンピュータマウスを開示している。これらの装置を使用し、ディスプレイ上に示されている迷路を通ってカーソルを誘導する触覚刺激を与える。前記正および負のトルクは、前記回転部材の動きが、示されている固定された経路に束縛されているかのような、正および負の反力としてユーザに体験される。前記触覚フィードバックは、前記スクリーン上のカーソルの特定の絶対座標に関係する。 本発明における前記触覚刺激を、前記仮想風景の視覚表現の少なくとも特定の１つの発生の制御の下で、予め決められた画像サブ領域における前記制御装置の実際の指示方向と組み合わせて発生させる。特定の画素パターンまたはテクスチャ、特定の色、または、特定の階調の発生には、１つまたはそれ以上の特定の触覚刺激が伴う。この視覚および触覚の統合を利用し、ユーザに、触覚刺激と、前記仮想現実風景における物、領域またはイベントとを関係させるようにする。代わりに、または追加に、本発明における前記触覚刺激を、前記連続物においてある視覚表現が互いに連続するレートに応じて発生させる。この組み合わせを用いて、ユーザに、前記触覚刺激を、ユーザが前記仮想現実風景を通って動く速度に関係させる。 例えば、ビデオ記録は、複数の位置および複数の角度によってリアルな風景になる。このビデオデータを使用し、ユーザに、前記風景を通って動く場合、ディスプレイにおいて仮想現実の種々の視覚表現の特定のものを与える。すなわち、全体として表示された画像を、ユーザが動く場合、あたかも動いている車の風よけガラスを通しているかのように知覚されるように変化させる。ユーザは、例えば、力フィードバックを与える特徴を設けたマウス、トラックボールまたはジョイスティッククを制御することによって、この仮想現実中を動き回ることができる。触覚刺激を、前記視覚表現に関係させる。芝生の視覚表現を、芝生を横切って動く場合に前記マウスまたはトラックボールを通じて感じられる僅かな抗力に結合する。玉石の路の印象は、前記仮想現実風景を通ってより速く動くと、より素早く変化する交互の引く力および押す力の連続によって喚起される。木の表現は、入り込めない物体として感じられる。湖を、くぼみと、動く場合の動的な波の抵抗パターンとによって表す。指向性を有する抵抗は、上り坂を行く印象や、強風の中を行く印象、等を与える。 前記仮想現実風景中の物体またはイベントに関連付けられたこれらの触覚刺激を、例えば、ユーザが、上述した種類の１つまたはそれ以上の制御装置を制御することによって仮想風景中を横断して（仮想）モータバイクに乗らなければならないビデオゲームにおいて使用する。前記風景は、泥、草、ゆるい砂、玉石、やぶ、凍った地下のような、テクスチャ（堅さ、平坦さ）および程度に関して異なった形式の表面と、木、石壁、丘、川、溝、羊の群れ、柵、等のようなすべての種類の障害物とを有する。個々の瞬時において表示されている前記風景の関連した領域は、前記風景に関する前記バイクの実際の方向および位置に依存する。 上記触覚刺激は、前記仮想風景における場所または方向のような空間特性に対応する。時間特性を有する触覚刺激または条件付き触覚刺激を与えることもできる。前記仮想モータバイクの例において、前記モータバイクを制御できないようにしようとする付随して起こる突風は、前記制御装置によってユーザに加えられる持続する不意の横向きの反力によって表される。条件付き触覚刺激を、近づき過ぎて通り過ぎる場合に（仮想の）怒った農夫によって投げられたトマトをシミュレートするような、不規則で小さな衝撃の発生とすることができる。 触覚刺激が仮想現実に新たな次元を与え、実際にもたらされるユーザの感覚を大幅に増加させることは明らかである。ソフトウェアアプリケーションにおけるビデオ、オーディオおよび触覚刺激の相乗作用的組み合わせは、マルチメディアアプリケーションの概念を大幅に拡張する。ビデオゲームだけでなく、（半）専門的な用途も、触覚拡張から利益を得ることができる。例えば、モータサイクル用の新規のサスペンションのコンピュータモデル、または、車両用の新規のステアリングジオメトリのコンピュータモデルに本発明を使用し、前記サスペンションまたはステアリングの、すべての種類の地形における、すべての種類の速度における第１印象を与えてもよい。図面の簡単な説明 本発明を、さらに詳細に、添付した図面の参照と共に例として説明する。 図１は、本発明におけるシステムのブロック図である。 図２−４は、ビデオおよび触覚刺激を結合するソフトウェアアプリケーションの一例における種々のイベントを説明する。 図５は、本発明の第１のジオメトリ図である。 図６は、本発明の第２のジオメトリ図である。 これらの図を通じて、同じ参照符は、同様のまたは対応する特徴を示す。詳細な実施例 図１は、本発明によるデータ処理システム１００の図である。システム１００は、ディスプレイ１０２、制御装置１０４およびデータ処理装置１０６を具える。制御装置１０４は、例えば、公開された欧州特許出願第０４８９４６９号において開示されている１つまたはそれ以上の装置を具える。装置１０４の操作は、装置１０６を経て、ディスプレイ１０２に示される画像または画像の連続物を制御する。装置１０６は、装置１０４に、ユーザによって触覚的に感じられる刺激を発生する制御信号を供給する。これらの信号は、ディスプレイ１０２に実際に示される前記画像と予め決められた関係を有する。 装置１０６は、ディスプレイ１０２に、仮想現実風景を表すビデオおよび／またはグラフィックスデータを供給する。前記風景の視覚表現は、制御装置１０４の操作に応じて変化する。装置１０４の操作は、前記風景の中を通って移動する印象を与える。例えば、連続する画像を、遠近変化を通じて、または、変位変化を通じて相互に関係させる。 装置１０６は、前記制御信号も発生し、制御装置１０４を通じて触覚刺激フィードバックをユーザに喚起させる。前記制御信号を、前記仮想現実風景を通る運動、または、前記仮想現実風景におけるあるイベントの発生に同期して発生し、すなわち、前記制御信号は、画像の連続物に関係する。したがって装置１０６は、ビデオまたはグラフィックスデータを触覚データに結合するように作用し、後者は前記制御信号の発生を決定する。前記触覚データおよびビデオデータの同時の供給を、個々の画像、または、個々の画像の連続物の発生に個々の触覚フィードバックが伴うという意味で予め決定する。これを、例えば、慣例的なビデオゲームにおいてビデオまたはグラフィックスデータにオーディオデータを伴わせるのとほぼ同じように実現する。本発明によるシステムのユーザは、前記ビデオデータを相互作用的に選択することができ、このとき対応する触覚データは、自動的に発生する。例えば、このとき、より素早い画像の連続物は、関係する触覚刺激のより素早い連続物をもたらす。 さらに特に、システム１００は、制御装置１０４の制御の下で前記視覚表現を発生するためのビデオデータを格納する第１格納手段１０８と、前記ビデオデータとの予め決められた関係において前記触覚刺激の発生を制御するための触覚データを格納する第２格納手段１１０とを具える。第１および第２格納手段１０８および１１０を、好適には、互いに物理的に統合し、前記触覚データを、好適には、前記ビデオデータに論理的に結合する。滑らかに動く画像を形成するために、ビデオデータスループットを相対的に高くする必要がある一方、触覚刺激は、代表的に低周波数信号であるため、聴覚データのスループットはビデオデータのスループットより低い。前記統合は、前記ビデオデータと、前記ビデオデータと論理的に結合された触覚データとの読み出しを、望ましくない、時間を浪費する前後関係の切り替えによってビデオデータの流れを実際的に妨げることなく行わせる。これを達成する１つの方法は、例えば、触覚データをいくつかのビデオデータ記録に合併し、前記触覚データを読み出しに応じるだけで確認し、前記触覚データを参照表１１２に供給することである。このとき、前記触覚データは、制御装置１０４において前記触覚刺激の発生を制御する正しい信号である。好適には、参照表１１２をユーザがプログラムできるようにし、前記触覚フィードバックの選択または調節を可能にする。好適には、格納手段１０８および１１０を、１つの情報キャリヤ１１４、すなわちディスケットまたはＣＤのようなカートリッジにおいて互いに統合する。このとき、システム１００を、キャリヤ１１４を単純に交換することによって、異なったソフトウェアアプリケーションに用いることができる。 図２−４は、上述した種類のビデオゲームのスナップショットのいくつかの例を示し、ここで、ユーザは、モータサイクル２００上の警官の役割を演じると仮定する。ユーザは、このゲームと、仮想現実風景中のモータサイクル１００の速度および方向を制御装置１０４を通じて相互作用する。制御装置は、例えば、方向制御用の第１のトラックボールまたはジョイスティックと、速度制御用の第２のトラックボールまたはジョイスティックとを具え、これら速度コントローラおよび方向コントローラの双方にフィードバック手段を設ける。前記警官は、侵入者２０４、２０６、２０８および２１０によって運転される車両２０２を追跡する。侵入者２０４−２１０は、死に物狂いで、法の手から逃れ、彼らのトラック２０２を前記風景中で乱暴に運転しようとする。前記風景は、追跡が続くに連れて変化する。このゲームの終わりは、例えば、前記侵入者が逃げ延びるか、ユーザが前記トラックのライセンスプレート２１２を読み取れるほど近づく、すなわち、プレート２１２が読み取れる文字において表示された場合である。好適には、モータサイクル２００のビデオ表現を、モータサイクル２００に乗っているユーザ自身の印象を制御装置１０４を経て強調する方向の変化と同時発生的に、前記風景における垂直および水平軸に関して傾けるように形成する。 図２において、モータサイクル２００は、ゆるい砂のでこぼこ道を疾走するトラック２０２を捕まえようとしている。ゆるい砂を通る予め決められたラインに沿ってモータサイクルに乗るのは、後輪がよろめき始め、前記モータサイクルをコース外に投げ出そうとする傾向があり、操縦には方向を変える時にハンドルバーに相当のトルクを加える必要があるため、困難である。これを、制御装置１０４において、システム１００によって、ユーザの手に、例えば、速度および傾き角に応じて交互に横力を加えることによって感じさせる。したがって、ユーザは、モータサイクル２００を正確に制御し、同時に、トラック２０２を正確に見るために、極めて懸命に集中しなければならない。 図３において、モータサイクル２００に、どんよりした秋の日に、夕暮れ時（夕食時）の霧雨の中を、制御装置１０４において突然の衝撃として感じられるでこぼこおよびくぼみと、道が凹んでいる場所に集まる傾向があり、制御装置１０４において抵抗の突然の喪失として感じられる落ち葉とを有する道に沿って乗る。 図４において、モータサイクル２００は、街路に沿ってトラック２０２を追跡している。侵入者２１０は、この目的のためにトラックのトランクに積んであるトマト、スペアホイールおよび他の物のような物を、前記警官に投げて当てようとする。そのため、モータサイクル２００をコース上に保つのに加えて、ユーザは、そうしなければ前記モータサイクルの風よけガラスに当たり、ユーザの視界を妨げるかもしれず、またはより悪く、モータサイクル２００が前記トラックに完全にまかれてしまうかもしれない投射物４０２、４０４および４０６を回避しなければならない。 図２および３の下に導入した触覚刺激は、空間的特性、すなわち、前記風景におけるいくつかの領域の仮想テクスチャに関係することに注意されたい。図４における触覚刺激は、あるイベントが一致する状況の発生に依存するという条件付きで形成され、すなわち、前記触覚刺激を発生するために、投射物４００およびモータサイクルの双方が、前記仮想現実風景における同じ位置を同時に占める。空間的および条件付き触覚刺激に加えて、時間的触覚刺激を導入してもよい。例えば、モータサイクル２００のフロントタイヤが損傷を受け、その結果として空気圧を失ってもよい。このときモータサイクル２００の操作は、増加して困難になり、これは、制御装置１０４において、大きさが増加するぐらぐらする反力として感じられる。さらに、例えば、制御装置１０４を操作するユーザにおける反力の減少によって、前記仮想現実風景を通る道の舗装が時間と共に増加して滑り易くなるように感じさせることができる。 このテーマにおける変形および改良は多様である。視覚および触覚刺激を統合するソフトウェアアプリケーションは、上記良い人／悪い人シナリオを完全に越えて広がる。後者のシナリオの代わりとして、以下のものが考えられる。触覚刺激を、横断走行、障害物競争または発見旅行において異なった形式の地形における障害物をどのように処理するかに関係するビデオゲームにおいて使用することができる。触覚刺激を、荒れた水域でカヌーを漕ぐこと、または、嵐の仲で船を給油装置に停泊させることに関するビデオゲームにおいて波をシミュレートするのに使用することができる。起伏のある地表と障害物の上でのヘリコプタの低空飛行に関係するビデオゲームにおいて、触覚的合図を、現実においてこの形式の航空機において固有である振動を伝えるのに使用してもよい。 代わりに、前記ビデオデータに伴う触覚データを、前記仮想現実風景の中を通って動く場合、実時間において計算してもよい。この方法を、例えば、専門的または半専門的環境において、車両のサスペンションシステムまたはステアリングジオメトリに関するコンピュータモデルを試験する場合に使用することができる。本発明の使用は、あらゆる種類の地形における、あらゆる種類の速度における前記サスペンションの挙動の第１印象を提供する。したがって、開発者は、後の実際の試験に対して、最高の性能のコンピュータ試験を記述するパラメータ値の意図的な選択を行うことができる。 上記例は、触覚刺激をビデオおよびオーディオ情報に加えることによる仮想現実の強調された形態を単に説明する。上記例は、本発明の範囲を限定しようとするものでは決してない。触覚刺激の他の実現化 ビデオフィルムにおいて現れるような疑似世界内の体験の形成および強調において、多数の触覚領域を、聴覚および視覚イメージとの結合において使用することができる。例えば、仮想現実環境中を動くのと同様に、リンクされたビデオ情報中を空間的に動き回ることができ、種々の聞かれ、見られ、感じられる物体に出合うことができる。特定の物体に関する触覚表現は、該物体の表面の表現を越えて拡張してもよい。動的領域を、特定の感覚または体験を連想させる触覚情報を使用して形成することができる。これらを、ユーザを示唆された動きの方向に導くのに使用することもできる。前記領域を、力フィードバックを有する３−Ｄトラックボールのような装置を通じて力フィードフォワード（能動の、手に依存しない装置の動き）およびフィートバックを使用して表してもよい。さらに、２つまたはそれ以上の動的触覚領域を組み合わせて、新たな体験を形成することができる。（例えば、ビデオソースからの）音響効果が、触覚効果に伴ってもよい。動的触覚領域のいくつかの例を、以下に説明する。“コンベヤベルト” コンベヤベルトは、動く移動台のように作用する。ユーザが前記コンベヤベルトの範囲に入ると、前記入力装置（例えば、トラックボール）は動き始め、ユーザを予め指定された位置に導く。この動きを、前記入力装置を加速させる一定の力の使用を基礎とすることができる。代わりに、後者の動きを、時間を基礎とすることもできる。この時間を基礎とするモードにおいて、ユーザがａ点からｂ点に移動すべき時間が特定される。前記装置における力の量を、実時間において調節し、必要な値における平均速度、所定の時間および距離を保持する。“でこぼこ道” でこぼこ道は、２つの結合された触覚領域、“道領域”および“テクスチャ領域”から成る。前記道は、力をフィードバックする壁を与えることによって、ユーザを予め指定されたコースに沿って導く。ユーザは、道幅を感じることもできる。前記コンベヤベルトと違って、前記装置は独力では動かず、ユーザは、感じられる経路を受動的にたどることができる。前記テクスチャ領域を調節し、所定の強度における“でこぼこ”感覚を与えることができる。“でこぼこ”の制御−画素間隔を、ｘおよびｙ方向において特定することもできる。２つ以上のテクスチャ領域を１つの道に使用することによって、ユーザが該道に沿って動くにつれて前記テクスチャを変化させることができる。でこぼこ上での動きに関連付けた音を、前記感じられるでこぼこに同期して使用し、この体験を強調することも行われている。“渦巻き効果” 竜巻または渦巻き効果を形成し、“穴”に落ちる体験を強調することができる。ユーザは、効果を見て聞くことができ、前記装置（例えば、ボール）が旋回するようなモードに入るのを感じることができる。前記効果を使用し、極めて詰まった渦巻きを使用することによって振動を形成することもできる。力を基礎とするコンベヤベルトConvF.F.x = F * cos(alpha)ConvF.F.y = F * sin(alpha) ここで、ConvF.F.を、２つの要素ｘおよびｙから成る、（力を基礎とする）コンベヤベルト物体に加えられる力ベクトルとし、ｆ（ユーザ変数）を力の大きさとし、alpha（ユーザ変数）を該コンベヤが回転する角度とする。時間を基礎とするコンベヤベルトConvT.F.x = F * cos(alpha)ConvT.F.y = F * sin(alpha) ここで、ConvT.F.を、２つの要素ｘおよびｙから成る、（時間を基礎とする）コンベヤベルト物体に加えられる力ベクトルとし、alpha（ユーザ変数）を該コンベヤが回転する角度とし、F = kp * errorP + kd * deltaerrorP + kl * integralerrorP ここで、kp、kdおよびkiには、各々代表的な値、４８、１６および０．０１を入れ、errorP = length(DC - CP) ここで、errorPを、個々の動きにおける所望のカーソル位置DPと現在のカーソル位置CPとの差とし、DP = a -(elapsedtime)/(totaltime)*(b-a) ここで、ａを、該コンベヤベルトが動きだした時のカーソル位置とし、ｂを、前記カーソルが向かって動くべき位置とし、totaltime（ユーザ変数）を、前記カーソルの動きが費やすべき時間の量とし、deltaerrorP = errorP -(errorP の以前の値) ここで、integralerrorP = これまでに計算されたすべてのerrorP値の和とし、errorPおよびintegralerrorPを、各々範囲［−２５，２５］および［−５０００，５０００］に保持する。道物体road.F.x = F * s * sin(alpha)road.F.y = F * s *(-cos(alpha)) ここで、road.Fを、２つの要素X およびY から成る、該道物体に加えられる力ベクトルとし、F を力の大きさとし、alpha を該道が回転する角度とし、 1,カーソルがセクションA にある場合s = 0,カーソルがセクションB にある場合 -1,カーソルがセクションC にある場合とする。テクスチャ物体texture.F.x = -w.x * F * ktexture.F.y = -w.y * F * k ここで、texture.F を、２つの要素X およびY から成る、該テクスチャ物体に加えられる力ベクトルとし、F を力の大きさとし、w - v の単位ベクトル ここで、v =（現在のカーソル位置）-（kが1 に等しい最後の時のカーソル位置）とし、k = 1，abs(v.x) > Gx またはabs(v.y) > Gy の場合k = 0,その他の場合 ここで、Gxを、該テクスチャのＸ方向における粒状度とし、Gyを、該テクスチャのｙ方向における粒状度とする。渦巻きswirl.F.x = F * Cx * sin(2*pi * f/t)swirl.F.y = F * Cy * cos(2*pf * f/t) ここで、swirl.F を、２つの要素X およびY から成る、該渦巻き効果中に加えられる力ベクトルとし、ｆを該渦巻きの周波数とし、t(0 ≦ t ≦d)を現在時間とし、d を該効果の持続時間とし、F = m1 + t/d *(m2-m1)とし、 ここで、m1およびm2を、各々、振幅に影響を与える勾配作用の起点および終点を表す定数(0≦m1≦1，0≦m2≦1)とする。DETAILED DESCRIPTION OF THE INVENTION How to show virtual reality enhanced by tactile stimuli and how to System to runField of the invention The present invention allows a data processing system user to move around in a virtual reality environment.The virtual display on the visual display according to the control device operated by the user.It relates to a method comprising generating a continuum of visual representations of a real environment.Background art For a while, filmmakers have found that the impression of visual expression is the perception of other sensations such as soundI have recognized the fact that when combined with the stimulus about, it is emphasized. is thereThe movie sits on a platform where the audience is moved in synchronization with the motion displayed on the screenPerformed in a live environment. For example, to watch a movie on a roller coaster,Tilt and vibrating tables were added to give the passengers a real rideFilm shows about using inaudible sounds and physically vibrating the audience. OnlyHowever, the spectator may notice that the effects beyond the video information shown areIs not affected beyond vibration. The status of the aerobatic flight simulator is based on the video information,Used in combination with the tilt of the table that houses the cockpit. Where the cockThe person in the pit, through the control of the cockpit, moves the platform before it is displayed andGuide both video information. The selection of the flight path depends on the video information shownDetermined, the tilt angle is the gravity perceived as the inertia of a person flying with the seatTo determine the direction. The use, development and maintenance of these systems is extremely costly.Be commercially available only for hanging, large-scale entertainment or professional useIs clear. U.S. Pat. No. 5,459,382 to Jacobs, et al. Has six degrees of freedom.Method for providing haptic feedback in a virtual reality environment with. Responds to the actual motion control provided by the user at the interface device.First, a virtual reality force field generator is activated, and this virtual reality force field generatorA signal is generated back to the interface device. By defining a conservative force field,To train the user in operations that must be performed later in the real world.In addition, various forms of force feedback can be emulated to the user.Wear. However, the references do not anticipate forming more complex real-life operations.Does not specifically consider dynamic disturbance training. Further, the reference is:Simulate the real world rather than full virtual reality as would be appropriate for an entertainment systemMainly related to doing.Summary of the Invention Therefore, among other things, the purpose of the present invention is toTo experience the enhanced virtual reality, which must deal with no disturbanceTo provide a low cost method. Another purpose is in a multimedia environment.It is to provide such a method. Here, according to one of its aspects, the method according to the invention comprises the actuated control device.Data from the available tactile stimuli via the device-related feedback mechanism.Users can selectively and dynamically generate dynamic pre-programmed haptic stimuli from the database.Providing under control coupled to the actual spacing of the continuum of said visual representation producedFeatures. The inventor has found that when applied to visual or auditory stimuli, tactileStimuli, especially dynamic stimuli, can actually create virtual reality scenes, such as in video games.We recognize that it can greatly contribute to the impression of a user who enters. VideoAnd / or graphics to create a visual representation of a particular landscape from various perspectivesForm. The control device allows the user to view the visual expression through the landscape.Change as if it were moving. The visual expression displayed on the display is4 is a mapping of the virtual landscape on a surface selected by the control device.Haptic textures are combined with the video information. Tactile expression, similar to the visual expressionThe control of attributes pre-assigned to events in the virtual reality landscapeThis is the mapping to the device. Move through the virtual environment shown on the displayIf so, the user can access individual surface areas in the virtual environment through the control device.Feel relevant textures or other stimuli from the area or object that are actually presentThe presence impression is strengthened. All controls that provide haptic feedback shall be assigned to the European assigneeNo. 489469 and corresponding US patent application Ser. No. 08 / 678,115., Unpublished European Patent Application No. 95200599.9 and corresponding US Patent Application No.08 / 615,559. These applications use rotating components.Software controlled by user to provide positive and negative torqueTrackball and computerThe mouse is disclosed. Using these devices, strays shown on the displayGive a tactile stimulus that guides the cursor through the road. The positive and negative torques areAs if the movement of the rotating member was constrained to the fixed path shownIt is experienced by the user as a positive, negative and positive reaction force. The haptic feedback isRelated to the specific absolute coordinates of the cursor on the screen. The tactile stimulus according to the present invention may include at least a specific visual representation of the virtual landscape.Under the control of one occurrence, the control device in a predetermined image sub-regionGenerated in combination with the actual pointing direction. A specific pixel pattern or textureOne or more specific touches may be required to generate a color, a specific color, or a specific gradation.A sense of stimulus accompanies. Utilizing this visual and tactile integration, users can be tactileThe object, the area, or the event in the virtual reality scene is related. TeensAlternatively or additionally, the tactile stimulus of the present invention may be applied to the continuum.Visual expressions are generated according to successive rates. Using this combinationProviding the user with the tactile stimulus at a speed at which the user moves through the virtual reality landscape.Make it relevant. For example, video recordings can be used to create realistic scenes with multiple locations and multiple angles.Become. Using this video data, the user can move through the landscapeThe spray gives a particular of various visual representations of virtual reality. That is,If the user moves the image displayed as a whole, it is like the wind of a moving car.It is changed so that it is perceived as if through a glass. The user, for example,For example, a mouse, trackball or job with features that provide force feedbackYou can move around in this virtual reality by controllingYou. A tactile stimulus is associated with the visual representation. Lawn visual representation, across the lawnThe slight drag felt through the mouse or trackball when movingJoin. The faster you move through the virtual reality landscape, the more the cobblestone road impressionEvoked by a series of rapidly changing alternating pulling and pushing forces. Tree expressionIs felt as an inaccessible object. Lakes, hollows and dynamic waves as they moveAnd a resistance pattern of The resistance with directivity has the impression of going uphill,Gives the impression of going in strong winds, etc. These tactile stimuli associated with objects or events in the virtual reality landscapeFor example, the user controls one or more control devices of the type described above.Have to ride a (virtual) motorbike across the virtual landscapeNot used in video games. The landscape includes mud, grass, loose sand, boulders,Different in texture (stiffness, flatness) and degree, such as snow, frozen undergroundSurfaces, such as trees, stone walls, hills, rivers, ditches, flocks of sheep, fences, etc.With different types of obstacles. Related to the landscape being displayed at each momentThe area that is dependent on the actual orientation and position of the motorcycle with respect to the landscape. The tactile stimulus is sensitive to spatial characteristics such as location or direction in the virtual landscape.Respond. Tactile stimuli with time characteristics or conditional tactile stimuli can be givenYou. In the virtual motorbike example, the motorbike cannot be controlled.An accompanying gust of wind is applied to the user by the controller.Is represented by a sustained unexpected side reaction. Approaching conditional tactile stimuliSpots tomatoes thrown by (virtual) angry farmer when passing byIrregular, small impacts can be generated. Tactile stimuli add a new dimension to virtual reality, creating a real sense of user perceptionIt is clear that the increase is significant. In software applicationsThe synergistic combination of video, audio and tactile stimuliSignificantly extends the concept of an application. Not only video games,Portal applications can also benefit from tactile dilation. For example, motorcycleA new suspension computer model for the vehicle or a new suspension for the vehicleThe present invention is applied to a computer model ofFor all types of speeds on all types of terrain, steering or steeringA first impression may be given.BRIEF DESCRIPTION OF THE FIGURES The invention will be described in more detail, by way of example, with reference to the accompanying drawings, in which: FIG. 1 is a block diagram of a system according to the present invention. Figure 2-4 shows a software application that combines video and tactile stimuli.Various events in one example will be described. FIG. 5 is a first geometry diagram of the present invention. FIG. 6 is a second geometry diagram of the present invention. Throughout these figures, the same reference signs indicate similar or corresponding features.Detailed examples FIG. 1 is a diagram of a data processing system 100 according to the present invention. System 100Comprises a display 102, a control device 104 and a data processing device 106. The control device 104 is, for example, disclosed in published European Patent Application No. 0489469.And one or more devices as disclosed. The operation of the device 104Via device 106, an image or sequence of images shown on display 102 is controlled.I will. The device 106 provides a stimulus to the device 104 that is tactilely felt by the user.Is supplied. These signals are actually displayed on the display 102.It has a predetermined relationship with the image shown. The device 106 displays on the display 102 a video and / orOr provide graphics data. The visual representation of the scene isIt changes according to the operation of. The operation of the device 104 moves through the landscapeMake an impression. For example, a series of images can be obtained through perspective changes or displacement changes.Through the interrelationship. The device 106 also generates the control signal and, through the control device 104, the tactile stimulus filter.Call back to the user. The control signal is transmitted through the virtual reality scene.Motion, or occurs in synchronization with the occurrence of an event in the virtual reality scene,That is, the control signal relates to a sequence of images. Thus, device 106Acts to combine video or graphics data with haptic data, andDetermines the generation of the control signal. Simultaneous haptic data and video dataSupply of individual images or individual haptic feeds to the generation of a sequence of individual images.It is determined in advance in the sense that a deback is involved. This can be done, for example, byVideo or graphics data with audio dataRealized almost in the same way as The user of the system according to the invention has theData can be selected interactively, and the corresponding haptic data is automaticallyOccurs. For example, at this time, the swift sequence of images isBrings intense and faster continuum. More particularly, the system 100 controls the visual representation under the control of the controller 104.First storage means 108 for storing video data to be generated;Tactile data for controlling the generation of the tactile stimulus in a predetermined relationship with theAnd second storage means 110 for storing data. First and second storage means 108And 110 are preferably physically integrated with each other, and the haptic data is preferablyAre logically coupled to the video data. To form a smoothly moving image, While the video data throughput needs to be relatively high,Typically, the audio data throughput is lower than the video data because of the low frequency signal.Lower than throughput. The unifying includes the video data and the video data.Undesirable and time-consuming reading with logically coupled haptic dataIn-context switching without actually interrupting the flow of video dataLet One way to achieve this is, for example, to convert haptic data to some video data.Data records, confirm the tactile data only by responding to the reading,To supply the data to the look-up table 112. At this time, the tactile data isThis is a correct signal for controlling the generation of the tactile stimulus in the control device 104. SuitablyMakes the look-up table 112 user programmable and allows the haptic feedbackAllows for selection or adjustment of work. Preferably, the storage means 108 and 110 areOne information carrier 114, a cartridge such as a diskette or CDMerge with each other At this time, the system 100 isUse for different software applications by simply swappingbe able to. FIG. 2-4 shows some examples of video game snapshots of the type described above.Where the user is supposed to play the role of cop on motorcycle 200Set. The user can use this game and the speed of the motorcycle 100 in the virtual reality scenery.Degrees and directions interact through the controller 104. The control device is, for example,A first trackball or joystick for direction control and a second trackball or joystick for speed controlWith a custom trackball or joystick.Feedback means are provided for both the direction controller. The cop breaks inA vehicle 202 driven by persons 204, 206, 208 and 210You. Intruders 204-210 are desperate, escaping from the hands of law and their trucksAttempt to drive the 202 violently in the landscape. As the landscape continues to trackChange. At the end of the game, for example, the intruder runs away orSo close that he can read the license plate 212 of the truck,That is, this is a case where the plate 212 is displayed with readable characters. PreferablyThe video representation of the motorcycle 200 to the user riding the motorcycle 200.Simultaneously with the change in the direction in which the user's own impression is emphasized via the control device 104,It is formed so as to be inclined with respect to the vertical and horizontal axes in the scene. Referring to FIG. 2, a motorcycle 200 runs on a bumpy road with loose sand.The rack 202 is about to be caught. On a predetermined line that passes through loose sandRiding along the motorcycle is because the rear wheels begin to stagger and the motorcycleThere is a tendency to throw off the course, and the steeringThis is difficult because it is necessary to apply considerable torque to the motor. This is called the control device 10At 4, the system 100 provides the user's hand with, for example, speed and tilt.It is made to feel by applying lateral force alternately according to the corner. Therefore, the user, Precisely control the motorcycle 200 and at the same time, see the truck 202 accuratelyIn order to do that, you have to concentrate very hard. In FIG. 3, the motorcycle 200 is overcast on a dull autumn day at sunset (During the drizzle (during dinner), the controller 104 can feel the sudden impact.There is a tendency for bumps and depressions to collect in places where the road is concave,Ride along the road with fallen leaves felt as a sudden loss of resistance at 4. In FIG. 4, a motorcycle 200 tracks a truck 202 along a street.doing. Intruder 210 is loading in the truck trunk for this purposeThrow things like tomatoes, spare wheels and other things to the copAnd Therefore, in addition to keeping the motorcycle 200 on the course,Otherwise hits the windshield of the motorcycle and gives the userOr worse, the motorcycle 200 may notAvoid projectiles 402, 404 and 406 that may be completely scatteredThere must be. The tactile stimuli introduced below FIGS. 2 and 3 have a spatial characteristic, ie,Note that it is related to virtual textures in some areas of the image. In FIG.Tactile stimulus in a subject depends on the occurrence of a situation where certain events coincideFormed, i.e., to generate the tactile stimulus,Both motorcycles occupy the same position in the virtual reality scene at the same time.In addition to spatial and conditional haptic stimuli, temporal haptic stimuli may be introduced. An exampleFor example, the front tires of the motorcycle 200 are damaged, and as a resultAtmospheric pressure may be lost. At this time, the operation of the motorcycle 200 increases and becomes difficult.This is due to the fact that in the control device 104 theI feel it. Further, for example, a countermeasure for a user who operates the control device 104Due to the decrease in power, the pavement of the road through the virtual reality scene increases with time and slipsIt can make you feel easier. Variations and improvements on this theme are varied. Integrated visual and tactile stimuliSoftware applications that completely transcend the above good / bad scenariosSpread. As an alternative to the latter scenario, the following can be considered. Tactile stingIntense in different types of terrain in crossing, obstacle competition or discovery tripsUse in video games related to how to deal with obstaclesCan be. Tactile stimulation canoe paddling in rough waters or boating during stormsSimulate waves in a video game about mooring refueling equipmentCan be used for Helicopter low above rugged surfaces and obstaclesIn video games related to flight, tactile cues areIt may be used to transmit vibrations that are inherent in aircraft. Instead, the tactile data accompanying the video data is passed through the virtual reality landscape., It may be calculated in real time. This method can be used, for example,Vehicle suspension system or steering in a semi-professional environmentCan be used to test computer models for geometry. The use of the invention can be used in all types of terrain, at all types of speedsA first impression of the behavior of the suspension is provided. Therefore, the developerParameter values that describe the best performing computer test relative to the actual testYou can make deliberate choices. The above example demonstrates virtual representation by adding tactile stimuli to video and audio information.The actual emphasized form is simply described. The above example seeks to limit the scope of the inventionIt is not something.Other realization of tactile stimulation In shaping and emphasizing experiences within the pseudo-world as it appears on video filmUse multiple tactile areas in connection with auditory and visual images.Can be. For example, linked video information, as well as moving through a virtual reality environmentIt is possible to move around spatially in the news, and to hear, see, and feel various objectsYou can meet. The haptic representation of a particular object transcends the representation of the surface of that object.May be extended. Tactile information that associates a dynamic area with a specific sensation or experienceCan be formed. These in the direction of movement suggested to the userCan also be used to guide. The area is defined as 3-D with force feedbackForce feed forward (active, hand-dependent) through devices such as trackballsNot device movement) and foot-back may be used. In addition, 2One or more dynamic tactile areas can be combined to form a new experienceit can. Sound effects (eg, from video sources) may be accompanied by haptic effects. Some examples of dynamic haptic regions are described below."Conveyor belt" The conveyor belt acts like a moving carriage. The user has said conveyor beltThe input device (eg, a trackball) begins to move once you enterGuides the user to a predetermined position. This movement is controlled by a constant acceleration of the input device.Can be based on the use of power. Instead, the latter movement is time-basedYou can also. In this time-based mode, the user moves from point a to point bThe time to move to is specified. The amount of force in the device is adjusted in real timeKnot and hold the average speed at the required value, the predetermined time and distance.“Bumpy road” The bumpy road is composed of two connected haptic regions, the “road region” and the “texture region”.The road consists of a "zone".Guide the user along a pre-specified course. Users can also feel the width of the roadYou. Unlike the conveyor belt, the device does not move on its own and the user feelsRoute can be passively followed. Adjust the texture area to a predeterminedCan give a “bumpy” sensation in the intensity of “Bumpy” control-Pixel spacing can also be specified in the x and y directions. Two or more textsBy using the tea area in one way, as the user moves along that wayTo change the texture. Related to bumpy movementSounds can also be used in synchrony with the perceived bumpiness to enhance this experience.Have been done."Swirl effect" Creates a tornado or swirl effect that can enhance the experience of falling into a "hole". The user can see and hear the effect and the device (eg, ball) turnsYou can feel like entering a mode like Using the above effects, very cloggedVibrations can also be formed by using a convoluted spiral.Conveyor belt based on forceConvF.F.x = F * cos (alpha)ConvF.F.y = F * sin (alpha) Here, ConvF.F. Is a (force-based) command consisting of two elements x and y.The force vector applied to the conveyor belt object, and f (user variable) is the magnitude of the force.And alpha (user variable) is the angle at which the conveyor rotates.Time-based conveyor beltConvT.F.x = F * cos (alpha)ConvT.F.y = F * sin (alpha) Here, ConvT.F. Is composed of two elements x and y (time based)Let alpha (user variable) be the force vector applied to the conveyor belt object.The angle at which the conveyor rotatesF = kp * errorP + kd * deltaerrorP + kl * integralerrorP Here, kp, kd and ki have representative values of 48, 16 and 0.01, respectively.Get in,errorP = length (DC-CP) Here, errorP is set to the desired cursor position DP for each motion and the current cursor position.Position CP.DP = a-(elapsedtime) / (totaltime) * (b-a) Here, a is the cursor position when the conveyor belt starts moving, and b isPosition where the cursor should move towards, totaltime (user variable)The amount of time the cursor movement should spend,deltaerrorP = errorP-(previous value of errorP) Where integralerrorP = sum of all errorP values calculated so far andAnd errorP and integralerrorP is set to the range [-25,25] and [-5000,5000].Road objectroad.F.x = F * s * sin (alpha)road.F.y = F * s * (-cos (alpha)) Where road.F is the force applied to the road object, consisting of two elements X and YVector, F is the magnitude of the force, alpha is the angle at which the road rotates, 1, when the cursor is in section As = 0, when the cursor is in section B -1, if the cursor is in section CAndTexture objecttexture.F.x = -w.x * F * ktexture.F.y = -w.y * F * k Where texture.F is the texture object consisting of two elements X and YLet F be the magnitude of the force,the unit vector of w-v Where v = (current cursor position)-(the last cursor position where k is equal to 1Place) andk = 1, if abs (v.x)> Gx or abs (v.y)> Gyk = 0, otherwise Here, Gx is the granularity of the texture in the X direction, and Gy is the texture.And the granularity in the y direction.Swirlswirl.F.x = F * Cx * sin (2 * pi * f / t)swirl.F.y = F * Cy * cos (2 * pf * f / t) Here, swirl.F is added into the swirl effect, consisting of two elements X and Y.F is the frequency of the spiral, and t (0 ≦ t ≦ d) is the current time.And d is the duration of the effect,F = m1 + t / d * (m2-m1), Here, m1 and m2 are the starting and ending points of the gradient action affecting the amplitude, respectively.(0 ≦ m1 ≦ 1, 0 ≦ m2 ≦ 1).