本発明は、ウィンドウ表示装置及びグラフィカルユーザインタフェースに関し、例えばパーソナルコンピュータに適用して好適なものである。 The present invention relates to a window display device and a graphical user interface, and is suitable for application to a personal computer, for example.
従来、液晶ディスプレイ等でなる表示部を有するパーソナルコンピュータにおいては、動画、静止画、音楽、テキストデータ等の大量に存在する各種ファイルが複数のカテゴリに属する場合に、例えばウィンドウズ（登録商標）のフォルダ構造であれば、複数のカテゴリをそれぞれフォルダとして扱い、複数のカテゴリに属するファイルをそれぞれのフォルダ毎にコピーして含ませたり、若しくは複数のカテゴリに属するファイルのショートカットを生成し、それをフォルダ毎に含ませることにより所望ファイルの検索を容易に実現している。 2. Description of the Related Art Conventionally, in a personal computer having a display unit such as a liquid crystal display, when a large amount of various files such as moving images, still images, music, and text data belong to a plurality of categories, for example, a Windows (registered trademark) folder If it is a structure, multiple categories are treated as folders, and files belonging to multiple categories are copied and included in each folder, or shortcuts of files belonging to multiple categories are generated for each folder. This makes it easy to search for a desired file.
一方、ウィンドウズ（登録商標）のような２次元の表示構造では、複数のフォルダの内容を同時に閲覧させることに限界がある。一方、複数のウィンドウを表示する表示方法として、画面上に複数のウィンドウを３次元表示することにより、当該複数のウィンドウを目視確認可能な状態で一画面中に表示してユーザが容易に把握し得るようになされたものがある（例えば、特許文献１参照）。
ところでかかる構成のパーソナルコンピュータにおいては、フォルダ構造を採用しているためユーザが所望ファイルを検索するには、カテゴライズされた上位フォルダから下位フォルダへ順番に降りていき、ユーザにとっては該当するファイルを見つけ出すのに数回にもわたる煩雑な操作を強いられるという問題があった。 By the way, since the personal computer having such a configuration employs a folder structure, in order for the user to search for a desired file, the user descends in order from the categorized upper folder to the lower folder, and finds the corresponding file for the user. However, there is a problem that it is forced to perform complicated operations several times.
また複数のウィンドウを３次元表示する場合には、１画面中に多数のウィンドウが表示されることになるため、その中からユーザ所望のウィンドウを検索するのは容易ではないという問題があった。 Further, when a plurality of windows are displayed three-dimensionally, a large number of windows are displayed in one screen, and thus there is a problem that it is not easy to search for a window desired by the user.
本発明は以上の点を考慮してなされたもので、カテゴリに対応付けられた複数のウィンドウの中からユーザ所望のウィンドウを容易に検索し得るウィンドウ表示装置及びグラフィカルユーザインタフェースを提案しようとするものである。 The present invention has been made in consideration of the above points, and intends to propose a window display device and a graphical user interface that can easily search a user-desired window from a plurality of windows associated with a category. It is.
かかる課題を解決するため本発明のウィンドウ表示装置、ウィンドウ表示方法及びウィンドウ表示プログラムにおいては、複数のウィンドウを３次元的に配置するための仮想空間を生成すると共に、多数のカテゴリにそれぞれ対応付けられた複数の仮想物体を生成し、当該複数の仮想物体を仮想空間に配置した状態で表示手段に表示し、当該仮想空間に対して３次元的に配置した複数のウィンドウ及び複数の仮想物体を表示手段に表示した状態で、任意の仮想物体が選択されたとき当該仮想物体に対応付けられたカテゴリに属する複数のウィンドウを強調表示し、当該仮想物体を介してユーザの目的とする強調表示されたウィンドウが指定されたとき当該ウィンドウが選択されたことを認識するようにした。 In order to solve such a problem, in the window display device, the window display method, and the window display program of the present invention, a virtual space for arranging a plurality of windows in a three-dimensional manner is generated and associated with a number of categories. A plurality of virtual objects are generated, displayed on the display means in a state where the plurality of virtual objects are arranged in the virtual space, and a plurality of windows and a plurality of virtual objects arranged three-dimensionally with respect to the virtual space are displayed. When an arbitrary virtual object is selected in the state displayed on the means, a plurality of windows belonging to the category associated with the virtual object are highlighted, and the target object of the user is highlighted through the virtual object. When a window is specified, it is recognized that the window is selected.
これにより、ユーザは仮想物体を介してカテゴリを選択するだけで当該仮想物体に予め対応付けられた複数のウィンドウが強調表示されるため、所望カテゴリに属するウィンドウを直感的に認識し得、当該仮想物体を介して所望のウィンドウを指定するだけの操作で当該ウィンドウを選択することができるので、所望のウィンドウを煩雑な操作なしに簡単に探し出すことができる。 As a result, the user can intuitively recognize the windows belonging to the desired category because a plurality of windows previously associated with the virtual object are highlighted only by selecting the category via the virtual object. Since the window can be selected simply by designating the desired window via the object, the desired window can be easily found without complicated operation.
また本発明のグラフィカルユーザインタフェースにおいては、複数のウィンドウを入力手段によって選択する入力操作と、当該入力操作に応じた情報処理装置におけるインタフェース動作とを画像を表示しながら行うグラフィカルユーザインタフェースであって、複数のウィンドウを３次元的に配置するための仮想空間を生成すると共に、多数のカテゴリにそれぞれ対応付けられた複数の仮想物体を生成し、当該仮想空間に対して複数のウィンドウ及び仮想物体を３次元的に配置した状態で表示手段に表示し、当該仮想空間及び当該仮想物体が表示された状態で、仮想物体が入力手段を介して選択されたとき当該仮想物体に対応付けられたカテゴリに属する複数のウィンドウを強調表示し、当該仮想物体を介してユーザの目的とする強調表示されたウィンドウが指定されたとき当該ウィンドウが選択されたことを認識するようにした。 The graphical user interface of the present invention is a graphical user interface that performs an input operation for selecting a plurality of windows by an input means and an interface operation in the information processing apparatus according to the input operation while displaying an image, A virtual space for arranging a plurality of windows in a three-dimensional manner is generated, a plurality of virtual objects respectively associated with a number of categories are generated, and a plurality of windows and virtual objects are assigned to the virtual space. Displayed on the display means in a three-dimensionally arranged state, and when the virtual object and the virtual object are displayed, when the virtual object is selected via the input means, it belongs to the category associated with the virtual object Highlight multiple windows and highlight the user's target via the virtual object The window when the window is specified is to recognize that it has been selected.
これにより、ユーザは仮想物体を介してカテゴリを選択するだけで当該仮想物体に予め対応付けられた複数のウィンドウが強調表示されるため、所望カテゴリに属するウィンドウを直感的に認識し得、当該仮想物体を介して所望のウィンドウを指定するだけの操作で当該ウィンドウを選択することができるので、所望のウィンドウを煩雑な操作なしに簡単に探し出すことができる。 As a result, the user can intuitively recognize the windows belonging to the desired category because a plurality of windows previously associated with the virtual object are highlighted only by selecting the category via the virtual object. Since the window can be selected simply by designating the desired window via the object, the desired window can be easily found without complicated operation.
本発明によれば、ユーザは仮想物体を介してカテゴリを選択するだけで当該仮想物体に予め対応付けられた複数のウィンドウが強調表示されるため、所望カテゴリに属するウィンドウを直感的に認識し得、当該仮想物体を介して所望のウィンドウを指定するだけの操作で当該ウィンドウを選択することができるので、所望のウィンドウを煩雑な操作なしに簡単に探し出すことができるウィンドウ表示装置、ウィンドウ表示方法、ウィンドウ表示プログラム及びグラフィカルユーザインタフェースを実現できる。 According to the present invention, a user can intuitively recognize windows belonging to a desired category because a plurality of windows previously associated with the virtual object are highlighted only by selecting the category via the virtual object. Since the window can be selected simply by designating the desired window via the virtual object, the window display device, the window display method, and the like, which can easily find the desired window without any complicated operation, A window display program and a graphical user interface can be realized.
以下、図面について、本発明の一実施の形態を詳述する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
（１）ウィンドウ表示装置の構成
図１において、１は全体としてパーソナルコンピュータに搭載されるウィンドウ表示装置を示し、例えばマウスからなる入力部２を介してユーザからの入力を受け付け、その入力結果を３次元仮想空間上の座標系に変換する等の３次元仮想空間に関する処理や当該３次元仮想空間を構築する処理等を行う仮想空間制御部３、ユーザからの入力結果を基に表示部５へ表示すべき内容を決定する表示内容決定部４、ファイルに対応付けられたウィンドウのカテゴリを管理するカテゴリ管理部６、当該ウィンドウが属しているカテゴリ、ウィンドウ自体の表示属性や表示内容及びウィンドウサイズ等を記憶するウィンドウ属性記憶部７によって構成されている。(1) Configuration of Window Display Device In FIG. 1, reference numeral 1 denotes a window display device mounted on a personal computer as a whole. For example, an input from a user is accepted via an input unit 2 made of a mouse, and the input result is 3 Display on the display unit 5 based on the input result from the virtual space control unit 3 that performs processing related to the three-dimensional virtual space such as conversion to a coordinate system in the three-dimensional virtual space, processing for constructing the three-dimensional virtual space, and the like A display content determination unit 4 that determines the content to be processed, a category management unit 6 that manages the category of the window associated with the file, the category to which the window belongs, the display attribute and display content of the window itself, the window size, etc. The window attribute storage unit 7 stores the information.
特に仮想空間制御部３は、液晶ディスプレイ等でなる表示部５のスクリーン画面（２次元平面）上に複数のウィンドウを３次元的に表示するための３次元仮想空間を生成する。また仮想空間制御部３は、当該３次元仮想空間に複数のウィンドウを目視可能に表示するため、それぞれ複数のウィンドウを半透明に生成し、これら複数のウィンドウを３次元仮想空間の奥行き方向を利用して配置するようになされている。 In particular, the virtual space control unit 3 generates a three-dimensional virtual space for three-dimensionally displaying a plurality of windows on the screen screen (two-dimensional plane) of the display unit 5 formed of a liquid crystal display or the like. In addition, the virtual space control unit 3 generates a plurality of windows semi-transparently in order to display a plurality of windows in the three-dimensional virtual space so as to be visible, and uses the plurality of windows in the depth direction of the three-dimensional virtual space. And has been made to arrange.
また仮想空間制御部３は、複数種類のカテゴリに分類された多数のウィンドウの中からユーザ所望のウィンドウを容易に選択するための操作球を３次元仮想空間に配置するための仮想物体として生成し、当該操作球を複数のウィンドウと共に３次元仮想空間上に配置して表示部５に表示するようになされている。 In addition, the virtual space control unit 3 generates an operation sphere for easily selecting a user-desired window from a number of windows classified into a plurality of types of categories as a virtual object for placing in the three-dimensional virtual space. The operation sphere is arranged in a three-dimensional virtual space together with a plurality of windows and displayed on the display unit 5.
なおウィンドウ表示装置１では、仮想空間制御部３及び表示内容決定部４による処理をＣＰＵ(Central Processing Unit)構成でなる制御部９が実行し、カテゴリ管理部６及びウィンドウ属性記憶部７による処理をハードディスクドライブ構成の記憶管理部１０が実行するようになされており、ウィンドウ属性記憶部７に格納されたウィンドウ表示プログラムに従って３次元仮想空間及び複数のウィンドウを利用したグラフィカルユーザインタフェースを実現し得るようになされている。 In the window display device 1, the processing by the virtual space control unit 3 and the display content determination unit 4 is executed by a control unit 9 having a CPU (Central Processing Unit) configuration, and the processing by the category management unit 6 and the window attribute storage unit 7 is performed. The storage management unit 10 having a hard disk drive configuration is executed so that a graphical user interface using a three-dimensional virtual space and a plurality of windows can be realized according to a window display program stored in the window attribute storage unit 7. Has been made.
具体的にウィンドウ表示装置１は、図２に示すように制御部９によって生成した３次元仮想空間ＶＳの奥行き方向を利用して複数のウィンドウＷ１〜Ｗ７を３次元的に立体表示すると共に、当該複数のウィンドウＷ１〜Ｗ７の中からユーザ所望のウィンドウを選択するためのカテゴリ分類された操作球ＳＱ１〜ＳＱ５を３次元仮想空間ＶＳ中に立体表示する。 Specifically, the window display device 1 three-dimensionally displays a plurality of windows W1 to W7 using the depth direction of the three-dimensional virtual space VS generated by the control unit 9 as shown in FIG. The operation balls SQ1 to SQ5 classified into categories for selecting a user-desired window from the plurality of windows W1 to W7 are stereoscopically displayed in the three-dimensional virtual space VS.
この場合、制御部９は操作球ＳＱ１〜ＳＱ５についても３次元仮想空間ＶＳの奥行き方向を利用して立体表示しているため、大きなサイズの操作球ＳＱ１は３次元仮想空間上の最も手前側に位置し、小さなサイズの操作球ＳＱ３やＳＱ４は３次元仮想空間上の最も奥側に位置していることを視覚的に示している。 In this case, since the control unit 9 also stereoscopically displays the operation balls SQ1 to SQ5 using the depth direction of the three-dimensional virtual space VS, the large operation ball SQ1 is located on the most front side in the three-dimensional virtual space. It is visually shown that the small-sized operation balls SQ3 and SQ4 are positioned on the innermost side in the three-dimensional virtual space.
ところで、操作球ＳＱ１はカテゴリ「アーティスト」を、操作球ＳＱ２はカテゴリ「映画」を、操作球ＳＱ３はカテゴリ「仕事」を、操作球ＳＱ４はカテゴリ「ライブ」を、操作球ＳＱ５はカテゴリ「２００４年」を示している。従ってユーザは、複数のウィンドウＷ１〜Ｗ７の中から、あるカテゴリに属する所望のファイルを探し出す場合、最初に操作球ＳＱ１〜ＳＱ５のいずれかを選択する。 By the way, the operation ball SQ1 is a category “artist”, the operation ball SQ2 is a category “movie”, the operation ball SQ3 is a category “work”, the operation ball SQ4 is a category “live”, and the operation ball SQ5 is a category “2004”. Is shown. Therefore, when searching for a desired file belonging to a certain category from the plurality of windows W1 to W7, the user first selects one of the operation balls SQ1 to SQ5.
この３次元仮想空間ＶＳ中に表示された複数のウィンドウＷ１〜Ｗ７は、ウィンドウ中にそれぞれのウィンドウタイトルが記述されていると共に、その内容をそれぞれイメージさせる静止画が貼り付けられており、これによりユーザに対してウィンドウＷ１〜Ｗ７のファイル内容が何であるかを直感的かつ瞬時に認識させ得るようになされている。 In the plurality of windows W1 to W7 displayed in the three-dimensional virtual space VS, the window titles are described in the windows and still images for pasting the contents are pasted. The user can intuitively and instantaneously recognize what the file contents of the windows W1 to W7 are.
具体的には、ウィンドウＷ１として「ビリーショエルライブ２００４」のウィンドウタイトル及びピアノ演奏中の静止画が表示され、ウィンドウＷ２として「ウダタヒカル」のウィンドウタイトル及び歌唱中の静止画が表示され、ウィンドウＷ３として「ＳｋｉＮｏｗ２００４」のウィンドウタイトル及びスキーヤーの静止画が表示され、ウィンドウＷ４として「会議２００４」のウィンドウタイトル及び会議中の静止画が表示され、ウィンドウＷ５として「北島二郎２００４」のウィンドウタイトル及び本人の静止画が表示され、ウィンドウＷ６として「家族旅行２００４」のウィンドウタイトル及び家族写真の静止画が表示され、ウィンドウＷ７として「ビートルスＭｏｖｉｅ」のウィンドウタイトル及び演奏中の静止画が表示されている。 Specifically, the window title of “Billy Shoel Live 2004” and the still image during piano performance are displayed as the window W1, the window title of “Udata Hikaru” and the still image during singing are displayed as the window W2, and the window W3 The window title of “SkiNow2004” and the still image of the skier are displayed, the window title of “Conference 2004” and the still image during the conference are displayed as window W4, and the window title of “Jiro Kitajima 2004” and the person's A still image is displayed, a window title of “Family Travel 2004” and a still image of a family photo are displayed as a window W6, and a window title of “Beatles Movie” and a still image being played are displayed as a window W7. .
また制御部９は、これら複数のウィンドウＷ１〜Ｗ７を有色半透明に生成して表示するようになされており、当該複数のウィンドウＷ１〜Ｗ７が互いに重なって表示された場合でも、半透明である為に後方のウィンドウＷが前方のウィンドウＷによって隠れてしまうことなくユーザに目視確認させ得るようになされている。 The control unit 9 is configured to generate and display the plurality of windows W1 to W7 in a colored and translucent manner, and is translucent even when the plurality of windows W1 to W7 are displayed so as to overlap each other. Therefore, the rear window W can be visually confirmed by the user without being hidden by the front window W.
この場合のウィンドウＷ１〜Ｗ７は、例えば赤色のウィンドウが動画ファイルを示し、青色のウィンドウが静止画ファイルを示し、白色のウィンドウがテキストファイルを示すようになされており、ウィンドウＷ１〜Ｗ７に対応付けられたファイルの種類を色のイメージとしてユーザに認識させ得るようになされている。 The windows W1 to W7 in this case are such that, for example, a red window indicates a moving image file, a blue window indicates a still image file, and a white window indicates a text file, and is associated with the windows W1 to W7. The file type can be recognized by the user as a color image.
このように制御部９は、３次元仮想空間ＶＳ中に複数のウィンドウＷ１〜Ｗ７を表示部５のスクリーン画面に立体表示すると共に当該ウィンドウＷ１〜Ｗ７を有色半透明に表示することにより、複数のウィンドウＷ１〜Ｗ７をスクリーン画面に２次元表示する場合に比べて、より多くのウィンドウＷ１〜Ｗ７を一度に目視確認させ得るようになされている。 In this manner, the control unit 9 displays a plurality of windows W1 to W7 in the three-dimensional virtual space VS in a three-dimensional manner on the screen screen of the display unit 5 and displays the windows W1 to W7 in a colored translucent manner. Compared to the case where the windows W1 to W7 are two-dimensionally displayed on the screen screen, more windows W1 to W7 can be visually confirmed at a time.
ここで制御部９は、入力部２を介して操作されたカーソルＫＳのスクリーン画面上での位置を認識し、その位置から３次元仮想空間ＶＳを目視したときの視点に基づく角度で３次元仮想空間ＶＳを表示部５に表示するようになされている。これによりユーザは、自分の見たい角度から３次元仮想空間ＶＳ及び複数のウィンドウＷ１〜Ｗ７を目視確認することができる。 Here, the control unit 9 recognizes the position of the cursor KS operated via the input unit 2 on the screen screen, and determines the three-dimensional virtual at an angle based on the viewpoint when viewing the three-dimensional virtual space VS from the position. The space VS is displayed on the display unit 5. Thereby, the user can visually confirm the three-dimensional virtual space VS and the plurality of windows W1 to W7 from the angle he / she wants to see.
また図３に示すように制御部９は、例えば３次元仮想空間ＶＳ中の操作球ＳＱ１がカーソルＫＳを介して選択されたことを認識すると、表示内容決定部４を介して当該操作球ＳＱ１の方向から３次元仮想空間ＶＳを目視したときの角度へアングル変更して当該３次元仮想空間ＶＳを表示すると共に、操作球ＳＱ１のカテゴリ「アーティスト」に属するウィンドウＷ１、Ｗ２、Ｗ５及びＷ７をそれぞれ３次元仮想空間ＶＳから浮き立たせ、表示部５のスクリーン画面に正対した形で、かつ最も手前側に移動させた状態で２次元的に強調表示するようになされている。 As shown in FIG. 3, for example, when the control unit 9 recognizes that the operation ball SQ1 in the three-dimensional virtual space VS is selected via the cursor KS, the control unit 9 displays the operation ball SQ1 via the display content determination unit 4. The angle is changed to the angle when the 3D virtual space VS is viewed from the direction to display the 3D virtual space VS, and the windows W1, W2, W5, and W7 belonging to the category “artist” of the operation ball SQ1 are displayed in 3 respectively. The two-dimensional highlighting is performed in a state of being lifted from the three-dimensional virtual space VS and facing the screen screen of the display unit 5 and moved to the front side.
特に制御部９は、３次元仮想空間ＶＳ中に表示した複数のウィンドウＷ１〜Ｗ７の中から、操作球ＳＱ１のカテゴリ「アーティスト」に属するウィンドウＷ１、Ｗ２、Ｗ５及びＷ７だけを表示部５のスクリーン画面に２次元表示することにより、当該操作球ＳＱ１のカテゴリ「アーティスト」に対応付けられたウィンドウＷ１、Ｗ２、Ｗ５及びＷ７を他のウィンドウＷ３、Ｗ４及びＷ６から明確に区別した状態でユーザへ提示し得るようになされている。 In particular, the control unit 9 displays only the windows W1, W2, W5, and W7 belonging to the category “artist” of the operation ball SQ1 from the plurality of windows W1 to W7 displayed in the three-dimensional virtual space VS. By displaying in two dimensions on the screen, the windows W1, W2, W5 and W7 associated with the category “artist” of the operation ball SQ1 are clearly shown to the user from the other windows W3, W4 and W6. It is made to be able to do.
なお制御部９は、操作球ＳＱ１がカーソルＫＳを介して選択されたことを認識した時点で、当該操作球ＳＱ１の輪郭線を太く強調表示し、これにより操作球ＳＱ１のカテゴリ「アーティスト」が現在選択されていることをユーザに目視確認させ得るようになされている。 When the control unit 9 recognizes that the operation ball SQ1 is selected through the cursor KS, the control unit 9 highlights the outline of the operation ball SQ1 so that the category “artist” of the operation ball SQ1 is currently displayed. The user can visually confirm that the item is selected.
このようにウィンドウ表示装置１は、カーソルＫＳを介して３次元仮想空間ＶＳ中の操作球ＳＱ１をユーザに選択させるだけの簡単な操作により、当該操作球ＳＱ１のカテゴリ「アーティスト」に対してウィンドウＷ１、Ｗ２、Ｗ５及びＷ７が属すること及び当該ウィンドウＷ１、Ｗ２、Ｗ５及びＷ７のファイル内容を直感的かつ確実に認識させることができ、またこの中からユーザ所望のウィンドウＷを容易に選択させ得るようになされている。 As described above, the window display device 1 allows the user to select the operation ball SQ1 in the three-dimensional virtual space VS via the cursor KS, and thereby the window W1 for the category “artist” of the operation ball SQ1. , W2, W5, and W7 belong, and the file contents of the windows W1, W2, W5, and W7 can be intuitively and surely recognized, and a user-desired window W can be easily selected from among them. Has been made.
同様に図４に示すように、制御部９は例えば３次元仮想空間ＶＳ中の操作球ＳＱ５がカーソルＫＳを介して選択されたことを認識すると、当該操作球ＳＱ５の方向から３次元仮想空間ＶＳを目視したときの角度へアングル変更して当該３次元仮想空間ＶＳを表示すると共に、操作球ＳＱ５のカテゴリ「２００４年」に属するウィンドウＷ１、Ｗ３、Ｗ４、Ｗ５及びＷ６をそれぞれ３次元仮想空間ＶＳから浮き立たせ、表示部５のスクリーン画面に正対した形で、かつ最も手前側に移動させた状態で２次元的に強調表示するようになされている。 Similarly, as shown in FIG. 4, when the control unit 9 recognizes that the operation ball SQ5 in the three-dimensional virtual space VS is selected via the cursor KS, for example, the control unit 9 starts from the direction of the operation ball SQ5. The three-dimensional virtual space VS is displayed by changing the angle to the angle at the time of viewing, and the windows W1, W3, W4, W5, and W6 belonging to the category “2004” of the operation ball SQ5 are respectively displayed in the three-dimensional virtual space VS. The two-dimensionally highlighted display is made in such a manner that it stands up from the screen and faces the screen screen of the display unit 5 and is moved to the nearest side.
これにより制御部９は、３次元仮想空間ＶＳ中に表示した複数のウィンドウＷ１〜Ｗ７の中から、操作球ＳＱ５のカテゴリ「２００４年」に属するウィンドウＷ１、Ｗ３、Ｗ４、Ｗ５及びＷ６だけを表示部５のスクリーン画面に２次元表示することにより、当該操作球ＳＱ５のカテゴリ「２００４年」に対応付けられたウィンドウＷ１、Ｗ３、Ｗ４、Ｗ５及びＷ６を他のウィンドウＷとは明確に区別した状態でユーザへ提示し得るようになされている。 Accordingly, the control unit 9 displays only the windows W1, W3, W4, W5, and W6 belonging to the category “2004” of the operation ball SQ5 from the plurality of windows W1 to W7 displayed in the three-dimensional virtual space VS. A state in which the windows W1, W3, W4, W5 and W6 associated with the category “2004” of the operation ball SQ5 are clearly distinguished from other windows W by two-dimensional display on the screen screen of the unit 5 Can be presented to the user.
この場合も制御部９は、操作球ＳＱ５が指定されたことを認識した時点で、当該操作球ＳＱ５の輪郭線を太く強調表示するようになされており、これにより操作球ＳＱ５のカテゴリ「２００４年」が選択されていることをユーザに目視確認させ得るようになされている。 Also in this case, when the control unit 9 recognizes that the operation sphere SQ5 is designated, the outline of the operation sphere SQ5 is thickly highlighted, whereby the category “2004 of the operation sphere SQ5 is displayed. The user can visually confirm that “is selected”.
また制御部９は、ウィンドウＷ１、Ｗ３、Ｗ４、Ｗ５及びＷ６のウィンドウタイトル及び静止画を表示することによってそのファイル内容を直感的かつ確実にユーザへ認識させ得るようになされている。 Further, the control unit 9 displays the window titles and still images of the windows W1, W3, W4, W5, and W6 so that the user can recognize the file contents intuitively and reliably.
図５に示すように、この状態で制御部９はカーソルＫＳを介して選択された操作球ＳＱ５が太矢印に示したようにドラッグ操作されると、当該操作球ＳＱ５については３次元仮想空間ＶＳ中に残したまま、操作球ＳＱ５を射影表示し輪郭線を破線表示した２次元スプライトＳＰ１を生成し、ユーザのドラッグ操作に合わせて当該２次元スプライトＳＰ１だけを動かしながら表示する。 As shown in FIG. 5, in this state, when the operation ball SQ5 selected via the cursor KS is dragged as indicated by the thick arrow, the control unit 9 performs a three-dimensional virtual space VS for the operation ball SQ5. The two-dimensional sprite SP1 in which the operation sphere SQ5 is projected and the outline is displayed in broken lines is generated while being left inside, and only the two-dimensional sprite SP1 is moved and displayed in accordance with the user's drag operation.
このとき制御部９は、２次元スプライトＳＰ１がウィンドウＷ６上に重ねられると、当該ウィンドウＷ６を強調枠ＫＷにより強調表示し、当該ウィンドウＷ６が選択されたことをユーザに認識させ得るようになされている。 At this time, when the two-dimensional sprite SP1 is overlaid on the window W6, the control unit 9 highlights the window W6 with the highlight frame KW so that the user can recognize that the window W6 has been selected. Yes.
そして制御部９は、この状態で２次元スプライトＳＰ１がウィンドウＷ６上でドロップ操作されると、当該ウィンドウＷ６が最終的に選択されたことを認識し、当該ウィンドウＷ６に対応付けられたファイルを開いて動画、静止画若しくはテキストを表示部５のスクリーン画面に映像表示するようになされている。 When the two-dimensional sprite SP1 is dropped on the window W6 in this state, the control unit 9 recognizes that the window W6 is finally selected, and opens the file associated with the window W6. Thus, a moving image, a still image or text is displayed on the screen screen of the display unit 5.
（２）ウィンドウ表示処理手順
次に、ウィンドウ表示装置１がウィンドウ表示プログラムに従って３次元仮想空間ＶＳを利用したグラフィカルユーザインタフェースを実現するためのウィンドウ表示処理手順について、図６のフローチャートを用いて具体的に説明する。(2) Window Display Processing Procedure Next, the window display processing procedure for the window display device 1 to realize a graphical user interface using the three-dimensional virtual space VS according to the window display program will be described with reference to the flowchart of FIG. Explained.
実際上、ウィンドウ表示装置１の制御部９はルーチンＲＴ１の開始ステップから入ってサブルーチンＳＲＴ１へ移り、当該サブルーチンＳＲＴ１において初期化処理を実行する。 Actually, the control unit 9 of the window display device 1 enters from the start step of the routine RT1, moves to the subroutine SRT1, and executes initialization processing in the subroutine SRT1.
図７に示すように、サブルーチンＳＲＴ１のステップＳＰ１１において制御部９は、仮想空間制御部３によって表示部５に表示すべき３次元仮想空間ＶＳを構築し、次のステップＳＰ１２へ移る。なお、この場合には図２で示したような有限の３次元仮想空間ＶＳを構築するようになされているが、無限の３次元仮想空間を構築することも可能である。 As shown in FIG. 7, in step SP11 of the subroutine SRT1, the control unit 9 builds a three-dimensional virtual space VS to be displayed on the display unit 5 by the virtual space control unit 3, and proceeds to the next step SP12. In this case, the finite three-dimensional virtual space VS as shown in FIG. 2 is constructed, but an infinite three-dimensional virtual space can also be constructed.
ステップＳＰ１２において制御部９は、仮想空間制御部３によって３次元仮想空間ＶＳに配置するウィンドウＷ１〜Ｗ７をそれぞれ生成し、次のステップＳＰ１３へ移る。このウィンドウＷ１〜Ｗ７は、動画、静止画、テキストファイル等を対象としているが、例えば何らかのコンテンツと１対１に対応付けられた当該コンテンツの説明を表示するものであったり、写真やサムネイル画像集といった複数のコンテンツを集めたものであってもよい。 In step SP12, the control unit 9 generates windows W1 to W7 to be arranged in the three-dimensional virtual space VS by the virtual space control unit 3, and proceeds to the next step SP13. These windows W1 to W7 are intended for moving images, still images, text files, and the like. For example, the windows W1 to W7 display a description of the content in a one-to-one correspondence with some content, or a collection of photographs and thumbnail images. A plurality of contents may be collected.
ステップＳＰ１３において制御部９は、予め数種類に分類されたカテゴリの趣旨に沿ってウィンドウＷ１〜Ｗ７をそれぞれカテゴリ分けし、次のステップＳＰ１４へ移る。ここで、カテゴリ分けする際の基準は、ウィンドウＷ１〜Ｗ７のウィンドウタイトルに含まれるキーワードを用いて制御部９が自動的にカテゴリ分けしてもよく、またユーザの操作によってウィンドウＷ１〜Ｗ７をカテゴリ分けしてもよい。さらに、このカテゴリ自体はユーザにより任意に設定若しくは変更できるようにしてもよい。 In step SP13, the control unit 9 categorizes the windows W1 to W7 according to the meanings of the categories classified in advance into several categories, and proceeds to the next step SP14. Here, the criteria for categorization may be that the control unit 9 may automatically categorize using the keywords included in the window titles of the windows W1 to W7, and the windows W1 to W7 may be categorized by user operation. It may be divided. Furthermore, the category itself may be arbitrarily set or changed by the user.
ステップＳＰ１４において制御部９は、上述のカテゴリに操作球ＳＱ１〜ＳＱ５を割り当てることにより初期化処理を終了し、ステップＳＰ２（図６）へ戻る。この場合、制御部９はカテゴリの数に操作球ＳＱ１〜ＳＱ５の数を一致させているが、必ずしも一致させる必要はない。 In step SP14, the control unit 9 ends the initialization process by assigning the operation balls SQ1 to SQ5 to the above-described categories, and returns to step SP2 (FIG. 6). In this case, the control unit 9 matches the number of operation balls SQ1 to SQ5 with the number of categories, but does not necessarily need to match.
また制御部９は、カテゴリに合わせて当該操作球ＳＱ１〜ＳＱ５の形状や外観を変更することもでき、その場合はこの初期化処理の段階で行う。実際に制御部９は、操作球ＳＱ１〜ＳＱ５の外観として、当該操作球ＳＱ１〜ＳＱ５に対し同一模様をテクスチャマッピングすると共に、それぞれのカテゴリ名をキャラクタ表示するようになされているが、形状や外観をそれぞれ変えてカテゴリ毎に区別するようにしてもよい。 The control unit 9 can also change the shape and appearance of the operation balls SQ1 to SQ5 in accordance with the category. In this case, the control unit 9 performs this initialization process. Actually, the controller 9 texture-maps the operation balls SQ1 to SQ5 as the appearance of the operation balls SQ1 to SQ5 and displays the category names as characters. It is also possible to distinguish each category by changing each.
このように初期化処理が実行されると、カテゴリ「アーティスト」の操作球ＳＱ１に対しては「アーティスト」名をキーワードに持つ「ビリーショエルライブ２００４」のウィンドウＷ１、「ウダタヒカル」のウィンドウＷ２、「北島二郎」のウィンドウＷ５及び「ビートルスＭｏｖｉｅ」のウィンドウＷ７が対応付けられた状態で記憶管理部１０のウィンドウ属性記憶部７に登録される。 When the initialization process is executed in this way, for the operation ball SQ1 of the category “Artist”, the “William Live Live 2004” window W1 having the “Artist” name as a keyword, the “Udata Hikaru” window W2, The window W5 of “Jiro Kitajima” and the window W7 of “Beatles Movie” are registered in the window attribute storage unit 7 of the storage management unit 10 in a state of being associated with each other.
また、カテゴリ「映画」の操作球ＳＱ２に対しては「Ｍｏｖｉｅ」のキーワードが付く「ビートルスＭｏｖｉｅ」のウィンドウＷ７が対応付けられた状態で記憶管理部１０のウィンドウ属性記憶部７に登録される。同様に、カテゴリ「仕事」の操作球ＳＱ３に対しては「会議」のキーワードが付く「会議２００４」のウィンドウＷ４が対応付けられた状態で記憶管理部１０のウィンドウ属性記憶部７に登録される。 Further, the operation ball SQ2 of the category “movie” is registered in the window attribute storage unit 7 of the storage management unit 10 in a state where the window W7 of “Beatles Movie” with the keyword “Movie” is associated. Similarly, the operation ball SQ3 of the category “work” is registered in the window attribute storage unit 7 of the storage management unit 10 in a state where the window W4 of “conference 2004” with the keyword “conference” is associated. .
さらに、カテゴリ「ライブ」の操作球ＳＱ４に対しては、「ライブ」のキーワードが付く「ビリーショエルライブ２００４」のウィンドウＷ１が対応付けられた状態で記憶管理部１０のウィンドウ属性記憶部７に登録され、カテゴリ「２００４年」の操作球ＳＱ５に対しては「２００４」のキーワードが付く「ビリーショエルライブ２００４」のウィンドウＷ１、「ＳｋｉＮｏｗ２００４」のウィンドウＷ３、「会議２００４」のウィンドウＷ４、「北島二郎２００４」のウィンドウＷ５及び「家族旅行２００４」のウィンドウＷ６が対応付けられて記憶管理部１０のウィンドウ属性記憶部７に登録される。 Further, for the operation ball SQ4 of the category “live”, the window attribute storage unit 7 of the storage management unit 10 is associated with the window W1 of “Billy Shoel Live 2004” to which the keyword “live” is attached. For the operation ball SQ5 of the category “2004”, the “William Live 2004” window W1, the “SkiNow 2004” window W3, the “Meeting 2004” window W4, with the keyword “2004” attached, The window W5 of “Jiro Kitajima 2004” and the window W6 of “family trip 2004” are associated with each other and registered in the window attribute storage unit 7 of the storage management unit 10.
このように初期化処理が終了すると、ステップＳＰ２（図６）において制御部９は、３次元仮想空間ＶＳを利用したグラフィカルユーザインタフェースを終了するか否かを判定する。具体的には、ユーザからの入力によってウィンドウ表示プログラムの終了が指定された場合や、メモリ不足等のハードウェアの制約上による理由で終了せざるを得ない場合には終了条件を満たすことになる。 When the initialization process ends in this way, in step SP2 (FIG. 6), the control unit 9 determines whether or not to end the graphical user interface using the three-dimensional virtual space VS. Specifically, if the end of the window display program is specified by input from the user, or if it must be ended due to hardware restrictions such as insufficient memory, the end condition is satisfied. .
このステップＳＰ２において肯定結果が得られると、制御部９は終了条件を満たすと判断し、次のステップＳＰ５へ移ってウィンドウ表示プログラムによるグラフィカルユーザインタフェースを用いたウィンドウ表示処理手順を終了し、ステップＳＰ２で否定結果が得られると制御部９は次のサブルーチンＳＲＴ３における描画内容決定処理手順へ移る。 If a positive result is obtained in step SP2, the control unit 9 determines that the end condition is satisfied, moves to next step SP5, and ends the window display processing procedure using the graphical user interface by the window display program, and step SP2 If a negative result is obtained, the control unit 9 proceeds to the drawing content determination processing procedure in the next subroutine SRT3.
図８に示すようにサブルーチンＳＲＴ３のステップＳＰ２１において制御部９は、サブルーチンＳＲＴ１で初期化処理が行われた後、表示部５に表示された３次元仮想空間ＶＳに対して何らかの入力があったか否かを判定する。ここで入力される情報としては、例えば表示部５のスクリーン画面上におけるスクリーン座標系の入力座標値やトリガー情報等である。 As shown in FIG. 8, in step SP21 of the subroutine SRT3, the control unit 9 determines whether or not there is any input to the three-dimensional virtual space VS displayed on the display unit 5 after the initialization process is performed in the subroutine SRT1. Determine. The information input here is, for example, input coordinate values of the screen coordinate system on the screen screen of the display unit 5, trigger information, or the like.
このステップＳＰ２１で肯定結果が得られると、このことはスクリーン画面に対し入力部２を介して何らかの入力があったことを表しており、このとき制御部９は次のステップＳＰ２２へ移り、スクリーン画面上における入力座標値を取得して次のステップＳＰ２３へ移る。 If an affirmative result is obtained in this step SP21, this indicates that some input has been made to the screen screen via the input unit 2. At this time, the control unit 9 moves to the next step SP22, and the screen screen is displayed. The input coordinate value above is acquired and the process proceeds to the next step SP23.
ステップＳＰ２３において制御部９は、入力座標値をスクリーン座標系から３次元仮想空間系へ座標変換処理し、次のステップＳＰ２４へ移る。具体的に制御部９は、スクリーン座標系における入力座標値を基準として当該スクリーン画面から垂直方向へ引いた垂線を仮想直線Ｌ１として設定し、入力座標値に仮想直線Ｌ１上の点を加えた３次元座標値に変換する。 In step SP23, the control unit 9 performs coordinate conversion processing of the input coordinate value from the screen coordinate system to the three-dimensional virtual space system, and proceeds to the next step SP24. Specifically, the control unit 9 sets a vertical line drawn in the vertical direction from the screen screen as the virtual straight line L1 based on the input coordinate value in the screen coordinate system, and adds the point on the virtual straight line L1 to the input coordinate value 3 Convert to dimensional coordinate values.
ステップＳＰ２４において制御部９は、表示部５のスクリーン画面が現時点で操作球選択モードに設定されているか否かを判定する。ここで操作球選択モードに設定されている状態とは、図３又は図４に示したように、例えば選択された操作球ＳＱ１のカテゴリ「アーティスト」に属するウィンドウＷ１、Ｗ２、Ｗ５及びＷ７をそれぞれ３次元仮想空間ＶＳから浮き立たせ、表示部５のスクリーン画面に正対した形で２次元的に強調表示した状態であり、このような操作球選択モードに設定されていない場合には否定結果を得、制御部９は次のステップＳＰ２５へ移る。 In step SP24, the control unit 9 determines whether or not the screen screen of the display unit 5 is currently set to the operation ball selection mode. Here, as shown in FIG. 3 or FIG. 4, the state in which the operation ball selection mode is set includes, for example, the windows W1, W2, W5, and W7 belonging to the category “artist” of the selected operation ball SQ1, respectively. It is in a state where it is raised from the three-dimensional virtual space VS and highlighted two-dimensionally in a form facing the screen screen of the display unit 5, and if the operation ball selection mode is not set, a negative result is given. Then, the control unit 9 proceeds to the next step SP25.
ステップＳＰ２５において制御部９は、操作球選択モードではない状態で、かつステップＳＰ２３で求められた仮想直線Ｌ１と操作球ＳＱ１〜ＳＱ５の何れかが交差するか否かに基づいて、カーソルＫＳが操作球ＳＱ１〜ＳＱ５上にあるか否かを判定し、肯定結果が得られると次のステップＳＰ２６へ移る。 In step SP25, the control unit 9 determines that the cursor KS is operated based on whether or not the virtual straight line L1 obtained in step SP23 and any of the operation balls SQ1 to SQ5 intersect in a state that is not the operation ball selection mode. It is determined whether or not the ball is on the spheres SQ1 to SQ5, and if a positive result is obtained, the process proceeds to the next step SP26.
ステップＳＰ２６において制御部９は、カーソルＫＳが操作球ＳＱ１〜ＳＱ５上にあるので、操作球ＳＱ１〜ＳＱ５の何れかがカーソルＫＳによって選択されていると認識して操作球選択モードへ遷移し、例えば当該操作球ＳＱ５が選択されている場合、当該操作球ＳＱ５の輪郭線を太く強調表示すること、及び当該カーソルＫＳによって選択された操作球ＳＱ５に対応付けられているカテゴリ「２００４年」に属するウィンドウＷ１、Ｗ３、Ｗ４、Ｗ５及びＷ６を表示部５のスクリーン画面に正対した形で２次元的に強調表示することを決定すると共に、操作球ＳＱ５を射影表示した２次元スプライトＳＰ１を生成して表示することを決定し、次のサブルーチンＳＲＴ２７へ移る。 In step SP26, since the cursor KS is on the operation balls SQ1 to SQ5, the control unit 9 recognizes that any of the operation balls SQ1 to SQ5 is selected by the cursor KS, and shifts to the operation ball selection mode. When the operation sphere SQ5 is selected, the outline of the operation sphere SQ5 is highlighted and the window belonging to the category “2004” associated with the operation sphere SQ5 selected by the cursor KS Deciding to highlight two-dimensionally W1, W3, W4, W5 and W6 in a form facing the screen screen of the display unit 5 and generating a two-dimensional sprite SP1 projecting the operation ball SQ5 The display is decided and the process proceeds to the next subroutine SRT27.
因みに制御部９は、仮想直線Ｌ１と３次元仮想空間ＶＳに存在する操作球ＳＱ１〜ＳＱ５とが複数交差する場合には、表示部５のスクリーン画面に最も近い操作球ＳＱを対象とするようになされている。 Incidentally, when the virtual straight line L1 and a plurality of operation balls SQ1 to SQ5 existing in the three-dimensional virtual space VS intersect, the control unit 9 targets the operation ball SQ closest to the screen screen of the display unit 5. Has been made.
このとき制御部９は、操作球ＳＱ５に対応付けられたカテゴリ「２００４年」に属するウィンドウＷ１、Ｗ３、Ｗ４、Ｗ５及びＷ６を強調表示するだけでなく、２次元スプライトＳＰ１を点滅表示することも可能であり、これにより移動対象の２次元スプライトＳＰ１をユーザに対して容易に目視確認させ得るようになされている。 At this time, the control unit 9 not only highlights the windows W1, W3, W4, W5, and W6 belonging to the category “2004” associated with the operation ball SQ5 but also blinks the two-dimensional sprite SP1. In this way, the user can easily visually check the two-dimensional sprite SP1 to be moved.
なお制御部９は、ウィンドウＷ１、Ｗ３、Ｗ４、Ｗ５及びＷ６を強調表示する際にも点滅表示させたり、色を変化させたり、拡大縮小、振動、回転等のアニメーション表示することによって当該ウィンドウＷ１、Ｗ３、Ｗ４、Ｗ５及びＷ６を強調表示するようにすることも可能である。 The control unit 9 also blinks the window W1, W3, W4, W5, and W6, changes the color, displays an animation such as enlargement / reduction, vibration, rotation, and the like to highlight the window W1. , W3, W4, W5 and W6 can be highlighted.
図９に示すようにサブルーチンＳＲＴ２７のステップＳＰ４１において制御部９は、カーソルＫＳを介して選択された操作球ＳＱ５の３次元仮想空間ＶＳ中における３次元座標値を取得し、次のステップＳＰ４２へ移る。 As shown in FIG. 9, in step SP41 of the subroutine SRT27, the control unit 9 acquires a three-dimensional coordinate value in the three-dimensional virtual space VS of the operation ball SQ5 selected via the cursor KS, and proceeds to the next step SP42. .
ステップＳＰ４２において制御部９は、図１０に示すようにステップＳＰ３１で取得した操作球ＳＱ５の３次元座標値と、３次元仮想空間ＶＳの重心Ｇを表す重心座標値とを結ぶ仮想直線Ｌ２を求め、次のステップＳＰ４３へ移る。 In step SP42, the control unit 9 obtains a virtual straight line L2 that connects the three-dimensional coordinate value of the operation ball SQ5 acquired in step SP31 and the centroid coordinate value representing the centroid G of the three-dimensional virtual space VS as shown in FIG. Then, the process proceeds to the next step SP43.
ステップＳＰ４３において制御部９は、仮想直線Ｌ２上で操作球ＳＱ５から所定の距離ｍ１だけ隔てたユーザの視点位置ＹＳ１に相当するスクリーン画面上の座標値を求め、次のステップＳＰ４４へ移る。 In step SP43, the control unit 9 obtains a coordinate value on the screen screen corresponding to the viewpoint position YS1 of the user separated from the operation ball SQ5 by a predetermined distance m1 on the virtual straight line L2, and proceeds to the next step SP44.
この所定の距離ｍ１とは、特に決まった距離ではなく、この距離が長過ぎると表示部５のスクリーン画面に表示されるウィンドウＷ１、Ｗ３、Ｗ４、Ｗ５及びＷ６が小さくなって見難くなり、逆にこの距離が短過ぎると表示部５のスクリーン画面にウィンドウＷ１、Ｗ３、Ｗ４、Ｗ５及びＷ６が全て表示出来なくなる等の不都合が生じるのを回避するために決められる値である。従って、表示デバイスの種類に応じて所定の距離ｍ１を設定したり、ユーザが任意に所定の距離ｍ１を設定してもよい。 This predetermined distance m1 is not a fixed distance, and if this distance is too long, the windows W1, W3, W4, W5 and W6 displayed on the screen screen of the display unit 5 become small and difficult to see. If the distance is too short, the value is determined in order to avoid inconveniences such as that the windows W1, W3, W4, W5 and W6 cannot be displayed on the screen screen of the display unit 5. Accordingly, the predetermined distance m1 may be set according to the type of display device, or the user may arbitrarily set the predetermined distance m1.
ステップＳＰ４４において制御部９は、ステップＳＰ４３で求められた視点位置ＹＳ１の座標値がスクリーン画面の中央に位置するよう例えばアングル変更前スクリーンＡＢ１を平行移動若しくは回転させることにより、３次元仮想空間ＶＳがアングル変更されたアングル変更後スクリーンＡＢ２を表示することを決定し、次のステップＳＰ４（図６）へ移る。 In step SP44, the control unit 9 translates or rotates, for example, the screen AB1 before changing the angle so that the coordinate value of the viewpoint position YS1 obtained in step SP43 is located at the center of the screen screen, thereby generating the three-dimensional virtual space VS. The screen AB2 after the angle change after the angle change is determined to be displayed, and the process proceeds to the next step SP4 (FIG. 6).
ステップＳＰ４において制御部９は、ステップＳＰ３４で３次元仮想空間ＶＳをアングル変更した結果のアングル変更後スクリーンＡＢ２を用いて３次元仮想空間ＶＳを表示すると共に、操作球ＳＱ５に対応付けられているウィンドウＷ１、Ｗ３、Ｗ４、Ｗ５及びＷ６及びを２次元的に強調表示し、かつ操作球ＳＱ５に基づく２次元スプライトＳＰ１を表示することにより、当該操作球ＳＱ５を選択した方向からウィンドウＷ１、Ｗ３、Ｗ４、Ｗ５及びＷ６を最も見易い状態でユーザに提示し、再度上述のステップＳＰ２へ戻る。 In step SP4, the control unit 9 displays the three-dimensional virtual space VS using the angle-changed screen AB2 as a result of changing the angle of the three-dimensional virtual space VS in step SP34, and also displays a window associated with the operation ball SQ5. W1, W3, W4, W5 and W6 are two-dimensionally highlighted, and the two-dimensional sprite SP1 based on the operation ball SQ5 is displayed, so that the operation balls SQ5 are selected from the direction in which the operation ball SQ5 is selected. , W5 and W6 are presented to the user in the most viewable state, and the process returns to step SP2.
一方、ステップＳＰ２５（図８）で否定結果が得られると、このことはカーソルＫＳが操作球ＳＱ１〜ＳＱ５上にはないことを表しており、このとき制御部９は次のサブルーチンＳＲＴ２８へ移り、カーソルＫＳの位置に基づくアングル変更処理手順を開始する。 On the other hand, if a negative result is obtained in step SP25 (FIG. 8), this indicates that the cursor KS is not on the operation balls SQ1 to SQ5. At this time, the control unit 9 moves to the next subroutine SRT28, An angle change processing procedure based on the position of the cursor KS is started.
図１１に示すようにサブルーチンＳＲＴ２８のステップＳＰ５１において制御部９は、スクリーン画面上に現在存在するカーソルＫＳの２次元座標値を取得し、次のステップＳＰ５２へ移る。 As shown in FIG. 11, in step SP51 of the subroutine SRT28, the control unit 9 acquires the two-dimensional coordinate value of the cursor KS currently existing on the screen screen, and proceeds to the next step SP52.
ステップＳＰ５２において制御部９は、ステップＳＰ４１で取得したカーソルＫＳの２次元座標値と、３次元仮想空間ＶＳの重心Ｇを表す重心座標値とを結ぶ仮想直線Ｌ３（図示せず）を求め、次のステップＳＰ５３へ移る。 In step SP52, the control unit 9 obtains a virtual straight line L3 (not shown) connecting the two-dimensional coordinate value of the cursor KS acquired in step SP41 and the centroid coordinate value representing the centroid G of the three-dimensional virtual space VS. The process proceeds to step SP53.
ステップＳＰ５３において制御部９は、仮想直線Ｌ３上で３次元仮想空間ＶＳの重心Ｇから所定の距離ｍ２（図示せず）だけ隔てたユーザの視点位置ＹＳ２（図示せず）に相当するスクリーン画面上の座標値を求め、次のステップＳＰ５４へ移る。 In step SP53, the control unit 9 on the screen screen corresponding to the user's viewpoint position YS2 (not shown) separated from the center of gravity G of the three-dimensional virtual space VS by a predetermined distance m2 (not shown) on the virtual straight line L3. Is obtained, and the process proceeds to the next step SP54.
この所定の距離ｍ２についても、所定の距離ｍ１と同様、特に決まった距離ではなく、この距離が長過ぎると表示部５のスクリーン画面に表示されるウィンドウＷ１〜Ｗ７が小さくなって見難くなり、逆にこの距離が短過ぎると表示部５のスクリーン画面にウィンドウＷ１〜Ｗ７が全て表示出来なくなる等の不都合が生じるのを回避するために決められる値である。 As with the predetermined distance m1, the predetermined distance m2 is not a fixed distance. If the distance is too long, the windows W1 to W7 displayed on the screen screen of the display unit 5 become small and difficult to see. On the contrary, if this distance is too short, the value is determined in order to avoid the occurrence of inconveniences such as the inability to display all the windows W1 to W7 on the screen screen of the display unit 5.
ステップＳＰ５４において制御部９は、ステップＳＰ５３で求められた視点位置ＹＳ２の座標値がスクリーン画面の中央に位置するようアングル変更前スクリーンを平行移動若しくは回転させることにより、３次元仮想空間ＶＳがアングル変更されたアングル変更後スクリーンを表示することを決定し、次のステップＳＰ４（図６）へ移る。 In step SP54, the control unit 9 translates or rotates the screen before the angle change so that the coordinate value of the viewpoint position YS2 obtained in step SP53 is located in the center of the screen screen, thereby changing the angle of the three-dimensional virtual space VS. Then, it is determined to display the screen after changing the angle, and the process proceeds to the next step SP4 (FIG. 6).
ステップＳＰ４において制御部９は、ステップＳＰ４４で３次元仮想空間ＶＳをアングル変更した結果のアングル変更後スクリーンを表示部５に表示することにより、カーソルＫＳが現在位置する方向から３次元仮想空間ＶＳを見たときにウィンドウＷ１〜Ｗ７を最も見易い状態でユーザに提示し、再度上述のステップＳＰ２へ戻る。 In step SP4, the control unit 9 displays the screen after angle change as a result of changing the angle of the three-dimensional virtual space VS in step SP44 on the display unit 5, so that the three-dimensional virtual space VS is displayed from the direction in which the cursor KS is currently located. When viewed, the windows W1 to W7 are presented to the user in the most viewable state, and the process returns to step SP2.
すなわち制御部９は、ステップＳＰ２、サブルーチンＳＲＴ３及びステップＳＰ４を繰り返す中で、サブルーチンＳＲＴ２９のカーソル位置に基づくアングル変更処理手順を実行することにより、カーソルＫＳをユーザが移動させる操作に合わせてリアルタイムに３次元仮想空間ＶＳをアングル変更し、そのアングル変更後スクリーンを表示部５に表示し得るようになされている。 That is, the control unit 9 executes the angle change processing procedure based on the cursor position of the subroutine SRT29 while repeating step SP2, subroutine SRT3, and step SP4, so that 3 is performed in real time in accordance with the operation of moving the cursor KS by the user. The angle of the dimensional virtual space VS is changed, and the screen after the angle change can be displayed on the display unit 5.
一方、ステップＳＰ２６、ステップＳＰ２７及びステップＳＰ４を経て、操作球ＳＱ５を射影表示した２次元スプライトＳＰ１を表示部５に表示した後に、再度ステップＳＰ２からサブルーチンＳＲＴ３へ移り、上述のステップＳＰ２４で肯定結果が得られると、このとき既に操作球選択モードに設定されているので、制御部９は次のステップＳＰ２９へ移る。 On the other hand, after step SP26, step SP27, and step SP4, the two-dimensional sprite SP1 projectingly displaying the operation ball SQ5 is displayed on the display unit 5, and then the process proceeds from step SP2 to the subroutine SRT3 again. If it is obtained, since the operation ball selection mode has already been set at this time, the control unit 9 proceeds to the next step SP29.
ステップＳＰ２９において制御部９は、操作球ＳＱ５を射影表示した２次元スプライトＳＰ１の座標値をユーザのカーソルＫＳによるドラッグ操作に合わせて動かすように描画内容を決定し、次のステップＳＰ４（図６）へ移る。 In step SP29, the control unit 9 determines the drawing content so as to move the coordinate value of the two-dimensional sprite SP1 on which the operation ball SQ5 is projected and displayed in accordance with the drag operation by the user's cursor KS, and the next step SP4 (FIG. 6). Move on.
ステップＳＰ４において制御部９は、カーソルＫＳによるドラッグ操作に合わせて２次元スプライトＳＰ１を動かしながら表示部５のスクリーン画面に表示し、再度上述のステップＳＰ２へ戻る。 In step SP4, the control unit 9 displays the two-dimensional sprite SP1 on the screen screen of the display unit 5 while moving the two-dimensional sprite SP1 in accordance with the drag operation by the cursor KS, and returns to the above-described step SP2.
ところで、サブルーチンＳＲＴ３の描画内容決定処理手順を経て２次元スプライトＳＰ１を表示した後、再度ステップＳＰ２（図６）へ戻り、当該ステップＳＰ２で否定結果が得られた後、サブルーチンＳＲＴ３（図８）のステップＳＰ２１で否定結果が得られると、このことは２次元スプライトＳＰ１がドラッグ操作されておらず動いていないことを表しており、このとき制御部９は次のステップＳＰ３０へ移る。 By the way, after displaying the two-dimensional sprite SP1 through the drawing content determination processing procedure of the subroutine SRT3, the process returns to the step SP2 (FIG. 6) again, and a negative result is obtained in the step SP2, and then the subroutine SRT3 (FIG. 8). If a negative result is obtained in step SP21, this indicates that the two-dimensional sprite SP1 has not been dragged and is not moving. At this time, the control unit 9 moves to the next step SP30.
ステップＳＰ３０において制御部９は、操作球選択モードであるか否かの判定を行うと共に、前ループにおけるステップＳＰ２３で求められている２次元スプライトＳＰ１からの仮想直線Ｌ４（図示せず）上にウィンドウＷ１〜Ｗ７の何れかが存在しているか否かを判定する。 In step SP30, the control unit 9 determines whether or not the operation ball selection mode is set, and also displays a window on a virtual straight line L4 (not shown) from the two-dimensional sprite SP1 obtained in step SP23 in the previous loop. It is determined whether any of W1 to W7 exists.
ここで肯定結果が得られると、このことは操作球選択モードで、かつ２次元スプライトＳＰ１からの仮想直線Ｌ４上にウィンドウＷ１〜Ｗ７の何れかが存在していることを表しており、このとき制御部９は次のステップＳＰ３１へ移る。ここで、仮想直線Ｌ４上に複数のウィンドウＷ１〜Ｗ７が存在しているときには、スクリーン画面に最も近いウィンドウＷが選択対象となる。 If a positive result is obtained here, this means that any of the windows W1 to W7 is present in the operation ball selection mode and on the virtual straight line L4 from the two-dimensional sprite SP1. The control unit 9 moves to the next step SP31. Here, when there are a plurality of windows W1 to W7 on the virtual straight line L4, the window W closest to the screen screen is selected.
ステップＳＰ３１において制御部９は、仮想直線Ｌ４上に存在する例えばウィンドウＷ６が選択されたことを認識すると、当該ウィンドウＷ６の周囲を太くした強調枠ＫＷを付加して強調表示することにより、当該ウィンドウＷ６が現在選択されていることをユーザに対して示す。 In step SP31, when the control unit 9 recognizes that, for example, the window W6 existing on the virtual straight line L4 has been selected, the control unit 9 highlights the window W6 by adding a highlight frame KW with a thicker periphery. Indicates to the user that W6 is currently selected.
またステップＳＰ３１において制御部９は、当該２次元スプライトＳＰ１がウィンドウＷ６上でドロップ操作されたときには、当該ウィンドウＷ６が最終的に選択されたことを認識し、次のステップＳＰ３２へ移る。 In step SP31, when the two-dimensional sprite SP1 is dropped on the window W6, the control unit 9 recognizes that the window W6 is finally selected, and proceeds to the next step SP32.
一方、ステップＳＰ３０で否定結果が得られると、このことは２次元スプライトＳＰ１がドロップ操作されたときにウィンドウＷ１〜Ｗ７の外に当該２次元スプライトＳＰ１が存在することになって、ウィンドウＷ１〜Ｗ７の何れもが選択されなかったことを表しており、このとき制御部９は次のステップＳＰ３２へ移る。 On the other hand, if a negative result is obtained in step SP30, this means that the two-dimensional sprite SP1 exists outside the windows W1 to W7 when the two-dimensional sprite SP1 is dropped, and the windows W1 to W7 are present. In this case, the control unit 9 proceeds to the next step SP32.
ステップＳＰ３２において制御部９は、ウィンドウＷ１〜Ｗ７の何れかが選択されたこと認識し、若しくは何れもが選択されなかったことを認識すると、次のステップＳＰ４（図６）へ移る。 In step SP32, when the control unit 9 recognizes that any of the windows W1 to W7 has been selected or recognizes that none of the windows has been selected, the control unit 9 proceeds to the next step SP4 (FIG. 6).
ステップＳＰ４において制御部９は、ウィンドウＷ１〜Ｗ７の何れかが選択されたこと認識したとき、その選択されたウィンドウＷに対応付けられたファイルを開いて表示部５のスクリーン画面に映像表示し、再度ステップＳＰ２へ戻るのに対し、ウィンドウＷ１〜Ｗ７の何れもが選択されなかったこと認識したときは、そのままの状態を描画処理して再度ステップＳＰ２（図６）へ戻る。 In step SP4, when the control unit 9 recognizes that any of the windows W1 to W7 has been selected, the control unit 9 opens the file associated with the selected window W and displays the video on the screen screen of the display unit 5, While returning to step SP2 again, when recognizing that none of the windows W1 to W7 has been selected, the state as it is is drawn and the process returns to step SP2 (FIG. 6) again.
ステップＳＰ２において制御部９は、３次元仮想空間ＶＳを利用したグラフィカルユーザインタフェースを終了するか否かを判定し、肯定結果が得られると、ステップＳＰ５へ移り、ウィンドウ表示処理手順を終了する。 In step SP2, the control unit 9 determines whether or not to end the graphical user interface using the three-dimensional virtual space VS. If an affirmative result is obtained, the control unit 9 proceeds to step SP5 and ends the window display processing procedure.
（３）ウィンドウの表示変化及びウィンドウ移動処理
次に、ウィンドウ表示装置１がウィンドウ表示プログラムに従って３次元仮想空間ＶＳ上のウィンドウＷの表示を変化させ、かつドラッグ操作に応じて当該ウィンドウＷを移動する場合の処理について、具体的に説明する。(3) Window Display Change and Window Movement Processing Next, the window display device 1 changes the display of the window W on the three-dimensional virtual space VS according to the window display program, and moves the window W according to the drag operation. The processing in this case will be specifically described.
この場合のウィンドウ表示装置１の制御部９は、図１２に示すように、ウィンドウＷの表示形態をユーザの操作に応じて変化させるための操作領域２１及び２２が画面両側に配置されると共に、画面上部にメニューバー２３が配置されたウィンドウＷ１１〜Ｗ１７を生成し、これらを３次元仮想空間ＶＳに配置する。ここで図１２には、説明の便宜上ウィンドウＷ１１についてのみ示す。 As shown in FIG. 12, the control unit 9 of the window display device 1 in this case has operation areas 21 and 22 for changing the display form of the window W according to the operation of the user arranged on both sides of the screen. Windows W11 to W17 in which the menu bar 23 is arranged at the top of the screen are generated, and these are arranged in the three-dimensional virtual space VS. Here, FIG. 12 shows only the window W11 for convenience of explanation.
制御部９は、カーソルＫＳを介してウィンドウＷ１１の操作領域２１又は２２がクリックされたことを認識すると、表示内容決定部４を介して当該ウィンドウＷ１１の表示形態を変化させた後の状態を決定し、その決定した表示形態にウィンドウＷ１１を変化させて表示するようになされている。 When the control unit 9 recognizes that the operation area 21 or 22 of the window W11 is clicked through the cursor KS, the control unit 9 determines the state after changing the display form of the window W11 through the display content determination unit 4. Then, the window W11 is changed to the determined display form and displayed.
具体的に制御部９は、図１３に示すように、ウィンドウＷ１１の操作領域２１がクリックされたことを認識すると、当該操作領域２１が画面奥側へ傾いた形状に変化したウィンドウＷ１１Ａを表示部５に表示し、ウィンドウＷ１１の操作領域２２がクリックされたことを認識すると、当該操作領域２２が画面奥側へ傾いた形状に変化したウィンドウＷ１１Ｂを表示部５に表示するようになされている。 Specifically, as shown in FIG. 13, when the control unit 9 recognizes that the operation region 21 of the window W11 has been clicked, the control unit 9 displays the window W11A in which the operation region 21 has changed to a shape inclined toward the back of the screen. 5, when it is recognized that the operation area 22 of the window W <b> 11 has been clicked, the window W <b> 11 </ b> B in which the operation area 22 has changed to a shape inclined toward the back of the screen is displayed on the display unit 5.
なお制御部９は、ウィンドウＷ１１Ａの状態で操作領域２２がクリックされたことを認識すると、当該ウィンドウＷ１１Ａを元のウィンドウＷ１１に戻して表示し、ウィンドウＷ１１Ｂの状態で操作領域２１がクリックされたことを認識すると、当該ウィンドウＷ１１Ｂを元のウィンドウＷ１１に戻して表示する。 When the control unit 9 recognizes that the operation area 22 has been clicked in the state of the window W11A, the control unit 9 returns the window W11A to the original window W11 and displays it, and that the operation area 21 has been clicked in the state of the window W11B. Is recognized, the window W11B is returned to the original window W11 and displayed.
制御部９は、図１４に示すように、奥側へ傾けたウィンドウＷ１１Ａ〜Ｗ１３Ａを表示部５に表示し、ウィンドウＷ１１ＡにカーソルＫＳが重ねられた状態で、当該カーソルＫＳが矢印Ｊ方向へドラッグ操作されると、図１５に示すようにウィンドウＷ１１Ａが移動される動きに合わせて、ウィンドウＷ１２Ａ及びウィンドウＷ１３Ａが当該ウィンドウＷ１１Ａによって押し束ねられた状態で重ねて表示するようになされている。 As shown in FIG. 14, the control unit 9 displays the windows W11A to W13A tilted to the back side on the display unit 5, and the cursor KS is dragged in the arrow J direction with the cursor KS overlaid on the window W11A. When operated, as shown in FIG. 15, the window W12A and the window W13A are overlapped and displayed in a state of being bundled by the window W11A in accordance with the movement of the window W11A.
これにより制御部９は、表示部５のスクリーン画面に複数のウィンドウＷ１１〜Ｗ１３を表示する場合であっても、奥側へ傾けた当該複数のウィンドウＷ１１Ａ〜Ｗ１３Ａを重ねることができる分だけ、一段と多くのウィンドウＷを表示し得ると共に、当該複数のウィンドウＷ１１Ａ〜Ｗ１３Ａが有色半透明であるために後ろ側のウィンドウＷ１２Ａ及びＷ１３Ａについてもユーザに目視確認させ得るようになされている。 Thereby, even when the control unit 9 displays a plurality of windows W11 to W13 on the screen screen of the display unit 5, the control unit 9 can further overlap the plurality of windows W11A to W13A inclined to the back side. Many windows W can be displayed, and since the plurality of windows W11A to W13A are colored and translucent, the rear windows W12A and W13A can be visually confirmed by the user.
（４）動作及び効果
以上の構成において、ウィンドウ表示装置１の制御部９は、複数のウィンドウＷ１〜Ｗ７を３次元的に配置するための３次元仮想空間ＶＳを生成すると共に、多数のカテゴリにそれぞれ対応付けられた３次元仮想空間ＶＳに配置すべき操作球ＳＱ１〜ＳＱ５を生成し、３次元仮想空間ＶＳに対して３次元的に配置した複数のウィンドウＷ１〜Ｗ７及び複数の操作球ＳＱ１〜ＳＱ５を表示部５に表示する。(4) Operation and Effect In the above configuration, the control unit 9 of the window display device 1 generates a three-dimensional virtual space VS for arranging a plurality of windows W1 to W7 in a three-dimensional manner, and includes a number of categories. Operation spheres SQ1 to SQ5 to be arranged in the associated three-dimensional virtual space VS are generated, and a plurality of windows W1 to W7 and a plurality of operation spheres SQ1 to SQ1 arranged three-dimensionally with respect to the three-dimensional virtual space VS. SQ5 is displayed on the display unit 5.
このとき制御部９は、複数のウィンドウＷ１〜Ｗ７を３次元仮想空間ＶＳの奥行き方向を利用して３次元的に立体表示すると共に、当該複数のウィンドウＷ１〜Ｗ７を有色半透明に表示することにより、ウィンドウＷの表示枚数が表示部５のスクリーン画面の面積に拘束されることなく、多数のウィンドウＷ１〜Ｗ７を同時に表示でき、かつその内容を全てユーザに認識させることができる。 At this time, the control unit 9 three-dimensionally displays the plurality of windows W1 to W7 using the depth direction of the three-dimensional virtual space VS, and displays the plurality of windows W1 to W7 in a colored translucent manner. As a result, the number of windows W can be displayed simultaneously without being restricted by the area of the screen screen of the display unit 5, and the contents can be recognized by the user.
この状態で制御部９は、操作球ＳＱ１〜ＳＱ５のうち例えば操作球ＳＱ５が選択されたとき当該操作球ＳＱ５のカテゴリに属する複数のウィンドウＷ１、Ｗ３、Ｗ４、Ｗ５及びＷ６だけを３次元仮想空間ＶＳから浮き立たせ、表示部５のスクリーン画面に正対した形で２次元的に強調表示する。 In this state, when the operation ball SQ5, for example, is selected from the operation balls SQ1 to SQ5, the control unit 9 displays only a plurality of windows W1, W3, W4, W5, and W6 belonging to the category of the operation ball SQ5 in the three-dimensional virtual space. It is raised from the VS and highlighted two-dimensionally in a form facing the screen screen of the display unit 5.
これによりユーザは、操作球ＳＱ５を選択するだけの簡単な操作で、当該操作球ＳＱ５のカテゴリに属するのが複数のウィンドウＷ１、Ｗ３、Ｗ４、Ｗ５及びＷ６であることを視覚的かつ確実に認識し得ると共に、ウィンドウＷ１、Ｗ３、Ｗ４、Ｗ５及びＷ６のウィンドウタイトル及び内容をイメージさせる静止画に基づいてウィンドウＷ１、Ｗ３、Ｗ４、Ｗ５及びＷ６のファイル内容が何であるかを直感的かつ瞬時に認識することができる。 As a result, the user can visually and surely recognize that a plurality of windows W1, W3, W4, W5, and W6 belong to the category of the operation ball SQ5 with a simple operation of selecting the operation ball SQ5. And intuitively and instantaneously determine what the file contents of the windows W1, W3, W4, W5 and W6 are based on the still images that make the window titles and contents of the windows W1, W3, W4, W5 and W6 image. Can be recognized.
その後、ユーザは２次元スプライトＳＰ１にカーソルＫＳを合わせてドラッグ操作しながら、操作球ＳＱ５のカテゴリに属するウィンドウＷ１、Ｗ３、Ｗ４、Ｗ５及びＷ６のいずれかに重ね合わせてドロップ操作するだけでユーザ所望のウィンドウＷを容易に選択することができる。 Thereafter, the user simply drags the cursor KS on the two-dimensional sprite SP1 and drags it over the windows W1, W3, W4, W5, and W6 belonging to the category of the operation ball SQ5, and performs a drop operation. The window W can be easily selected.
なお、制御部９はカーソルＫＳの動きに合わせて３次元仮想空間ＶＳをアングル変更したり、選択した操作球ＳＱ５に基づいて３次元仮想空間ＫＳをアングル変更したアングル変更後スクリーンＡＢ２を表示部５に表示するようにしたことにより、ウィンドウＷ１〜Ｗ７をユーザの見やすい向きで提示することができる。 The control unit 9 changes the angle of the three-dimensional virtual space VS in accordance with the movement of the cursor KS, or changes the angle of the three-dimensional virtual space KS based on the selected operation ball SQ5, and displays the screen AB2 after the angle change. As a result, the windows W1 to W7 can be presented in an easy-to-view direction for the user.
以上の構成によれば、ウィンドウ表示装置１の制御部９は、カテゴリに対応付けられた操作球ＳＱ１〜ＳＱ５のうち選択された操作球ＳＱのカテゴリに属するウィンドウＷだけを表示部５に表示することにより、ユーザが選択対象とするウィンドウＷだけに絞り込んだ状態で提示し、その中からユーザ所望のウィンドウＷを容易に選択させることができる。 According to the above configuration, the control unit 9 of the window display device 1 displays on the display unit 5 only the windows W belonging to the category of the selected operation ball SQ among the operation balls SQ1 to SQ5 associated with the category. Thus, it is possible to easily present the window W desired by the user from among the windows W that are selected by the user.
（５）他の実施の形態
なお上述の実施の形態においては、仮想空間制御部３によって有限の３次元仮想空間ＶＳを構築するようにした場合について述べたが、本発明はこれに限らず、有限若しくは無限の２次元仮想面を用いるようにしても良い。(5) Other Embodiments In the above-described embodiment, the case where the virtual space control unit 3 constructs a finite three-dimensional virtual space VS has been described. However, the present invention is not limited to this, A finite or infinite two-dimensional virtual surface may be used.
また上述の実施の形態においては、ウィンドウＷ１〜Ｗ７が動画、静止画、テキストファイル等を対象とするようにした場合について述べたが、本発明はこれに限らず、音楽ファイルのような映像表示することのないコンテンツを対象とするようにしても良い。 In the above-described embodiment, the case where the windows W1 to W7 are intended for moving images, still images, text files, and the like has been described. However, the present invention is not limited to this, and video display such as music files is performed. You may make it target the content which does not do.
さらに上述の実施の形態においては、赤色のウィンドウが動画を示し、青色のウィンドウが静止画を示し、白色のウィンドウがテキストファイルを示すようにした場合について述べたが、本発明はこれに限らず、黄色のウィンドウが音楽ファイルを示したり、緑色のウィンドウがゲームプログラムを示す等のファイルの種類に合わせた多様な組み合わせを設定するようにしても良く、また色ではなくウィンドウの形状によってファイルの種類を示す等、その他種々の表示形態を設定するようにしても良い。 Further, in the above-described embodiment, the case where the red window indicates a moving image, the blue window indicates a still image, and the white window indicates a text file has been described. However, the present invention is not limited to this. Various combinations may be set according to the file type, such as a yellow window indicating a music file or a green window indicating a game program. Various other display forms may be set, such as indicating.
さらに上述の実施の形態においては、例えば操作球ＳＱ５が選択されると、当該操作球ＳＱ５を射影表示した２次元スプライトＳＰ１だけをドラッグ操作に合わせて動かしながら表示するようにした場合について述べたが、本発明はこれに限らず、選択された操作球ＳＱ５自体をドラッグ操作に合わせて動かしながら表示するようにしても良い。 Furthermore, in the above-described embodiment, for example, when the operation sphere SQ5 is selected, only the two-dimensional sprite SP1 on which the operation sphere SQ5 is projected and displayed is displayed while being moved in accordance with the drag operation. The present invention is not limited to this, and the selected operation ball SQ5 itself may be displayed while being moved in accordance with the drag operation.
さらに上述の実施の形態においては、本発明のウィンドウ表示装置をパーソナルコンピュータに搭載するようにした場合について述べたが、本発明はこれに限らず、ディスプレイを有するＰＤＡ（Personal Digital Assistant）、携帯電話機等の他の種々の電子機器に本発明のウィンドウ表示装置を搭載するようにしても良い。 Further, in the above-described embodiment, the case where the window display device of the present invention is mounted on a personal computer has been described. However, the present invention is not limited to this, and a PDA (Personal Digital Assistant) having a display, a mobile phone The window display device of the present invention may be mounted on other various electronic devices.
さらに上述の実施の形態においては、ウィンドウ表示装置１におけるウィンドウ表示処理手順をウィンドウ表示プログラムに基づいて実行するようにした場合について述べたが、本発明はこれに限らず、当該ウィンドウ表示プログラムが格納された記憶媒体を介してウィンドウ表示装置１にインストールしてウィンドウ表示処理手順を実行するようにしても良い。 Further, in the above-described embodiment, the case where the window display processing procedure in the window display device 1 is executed based on the window display program has been described. However, the present invention is not limited to this, and the window display program stores the window display program. The window display processing procedure may be executed by installing in the window display device 1 via the storage medium.
さらに上述の実施の形態においては、本発明のウィンドウ表示装置を仮想空間生成手段としての仮想空間制御部３、ウィンドウ強調手段として表示内容決定部４、ウィンドウ認識手段としての制御部９によって構成するようにした場合について述べたが、本発明はこれに限らず、その他種々の回路構成でなる仮想空間生成手段、ウィンドウ強調手段及びウィンドウ認識手段を用いてウィンドウ表示装置を構成するようにしても良い。 Further, in the above-described embodiment, the window display device of the present invention is configured by the virtual space control unit 3 as the virtual space generation unit, the display content determination unit 4 as the window enhancement unit, and the control unit 9 as the window recognition unit. However, the present invention is not limited to this, and the window display device may be configured using virtual space generating means, window emphasizing means, and window recognizing means having other various circuit configurations.
本発明のウィンドウ表示装置及びグラフィカルユーザインタフェースは、例えば複数のウィンドウの中からユーザ所望のウィンドウを短時間で検索する用途に適用することができる。 The window display device and the graphical user interface according to the present invention can be applied to, for example, searching for a window desired by a user from a plurality of windows in a short time.
１……ウィンドウ表示装置、２……入力部、３……仮想空間制御部、４……表示内容決定部、５……表示部、６……カテゴリ管理部、７……ウィンドウ属性記憶部、９……制御部、１０……記憶管理部。
DESCRIPTION OF SYMBOLS 1 ... Window display apparatus, 2 ... Input part, 3 ... Virtual space control part, 4 ... Display content determination part, 5 ... Display part, 6 ... Category management part, 7 ... Window attribute storage part, 9: Control unit, 10: Memory management unit.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004357153AJP4656385B2 (en) | 2004-12-09 | 2004-12-09 | Window display device, window display method, and window display program |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004357153AJP4656385B2 (en) | 2004-12-09 | 2004-12-09 | Window display device, window display method, and window display program |
| Publication Number | Publication Date |
|---|---|
| JP2006164069Atrue JP2006164069A (en) | 2006-06-22 |
| JP2006164069A5 JP2006164069A5 (en) | 2007-10-25 |
| JP4656385B2 JP4656385B2 (en) | 2011-03-23 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004357153AExpired - Fee RelatedJP4656385B2 (en) | 2004-12-09 | 2004-12-09 | Window display device, window display method, and window display program |
| Country | Link |
|---|---|
| JP (1) | JP4656385B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008150685A1 (en)* | 2007-05-30 | 2008-12-11 | Yahoo! Inc. | System and method for indicating page component focus |
| JP2010503130A (en)* | 2006-09-11 | 2010-01-28 | アップル インコーポレイテッド | Media player with image-based browsing |
| CN109582136A (en)* | 2018-11-13 | 2019-04-05 | 深圳市创凯智能股份有限公司 | Three dimensional window gesture navigation method, apparatus, mobile terminal and storage medium |
| WO2024204124A1 (en)* | 2023-03-31 | 2024-10-03 | Ｎｅｃソリューションイノベータ株式会社 | Display control device, display control system, display control method, and computer-readable storage medium |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103493486B (en)* | 2011-04-28 | 2016-03-02 | 株式会社索思未来 | Image display and image display method |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63296131A (en)* | 1987-05-27 | 1988-12-02 | Hitachi Ltd | Multiple display area control method and control device |
| JPH06168090A (en)* | 1992-12-01 | 1994-06-14 | Canon Inc | Window diplay device and menu electing method |
| JPH10507286A (en)* | 1995-06-01 | 1998-07-14 | インターナシヨナル・ビジネス・マシーンズ・コーポレーシヨン | Graphical user interface |
| JPH10283158A (en)* | 1997-02-04 | 1998-10-23 | Fujitsu Ltd | Window stereoscopic display apparatus and method |
| JP2001175380A (en)* | 1999-12-20 | 2001-06-29 | Wellstone Inc | Information index display method and device |
| JP2003050824A (en)* | 2001-05-18 | 2003-02-21 | Sony Computer Entertainment Inc | Display apparatus and display method |
| JP2003167914A (en)* | 2001-11-30 | 2003-06-13 | Fujitsu Ltd | Multimedia information search method, program, recording medium and system |
| JP2003216651A (en)* | 2002-01-28 | 2003-07-31 | Sony Corp | Information intermediary system, information intermediary device, client device, information intermediary method, method of providing user with information for connecting user with information source, program therefor, and its recording medium |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63296131A (en)* | 1987-05-27 | 1988-12-02 | Hitachi Ltd | Multiple display area control method and control device |
| JPH06168090A (en)* | 1992-12-01 | 1994-06-14 | Canon Inc | Window diplay device and menu electing method |
| JPH10507286A (en)* | 1995-06-01 | 1998-07-14 | インターナシヨナル・ビジネス・マシーンズ・コーポレーシヨン | Graphical user interface |
| JPH10283158A (en)* | 1997-02-04 | 1998-10-23 | Fujitsu Ltd | Window stereoscopic display apparatus and method |
| JP2001175380A (en)* | 1999-12-20 | 2001-06-29 | Wellstone Inc | Information index display method and device |
| JP2003050824A (en)* | 2001-05-18 | 2003-02-21 | Sony Computer Entertainment Inc | Display apparatus and display method |
| JP2003167914A (en)* | 2001-11-30 | 2003-06-13 | Fujitsu Ltd | Multimedia information search method, program, recording medium and system |
| JP2003216651A (en)* | 2002-01-28 | 2003-07-31 | Sony Corp | Information intermediary system, information intermediary device, client device, information intermediary method, method of providing user with information for connecting user with information source, program therefor, and its recording medium |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010503130A (en)* | 2006-09-11 | 2010-01-28 | アップル インコーポレイテッド | Media player with image-based browsing |
| WO2008150685A1 (en)* | 2007-05-30 | 2008-12-11 | Yahoo! Inc. | System and method for indicating page component focus |
| CN109582136A (en)* | 2018-11-13 | 2019-04-05 | 深圳市创凯智能股份有限公司 | Three dimensional window gesture navigation method, apparatus, mobile terminal and storage medium |
| WO2024204124A1 (en)* | 2023-03-31 | 2024-10-03 | Ｎｅｃソリューションイノベータ株式会社 | Display control device, display control system, display control method, and computer-readable storage medium |
| Publication number | Publication date |
|---|---|
| JP4656385B2 (en) | 2011-03-23 |
| Publication | Publication Date | Title |
|---|---|---|
| JP7559033B2 (en) | Augmented and Virtual Reality | |
| CN110832450B (en) | Method and system for providing objects in a virtual or paravirtual space based on user characteristics | |
| CN112732147B (en) | Applying the Confirmation Option in the Graphical Messaging User Interface | |
| US9367942B2 (en) | Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation | |
| JP4318047B2 (en) | 3D object display device, 3D object switching display method, and 3D object display program | |
| US9153062B2 (en) | Systems and methods for sketching and imaging | |
| KR100930370B1 (en) | Augmented reality authoring method and system and computer readable recording medium recording the program | |
| KR101501028B1 (en) | Method and Apparatus for Generating and Editing a Detailed Image | |
| US20050248560A1 (en) | Interactive exploded views from 2D images | |
| KR101920035B1 (en) | Method for providing augmented reality content using virtual object and apparatus using the same | |
| US20060036959A1 (en) | Common user interface for accessing media | |
| JP2011526043A (en) | Semantic zoom in virtual 3D graphical user interface | |
| WO2019064078A2 (en) | System and method for enabling synchronous and asynchronous decision making in augmented reality and virtual augmented reality environments enabling guided tours of shared design alternatives | |
| JP2009140492A (en) | Method, system and computer program for rendering real world objects and interactions in a virtual world | |
| US11704756B2 (en) | System and method for displaying additional information on 3D tour | |
| CN105117021A (en) | Virtual reality content generation method and playing device | |
| Henrikson et al. | Storeoboard: Sketching stereoscopic storyboards | |
| WO2011081193A1 (en) | Image display system | |
| CN106255951A (en) | The content utilizing dynamic zoom to focus on shows | |
| US20120109609A1 (en) | Online media and presentation interaction method | |
| JP6089145B2 (en) | CAMERA WORK GENERATION METHOD, CAMERA WORK GENERATION DEVICE, AND CAMERA WORK GENERATION PROGRAM | |
| JP7481044B2 (en) | Multi-depth image creation and viewing | |
| JP4656385B2 (en) | Window display device, window display method, and window display program | |
| US11830092B2 (en) | Server and method for displaying additional information on 3D tour | |
| WO2014014928A2 (en) | Systems and methods for three-dimensional sketching and imaging |
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20070910 | |
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20070910 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20091009 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20091015 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20091116 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20101202 | |
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20101215 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20140107 Year of fee payment:3 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20140107 Year of fee payment:3 | |
| LAPS | Cancellation because of no payment of annual fees |