【０００１】[0001]
【発明の属する技術分野】本発明は、インフラ、生産、
流通および各種サービス関連の保守作業者や屋外作業者
が使用する、映像や音声、データ入出力などの各種マル
チメディア情報機器を用いて作業支援を行うマルチメデ
ィア制御装置およびそのプログラムを記録した記録媒体
に関するものである。TECHNICAL FIELD The present invention relates to infrastructure, production,
A multimedia control device that supports work using various multimedia information devices, such as video, audio, and data input / output, used by distribution and various service-related maintenance workers and outdoor workers, and a recording medium that records the program. It is about.
【０００２】[0002]
【従来の技術】インフラ、生産、流通および各種サービ
ス関連の保守作業者や屋外作業者が使用する、映像や音
声、データ入出力などの各種マルチメディア情報機器を
用いて、作業支援を行うマルチメディア制御装置に関す
る従来の方法として、例えば、特開平９−１６３６５号
に記載されている、カメラや画像処理装置を介して入力
された画像データ、プロセスコントローラを介して入力
されたプロセスデータに、別途入力して得たテキストデ
ータを加えたデータを、スピーカや音声処理装置を介し
て得た音声データと同期をとって出力しうる方法などが
挙げられる。2. Description of the Related Art Multimedia for supporting work using various multimedia information devices, such as video, audio, and data input / output, used by maintenance workers and outdoor workers related to infrastructure, production, distribution, and various services. As a conventional method related to the control device, for example, image data input via a camera or an image processing device, and process data input via a process controller, which are described in JP-A-9-16365, are separately input. And a method of outputting the data to which the text data obtained by adding the text data is synchronized with the voice data obtained through the speaker or the voice processing device.
【０００３】[0003]
【発明が解決しようとする課題】しかし、このような方
法では、両手がふさがっている作業中にデータを取得し
たい場合にも、マルチメディア制御装置のポインティン
グデバイス等を操作するなど、本来の作業を一時中断し
てマルチメディア制御装置を手動で動作する必要が生じ
る場合があり、操作性の点に問題がある。However, in such a method, even if the user wants to acquire data during the work in which both hands are occupied, he or she can operate the pointing device of the multimedia control device or the like to perform the original work. In some cases, it is necessary to temporarily stop and manually operate the multimedia control device, which causes a problem in operability.
【０００４】また、このようなマルチメディア制御装置
に、音声認識処理アプリケーションを付加した場合にお
ける問題点としては、マルチメディア制御装置にて操作
者の声などの録音や再生を行う場合、あるいは他のコン
ピュータ等との音声通信を行う場合には、音声デバイス
の競合のため、手動で競合回避のためのマルチメディア
制御装置のポインティングデバイス等の操作を行わなけ
ればならない場合があるという、操作上の問題があっ
た。即ち、デバイス操作処理部に対して、各種マルチメ
ディアデバイスの占有開始、デバイスの占有操作開始、
デバイス占有操作開放通知などの機能を考慮したり、更
にはデバイス占有操作中断要求、デバイス占有操作中断
開放通知、デバイス一時占有操作、デバイス占有操作中
断、デバイス占有状態応答などの機能を考慮したりし
て、デバイス占有に関連する制御を統一的に行わせるよ
うにする必要がある。[0004] In addition, when a voice recognition processing application is added to such a multimedia control device, there is a problem in recording or reproducing an operator's voice or the like in the multimedia control device, or in other cases. When performing voice communication with a computer or the like, there is a problem in operation that, in some cases, it is necessary to manually operate a pointing device or the like of a multimedia control device to avoid contention due to contention of voice devices. was there. That is, for the device operation processing unit, the start of occupation of various multimedia devices, the start of occupancy of devices,
Consider functions such as device occupancy operation release notification, and further consider functions such as device occupancy operation interruption request, device occupation operation interruption release notification, device temporary occupation operation, device occupation operation interruption, and device occupation status response. Therefore, it is necessary to unify control related to device occupation.
【０００５】本発明の前記従来の課題に鑑み、作業中、
一連のマルチメディア情報操作等に際して、マルチメデ
ィア制御装置のデバイス競合回避のための手動操作を必
要とする場合があるなどという操作性の問題点を解決
し、デバイス占有に関する制御を統一的に行わせるよう
にして、操作者の利便性を向上することを目的としてい
る。In view of the above conventional problems of the present invention, during operation,
In a series of multimedia information operations, etc., it is possible to solve the problem of operability that a manual operation for avoiding device conflict of the multimedia control device may be required, and perform unified control of device occupation. In this way, it is intended to improve the convenience for the operator.
【０００６】[0006]
【課題を解決するための手段】前記課題の解決は、本発
明が次の新規な夫々の特徴的手段を採用することによっ
て達成される。すなわち、本発明は、計算機システムに
おいて、マルチメディアデバイスと、マルチメディアデ
バイスの操作およびそのデータ処理を行うデバイス操作
処理部と、複数の該デバイス操作処理部を制御する制御
部とを具備するマルチメディア制御装置であって、
（ｉ) 該デバイス操作処理部に、該デバイス操作処理部
以外からの通信により、マルチメディアデバイスの占有
を開始し、マルチメディアデバイスの操作を開始するデ
バイス占有操作開始インタフェースと、マルチメディア
デバイス操作を終了し、そのマルチメディアデバイスが
開放されたことを、該デバイス操作処理部以外へ通信す
るデバイス占有操作開放通知インタフェースとを具備す
ることを特徴とし、（ii）該デバイス操作処理部に、該
デバイス操作処理部以外からの通信により、マルチメデ
ィアデバイスの占有および操作を中断する要求を受信す
るデバイス占有操作中断要求インタフェースと、マルチ
メディアデバイスの占有および操作を中断し、そのマル
チメディアデバイスが開放されたことを、該デバイス操
作処理部以外へ通信するデバイス占有操作中断開放通知
インタフェースとを具備することを特徴とし、(iii) 該
デバイス操作処理部に、該デバイス操作処理部以外から
の通信により、マルチメディアデバイスの占有を開始
し、マルチメディアデバイスの操作を開始するデバイス
占有操作開始インタフェースにおいて、デバイス占有操
作開始インタフェース実行時間中に、マルチメディアデ
バイスの操作を完了し、占有を開放するデバイス一時占
有操作インタフェースを具備することを特徴とし、（i
v) 該デバイス操作処理部に、該デバイス操作処理部以
外からの通信により、インタフェース実行時間中にマル
チメディアデバイスの占有を中断し、マルチメディアデ
バイスの操作を中断するデバイス占有操作中断インタフ
ェースを具備することを特徴とし、（ｖ）該デバイス操
作処理部に、該デバイス操作処理部以外からの通信によ
り、該デバイス操作処理部のデバイスの占有状態を応答
するデバイス占有状態応答インタフェースを具備するこ
とを特徴とし、（vi) 該デバイス操作処理部内のデータ
処理において、音声認識処理、音声通信処理、画像通信
処理、音声記録処理、音声再生処理、画像表示処理、画
像記録処理、画像再生処理の処理のうち一つ、あるいは
複数の処理を行う、複数の該デバイス操作処理部を具備
することを特徴とし、(vii) 作業者が身体に装着可能
な、データ処理部、ポインティングデバイス、表示部、
音声入力部、および電源部を有する計算機を使用するこ
とを特徴とする、などの特徴をもっている。The above object is achieved by the present invention adopting the following novel characteristic means. That is, the present invention provides, in a computer system, a multimedia device comprising: a multimedia device; a device operation processing unit that operates the multimedia device and performs data processing thereof; and a control unit that controls a plurality of the device operation processing units. A control device,
(I) A device occupation operation start interface for starting occupation of the multimedia device and starting operation of the multimedia device by the device operation processing unit by communication from a device other than the device operation processing unit; A device occupation operation release notification interface for communicating that the multimedia device has been released and that the multimedia device has been released to a device other than the device operation processing unit. (Ii) The device operation processing unit A device occupation operation interruption request interface that receives a request to interrupt the occupation and operation of the multimedia device by communication from a device other than the operation processing unit, and the occupation and operation of the multimedia device are interrupted and the multimedia device is released. To other than the device operation processing unit (Iii) the device operation processing unit starts occupation of the multimedia device by communication from a device other than the device operation processing unit, and A device temporary occupation operation interface for completing the operation of the multimedia device and releasing the occupation during the device occupancy operation start interface execution time, wherein
v) The device operation processing unit includes a device occupation operation interruption interface for interrupting the occupation of the multimedia device during the interface execution time and interrupting the operation of the multimedia device by communication from a device other than the device operation processing unit. (V) The device operation processing unit is provided with a device occupation state response interface for responding to the occupation state of the device of the device operation processing unit by communication from a device other than the device operation processing unit. (Vi) In the data processing in the device operation processing unit, among the processing of voice recognition processing, voice communication processing, image communication processing, voice recording processing, voice playback processing, image display processing, image recording processing, and image playback processing, One or a plurality of processes, characterized by comprising a plurality of the device operation processing unit, (vii) a data processing unit, a pointing device, a display unit,
It is characterized by using a computer having a voice input unit and a power supply unit.
【０００７】本発明は、前記のような手段を講じたの
で、音声認識、画像記録、音声記録や、他のコンピュー
タと音声通信または画像通信などの各種マルチメディア
機器操作に際して、デバイス占有操作開始インタフェー
ス、デバイス占有操作開放通知インタフェース、デバイ
ス占有操作中断要求インタフェース、デバイス占有操作
中断開放通知インタフェース、デバイス一時占有操作イ
ンタフェース、デバイス占有操作中断インタフェース、
デバイス占有状態応答インタフェースを介した、デバイ
スの占有に関わる制御を行うことにより、マルチメディ
ア制御装置にて操作者の声などの録音や再生を行う場合
に、あるいは他のコンピュータ等との音声通信を行う場
合に、音声デバイスの競合のため、手動での競合回避の
ためのマルチメディア制御装置のポインティングデバイ
ス等の操作を行わなければならない場合があるという、
操作上の問題を解決できる。According to the present invention, a device occupation operation start interface is provided when various multimedia devices such as voice recognition, image recording, voice recording, and voice communication or image communication with another computer are operated. , Device occupation operation release notification interface, device occupation operation interruption request interface, device occupation operation interruption release notification interface, device temporary occupation operation interface, device occupation operation interruption interface,
By controlling the device occupation via the device occupation status response interface, the multimedia control unit can record and play back the voice of the operator, or perform voice communication with other computers. When performing, for the contention of audio devices, it may be necessary to manually operate the pointing device and the like of the multimedia control device for conflict avoidance,
Can solve operational problems.
【０００８】また、作業者が身体に装着可能な、データ
処理部、ポインティングデバイス、表示部、音声入力
部、および電源部を有する計算機を使用することを特徴
とするため、屋外等での作業、両手がマルチメディア制
御装置以外の装置等を操作する必要がある場合等におい
ても操作性が向上できる。[0008] In addition, since a computer having a data processing unit, a pointing device, a display unit, a voice input unit, and a power supply unit, which can be worn by the operator, is used. The operability can be improved even when both hands need to operate devices other than the multimedia control device.
【０００９】以上のように、作業中、一連のマルチメデ
ィア情報操作等に際して、マルチメディア制御装置のデ
バイス競合回避のための手動操作の必要性が生じる場合
がある、などという問題点を解決し、操作者の利便性を
向上したマルチメディア制御装置を実現できるという従
来技術との差異がある。As described above, it is possible to solve the problem that a manual operation for avoiding device conflict of the multimedia control device may be required during a series of multimedia information operations during the operation. There is a difference from the prior art that a multimedia control device with improved operator convenience can be realized.
【００１０】[0010]
【発明の実施の形態】本発明の実施例を図面に基づき詳
説する。図１は本発明の実施例を適用する構成図であ
る。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a configuration diagram to which an embodiment of the present invention is applied.
【００１１】Ａは本発明を適用するコンピュータであ
る。またＢはデータ処理部を表している。A is a computer to which the present invention is applied. B represents a data processing unit.
【００１２】１は、画像取得部で、ソフトウエアインタ
フェース１００を具備する。Reference numeral 1 denotes an image acquisition unit having a software interface 100.
【００１３】２は、音声取得部で、音声出力部３と共有
したソフトウエアインタフェース１０２を具備する。Reference numeral 2 denotes a voice acquisition unit having a software interface 102 shared with the voice output unit 3.
【００１４】３は、音声出力部で、音声取得部２と共有
したソフトウエアインタフェース１０２を具備する。Reference numeral 3 denotes an audio output unit having a software interface 102 shared with the audio acquisition unit 2.
【００１５】４はコンピュータＡの記憶部、５は表示
部、６は電源部、７はポインティングデバイス部であ
る。4 is a storage unit of the computer A, 5 is a display unit, 6 is a power supply unit, and 7 is a pointing device unit.
【００１６】８は、イベント処理部で、制御部９、およ
びソフトウエアインタフェース１０５，１０６を具備
し、ポインティングデバイス部７や音声認識処理用のデ
バイス操作処理部Ｑから送信されたイベント等に応じた
処理を行う。Reference numeral 8 denotes an event processing unit which includes a control unit 9 and software interfaces 105 and 106 and responds to events transmitted from the pointing device unit 7 and the device operation processing unit Q for voice recognition processing. Perform processing.
【００１７】Ｐは、音声画像通信処理用デバイス操作処
理部であって、音声画像通信処理部２００と、ソフトウ
エアインタフェース１００と接続可能なソフトウエアイ
ンタフェース１０１と、ソフトウエアインタフェース１
０２と接続可能なソフトウエアインタフェース１０３
と、ソフトウエアインタフェース１０５と接続可能な以
下の５つの音声画像通信発信用デバイス占有操作開始イ
ンタフェース２０１、音声画像通信着信許可用デバイス
占有操作開始インタフェース２０２、音声画像通信終了
時デバイス占有操作開放通知インタフェース２０３、音
声画像通信着信通知インタフェース２０４、音声画像通
信着信応答拒否インタフェース２０５とを具備する。P is a device operation processing unit for audio / video communication processing, which is an audio / video communication processing unit 200, a software interface 101 connectable to the software interface 100, and a software interface 1
Software interface 103 that can be connected to
The following five audio / video communication transmitting device occupancy operation start interface 201 connectable to the software interface 105, the audio / video communication reception permitting device occupation operation start interface 202, and the audio / video communication end device occupation operation release notification interface 203, an audio / video communication incoming call notification interface 204, and an audio / video communication incoming call rejection interface 205.
【００１８】音声画像通信処理部２００は、各操作イン
タフェースからの情報に基づき、デバイス占有時には、
（ｉ）画像取得部１からソフトウエアインタフェース１
００，１０１を介して取得した画像情報、（ii）および
音声取得部２からソフトウエアインタフェース１０２，
１０３を介して取得した音声情報を、ネットワークイン
タフェースを介して他の計算機システムに送信する処
理、ならびに、送信する画像情報を、計算機システムの
オペレーティングシステムの機能を使用し、表示部５に
表示する処理、ならびに、ネットワークインタフェース
を介して他の計算機システムから受信した画像情報を、
計算機システムのオペレーティングシステムの機能を使
用し、表示部５に表示する処理、ならびに、ネットワー
クインタフェースを介して他の計算機システムから受信
した音声情報を、ソフトウエアインタフェース１０２，
１０３を介して、音声出力部に出力する処理を行う。When the device is occupied, the audio / video communication processing unit 200, based on information from each operation interface,
(I) From the image acquisition unit 1 to the software interface 1
(Ii) and the image information acquired via the audio acquisition unit 2 and the software interface 102,
A process of transmitting voice information acquired via the network interface 103 to another computer system via a network interface, and a process of displaying image information to be transmitted on the display unit 5 using a function of an operating system of the computer system. , And image information received from another computer system via the network interface,
Using the functions of the operating system of the computer system, the processing to be displayed on the display unit 5 and the voice information received from another computer system via the network interface are transmitted to the software interface 102,
A process for outputting to the audio output unit via 103 is performed.
【００１９】Ｑは、音声認識処理用のデバイス操作処理
部であって、音声認識通信処理部３００と、ソフトウエ
アインタフェース１０２と接続可能なソフトウエアイン
タフェース１０４と、ソフトウエアインタフェース１０
６と接続可能な以下の５つの、音声認識処理用デバイス
占有操作開始インタフェース３０１、音声認識処理用デ
バイス占有操作中断要求インタフェース３０２、音声認
識処理用デバイス占有操作中断開放通知インタフェース
３０３、音声認識処理用デバイス占有状態応答インタフ
ェース３０４、認識結果コマンド通知インタフェース３
０５とを具備する。Q is a device operation processing unit for voice recognition processing, which is a voice recognition communication processing unit 300, a software interface 104 connectable to the software interface 102, and a software interface 10.
5, the following five devices that can be connected to the voice recognition processing device occupation operation start interface 301, the voice recognition processing device occupation operation interruption request interface 302, the voice recognition processing device occupation operation interruption release notification interface 303, and the voice recognition processing Device occupation status response interface 304, recognition result command notification interface 3
05.
【００２０】以下では、音声認識処理中に、音声画像通
信発信の操作に移行し、音声画像通信終了後、音声認識
処理操作に戻る場合を例に取り、説明する。In the following, an example will be described in which the operation shifts to the operation of transmitting the voice image communication during the voice recognition process, and returns to the voice recognition processing operation after the voice image communication ends.
【００２１】（手順ａ１）まず、音声認識処理中では、
ソフトウエアインタフェース１０２は音声認識処理用デ
バイス操作処理部Ｑのソフトウエアインタフェース１０
４と接続され、音声認識通信処理部３００は、音声取得
部２により取得された音声データを認識処理し、認識結
果コマンド通知インタフェース３０５、およびソフトウ
エアインタフェース１０６を介して、認識結果コマンド
をイベント処理部８に通知する。(Procedure a1) First, during speech recognition processing,
The software interface 102 is the software interface 10 of the device operation processing unit Q for voice recognition processing.
4, the voice recognition communication processing unit 300 recognizes the voice data obtained by the voice obtaining unit 2, and processes the recognition result command through the recognition result command notification interface 305 and the software interface 106. Notify section 8.
【００２２】（手順ａ２）次に、操作者が音声画像通信
発信の操作開始を意味する発声を行い、音声認識通信処
理の結果、認識結果コマンド通知インタフェース３０５
を介して、イベント処理部８に音声画像通信操作の開始
に相当するイベントが通知された場合、あるいは、ポイ
ンティングデバイス部７を介して、音声画像通信操作開
始に相当する操作が行われ、イベント処理部８に音声画
像通信操作の開始に相当するイベントが通知された場
合、イベント処理部８内の制御部９は以下の操作を行
う。(Procedure a2) Next, the operator makes an utterance indicating the start of the operation of transmitting the voice image communication, and as a result of the voice recognition communication processing, the recognition result command notification interface 305.
When an event corresponding to the start of the audio / video communication operation is notified to the event processing unit 8 via the CPU, or an operation corresponding to the start of the audio / video communication operation is performed via the pointing device unit 7, and the event processing is performed. When the event corresponding to the start of the audio / video communication operation is notified to the unit 8, the control unit 9 in the event processing unit 8 performs the following operation.
【００２３】（手順ａ３）制御部９は、音声認識処理用
デバイス操作処理部Ｑの音声認識処理用デバイス占有状
態応答インタフェース３０４を介して、現在のデバイス
占有状態を記録した後、音声認識処理用デバイス占有操
作中断要求インタフェース３０２を介して、デバイス占
有操作の中断を音声認識処理用デバイス操作処理部Ｑに
要求する。(Procedure a3) The control unit 9 records the current device occupation state via the voice recognition processing device occupation state response interface 304 of the voice recognition processing device operation processing unit Q, and then controls the voice recognition processing operation. Via the device occupation operation interruption request interface 302, a request to interrupt the device occupation operation is made to the voice recognition processing device operation processing unit Q.
【００２４】（手順ａ４）音声認識処理用デバイス操作
処理部Ｑは、ソフトウエアインタフェース１０２とソフ
トウエアインタフェース１０４との接続を解除すること
でデバイス占有操作中断を完了し、音声認識処理用デバ
イス占有操作中断開放通知インタフェース３０３を介し
て、イベント処理部８にデバイスが開放されたことを通
知する。(Procedure a4) The voice recognition processing device operation processing unit Q completes the interruption of the device occupation operation by disconnecting the software interface 102 and the software interface 104, and performs the voice recognition processing device occupation operation. Via the interruption release notification interface 303, the event processing unit 8 is notified that the device has been released.
【００２５】（手順ａ５）イベント処理部８内の制御部
９は、次に、音声画像通信発信用デバイス占有操作開始
インタフェース２０１を介して、音声画像通信発信の開
始を、音声画像通信処理用デバイス操作処理部Ｐに通知
する。(Procedure a5) Next, the control unit 9 in the event processing unit 8 sends the start of the audio / video communication transmission via the audio / video communication transmission device occupation operation start interface 201 to the audio / video communication processing device. The operation processing unit P is notified.
【００２６】（手順ａ６）音声画像通信処理用デバイス
操作処理部Ｐは、ソフトウエアインタフェース１００と
ソフトウエアインタフェース１０１、および、既に開放
されたソフトウエアインタフェース１０２とソフトウエ
アインタフェース１０３を接続し、音声画像通信処理を
開始する。(Procedure a6) The device operation processing section P for audio / video communication processing connects the software interface 100 and the software interface 101, and the already opened software interface 102 and the software interface 103, and connects the audio / video Start communication processing.
【００２７】以上で、音声認識処理操作から、音声画像
通信操作への移行が完了する。With the above, the transition from the voice recognition processing operation to the voice / image communication operation is completed.
【００２８】次に、この状態から、通信相手からの切断
が生じた場合の動作について説明する。Next, an operation when a disconnection from a communication partner occurs from this state will be described.
【００２９】（手順ｂ１）通信相手からの切断が生じた
場合、音声画像通信処理用デバイス操作処理部Ｐは、ソ
フトウエアインタフェース１００とソフトウエアインタ
フェース１０１、および、ソフトウエアインタフェース
１０２とソフトウエアインタフェース１０３の接続を解
除し、音声画像通信終了時デバイス占有操作開放通知イ
ンタフェース２０３を介して、イベント処理部８にデバ
イスが開放されたことを通知する。(Procedure b1) When a disconnection from a communication partner occurs, the device operation processing unit P for audio-visual communication processing includes a software interface 100 and a software interface 101, and a software interface 102 and a software interface 103. Is released, and the event processing unit 8 is notified of the release of the device via the device occupation operation release notification interface 203 at the end of the audiovisual communication.
【００３０】（手順ｂ２）イベント処理部８内の制御部
９は、記録済みの、音声画像通話以前のデバイス占有状
態の情報に基づき、次に、音声認識処理用デバイス占有
操作開始インタフェース３０１を介して、音声認識処理
用デバイス操作処理部Ｑに処理の再開を通知する。(Procedure b2) The control unit 9 in the event processing unit 8 then, based on the recorded information on the device occupation state before the voice / video call, via the device occupation operation start interface 301 for voice recognition processing. Then, the device operation processing unit Q for voice recognition processing is notified of the restart of the processing.
【００３１】（手順ｂ３）音声認識処理用デバイス操作
処理部Ｑは、既に開放されたソフトウエアインタフェー
ス１０２とソフトウエアインタフェース１０４を接続
し、音声認識処理を再開する。(Procedure b3) The voice recognition processing device operation processing unit Q connects the software interface 102 and the software interface 104 that have already been opened, and restarts the voice recognition processing.
【００３２】この一連の動作により、作業中、一連のマ
ルチメディア情報操作等に際して、マルチメディア制御
装置のデバイス競合回避のための手動操作の必要性が生
じる場合がある、などという問題点を解決し、操作者の
利便性を向上したマルチメディア制御装置を実現でき
る。This series of operations solves the problem that a manual operation for avoiding device conflict of the multimedia control device may be required during a series of multimedia information operations or the like during work. Thus, a multimedia control device with improved operator convenience can be realized.
【００３３】（手順ｃ１）また、音声認識操作中に、図
示しない別のインタフェース（例えばネットワークイン
タフェース）を介して音声画像通信の着信が通知された
場合には、音声画像通信処理用デバイス操作処理部Ｐ
は、音声画像通信着信通知インタフェース２０４を介し
て、イベント処理部８に着信を通知する。(Procedure c1) Also, if an incoming voice / video communication is notified via another interface (not shown) (for example, a network interface) during the voice recognition operation, a device operation processing unit for voice / video communication processing is performed. P
Notifies the event processing unit 8 of the incoming call via the audiovisual communication incoming notification interface 204.
【００３４】（手順ｃ２）このとき、イベント処理部８
内の制御部９は、例えば着信を応答するか否かを操作者
に問うグラフィカルユーザインタフェースを表示、応答
する場合には、先の動作において、音声画像通信発信用
デバイス占有操作開始インタフェース２０１を、音声画
像通信着信許可用デバイス占有操作開始インタフェース
２０２に置き換えた一連の操作により、デバイス競合回
避のための手動操作を回避した音声画像通話を実行す
る。(Procedure c2) At this time, the event processing unit 8
The control unit 9 displays, for example, a graphical user interface for asking the operator whether or not to respond to the incoming call. By a series of operations replaced by the audio-video communication incoming call permission device occupation operation start interface 202, an audio-video call is executed in which a manual operation for avoiding device conflict is avoided.
【００３５】（手順ｃ３）応答を拒絶する場合には、制
御部９は、音声画像通信着信応答拒否インタフェース２
０５を介して応答の拒否を音声画像通信処理用デバイス
操作処理部Ｐに通知することにより、通話を切断する。(Procedure c3) When rejecting the response, the control section 9 sets the voice / video communication incoming call response rejection interface 2
By notifying the rejection of the response to the device operation processing unit P for audio-visual communication processing via the communication unit 05, the call is disconnected.
【００３６】また、上記の様にマルチメディアデバイス
の制御が必要な場合以外の例として、例えば、記憶部内
のデータを他の計算機システムに転送することなどが可
能である。As an example other than the case where the control of the multimedia device is necessary as described above, for example, it is possible to transfer the data in the storage unit to another computer system.
【００３７】すなわち、操作者がデータ転送開始を意味
する発声を行い、音声認識通信処理の結果、認識結果コ
マンド通知インタフェース３０５を介して、イベント処
理部８にデータ転送開始に相当するイベントが通知され
た場合、あるいは、ポインティングデバイス部７を介し
て、データ転送開始に相当する操作が行われ、イベント
処理部８にデータ転送開始に相当するイベントが通知さ
れた場合、制御部９は、あらかじめ設定された転送に関
する情報に基づき、記憶部内の所定のデータを他の所定
の計算機システムに、計算機システムのオペレーティン
グシステムの機能等を使用し、データを転送することが
可能である。That is, the operator makes an utterance indicating the start of data transfer, and as a result of the voice recognition communication processing, an event corresponding to the start of data transfer is notified to the event processing unit 8 via the recognition result command notification interface 305. Or when an operation corresponding to the start of data transfer is performed via the pointing device unit 7 and an event corresponding to the start of data transfer is notified to the event processing unit 8, the control unit 9 is set in advance. Based on the information related to the transfer, predetermined data in the storage unit can be transferred to another predetermined computer system by using a function of an operating system of the computer system or the like.
【００３８】図２、図３は、他の実施例を示すデバイス
操作処理部の構成図である。FIG. 2 and FIG. 3 are configuration diagrams of a device operation processing section showing another embodiment.
【００３９】図２において、Ｒは、画像表示処理用デバ
イス操作処理部であって、画像表示処理部４００とソフ
トウエアインタフェース１００と接続可能なソフトウエ
アインタフェース１０７とイベント処理部８とソフトウ
エアインタフェース１０５等を介して接続可能な、以下
の２つの、画像表示処理用デバイス占有操作開始インタ
フェース４０１、画像表示処理用デバイス占有操作中断
インタフェース４０２とを具備する。In FIG. 2, R denotes a device operation processing unit for image display processing, which is a software interface 107 connectable to the image display processing unit 400, the software interface 100, the event processing unit 8, and the software interface 105. It has the following two device display operation occupation operation start interfaces 401 and 402 for image display processing device occupation operations that can be connected via the above-mentioned operations.
【００４０】画像処理部４００は、各操作インタフェー
スからの情報に基づき、デバイス占有時には、画像取得
部１からソフトウエアインタフェース１００，１０７を
介して取得した画像情報、計算機システムのオペレーテ
ィングシステムの機能を使用し、表示部５に表示する処
理を行う。The image processing unit 400 uses the image information obtained from the image obtaining unit 1 via the software interfaces 100 and 107 and the functions of the operating system of the computer system when the device is occupied, based on the information from each operation interface. Then, processing for displaying on the display unit 5 is performed.
【００４１】図３において、Ｓは、音声記録再生処理用
デバイス操作処理部であって、音声記録再生処理部５０
０と、ソフトウエアインタフェース１０２と接続可能な
ソフトウエアインタフェース１０８と、イベント処理部
８とソフトウエアインタフェース１０５等を介して接続
可能な、以下の２つの、音声記録用デバイス一時占有操
作インタフェース５０１、音声再生用デバイス一時占有
操作インタフェース５０２とを具備する。In FIG. 3, S denotes a device operation processing unit for audio recording / reproducing processing, and the audio recording / reproducing processing unit 50
0, a software interface 108 connectable to the software interface 102, and the following two audio recording device temporary occupancy operation interfaces 501 connectable via the event processing unit 8 and the software interface 105, etc. And a reproduction device temporary occupation operation interface 502.
【００４２】音声記録再生処理部５００は、各操作イン
タフェースからの情報に基づき、デバイス占有時には、
音声取得部２からソフトウエアインタフェース１０２，
１０８を介して取得した所定の時間の音声情報を、計算
機システムのオペレーティングシステムの機能を使用
し、記憶部４に記録する処理、または、記憶部４に記録
された音声データのうち、指定された音声データを記憶
部４から、計算機システムのオペレーティングシステム
の機能を使用して読み出し、ソフトウエアインタフェー
ス１０２，１０８を介して、音声出力部に出力する処理
を行う。The audio recording / reproducing processing unit 500, based on information from each operation interface,
From the voice acquisition unit 2 to the software interface 102,
A process of recording the audio information for a predetermined period of time acquired through the storage unit 4 into the storage unit 4 using the function of the operating system of the computer system, or a process of recording the audio information specified in the audio data recorded in the storage unit 4. The voice data is read from the storage unit 4 using the function of the operating system of the computer system, and is output to the voice output unit via the software interfaces 102 and 108.
【００４３】画像表示処理用デバイス操作処理部Ｒ、音
声記録再生処理用デバイス操作処理部Ｓを、図１の音声
画像通信処理用デバイス操作処理部Ｐ、および音声認識
処理用デバイス操作処理部Ｑと同等に配置することで、
画像表示処理や音声記録再生処理に関する操作に関して
も、マルチメディア制御装置のデバイス競合回避のため
の手動操作の必要性が生じる場合がある、などという問
題点を解決し、操作者の利便性を向上したマルチメディ
ア制御装置を実現できる。The device operation processing unit R for image display processing and the device operation processing unit S for audio recording / reproducing processing are combined with the device operation processing unit P for audio / video communication processing and the device operation processing unit Q for audio recognition processing in FIG. By placing them equally,
For the operations related to image display processing and audio recording / playback processing, the need to manually operate the multimedia control device to avoid device conflicts has been solved. A multimedia control device can be realized.
【００４４】次に、画像表示処理用デバイス操作処理部
Ｒを、図１に加えて配置した場合を例にとり、実施例を
説明する。Next, an embodiment will be described by taking as an example a case where the device operation processing section R for image display processing is arranged in addition to FIG.
【００４５】（手順ｄ１）ここで、ソフトウエアインタ
フェース１００とソフトウエアインタフェース１０７と
が接続され、画像表示用デバイス操作処理部Ｒが、画像
取得部１を占有している状態（画像表示を実行している
状態）において、前例と同様に、操作者が音声画像通信
操作開始を意味する発声を行い、音声認識通信処理の結
果、認識結果コマンド通知インタフェース３０５を介し
て、イベント処理部８に音声画像通信操作の開始に相当
するイベントが通知された場合には、制御部９は、デバ
イス占有操作の中断を音声認識処理用デバイス操作処理
部Ｑに要求する処理に加えて、画像表示処理用デバイス
占有操作中断のインタフェース４０２を介して、画像表
示用デバイス操作処理部Ｒの画像取得部１の占有を中断
する処理（１００と１０７との切断）を行った後、前例
と同様に音声画像通信の処理（１００と１０１の接続、
１０２と１０３の接続）を開始する。(Procedure d1) Here, the software interface 100 and the software interface 107 are connected, and the image display device operation processing unit R occupies the image acquisition unit 1 (image display is executed). In the same manner as in the previous example, the operator makes an utterance indicating the start of the audio / video communication operation, and as a result of the audio recognition communication processing, the audio / video is transmitted to the event processor 8 via the recognition result command notification interface 305. When the event corresponding to the start of the communication operation is notified, the control unit 9 performs the process of requesting the device operation processing unit Q for voice recognition processing to suspend the device occupation operation, Processing for interrupting the occupation of the image acquisition unit 1 of the image display device operation processing unit R via the operation interruption interface 402 (100 After cleavage) and 107, processing of the audio video communication as well as the previous (100 and 101 connect,
(Connection between 102 and 103) is started.
【００４６】（手順ｄ２）音声画像通信が終了した場合
には、イベント処理部８内の制御部９は、音声認識処理
用デバイス占有操作開始インタフェース３０１を介し
て、音声認識処理用デバイス操作処理部Ｑに処理の再開
を通知する処理に加えて、画像表示処理用デバイス占有
操作開始インタフェース４０１を介して、画像表示用デ
バイス操作処理部Ｒに、画像取得部１を占有させる処理
を行い、画像表示処理を再開させる。(Procedure d2) When the voice / image communication is completed, the control unit 9 in the event processing unit 8 sends the voice recognition device operation processing unit via the voice recognition processing device occupation operation start interface 301. In addition to the process of notifying Q of the resumption of the process, a process of occupying the image acquisition unit 1 in the image display device operation processing unit R via the image display processing device occupation operation start interface 401 is performed. Resume processing.
【００４７】次に、音声記録再生処理用デバイス操作処
理部Ｓを、図１の音声画像通信処理用デバイス操作処理
部Ｐの代わりに配置した場合を例にとり、実施例を説明
する。Next, an embodiment will be described by taking as an example a case where the device operation processing section S for audio recording / reproducing processing is arranged in place of the device operation processing section P for audio / video communication processing in FIG.
【００４８】（手順ｅ１）ここで、操作者が音声記録の
開始を意味する発声を行い、音声認識通信処理の結果、
認識結果コマンド通知インタフェース３０５を介して、
イベント処理部８に音声記録の開始に相当するイベント
が通知された場合、制御部９は、音声認識処理用デバイ
ス操作処理部Ｑの音声認識処理用デバイス占有状態応答
インタフェース３０４を介して、現在のデバイス占有状
態を記録した後、音声認識処理用デバイス占有操作中断
要求インタフェース３０２を介して、デバイス占有操作
の中断を音声認識処理用デバイス操作処理部Ｑに要求す
る。(Procedure e1) Here, the operator makes an utterance indicating the start of voice recording, and as a result of the voice recognition communication process,
Via the recognition result command notification interface 305,
When the event corresponding to the start of the voice recording is notified to the event processing unit 8, the control unit 9 transmits the current event via the voice recognition processing device occupation state response interface 304 of the voice recognition processing device operation processing unit Q. After recording the device occupation state, the device occupation operation interrupt request interface 302 requests the device operation processing unit Q for voice recognition processing to interrupt the device occupation operation.
【００４９】（手順ｅ２）音声認識処理用デバイス操作
処理部Ｑは、ソフトウエアインタフェース１０２とソフ
トウエアインタフェース１０４との接続を解除すること
でデバイス占有操作中断を完了し、音声認識処理用デバ
イス占有操作中断開放通知インタフェース３０３を介し
て、イベント処理部８にデバイスが開放されたことを通
知する。(Procedure e2) The device operation processing unit Q for speech recognition processing completes the interruption of the device occupation operation by disconnecting the software interface 102 and the software interface 104, and the device occupation operation for speech recognition processing. Via the interruption release notification interface 303, the event processing unit 8 is notified that the device has been released.
【００５０】（手順ｅ３）イベント処理部８内の制御部
９は、次に、音声記録用デバイス一時占有操作インタフ
ェース５０１を介して、音声記録を、音声記録再生処理
用デバイス操作処理部Ｓに実行させる。(Procedure e3) Next, the control unit 9 in the event processing unit 8 executes the audio recording to the audio recording / reproducing device operation processing unit S via the audio recording device temporary occupation operation interface 501. Let it.
【００５１】（手順ｅ４）音声記録再生処理用デバイス
操作処理部Ｓは、音声記録用デバイス一時占有操作イン
タフェース５０１の実行中に、ソフトウエアインタフェ
ース１０２とソフトウエアインタフェース１０８を接続
し、一定時間の音声を記憶部４に記憶し、ソフトウエア
インタフェース１０２を開放する。(Procedure e4) The device operation processing unit S for audio recording / reproducing processing connects the software interface 102 and the software interface 108 during execution of the audio recording device temporary occupation operation interface 501, and outputs audio for a predetermined time. Is stored in the storage unit 4, and the software interface 102 is opened.
【００５２】（手順ｅ５）次に、イベント処理部８内の
制御部９は、記録済みの、デバイス占有状態の情報に基
づき、音声認識処理用デバイス占有操作開始インタフェ
ース３０１を介して、音声認識処理用デバイス操作処理
部Ｑに処理の再開を通知する。(Procedure e5) Next, the control unit 9 in the event processing unit 8 performs the voice recognition processing via the voice recognition processing device occupation operation start interface 301 based on the recorded device occupation state information. To the device operation processing unit Q for resumption of processing.
【００５３】（手順ｅ６）音声認識処理用デバイス操作
処理部Ｑは、既に開放されたソフトウエアインタフェー
ス１０２とソフトウエアインタフェース１０４を接続
し、音声認識処理を再開する。(Procedure e6) The device operation processing unit Q for voice recognition processing connects the software interface 102 and the software interface 104 that have already been opened, and restarts the voice recognition processing.
【００５４】（手順ｅ７）また、操作者が記録済み音声
の再生の開始を意味する発声を行った場合は、制御部９
は、上記と同様の処理を、音声記録用デバイス一時占有
操作インタフェース５０１を音声再生用デバイス一時占
有操作インタフェース５０２に置き換えた処理を行う。
このとき、音声記録再生処理用デバイス操作処理部Ｓ
は、音声再生用デバイス一時占有操作インタフェース５
０２の実行中に、ソフトウエアインタフェース１０２と
ソフトウエアインタフェース１０８を接続し、記録済み
音声を再生し、ソフトウエアインタフェース１０２を開
放する。(Procedure e7) When the operator has made an utterance indicating the start of reproduction of the recorded voice, the controller 9
Performs the same processing as described above, except that the audio recording device temporary occupancy operation interface 501 is replaced with the audio reproduction device temporary occupancy operation interface 502.
At this time, the device operation processing unit S for audio recording / reproduction processing
Is a voice reproduction device temporary occupancy operation interface 5
02, the software interface 102 and the software interface 108 are connected, the recorded audio is reproduced, and the software interface 102 is released.
【００５５】上記においてマルチメディア制御装置につ
いて説明したが、当該マルチメディア制御装置の処理態
様をプログラムの形で記述しておいて、当該プログラム
を読み出して実行することによって、当該マルチメディ
ア制御装置を実現することができる。したがって、本発
明は、当該プログラムを記録した記録媒体をも発明の対
象としているものである。Although the multimedia control device has been described above, the processing mode of the multimedia control device is described in the form of a program, and the multimedia control device is realized by reading and executing the program. can do. Therefore, the present invention is directed to a recording medium on which the program is recorded.
【００５６】[0056]
【発明の効果】以上説明した如く、本発明によれば、作
業中、一連のマルチメディア情報操作等に際して、マル
チメディア制御装置のデバイス競合回避のための手動操
作の必要性が生じる場合がある、などという問題点を解
決し、操作者の利便性を向上したマルチメディア制御装
置が実現される。As described above, according to the present invention, during a series of operations on multimedia information during operation, the need for manual operation for avoiding device conflict of the multimedia control device may arise. Thus, a multimedia control device that solves the above problems and improves the convenience of the operator is realized.
【図１】本発明の実施例を適用する構成図である。FIG. 1 is a configuration diagram to which an embodiment of the present invention is applied.
【図２】他の実施例を示すデバイス操作処理部の構成図
である。FIG. 2 is a configuration diagram of a device operation processing unit according to another embodiment.
【図３】他の実施例を示すデバイス操作処理部の構成図
である。FIG. 3 is a configuration diagram of a device operation processing unit according to another embodiment.
Ａ：コンピュータ Ｂ：データ処理部 １：画像取得部 ２：音声取得部 ３：音声出力部 ４：記憶部 ５：表示部 ６：電源部 ７：ポインティングデバイス部 ８：イベント処理部 ９：制御部 100,101,102,103,104,105,106,107,108 ：ソフトウエア
インタフェース Ｐ：音声画像通信処理用デバイス操作処理部 200 ：音声画像通信処理部 201 ：音声画像通信発信用デバイス占有操作開始インタ
フェース 202 ：音声画像通信着信許可用デバイス占有操作開始イ
ンタフェース 203 ：音声画像通信終了時デバイス占有操作開放通知イ
ンタフェース 204 ：音声画像通信着信通知インタフェース 205 ：音声画像通信着信応答拒否インタフェース Ｑ：音声認識処理用デバイス操作処理部 300 ：音声認識通信処理部 301 ：音声認識処理用デバイス占有操作開始インタフェ
ース 302 ：音声認識処理用デバイス占有操作中断要求インタ
フェース 303 ：音声認識処理用デバイス占有操作中断開放通知イ
ンタフェース 304 ：音声認識処理用デバイス占有状態応答インタフェ
ース 305 ：認識結果コマンド通知インタフェース Ｒ：画像表示処理用デバイス操作処理部 400 ：画像表示処理部 401 ：画像表示処理用デバイス占有操作開始インタフェ
ース 402 ：画像表示処理用デバイス占有操作中断インタフェ
ース Ｓ：音声記録再生処理用デバイス操作処理部 500 ：音声記録再生処理部 501 ：音声記録用デバイス一時占有操作インタフェース 502 ：音声再生用デバイス一時占有操作インタフェースA: Computer B: Data processing unit 1: Image acquisition unit 2: Audio acquisition unit 3: Audio output unit 4: Storage unit 5: Display unit 6: Power supply unit 7: Pointing device unit 8: Event processing unit 9: Control unit 100, 101, 102, 103, 104, 105, 106, 107, 108 : Software interface P: Device operation processing unit for audio / video communication processing 200: Audio / video communication processing unit 201: Device occupation operation start interface for audio / video communication originating device 202: Device occupation operation start interface for audio / video communication incoming call permission 203: Audio Device communication operation release notification interface at the end of video communication 204: Voice / video communication incoming call notification interface 205: Voice / video communication incoming response rejection interface Q: Device operation processing unit for voice recognition processing 300: Voice recognition communication processing unit 301: Voice recognition processing Device occupancy operation start interface 302: Sound Voice recognition processing device occupancy operation interruption request interface 303: Voice recognition processing device occupation operation interruption release notification interface 304: Voice recognition processing device occupation state response interface 305: Recognition result command notification interface R: Image display processing device operation processing Unit 400: Image display processing unit 401: Device occupancy operation start interface for image display processing 402: Interface for interrupting device occupation operation for image display processing S: Device operation processing unit for audio recording / reproduction processing 500: Audio recording / reproduction processing unit 501: Audio Recording device temporary occupancy operation interface 502: Voice playback device temporary occupancy operation interface
───────────────────────────────────────────────────── フロントページの続き (72)発明者 小阪 朋也 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5D015 KK02 5D045 AB01 AB26 5E501 AA13 AC08 BA05 CA02 CA08 CB07 CB15 EA21 EB05 FA32 ────────────────────────────────────────────────── ─── Continuing on the front page (72) Inventor Tomoya Kosaka 2-3-1 Otemachi, Chiyoda-ku, Tokyo F-term (reference) in Nippon Telegraph and Telephone Corporation 5D015 KK02 5D045 AB01 AB26 5E501 AA13 AC08 BA05 CA02 CA08 CB07 CB15 EA21 EB05 FA32
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21608499AJP2001042983A (en) | 1999-07-30 | 1999-07-30 | Multimedia controller and recording medium where program thereof is recorded |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21608499AJP2001042983A (en) | 1999-07-30 | 1999-07-30 | Multimedia controller and recording medium where program thereof is recorded |
| Publication Number | Publication Date |
|---|---|
| JP2001042983Atrue JP2001042983A (en) | 2001-02-16 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21608499APendingJP2001042983A (en) | 1999-07-30 | 1999-07-30 | Multimedia controller and recording medium where program thereof is recorded |
| Country | Link |
|---|---|
| JP (1) | JP2001042983A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63279269A (en)* | 1987-05-12 | 1988-11-16 | Toshiba Corp | Combined display and input device |
| JPH02204853A (en)* | 1989-02-02 | 1990-08-14 | Nec Software Ltd | Control system for occupancy state with use of input device |
| JPH05158861A (en)* | 1991-12-05 | 1993-06-25 | Nec Corp | Information processing system |
| JPH086708A (en)* | 1994-04-22 | 1996-01-12 | Canon Inc | Display device |
| JPH08116429A (en)* | 1994-10-17 | 1996-05-07 | Ricoh Co Ltd | Digital copier network system |
| JPH1153163A (en)* | 1997-08-08 | 1999-02-26 | Fujitsu Ltd | Voice message memo device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63279269A (en)* | 1987-05-12 | 1988-11-16 | Toshiba Corp | Combined display and input device |
| JPH02204853A (en)* | 1989-02-02 | 1990-08-14 | Nec Software Ltd | Control system for occupancy state with use of input device |
| JPH05158861A (en)* | 1991-12-05 | 1993-06-25 | Nec Corp | Information processing system |
| JPH086708A (en)* | 1994-04-22 | 1996-01-12 | Canon Inc | Display device |
| JPH08116429A (en)* | 1994-10-17 | 1996-05-07 | Ricoh Co Ltd | Digital copier network system |
| JPH1153163A (en)* | 1997-08-08 | 1999-02-26 | Fujitsu Ltd | Voice message memo device |
| Publication | Publication Date | Title |
|---|---|---|
| US5940459A (en) | Host signal processor modem and telephone | |
| CN106303679B (en) | Media playing control method and media playing client | |
| TW442757B (en) | Integrated application management system | |
| JP2005505205A (en) | Audio and / or visual systems, methods and components | |
| CN102131071A (en) | Method and device for video screen switching | |
| CN111372159A (en) | Earphone play control method and earphone | |
| US11900007B2 (en) | Display apparatus | |
| US7406570B2 (en) | Multisystem network, and device and method for access to data storage | |
| WO2024022052A1 (en) | Display terminal control method and system, display device, and storage medium | |
| WO2023103599A1 (en) | Screen projection method and apparatus, storage medium and electronic device | |
| CN112506460B (en) | Screen control authority sharing method, device, terminal and storage medium | |
| JP2001042983A (en) | Multimedia controller and recording medium where program thereof is recorded | |
| EP1571845A1 (en) | Apparatus and method for transmitting video data from mobile communication terminal | |
| CN1093717C (en) | Video player having telephone service function | |
| JPH0357076A (en) | Manual information service system | |
| US20050050249A1 (en) | Communication device and a method for establishing communication connection | |
| US6804734B2 (en) | Device and method for switching receiving/recording device in a broadcasting connection/point-to-point connection bus enviroment | |
| JPH1084423A (en) | Help desk device and recording medium | |
| JPH09186983A (en) | Controlling device and method | |
| CN108282532B (en) | File transmission method, sending device, receiving device and terminal | |
| JP2000083082A (en) | Sound generation output device, sound generation output method, and recording medium recording sound generation output program | |
| JP2004172966A (en) | User support method, user communication device, and center communication device | |
| JP4708306B2 (en) | Communication device with recording function, operation terminal, and communication terminal | |
| CN118869859A (en) | Device status processing method, device and mobile terminal | |
| CN119358569A (en) | Audio translation method and system |
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20040520 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20040601 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20040802 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20060124 | |
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:20060530 |