本発明は、対話を制御する対話制御装置等に関するものである。 The present invention relates to a dialogue control device and the like for controlling dialogue.
従来、ユーザとのコミュニケーションの柔軟性を向上させることを目的とした音声対話制御装置が存在した。かかる音声対話装置の制御は、音声を取得してから応答を生成するまでの待機時間に、応答の修正要否を判定するための修正条件が満たされたと判定したとき、生成した応答を修正する修正実行部を備える（特許文献１参照）。 2. Description of the Related Art Conventionally, there has been a voice dialogue control device aimed at improving the flexibility of communication with a user. The control of the voice interactive device corrects the generated response when it is determined that the correction condition for determining whether or not the response needs to be corrected is satisfied in the standby time from when the voice is acquired until the response is generated. A correction execution unit is provided (see Patent Document 1).
また、従来、実際のユーザの発話に適した分類カテゴリの設定が比較的容易に行えるようなメンテナンス性の高い対話システムがあった（特許文献２参照）。かかる対話システムは、対話の状態遷移情報を用いて対話を進行していく。 Conventionally, there has been an interactive system with high maintainability so that a classification category suitable for an actual user's utterance can be set relatively easily (see Patent Document 2). Such a dialogue system proceeds with the dialogue using the state transition information of the dialogue.
しかしながら、従来の装置においては、対話エンジンを用いた対話において、適切な対話が継続できない場合があった。 However, in the conventional apparatus, there is a case where an appropriate dialogue cannot be continued in the dialogue using the dialogue engine.
具体的には、例えば、ユーザと対話エンジンとの対話が破綻しているにも関わらず、対話を継続するか、対話を終了するかしかなかった。 Specifically, for example, although the dialogue between the user and the dialogue engine is broken, the dialogue has only to be continued or terminated.
かかる課題を解決するために、本発明は、対話エンジンからの応答と管理者からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続することを目的とする。 In order to solve such a problem, an object of the present invention is to continue an appropriate dialogue by properly using a response from a dialogue engine and a response from an administrator and outputting them to a user terminal.
本第一の発明の対話制御装置は、ユーザが入力した発話に対応するユーザ発話情報をユーザ端末から受信する受信部と、ユーザ発話情報に対応する情報である発話情報を、対話エンジンまたは管理端末のうちの少なくともどちらか一方に出力する発話情報出力部と、発話情報の対話エンジンへの出力に応じて、対話エンジンからの応答である自動応答情報を受け付ける自動応答受付部と、発話情報の管理端末への出力に応じて、管理端末からの応答である手動応答情報を受け付ける手動応答受付部と、自動応答情報に対応する情報である自動情報または手動応答情報に対応する情報である手動情報をユーザ端末に送信する応答送信部とを具備する対話制御装置である。 The dialogue control apparatus according to the first aspect of the present invention includes a receiving unit that receives user utterance information corresponding to an utterance input by a user from a user terminal, and utterance information that is information corresponding to the user utterance information. Utterance information output unit that outputs to at least one of the above, an automatic response reception unit that receives automatic response information that is a response from the dialog engine in response to output of the utterance information to the dialog engine, and management of utterance information Depending on the output to the terminal, a manual response receiving unit that receives manual response information that is a response from the management terminal, and automatic information that is information corresponding to the automatic response information or manual information that is information corresponding to the manual response information A dialogue control apparatus comprising a response transmission unit that transmits to a user terminal.
かかる構成により、対話エンジンからの応答と管理者からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できる。 With such a configuration, it is possible to continue appropriate dialogue by properly using the response from the dialogue engine and the response from the administrator and outputting them to the user terminal.
また、本第二の発明の対話制御装置は、第一の発明に対して、対話エンジンを採用するか、管理端末を採用するかを決定する決定部をさらに具備し、応答送信部は、決定が対話エンジンを採用するとの決定の場合は、自動情報をユーザ端末に送信し、決定が管理端末を採用するとの決定の場合は、手動情報をユーザ端末に送信する対話制御装置である。 In addition, the dialog control device of the second invention further includes a determining unit that determines whether to employ a dialog engine or a management terminal, with respect to the first invention, and the response transmitting unit determines In the case of the decision to adopt the dialogue engine, the dialogue control device transmits the automatic information to the user terminal, and in the case of the decision to adopt the management terminal, the dialogue control device transmits the manual information to the user terminal.
かかる構成により、対話エンジンからの応答と管理者からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できる。 With such a configuration, it is possible to continue appropriate dialogue by properly using the response from the dialogue engine and the response from the administrator and outputting them to the user terminal.
また、本第三の発明の対話制御装置は、第二の発明に対して、対話エンジンを採用する自動モード、または管理端末を採用する手動モードのいずれかを、少なくとも採り得るモード情報が格納されるモード格納部と、モード情報を変更するための予め決められた条件を満たすか否かを判断する判断部と、判断部が予め決められた条件を満たすと判断した場合に、モード情報を変更するモード変更部とをさらに具備し、決定部は、モード格納部のモード情報を取得する対話制御装置である。 The dialog control device according to the third aspect of the present invention stores mode information that can adopt at least one of an automatic mode that employs a dialog engine and a manual mode that employs a management terminal. Mode storage unit, a determination unit that determines whether or not a predetermined condition for changing mode information is satisfied, and mode information is changed when the determination unit determines that the predetermined condition is satisfied A mode change unit that performs the operation, and the determination unit is a dialog control device that acquires mode information in the mode storage unit.
かかる構成により、対話エンジンからの応答と管理者からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できる。 With such a configuration, it is possible to continue appropriate dialogue by properly using the response from the dialogue engine and the response from the administrator and outputting them to the user terminal.
また、本第四の発明の対話制御装置は、第二の発明に対して、対話エンジンを採用する自動モード、または管理端末を採用する手動モードのいずれかを、少なくとも採り得るモード情報が格納されるモード格納部と、管理端末からモードの変更の指示である変更指示を受け付ける変更指示受付部と、変更指示に応じて、モード格納部のモード情報を変更するモード変更部とをさらに具備し、決定部は、モード格納部のモード情報に従って、対話エンジンを採用するか、管理端末を採用するかを決定する対話制御装置である。 The dialog control device according to the fourth aspect of the invention stores mode information that can adopt at least one of an automatic mode employing a dialog engine and a manual mode employing a management terminal, as compared to the second invention. A mode storage unit, a change instruction reception unit that receives a change instruction that is a mode change instruction from the management terminal, and a mode change unit that changes mode information of the mode storage unit in response to the change instruction, The decision unit is a dialogue control device that decides whether to adopt a dialogue engine or a management terminal according to the mode information in the mode storage unit.
かかる構成により、対話エンジンからの応答と管理者からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できる。 With such a configuration, it is possible to continue appropriate dialogue by properly using the response from the dialogue engine and the response from the administrator and outputting them to the user terminal.
また、本第五の発明の対話制御装置は、第一から第四いずれか１つの発明に対して、自動情報を管理端末に出力する自動情報出力部をさらに具備する対話制御装置である。 The dialogue control apparatus according to the fifth aspect of the present invention is the dialogue control apparatus further comprising an automatic information output unit that outputs automatic information to the management terminal in any one of the first to fourth aspects.
かかる構成により、対話エンジンからの応答と管理者からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できる。 With such a configuration, it is possible to continue appropriate dialogue by properly using the response from the dialogue engine and the response from the administrator and outputting them to the user terminal.
また、本第六の発明の対話制御装置は、第一から第五いずれか１つの発明に対して、手動情報を対話エンジンに出力する手動情報出力部をさらに具備する対話制御装置である。 In addition, the dialog control device according to the sixth aspect of the present invention is the dialog control device further comprising a manual information output unit for outputting manual information to the dialog engine for any one of the first to fifth inventions.
かかる構成により、対話エンジンからの応答と管理端末からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できる。
また、本第七の発明の対話制御装置は、第一から第六いずれか１つの発明に対して、ユーザ端末および管理端末は、ビデオ会議を行える端末であり、ユーザ発話情報および手動応答情報は、映像および音声データを有する対話制御装置である。
かかる構成により、対話エンジンからの応答と、管理端末からのビデオ会議による応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できる。With this configuration, an appropriate dialogue can be continued by properly using the response from the dialogue engine and the response from the management terminal and outputting them to the user terminal.
In the dialogue control device according to the seventh aspect of the invention, in contrast to any one of the first to sixth aspects, the user terminal and the management terminal are terminals capable of performing a video conference, and the user utterance information and the manual response information are , A dialogue control device having video and audio data.
With this configuration, it is possible to continue appropriate dialogue by properly using the response from the dialogue engine and the response from the video conference from the management terminal and outputting them to the user terminal.
また、本第八の発明の対話エンジンは、発話情報に対応する自動応答情報を取得するための情報である学習情報が格納される学習情報格納部と、対話制御装置から発話情報を受け付ける発話受付部と、発話受付部が受け付けた発話情報に対応する応答である自動応答情報を、学習情報を用いて取得する応答取得部と、応答取得部が取得した自動応答情報を対話制御装置に出力する応答出力部と、管理端末からの応答である手動応答情報を受け付ける学習受付部と、学習受付部が受け付けた手動応答情報を用いて、学習情報に情報を付加する学習部とを具備する対話エンジンである。 The dialog engine of the eighth invention includes a learning information storage unit that stores learning information that is information for acquiring automatic response information corresponding to utterance information, and an utterance reception that receives utterance information from the dialog control device. A response acquisition unit that acquires, using learning information, automatic response information that is a response corresponding to the utterance information received by the utterance reception unit, and outputs the automatic response information acquired by the response acquisition unit to the dialog control device Dialog engine comprising a response output unit, a learning reception unit that receives manual response information that is a response from the management terminal, and a learning unit that adds information to the learning information using the manual response information received by the learning reception unit It is.
かかる構成により、管理者からの応答を学習できる対話エンジンを提供できる。 With this configuration, it is possible to provide a dialog engine that can learn a response from an administrator.
また、本第九の発明の管理端末は、対話制御装置から発話情報を受け付ける管理情報受付部と、発話情報、または発話情報から出力用に構成された発話情報を出力する管理者出力部と、発話情報の出力に応じて、手動応答情報を受け付ける管理情報受付部と、手動応答情報を対話制御装置に出力する管理者出力部とを具備する管理端末である。 Further, the management terminal of the ninth invention, a management information receiving unit that receives utterance information from the dialogue control device, an administrator output unit that outputs utterance information, or utterance information configured for output from the utterance information, The management terminal includes a management information receiving unit that receives manual response information according to output of utterance information, and an administrator output unit that outputs manual response information to the dialog control device.
かかる構成により、例えば、対話が破綻した等の場合に、対話を支援できる管理端末を提供できる。
また、本第十の発明の管理端末は、対話制御装置からモード変更指示を受け付け、かつ対話制御装置から映像および音声データを有する発話情報を受け付ける管理情報受付部と、モード変更指示に応じて、ビデオ会議機能を起動する管理処理部と、発話情報、または発話情報から出力用に構成された発話情報を出力する管理者出力部と、映像および音声データを有する手動応答情報を受け付ける管理情報受付部と、手動応答情報を対話制御装置に出力する管理出力部とを具備する管理端末である。
かかる構成により、例えば、対話が破綻した等の場合に、ビデオ会議機能を用いて対話を支援できる管理端末を提供できる。With this configuration, it is possible to provide a management terminal capable of supporting a dialogue when the dialogue is broken, for example.
In addition, the management terminal of the tenth aspect of the invention receives a mode change instruction from the dialog control device, and receives a utterance information having video and audio data from the dialog control device, and a mode change instruction, Management processing unit for starting a video conference function, manager output unit for outputting speech information or speech information configured for output from speech information, and management information receiving unit for receiving manual response information having video and audio data And a management output unit that outputs manual response information to the dialogue control device.
With this configuration, it is possible to provide a management terminal that can support the dialogue using the video conference function when the dialogue fails, for example.
また、本第十一の発明の対話装置は、ユーザが入力した発話に対応するユーザ発話情報を受け付ける受付部と、ユーザ発話情報に関する発話情報を、対話エンジンまたは画面のうちの少なくともどちらか一方に出力する発話情報出力部と、発話情報の対話エンジンへの出力に応じて、対話エンジンからの応答である自動応答情報を受け付ける自動応答受付部と、発話情報の画面への出力に応じて、管理者からの応答である手動応答情報を受け付ける手動応答受付部と、自動応答情報に関する自動情報または手動応答情報に関する手動情報を出力する応答出力部とを具備する対話装置である。 In addition, the dialog device of the eleventh aspect of the present invention provides a reception unit that receives user utterance information corresponding to an utterance input by a user, and utterance information related to user utterance information on at least one of a dialog engine and a screen. The utterance information output unit to output, the automatic response reception unit that receives the automatic response information that is the response from the dialog engine according to the output of the utterance information to the dialog engine, and the management according to the output of the utterance information to the screen It is an interactive apparatus comprising a manual response receiving unit that receives manual response information that is a response from a person, and a response output unit that outputs automatic information related to automatic response information or manual information related to manual response information.
かかる構成により、対話エンジンからの応答と管理者からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できる。 With such a configuration, it is possible to continue appropriate dialogue by properly using the response from the dialogue engine and the response from the administrator and outputting them to the user terminal.
本発明による対話制御装置によれば、適切な対話を継続できる。 According to the dialogue control device of the present invention, an appropriate dialogue can be continued.
以下、対話制御装置等を具備する対話システム等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。 Hereinafter, an embodiment of a dialog system including a dialog control device will be described with reference to the drawings. In addition, since the component which attached | subjected the same code | symbol in embodiment performs the same operation | movement, description may be abbreviate | omitted again.
（実施の形態１）
本実施の形態において、対話エンジンの応答を採用する自動モード、管理者の応答を採用する手動モードが存在する対話制御装置を具備する対話システムについて説明する。なお、管理者とは、対話システムの管理に関与する者であり、運営者、支援者等と言っても良く、広く解する。管理者は、ユーザの対話システムの利用を支援する者、という程度のものでも良い。(Embodiment 1)
In the present embodiment, a dialog system including a dialog control device in which an automatic mode that employs a response from a dialog engine and a manual mode that employs a response from an administrator will be described. The administrator is a person who is involved in the management of the dialogue system, and may be called an operator, a supporter or the like, and is widely understood. The administrator may be a person who supports the user's use of the interactive system.
また、本実施の形態において、モードを自動決定、または自動変更する対話システムについて説明する。なお、本実施の形態において、対話の破綻等を自動検知し、モードを自動変更する。 In the present embodiment, an interactive system that automatically determines or automatically changes the mode will be described. In this embodiment, the failure of the dialogue is automatically detected and the mode is automatically changed.
また、本実施の形態において、管理者からの指示によりモードを変更する対話システムについて説明する。 In the present embodiment, an interactive system that changes the mode according to an instruction from the administrator will be described.
また、本実施の形態において、自動モードの場合に、対話エンジンからの応答を管理端末に出力する対話システムについて説明する。 In the present embodiment, a dialog system that outputs a response from the dialog engine to the management terminal in the automatic mode will be described.
さらに、本実施の形態において、手動モードの場合に、管理者からの応答を対話エンジンに提供する対話システムについて説明する。 Furthermore, in the present embodiment, a dialog system that provides a response from the administrator to the dialog engine in the manual mode will be described.
図１は、本実施の形態における対話システムＡの概念図である。対話システムＡは、１または２以上のユーザ端末１、対話制御装置２、対話エンジン３、および１または２以上の管理端末４を備える。ユーザ端末１、管理端末４は、例えば、いわゆるパーソナルコンピュータ、タブレット端末、スマートフォン等であり、その種類は問わない。なお、ユーザ端末１は、ユーザが使用する端末である。ユーザは、対話エンジンとの対話を行う人である。また、管理端末４は、管理者が使用する端末である。管理端末４は、例えば、ビデオ会議の機能を有し、ユーザと管理者とによる対話を行える端末でも良い。管理端末４は、例えば、電話機能を有し、ユーザと管理者との電話による通話を行える端末でも良い。管理者は、対話の管理者であり、手動モードの場合に、ユーザと対話を行う人である。管理者は、対話を支援する人である、と言っても良い。対話制御装置２は、対話を制御する装置である。対話制御装置２は、例えば、ＡＳＰのサーバ、クラウドサーバ等である。但し、対話制御装置２の種類は問わない。対話エンジン３は、ユーザからの発話の情報を受け付け、応答を返す装置である。対話エンジン３は、例えば、ＡＳＰのサーバ、クラウドサーバ等である。但し、対話エンジン３の種類は問わない。また、対話エンジン３は、発話情報を受け付け、自動応答情報を出力する。対話エンジン３は、公知の対話エンジンでも良い。 FIG. 1 is a conceptual diagram of a dialogue system A in the present embodiment. The dialogue system A includes one or more user terminals 1, a dialogue control device 2, a dialogue engine 3, and one or more management terminals 4. The user terminal 1 and the management terminal 4 are, for example, so-called personal computers, tablet terminals, smartphones, etc., and their types are not limited. The user terminal 1 is a terminal used by the user. A user is a person who interacts with the dialog engine. The management terminal 4 is a terminal used by the administrator. The management terminal 4 may be, for example, a terminal that has a video conference function and that allows a user and an administrator to interact with each other. The management terminal 4 may be, for example, a terminal that has a telephone function and can make a telephone call between a user and an administrator. The administrator is a manager of dialogue, and is a person who interacts with the user in the manual mode. It can be said that the administrator is a person who supports the dialogue. The dialogue control device 2 is a device that controls dialogue. The dialogue control device 2 is, for example, an ASP server, a cloud server, or the like. However, the type of the dialog control device 2 does not matter. The dialogue engine 3 is a device that receives utterance information from a user and returns a response. The dialogue engine 3 is, for example, an ASP server, a cloud server, or the like. However, the type of the dialogue engine 3 does not matter. Further, the dialog engine 3 receives the utterance information and outputs automatic response information. The dialog engine 3 may be a known dialog engine.
また、通常、１以上のユーザ端末１と対話制御装置２とは、インターネット、ＬＡＮ等のネットワークにより通信可能である。また、通常、対話制御装置２と対話エンジン３とは、インターネット、ＬＡＮ等のネットワークにより通信可能である。また、通常、対話制御装置２と１以上の管理端末４とは、インターネット、ＬＡＮ等のネットワークにより通信可能である。ただし、対話制御装置２は、対話エンジン３、管理端末４のうちの１以上の装置を内部に含んでいても良い。つまり、対話制御装置２と対話エンジン３と管理端末４のうちの２以上の装置は、物理的に一の装置で実現されても良い。また、対話制御装置２は、ユーザ端末１、対話エンジン３のうちの１以上の装置を内部に含んでいても良い。つまり、対話制御装置２とユーザ端末１と対話エンジン３のうちの２以上の装置は、物理的に一の装置で実現されても良い。 In general, one or more user terminals 1 and the dialog control device 2 can communicate with each other via a network such as the Internet or a LAN. In general, the dialog control device 2 and the dialog engine 3 can communicate with each other via a network such as the Internet or a LAN. In general, the dialog control device 2 and the one or more management terminals 4 can communicate with each other via a network such as the Internet or a LAN. However, the dialogue control device 2 may include one or more devices of the dialogue engine 3 and the management terminal 4 inside. That is, two or more devices among the dialog control device 2, the dialog engine 3, and the management terminal 4 may be physically realized as one device. The dialogue control device 2 may include one or more devices of the user terminal 1 and the dialogue engine 3 inside. That is, two or more devices among the dialog control device 2, the user terminal 1, and the dialog engine 3 may be physically realized as one device.
図２は、実施の形態における対話システムＡのブロック図である。また、図３は、対話制御装置２のブロック図である。 FIG. 2 is a block diagram of the dialogue system A in the embodiment. FIG. 3 is a block diagram of the dialogue control device 2.
ユーザ端末１は、ユーザ受付部１１、ユーザ処理部１２、ユーザ送信部１３、ユーザ受信部１４、およびユーザ出力部１５を備える。 The user terminal 1 includes a user reception unit 11, a user processing unit 12, a user transmission unit 13, a user reception unit 14, and a user output unit 15.
対話制御装置２は、格納部２１、受信部２２、処理部２３、出力部２４、受付部２５、および送信部２６を備える。 The dialogue control device 2 includes a storage unit 21, a reception unit 22, a processing unit 23, an output unit 24, a reception unit 25, and a transmission unit 26.
格納部２１は、モード格納部２１１を備える。処理部２３は、決定部２３１、判断部２３２、およびモード変更部２３３を備える。出力部２４は、発話情報出力部２４１、自動情報出力部２４２、および手動情報出力部２４３を備える。受付部２５は、自動応答受付部２５１、手動応答受付部２５２、および変更指示受付部２５３を備える。送信部２６は、応答送信部２６１を備える。 The storage unit 21 includes a mode storage unit 211. The processing unit 23 includes a determination unit 231, a determination unit 232, and a mode change unit 233. The output unit 24 includes an utterance information output unit 241, an automatic information output unit 242, and a manual information output unit 243. The reception unit 25 includes an automatic response reception unit 251, a manual response reception unit 252, and a change instruction reception unit 253. The transmission unit 26 includes a response transmission unit 261.
対話エンジン３は、学習情報格納部３１１、発話受付部３２、応答取得部３３、応答出力部３４、学習受付部３５、および学習部３６を備える。 The dialog engine 3 includes a learning information storage unit 311, an utterance reception unit 32, a response acquisition unit 33, a response output unit 34, a learning reception unit 35, and a learning unit 36.
管理端末４は、例えば、管理格納部４１、管理情報受付部４２、管理処理部４３、管理者出力部４４、管理指示受付部４５、および管理出力部４６を備える。管理端末４は、例えば、単に、ビデオ会議機能を有する装置でも良い。また、管理端末４は、例えば、単に、電話機能を有する装置でも良い。 The management terminal 4 includes, for example, a management storage unit 41, a management information reception unit 42, a management processing unit 43, an administrator output unit 44, a management instruction reception unit 45, and a management output unit 46. For example, the management terminal 4 may simply be a device having a video conference function. Further, the management terminal 4 may simply be a device having a telephone function, for example.
ユーザ端末１を構成するユーザ受付部１１は、ユーザからの発話を受け付ける。発話の受け付けは、音声での受け付けでも良いし、テキストでの受け付けでも良い。ユーザ受付部１１は、ユーザからの発話とユーザを撮影した映像とを受け付けても良い。発話は、ユーザが発した情報、ユーザが入力した情報であれば良い。発話の入力手段は、マイク、キーボード、マウス、メニュー画面、ビデオカメラによるもの等、何でも良い。ユーザ受付部１１は、マイクやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。また、ユーザ受付部１１は、後述する変更指示を受け付けても良い。 The user reception part 11 which comprises the user terminal 1 receives the speech from a user. The utterance can be received by voice or by text. The user reception unit 11 may receive an utterance from the user and a video image of the user. The utterance may be information uttered by the user or information input by the user. The utterance input means may be anything such as a microphone, a keyboard, a mouse, a menu screen, or a video camera. The user reception unit 11 can be realized by a device driver for input means such as a microphone and a keyboard, control software for a menu screen, and the like. Moreover, the user reception part 11 may receive the change instruction mentioned later.
ユーザ処理部１２は、ユーザ受付部１１が受け付けた発話から、当該発話に対応するユーザ発話情報を取得する。ユーザ処理部１２は、例えば、音声である発話を音声認識し、テキストであるユーザ発話情報を取得する。なお、ユーザ発話情報は、ユーザが入力した発話と同じでも良い。また、ユーザ発話情報は、ユーザが発した音声データとユーザの映像でも良い。なお、音声データとは、単に音声と言っても良い。つまり、音声データは、デジタルデータでもアナログデータでも良い。 The user processing unit 12 acquires user utterance information corresponding to the utterance from the utterance received by the user receiving unit 11. For example, the user processing unit 12 recognizes an utterance that is a voice and acquires user utterance information that is a text. Note that the user utterance information may be the same as the utterance input by the user. Further, the user utterance information may be voice data uttered by the user and a video of the user. Note that the voice data may be simply called voice. That is, the audio data may be digital data or analog data.
また、ユーザ処理部１２は、ユーザ受信部１４が受信した自動情報または手動情報がテキストの場合、当該を自動情報または手動情報から音声データを生成しても良い。
また、ユーザ処理部１２は、ユーザ端末１が有するビデオ会議機能を起動する処理を行っても良い。そして、ユーザ処理部１２は、管理端末４とのビデオ会議を遂行する機能を実行する。なお、ビデオ会議機能は公知技術なので、詳細な説明は省略する。また、ビデオ会議は、テレビ会議、ビデオカンファレンス等とも言う。
また、ユーザ処理部１２は、ユーザ端末１が有する電話機能を起動する処理を行っても良い。そして、ユーザ処理部１２は、管理端末４との電話を遂行する機能を実行する。Further, when the automatic information or manual information received by the user receiving unit 14 is text, the user processing unit 12 may generate voice data from the automatic information or manual information.
In addition, the user processing unit 12 may perform processing for starting the video conference function of the user terminal 1. Then, the user processing unit 12 executes a function of performing a video conference with the management terminal 4. Since the video conferencing function is a known technique, a detailed description is omitted. A video conference is also called a video conference, a video conference, or the like.
In addition, the user processing unit 12 may perform processing for starting the telephone function of the user terminal 1. Then, the user processing unit 12 executes a function of performing a telephone call with the management terminal 4.
ユーザ送信部１３は、ユーザ処理部１２が取得したユーザ発話情報を対話制御装置２に送信する。ユーザ送信部１３は、ユーザ受付部１１が受け付けた変更指示を対話制御装置２に送信しても良い。 The user transmission unit 13 transmits the user utterance information acquired by the user processing unit 12 to the dialogue control device 2. The user transmission unit 13 may transmit the change instruction received by the user reception unit 11 to the dialog control device 2.
ユーザ受信部１４は、後述する自動情報または後述する手動情報を受信する。 The user receiving unit 14 receives automatic information described later or manual information described later.
ユーザ出力部１５は、ユーザ受信部１４が受信した自動情報または手動情報を出力する。ユーザ出力部１５は、ユーザ処理部１２が自動情報または手動情報から取得した音声データを音声出力しても良い。なお、かかる場合も、自動情報または手動情報を出力したものとする。また、ここでの出力とは、通常、ディスプレイへの表示、またはスピーカーへの音声出力であるが、プロジェクターを用いた投影、プリンタでの印字、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である、と考えても良い。 The user output unit 15 outputs automatic information or manual information received by the user receiving unit 14. The user output unit 15 may output voice data acquired by the user processing unit 12 from automatic information or manual information. In such a case, it is assumed that automatic information or manual information is output. The output here is usually a display on a display or an audio output to a speaker, but projection using a projector, printing with a printer, transmission to an external device, accumulation in a recording medium, It may be considered that the concept includes delivery of processing results to other processing devices or other programs.
対話制御装置２を構成する格納部２１は、各種の情報が格納される。各種の情報とは、例えば、後述するモード情報、対話の履歴、２以上の管理端末管理情報である。対話の履歴は、例えば、ユーザ発話情報、発話情報、自動応答情報、自動情報、手動応答情報、手動情報等である。管理端末管理情報は、対話の話題を特定する話題情報と管理端末４を識別する管理端末識別子との組の情報である。話題情報は、例えば、話題を特定する用語、話題を特定する識別子等である。管理端末識別子は、例えば、ＩＰアドレス、電話番号、ＩＤ等である。 The storage unit 21 constituting the dialogue control device 2 stores various types of information. The various types of information are, for example, mode information described later, conversation history, and two or more management terminal management information. The dialogue history is, for example, user utterance information, utterance information, automatic response information, automatic information, manual response information, manual information, and the like. The management terminal management information is information of a set of topic information for specifying a conversation topic and a management terminal identifier for identifying the management terminal 4. The topic information is, for example, a term that identifies a topic, an identifier that identifies a topic, or the like. The management terminal identifier is, for example, an IP address, a telephone number, an ID, or the like.
モード格納部２１１は、モード情報が格納される。モード情報は、ユーザとの対話が自動であるか手動であるかを示す情報である。モード情報には、通常、対話エンジン３を採用する自動モード、または管理端末４を採用する手動モードがある。つまり、モード情報は、自動モード、手動モードのいずれかを、少なくとも採り得る。ただし、モード情報は、自動モード、手動モード以外のモードを採り得ても良い。自動モード、手動モード以外のモードとは、例えば、動作しない停止モード等である。また、対話エンジン３を採用することは、対話エンジン３からの応答がユーザ端末１に送信されることである。また、管理端末４を採用することは、管理端末４からの応答がユーザ端末１に送信されることである。 The mode storage unit 211 stores mode information. The mode information is information indicating whether the dialog with the user is automatic or manual. The mode information usually includes an automatic mode that employs the dialog engine 3 or a manual mode that employs the management terminal 4. That is, the mode information can take at least one of the automatic mode and the manual mode. However, the mode information may take a mode other than the automatic mode and the manual mode. The modes other than the automatic mode and the manual mode are, for example, a stop mode that does not operate. The adoption of the dialog engine 3 means that a response from the dialog engine 3 is transmitted to the user terminal 1. Further, adopting the management terminal 4 means that a response from the management terminal 4 is transmitted to the user terminal 1.
受信部２２は、ユーザ発話情報をユーザ端末１から受信する。また、ユーザ発話情報は、通常、テキストであるが、音声データでも良い。ユーザ発話情報のデータ構造やータタイプは問わない。
受信部２２は、ユーザ端末１から、ビデオ映像と音声データを受信しても良い。かかる場合、ユーザ発話情報は、ビデオ映像と音声データであると考えても良い。The receiving unit 22 receives user utterance information from the user terminal 1. The user utterance information is usually text, but may be voice data. The data structure and data type of user utterance information are not limited.
The receiving unit 22 may receive video images and audio data from the user terminal 1. In such a case, the user utterance information may be considered as video images and audio data.
処理部２３は、各種の処理を行う。各種の処理とは、決定部２３１、判断部２３２、モード変更部２３３等が行う処理である。 The processing unit 23 performs various processes. The various processes are processes performed by the determination unit 231, the determination unit 232, the mode change unit 233, and the like.
各種の処理とは、例えば、ユーザ発話情報から発話情報を取得する処理である。処理部２３は、例えば、ユーザ発話情報の受信に応じて、発話識別子を生成する。そして、処理部２３は、例えば、ユーザ発話情報に発話識別子を付加し、発話情報を構成する。なお、発話識別子は、ユーザ発話情報の識別子であり、ユニークな情報である。また、処理部２３は、例えば、最近に生成した発話識別子を１インクリメントし、ユニークな発話識別子を生成する。 The various processes are processes for obtaining utterance information from user utterance information, for example. For example, the processing unit 23 generates an utterance identifier in response to reception of user utterance information. And the process part 23 adds speech identifier to user speech information, for example, and comprises speech information. The utterance identifier is an identifier of user utterance information and is unique information. For example, the processing unit 23 increments the recently generated utterance identifier by 1 to generate a unique utterance identifier.
また、処理部２３は、例えば、自動応答情報または手動応答情報から自動情報または手動情報を取得しても良い。処理部２３は、例えば、テキストの自動応答情報からその音声データである自動情報を生成しても良い。処理部２３は、例えば、テキストの手動応答情報からその音声データである手動情報を生成しても良い。また、処理部２３は、例えば、自動応答情報または手動応答情報から、送信するデータ構造の自動情報または送信するデータ構造の手動情報を取得しても良い。かかる場合、処理部２３は、例えば、自動応答情報または手動応答情報のデータ構造を変更し、自動情報または手動情報を取得する。なお、処理部２３は、例えば、自動応答情報と自動情報が同じ情報である場合、単に、受付部２５が受け付けた自動応答情報を取得する。また、処理部２３は、例えば、手動応答情報と手動情報が同じ情報である場合、単に、受付部２５が受け付けた手動応答情報を取得する。 Moreover, the process part 23 may acquire automatic information or manual information from automatic response information or manual response information, for example. For example, the processing unit 23 may generate automatic information that is voice data from automatic response information of text. For example, the processing unit 23 may generate manual information that is voice data from manual response information of text. Further, the processing unit 23 may acquire automatic information on the data structure to be transmitted or manual information on the data structure to be transmitted from the automatic response information or the manual response information, for example. In such a case, for example, the processing unit 23 changes the data structure of the automatic response information or the manual response information, and acquires the automatic information or the manual information. For example, when the automatic response information and the automatic information are the same information, the processing unit 23 simply acquires the automatic response information received by the receiving unit 25. For example, when the manual response information and the manual information are the same information, the processing unit 23 simply acquires the manual response information received by the receiving unit 25.
決定部２３１は、対話エンジン３を採用するか、管理端末４を採用するかを決定する。なお、対話エンジン３の採用とは、対話エンジン３の応答の採用であり、対話エンジン３の応答である自動応答情報に対する情報である自動情報をユーザ端末１に送信することである。また、管理端末４の採用とは、管理端末４からの応答の採用であり、管理端末４の応答である手動応答情報に対する情報である手動情報をユーザ端末１に送信することである。 The determination unit 231 determines whether to employ the dialogue engine 3 or the management terminal 4. The adoption of the dialog engine 3 is the use of the response of the dialog engine 3 and is the transmission of automatic information, which is information on the automatic response information that is the response of the dialog engine 3, to the user terminal 1. Further, the adoption of the management terminal 4 is the adoption of a response from the management terminal 4, and is transmission of manual information, which is information with respect to manual response information that is a response of the management terminal 4, to the user terminal 1.
決定部２３１は、例えば、モード格納部２１１のモード情報を取得する。そして、決定部２３１は、モード格納部２１１のモード情報に従って、対話エンジン３を採用するか、管理端末４を採用するかを決定する。このモード情報は、例えば、対話エンジン３を採用することを示す自動モード、または管理端末４を採用することを示す手動モードである。 For example, the determination unit 231 acquires the mode information of the mode storage unit 211. Then, the determination unit 231 determines whether to employ the dialogue engine 3 or the management terminal 4 according to the mode information in the mode storage unit 211. This mode information is, for example, an automatic mode indicating that the dialog engine 3 is employed or a manual mode indicating that the management terminal 4 is employed.
なお、決定部２３１の上記決定の処理は、モード格納部２１１のモード情報の読み出しでも良い。 Note that the determination processing of the determination unit 231 may be reading of mode information from the mode storage unit 211.
また、決定部２３１は、発話情報の出力先を決定しても良い。決定部２３１は、例えば、モード格納部２１１のモード情報に従って、発話情報の出力先を対話エンジン３とするか、管理端末４とするかを決定する。また、決定部２３１は、発話情報の出力先を、常に、対話エンジン３と管理端末４との両方にする、としても良い。
また、２以上の管理端末４が存在する場合、決定部２３１は、２以上の管理端末４のうちの一の管理端末４を決定しても良い。かかる場合、決定部２３１は、例えば、１以上の自動応答情報、１以上の手動応答情報、１以上の自動情報、１以上の手動情報のうちの１種類以上の情報を用いて、２以上の管理端末４のうちの一の管理端末４を決定する。つまり、決定部２３１は、例えば、１以上の自動応答情報、１以上の手動応答情報、１以上の自動情報、１以上の手動情報のうちの１種類以上の情報を用いて、ユーザの対話の話題を示す話題情報を取得し、当該話題情報に対応する管理端末識別子を格納部２１から取得する。なお、決定部２３１は、２以上の管理端末４のうち、ランダムに一の管理端末４を決定しても良い。また、決定部２３１は、２以上の管理端末４のうち、他のユーザ端末１と通信中でない一の管理端末４を決定しても良い。さらに、決定部２３１は、２以上の管理端末４のうち、単位期間における、ユーザ端末１との通信頻度が最も少ない一の管理端末４を決定する等しても良い。つまり、決定部２３１が一の管理端末４を決定するアルゴリズムは問わない。また、対話の文等の情報から、の話題を示す話題情報を取得する処理は、例えば、深層学習やＳＶＭ等の機械学習の技術等を用いることにより可能であり、公知技術であるので、詳細な説明を省略する。
なお、２以上の管理端末４が存在する場合、決定部２３１は、２以上の管理端末４のうちの２以上の管理端末４を決定しても良い。Moreover, the determination part 231 may determine the output destination of speech information. For example, the determination unit 231 determines whether the output destination of the utterance information is the dialog engine 3 or the management terminal 4 according to the mode information in the mode storage unit 211. Further, the determination unit 231 may always set the output destination of the utterance information to both the dialog engine 3 and the management terminal 4.
When two or more management terminals 4 exist, the determination unit 231 may determine one management terminal 4 among the two or more management terminals 4. In such a case, the determination unit 231 uses, for example, one or more types of information among one or more automatic response information, one or more manual response information, one or more automatic information, and one or more manual information. One of the management terminals 4 is determined. In other words, the determination unit 231 uses, for example, one or more types of information of one or more automatic response information, one or more manual response information, one or more automatic information, and one or more manual information for user interaction. Topic information indicating a topic is acquired, and a management terminal identifier corresponding to the topic information is acquired from the storage unit 21. Note that the determination unit 231 may randomly determine one management terminal 4 among the two or more management terminals 4. The determination unit 231 may determine one management terminal 4 that is not in communication with another user terminal 1 among the two or more management terminals 4. Furthermore, the determination unit 231 may determine one management terminal 4 having the lowest communication frequency with the user terminal 1 in a unit period among the two or more management terminals 4. That is, the algorithm by which the determining unit 231 determines one management terminal 4 is not limited. Further, the process of acquiring topic information indicating a topic from information such as a conversation sentence is possible by using a machine learning technique such as deep learning or SVM, for example. The detailed explanation is omitted.
When there are two or more management terminals 4, the determination unit 231 may determine two or more management terminals 4 among the two or more management terminals 4.
判断部２３２は、予め決められた条件を満たすか否かを判断する。ここで、予め決められた条件とは、モード情報を変更するための条件である。モード情報を変更するための条件は、自動モードから手動モードに変更するための第一の条件、手動モードから自動モードに変更するための第二の条件がある。 The determination unit 232 determines whether or not a predetermined condition is satisfied. Here, the predetermined condition is a condition for changing the mode information. The conditions for changing the mode information include a first condition for changing from the automatic mode to the manual mode and a second condition for changing from the manual mode to the automatic mode.
第一の条件は、例えば、対話が破綻していることを特定するための条件、管理端末４からの指示を受け付けたこと、ユーザ端末１からの指示を受け付けたこと等である。対話が破綻していることを特定するための条件は、例えば、対話エンジン３からの応答である１または２以上の自動応答情報を用いて対話の破綻を検出するための条件、ユーザ端末１からの１または２以上のユーザ発話情報を用いて対話の破綻を検出するための条件、管理端末４からの入力に基づいて対話の破綻を検出するための条件である。対話が破綻していることを特定するための条件は、例えば、対話エンジン３からの応答である自動応答情報に予め決められた用語（例えば、「理解できなかった」「理解不能」）を含むこと、予め決められた用語を含む自動応答情報が予め決められた期間内に閾値以上または閾値より多い回数受け付けられたこと、受信された２以上の連続するユーザ発話情報が同一または閾値以上の類似度であること、ユーザ発話情報に予め決められた用語（例えば、「何言っているのか」「駄目だな」）を含むこと等である。また、管理端末４からの指示とは、例えば、モード情報を変更する指示、モード情報を指定する指示である。なお、対話の破綻とは、ユーザと対話エンジン３との対話の破綻である。また、予め決められた条件は、例えば、格納部２１に格納されている。 The first condition is, for example, a condition for specifying that the dialogue is broken, that an instruction from the management terminal 4 is accepted, an instruction from the user terminal 1 is accepted, and the like. The condition for specifying that the dialogue is broken is, for example, a condition for detecting the failure of the dialogue using one or two or more automatic response information that is a response from the dialogue engine 3, from the user terminal 1. This is a condition for detecting the failure of the dialogue using one or more user utterance information, and a condition for detecting the failure of the dialogue based on the input from the management terminal 4. The condition for specifying that the dialogue is broken includes, for example, a predetermined term (for example, “I could not understand” or “I cannot understand”) in automatic response information that is a response from the dialogue engine 3. That automatic response information including a predetermined term has been received a number of times greater than or equal to a threshold value within a predetermined period, and that two or more consecutive user utterance information received are the same or similar The user utterance information includes a predetermined term (for example, “What are you talking about?” “Not good”). The instructions from the management terminal 4 are, for example, instructions for changing mode information and instructions for specifying mode information. Note that the failure of the dialogue is a failure of the dialogue between the user and the dialogue engine 3. The predetermined condition is stored in the storage unit 21, for example.
第二の条件は、例えば、管理端末４からの応答を閾値以上の回数受け付けたこと、管理端末４からの指示を受け付けたこと等である。 The second condition is, for example, that a response from the management terminal 4 has been received a number of times greater than or equal to a threshold, an instruction from the management terminal 4 has been received, and the like.
モード変更部２３３は、判断部２３２が予め決められた条件を満たすと判断した場合に、モード情報を変更する。モード情報の変更とは、通常、モード情報をモード格納部２１１に書き込むことである。モード変更部２３３は、変更指示に応じて、モード格納部２１１のモード情報を変更する。 The mode change unit 233 changes the mode information when the determination unit 232 determines that a predetermined condition is satisfied. Changing the mode information usually means writing the mode information in the mode storage unit 211. The mode change unit 233 changes the mode information in the mode storage unit 211 according to the change instruction.
出力部２４は、各種の情報を出力する。ここでの出力とは、通常、送信である。ただし、出力とは、情報が出力先に渡れば良い。 The output unit 24 outputs various information. The output here is usually transmission. However, the output only needs to pass information to the output destination.
発話情報出力部２４１は、ユーザ発話情報に対応する情報である発話情報を、対話エンジン３または管理端末４のうちの少なくともどちらか一方に出力する。発話情報出力部２４１は、発話情報を、モード情報に関係なく、対話エンジン３および管理端末４に出力しても良い。ここで、発話情報は、ユーザ発話情報と同じ情報でも良い。また、発話情報は、ユーザ発話情報を音声認識し、得られたテキストでも良い。発話情報は、発話識別子が付加された情報であることは好適である。また、発話情報は、ユーザの音声および映像から構成される情報でも良い。また、発話情報は、ユーザ発話情報と同じ情報でも良い。 The utterance information output unit 241 outputs utterance information, which is information corresponding to the user utterance information, to at least one of the dialog engine 3 and the management terminal 4. The utterance information output unit 241 may output the utterance information to the dialog engine 3 and the management terminal 4 regardless of the mode information. Here, the utterance information may be the same information as the user utterance information. The speech information may be text obtained by voice recognition of the user speech information. The utterance information is preferably information to which an utterance identifier is added. Further, the speech information may be information composed of the user's voice and video. The utterance information may be the same information as the user utterance information.
自動情報出力部２４２は、自動情報を管理端末４に出力する。自動情報出力部２４２は、自動応答受付部２５１が受け付けた自動応答情報に対応する自動情報を管理端末４に出力する。 The automatic information output unit 242 outputs automatic information to the management terminal 4. The automatic information output unit 242 outputs automatic information corresponding to the automatic response information received by the automatic response reception unit 251 to the management terminal 4.
手動情報出力部２４３は、手動情報を対話エンジン３に出力する。手動情報出力部２４３は、手動応答受付部２５２が受け付けた手動応答情報に対応する手動情報を管理端末４に出力する。 The manual information output unit 243 outputs manual information to the dialog engine 3. The manual information output unit 243 outputs manual information corresponding to the manual response information received by the manual response receiving unit 252 to the management terminal 4.
受付部２５は、各種の情報や指示等を受け付ける。ここでの受け付けとは、通常、受信である。但し、受け付けは、情報等を受け取れれば良い。 The accepting unit 25 accepts various information and instructions. The reception here is usually reception. However, it is sufficient to receive information etc.
自動応答受付部２５１は、発話情報の対話エンジン３への出力に応じて、対話エンジン３からの応答である自動応答情報を受け付ける。自動応答受付部２５１は、例えば、対話エンジン３から自動応答情報を受信する。 The automatic response receiving unit 251 receives automatic response information that is a response from the dialog engine 3 in response to the output of the utterance information to the dialog engine 3. For example, the automatic response reception unit 251 receives automatic response information from the dialog engine 3.
手動応答受付部２５２は、発話情報の管理端末４への出力に応じて、管理端末４からの応答である手動応答情報を受け付ける。手動応答受付部２５２は、例えば、管理端末４から手動応答情報を受信する。
手動応答受付部２５２は、常時、管理端末４から手動応答情報を受け付けても良い。かかる場合、例えば、手動応答情報は、管理端末４で受け付けられているビデオ映像と音声である。The manual response receiving unit 252 receives manual response information that is a response from the management terminal 4 in response to the output of the utterance information to the management terminal 4. The manual response reception unit 252 receives manual response information from the management terminal 4, for example.
The manual response reception unit 252 may always receive manual response information from the management terminal 4. In such a case, for example, the manual response information is a video image and a sound that are accepted by the management terminal 4.
変更指示受付部２５３は、管理端末４からモードの変更の指示である変更指示を受け付ける。変更指示受付部２５３は、例えば、管理端末４から変更指示を受信する。この変更指示は、自動モードから手動モードへの変更でも良いし、手動モードから自動モードへの変更でも良い。
変更指示受付部２５３は、ユーザ端末１からモードの変更の指示である変更指示を受け付けても良い。変更指示受付部２５３は、例えば、ユーザ端末１から変更指示を受信する。The change instruction receiving unit 253 receives a change instruction that is an instruction to change the mode from the management terminal 4. For example, the change instruction receiving unit 253 receives a change instruction from the management terminal 4. This change instruction may be a change from the automatic mode to the manual mode, or a change from the manual mode to the automatic mode.
The change instruction receiving unit 253 may receive a change instruction that is an instruction to change the mode from the user terminal 1. For example, the change instruction receiving unit 253 receives a change instruction from the user terminal 1.
送信部２６は、各種の情報を送信する。各種の情報とは、例えば、手動情報、自動情報等である。 The transmission unit 26 transmits various types of information. Examples of various information include manual information and automatic information.
応答送信部２６１は、自動応答情報に対応する情報である自動情報または手動応答情報に対応する情報である手動情報をユーザ端末１に送信する。 The response transmission unit 261 transmits to the user terminal 1 automatic information that is information corresponding to the automatic response information or manual information that is information corresponding to the manual response information.
応答送信部２６１は、決定部２３１の決定が対話エンジン３を採用するとの決定の場合は、自動情報をユーザ端末１に送信しても良い。また、応答送信部２６１は、決定部２３１の決定が管理端末４を採用するとの決定の場合は、手動情報をユーザ端末１に送信しても良い。ここで、自動情報は、自動応答情報と同じ情報でも良い。自動情報と自動応答情報の内容は、通常、同じである。自動情報は、例えば、自動応答情報を音声に変換した音声データである。手動情報は、手動応答情報と同じ情報でも良い。手動情報と手動応答情報の内容は、通常、同じである。手動情報は、例えば、手動応答情報を音声に変換した音声データである。手動情報は、例えば、管理端末４から送信されたビデオ会議の映像と音声データである。 The response transmission unit 261 may transmit the automatic information to the user terminal 1 when the determination unit 231 determines that the dialog engine 3 is adopted. Moreover, the response transmission part 261 may transmit manual information to the user terminal 1 when the determination part 231 determines that the management terminal 4 is adopted. Here, the automatic information may be the same information as the automatic response information. The contents of automatic information and automatic response information are usually the same. The automatic information is, for example, voice data obtained by converting automatic response information into voice. The manual information may be the same information as the manual response information. The contents of the manual information and the manual response information are usually the same. Manual information is, for example, voice data obtained by converting manual response information into voice. The manual information is, for example, video conference video and audio data transmitted from the management terminal 4.
対話エンジン３を構成する学習情報格納部３１１は、１または２以上の学習情報を格納している。なお、単に「学習情報」と言うときは、２以上の学習情報でも良い。また、学習情報とは、発話情報に対応する自動応答情報を取得するための情報である。学習情報は、例えば、発話情報と自動応答情報との組である。また、学習情報は、例えば、発話情報の文字列パターンと自動応答情報の文字列パターンとの組である。また、学習情報は、例えば、会話の状態遷移を示す情報（例えば、特許文献２参照）等でも良い。また、学習情報は、単語の辞書等を含んでも良い。なお、学習情報のデータ構造や内容は問わないことは言うまでもない。 The learning information storage unit 311 constituting the dialogue engine 3 stores one or more learning information. In addition, when simply saying “learning information”, two or more pieces of learning information may be used. The learning information is information for acquiring automatic response information corresponding to the utterance information. The learning information is, for example, a set of utterance information and automatic response information. The learning information is, for example, a set of a character string pattern of utterance information and a character string pattern of automatic response information. Further, the learning information may be, for example, information indicating conversation state transition (see, for example, Patent Document 2). The learning information may include a word dictionary. Needless to say, the data structure and contents of the learning information are not limited.
発話受付部３２は、対話制御装置２から発話情報を受け付ける。発話受付部３２は、通常、対話制御装置２から発話情報を受信する。 The utterance receiving unit 32 receives utterance information from the dialogue control device 2. The utterance reception unit 32 normally receives utterance information from the dialogue control device 2.
応答取得部３３は、発話受付部３２が受け付けた発話情報に対応する応答である自動応答情報を、学習情報格納部３１１の学習情報を用いて取得する。なお、かかる応答取得部３３の処理は公知技術である。例えば、応答取得部３３は、発話受付部３２が受け付けた発話情報と対になる自動応答情報を学習情報格納部３１１から検索する。また、例えば、応答取得部３３は、発話受付部３２が受け付けた発話情報に合致する発話情報の文字列パターンを検知し、当該発話情報の文字列パターンと対になる自動応答情報の文字列パターンを取得し、当該自動応答情報の文字列パターンの変数部分に発話情報から抽出した単語または句を代入して、自動応答情報を構成する。 The response acquisition unit 33 acquires automatic response information, which is a response corresponding to the utterance information received by the utterance reception unit 32, using the learning information in the learning information storage unit 311. The processing of the response acquisition unit 33 is a known technique. For example, the response acquisition unit 33 searches the learning information storage unit 311 for automatic response information that is paired with the utterance information received by the utterance reception unit 32. Also, for example, the response acquisition unit 33 detects a character string pattern of utterance information that matches the utterance information received by the utterance reception unit 32, and a character string pattern of automatic response information that is paired with the character string pattern of the utterance information. And the word or phrase extracted from the utterance information is substituted into the variable part of the character string pattern of the automatic response information to constitute the automatic response information.
応答出力部３４は、応答取得部３３が取得した自動応答情報を対話制御装置２に出力する。ここでの出力は、通常、送信である。ただし、出力とは、対話制御装置２に自動応答情報が渡されれば良い。 The response output unit 34 outputs the automatic response information acquired by the response acquisition unit 33 to the dialog control device 2. The output here is usually transmission. However, it is sufficient that the automatic response information is passed to the dialog control device 2 for output.
学習受付部３５は、管理端末４からの応答である手動応答情報を受け付ける。ここでの手動応答情報の受け付けは、手動情報の受け付けでも良い趣旨である。 The learning reception unit 35 receives manual response information that is a response from the management terminal 4. The acceptance of the manual response information here means that manual information may be accepted.
学習部３６は、学習受付部３５が受け付けた手動応答情報を用いて、学習処理を行う。学習処理は、例えば、手動応答情報を用いて、学習情報格納部３１１の学習情報に情報を付加することである。学習処理は、例えば、手動応答情報を用いて、学習情報格納部３１１の学習情報を変更することである。学習情報に情報を付加する処理は、学習情報格納部３１１に新しい学習情報を追記する処理を含む。 The learning unit 36 performs learning processing using the manual response information received by the learning receiving unit 35. The learning process is, for example, adding information to the learning information in the learning information storage unit 311 using manual response information. The learning process is, for example, changing the learning information in the learning information storage unit 311 using manual response information. The process of adding information to the learning information includes a process of adding new learning information to the learning information storage unit 311.
学習部３６は、例えば、手動応答情報と当該手動応答情報に対応する発話情報の組である学習情報を学習情報格納部３１１に追記する。 For example, the learning unit 36 adds learning information, which is a set of manual response information and utterance information corresponding to the manual response information, to the learning information storage unit 311.
学習部３６は、例えば、手動応答情報と当該手動応答情報に対応する発話情報の組の情報から、状態遷移情報である学習情報に、当該発話情報の前の自動応答情報のノード（状態）の先の状態として、発話情報のノードを付加し、当該発話情報のノードに、手動応答情報のノードを付加する。 The learning unit 36, for example, from the information of a set of manual response information and utterance information corresponding to the manual response information, to learning information that is state transition information, the node (state) of the automatic response information before the utterance information. As the previous state, an utterance information node is added, and a manual response information node is added to the utterance information node.
学習部３６は、例えば、手動応答情報から手動応答情報のパターンを構成し、かつ当該手動応答情報に対応する発話情報から発話情報のパターンを構成し、発話情報のパターンと応答のパターンとの組である学習情報を学習情報格納部３１１に追記する。なお、応答のパターンは、自動応答情報のパターンとなる。 For example, the learning unit 36 composes a pattern of manual response information from the manual response information, constructs a pattern of speech information from the speech information corresponding to the manual response information, and sets a combination of the pattern of speech information and the response pattern. Is added to the learning information storage unit 311. The response pattern is a pattern of automatic response information.
学習部３６は、例えば、手動応答情報から手動応答情報のパターンを構成し、かつ当該手動応答情報に対応する発話情報から発話情報のパターンを構成し、当該パターンの組に合致する、発話情報のパターンと自動応答情報のパターンの組の出現頻度または出現確率を増加させるように、学習情報格納部３１１の学習情報を更新する。かかる場合、学習情報は、発話情報のパターンと自動応答情報のパターンの組、および出現頻度または出現確率を有する。
手動応答情報がビデオ会議機能を用いた管理者の応答である場合、学習部３６は、例えば、ユーザ端末１から送信されたユーザ発話情報が有するユーザの音声データを音声認識して取得した文の情報と、手動応答情報が有する音声データを音声認識して取得した文の情報とから学習情報を構成し、学習情報格納部３１１に追記する等しても良い。For example, the learning unit 36 configures a pattern of manual response information from the manual response information, configures an utterance information pattern from the utterance information corresponding to the manual response information, and matches the set of the utterance information. The learning information in the learning information storage unit 311 is updated so as to increase the appearance frequency or the appearance probability of the pattern / automatic response information pattern pair. In this case, the learning information has a set of speech information pattern and automatic response information pattern, and appearance frequency or appearance probability.
When the manual response information is a response of an administrator using the video conference function, the learning unit 36, for example, of a sentence acquired by voice recognition of user voice data included in the user utterance information transmitted from the user terminal 1 The learning information may be configured from the information and sentence information acquired by voice recognition of the voice data included in the manual response information, and may be added to the learning information storage unit 311.
なお、学習部３６は、例えば、発話情報に対応する発話識別子と手動応答情報に対応する発話識別子とが同一の、発話情報と手動応答情報とを用いて、上記の学習処理を行う。 Note that the learning unit 36 performs the learning process using, for example, the utterance information and the manual response information in which the utterance identifier corresponding to the utterance information and the utterance identifier corresponding to the manual response information are the same.
また、学習部３６が行う手動応答情報を用いた学習処理は種々あり得る。手動応答情報を用いる点を除いて、学習部３６が行う学習処理は他の公知の学習処理のアルゴリズムを用いても良い。 There may be various learning processes using manual response information performed by the learning unit 36. Except for using the manual response information, the learning process performed by the learning unit 36 may use another known learning process algorithm.
管理端末４を構成する管理格納部４１は、各種の情報が格納される。各種の情報は、例えば、モード情報、発話情報、自動情報、手動応答情報等である。 The management storage unit 41 constituting the management terminal 4 stores various types of information. Various types of information are, for example, mode information, speech information, automatic information, manual response information, and the like.
管理情報受付部４２は、管理者からの手動応答情報を受け付ける。ここでの受け付けは、音声による受け付けでも良いし、キーボードやマウス等の入力手段からの受け付けでも良い。 The management information receiving unit 42 receives manual response information from the administrator. The reception here may be reception by voice or reception from an input means such as a keyboard or a mouse.
管理情報受付部４２は、管理者からの手動応答情報を音声で受け付けることは好適である。また、管理情報受付部４２は、管理者からの手動応答情報をキーボード、マウス、タッチパネル、メニュー画面、ビデオカメラによるもの等から受け付けても良い。管理情報受付部４２は、一の手動応答情報を、音声で受け付けたり、キーボード等の入力手段により受け付けたりすることは好適である。つまり、管理情報受付部４２は、音声による受け付け手段と、キーボード、マウス、タッチパネル、またはメニュー画面等の入力手段との両方を具備し、一の手動応答情報をいずれかの手段により受け付けることは好適である。また、手動応答情報は、ビデオ会議機能を用いて取得された映像と音声データでも良い。 It is preferable that the management information receiving unit 42 receives the manual response information from the administrator by voice. Further, the management information receiving unit 42 may receive manual response information from the administrator from a keyboard, mouse, touch panel, menu screen, video camera, or the like. It is preferable that the management information receiving unit 42 receives one manual response information by voice or by input means such as a keyboard. That is, it is preferable that the management information receiving unit 42 includes both a voice receiving unit and an input unit such as a keyboard, a mouse, a touch panel, or a menu screen, and receives one manual response information by any unit. It is. The manual response information may be video and audio data acquired using a video conference function.
管理情報受付部４２は、自動情報を対話制御装置２から受け付ける。また、管理情報受付部４２は、発話情報を対話制御装置２から受け付ける。なお、ここでの受け付けは、通常、受信であるが、情報が管理端末４に渡る処理であれば良い。 The management information receiving unit 42 receives automatic information from the dialogue control device 2. Further, the management information receiving unit 42 receives utterance information from the dialogue control device 2. The reception here is normally reception, but it may be processing in which information is passed to the management terminal 4.
管理処理部４３は、各種の処理を行う。各種の処理とは、例えば、管理情報受付部４２が受け付けた自動情報または発話情報を出力するデータ構造にしたり、かかる情報の出力画面を構成したりする処理である。 The management processing unit 43 performs various processes. The various types of processing are, for example, processing for creating a data structure for outputting automatic information or utterance information received by the management information receiving unit 42 or configuring an output screen for such information.
管理者出力部４４は、各種の情報を出力する。各種の情報とは、例えば、自動情報、自動情報を含む画面、発話情報等である。また、かかる出力は、管理者に向けての出力である。また、出力は、音声出力でも、テキストや画像等での出力でも良い。テキストや画像等での出力は、通常、ディスプレイへの出力である。 The administrator output unit 44 outputs various types of information. The various information includes, for example, automatic information, a screen including automatic information, speech information, and the like. Further, this output is an output directed to the administrator. The output may be audio output, text or image output. The output as text or images is usually output to a display.
管理指示受付部４５は、管理者から各種の指示を受け付ける。各種の指示とは、例えば、モードの変更の指示である変更指示等である。 The management instruction receiving unit 45 receives various instructions from the administrator. The various instructions are, for example, a change instruction that is an instruction to change the mode.
管理出力部４６は、各種の情報や指示を対話制御装置２に出力する。各種の情報や指示は、例えば、変更指示、モード情報等である。なお、ここでの出力は、通常、送信であるが、情報等が対話制御装置２に渡れば良い。 The management output unit 46 outputs various information and instructions to the dialogue control device 2. Various information and instructions are, for example, change instructions, mode information, and the like. Note that the output here is normally transmission, but information or the like may be passed to the dialogue control apparatus 2.
ユーザ処理部１２、処理部２３、決定部２３１、判断部２３２、モード変更部２３３、応答取得部３３、学習部３６、および管理処理部４３は、通常、ＭＰＵやメモリ等から実現され得る。ユーザ処理部１２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。 The user processing unit 12, the processing unit 23, the determination unit 231, the determination unit 232, the mode change unit 233, the response acquisition unit 33, the learning unit 36, and the management processing unit 43 can be usually realized by an MPU, a memory, or the like. The processing procedure of the user processing unit 12 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
ユーザ送信部１３、出力部２４、発話情報出力部２４１、自動情報出力部２４２、手動情報出力部２４３、送信部２６、応答送信部２６１、応答出力部３４、および管理出力部４６は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。 The user transmission unit 13, the output unit 24, the utterance information output unit 241, the automatic information output unit 242, the manual information output unit 243, the transmission unit 26, the response transmission unit 261, the response output unit 34, and the management output unit 46, It is realized by wireless or wired communication means, but may be realized by broadcasting means.
なお、出力部２４、発話情報出力部２４１、自動情報出力部２４２、手動情報出力部２４３、応答出力部３４は、情報を出力する出力手段で実現されても良い。ここでの情報の出力とは、例えば、プログラムによる情報の引き渡しである。 Note that the output unit 24, the utterance information output unit 241, the automatic information output unit 242, the manual information output unit 243, and the response output unit 34 may be realized by an output unit that outputs information. The output of information here is, for example, information delivery by a program.
ユーザ受信部１４、受信部２２、受付部２５、自動応答受付部２５１、手動応答受付部２５２、変更指示受付部２５３、発話受付部３２、学習受付部３５、および管理情報受付部４２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。 The user reception unit 14, the reception unit 22, the reception unit 25, the automatic response reception unit 251, the manual response reception unit 252, the change instruction reception unit 253, the utterance reception unit 32, the learning reception unit 35, and the management information reception unit 42 are It is realized by wireless or wired communication means, but may be realized by means of receiving broadcasts.
なお、受付部２５、自動応答受付部２５１、手動応答受付部２５２、変更指示受付部２５３、発話受付部３２、学習受付部３５は、情報を受け付ける受付手段で実現されても良い。ここでの情報の受け付けとは、例えば、プログラムによる情報の引き渡しである。 In addition, the reception unit 25, the automatic response reception unit 251, the manual response reception unit 252, the change instruction reception unit 253, the utterance reception unit 32, and the learning reception unit 35 may be realized by a reception unit that receives information. The reception of information here is, for example, delivery of information by a program.
ユーザ出力部１５は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。ユーザ出力部１５は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。 The user output unit 15 may or may not include an output device such as a display or a speaker. The user output unit 15 can be implemented by output device driver software, or output device driver software and an output device.
格納部２１、モード格納部２１１、学習情報格納部３１１、および管理格納部４１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。 The storage unit 21, the mode storage unit 211, the learning information storage unit 311 and the management storage unit 41 are preferably non-volatile recording media, but can also be realized by volatile recording media.
格納部２１等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部２１等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部２１等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部２１等で記憶されるようになってもよい。 The process in which information is stored in the storage unit 21 or the like is not limited. For example, information may be stored in the storage unit 21 or the like via a recording medium, information transmitted via a communication line or the like may be stored in the storage unit 21 or the like, Alternatively, information input via the input device may be stored in the storage unit 21 or the like.
次に、対話システムＡの動作について説明する。まず、ユーザ端末１の動作例について説明する。 Next, the operation of the dialogue system A will be described. First, an operation example of the user terminal 1 will be described.
ユーザ端末１のユーザ受付部１１は、ユーザからの発話を受け付ける。次に、ユーザ処理部１２は、ユーザ受付部１１が受け付けた発話から、当該発話に対応するユーザ発話情報を取得する。ここで、ユーザ処理部１２は、例えば、音声である発話を音声認識し、テキストであるユーザ発話情報を取得する。次に、ユーザ送信部１３は、ユーザ処理部１２が取得したユーザ発話情報を対話制御装置２に送信する。次に、ユーザ発話情報の送信に応じて、ユーザ受信部１４は、自動情報または手動情報を受信する。なお、自動情報または手動情報は、ユーザの発話に対する応答の情報である。次に、ユーザ出力部１５は、ユーザ受信部１４が受信した自動情報または手動情報を出力する。以上の処理を繰り返す、ユーザと対話エンジン３または管理者との対話が継続される。なお、自動情報または手動情報がテキストの場合、ユーザ出力部１５は、当該テキストを音声合成し、音声出力しても良い。また、ユーザの指示等により、対話は終了する。
なお、ユーザ端末１は、対話制御装置２からの指示により、ビデオ会議機能を起動しても良い。かかる場合は、モードが手動モードに変更された場合である。そして、ビデオ会議機能が起動された後、ユーザ受付部１１は、ユーザからの発話と映像とを受け付ける。そして、ユーザ処理部１２は、発話に対応する情報であり、ユーザからの発話の内容、および映像を含むユーザ発話情報を取得する。次に、ユーザ送信部１３は、ユーザ処理部１２が取得したユーザ発話情報を対話制御装置２に送信する。そして、ユーザ受信部１４は、管理端末４から送信された情報であり、管理者の発話に関する情報と映像とを含む手動情報を受信する。そして、ユーザ出力部１５は、ユーザ受信部１４が受信した手動情報を出力する。なお、モードが手動モードから自動モードに変更された場合、ビデオ会議機能が停止され、上述した対話エンジン３との対話に移行しても良い。The user reception unit 11 of the user terminal 1 receives an utterance from the user. Next, the user processing unit 12 acquires user utterance information corresponding to the utterance from the utterance received by the user receiving unit 11. Here, for example, the user processing unit 12 recognizes an utterance that is a voice and acquires user utterance information that is a text. Next, the user transmission unit 13 transmits the user utterance information acquired by the user processing unit 12 to the dialogue control device 2. Next, in response to transmission of user utterance information, the user reception unit 14 receives automatic information or manual information. The automatic information or the manual information is information on a response to the user's utterance. Next, the user output unit 15 outputs the automatic information or manual information received by the user receiving unit 14. The dialogue between the user and the dialogue engine 3 or the administrator, which repeats the above processing, is continued. When the automatic information or the manual information is text, the user output unit 15 may synthesize the text and output the voice. Further, the dialogue is terminated by a user instruction or the like.
Note that the user terminal 1 may activate the video conference function according to an instruction from the dialogue control device 2. In such a case, the mode is changed to the manual mode. And after a video conference function is started, the user reception part 11 receives the speech and image | video from a user. And the user process part 12 is the information corresponding to an utterance, and acquires the content of the utterance from a user, and the user utterance information containing an image | video. Next, the user transmission unit 13 transmits the user utterance information acquired by the user processing unit 12 to the dialogue control device 2. And the user receiving part 14 is the information transmitted from the management terminal 4, and receives the manual information containing the information regarding an administrator's utterance, and an image | video. Then, the user output unit 15 outputs the manual information received by the user reception unit 14. When the mode is changed from the manual mode to the automatic mode, the video conference function may be stopped and the dialogue with the dialogue engine 3 described above may be performed.
次に、対話制御装置２の動作について、図４のフローチャートを用いて説明する。 Next, the operation of the dialogue control apparatus 2 will be described using the flowchart of FIG.
（ステップＳ４０１）受信部２２は、ユーザ発話情報をユーザ端末１から受信したか否かを判断する。ユーザ発話情報を受信した場合はステップＳ４０２に行き、受信しない場合はステップＳ４１９に行く。 (Step S <b> 401) The receiving unit 22 determines whether user utterance information is received from the user terminal 1. If user utterance information is received, the process goes to step S402; otherwise, the process goes to step S419.
（ステップＳ４０２）処理部２３は、ユーザ発話情報から発話情報を取得する。 (Step S402) The processing unit 23 acquires utterance information from user utterance information.
（ステップＳ４０３）決定部２３１は、発話情報の出力先を決定する。特に、決定部２３１は、例えば、モード格納部２１１のモード情報に従って、出力先を対話エンジン３とするか、管理端末４とするかを決定する。なお、決定部２３１は、発話情報の出力先を、常に、対話エンジン３と管理端末４との両方にする、としても良い。また、決定部２３１は、モード情報が手動モードを示す情報である場合、２以上の管理端末４のうちの１以上の管理端末４を決定しても良い。 (Step S403) The determination unit 231 determines the output destination of the utterance information. In particular, the determination unit 231 determines whether the output destination is the dialog engine 3 or the management terminal 4 according to the mode information of the mode storage unit 211, for example. Note that the determination unit 231 may always set the output destination of the utterance information to both the dialog engine 3 and the management terminal 4. In addition, when the mode information is information indicating the manual mode, the determination unit 231 may determine one or more management terminals 4 among the two or more management terminals 4.
（ステップＳ４０４）発話情報出力部２４１は、ステップＳ４０３で決定された出力先に、ステップＳ４０２で取得された発話情報を出力する。 (Step S404) The utterance information output unit 241 outputs the utterance information acquired in Step S402 to the output destination determined in Step S403.
（ステップＳ４０５）受付部２５は、発話情報の出力に応じて、自動応答情報または手動応答情報を受け付けたか否かを判断する。受付部２５がかかる情報を受け付けた場合はステップＳ４０６に行き、情報を受け付けない場合はステップＳ４０５に戻る。なお、受付部２５は、自動応答情報および手動応答情報の両方を受け付けても良い。なお、受付部２５は、発話情報の出力に応じるのではなく、常に、手動応答情報を受け付けていても良い。 (Step S405) The reception unit 25 determines whether automatic response information or manual response information has been received in response to the output of the utterance information. When the reception unit 25 receives such information, the process goes to step S406, and when the information is not received, the process returns to step S405. The receiving unit 25 may receive both automatic response information and manual response information. The receiving unit 25 may always receive manual response information instead of responding to the output of utterance information.
（ステップＳ４０６）処理部２３は、ステップＳ４０５で受け付けられた自動応答情報または手動応答情報から、自動情報または手動情報を取得する。なお、ステップＳ４０５で、自動応答情報および手動応答情報の両方が受け付けられた場合、処理部２３は、自動応答情報および動応答情報から、自動情報および手動情報を取得する。 (Step S406) The processing unit 23 acquires automatic information or manual information from the automatic response information or manual response information received in step S405. When both the automatic response information and the manual response information are received in step S405, the processing unit 23 acquires the automatic information and the manual information from the automatic response information and the dynamic response information.
（ステップＳ４０７）処理部２３は、自動情報を管理端末４に出力するか否かを判断する。管理端末４に出力する場合はステップＳ４０８に行き、出力しない場合はステップＳ４０９に行く。なお、例えば、自動情報を管理端末４に出力するか否かを示すフラグが格納部２１で管理されており、処理部２３は、かかるフラグを格納部２１から読み出し、判断する。また、処理部２３は、常に、自動情報を管理端末４に出力しても良いし、常に、自動情報を管理端末４に出力しなくても良い。 (Step S407) The processing unit 23 determines whether or not to output automatic information to the management terminal 4. When outputting to the management terminal 4, it goes to step S408, and when not outputting, it goes to step S409. For example, a flag indicating whether or not to output automatic information to the management terminal 4 is managed by the storage unit 21, and the processing unit 23 reads the flag from the storage unit 21 and determines. Further, the processing unit 23 may always output the automatic information to the management terminal 4 or may not always output the automatic information to the management terminal 4.
（ステップＳ４０８）自動情報出力部２４２は、ステップＳ４０６で取得された自動情報を管理端末４に出力する。 (Step S408) The automatic information output unit 242 outputs the automatic information acquired in step S406 to the management terminal 4.
（ステップＳ４０９）処理部２３は、手動情報を対話エンジン３に出力するか否かを判断する。対話エンジン３に出力する場合はステップＳ４１０に行き、出力しない場合はステップＳ４１１に行く。なお、例えば、手動情報を対話エンジン３に出力するか否かを示すフラグが格納部２１で管理されており、処理部２３は、かかるフラグを格納部２１から読み出し、判断する。また、処理部２３は、常に、手動情報を対話エンジン３に出力しても良いし、常に、手動情報を対話エンジン３に出力しなくても良い。 (Step S409) The processing unit 23 determines whether to output manual information to the dialog engine 3. When outputting to the dialogue engine 3, the process goes to step S410, and when not outputting, the process goes to step S411. For example, a flag indicating whether or not to output manual information to the dialog engine 3 is managed by the storage unit 21, and the processing unit 23 reads the flag from the storage unit 21 and makes a determination. The processing unit 23 may always output manual information to the dialog engine 3 or may not always output manual information to the dialog engine 3.
（ステップＳ４１０）手動情報出力部２４３は、ステップＳ４０６で取得された手動情報を対話エンジン３に出力する。 (Step S410) The manual information output unit 243 outputs the manual information acquired in Step S406 to the dialog engine 3.
（ステップＳ４１１）決定部２３１は、対話エンジン３を採用するか、管理端末４を採用するかを決定する。そして、決定部２３１は、対話エンジン３を採用するとの判断である場合は自動情報を取得し、管理端末４を採用するとの判断である場合は手動情報を取得する。 (Step S411) The determination unit 231 determines whether to employ the dialogue engine 3 or the management terminal 4. The determination unit 231 acquires automatic information when it is determined that the dialogue engine 3 is adopted, and acquires manual information when it is determined that the management terminal 4 is adopted.
（ステップＳ４１２）応答送信部２６１は、ステップＳ４１１で取得された自動情報または手動情報をユーザ端末１に送信する。 (Step S412) The response transmission unit 261 transmits the automatic information or manual information acquired in step S411 to the user terminal 1.
（ステップＳ４１３）判断部２３２は、モード情報を変更するための条件を満たすか否かを判断する。 (Step S413) The determination unit 232 determines whether or not a condition for changing the mode information is satisfied.
（ステップＳ４１４）ステップＳ４１３における判断結果が、条件を満たすとの判断結果である場合はステップＳ４１５に行き、条件を満たさないとの判断結果である場合はステップＳ４１６に行く。 (Step S414) If the determination result in step S413 is a determination result that satisfies the condition, the process goes to step S415. If the determination result that the condition is not satisfied, the process goes to step S416.
（ステップＳ４１５）モード変更部２３３は、モード格納部２１１のモード情報を変更する。ステップＳ４０１に戻る。 (Step S415) The mode change unit 233 changes the mode information in the mode storage unit 211. The process returns to step S401.
（ステップＳ４１６）処理部２３は、ステップＳ４１５における変更が、手動モードへの変更であるか否かを判断する。手動モードへの変更である場合はステップＳ４１７に行き、手動モードへの変更でない場合はステップＳ４１８に行く。 (Step S416) The processing unit 23 determines whether or not the change in step S415 is a change to the manual mode. If it is a change to the manual mode, the process goes to step S417, and if it is not a change to the manual mode, the process goes to step S418.
（ステップＳ４１７）出力部２４は、最新の発話情報を管理端末４に出力する。ステップＳ４０５に戻る。 (Step S417) The output unit 24 outputs the latest utterance information to the management terminal 4. The process returns to step S405.
（ステップＳ４１８）出力部２４は、最新の発話情報を対話エンジン３に出力する。ステップＳ４０５に戻る。 (Step S418) The output unit 24 outputs the latest utterance information to the dialog engine 3. The process returns to step S405.
（ステップＳ４１９）変更指示受付部２５３は、管理端末４またはユーザ端末１から変更指示を受け付けたか否かを判断する。変更指示を受け付けた場合はステップＳ４２０に行き、変更指示を受け付けない場合はステップＳ４０１に戻る。 (Step S419) The change instruction receiving unit 253 determines whether a change instruction has been received from the management terminal 4 or the user terminal 1. When the change instruction is accepted, the process goes to step S420, and when the change instruction is not accepted, the process returns to step S401.
（ステップＳ４２０）モード変更部２３３は、モード格納部２１１のモード情報を変更する。ステップＳ４０１に戻る。 (Step S420) The mode change unit 233 changes the mode information in the mode storage unit 211. The process returns to step S401.
なお、図４のフローチャートにおいて、ステップＳ４１３の判断部２３２の判断処理のタイミングは問わない。 In the flowchart of FIG. 4, the timing of the determination process of the determination unit 232 in step S413 does not matter.
また、図４のフローチャートにおいて、自動情報や手動情報の送信の順序や、送信するか否かの判断の順序等の各種の処理の順序は問わないことは言うまでもない。 In the flowchart of FIG. 4, it goes without saying that the order of various processes such as the order of transmission of automatic information and manual information and the order of determination as to whether or not to transmit are not important.
また、図４のフローチャートにおいて、ステップＳ４０５で自動応答情報を受け付けない場合、自動情報は出力されない。また、ステップＳ４０５で手動応答情報を受け付けない場合、手動情報は出力されない。 Also, in the flowchart of FIG. 4, when automatic response information is not accepted in step S405, automatic information is not output. If manual response information is not accepted in step S405, manual information is not output.
さらに、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。 Further, in the flowchart of FIG. 4, the process is terminated by powering off or a process termination interrupt.
次に、対話エンジン３の動作について、図５のフローチャートを用いて説明する。 Next, the operation of the dialog engine 3 will be described using the flowchart of FIG.
（ステップＳ５０１）発話受付部３２は、対話制御装置２から発話情報を受け付けたか否かを判断する。発話情報を受け付けた場合はステップＳ５０２に行き、発話情報を受け付けない場合はステップＳ５０４に行く。 (Step S <b> 501) The utterance receiving unit 32 determines whether or not utterance information has been received from the dialog control device 2. If the utterance information is accepted, the process goes to step S502. If the utterance information is not accepted, the process goes to step S504.
（ステップＳ５０２）応答取得部３３は、ステップＳ５０１で受け付けられた発話情報に対応する自動応答情報を、学習情報格納部３１１の学習情報を用いて取得する。 (Step S502) The response acquisition unit 33 acquires automatic response information corresponding to the utterance information received in step S501 using the learning information in the learning information storage unit 311.
（ステップＳ５０３）応答出力部３４は、応答取得部３３が取得した自動応答情報を対話制御装置２に出力する。 (Step S503) The response output unit 34 outputs the automatic response information acquired by the response acquisition unit 33 to the dialog control device 2.
（ステップＳ５０４）学習受付部３５は、学習対象の手動応答情報を受け付けたか否かを判断する。手動応答情報を受け付けた場合はステップＳ５０５に行き、手動応答情報を受け付けない場合はステップＳ５０１に戻る。 (Step S504) The learning reception unit 35 determines whether manual response information to be learned has been received. When manual response information is received, the process goes to step S505, and when manual response information is not received, the process returns to step S501.
（ステップＳ５０５）学習部３６は、学習受付部３５が受け付けた手動応答情報を用いて、学習情報に、追記する情報を構成する。 (Step S505) The learning unit 36 configures information to be added to the learning information using the manual response information received by the learning receiving unit 35.
（ステップＳ５０６）学習部３６は、ステップＳ５０５で構成した情報を学習情報格納部３１１に追記する。ステップＳ５０１に戻る。 (Step S506) The learning unit 36 adds the information configured in step S505 to the learning information storage unit 311. The process returns to step S501.
なお、図５のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。 In the flowchart of FIG. 5, the process ends when the power is turned off or the process ends.
次に、管理端末４の動作について、図６のフローチャートを用いて説明する。 Next, operation | movement of the management terminal 4 is demonstrated using the flowchart of FIG.
（ステップＳ６０１）管理情報受付部４２は、発話情報を対話制御装置２から受け付けたか否かを判断する。発話情報を受け付けた場合はステップＳ６０２に行き、受け付けない場合はステップＳ６０６に行く。 (Step S601) The management information receiving unit 42 determines whether or not the utterance information has been received from the dialog control device 2. If the utterance information is accepted, the process goes to step S602; otherwise, the process goes to step S606.
（ステップＳ６０２）管理者出力部４４は、ステップＳ６０１で受け付けられた発話情報を、または管理処理部４３により出力用に構成された発話情報を出力する。 (Step S602) The administrator output unit 44 outputs the utterance information received in step S601 or the utterance information configured for output by the management processing unit 43.
（ステップＳ６０３）管理処理部４３は、発話情報の出力に対応した手動応答情報を出力するか否かを判断する。手動応答情報を出力する場合はステップＳ６０４に行き、手動応答情報を出力しない場合はステップＳ６０１に戻る。なお、手動応答情報を出力する場合は、モード情報が手動モードの場合である。なお、例えば、管理格納部４１のモード情報が「手動モード」である場合、管理処理部４３は、手動応答情報を出力すると判断する。 (Step S603) The management processing unit 43 determines whether to output manual response information corresponding to the output of utterance information. When manual response information is output, the process goes to step S604, and when manual response information is not output, the process returns to step S601. The manual response information is output when the mode information is in the manual mode. For example, when the mode information in the management storage unit 41 is “manual mode”, the management processing unit 43 determines to output manual response information.
（ステップＳ６０４）管理情報受付部４２は、手動応答情報を受け付けたか否かを判断する。手動応答情報を受け付けた場合はステップＳ６０５に行き、手動応答情報を受け付けない場合はステップＳ６０４に戻る。 (Step S604) The management information receiving unit 42 determines whether manual response information has been received. If manual response information is accepted, the process proceeds to step S605. If manual response information is not accepted, the process returns to step S604.
（ステップＳ６０５）管理者出力部４４は、ステップＳ６０４で受け付けられた手動応答情報を対話制御装置２に出力する。ステップＳ６０１に戻る。 (Step S605) The administrator output unit 44 outputs the manual response information received in Step S604 to the dialog control device 2. The process returns to step S601.
（ステップＳ６０６）管理情報受付部４２は、自動情報を対話制御装置２から受け付けたか否かを判断する。自動情報を受け付けた場合はステップＳ６０７に行き、受け付けない場合はステップＳ６０８に行く。 (Step S606) The management information receiving unit 42 determines whether or not automatic information has been received from the dialog control device 2. If automatic information is accepted, the process goes to step S607, and if not, the process goes to step S608.
（ステップＳ６０７）管理者出力部４４は、ステップＳ６０６で受け付けられた自動情報を、または管理処理部４３により出力用に構成された自動情報を出力する。ステップＳ６０１に戻る。 (Step S607) The administrator output unit 44 outputs the automatic information received in step S606 or the automatic information configured for output by the management processing unit 43. The process returns to step S601.
（ステップＳ６０８）管理指示受付部４５は、管理者からモードの変更指示を受け付けたか否かを判断する。変更指示を受け付けた場合はステップＳ６０９に行き、変更指示を受け付けない場合はステップＳ６０１に戻る。 (Step S608) The management instruction receiving unit 45 determines whether a mode change instruction has been received from the administrator. If a change instruction is accepted, the process goes to step S609. If a change instruction is not accepted, the process returns to step S601.
（ステップＳ６０９）管理出力部４６は、ステップＳ６０８で受け付けられた変更指示を対話制御装置２に出力する。ステップＳ６０１に戻る。 (Step S609) The management output unit 46 outputs the change instruction received in step S608 to the dialogue control apparatus 2. The process returns to step S601.
なお、図６のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
また、管理端末４がビデオ会議機能を有する場合、管理端末４が手動モードへの変更指示等の指示を対話制御装置２から受信することにより、ビデオ会議機能を起動し、ユーザ端末１とのビデオ会議が開始されても良い。そして、かかる場合、自動モードへの変更指示等の指示を対話制御装置２から受信することにより、管理端末４は、ビデオ会議機能を終了しても良い。In the flowchart of FIG. 6, the process ends when the power is turned off or the process ends.
Further, when the management terminal 4 has a video conference function, the management terminal 4 receives an instruction such as an instruction to change to the manual mode from the dialogue control device 2 to activate the video conference function and perform video with the user terminal 1. A meeting may be started. In such a case, the management terminal 4 may end the video conference function by receiving an instruction such as an instruction to change to the automatic mode from the dialogue control device 2.
以下、本実施の形態における対話システムＡの具体的な動作について説明する。 Hereinafter, a specific operation of the dialogue system A in the present embodiment will be described.
今、対話制御装置２の格納部２１は、対話が破綻していることを特定するための条件を示す情報である破綻判断条件管理表が格納されている、とする（図７参照）。破綻判断条件管理表は、「ＩＤ」「破綻条件」を有するレコードを１以上管理している。「破綻条件」は、「情報」「条件」を有する。「ＩＤ」は、レコードを識別する情報である。「情報」は、対話の破綻を判断するために使用する情報である。「情報」は、ユーザ発話情報または自動応答情報である。なお、ユーザ発話情報の代わりに発話情報であっても良いし、自動応答情報の代わりに自動情報でも良い。また、「条件」は、対話の破綻を判断するための条件である。「ＩＤ＝１」の条件は、類似度が９０％以上のユーザ発話情報が連続して受け付けられることである。なお、ユーザ発話情報の類似度の算出の処理は、例えば、文の類似度の算出と同一の処理であり、公知技術であるので詳細な説明を省略する。「ＩＤ＝２」の条件は、類似度が９０％以上のユーザ発話情報が、連続して受け付けられる４つのユーザ発話情報の中で、３以上存在することである。「ＩＤ＝３」の条件は、連続して受け付けられる４つの自動応答情報の中で、破綻用語を含む自動応答情報が２以上存在することである。「ＩＤ＝４」の条件は、会話不成立を示す情報を含む自動応答情報が受け付けられたことである。なお、破綻用語は、ここでは、例えば、「理解できなかった」「理解不能」である、とする。また、会話不成立を示す情報は、例えば、自動応答情報に含まれ得るスコア「０」である、とする。さらに、例えば、モード格納部２１１のデフォルトのモード情報は「自動モード」である、とする。 Now, it is assumed that the storage control unit 2 of the dialog control apparatus 2 stores a failure determination condition management table that is information indicating a condition for specifying that a dialog has failed (see FIG. 7). The failure judgment condition management table manages one or more records having “ID” and “failure condition”. The “failure condition” includes “information” and “condition”. “ID” is information for identifying a record. “Information” is information used to determine the failure of the dialogue. “Information” is user utterance information or automatic response information. Note that utterance information may be used instead of user utterance information, and automatic information may be used instead of automatic response information. The “condition” is a condition for determining the failure of the dialogue. The condition of “ID = 1” is that user utterance information having a similarity of 90% or more is continuously received. Note that the processing for calculating the similarity of the user utterance information is, for example, the same processing as the calculation of the similarity of the sentence, and is a known technique, and thus detailed description thereof is omitted. The condition of “ID = 2” is that there are three or more user utterance information having a similarity of 90% or more among the four user utterance information continuously received. The condition of “ID = 3” is that there are two or more pieces of automatic response information including broken terms among the four pieces of automatic response information accepted continuously. The condition of “ID = 4” is that automatic response information including information indicating that conversation is not established is accepted. Here, it is assumed that the bankrupt terms are, for example, “I could not understand” or “I cannot understand”. Further, the information indicating that the conversation is not established is, for example, a score “0” that can be included in the automatic response information. Further, for example, it is assumed that the default mode information in the mode storage unit 211 is “automatic mode”.
また、対話エンジン３を構成する学習情報格納部３１１は、図８に示す学習情報管理表を格納している、とする。学習情報管理表は、「ＩＤ」「学習情報」を有する１以上のレコードを管理している。「ＩＤ」はレコードを識別する情報である。「学習情報」は「発話情報」と「自動応答情報」との対である。「発話情報」「自動応答情報」は、定数（固定的な文字列）でも良いし、変数を有する情報でも良い。また、「自動応答情報」は、プログラムや検索式（ここでは、例えば、ＳＱＬ文であるが、他の形式でも構わない）などの実行可能な情報でも良い。学習情報の中の｛｝は変数を示し、学習情報の中の＊は０文字以上の文字を示す。また、自動応答情報の中の＄は変数であり、学習情報格納部３１１に値が保持されている。なお、「＄営業日」の値は、ここでは「日曜日、火曜日、水曜日、木曜日、金曜日、土曜日」である、とする。また、自動応答情報の中の「ｉｎｃｌｕｄｅ」は、含まれるか否かの論理演算子である、とする。つまり、「｛ｔｉｍｅＥｘｐｒｅｓｓｉｏｎ｝ ｉｎｃｌｕｄｅ ＄営業日」は、変数「ｔｉｍｅＥｘｐｒｅｓｓｉｏｎ」の情報が変数「営業日」の中に含まれるか否かを判断することを示す。そして、含まれる場合は真「１」を、含まれない場合は偽「０」を返す、とする。 Further, it is assumed that the learning information storage unit 311 constituting the dialogue engine 3 stores the learning information management table shown in FIG. The learning information management table manages one or more records having “ID” and “learning information”. “ID” is information for identifying a record. “Learning information” is a pair of “utterance information” and “automatic response information”. “Speech information” and “automatic response information” may be constants (fixed character strings) or information having variables. Further, the “automatic response information” may be executable information such as a program or a search expression (here, for example, an SQL statement, but may be in other forms). {} In the learning information indicates a variable, and * in the learning information indicates zero or more characters. Further, $ in the automatic response information is a variable, and a value is held in the learning information storage unit 311. Here, the value of “$ business day” is “Sunday, Tuesday, Wednesday, Thursday, Friday, Saturday”. Further, it is assumed that “include” in the automatic response information is a logical operator as to whether or not it is included. That is, “{timeExpression} include $ business day” indicates whether or not the information of the variable “timeExpression” is included in the variable “business day”. If it is included, true “1” is returned; otherwise, false “0” is returned.
また、学習情報格納部３１１は、図９に示すＦｏｏｄｔａｂｌｅを格納している、とする。Ｆｏｏｄｔａｂｌｅは、「ＩＤ」「料理」「作り方」を有するレコードを１以上格納している。 Further, it is assumed that the learning information storage unit 311 stores the Foodtable shown in FIG. The Foodtable stores one or more records having “ID”, “cooking”, and “how to make”.
さらに、学習情報格納部３１１は、料理名を格納しているｆｏｏｄ辞書、作物名を格納しているｃｒｏｐｓ辞書を有する、とする。ｆｏｏｄ辞書には、「カツ丼、牛丼、親子丼、・・・」等の多数の料理名が格納されている。また、ｃｒｏｐｓ辞書には、「お米、ナス、にんじん、・・・」等の多数の作物名が格納されている。 Further, it is assumed that the learning information storage unit 311 has a food dictionary storing food names and a crops dictionary storing crop names. The food dictionary stores a number of dishes such as “cutlet bowl, beef bowl, parent-child bowl,. The crops dictionary stores a number of crop names such as “rice, eggplant, carrot,...”.
かかる状況において、以下の５つの具体例について説明する。具体例１は、対話制御装置２が対話の破綻を自動検知して、モード情報が自動モードから手動モードに自動的に切り替わる場合である。また、具体例１において、自動で手動モードから自動モードに切り替える処理についても説明する。また、具体例２は、管理者が手動で、モード情報を自動モードから手動モードに切り替える場合である。また、具体例２において、管理者が手動で、モード情報を手動モードから自動モードに切り替える場合についても説明する。また、具体例３は、管理者が入力した手動応答情報を用いて、対話エンジン３が学習を行う場合である。また、具体例４は、モード情報が自動モードから手動モードに自動的に切り替わった場合に、ユーザ端末１と管理端末４との間で、ビデオ会議機能を用いた対話が行われる場合である。さらに、具体例５は、モード情報が自動モードから手動モードに自動的に切り替わった場合に、過去の対話の内容から話題を抽出し、話題に応じた管理端末４を選択し、ユーザ端末１と選択された管理端末４との間で、ビデオ会議機能を用いた対話が行われる場合である。 In this situation, the following five specific examples will be described. Specific example 1 is a case in which the dialog control apparatus 2 automatically detects failure of the dialog and the mode information is automatically switched from the automatic mode to the manual mode. In the first specific example, a process for automatically switching from the manual mode to the automatic mode will also be described. Specific example 2 is a case where the administrator manually switches the mode information from the automatic mode to the manual mode. In the second specific example, a case where the manager manually switches the mode information from the manual mode to the automatic mode will be described. Specific example 3 is a case where the dialog engine 3 performs learning using the manual response information input by the administrator. Specific example 4 is a case where a dialogue using a video conference function is performed between the user terminal 1 and the management terminal 4 when the mode information is automatically switched from the automatic mode to the manual mode. Further, in the fifth specific example, when the mode information is automatically switched from the automatic mode to the manual mode, the topic is extracted from the content of the past dialogue, the management terminal 4 corresponding to the topic is selected, and the user terminal 1 This is a case where a dialogue using the video conference function is performed with the selected management terminal 4.
（具体例１）
今、ユーザは、ユーザ端末１に対して、「おはよう」と音声入力した、とする。すると、ユーザ端末１のユーザ受付部１１は、ユーザからの発話「おはよう」を受け付ける。次に、ユーザ処理部１２は、ユーザの音声入力に対して音声認識し、ユーザ発話情報「おはよう」を取得する。次に、ユーザ送信部１３は、ユーザ発話情報「おはよう」を対話制御装置２に送信する。(Specific example 1)
Now, it is assumed that the user inputs a voice “Good morning” to the user terminal 1. Then, the user reception unit 11 of the user terminal 1 receives the utterance “good morning” from the user. Next, the user processing unit 12 recognizes the voice input by the user and acquires user utterance information “Good morning”. Next, the user transmission unit 13 transmits the user utterance information “Good morning” to the dialogue control apparatus 2.
次に、対話制御装置２の受信部２２は、ユーザ発話情報「おはよう」をユーザ端末１から受信する。 Next, the reception unit 22 of the dialogue control device 2 receives the user utterance information “Good morning” from the user terminal 1.
そして、処理部２３は、ユーザ発話情報「おはよう」から発話情報「１：おはよう」を取得する。つまり、処理部２３は、格納されている発話識別子「０」（発話識別子の初期値である、とする）をインクリメントし、ユニークな発話識別子「１」を生成する。そして、処理部２３は、ユーザ発話情報に発話識別子「１」を付加し、発話情報「１：おはよう」を構成する。 Then, the processing unit 23 acquires the utterance information “1: Good morning” from the user utterance information “Good morning”. That is, the processing unit 23 increments the stored utterance identifier “0” (assumed to be the initial value of the utterance identifier), and generates a unique utterance identifier “1”. Then, the processing unit 23 adds the utterance identifier “1” to the user utterance information to configure the utterance information “1: Good morning”.
次に、決定部２３１は、モード情報「自動モード」をモード格納部２１１から取得し、発話情報の出力先を「対話エンジン３」と決定する。 Next, the determination unit 231 acquires the mode information “automatic mode” from the mode storage unit 211 and determines the output destination of the utterance information as “dialogue engine 3”.
次に、発話情報出力部２４１は、対話エンジン３に発話情報「１：おはよう」を送信する。 Next, the utterance information output unit 241 transmits the utterance information “1: Good morning” to the dialog engine 3.
次に、対話エンジン３の発話受付部３２は、対話制御装置２から発話情報「１：おはよう」を受信する。 Next, the utterance reception unit 32 of the dialogue engine 3 receives the utterance information “1: Good morning” from the dialogue control device 2.
次に、応答取得部３３は、発話情報が有する「おはよう」と対になる自動応答情報「おはようございます」を図８の学習情報管理表から取得する。なお、ここで、応答取得部３３は、発話識別子「１」を付加した自動応答情報「１：おはようございます」を取得することは好適である。 Next, the response acquisition unit 33 acquires the automatic response information “Good morning” that is paired with “Good morning” included in the utterance information from the learning information management table of FIG. 8. Here, it is preferable that the response acquisition unit 33 acquires the automatic response information “1: Good morning” with the utterance identifier “1” added.
次に、応答出力部３４は、応答取得部３３が取得した自動応答情報「１：おはようございます」を対話制御装置２に送信する。なお、送信される自動応答情報は、「おはようございます」でも良い。 Next, the response output unit 34 transmits the automatic response information “1: Good morning” acquired by the response acquisition unit 33 to the dialog control device 2. The automatic response information to be transmitted may be “Good morning”.
次に、対話制御装置２の自動応答受付部２５１は、自動応答情報「１：おはようございます」を対話エンジン３から受信する。 Next, the automatic response reception unit 251 of the dialog control device 2 receives the automatic response information “1: Good morning” from the dialog engine 3.
次に、処理部２３は、自動応答情報から、自動情報「おはようございます」を取得する。次に、決定部２３１は、モード情報「自動モード」から対話エンジン３を採用すると決定する。そして、応答送信部２６１は、自動情報「おはようございます」をユーザ端末１に送信する。なお、処理部２３は、自動情報を管理端末４に出力しない、と判断する。 Next, the processing unit 23 acquires automatic information “Good morning” from the automatic response information. Next, the determination unit 231 determines to employ the dialogue engine 3 from the mode information “automatic mode”. Then, the response transmission unit 261 transmits automatic information “Good morning” to the user terminal 1. Note that the processing unit 23 determines that automatic information is not output to the management terminal 4.
次に、ユーザ端末１のユーザ受信部１４は、自動情報「おはようございます」を受信する。そして、ユーザ出力部１５は、自動情報「おはようございます」を音声出力する。 Next, the user receiving unit 14 of the user terminal 1 receives the automatic information “Good morning”. Then, the user output unit 15 outputs the automatic information “Good morning” as a voice.
次に、ユーザは、ユーザ端末１に対して、「来週の木曜日は営業していますか？」と音声入力した、とする。すると、ユーザ端末１のユーザ受付部１１は、ユーザからの発話「来週の木曜日は営業していますか？」を受け付ける。次に、ユーザ処理部１２は、ユーザの音声入力に対して音声認識し、ユーザ発話情報「来週の木曜日は営業していますか？」を取得する。次に、ユーザ送信部１３は、当該ユーザ発話情報を対話制御装置２に送信する。 Next, it is assumed that the user inputs a voice to the user terminal 1 “Do you have business next Thursday?” Then, the user reception unit 11 of the user terminal 1 receives an utterance “Are you open on Thursday next week?” From the user. Next, the user processing unit 12 recognizes the voice of the user and acquires user utterance information “Do you have business on Thursday next week?”. Next, the user transmission unit 13 transmits the user utterance information to the dialogue control device 2.
次に、対話制御装置２の受信部２２は、ユーザ発話情報「来週の木曜日は営業していますか？」をユーザ端末１から受信する。 Next, the receiving unit 22 of the dialogue control apparatus 2 receives user utterance information “Do you have business on Thursday next week?” From the user terminal 1.
そして、処理部２３は、当該ユーザ発話情報から発話情報「２：来週の木曜日は営業していますか？」を取得する。つまり、処理部２３は、格納されている発話識別子「１」をインクリメントし、ユニークな発話識別子「２」を生成する。そして、処理部２３は、ユーザ発話情報に発話識別子「２」を付加し、発話情報「２：来週の木曜日は営業していますか？」を構成する。 Then, the processing unit 23 acquires utterance information “2: Are you operating on next Thursday?” From the user utterance information. That is, the processing unit 23 increments the stored utterance identifier “1” to generate a unique utterance identifier “2”. Then, the processing unit 23 adds the utterance identifier “2” to the user utterance information, and configures the utterance information “2: Are you operating on Thursday next week?”.
次に、決定部２３１は、モード情報から発話情報の出力先を「対話エンジン３」と決定する。 Next, the determination unit 231 determines the output destination of the speech information as “dialog engine 3” from the mode information.
次に、発話情報出力部２４１は、対話エンジン３に発話情報「２：来週の木曜日は営業していますか？」を送信する。 Next, the utterance information output unit 241 transmits the utterance information “2: Are you operating on next Thursday?” To the dialog engine 3.
次に、対話エンジン３の発話受付部３２は、対話制御装置２から発話情報「２：来週の木曜日は営業していますか？」を受信する。 Next, the utterance reception unit 32 of the dialog engine 3 receives the utterance information “2: Are you operating on Thursday next week?” From the dialog control device 2.
次に、応答取得部３３は、発話情報が有する「来週の木曜日は営業していますか？」が、図８の学習情報管理表の中の発話情報のパターン「｛ｔｉｍｅＥｘｐｒｅｓｓｉｏｎ｝＊営業していますか？＊」に合致することを検出する。なお、かかる発話情報のパターンは、図８の学習情報管理表の「ＩＤ＝３」の情報である。 Next, the response acquisition unit 33 has the utterance information pattern “{time Expression} *” in the learning information management table of FIG. "? *" Is detected. Note that this utterance information pattern is information of “ID = 3” in the learning information management table of FIG.
次に、応答取得部３３は、「ＩＤ＝３」の自動応答情報を取得する。そして、応答取得部３３は、当該自動応答情報の｛ｔｉｍｅＥｘｐｒｅｓｓｉｏｎ｝に対して「来週の木曜日」を代入し、「＄営業日」の値「日曜日、火曜日、水曜日、木曜日、金曜日、土曜日」から、来週の木曜日が営業日に含まれる（つまり、自動応答情報の実行結果「真」）、と判断する。なお、応答取得部３３は、「来週の木曜日」から曜日を示す「木曜日」を抽出し、「＄営業日」の値に含まれる、と判断する。 Next, the response acquisition unit 33 acquires automatic response information of “ID = 3”. Then, the response acquisition unit 33 assigns “next Thursday” to {timeExpression} of the automatic response information, and from the value “Sunday, Tuesday, Wednesday, Thursday, Friday, Saturday” of “$ business day”, It is determined that next Thursday is included in the business day (that is, the execution result of the automatic response information is “true”). Note that the response acquisition unit 33 extracts “Thursday” indicating the day of the week from “Thursday of next week” and determines that it is included in the value of “$ business day”.
次に、応答取得部３３は、自動応答情報のパターン"はい。｛ｔｉｍｅＥｘｐｒｅｓｓｉｏｎ｝は営業しております"を取得する。次に、応答取得部３３は、自動応答情報のパターンの｛ｔｉｍｅＥｘｐｒｅｓｓｉｏｎ｝に対して「来週の木曜日」を代入し、自動応答情報「来週の木曜日は営業しております」を取得する。そして、応答送信部２６１は、自動応答情報「２：来週の木曜日は営業しております」をユーザ端末１に送信する。 Next, the response acquisition unit 33 acquires the automatic response information pattern “Yes. {TimeExpression is open”]. Next, the response acquisition unit 33 substitutes “next Thursday” for {timeExpression} of the pattern of the automatic response information, and acquires the automatic response information “open next Thursday”. Then, the response transmission unit 261 transmits the automatic response information “2: Open on Thursday next week” to the user terminal 1.
次に、対話制御装置２の自動応答受付部２５１は、自動応答情報「２：来週の木曜日は営業しております」を対話エンジン３から受信する。 Next, the automatic response reception unit 251 of the dialog control apparatus 2 receives the automatic response information “2: Open next Thursday” from the dialog engine 3.
次に、処理部２３は、自動応答情報から、自動情報「来週の木曜日は営業しております」を取得する。次に、決定部２３１は、モード情報「自動モード」から対話エンジン３を採用すると決定する。そして、応答送信部２６１は、自動情報「来週の木曜日は営業しております」をユーザ端末１に送信する。 Next, the processing unit 23 acquires automatic information “I am open next Thursday” from the automatic response information. Next, the determination unit 231 determines to employ the dialogue engine 3 from the mode information “automatic mode”. Then, the response transmission unit 261 transmits automatic information “I am open on Thursday next week” to the user terminal 1.
次に、ユーザ端末１のユーザ受信部１４は、自動情報「来週の木曜日は営業しております」を受信する。そして、ユーザ出力部１５は、自動情報「来週の木曜日は営業しております」を音声出力する。 Next, the user receiving unit 14 of the user terminal 1 receives the automatic information “Open next Thursday”. Then, the user output unit 15 outputs the automatic information “We are open next Thursday” by voice.
以上のように、ユーザと対話エンジン３との対話の動作が繰り返し行われた、とする。そして、対話エンジン３から送信された自動応答情報の中に「理解不能」を含む情報が、２回連続して、対話制御装置２に送信された、とする。なお、対話エンジン３は、受け付けた発話情報に対応する自動応答情報を取得することができなかった場合、「理解不能」を含む自動応答情報を構成し、送信する、とする。また、２回目の「理解不能」を含む自動応答情報に対応するユーザ発話情報は「来週の木曜日のお席の予約は可能ですか？」であった、とする。 As described above, it is assumed that the dialogue operation between the user and the dialogue engine 3 is repeatedly performed. Then, it is assumed that information including “unintelligible” in the automatic response information transmitted from the dialog engine 3 is transmitted to the dialog control device 2 twice in succession. It is assumed that the dialogue engine 3 configures and transmits automatic response information including “unintelligible” when automatic response information corresponding to the received utterance information cannot be acquired. Further, it is assumed that the user utterance information corresponding to the second automatic response information including “Unrecognizable” is “Can we reserve a seat next Thursday?”
そして、対話制御装置２の自動応答受付部２５１が、２度目の「理解不能」を含む自動応答情報を対話エンジン３から受信した、とする。なお、処理部２３は、受信された自動応答情報やユーザ発話情報や手動応答情報等のログを格納部２１に蓄積することは好適である。または、処理部２３は、１度目の「理解不能」を含む自動応答情報を対話エンジン３から受信した際に、当該自動応答情報を格納部２１に蓄積しても良い。 Then, it is assumed that the automatic response reception unit 251 of the dialog control device 2 has received the automatic response information including the second “unintelligible” from the dialog engine 3. Note that it is preferable that the processing unit 23 accumulates logs such as received automatic response information, user utterance information, and manual response information in the storage unit 21. Alternatively, the processing unit 23 may accumulate the automatic response information in the storage unit 21 when the automatic response information including the first “unintelligible” is received from the dialogue engine 3.
次に、判断部２３２は、２回の連続した「理解不能」を含む自動応答情報が、図７の「ＩＤ＝３」の破綻条件に合致する、と判断する。 Next, the determination unit 232 determines that the automatic response information including two consecutive “unintelligible” matches the failure condition of “ID = 3” in FIG.
次に、モード変更部２３３は、モード格納部２１１のモード情報「自動モード」から「手動モード」に変更する。 Next, the mode change unit 233 changes the mode information “automatic mode” in the mode storage unit 211 from “manual mode”.
次に、処理部２３は、手動モードへの変更である、と判断する。そして、出力部２４は、最新の発話情報「１２：来週の木曜日のお席の予約は可能ですか？」を管理端末４に出力する。なお、「１２」は発話識別子である。 Next, the processing unit 23 determines that the change is to the manual mode. Then, the output unit 24 outputs the latest utterance information “12: Is it possible to reserve a seat next Thursday?” To the management terminal 4. “12” is an utterance identifier.
次に、管理端末４の管理情報受付部４２は、発話情報「１２：来週の木曜日のお席の予約は可能ですか？」を対話制御装置２から受信する。 Next, the management information reception unit 42 of the management terminal 4 receives the utterance information “12: Is it possible to reserve a seat next Thursday?” From the dialogue control device 2.
次に、管理者出力部４４は、発話情報のうちの発話内容「来週の木曜日のお席の予約は可能ですか？」を出力する。かかる出力例は、図１０である。図１０において、１００１に発話情報のうちの発話内容が表示されている。 Next, the manager output unit 44 outputs the utterance content “Is it possible to reserve a seat next Thursday?” In the utterance information. An example of such output is shown in FIG. In FIG. 10, the utterance content of the utterance information is displayed at 1001.
次に、管理者は、図１０の１００２の「Ｙｅｓ」ボタンを押下した、とする。すると、管理情報受付部４２は、「Ｙｅｓ」ボタンの押下を検知し、「Ｙｅｓ」ボタンに対応づけて格納されている手動応答情報「はい。」を、図１１の手動応答情報管理表から取得する。なお、管理格納部４１には、図１０の画面上のボタンに対応する手動応答情報が管理されている。かかる手動応答情報管理表は、図１１である。図１１は、「ＩＤ」「ボタン」「手動応答情報」を有するレコードが管理されている。「ボタン」の各属性値は、図１０のボタンに対応する。次に、管理者出力部４４は、手動応答情報「はい。」を対話制御装置２に送信する。 Next, it is assumed that the administrator presses a “Yes” button 1002 in FIG. Then, the management information reception unit 42 detects pressing of the “Yes” button, and acquires the manual response information “Yes” stored in association with the “Yes” button from the manual response information management table of FIG. To do. The management storage unit 41 manages manual response information corresponding to the buttons on the screen of FIG. Such a manual response information management table is shown in FIG. In FIG. 11, records having “ID”, “button”, and “manual response information” are managed. Each attribute value of “button” corresponds to the button of FIG. Next, the administrator output unit 44 transmits manual response information “Yes” to the dialogue control apparatus 2.
なお、ここで、管理者は、図１０の画面内のボタンを押下せずに、または図１０の１００３の「音声入力」ボタンを押下した後、「はい。来週の木曜日は、４名様までご予約可能です。」などと、音声入力しても良い。かかる場合、対話制御装置２の管理情報受付部４２は、音声データ「はい。来週の木曜日は、４名様までご予約可能です。」を受け付け、当該音声データを音声認識し、テキストの手動応答情報「はい。来週の木曜日は、４名様までご予約可能です。」を得る。そして、管理者出力部４４は、当該手動応答情報を対話制御装置２に送信する。なお、管理情報受付部４２は、デフォルトで、音声を受け付けても良い。 Here, the administrator does not press the button in the screen of FIG. 10 or presses the “voice input” button of 1003 in FIG. 10, and then “Yes. You can also make a voice entry such as “You can make a reservation.” In such a case, the management information accepting unit 42 of the dialog control device 2 accepts the voice data “Yes. Up to four people can be reserved next Thursday”, recognizes the voice data, and manually responds to the text. Get the information "Yes. Up to 4 people can be reserved next Thursday". Then, the manager output unit 44 transmits the manual response information to the dialog control device 2. Note that the management information receiving unit 42 may receive voice by default.
次に、対話制御装置２の手動情報受付部２５２は、手動応答情報「はい。来週の木曜日は、４名様までご予約可能です。」を受け付ける。そして、処理部２３は、当該手動応答情報を手動情報として取得する。 Next, the manual information receiving unit 252 of the dialog control device 2 receives the manual response information “Yes. Up to four people can be reserved next Thursday” can be received. Then, the processing unit 23 acquires the manual response information as manual information.
そして、モード情報が「手動モード」なので、応答送信部２６１は手動情報「はい。来週の木曜日は、４名様までご予約可能です。」をユーザ端末１に送信する。 Since the mode information is “manual mode”, the response transmission unit 261 transmits the manual information “Yes. Up to four people can be reserved next Thursday” to the user terminal 1.
次に、ユーザ端末１のユーザ受信部１４は、当該手動情報を受信する。次に、ユーザ出力部１５は、手動情報「はい。来週の木曜日は、４名様までご予約可能です。」を音声出力する。 Next, the user receiving unit 14 of the user terminal 1 receives the manual information. Next, the user output unit 15 outputs manual information “Yes. Up to four people can be reserved next Thursday” can be output as a voice.
以上の処理により、対話の破綻を自動検知し、自動モードから手動モードの自動切り替えを行うことにより、対話の継続が可能となる。 By the above processing, the failure of the dialogue is automatically detected, and the dialogue can be continued by automatically switching from the automatic mode to the manual mode.
また、手動モードの状態で、閾値以上の回数の対話（手動応答情報の受信）が行われた場合、判断部２３２は、「手動モード」から「自動モード」にモード情報を変更する、と判断するとする。そして、モード変更部２３３は、モード格納部２１１のモード情報を「手動モード」から「自動モード」に変更する。 Further, when the number of dialogs (reception of manual response information) is more than the threshold value in the manual mode, the determination unit 232 determines to change the mode information from “manual mode” to “automatic mode”. Then. Then, the mode change unit 233 changes the mode information in the mode storage unit 211 from “manual mode” to “automatic mode”.
以後、上記で説明したような「自動モード」での対話処理が継続される。なお、ユーザ端末１において、図１２に示すようにキャラクタがお話しているように、自動情報または手動情報を音声出力することは好適である。 Thereafter, the dialogue processing in the “automatic mode” as described above is continued. In the user terminal 1, it is preferable to output automatic information or manual information as a voice as the character is talking as shown in FIG.
（具体例２）
今、ユーザは、ユーザ端末１に対して、「牛丼の作り方を教えて」と音声入力した、とする。すると、ユーザ端末１のユーザ受付部１１は、ユーザからの発話「牛丼の作り方を教えて」を受け付ける。次に、ユーザ処理部１２は、ユーザの音声入力に対して音声認識し、ユーザ発話情報「牛丼の作り方を教えて」を取得する。次に、ユーザ送信部１３は当該ユーザ発話情報を対話制御装置２に送信する。(Specific example 2)
Now, assume that the user has made a voice input to the user terminal 1 “Teach me how to make beef bowl”. Then, the user reception unit 11 of the user terminal 1 receives an utterance “teach how to make beef bowl” from the user. Next, the user processing unit 12 recognizes the voice input by the user and acquires user utterance information “Teach me how to make beef bowl”. Next, the user transmission unit 13 transmits the user utterance information to the dialog control device 2.
次に、対話制御装置２の受信部２２は、ユーザ発話情報「牛丼の作り方を教えて」をユーザ端末１から受信する。 Next, the receiving unit 22 of the dialogue control device 2 receives user utterance information “Teach me how to make beef bowl” from the user terminal 1.
そして、処理部２３は、当該ユーザ発話情報から発話情報「１：牛丼の作り方を教えて」を取得する。発話情報の「１」は発話識別子である。 Then, the processing unit 23 acquires utterance information “1: tell me how to make beef bowl” from the user utterance information. The utterance information “1” is an utterance identifier.
次に、決定部２３１は、発話情報の出力先を対話エンジン３および管理端末４と決定する。なお、本具体例において、発話情報の出力先は、常に、対話エンジン３および管理端末４である、とする。 Next, the determination unit 231 determines the output destination of the utterance information as the dialog engine 3 and the management terminal 4. In this specific example, it is assumed that the output destination of the utterance information is always the dialog engine 3 and the management terminal 4.
次に、発話情報出力部２４１は、発話情報「１：牛丼の作り方を教えて」を、対話エンジン３および管理端末４に送信する。 Next, the utterance information output unit 241 transmits the utterance information “1: tell me how to make beef bowl” to the dialog engine 3 and the management terminal 4.
そして、管理端末４は、発話情報「１：牛丼の作り方を教えて」を受信し、発話情報に含まれる「牛丼の作り方を教えて」を出力する。 Then, the management terminal 4 receives the utterance information “1: tell me how to make beef bowl” and outputs “tell me how to make beef bowl” included in the utterance information.
次に、対話エンジン３の発話受付部３２は、対話制御装置２から発話情報「１：牛丼の作り方を教えて」を受信する。 Next, the utterance reception unit 32 of the dialogue engine 3 receives the utterance information “1: Tell me how to make beef bowl” from the dialogue control device 2.
次に、応答取得部３３は、発話情報が有する「牛丼の作り方を教えて」を形態素解析する。そして、応答取得部３３は、取得した形態素「牛丼」をキーとして、辞書を検索し、「牛丼」は｛ｆｏｏｄ｝に含まれることを検出する。次に、応答取得部３３は、「牛丼の作り方を教えて」が図８の学習情報管理表の「ＩＤ＝４」の発話情報に合致することを検出する。そして、応答取得部３３は、「ＩＤ＝４」の自動応答情報を取得し、当該自動応答情報を実行し、図９のＦｏｏｄｔａｂｌｅから料理「牛丼」に対応する作り方「４人前の材料をご紹介します。・・・」を取得する。そして、応答出力部３４は、応答取得部３３が取得した自動応答情報「１：４人前の材料をご紹介します。・・・」を対話制御装置２に送信する。 Next, the response acquisition unit 33 performs morphological analysis on “Teach me how to make beef bowl” that the utterance information has. Then, the response acquisition unit 33 searches the dictionary by using the acquired morpheme “gyudon” as a key, and detects that “gyudon” is included in {food}. Next, the response acquisition unit 33 detects that “Tell me how to make beef bowl” matches the utterance information of “ID = 4” in the learning information management table of FIG. Then, the response acquisition unit 33 acquires the automatic response information of “ID = 4”, executes the automatic response information, and from the Foodtable shown in FIG. I will introduce ... ". Then, the response output unit 34 transmits the automatic response information “1: 4 for the material introduced by the response acquisition unit 33...” To the dialogue control device 2.
次に、対話制御装置２の受付部２５は、当該自動応答情報を受け付ける。そして、処理部２３は、当該答情報から、自動情報「４人前の材料をご紹介します。・・・」を取得する。なお、ここでは、自動応答情報と自動情報が同じでも良い。 Next, the reception unit 25 of the dialog control device 2 receives the automatic response information. And the process part 23 acquires automatic information "I introduce the material for four persons ...." from the said answer information. Here, the automatic response information and the automatic information may be the same.
次に、処理部２３は、自動情報を管理端末４に出力する、と判断する。そして、自動情報出力部２４２は、自動情報「４人前の材料をご紹介します。・・・」を管理端末４に出力する。 Next, the processing unit 23 determines to output automatic information to the management terminal 4. Then, the automatic information output unit 242 outputs automatic information “Introducing the materials for four people....” To the management terminal 4.
次に、決定部２３１は、モード情報「自動モード」から対話エンジン３を採用する、と判断する。そして、応答送信部２６１は、取得された自動情報「４人前の材料をご紹介します。・・・」をユーザ端末１に送信する。 Next, the determination unit 231 determines that the dialog engine 3 is adopted from the mode information “automatic mode”. Then, the response transmission unit 261 transmits the acquired automatic information “Introduce materials for 4 persons....” To the user terminal 1.
次に、ユーザ端末１のユーザ受信部１４は、自動情報「４人前の材料をご紹介します。・・・」を受信する。そして、ユーザ出力部１５は、当該自動情報を出力する。 Next, the user receiving unit 14 of the user terminal 1 receives automatic information “Introducing materials for four people. Then, the user output unit 15 outputs the automatic information.
次に、ユーザは、ユーザ端末１に対して、「粉末うどんスープはどちらのスープがお勧めですか？」と音声入力した、とする。すると、ユーザ端末１のユーザ受付部１１は、当該ユーザの音声入力を受け付ける。次に、ユーザ処理部１２は、ユーザの音声入力に対して音声認識し、ユーザ発話情報「粉末うどんスープはどちらのスープがお勧めですか？」を取得する。次に、ユーザ送信部１３は、当該ユーザ発話情報を対話制御装置２に送信する。 Next, it is assumed that the user inputs a voice to the user terminal 1 “Which do you recommend for powdered udon soup?” Then, the user reception part 11 of the user terminal 1 receives the user's voice input. Next, the user processing unit 12 recognizes the voice input by the user, and acquires user utterance information “Which soup is recommended for powdered udon soup?”. Next, the user transmission unit 13 transmits the user utterance information to the dialogue control device 2.
次に、対話制御装置２の受信部２２は、当該ユーザ発話情報をユーザ端末１から受信する。 Next, the receiving unit 22 of the dialog control device 2 receives the user utterance information from the user terminal 1.
そして、処理部２３は、当該ユーザ発話情報から発話情報「２：粉末うどんスープはどちらのスープがお勧めですか？」を取得する。 Then, the processing unit 23 acquires utterance information “2: Which soup is recommended for powdered udon soup” from the user utterance information.
次に、決定部２３１は、発話情報の出力先を対話エンジン３および管理端末４と決定する。そして、発話情報出力部２４１は、発話情報「２：粉末うどんスープはどちらのスープがお勧めですか？」を、対話エンジン３および管理端末４に送信する。 Next, the determination unit 231 determines the output destination of the utterance information as the dialog engine 3 and the management terminal 4. Then, the utterance information output unit 241 transmits the utterance information “2: Which soup is recommended for powdered udon soup?” To the dialog engine 3 and the management terminal 4.
次に、対話エンジン３は、当該発話情報を受信し、当該発話情報に対応する自動応答情報を取得し、対話制御装置２に送信する。なお、ここでの自動応答情報は、例えば、「理解できない」旨の情報を含む、とする。 Next, the dialog engine 3 receives the utterance information, acquires automatic response information corresponding to the utterance information, and transmits it to the dialog control device 2. Note that the automatic response information here includes, for example, information indicating that it cannot be understood.
また、管理端末４は、当該発話情報を受信し、発話情報に含まれる「粉末うどんスープはどちらのスープがお勧めですか？」を出力する。 In addition, the management terminal 4 receives the utterance information and outputs “Which do you recommend for powdered udon soup?” Included in the utterance information.
そして、この出力を見た管理者は、対話エンジン３には答えられないと判断し、管理端末４にモード情報の変更指示を入力した、とする。そして、管理者は、「粉末うどんスープはＡ社のスープがお勧めです。」と音声入力した、とする。 Then, it is assumed that the administrator who sees this output determines that the dialog engine 3 cannot answer and inputs a mode information change instruction to the management terminal 4. Then, it is assumed that the administrator inputs a voice saying “Powder udon soup is recommended by Company A soup”.
次に、管理指示受付部４５は、管理者からモードの変更指示（自動モードから手動モードへの変更指示）を受け付ける。そして、管理出力部４６は、かかる変更指示を対話制御装置２に出力する。 Next, the management instruction receiving unit 45 receives a mode change instruction (change instruction from the automatic mode to the manual mode) from the administrator. Then, the management output unit 46 outputs the change instruction to the dialogue control device 2.
また、管理情報受付部４２は、音声データ「粉末うどんスープはＡ社のスープがお勧めです。」を受け付け、当該音声データを音声認識し、テキストに変更する。次に、管理者出力部４４は、テキストの手動応答情報「２：粉末うどんスープはＡ社のスープがお勧めです。」を対話制御装置２に送信する。 In addition, the management information receiving unit 42 receives voice data “powder udon soup is recommended by Company A soup”, recognizes the voice data as voice, and changes it to text. Next, the manager output unit 44 transmits the textual manual response information “2: Powder Udon soup is recommended by Company A soup” to the dialogue control device 2.
次に、対話制御装置２の変更指示受付部２５３は、管理端末４から変更指示を受信する。モード変更部２３３は、モード格納部２１１のモード情報を、手動モードに変更する。 Next, the change instruction receiving unit 253 of the dialog control device 2 receives the change instruction from the management terminal 4. The mode change unit 233 changes the mode information in the mode storage unit 211 to the manual mode.
また、手動応答受付部２５２は、管理端末４から手動応答情報を受信する。処理部２３は、受信された自動応答情報および手動応答情報から、自動情報および手動情報を取得する。 Further, the manual response receiving unit 252 receives manual response information from the management terminal 4. The processing unit 23 acquires automatic information and manual information from the received automatic response information and manual response information.
次に、決定部２３１は、モード情報「手動モード」から管理端末４を採用する、と決定する。 Next, the determination unit 231 determines to employ the management terminal 4 from the mode information “manual mode”.
そして、応答送信部２６１は、取得された手動情報「粉末うどんスープはＡ社のスープがお勧めです。」をユーザ端末１に送信する。 Then, the response transmission unit 261 transmits the acquired manual information “Powder udon soup is recommended for company A soup” to the user terminal 1.
次に、ユーザ端末１は、手動情報「粉末うどんスープはＡ社のスープがお勧めです。」を受信し、出力する。 Next, the user terminal 1 receives and outputs manual information “powder udon soup is recommended by company A soup”.
以上の処理により、管理者が適切に対話に介在し、効果的で継続的な対話を行える。なお、本具体例において、管理者が「自動モード」にモード情報を変更する指示を入力した後、「自動モード」で対話を行うことができる。 Through the above processing, the administrator can appropriately intervene in the dialogue and perform an effective and continuous dialogue. In this specific example, after the administrator inputs an instruction to change the mode information to the “automatic mode”, the dialogue can be performed in the “automatic mode”.
（具体例３）
具体例２において、対話制御装置２の手動応答受付部２５２が管理端末４から手動応答情報「２：粉末うどんスープはＡ社のスープがお勧めです。」を受信した後、処理部２３は、手動応答情報を対話エンジン３に送信する、と判断する。(Specific example 3)
In the specific example 2, after the manual response receiving unit 252 of the dialogue control device 2 receives the manual response information “2: Powder Udon soup is recommended from Company A” from the management terminal 4, the processing unit 23 It is determined that manual response information is transmitted to the dialog engine 3.
そして、手動情報出力部２４３は、かかる手動応答情報を対話エンジン３に送信する。なお、ここで、手動情報出力部２４３は、手動情報を対話エンジン３に送信しても良い。 Then, the manual information output unit 243 transmits such manual response information to the dialog engine 3. Here, the manual information output unit 243 may transmit manual information to the dialog engine 3.
次に、対話エンジン３の学習受付部３５は、手動応答情報「２：粉末うどんスープはＡ社のスープがお勧めです。」を受信する。 Next, the learning reception unit 35 of the dialog engine 3 receives the manual response information “2: A soup from company A is recommended for powdered udon soup”.
次に、学習部３６は、学習受付部３５が受け付けた手動応答情報を用いて、学習情報に、追記する情報を構成する。つまり、学習部３６は、手動応答情報「２：粉末うどんスープはＡ社のスープがお勧めです。」が有する発話識別子「２」に対応する発話情報を取得する。そして、発話識別子「２」に対応する発話情報の内容「粉末うどんスープはどちらのスープがお勧めですか？」と手動応答情報の内容「粉末うどんスープはＡ社のスープがお勧めです。」との組を、図８の学習情報管理表に追記する。 Next, the learning unit 36 configures information to be added to the learning information using the manual response information received by the learning receiving unit 35. That is, the learning unit 36 acquires the utterance information corresponding to the utterance identifier “2” included in the manual response information “2: The soup of company A is recommended for the powdered udon soup”. And the content of the utterance information corresponding to the utterance identifier “2” “Which is the best soup for powdered udon soup?” And the content of the manual response information “The soup of company A is recommended for powdered udon soup. Are added to the learning information management table of FIG.
なお、学習部３６は、発話情報の内容「粉末うどんスープはどちらのスープがお勧めですか？」のうち、名詞または名詞句「粉末うどんスープ」「スープ」を変数に置き換え、「｛変数１｝はどちらの{変数２}がお勧めですか？」というパターンに変更し、「粉末うどんスープはＡ社のスープがお勧めです。」のうち、名詞または名詞句「粉末うどんスープ」「Ａ社」「スープ」を変数に置き換え、「｛変数３｝は{変数４}の｛変数５｝がお勧めです。」というパターンに変更し、２つのパターンの組を、図８の学習情報管理表に追記するなどしても良い。 The learning unit 36 replaces the noun or the noun phrases “powder udon soup” and “soup” in the content of the utterance information “Which do you recommend for powdered udon soup?” } Is changed to the pattern of which {Variable 2} is recommended?] The noun or noun phrase "powder udon soup" "A" “Soup” is replaced with a variable, and “{Variable 3} is {Variable 4} is recommended {Variable 5} is recommended.” It may be added to the table.
つまり、本具体例において、管理者からの入力である手動応答情報を用いて、学習情報をよくすれば良く、学習情報の構造は問わない。
（具体例４）
具体例１と同様に、対話制御装置２を経由して、ユーザ端末１と対話エンジン３との間で対話が進行している状況が続きた後、判断部２３２は、ユーザ発話情報または自動応答情報が、図７に示す条件のいずれかを満たしたと判断した、とする。
次に、モード変更部２３３は、モード格納部２１１のモード情報「自動モード」から「手動モード」に変更する。
次に、処理部２３は、手動モードへの変更である、と判断する。そして、出力部２４は、手動モードへのモード変更指示を管理端末４とユーザ端末１とに送信する。
次に、管理端末４の管理情報受付部４２は、手動モードへのモード変更指示を受信する。
そして、管理端末４の管理処理部４３は、ビデオ会議機能を起動する。そして、管理情報受付部４２は、管理者のビデオ映像と管理者が発した音声データとを有する手動応答情報を受け付ける。
そして、管理処理部４３は、送信する手動応答情報を取得する。
次に、管理者出力部４４は、手動応答情報を対話制御装置２に送信する。
また、ユーザ端末１のユーザ受信部１４は、手動モードへのモード変更指示を受信する。
そして、ユーザ端末１のユーザ処理部１２は、ビデオ会議機能を起動する。そして、ユーザ受付部１１は、ユーザのビデオ映像と、ユーザが発した音声データとを受け付ける。
次に、ユーザ処理部１２は、ユーザ受付部１１が受け付けたビデオ映像と音声データとからユーザ発話情報を取得する。
次に、ユーザ送信部１３は、ユーザ処理部１２が取得したユーザ発話情報を対話制御装置２に送信する。
そして、管理端末４の管理者とユーザ端末１のユーザとは、対話制御装置２を経由したビデオ映像を見ながら、対話を行える。つまり、管理端末４の管理者とユーザ端末１のユーザとは、ビデオ会議を行うことができる。
また、ビデオ会議により、ユーザと管理者とが対話した内容が、対話制御装置２により対話エンジン３に送信されても良い。そして、対話エンジン３の学習受付部３５は、ユーザと管理者との対話の内容を受信する。なお、対話の内容とは、通常、ユーザが発した発話情報と管理者が発した手動応答情報とを有する。
次に、学習部３６は、学習受付部３５が受信したユーザが発した発話情報と管理者が発した手動応答情報とを用いて、学習情報に、追記する情報を構成する。そして、学習部３６は、構成した情報を学習情報管理表（例えば、図８）に追記する。
（具体例５）
今、対話制御装置２の格納部２１は、図１７に示す管理端末管理表を保持している、とする。管理端末管理表は、「ＩＤ」「話題情報」「管理端末識別子」「ＩＰアドレス」を有するレコードを複数格納している。「ＩＤ」は、レコードを識別する情報である。「話題情報」は、話題を特定する１以上の用語を有する。「管理端末識別子」は、管理端末４を識別する情報である。「ＩＰアドレス」は、管理端末４と通信するためのＩＰアドレスアドレスである。
かかえる状況において、具体例１と同様に、対話制御装置２を経由して、ユーザ端末１と対話エンジン３との間で対話が進行している状況が続きた後、判断部２３２は、ユーザ発話情報または自動応答情報が、図７に示す条件のいずれかを満たしたと判断した、とする。
次に、モード変更部２３３は、モード格納部２１１のモード情報「自動モード」から「手動モード」に変更する。
次に、処理部２３は、手動モードへの変更である、と判断する。そして、決定部２３１は、以下のように３つの管理端末４のうちの一の管理端末４を決定する。
つまり、決定部２３１は、本ユーザと対話エンジン３との今までの対話の内容の文の情報を取得する。そして、決定部２３１は、例えば、対話の内容の文からベクトルを構成する。なお、このベクトルは、例えば、Wrod2Vecを用いて構成される。次に、決定部２３１は、深層学習やＳＶＭ等の機械学習の技術を用いて、当該ベクトルから話題を示す情報（ここでは、例えば、「ホテル」）を取得する。次に、決定部２３１は、当該話題を示す情報「ホテル」を含む「ＩＤ＝１」のレコードのＩＰアドレスを「１２３．２０５．０７０．０１８」を図１７の管理端末管理表から取得する。
次に、出力部２４は、「１２３．２０５．０７０．０１８」に対応する管理端末Ａに、手動モードへのモード変更指示を送信する。また、出力部２４は、モード変更指示をユーザ端末１にも送信する。
そして、具体例４で説明したように、ユーザ端末１と管理端末４とはビデオ会議を行える状況になり、ユーザと管理者とは、ビデオ会議機能を介して、対話を行う。That is, in this specific example, it is only necessary to improve the learning information by using the manual response information that is input from the administrator, and the structure of the learning information does not matter.
(Specific example 4)
As in the first specific example, after the situation where the dialogue between the user terminal 1 and the dialogue engine 3 continues via the dialogue control device 2, the determination unit 232 determines whether the user utterance information or the automatic response It is assumed that the information is determined to satisfy any of the conditions shown in FIG.
Next, the mode change unit 233 changes the mode information “automatic mode” in the mode storage unit 211 from “manual mode”.
Next, the processing unit 23 determines that the change is to the manual mode. Then, the output unit 24 transmits a mode change instruction to the manual mode to the management terminal 4 and the user terminal 1.
Next, the management information receiving unit 42 of the management terminal 4 receives the mode change instruction to the manual mode.
Then, the management processing unit 43 of the management terminal 4 activates the video conference function. Then, the management information receiving unit 42 receives manual response information having a video image of the manager and audio data issued by the manager.
And the management process part 43 acquires the manual response information to transmit.
Next, the manager output unit 44 transmits manual response information to the dialogue control device 2.
In addition, the user reception unit 14 of the user terminal 1 receives a mode change instruction to the manual mode.
Then, the user processing unit 12 of the user terminal 1 activates the video conference function. And the user reception part 11 receives a user's video image | video and the audio | voice data which the user emitted.
Next, the user processing unit 12 acquires user utterance information from the video image and audio data received by the user receiving unit 11.
Next, the user transmission unit 13 transmits the user utterance information acquired by the user processing unit 12 to the dialogue control device 2.
Then, the administrator of the management terminal 4 and the user of the user terminal 1 can interact while watching the video image via the interaction control device 2. That is, the administrator of the management terminal 4 and the user of the user terminal 1 can hold a video conference.
In addition, the content of the dialogue between the user and the administrator through the video conference may be transmitted to the dialogue engine 3 by the dialogue control device 2. And the learning reception part 35 of the dialogue engine 3 receives the content of the dialogue between the user and the administrator. Note that the content of the dialogue usually includes utterance information uttered by the user and manual response information uttered by the administrator.
Next, the learning unit 36 configures information to be added to the learning information using the utterance information uttered by the user received by the learning receiving unit 35 and the manual response information uttered by the administrator. Then, the learning unit 36 adds the configured information to the learning information management table (for example, FIG. 8).
(Specific example 5)
Now, it is assumed that the storage unit 21 of the dialogue control apparatus 2 holds the management terminal management table shown in FIG. The management terminal management table stores a plurality of records having “ID”, “topic information”, “management terminal identifier”, and “IP address”. “ID” is information for identifying a record. “Topic information” has one or more terms that identify a topic. “Management terminal identifier” is information for identifying the management terminal 4. The “IP address” is an IP address address for communicating with the management terminal 4.
In such a situation, as in the first specific example, after the situation in which the dialogue between the user terminal 1 and the dialogue engine 3 continues via the dialogue control device 2, the determination unit 232 determines the user utterance. Assume that it is determined that the information or the automatic response information satisfies any of the conditions shown in FIG.
Next, the mode change unit 233 changes the mode information “automatic mode” in the mode storage unit 211 from “manual mode”.
Next, the processing unit 23 determines that the change is to the manual mode. Then, the determination unit 231 determines one management terminal 4 among the three management terminals 4 as follows.
That is, the determination unit 231 acquires sentence information of the contents of the conversation between the user and the dialog engine 3 so far. And the determination part 231 comprises a vector from the sentence of the content of a dialog, for example. This vector is configured using, for example, Wrod2Vec. Next, the determination unit 231 acquires information (here, “hotel”, for example) indicating a topic from the vector, using a machine learning technique such as deep learning or SVM. Next, the determination unit 231 acquires “123.205.070.018” as the IP address of the record of “ID = 1” including the information “Hotel” indicating the topic from the management terminal management table of FIG.
Next, the output unit 24 transmits a mode change instruction to the manual mode to the management terminal A corresponding to “123.205.070.018”. The output unit 24 also transmits a mode change instruction to the user terminal 1.
Then, as described in the specific example 4, the user terminal 1 and the management terminal 4 are in a state where a video conference can be performed, and the user and the administrator perform a dialogue through the video conference function.
以上、本実施の形態によれば、対話エンジン３からの応答と管理者からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できる。 As described above, according to the present embodiment, an appropriate dialogue can be continued by properly using the response from the dialogue engine 3 and the response from the administrator and outputting them to the user terminal.
また、本実施の形態によれば、管理者からの応答を学習できる対話エンジン３を提供できる。 Moreover, according to this Embodiment, the dialog engine 3 which can learn the response from an administrator can be provided.
また、本実施の形態によれば、例えば、対話が破綻した等の場合に、対話を支援できる管理端末４を提供できる。
また、本実施の形態によれば、例えば、対話が破綻した等の場合に、ビデオ会議や電話による通話に切り替えることができ、対話エンジン３との対話が難しい等の場合でも、ユーザの対話が継続できる。Further, according to the present embodiment, it is possible to provide the management terminal 4 that can support the dialogue when the dialogue is broken, for example.
In addition, according to the present embodiment, for example, when the dialogue is broken, it is possible to switch to a video conference or a telephone call, and even when the dialogue with the dialogue engine 3 is difficult, the user's dialogue can be performed. Can continue.
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における対話制御装置２を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、ユーザが入力した対話であるユーザ対話情報をユーザ端末から受信する受信部と、前記ユーザ対話情報に対応する情報である対話情報を対話エンジンに出力するか、管理端末に出力するかを決定する決定部と、前記決定部の決定に従って、前記対話情報を対話エンジンまたは管理端末に出力する対話情報出力部と、前記対話情報の前記対話エンジンへの出力に応じて、前記対話エンジンからの応答である自動応答情報を受け付ける自動応答受付部と、前記対話情報の前記管理端末への出力に応じて、前記管理端末からの応答である手動応答情報を受け付ける手動応答受付部と、前記自動応答情報に対応する情報である自動情報または前記手動応答情報に対応する情報である手動情報を前記ユーザ端末に送信する応答送信部として機能させるためのプログラムである。 Note that the processing in the present embodiment may be realized by software. Then, this software may be distributed by software download or the like. Further, this software may be recorded and distributed on a recording medium such as a CD-ROM. This also applies to other embodiments in this specification. Note that the software that implements the dialogue control apparatus 2 in the present embodiment is the following program. In other words, this program outputs, to the reception engine that receives user interaction information, which is a dialogue input by the user, from the user terminal, and dialogue information, which is information corresponding to the user interaction information, to the dialogue engine. A determination unit that determines whether to output to the terminal, a dialog information output unit that outputs the dialog information to a dialog engine or a management terminal according to the determination of the determination unit, and an output of the dialog information to the dialog engine An automatic response reception unit that receives automatic response information that is a response from the dialog engine, and a manual response reception that receives manual response information that is a response from the management terminal according to the output of the dialog information to the management terminal And manual information that is information corresponding to the manual response information or automatic information that is information corresponding to the automatic response information Is a program for functioning as a response transmitting unit that transmits to the end.
また、上記プログラムにおいて、コンピュータがアクセス可能な記録媒体は、前記対話情報を対話エンジンに出力する自動モード、または前記対話情報を前記管理端末に出力する手動モードのいずれかを、少なくとも採り得るモード情報が格納されるモード格納部を具備し、コンピュータを、モード情報を変更するための予め決められた条件を満たすか否かを判断する判断部と、前記判断部が予め決められた条件を満たすと判断した場合に、前記モード情報を変更するモード変更部としてさらに機能させ、前記決定部は、前記モード格納部のモード情報を取得するものとして、コンピュータを機能させるプログラムであることは好適である。 In the above program, the computer-accessible recording medium may be at least mode information that can take at least one of an automatic mode for outputting the dialog information to a dialog engine and a manual mode for outputting the dialog information to the management terminal. And a determination unit for determining whether or not the computer satisfies a predetermined condition for changing the mode information, and the determination unit satisfies the predetermined condition When it is determined, it is preferable that the program further functions as a mode change unit that changes the mode information, and the determination unit is a program that causes a computer to function as acquiring mode information in the mode storage unit.
また、上記プログラムにおいて、前記判断部は、自動モードから手動モードに自動変更するための条件を満たしたか否かを判断し、前記モード変更部は、前記判断部が予め決められた条件を満たすと判断した場合に、前記モード情報を自動モードから手動モードに変更するものとして、コンピュータを機能させるプログラムであることは好適である。 In the program, the determination unit determines whether a condition for automatically changing from the automatic mode to the manual mode is satisfied, and the mode change unit satisfies the predetermined condition. When it is determined, the program is preferably a program that causes a computer to function as changing the mode information from the automatic mode to the manual mode.
また、上記プログラムにおいて、前記判断部は、手動モードから自動モードに自動変更するための条件を満たしたか否かを判断し、前記モード変更部は、前記判断部が予め決められた条件を満たすと判断した場合に、前記モード情報を手動モードから自動モードに自動変更するものとして、コンピュータを機能させるプログラムであることは好適である。 Further, in the above program, the determination unit determines whether or not a condition for automatically changing from manual mode to automatic mode is satisfied, and the mode change unit determines that the determination unit satisfies a predetermined condition. It is preferable that the program causes the computer to function as the mode information is automatically changed from the manual mode to the automatic mode when it is determined.
また、上記プログラムにおいて、コンピュータにアクセス可能な記録媒体は、前記対話情報を対話エンジンに出力する自動モード、または前記対話情報を前記管理端末に出力する手動モードのいずれかを採り得るモード情報が格納されるモード格納部を具備し、コンピュータを、管理端末からモードの変更の指示である変更指示を受け付ける変更指示受付部と、前記変更指示に応じて、前記モード格納部のモード情報を変更するモード変更部としてさらに機能させ、前記決定部は、前記モード格納部のモード情報に従って、前記受信部が受信したユーザ対話情報に関する対話情報を対話エンジンに出力するか、管理端末に出力するかを決定するものとして、コンピュータを機能させるプログラムであることは好適である。 In the above program, the computer-accessible recording medium stores mode information that can take either an automatic mode for outputting the dialog information to a dialog engine or a manual mode for outputting the dialog information to the management terminal. And a mode for changing mode information of the mode storage unit in response to the change instruction, and a change instruction receiving unit for receiving a change instruction as a mode change instruction from the management terminal. Further functioning as a changing unit, the determining unit determines whether to output the dialog information related to the user dialog information received by the receiving unit to the dialog engine or the management terminal according to the mode information of the mode storage unit. As a thing, it is suitable that it is a program which functions a computer.
また、上記プログラムにおいて、コンピュータを、前記自動情報を前記管理端末に出力する自動情報出力部としてさらに機能させるプログラムであることは好適である。 In the above program, it is preferable that the computer further function as an automatic information output unit that outputs the automatic information to the management terminal.
また、上記プログラムにおいて、コンピュータを、前記手動情報を前記対話エンジンに出力する手動情報出力部としてさらに機能させるプログラムであることは好適である。 In the above program, it is preferable that the program further causes the computer to function as a manual information output unit that outputs the manual information to the dialog engine.
また、本実施の形態における対話エンジン３を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、対話制御装置から発話情報を受け付ける発話受付部と、前記発話受付部が受け付けた発話情報に対応する応答である自動応答情報を、前記学習情報を用いて取得する応答取得部と、前記応答取得部が取得した自動応答情報を前記対話制御装置に出力する応答出力部と、前記管理端末からの応答である手動応答情報を受け付ける学習受付部と、前記学習受付部が受け付けた手動応答情報を用いて、前記学習情報に情報を付加する学習部として機能させるプログラムである。 Moreover, the software which implement | achieves the dialog engine 3 in this Embodiment is the following programs. That is, this program acquires, using the learning information, the computer, an utterance receiving unit that receives utterance information from the dialogue control device, and automatic response information that is a response corresponding to the utterance information received by the utterance receiving unit. A response acquisition unit; a response output unit that outputs the automatic response information acquired by the response acquisition unit to the dialog control device; a learning reception unit that receives manual response information that is a response from the management terminal; and the learning reception unit Is a program that functions as a learning unit that adds information to the learning information using the manual response information received by the user.
また、本実施の形態における管理端末４を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、対話制御装置から発話情報を受け付ける管理情報受付部と、前記発話情報、または前記発話情報から出力用に構成された発話情報を出力する管理者出力部と、前記発話情報の出力に応じて、手動応答情報を受け付ける管理情報受付部と、前記手動応答情報を対話制御装置に出力する管理者出力部として機能させるプログラムである。
また、本実施の形態における管理端末４を実現するソフトウェアは、以下のようなプログラムでも良い。つまり、このプログラムは、コンピュータを、請求項７記載の対話制御装置からモード変更指示を受け付け、かつ請求項７記載の対話制御装置から映像および音声データを有する発話情報を受け付ける管理情報受付部と、前記モード変更指示に応じて、ビデオ会議機能を起動する管理処理部と、前記発話情報、または前記発話情報から出力用に構成された発話情報を出力する管理者出力部と、映像および音声データを有する手動応答情報を受け付ける管理情報受付部と、前記手動応答情報を対話制御装置に出力する管理者出力部として機能させるためのプログラムである。Moreover, the software which implement | achieves the management terminal 4 in this Embodiment is the following programs. That is, the program includes a computer, a management information receiving unit that receives utterance information from a dialog control device, an administrator output unit that outputs the utterance information, or utterance information configured for output from the utterance information, and This is a program that functions as a management information receiving unit that receives manual response information and an administrator output unit that outputs the manual response information to the dialog control device in response to the output of utterance information.
Further, the software that realizes the management terminal 4 in the present embodiment may be a program as described below. That is, the program includes a management information receiving unit that receives a mode change instruction from the dialog control device according to claim 7 and receives utterance information having video and audio data from the dialog control device according to claim 7; In response to the mode change instruction, a management processing unit that activates a video conference function, an administrator output unit that outputs the utterance information, or utterance information configured for output from the utterance information, and video and audio data It is a program for functioning as a management information receiving unit that receives manual response information, and an administrator output unit that outputs the manual response information to the dialog control device.
（実施の形態２）
本実施の形態において、スタンドアロンの対話装置５について説明する。ここでは、対話装置５は、通常、対話エンジン３を有する。また、対話装置５は、例えば、対話システムＡのユーザ端末１、対話制御装置２、対話エンジン３を有する。ただし、ここでの対話装置５は、管理端末４は含まず、管理端末４と通信を行う。(Embodiment 2)
In the present embodiment, a stand-alone interactive device 5 will be described. Here, the dialogue apparatus 5 usually has a dialogue engine 3. In addition, the dialogue device 5 includes, for example, the user terminal 1 of the dialogue system A, the dialogue control device 2, and the dialogue engine 3. However, the dialogue apparatus 5 here does not include the management terminal 4 and communicates with the management terminal 4.
図１３は、本実施の形態における対話装置５のブロック図である。 FIG. 13 is a block diagram of dialogue apparatus 5 in the present embodiment.
対話装置５は、格納部５０、受付部５１、発話情報出力部５２、自動応答受付部５３、手動応答受付部５４、応答出力部５５、対話エンジン３を備える。 The dialogue apparatus 5 includes a storage unit 50, a reception unit 51, an utterance information output unit 52, an automatic response reception unit 53, a manual response reception unit 54, a response output unit 55, and the dialogue engine 3.
格納部５０は、各種の情報が格納される。各種の情報とは、例えば、モード情報、自動情報を画面に出力するか否かを示すフラグ等である。 The storage unit 50 stores various types of information. The various information is, for example, a flag indicating whether or not to output mode information and automatic information to the screen.
受付部５１は、ユーザが入力した発話に対応するユーザ発話情報を受け付ける。なお、受付部５１は、発話を受け付け、当該発話からユーザ発話情報を構成しても良い。また、ここでの受け付けは、音声データであるユーザ発話情報の受け付けでも良いし、テキストのユーザ発話情報の受け付けでも良い。ここで、受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。また、ユーザ発話情報は、音声データとユーザを撮影した映像でも良い。 The reception unit 51 receives user utterance information corresponding to the utterance input by the user. The receiving unit 51 may receive an utterance and configure user utterance information from the utterance. The reception here may be reception of user utterance information that is voice data, or may be reception of text user utterance information. Here, reception means reception of information input from an input device such as a keyboard, mouse, touch panel, reception of information transmitted via a wired or wireless communication line, recording on an optical disk, magnetic disk, semiconductor memory, or the like. It is a concept including reception of information read from a medium. Further, the user utterance information may be audio data and a video image of the user.
ユーザ発話情報の入力手段は、キーボードやマウスやメニュー画面によるもの等、何でも良い。受付部５１は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。 The user utterance information input means may be anything such as a keyboard, mouse, or menu screen. The accepting unit 51 can be realized by a device driver for input means such as a numeric keypad and a keyboard, control software for a menu screen, and the like.
発話情報出力部５２は、ユーザ発話情報に関する発話情報を、対話エンジン３または画面のうちの少なくともどちらか一方に出力する。ここでの出力とは、発話情報の引き渡しを行われれば良い。なお、画面への出力とは、管理端末４の画面への出力でも良い。 The utterance information output unit 52 outputs the utterance information related to the user utterance information to at least one of the dialog engine 3 and the screen. For the output here, it is only necessary to deliver the utterance information. The output to the screen may be output to the screen of the management terminal 4.
発話情報出力部５２は、通常、ＭＰＵやメモリ等から実現され得る。発話情報出力部５２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。 The utterance information output unit 52 can usually be realized by an MPU, a memory, or the like. The processing procedure of the utterance information output unit 52 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
自動応答受付部５３は、発話情報の対話エンジン３への出力に応じて、対話エンジン３からの応答である自動応答情報を受け付ける。 The automatic response receiving unit 53 receives automatic response information that is a response from the dialog engine 3 in response to the output of the utterance information to the dialog engine 3.
手動応答受付部５４は、発話情報の画面への出力に応じて、管理者からの応答である手動応答情報を受け付ける。ここでの受け付けは、管理端末４からの受信でも良い。なお、手動応答情報は、管理者の音声データと管理者を撮影した映像でも良い。 The manual response reception unit 54 receives manual response information that is a response from the administrator in response to the output of the utterance information to the screen. The reception here may be reception from the management terminal 4. The manual response information may be an administrator's voice data and a video image of the administrator.
手動応答情報の入力手段は、キーボードやマウスやメニュー画面によるもの音声入力等、何でも良い。手動応答受付部５４は、例えば、無線または有線のネットワークの受信手段等で実現され得る。 The manual response information input means may be anything such as voice input through a keyboard, mouse or menu screen. The manual response reception unit 54 can be realized by, for example, a wireless or wired network reception unit.
応答出力部５５は、自動応答情報に関する自動情報または手動応答情報に関する手動情報を出力する。ここでの出力は、ユーザに対する出力であり、例えば、音声出力、またはディスプレイへの表示である。 The response output unit 55 outputs automatic information related to automatic response information or manual information related to manual response information. The output here is an output to the user, for example, an audio output or a display on a display.
応答出力部５５は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。応答出力部５５は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。 The response output unit 55 may or may not include an output device such as a display or a speaker. The response output unit 55 can be realized by output device driver software, or output device driver software and an output device.
次に、対話装置５の動作について、図１４のフローチャートを用いて説明する。図１４のフローチャートにおいて、図４のフローチャートと同一のステップについて、説明を省略する。 Next, the operation of the dialogue apparatus 5 will be described using the flowchart of FIG. In the flowchart of FIG. 14, the description of the same steps as those in the flowchart of FIG. 4 is omitted.
（ステップＳ１４０１）受付部５１は、ユーザ発話情報を受け付けたか否かを判断する。ユーザ発話情報を受け付けた場合はステップＳ１４０２に行き、受け付けない場合はステップＳ４１９に行く。 (Step S1401) The reception unit 51 determines whether user utterance information has been received. If user utterance information is accepted, the procedure goes to step S1402, and if not accepted, the procedure goes to step S419.
（ステップＳ１４０２）自動応答受付部５３は、対話エンジン３を動作させるか否かを判断する。対話エンジン３を動作させる場合はステップＳ１４０３に行き、対話エンジン３を動作させない場合はステップＳ１４０４に行く。なお、自動応答受付部５３は、例えば、格納部５０のモード情報が自動モードである場合、対話エンジン３を動作させると判断する。 (Step S1402) The automatic response reception unit 53 determines whether or not to operate the dialog engine 3. If the dialog engine 3 is to be operated, the process goes to step S1403. If the dialog engine 3 is not to be operated, the process goes to step S1404. For example, when the mode information in the storage unit 50 is the automatic mode, the automatic response reception unit 53 determines to operate the dialog engine 3.
（ステップＳ１４０３）自動応答受付部５３は、対話エンジン３の出力である自動応答情報を取得する。 (Step S1403) The automatic response reception unit 53 acquires automatic response information that is an output of the dialog engine 3.
（ステップＳ１４０４）手動応答受付部５４は、管理者の入力に対応する手動応答情報を取得する。なお、例えば、モード情報が手動モードである場合、手動応答受付部５４は、手動応答情報を取得できるまでウェイトする。 (Step S1404) The manual response reception unit 54 acquires manual response information corresponding to the input from the administrator. For example, when the mode information is the manual mode, the manual response receiving unit 54 waits until the manual response information can be acquired.
（ステップＳ１４０５）応答出力部５５は、自動情報を画面に出力するか否かを判断する。画面に出力する場合はステップＳ１４０６に行き、出力しない場合はステップＳ４０９に行く。なお、例えば、自動情報を画面に出力するか否かを示すフラグが格納部５０で管理されており、処理部２３は、かかるフラグを格納部５０から読み出し、判断する。また、応答出力部５５は、常に、自動情報を画面に出力しても良いし、常に、自動情報を画面に出力しなくても良い。また、本ステップの処理は、応答出力部５５が行ったが、図示しない判断手段が行っても良い。 (Step S1405) The response output unit 55 determines whether or not to output automatic information on the screen. When outputting to the screen, go to step S1406, and when not outputting, go to step S409. For example, a flag indicating whether or not automatic information is output on the screen is managed by the storage unit 50, and the processing unit 23 reads the flag from the storage unit 50 and makes a determination. Further, the response output unit 55 may always output automatic information to the screen, or may not always output automatic information to the screen. The processing of this step is performed by the response output unit 55, but may be performed by a determination unit (not shown).
（ステップＳ１４０６）応答出力部５５は、自動情報を画面に出力する。 (Step S1406) The response output unit 55 outputs automatic information to the screen.
（ステップＳ１４０７）応答出力部５５は、ユーザに出力する情報を取得する。かかる情報は、自動情報または手動情報である。また、応答出力部５５は、例えば、モード情報が自動モードの場合は自動情報を取得し、手動モードの場合は手動情報を取得する。 (Step S1407) The response output unit 55 acquires information to be output to the user. Such information is automatic information or manual information. In addition, for example, the response output unit 55 acquires automatic information when the mode information is in the automatic mode, and acquires manual information when the mode information is in the manual mode.
（ステップＳ１４０８）応答出力部５５は、ステップＳ１４０７で取得した情報を出力する。 (Step S1408) The response output unit 55 outputs the information acquired in step S1407.
（ステップＳ１４０９）出力部２４は、最新の発話情報を画面に出力する。ステップＳ１４０２に戻る。 (Step S1409) The output unit 24 outputs the latest utterance information on the screen. The process returns to step S1402.
なお、図１４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。 In the flowchart of FIG. 14, the process is terminated by powering off or a process termination interrupt.
以上、本実施の形態によれば、対話エンジン３からの応答と管理者からの応答とを使い分けて、ユーザに対して出力することにより、適切な対話を継続できる。 As described above, according to the present embodiment, an appropriate dialogue can be continued by properly using the response from the dialogue engine 3 and the response from the administrator and outputting them to the user.
なお、本実施の形態における対話装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、ユーザが入力した発話に対応するユーザ発話情報を受け付ける受付部と、前記ユーザ発話情報に関する発話情報を、対話エンジンまたは画面のうちの少なくともどちらか一方に出力する発話情報出力部と、前記発話情報の前記対話エンジンへの出力に応じて、前記対話エンジンからの応答である自動応答情報を受け付ける自動応答受付部と、前記発話情報の前記画面への出力に応じて、管理者からの応答である手動応答情報を受け付ける手動応答受付部と、前記自動応答情報に関する自動情報または前記手動応答情報に関する手動情報を出力する応答出力部として機能させるためのプログラムである。 Note that the software that realizes the interactive apparatus in the present embodiment is the following program. That is, this program causes the computer to receive user utterance information corresponding to the utterance input by the user, and to output utterance information related to the user utterance information to at least one of the dialog engine and the screen. In response to the output of the utterance information to the dialogue engine, an automatic response reception unit that accepts automatic response information that is a response from the dialogue engine, and according to the output of the utterance information to the screen A program for functioning as a manual response receiving unit that receives manual response information that is a response from an administrator, and a response output unit that outputs automatic information related to the automatic response information or manual information related to the manual response information.
また、本実施の形態において、対話装置５は、管理端末４と通信した。しかし、対話装置５は、ユーザ端末１と通信しても良い。かかる場合、対話装置５は、管理端末４を具備しても良い。 In the present embodiment, the dialogue apparatus 5 communicates with the management terminal 4. However, the dialogue apparatus 5 may communicate with the user terminal 1. In such a case, the dialogue apparatus 5 may include the management terminal 4.
また、図１５は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の対話制御装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１５は、このコンピュータシステム３００の概観図であり、図１６は、システム３００のブロック図である。 FIG. 15 shows the external appearance of a computer that executes the program described in this specification and realizes the dialog control device and the like of the various embodiments described above. The above-described embodiments can be realized by computer hardware and a computer program executed thereon. FIG. 15 is an overview of the computer system 300, and FIG. 16 is a block diagram of the system 300.
図１５において、コンピュータシステム３００は、ＣＤ−ＲＯＭドライブを３０１２含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。 In FIG. 15, a computer system 300 includes a computer 301 including a CD-ROM drive 3012, a keyboard 302, a mouse 303, and a monitor 304.
図１６において、コンピュータ３０１は、ＣＤ−ＲＯＭドライブ３０１２と、ＭＰＵ３０１３と、バス３０１４と、ＲＯＭ３０１５と、ＲＡＭ３０１６と、ハードディスク３０１７とを含む。ＲＯＭ３０１５は、ブートアッププログラム等のプログラムを記憶している。ＲＡＭ３０１６は、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供する。ハードディスク３０１７は、通常、アプリケーションプログラム、システムプログラム、及びデータを記憶している。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。 In FIG. 16, a computer 301 includes a CD-ROM drive 3012, an MPU 3013, a bus 3014, a ROM 3015, a RAM 3016, and a hard disk 3017. The ROM 3015 stores programs such as a bootup program. The RAM 3016 is connected to the MPU 3013 and temporarily stores application program instructions and provides a temporary storage space. The hard disk 3017 normally stores application programs, system programs, and data. Although not shown here, the computer 301 may further include a network card that provides connection to a LAN.
コンピュータシステム３００に、上述した実施の形態の対話制御装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３１０１に記憶されて、ＣＤ−ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。また、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。 A program that causes the computer system 300 to execute the functions of the dialog control device and the like of the above-described embodiment may be stored in the CD-ROM 3101, inserted into the CD-ROM drive 3012, and further transferred to the hard disk 3017. Further, the program may be transmitted to the computer 301 via a network (not shown) and stored in the hard disk 3017. The program is loaded into the RAM 3016 at the time of execution. The program may be loaded directly from the CD-ROM 3101 or the network.
プログラムは、コンピュータ３０１に、上述した実施の形態の対話制御装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切なモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。 The program does not necessarily include an operating system (OS), a third party program, or the like that causes the computer 301 to execute the functions of the dialog control device according to the above-described embodiment. The program need only include the part of the instruction that calls the appropriate module in a controlled manner and achieves the desired result. How the computer system 300 operates is well known and will not be described in detail.
なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。 In the above program, in the step of transmitting information, the step of receiving information, etc., processing performed by hardware, for example, processing performed by a modem or an interface card in the transmission step (only performed by hardware) Processing) is not included.
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。 Further, the computer that executes the program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.
また、上記各実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。 Further, in each of the above embodiments, it goes without saying that two or more communication units existing in one apparatus may be physically realized by one medium.
また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。 In each of the above embodiments, each process may be realized by centralized processing by a single device, or may be realized by distributed processing by a plurality of devices.
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。 The present invention is not limited to the above-described embodiments, and various modifications are possible, and it goes without saying that these are also included in the scope of the present invention.
以上のように、本発明にかかる対話制御装置は、対話エンジンからの応答と管理端末からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できるという効果を有し、対話システムを構成する対話制御装置等として有用である。 As described above, the dialog control device according to the present invention has an effect that an appropriate dialog can be continued by properly using the response from the dialog engine and the response from the management terminal and outputting the response to the user terminal, This is useful as a dialogue control device or the like constituting the dialogue system.
１ ユーザ端末
２ 対話制御装置
３ 対話エンジン
４ 管理端末
５ 対話装置
１１ ユーザ受付部
１２ ユーザ処理部
１３ ユーザ送信部
１４ ユーザ受信部
１５ ユーザ出力部
２１、５０ 格納部
２２ 受信部
２３ 処理部
２４ 出力部
２５、５１ 受付部
２６ 送信部
３２ 発話受付部
３３ 応答取得部
３４、５５ 応答出力部
３５ 学習受付部
３６ 学習部
４１ 管理格納部
４２ 管理情報受付部
４３ 管理処理部
４４ 管理者出力部
４５ 管理指示受付部
４６ 管理出力部
５２、２４１ 発話情報出力部
５３、２５１ 自動応答受付部
５４、２５２ 手動応答受付部
２１１ モード格納部
２３１ 決定部
２３２ 判断部
２３３ モード変更部
２４２ 自動情報出力部
２４３ 手動情報出力部
２５２ 手動情報受付部
２５３ 変更指示受付部
２６１ 応答送信部
３１１ 学習情報格納部DESCRIPTION OF SYMBOLS 1 User terminal 2 Dialogue control device 3 Dialogue engine 4 Management terminal 5 Dialogue device 11 User reception part 12 User processing part 13 User transmission part 14 User reception part 15 User output part 21, 50 Storage part 22 Reception part 23 Processing part 24 Output part 25, 51 reception unit 26 transmission unit 32 utterance reception unit 33 response acquisition unit 34, 55 response output unit 35 learning reception unit 36 learning unit 41 management storage unit 42 management information reception unit 43 management processing unit 44 administrator output unit 45 management instruction Reception unit 46 Management output unit 52, 241 Utterance information output unit 53, 251 Automatic response reception unit 54, 252 Manual response reception unit 211 Mode storage unit 231 Determination unit 232 Judgment unit 233 Mode change unit 242 Automatic information output unit 243 Manual information output Section 252 Manual information reception section 253 Change instruction reception section 261 Response transmission section 3 1 learning information storage unit
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016166187 | 2016-08-26 | ||
| JP2016166187 | 2016-08-26 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021028550ADivisionJP2021081747A (en) | 2016-08-26 | 2021-02-25 | Interaction control device, interaction engine, management terminal, interaction device, and program |
| Publication Number | Publication Date |
|---|---|
| JP2018036623Atrue JP2018036623A (en) | 2018-03-08 |
| JP6899558B2 JP6899558B2 (en) | 2021-07-07 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017059403AActiveJP6899558B2 (en) | 2016-08-26 | 2017-03-24 | Dialogue control device, dialogue engine, management terminal, dialogue device, dialogue control method, and program |
| JP2021028550ACeasedJP2021081747A (en) | 2016-08-26 | 2021-02-25 | Interaction control device, interaction engine, management terminal, interaction device, and program |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021028550ACeasedJP2021081747A (en) | 2016-08-26 | 2021-02-25 | Interaction control device, interaction engine, management terminal, interaction device, and program |
| Country | Link |
|---|---|
| JP (2) | JP6899558B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108877800A (en)* | 2018-08-30 | 2018-11-23 | 出门问问信息科技有限公司 | Voice interactive method, device, electronic equipment and readable storage medium storing program for executing |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002202882A (en)* | 2000-12-28 | 2002-07-19 | Fujitsu Ltd | Voice interaction system and voice interaction method |
| JP2006154724A (en)* | 2004-10-28 | 2006-06-15 | Fujitsu Ltd | Dialog system, dialog method, and computer program |
| JP2012060387A (en)* | 2010-09-08 | 2012-03-22 | Oki Networks Co Ltd | Interactive scenario processor and program |
| JP2015176099A (en)* | 2014-03-18 | 2015-10-05 | 株式会社東芝 | Dialog system construction assist system, method, and program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015094877A (en)* | 2013-11-13 | 2015-05-18 | 日本電気株式会社 | Communication processor, communication processing method, and communication processing program |
| JP6351562B2 (en)* | 2014-11-12 | 2018-07-04 | 株式会社アドバンスト・メディア | Information processing system, reception server, information processing method, and program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002202882A (en)* | 2000-12-28 | 2002-07-19 | Fujitsu Ltd | Voice interaction system and voice interaction method |
| JP2006154724A (en)* | 2004-10-28 | 2006-06-15 | Fujitsu Ltd | Dialog system, dialog method, and computer program |
| JP2012060387A (en)* | 2010-09-08 | 2012-03-22 | Oki Networks Co Ltd | Interactive scenario processor and program |
| JP2015176099A (en)* | 2014-03-18 | 2015-10-05 | 株式会社東芝 | Dialog system construction assist system, method, and program |
| Title |
|---|
| 芝原 優真 他: "単語情報に基づく雑談対話における破綻の検出の検討", 情報処理学会 研究報告 音声言語情報処理（ＳＬＰ） ２０１５−ＳＬＰ−１０６ ［ＯＮＬＩＮＥ］, JPN6020045449, 27 February 2015 (2015-02-27), JP, pages 1 - 7, ISSN: 0004396029* |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108877800A (en)* | 2018-08-30 | 2018-11-23 | 出门问问信息科技有限公司 | Voice interactive method, device, electronic equipment and readable storage medium storing program for executing |
| Publication number | Publication date |
|---|---|
| JP2021081747A (en) | 2021-05-27 |
| JP6899558B2 (en) | 2021-07-07 |
| Publication | Publication Date | Title |
|---|---|---|
| US10917369B2 (en) | Information processing apparatus, information processing system, and information processing method | |
| US11620984B2 (en) | Human-computer interaction method, and electronic device and storage medium thereof | |
| US10964325B2 (en) | Asynchronous virtual assistant | |
| US11509726B2 (en) | Encapsulating and synchronizing state interactions between devices | |
| US20180018144A1 (en) | Leveraging environmental context for enhanced communication throughput | |
| US10741172B2 (en) | Conference system, conference system control method, and program | |
| JP2014517397A (en) | Context-aware input engine | |
| US20150154960A1 (en) | System and associated methodology for selecting meeting users based on speech | |
| CN110299152A (en) | Interactive output control method, device, electronic equipment and storage medium | |
| US20160294892A1 (en) | Storage Medium Storing Program, Server Apparatus, and Method of Controlling Server Apparatus | |
| US9852732B2 (en) | System and method for near real-time identification and definition query | |
| US20180184045A1 (en) | Systems and methods for improved video call handling | |
| US20150121248A1 (en) | System for effectively communicating concepts | |
| JP6849964B2 (en) | Dialogue control device, dialogue engine, management terminal, dialogue device, dialogue control method, dialogue method, and program | |
| US20210358475A1 (en) | Interpretation system, server apparatus, distribution method, and storage medium | |
| JP2021081747A (en) | Interaction control device, interaction engine, management terminal, interaction device, and program | |
| CN115240674A (en) | Wake-up-free voice control method of terminal equipment, terminal equipment and server | |
| CN112631435A (en) | Input method, device, equipment and storage medium | |
| JP6296193B2 (en) | INPUT INFORMATION SUPPORT DEVICE, INPUT INFORMATION SUPPORT METHOD, AND INPUT INFORMATION SUPPORT PROGRAM | |
| JP5907231B1 (en) | INPUT INFORMATION SUPPORT DEVICE, INPUT INFORMATION SUPPORT METHOD, AND INPUT INFORMATION SUPPORT PROGRAM | |
| US20200265194A1 (en) | Information processing device and computer program product | |
| US11830120B2 (en) | Speech image providing method and computing device for performing the same | |
| CN111178086B (en) | Data processing method, device and medium | |
| JP6962849B2 (en) | Conference support device, conference support control method and program | |
| CN114124864B (en) | Message processing method and device |
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention | Free format text:JAPANESE INTERMEDIATE CODE: A80 Effective date:20170424 | |
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20191025 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20200708 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20200714 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20200907 | |
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:20201201 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20210225 | |
| C60 | Trial request (containing other claim documents, opposition documents) | Free format text:JAPANESE INTERMEDIATE CODE: C60 Effective date:20210225 | |
| A911 | Transfer to examiner for re-examination before appeal (zenchi) | Free format text:JAPANESE INTERMEDIATE CODE: A911 Effective date:20210308 | |
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings | Free format text:JAPANESE INTERMEDIATE CODE: C21 Effective date:20210309 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20210506 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20210604 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:6899558 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 |