JP2025060382A - CONTROL DEVICE AND REQUEST PROCESSING SYSTEM COMPRISING THE SAME - Google Patents

Abstract

To provide a control device capable of generating a control signal for causing a processing unit to perform processing corresponding to a request while fundamental information and episode information effective for controlling the processing unit are unavailable, and a request processing system provided with the control device.SOLUTION: In a control device 20 that applies a control signal for processing to be carried out in response to a request to a processing unit 11 so as to exercise control, there are provided an episode storage part 21 for storing episode information formed by combining one or more out of visual information, auditory information, smell information, taste information, and tactile information detected by the processing unit 11 with position information and time information, and a control signal generation part 12 for generating a control signal. The control signal generation part 12 selects whether information used for generation of the control signal is set to one or both of the episode information stored by the episode storage part 21 and general information acquired from a large-scale language model 23.SELECTED DRAWING: Figure 1

Description

Translated fromJapanese

本発明は、要求に応じた処理を行わせるための制御信号を生成して処理ユニットを制御する制御装置及びそれを具備する要求処理システムに関する。The present invention relates to a control device that generates a control signal to control a processing unit to perform processing according to a request, and a request processing system that includes the control device.

ロボットが要求に応じた処理を行うホームサービスロボットシステムは、利用される家庭固有の情報、例えば、利用現場の間取りや物の配置等の情報が、ロボットの制御信号を生成する制御装置に予め登録されている。制御装置に登録されている当該情報を基礎情報として、制御装置が制御信号を生成する際に利用する情報が基礎情報のみの場合、利用可能な基礎情報が登録されていない要求に対しては、利用者による基礎情報の更新等がなされるまで、その要求に対する処理を行うことができない。In a home service robot system in which a robot processes requests, information specific to the home being used, such as the layout of the site of use and the placement of objects, is preregistered in a control device that generates control signals for the robot. If the information registered in the control device is the basic information and the control device uses only the basic information when generating control signals, then requests for which usable basic information is not registered cannot be processed until the basic information is updated by the user.

この点、非特許文献１、２に示されているような海馬モデルをホームサービスロボットシステムに適用すれば、ロボットの利用現場での経験により生じるエピソード情報も制御信号の生成の際に利用することが可能となる。ここで、エピソード情報とは、ロボットが検知した視覚情報、聴覚情報、臭覚情報、味覚情報及び触覚情報のいずれか１つ又は複数に位置情報及び時間情報を組み合わせて構成されるものであり、例えば、先週の火曜日の午後１時にミネラル水のペットボトルが冷蔵庫内にあった等の情報である。In this regard, if the hippocampus model shown in Non-PatentDocuments 1 and 2 is applied to a home service robot system, episode information resulting from the experience of using the robot at the site can also be used when generating control signals. Here, episode information is composed of one or more of visual information, auditory information, olfactory information, taste information, and tactile information detected by the robot, combined with positional information and time information, such as information that a plastic bottle of mineral water was in the refrigerator at 1:00 p.m. last Tuesday.

Akinobu Mizutani, Yuichiro Tanaka, Hakaru Tamukoh, Katsumi Tateno, Osamu Nomura, and Takashi Morie, “Multiple memory accumulation and recall by a hippocampus model reflecting emotional values,” The 11th RIEC International Symposium on Brain Functions and Brain Computer (BFBC 2023), P-18, Sendai, February 17-18 (18), 2023.Akinobu Mizutani, Yuichiro Tanaka, Hakaru Tamukoh, Katsumi Tateno, Osamu Nomura, and Takashi Morie, “Multiple memory accumulation and recall by a hippocampus model reflecting emotional values,” The 11th RIEC International Symposium on Brain Functions and Brain Computer (BFBC 2023), P-18, Sendai, February 17-18 (18), 2023.水谷彰伸、川島一郎、田中悠一朗、田向権、立野勝巳、野村修、森江隆、“海馬モデルによる経験の蓄積と想起に基づくホームサービスロボットの行動生成”、 電子情報通信学会ニューロコンピューティング研究会（NC）、 NC2022-59、 2022年12月3日、大阪、大阪電気通信大学．A. Mizutani, I. Kawashima, Y. Tanaka, K. Tamukai, K. Tatsuno, O. Nomura, T. Morie, "Behavior generation of home service robots based on experience accumulation and recollection using a hippocampal model," Neurocomputing Research Meeting (NC) of the Institute of Electronics, Information and Communication Engineers, NC2022-59, December 3, 2022, Osaka, Osaka Electro-Communication University.

しかしながら、海馬モデルを適用したホームサービスロボットシステムであっても、基礎情報及びエピソード情報に制御信号の生成に有効な情報が存在しない場合、ロボットに要求に応じた処理を行わせることができない。これは、ホームサービスロボットシステムに限定されず、ロボット以外の処理ユニット（例えば、利用者の要求に応じてその利用者に合った内容を表示するモニタ）を有するシステムでも同様であった。However, even in a home service robot system that applies the hippocampus model, if the basic information and episode information do not contain information that is effective for generating a control signal, the robot cannot be made to perform processing according to the request. This is not limited to home service robot systems, but is also true for systems that have processing units other than a robot (for example, a monitor that displays content appropriate to the user in response to the user's request).

本発明は、かかる事情に鑑みてなされたもので、処理ユニットを制御するために有効な基礎情報及びエピソード情報がなくとも処理ユニットに要求に応じた処理を行わせるための制御信号を生成可能な制御装置及びそれを具備する要求処理システムを提供することを目的とする。The present invention has been made in consideration of the above circumstances, and aims to provide a control device and a request processing system equipped with the same that can generate control signals for causing a processing unit to perform processing according to a request even in the absence of basic information and episode information that are effective for controlling the processing unit.

前記目的に沿う第１の発明に係る制御装置は、要求に応じた処理を行わせるための制御信号を処理ユニットに与えて該処理ユニットを制御する制御装置において、前記処理ユニットが検知した視覚情報、聴覚情報、臭覚情報、味覚情報及び触覚情報のいずれか１つ又は複数に位置情報及び時間情報を組み合わせて形成されるエピソード情報を記憶するエピソード記憶部と、前記制御信号を生成する制御信号生成部とを備え、前記制御信号生成部は、前記制御信号の生成に利用する情報を、前記エピソード記憶部が記憶している前記エピソード情報、及び、大規模言語モデルから取得する一般的な情報のいずれにするか、又は、双方とするかを選択する。A control device according to a first invention that meets the above objective controls a processing unit by providing the processing unit with a control signal for causing the processing unit to perform processing in response to a request, and includes an episode memory unit that stores episode information formed by combining positional information and temporal information with one or more of visual information, auditory information, olfactory information, gustatory information, and tactile information detected by the processing unit, and a control signal generation unit that generates the control signal, and the control signal generation unit selects whether the information to be used in generating the control signal is the episode information stored in the episode memory unit or general information obtained from a large-scale language model, or both.

前記目的に沿う第２の発明に係る要求処理システムは、要求に応じた処理を行う処理ユニット及び要求に応じた処理を行わせるための制御信号を生成して前記処理ユニットに与える制御信号生成部を有する要求処理システムにおいて、前記処理ユニットが検知した視覚情報、聴覚情報、臭覚情報、味覚情報及び触覚情報のいずれか１つ又は複数に位置情報及び時間情報を組み合わせて形成されるエピソード情報を記憶するエピソード記憶部を備え、前記制御信号生成部は、前記制御信号の生成に利用する情報を、前記エピソード記憶部が記憶している前記エピソード情報、及び、大規模言語モデルから取得する一般的な情報のいずれにするか、又は、双方とするかを選択する。A request processing system according to a second invention that meets the above objective has a processing unit that performs processing in response to a request and a control signal generation unit that generates a control signal for causing the processing in response to the request and provides the processing unit with the control signal, and further includes an episode memory unit that stores episode information formed by combining positional information and temporal information with one or more of visual information, auditory information, olfactory information, gustatory information, and tactile information detected by the processing unit, and the control signal generation unit selects whether the information to be used in generating the control signal is the episode information stored in the episode memory unit or general information obtained from a large-scale language model, or both.

第１の発明に係る制御装置は、処理ユニットが検知した視覚情報、聴覚情報、臭覚情報、味覚情報及び触覚情報のいずれか１つ又は複数に位置情報及び時間情報を組み合わせて形成されるエピソード情報を記憶するエピソード記憶部と、制御信号を生成する制御信号生成部とを備え、制御信号生成部が、制御信号の生成に利用する情報を、エピソード記憶部が記憶しているエピソード情報、及び、大規模言語モデルから取得する一般的な情報のいずれにするか、又は、双方とするかを選択する。The control device according to the first invention includes an episode memory unit that stores episode information formed by combining one or more of visual information, auditory information, olfactory information, gustatory information, and tactile information detected by a processing unit with positional information and temporal information, and a control signal generation unit that generates a control signal, and the control signal generation unit selects whether the information to be used in generating the control signal is the episode information stored in the episode memory unit or general information obtained from a large-scale language model, or both.

また、第２の発明に係る要求処理システムは、処理ユニットが検知した視覚情報、聴覚情報、臭覚情報、味覚情報及び触覚情報のいずれか１つ又は複数に位置情報及び時間情報を組み合わせて形成されるエピソード情報を記憶するエピソード記憶部を備え、制御信号生成部が、制御信号の生成に利用する情報を、エピソード記憶部が記憶しているエピソード情報、及び、大規模言語モデルから取得する一般的な情報のいずれにするか、又は、双方とするかを選択する。
従って、第１の発明に係る制御装置及び第２の発明に係る要求処理システムは、処理ユニットを制御するために有効な基礎情報及びエピソード情報がなくとも制御信号を生成可能である。In addition, the request processing system of the second invention includes an episode memory unit that stores episode information formed by combining one or more of the visual information, auditory information, olfactory information, gustatory information, and tactile information detected by the processing unit with positional information and temporal information, and the control signal generation unit selects whether the information to be used in generating the control signal is the episode information stored in the episode memory unit or general information obtained from a large-scale language model, or both.
Therefore, the control device according to the first aspect of the invention and the request processing system according to the second aspect of the invention are capable of generating a control signal even without effective basic information and episode information for controlling the processing unit.

本発明の第１の実施の形態に係る要求処理システムの説明図である。1 is an explanatory diagram of a request processing system according to a first embodiment of the present invention;本発明の第２の実施の形態に係る要求処理システムの説明図である。FIG. 11 is an explanatory diagram of a request processing system according to a second embodiment of the present invention.本発明の第３の実施の形態に係る要求処理システムの説明図である。FIG. 13 is an explanatory diagram of a request processing system according to a third embodiment of the present invention.本発明の第３の実施の形態に係る要求処理システムの処理の流れについての説明図である。FIG. 13 is an explanatory diagram of a process flow of a request processing system according to a third embodiment of the present invention.本発明の第３の実施の形態に係る要求処理システムの処理の流れについての説明図である。FIG. 13 is an explanatory diagram of a process flow of a request processing system according to a third embodiment of the present invention.本発明の第３の実施の形態に係る要求処理システムの処理の流れについての説明図である。FIG. 13 is an explanatory diagram of a process flow of a request processing system according to a third embodiment of the present invention.

続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図１に示すように、本発明の第１の実施の形態に係る要求処理システム１０は、要求に応じた処理を行う処理ユニットの一例であるロボット１１及び要求に応じた処理を行わせるための制御信号を生成してロボット１１に与える制御信号生成部１２を有するシステムである。以下、詳細に説明する。Next, with reference to the attached drawings, an embodiment of the present invention will be described for understanding the present invention.
1, arequest processing system 10 according to a first embodiment of the present invention is a system having arobot 11, which is an example of a processing unit that performs processing in response to a request, and a controlsignal generating unit 12 that generates a control signal for causing therobot 11 to perform the processing in response to the request. A detailed description will be given below.

ロボット１１は、図１に示すように、アーム１３、自走機構１４、撮像手段１５、複数のセンサ１６、メモリ１７、制御部１８及び入力部１９等を有している。アーム１３及び自走機構１４はそれぞれ複数の駆動部（モータ等）を具備し、制御部１８はそれらの駆動部を作動するための指令信号を送ってアーム１３及び自走機構１４を制御する。アーム１３は物を把持できるように設計され、自走機構１４はロボット１１が移動できるように設計されている。As shown in Figure 1, therobot 11 has anarm 13, a self-propelled mechanism 14, an imaging means 15,multiple sensors 16, amemory 17, acontrol unit 18, and aninput unit 19. Thearm 13 and the self-propelled mechanism 14 each have multiple drive units (motors, etc.), and thecontrol unit 18 controls thearm 13 and the self-propelled mechanism 14 by sending command signals to operate these drive units. Thearm 13 is designed to be able to grasp objects, and the self-propelled mechanism 14 is designed to allow therobot 11 to move.

撮像手段１５はロボット１１の周囲を撮像できるように撮像方向等が調整されている。複数のセンサ１６はそれぞれ圧力センサや距離センサ等であり、制御部１８は撮像手段１５が撮像した画像及び各センサ１６の検出値を撮像手段１５及び各センサ１６からそれぞれ取得可能である。撮像手段１５が撮像した画像及び各センサ１６の検出値は適宜メモリ１７に記憶される。The imaging means 15 has its imaging direction adjusted so that it can capture images of therobot 11's surroundings. Each of themultiple sensors 16 is a pressure sensor, a distance sensor, etc., and thecontrol unit 18 can acquire the images captured by the imaging means 15 and the detection values of eachsensor 16 from the imaging means 15 and eachsensor 16, respectively. The images captured by the imaging means 15 and the detection values of eachsensor 16 are appropriately stored in thememory 17.

入力部１９はタッチパネル、キーボード及びマイクのいずれか一つ又は複数を有し、要求処理システム１０の利用者は、ロボット１１への要求（例えば、テレビのリモコンを家の中で検索して利用者の元に持ってくるという要求）やロボット１１が処理を行うために必要な情報（以下、「基礎情報」とも言う）等を入力部１９に対する操作や発声によって要求処理システム１０に与えることができる。入力部１９は制御部１８との間で信号の送受信ができればよく、例えば、無線通信機能付きのリモコンであってもよい。Theinput unit 19 has one or more of a touch panel, a keyboard, and a microphone, and the user of therequest processing system 10 can provide requests to the robot 11 (for example, a request to search the house for a TV remote control and bring it to the user) and information necessary for therobot 11 to perform processing (hereinafter also referred to as "basic information") to therequest processing system 10 by operating or speaking to theinput unit 19. Theinput unit 19 only needs to be capable of sending and receiving signals to and from thecontrol unit 18, and may be, for example, a remote control with wireless communication capabilities.

要求処理システム１０は、ＣＰＵ及びメモリ等によって構成可能でロボット１１に有線接続又は無線接続された制御装置２０を備えている。制御装置２０は、制御信号生成部１２に加え、ロボット１１の行動（ロボット１１が行った処理）等を基にして生成されたエピソード情報を記憶するエピソード記憶部２１及び基礎情報等を記憶する基礎情報記憶部２２を備えている。Therequest processing system 10 includes acontrol device 20 that can be configured with a CPU, memory, etc., and is connected to therobot 11 by wire or wirelessly. In addition to a controlsignal generation unit 12, thecontrol device 20 includes anepisode storage unit 21 that stores episode information generated based on the behavior of the robot 11 (processing performed by the robot 11), etc., and a basicinformation storage unit 22 that stores basic information, etc.

エピソード情報とは、ロボット１１のセンサ１６等が検知した視覚情報、聴覚情報、臭覚情報、味覚情報及び触覚情報（以下、これらをまとめて「知覚情報」とも言う）のいずれか１つ又は複数に、知覚情報を検知した位置の情報（以下、「位置情報」とも言う）及び知覚情報を検知した時間（日時）の情報（以下、「時間情報」とも言う）を組み合わせた情報である。Episode information is information that combines one or more of the visual information, auditory information, olfactory information, taste information, and tactile information (hereinafter collectively referred to as "perceptual information") detected by thesensors 16 of therobot 11 with information on the location where the perceptual information was detected (hereinafter also referred to as "location information") and information on the time (date and time) when the perceptual information was detected (hereinafter also referred to as "time information").

例えば、テレビのリモコンを家の中で検索して利用者の元に持ってくるという要求に対して、ロボット１１が１１月１１日の１３時５分にリビングのローテーブルにテレビのリモコンが無く同日の１３時１０分に台所のダイニングテーブルの上でテレビのリモコンを発見し取得した場合、１１月１１日の１３時５分にリビングのローテーブルにテレビのリモコンが無かったというエピソード情報、及び、１１月１１日の１３時１０分に台所のダイニングテーブル上にテレビのリモコンがあったというエピソード情報が生成される。For example, in response to a request to search for a TV remote control in the house and bring it to the user, if therobot 11 finds the TV remote control on the low table in the living room at 13:05 on November 11th and finds and acquires it on the dining table in the kitchen at 13:10 on the same day, episode information is generated that the TV remote control was not on the low table in the living room at 13:05 on November 11th, and that the TV remote control was on the dining table in the kitchen at 13:10 on November 11th.

基礎情報とは、要求処理システム１０が利用される家庭（現場）の情報、例えば、その家庭のレイアウト等（部屋の間取りやどの部屋のどの位置に何が配置されているか等）の情報である。基礎情報は要求処理システム１０を利用する前の準備段階で制御装置２０が外部から通信により取得すること等によって基礎情報記憶部２２に与えられ基礎情報記憶部２２に記憶される。The basic information is information about the home (site) where therequest processing system 10 is used, such as the layout of the home (such as the layout of the rooms and what is located in which room). The basic information is provided to the basicinformation storage unit 22 by thecontrol device 20 acquiring it from outside via communication during the preparation stage before using therequest processing system 10, and is then stored in the basicinformation storage unit 22.

家庭の状況が変化（例えば、レイアウトを変更）した際には、適宜、基礎情報記憶部２２に新しい基礎情報が与えられたり、記憶している基礎情報が修正されたりする。本実施の形態では、基礎情報記憶部２２とエピソード記憶部２１が接続されており、エピソード記憶部２１に記憶されている所定のエピソード情報（例えば、所定期間内に同じ事象が所定回数検出されたエピソード情報）が基礎情報として基礎情報記憶部２２にも記憶される。When the situation at home changes (e.g., the layout is changed), new basic information is provided to the basicinformation storage unit 22, or the stored basic information is modified as appropriate. In this embodiment, the basicinformation storage unit 22 and theepisode storage unit 21 are connected, and predetermined episode information stored in the episode storage unit 21 (e.g., episode information in which the same event is detected a predetermined number of times within a predetermined period of time) is also stored in the basicinformation storage unit 22 as basic information.

また、制御装置２０には、外部ネットワークを介して、大規模言語モデル２３が接続されている。本実施の形態において、大規模言語モデル２３はインターネット回線経由で情報を収集し、回答を求められた事柄に対応する情報を返すモデルである。なお、大規模言語モデル２３のタイプは特に限定されない。制御装置２０は、大規模言語モデル２３との間で情報を送受信するデータ入出力部２４及び大規模言語モデル２３からデータ入出力部２４経由で与えられる情報を解析して（制御信号生成部１２が利用できる情報に変換して）制御信号生成部１２に与える解析部２５を具備している。本実施の形態では、制御装置２０がチップとして構成されているが、これに限定されない。In addition, thecontrol device 20 is connected to a large-scale language model 23 via an external network. In this embodiment, the large-scale language model 23 is a model that collects information via an Internet line and returns information corresponding to a matter for which an answer is requested. The type of the large-scale language model 23 is not particularly limited. Thecontrol device 20 is equipped with a data input/output unit 24 that transmits and receives information to and from the large-scale language model 23, and ananalysis unit 25 that analyzes information provided from the large-scale language model 23 via the data input/output unit 24 (converts it into information that can be used by the control signal generation unit 12) and provides it to the controlsignal generation unit 12. In this embodiment, thecontrol device 20 is configured as a chip, but is not limited to this.

制御信号生成部１２が解析部２５から得る大規模言語モデル２３から与えられる情報は、要求処理システム１０が利用されている家庭に固有の情報ではなく、一般的な情報（共通情報）である。例えば、日本国では一般家庭においてテレビのリモコンが置かれている可能性が高い場所は、テレビボードの上、リビングテーブルの上、ダイニングテーブルの上及びリビングのソファの上であるという情報が一般的な情報に該当する。The information provided by the large-scale language model 23 that the controlsignal generation unit 12 obtains from theanalysis unit 25 is general information (common information) rather than information specific to the home in which therequest processing system 10 is used. For example, the information that the locations where the TV remote control is likely to be placed in an average home in Japan are on the TV stand, on the living room table, on the dining table, and on the sofa in the living room corresponds to general information.

利用者からロボット１１に対して新たな要求がなされると、制御信号生成部１２は、基礎情報記憶部２２から必要な基礎情報を取得し、更に、エピソード記憶部２１にその新たな要求に対応する制御信号を生成するために利用可能なエピソード情報の有無を検出する。制御信号生成部１２は、制御信号の生成に有効なエピソード情報がエピソード記憶部２１に有ることを検出した場合、基礎情報及びその有効な情報を基に制御信号を生成する。When a new request is made to therobot 11 by the user, the controlsignal generation unit 12 obtains the necessary basic information from the basicinformation storage unit 22, and further detects whether or not theepisode storage unit 21 contains episode information that can be used to generate a control signal corresponding to the new request. When the controlsignal generation unit 12 detects that theepisode storage unit 21 contains episode information that is effective for generating a control signal, it generates a control signal based on the basic information and the effective information.

ここで言う「制御信号の生成に有効なエピソード情報」とは、基礎情報記憶部２２に記憶されている１つ又は複数のエピソード情報のみから制御信号を生成できる場合の、その１つ又は複数のエピソード情報を意味する。The term "episode information effective for generating a control signal" refers to one or more pieces of episode information stored in the basicinformation storage unit 22 when a control signal can be generated from only the one or more pieces of episode information.

一方、制御信号生成部１２は、制御信号の生成に有効なエピソード情報がエピソード記憶部２１に無いことを検出した場合、データ入出力部２４を介して、大規模言語モデル２３に新たな要求に関連性のある一般的な情報を求める。これによって、制御信号生成部１２は、データ入出力部２４及び解析部２５経由で大規模言語モデル２３から一般的な情報を取得し、基礎情報及び取得した一般的な情報を基に制御信号を生成する。
ここで、制御信号生成部１２が大規模言語モデル２３に新たな要求に関連性のある一般的な情報を求める際のオプションとして以下の２つが存在する。On the other hand, when the controlsignal generation unit 12 detects that there is no episode information effective for generating a control signal in theepisode storage unit 21, it requests general information related to the new request from the large-scale language model 23 via the data input/output unit 24. As a result, the controlsignal generation unit 12 acquires the general information from the large-scale language model 23 via the data input/output unit 24 and theanalysis unit 25, and generates a control signal based on the basic information and the acquired general information.
Here, there are two options for thecontrol signal generator 12 to request general information related to a new request from the large-scale language model 23:

オプション１：
新たな要求についての問い合わせのみを大規模言語モデル２３に行う。
例えば、新たな要求が乾電池を探して持ってくるというものであれば、新たな要求についての問い合わせは、一般家庭で乾電池が置かれている可能性のある場所はどこかというものになる。Option 1:
Only new requests are queried from thelarge language model 23 .
For example, if the new requirement is to find and bring back dry cell batteries, the inquiry about the new requirement will be where in an average household dry cell batteries might be placed.

オプション２：
新たな要求についての問い合わせを大規模言語モデル２３に行う際、エピソード記憶部２１に記憶されているエピソード情報を大規模言語モデル２３に提供する。
例えば、新たな要求が乾電池を探して持ってくるというものであれば、大規模言語モデル２３に提供されるエピソード情報は、電球のストックが先月リビングの整理棚にあったという情報や、工具は寝室のクローゼット内に収納されているという情報である。大規模言語モデル２３に提供されるエピソード情報は１つであってもよいし、複数であってもよい。Option 2:
When a query about a new requirement is made to the largescale language model 23 , episode information stored in theepisode store 21 is provided to the largescale language model 23 .
For example, if a new request is to find and bring back dry-cell batteries, the episode information provided to the large-scale language model 23 is information that the stock of light bulbs was on a shelf in the living room last month, information that the tools are stored in a closet in the bedroom, etc. The episode information provided to the large-scale language model 23 may be one or more.

オプション１、２のいずれを選択するかや、オプション２を選択した場合でも大規模言語モデル２３に提供されるエピソード情報がどのような情報かによって、大規模言語モデル２３から与えられる情報は異なる。オプション１、２のいずれを選択するかは設定により定めることが可能である。The information provided by the large-scale language model 23 differs depending on whetheroption 1 or 2 is selected, or, even ifoption 2 is selected, depending on the type of episode information provided to the large-scale language model 23. Whetheroption 1 or 2 is selected can be determined by settings.

従って、本実施の形態では、エピソード記憶部２１にロボット１１への要求に対応するエピソード情報が記憶されている場合、そのエピソード情報及び基礎情報を基に（該当のエピソード情報を用いて）制御信号を生成し、エピソード記憶部２１にロボット１１への要求に対応するエピソード情報が記憶されていない場合、大規模言語モデル２３から対応する一般的な情報を取得しその一般的な情報及び基礎情報を基に（該当の一般的な情報を用いて）制御信号を生成する。Therefore, in this embodiment, if episode information corresponding to a request to therobot 11 is stored in theepisode memory unit 21, a control signal is generated based on the episode information and basic information (using the relevant episode information), and if episode information corresponding to a request to therobot 11 is not stored in theepisode memory unit 21, corresponding general information is obtained from the large-scale language model 23, and a control signal is generated based on the general information and basic information (using the relevant general information).

また、制御信号の生成のために利用可能なエピソード情報がエピソード記憶部２１に存在しても、大規模言語モデル２３から一般的な情報を取得し、基礎情報、エピソード情報及び一般的な情報を基に制御信号を生成するようにしてもよい。例えば、制御信号の生成のために利用可能なエピソード情報がエピソード記憶部２１に存在するが、該当のエピソード情報が古い（例えば、半年前のエピソード情報）場合には、基礎情報、エピソード情報及び一般的な情報を基に制御信号を生成する。この場合も、制御信号生成部１２が大規模言語モデル２３に情報を求める際、上述したオプション１、２のいずれかを採用できる。In addition, even if episode information that can be used to generate a control signal exists in theepisode storage unit 21, general information may be obtained from the large-scale language model 23, and a control signal may be generated based on the basic information, episode information, and general information. For example, if episode information that can be used to generate a control signal exists in theepisode storage unit 21 but the episode information in question is old (for example, episode information from six months ago), a control signal is generated based on the basic information, episode information, and general information. In this case, too, when the controlsignal generation unit 12 requests information from the large-scale language model 23, it can adopt eitheroption 1 or 2 described above.

よって、制御信号生成部１２は、新たな要求に対応する制御信号を生成するために利用する情報を、エピソード記憶部２１が記憶しているエピソード情報、及び、大規模言語モデル２３から取得する一般的な情報のいずれにするか、又は、双方とするかを予め設定された条件に従って選択し、選択した情報を用いて制御信号を生成することができる。そのため、制御信号生成部１２は、制御信号の生成に利用できるエピソード情報が存在しない場合であっても、大規模言語モデル２３から取得する一般的な情報を用いて制御信号を生成可能である。Therefore, the controlsignal generating unit 12 can select, according to preset conditions, whether the information to be used to generate a control signal corresponding to a new request is the episode information stored in theepisode storage unit 21 or the general information obtained from the large-scale language model 23, or both, and generate a control signal using the selected information. Therefore, even if there is no episode information available for generating a control signal, the controlsignal generating unit 12 can generate a control signal using the general information obtained from the large-scale language model 23.

ロボット１１は、制御信号生成部１２が生成した制御信号を制御部１８が受信して、アーム１３や自走機構１４等を作動させ、与えられた要求に対する処理を行う。ロボット１１が行った処理により、要求を実現できた場合（テレビのリモコンを検索して利用者に渡すことができた等）、その過程で生じたセンサ１６の検出値等の情報が制御部１８で整理され、エピソード記憶部２１に送られ、新たなエピソード情報としてエピソード記憶部２１に追加（記憶）される。ロボット１１は新たな要求を待機するモードとなる。Thecontrol unit 18 of therobot 11 receives the control signal generated by the controlsignal generation unit 12 and operates thearm 13, self-propelledmechanism 14, etc. to process the given request. If the request is fulfilled through the processing performed by the robot 11 (for example, the robot is able to search for the TV remote control and hand it over to the user), information generated during the process, such as the detection values of thesensor 16, is organized by thecontrol unit 18 and sent to theepisode storage unit 21, where it is added (stored) as new episode information. Therobot 11 goes into a mode in which it waits for a new request.

一方、ロボット１１が行った処理により、要求を実現できなかった場合（テレビのリモコンを検索したが見つからなかった等）、その課程で生じたセンサ１６の検出値等の情報が制御部１８で整理され、エピソード記憶部２１に送られ、新たなエピソード情報（例えば、検索したダイニングテーブル及びリビングテーブルにテレビのリモコンが無かったという情報）がエピソード記憶部２１に追加される。そして、新たな制御信号（例えば、別の場所でテレビのリモコンを検索するための制御信号）を生成すべく、新たな一般的な情報を大規模言語モデル２３から取得したり、ロボット１１が利用者に必要な情報の入力を要求したりする。その後、ロボット１１は新たな制御信号を与えられてその制御信号に基づく処理を行う。On the other hand, if the request cannot be fulfilled by the processing performed by the robot 11 (e.g., the TV remote control is searched for but not found), information generated during the process, such as the detection values of thesensor 16, is organized by thecontrol unit 18 and sent to theepisode storage unit 21, and new episode information (e.g., information that the TV remote control was not found on the dining table or living room table that were searched for) is added to theepisode storage unit 21. Then, in order to generate a new control signal (e.g., a control signal for searching for a TV remote control in another location), new general information is obtained from the large-scale language model 23, or therobot 11 requests the user to input the necessary information. Therobot 11 is then given the new control signal and performs processing based on that control signal.

また、要求処理システム１０では、制御装置２０をロボット本体と分離して、外側に配置しているので、ロボット本体の軽量化を実現でき、バッテリーの消耗などを抑制可能となる。さらに設計の仕方によれば、一台の制御装置２０にて複数のロボット１１を同時にあるいは個別にコントロールすることも可能となり、この際、エピソード記憶部２１及び基礎情報記憶部２２は、複数のロボット１１毎に対応して設けることが好ましい。In addition, in therequest processing system 10, thecontrol device 20 is separated from the robot body and placed on the outside, which allows the robot body to be made lighter and reduces battery consumption. Furthermore, depending on the design, it is possible to controlmultiple robots 11 simultaneously or individually with asingle control device 20, and in this case, it is preferable to provide anepisode memory unit 21 and a basicinformation memory unit 22 for each of themultiple robots 11.

更に、大規模言語モデル２３をインターネットなどを介して取得する場合には、制御装置２０をロボット本体外に設けることで接続性を安定させることができる。即ち、制御装置２０をロボット本体内に設けた場合であって、例えば、インターネットとの接続を無線で行う場合に、ロボットの移動した位置により、送受信状態が、不安定になることがある。
従って、特に無線にてインターネットに接続させる場合には、制御装置２０をロボット本体とは別の所に固定させることにより、インターネットなどの接続状態を安定化させることができ、信頼性を向上させることができる。Furthermore, when the large-scale language model 23 is acquired via the Internet or the like, the connectivity can be stabilized by providing thecontrol device 20 outside the robot body. That is, when thecontrol device 20 is provided inside the robot body and, for example, the connection to the Internet is made wirelessly, the transmission and reception state may become unstable depending on the location of the robot.
Therefore, particularly when connecting to the Internet wirelessly, by fixing thecontrol device 20 in a location separate from the robot body, the connection status to the Internet, etc. can be stabilized and reliability can be improved.

制御装置２０を、制御装置２０の機能をプログラムにて実施可能な、ノートブックパソコン、デスクトップパソコンなどのパーソナルコンピューターや、スマートホン、タブレット端末等のモバイル通信端末などで構成することができる。
その他、制御装置２０を、モジュール基板上にワンチップＩＣで構成しても良いし、複数の半導体ＩＣを組み合わせて構成してもよい。なお、本実施の形態では、制御装置２０をロボット１１の各部を収納するロボット本体（図示せず）の外に設けたが、制御装置２０の全部もしくは少なくとも一部をロボット本体内に設けてもよい。Thecontrol device 20 can be configured as a personal computer such as a notebook computer or a desktop computer, or a mobile communication terminal such as a smartphone or a tablet terminal, which can implement the functions of thecontrol device 20 by a program.
Alternatively, thecontrol device 20 may be configured as a one-chip IC on a module board, or may be configured by combining multiple semiconductor ICs. Note that, in this embodiment, thecontrol device 20 is provided outside the robot body (not shown) that houses each part of therobot 11, but all or at least a part of thecontrol device 20 may be provided inside the robot body.

制御装置２０全部をロボット本体に設ける構成にすることで、ロボット１１と制御装置２０との間のデータ通信部材を簡略化することができるとともに、自律動作可能なロボット１１を提供可能となる。
また、ロボットの仕様や使用形態に応じて、制御装置２０の一部をロボット本体に収納することが可能となる。例えば、大規模言語モデル２３とのアクセスを司る、解析部２５及びデータ入出力部２４をロボット本体外に配置して、その他の部分をロボット本体に収納すること等も考えられる。By providing theentire control device 20 on the robot body, the data communication components between therobot 11 and thecontrol device 20 can be simplified, and an autonomouslyoperable robot 11 can be provided.
In addition, depending on the specifications and usage of the robot, it is possible to store part of thecontrol device 20 in the robot body. For example, it is possible to arrange theanalysis unit 25 and the data input/output unit 24, which control access to the large-scale language model 23, outside the robot body and store the other parts in the robot body.

ここまで説明した要求処理システム１０は、大規模言語モデル２３を有さないシステムであるが、図２に示すように、大規模言語モデル３１を備える本発明の第２の実施の形態に係る要求処理システム３０を採用してもよい。
大規模言語モデル３１は、所定のソフトウェア及びサーバによって構成でき、制御装置３２に設けられている（制御装置３２が大規模言語モデル３１を備えている）。大規模言語モデル３１は、内部回線及びインターネット回線を経由してインターネット上の情報を収集し一般的な情報を生成する。Therequest processing system 10 described so far is a system that does not have a large-scale language model 23, but as shown in Figure 2, arequest processing system 30 according to a second embodiment of the present invention that has a large-scale language model 31 may also be adopted.
The large-scale language model 31 can be configured by a predetermined software and a server, and is provided in the control device 32 (thecontrol device 32 is provided with the large-scale language model 31). The large-scale language model 31 collects information on the Internet via an internal line and an Internet line, and generates general information.

要求処理システム３０は、制御信号生成部３３及び大規模言語モデル２３から取得する一般的な情報を解析して制御信号生成部３３に与える解析部３４が大規模言語モデル３１に接続されている。なお、要求処理システム３０において、要求処理システム１０と同様の構成は同じ符号を付して詳しい説明を省略する。Therequest processing system 30 has a controlsignal generating unit 33 and ananalysis unit 34 that analyzes general information obtained from the large-scale language model 23 and provides the information to the controlsignal generating unit 33, which are connected to the large-scale language model 31. Note that in therequest processing system 30, components similar to those in therequest processing system 10 are given the same reference numerals and detailed explanations are omitted.

また、制御信号生成部を、エピソード記憶部及び大規模言語モデルに必要な情報の問い合わせ等を行う評価統合手段と制御信号を生成する信号生成手段とに分けてもよい。図３～図６を参照して、制御信号生成部を信号生成手段４２と評価統合手段４３に分けた制御装置４１、及び、その制御装置４１及びロボット１１を備える本発明の第３の実施の形態に係る要求処理システム４０について説明する。なお、要求処理システム４０において、要求処理システム１０と同様の構成については同じ符号を付して詳しい説明を省略する。The control signal generation unit may also be divided into an evaluation integration means for making inquiries of the episode storage unit and the large-scale language model for information required, and a signal generation means for generating control signals. With reference to Figures 3 to 6, acontrol device 41 in which the control signal generation unit is divided into a signal generation means 42 and an evaluation integration means 43, and arequest processing system 40 according to a third embodiment of the present invention including thecontrol device 41 and arobot 11 will be described. Note that in therequest processing system 40, components similar to those in therequest processing system 10 are given the same reference numerals and detailed descriptions will be omitted.

制御装置４１は、図３に示すように、信号生成手段４２に接続された評価統合手段４３を備え、信号生成手段４２と評価統合手段４３は情報（データ）のやり取りが可能である。評価統合手段４３は、利用者から要求処理システム４０に対する要求の情報（以下、「要求情報」とも言う）を信号生成手段４２経由で取得できる。更に、評価統合手段４３は、エピソード記憶部４４との間、及び、大規模言語モデル４５との間でも情報のやり取りが可能であり、取得した要求情報に応じて、エピソード記憶部４４及び大規模言語モデル４５にそれぞれ（いずれか一方の場合もある）要求情報に対応するエピソード情報及び一般的な情報を問い合わせて取得することができる。As shown in FIG. 3, thecontrol device 41 includes an evaluation integration means 43 connected to a signal generation means 42, and the signal generation means 42 and the evaluation integration means 43 are capable of exchanging information (data). The evaluation integration means 43 can acquire information on requests from users to the request processing system 40 (hereinafter also referred to as "request information") via the signal generation means 42. Furthermore, the evaluation integration means 43 can also exchange information with theepisode storage unit 44 and the large-scale language model 45, and can inquire of theepisode storage unit 44 and the large-scale language model 45 (or either one of them) and acquire episode information and general information corresponding to the request information according to the acquired request information.

そして、エピソード情報や一般的な情報を取得した評価統合手段４３は、その情報を基にして、信号生成手段４２が制御信号の生成に必要な情報を信号生成手段４２に与える。なお、図示化は省略しているが、制御装置４１には基礎情報記憶部や解析部等が設けられている。
以下、要求処理システム４０の要求に対する処理の具体例について説明する。Then, the evaluation integration means 43, which has acquired the episode information and general information, provides the signal generation means 42 with information necessary for the signal generation means 42 to generate a control signal based on that information. Although not shown in the figure, thecontrol device 41 is provided with a basic information storage unit, an analysis unit, etc.
A specific example of the process performed by therequest processing system 40 for a request will now be described.

＜第１の例＞
利用者から所定のオブジェクトを利用者の元に持っていくという要求がなされた場合、図４に示すように、（１）評価統合手段４３はロボット１１が当該オブジェクトを利用者の元に持っていくために必要なエピソード情報をエピソード記憶部４４に問い合わせる。
該当のエピソード情報が見つかった場合、（２）評価統合手段４３はエピソード記憶部４４から該当のエピソード情報を取得する。（３）信号生成手段４２は評価統合手段４３から必要な情報を取得して制御信号を生成し、（４）制御信号をロボット１１に送信する。制御信号を受信したロボット１１が行動中のセンサ１６の検出値等を基にしてエピソード情報が生成され、（５）そのエピソード情報が評価統合手段４３を介してエピソード記憶部４４に記憶される。<First Example>
When a user requests that a specific object be brought to the user, as shown in FIG. 4, (1) the evaluation integration means 43 queries theepisode memory unit 44 for episode information necessary for therobot 11 to bring the object to the user.
When the corresponding episode information is found, (2) the evaluation integration means 43 acquires the corresponding episode information from theepisode storage unit 44. (3) The signal generation means 42 acquires necessary information from the evaluation integration means 43 to generate a control signal, and (4) transmits the control signal to therobot 11. Therobot 11 that receives the control signal generates episode information based on the detection values of thesensors 16 while therobot 11 is in action, and (5) the episode information is stored in theepisode storage unit 44 via the evaluation integration means 43.

一方、（１）評価統合手段４３からエピソード記憶部４４へのエピソード情報の問い合わせに対して、要求に対応するエピソード情報がエピソード記憶部４４に存在しなかった場合、（２）評価統合手段４３は、図５に示すように、ロボット１１が所定のオブジェクトを利用者の元に持っていくために必要な一般的な情報を大規模言語モデル４５に問い合わせ、（３）該当の一般的な情報を大規模言語モデル４５から取得する。評価統合手段４３が大規模言語モデル４５に情報を求める際、上述したオプション１、２のいずれかを採用できる。On the other hand, (1) if theepisode storage unit 44 does not contain episode information corresponding to the request in response to an episode information inquiry from the evaluation integration means 43 to theepisode storage unit 44, (2) the evaluation integration means 43 inquires of the large-scale language model 45 about general information required for therobot 11 to bring a specified object to the user, as shown in FIG. 5, and (3) acquires the relevant general information from the large-scale language model 45. When the evaluation integration means 43 requests information from the large-scale language model 45, it can adopt eitheroption 1 or 2 described above.

（４）信号生成手段４２は評価統合手段４３から一般的な情報を制御信号の生成に必要な情報として取得して制御信号を生成し、（５）制御信号をロボット１１に送信する。ロボット１１が行動中のセンサ１６の検出値等を基にしてエピソード情報が生成され、（６）そのエピソード情報が評価統合手段４３を介してエピソード記憶部４４に記憶される。(4) The signal generating means 42 obtains general information from the evaluation integration means 43 as information necessary for generating a control signal, generates a control signal, and (5) transmits the control signal to therobot 11. Episode information is generated based on the detection values of thesensors 16 while therobot 11 is in action, and (6) the episode information is stored in theepisode storage unit 44 via the evaluation integration means 43.

なお、評価統合手段４３からの問い合わせに対し、エピソード記憶部４４及び大規模言語モデル４５のいずれからも制御信号の生成に有効な情報を取得できなかった場合、制御装置３２は、利用者から所定のオブジェクトの位置等を教示されて、制御信号を作成し、ロボット１１に送信する。If, in response to a query from the evaluation integration means 43, information useful for generating a control signal cannot be obtained from either theepisode memory unit 44 or the large-scale language model 45, thecontrol device 32 receives information from the user, such as the position of a specific object, creates a control signal, and transmits it to therobot 11.

＜第２の例＞
利用者から所定のオブジェクトを利用者の元に持っていくという要求に対し、エピソード記憶部４４にそのオブジェクトのエピソード情報はあるが、そのエピソード情報が制御信号の作成への利用には妥当でない場合がある。例えば、季節により置き場所が変わるオブジェクトであり、エピソード記憶部４４に記憶されている該当のオブジェクトのエピソード情報の季節（例えば、夏）が、現在（要求がなされた時点）の季節（例えば、冬）と異なっている場合である。<Second Example>
In response to a request from a user to bring a specific object to the user, theepisode storage unit 44 may have episode information for the object, but the episode information may not be appropriate for use in creating a control signal. For example, this may be the case when the location of the object changes depending on the season, and the season (e.g., summer) in the episode information for the object stored in theepisode storage unit 44 is different from the current season (e.g., winter) (at the time of the request).

これについて、制御信号生成部は、エピソード記憶部４４にロボット１１への要求に対応するエピソード情報（冬、利用者に該当のオブジェクトを持っていったというエピソード情報）が記憶されている場合、評価統合手段４３がそれを検知し、そのエピソード情報を信号生成手段４２に与え、信号生成手段４２がそのエピソード情報を用いて制御信号を生成する。In this regard, when episode information corresponding to the request to the robot 11 (episode information that in winter, the user brought the relevant object) is stored in theepisode memory unit 44, the evaluation integration means 43 detects this and provides the episode information to the signal generation means 42, and the signal generation means 42 generates a control signal using the episode information.

一方、エピソード記憶部４４にロボット１１への要求に対応するエピソード情報が記憶されていない場合、評価統合手段４３は、図６に示すように、（１）要求に関連性のある一般的な情報を大規模言語モデル４５に問い合わせ、（２）該当の一般的な情報を大規模言語モデル４５から取得する。この場合も、評価統合手段４３が大規模言語モデル４５に情報を求める際、上述したオプション１、２のいずれかを採用できる。冬カフェオレを利用者の元に持っていくという要求に対して、その要求に関連性のある一般的な情報とは、例えば、カフェオレの表現揺れにあたる物品が何かの情報（例、カフェオレの表現揺れにあたる物品はコーヒー牛乳であるという情報）や、カフェオレに類似の物品（例、コーヒー）が冬に家庭で置かれている場所の情報である。On the other hand, if theepisode storage unit 44 does not store episode information corresponding to the request to therobot 11, the evaluation integration means 43, as shown in FIG. 6, (1) queries the large-scale language model 45 for general information related to the request, and (2) acquires the relevant general information from the large-scale language model 45. In this case, the evaluation integration means 43 can also adopt eitheroption 1 or 2 described above when requesting information from the large-scale language model 45. For a request to bring winter cafe au lait to a user, general information related to the request is, for example, information about what item corresponds to the expression variation of cafe au lait (e.g., information that the item corresponding to the expression variation of cafe au lait is coffee milk) or information about where an item similar to cafe au lait (e.g., coffee) is kept in the home in winter.

そして、（３）評価統合手段４３は、大規模言語モデル４５から所得した要求に関連性のある一般的な情報が制御信号の生成への利用に妥当であると判定した場合、その一般的な情報を基にエピソード記憶部４４から適切なエピソード情報を取得し、そのエピソード情報を信号生成手段４２に与え、（４）信号生成手段４２は制御信号を生成してロボット１１に送信する。（５）その後のロボット１１の行動により生成されたエピソード情報はエピソード記憶部４４に記憶される。Then, (3) if the evaluation integration means 43 determines that the general information related to the request obtained from the large-scale language model 45 is appropriate for use in generating a control signal, it obtains appropriate episode information from theepisode storage unit 44 based on the general information and provides the episode information to the signal generation means 42, and (4) the signal generation means 42 generates a control signal and transmits it to therobot 11. (5) The episode information generated by the subsequent actions of therobot 11 is stored in theepisode storage unit 44.

例えば、評価統合手段４３がカフェオレの表現揺れにあたる物品はコーヒー牛乳であるという情報を取得した場合、コーヒー牛乳を冬にその家庭で見つけたというエピソード情報がエピソード記憶部４４に存在していた場合、評価統合手段４３は、大規模言語モデル４５から所得した関連性のある一般的な情報が制御信号の生成への利用に妥当であるという判定を行い、該当のエピソード情報を信号生成手段４２に与える。For example, if the evaluation integration means 43 acquires information that the item that corresponds to the variation of the expression café au lait is coffee milk, and episode information that coffee milk was found in the household in winter exists in theepisode storage unit 44, the evaluation integration means 43 determines that the relevant general information acquired from the large-scale language model 45 is appropriate for use in generating a control signal, and provides the corresponding episode information to the signal generation means 42.

一方、大規模言語モデル４５から所得した要求に関連性のある一般的な情報が制御信号の生成への利用に妥当でないと評価統合手段４３が判定した場合（例えば、コーヒー牛乳を冬にその家庭で見つけたというエピソード情報がエピソード記憶部４４に記憶されていない場合）、制御装置４１は利用者に所定のオブジェクトの検索先候補の入力を求める。On the other hand, if the evaluation integration means 43 determines that the general information related to the request obtained from the large-scale language model 45 is not appropriate for use in generating a control signal (for example, if the episode information that coffee milk was found in the household in winter is not stored in the episode storage unit 44), thecontrol device 41 asks the user to input search destination candidates for the specified object.

＜第３の例＞
ロボット１１に複数の異なる要求がなされたとして、これらの要求は内容の一部が等しく、その他の部分が異なることがある。例えば、朝、家族のために水を取ってくるという要求と、昼、来客者のために水を取ってくるという要求では、水を取ってくるという点は等しく、要求されている時間帯と誰のためにという点が相違する。これについて、評価統合手段４３（即ち、制御信号生成部）は、要求の内容に応じて、制御信号の生成に必要な情報を優先的に問い合わせる先をエピソード記憶部４４とするか大規模言語モデル４５とするかを選択し、その選択に基づいてエピソード記憶部４４又は大規模言語モデル４５に問い合わせを行う。<Third Example>
If multiple different requests are made to therobot 11, some of the requests may be the same, but other parts may be different. For example, a request to fetch water for a family member in the morning and a request to fetch water for a visitor in the afternoon are the same in that they both involve fetching water, but differ in the time period for which they are requested and for whom. In response to this, the evaluation integration means 43 (i.e., the control signal generation unit) selects whether to preferentially inquire about information required for generating a control signal from theepisode storage unit 44 or the large-scale language model 45, depending on the content of the request, and queries theepisode storage unit 44 or the large-scale language model 45 based on the selection.

以上、本発明の実施の形態を説明したが、本発明は、上記した形態に限定されるものでなく、要旨を逸脱しない条件の変更等は全て本発明の適用範囲である。
例えば、ロボット以外の処理ユニット（問い合わせに対する適切な回答を画面に表示するユニット等）を採用してもよい。Although the embodiment of the present invention has been described above, the present invention is not limited to the above-mentioned embodiment, and all changes in conditions that do not depart from the gist of the present invention are within the scope of application of the present invention.
For example, a processing unit other than a robot (such as a unit that displays an appropriate response to an inquiry on a screen) may be used.

１０：要求処理システム、１１：ロボット、１２：制御信号生成部、１３：アーム、１４：自走機構、１５：撮像手段、１６：センサ、１７：メモリ、１８：制御部、１９：入力部、２０：制御装置、２１：エピソード記憶部、２２：基礎情報記憶部、２３：大規模言語モデル、２４：データ入出力部、２５：解析部、３０：要求処理システム、３１：大規模言語モデル、３２：制御装置、３３：制御信号生成部、３４：解析部、４０：要求処理システム、４１：制御装置、４２：信号生成手段、４３：評価統合手段、４４：エピソード記憶部、４５：大規模言語モデル10: Request processing system, 11: Robot, 12: Control signal generation unit, 13: Arm, 14: Self-propelled mechanism, 15: Imaging means, 16: Sensor, 17: Memory, 18: Control unit, 19: Input unit, 20: Control device, 21: Episode storage unit, 22: Basic information storage unit, 23: Large-scale language model, 24: Data input/output unit, 25: Analysis unit, 30: Request processing system, 31: Large-scale language model, 32: Control device, 33: Control signal generation unit, 34: Analysis unit, 40: Request processing system, 41: Control device, 42: Signal generation means, 43: Evaluation integration means, 44: Episode storage unit, 45: Large-scale language model

Claims (11)

Translated fromJapanese

要求に応じた処理を行わせるための制御信号を処理ユニットに与えて該処理ユニットを制御する制御装置において、
前記処理ユニットが検知した視覚情報、聴覚情報、臭覚情報、味覚情報及び触覚情報のいずれか１つ又は複数に位置情報及び時間情報を組み合わせて形成されるエピソード情報を記憶するエピソード記憶部と、
前記制御信号を生成する制御信号生成部とを備え、
前記制御信号生成部は、前記制御信号の生成に利用する情報を、前記エピソード記憶部が記憶している前記エピソード情報、及び、大規模言語モデルから取得する一般的な情報のいずれにするか、又は、双方とするかを選択することを特徴とする制御装置。A control device for controlling a processing unit by providing a control signal to the processing unit to cause the processing unit to perform processing in response to a request,
an episode storage unit that stores episode information formed by combining one or more of visual information, auditory information, olfactory information, taste information, and tactile information detected by the processing unit with position information and time information;
A control signal generating unit that generates the control signal,
A control device characterized in that the control signal generation unit selects whether the information to be used in generating the control signal is the episode information stored in the episode memory unit, general information obtained from a large-scale language model, or both.請求項１記載の制御装置において、前記制御信号生成部は、前記エピソード記憶部に前記処理ユニットへの要求に対応する前記エピソード情報が記憶されている場合、該エピソード情報を用いて前記制御信号を生成し、前記エピソード記憶部に前記処理ユニットへの要求に対応する前記エピソード情報が記憶されていない場合、前記大規模言語モデルから前記処理ユニットへの要求に対応する前記一般的な情報を取得し該一般的な情報を用いて前記制御信号を生成することを特徴とする制御装置。A control device according to claim 1, characterized in that, when the episode information corresponding to the request to the processing unit is stored in the episode storage unit, the control signal generation unit generates the control signal using the episode information, and when the episode information corresponding to the request to the processing unit is not stored in the episode storage unit, the control signal generation unit obtains the general information corresponding to the request to the processing unit from the large-scale language model and generates the control signal using the general information.請求項１記載の制御装置において、前記制御信号生成部は、前記エピソード記憶部に前記処理ユニットへの要求に対応する前記エピソード情報が記憶されている場合、該エピソード情報を用いて前記制御信号を生成し、前記エピソード記憶部に前記処理ユニットへの要求に対応する前記エピソード情報が記憶されていない場合、前記大規模言語モデルに前記処理ユニットへの要求に関連性のある前記一般的な情報を問い合わせて取得し、該一般的な情報の前記制御信号の生成への利用の妥当性を判定することを特徴とする制御装置。A control device according to claim 1, characterized in that, when the episode information corresponding to the request to the processing unit is stored in the episode storage unit, the control signal generation unit generates the control signal using the episode information, and when the episode information corresponding to the request to the processing unit is not stored in the episode storage unit, the control signal generation unit queries the large-scale language model to obtain general information related to the request to the processing unit, and determines the appropriateness of using the general information to generate the control signal.請求項２又は３記載の制御装置において、前記制御信号生成部が前記大規模言語モデルから前記一般的な情報を取得すべく該大規模言語モデルに問い合わせを行う際、前記エピソード記憶部に記憶されている前記エピソード情報を前記大規模言語モデルに提供することを特徴とする制御装置。A control device according to claim 2 or 3, characterized in that when the control signal generation unit queries the large-scale language model to obtain the general information from the large-scale language model, the control device provides the episode information stored in the episode storage unit to the large-scale language model.請求項１～３のいずれか１項に記載の制御装置において、前記大規模言語モデルを備えることを特徴とする制御装置。A control device according to any one of claims 1 to 3, characterized in that it is equipped with the large-scale language model.要求に応じた処理を行う処理ユニット及び要求に応じた処理を行わせるための制御信号を生成して前記処理ユニットに与える制御信号生成部を有する要求処理システムにおいて、
前記処理ユニットが検知した視覚情報、聴覚情報、臭覚情報、味覚情報及び触覚情報のいずれか１つ又は複数に位置情報及び時間情報を組み合わせて形成されるエピソード情報を記憶するエピソード記憶部を備え、前記制御信号生成部は、前記制御信号の生成に利用する情報を、前記エピソード記憶部が記憶している前記エピソード情報、及び、大規模言語モデルから取得する一般的な情報のいずれにするか、又は、双方とするかを選択することを特徴とする要求処理システム。A request processing system having a processing unit for performing processing in response to a request and a control signal generating unit for generating a control signal for causing the processing in response to the request to be performed and providing the control signal to the processing unit,
A request processing system comprising an episode memory unit that stores episode information formed by combining one or more of visual information, auditory information, olfactory information, gustatory information, and tactile information detected by the processing unit with positional information and temporal information, and the control signal generation unit selects whether the information to be used in generating the control signal is the episode information stored in the episode memory unit or general information obtained from a large-scale language model, or both.請求項６記載の要求処理システムにおいて、前記制御信号生成部は、前記エピソード記憶部に前記処理ユニットへの要求に対応する前記エピソード情報が記憶されている場合、該エピソード情報を用いて前記制御信号を生成し、前記エピソード記憶部に前記処理ユニットへの要求に対応する前記エピソード情報が記憶されていない場合、前記大規模言語モデルから前記処理ユニットへの要求に対応する前記一般的な情報を取得し該一般的な情報を用いて前記制御信号を生成することを特徴とする要求処理システム。The request processing system according to claim 6, wherein the control signal generation unit generates the control signal using the episode information when the episode information corresponding to the request to the processing unit is stored in the episode storage unit, and obtains the general information corresponding to the request to the processing unit from the large-scale language model and generates the control signal using the general information when the episode information corresponding to the request to the processing unit is not stored in the episode storage unit.請求項６記載の要求処理システムにおいて、前記制御信号生成部は、前記エピソード記憶部に前記処理ユニットへの要求に対応する前記エピソード情報が記憶されている場合、該エピソード情報を用いて前記制御信号を生成し、前記エピソード記憶部に前記処理ユニットへの要求に対応する前記エピソード情報が記憶されていない場合、前記大規模言語モデルに前記処理ユニットへの要求に関連性のある前記一般的な情報を問い合わせて取得し、該一般的な情報の前記制御信号の生成への利用の妥当性を判定することを特徴とする要求処理システム。The request processing system according to claim 6, wherein the control signal generation unit generates the control signal using the episode information when the episode information corresponding to the request to the processing unit is stored in the episode storage unit, and when the episode information corresponding to the request to the processing unit is not stored in the episode storage unit, queries the large-scale language model to obtain general information related to the request to the processing unit, and determines the appropriateness of using the general information to generate the control signal.請求項７又は８記載の要求処理システムにおいて、前記制御信号生成部が前記大規模言語モデルから前記一般的な情報を取得すべく該大規模言語モデルに問い合わせを行う際、前記エピソード記憶部に記憶されている前記エピソード情報を前記大規模言語モデルに提供することを特徴とする要求処理システム。A request processing system according to claim 7 or 8, characterized in that when the control signal generation unit queries the large-scale language model to obtain the general information from the large-scale language model, the control signal generation unit provides the episode information stored in the episode storage unit to the large-scale language model.請求項６記載の要求処理システムにおいて、前記処理ユニットはロボットであることを特徴とする要求処理システム。The request processing system according to claim 6, wherein the processing unit is a robot.請求項６～８のいずれか１項に記載の要求処理システムにおいて、前記大規模言語モデルを備えることを特徴とする要求処理システム。The request processing system according to any one of claims 6 to 8, characterized in that it is equipped with the large-scale language model.

Images