本発明は、生成ＡＩ（Artificial Intelligence）による回答の精度を高める処理を行う方法、プログラムおよび情報処理装置に関するものである。The present invention relates to a method, program, and information processing device that performs processing to improve the accuracy of answers provided by generative AI (artificial intelligence).
特許文献１には、回答精度を向上させるチャットボットによるユーザとの会話を支援する方法が開示される。この方法において、サーバ端末の制御部は、ユーザのユーザ端末から質問を受信し、質問に対する回答を生成し、回答に対する再質問を行う指示を受信し、指示に対し、回答とは異なる回答を生成している。Patent Document 1 discloses a method for supporting conversations with users using a chatbot that improves the accuracy of responses. In this method, a control unit of a server terminal receives a question from the user's user terminal, generates an answer to the question, receives an instruction to ask a follow-up question in response to the answer, and generates an answer different from the original answer in response to the instruction.
ユーザの問い合わせに対して生成ＡＩが回答を生成する場合、必ずしも適確な回答になっているとは限らない。このため、回答に対するユーザからの反応をフィードバックできるようにしておくことが重要である。When a generation AI generates an answer to a user's inquiry, it may not always be an accurate answer. For this reason, it is important to be able to provide feedback on the user's reaction to the answer.
本発明はかかる事情に鑑みてなされたものであり、その目的は、ユーザの問い合わせに対して生成ＡＩが生成する回答の精度を高めることができる方法、プログラムおよび情報処理装置を提供することである。The present invention was made in light of these circumstances, and its purpose is to provide a method, program, and information processing device that can improve the accuracy of answers generated by generation AI in response to user inquiries.
本発明の第１の態様に係る方法は、ユーザの問い合わせに対して生成ＡＩが生成する回答の精度を高める処理を情報処理装置で行う方法であって、情報処理装置は、記憶装置にアクセス可能であり、記憶装置は、生成ＡＩが回答を生成するために使用する回答例の情報を記憶し、ユーザからの回答に関する評価を受け付けるステップと、評価を受けた回答を画面に表示するステップと、画面に表示された回答の修正を受け付けるステップと、修正された回答を問い合わせ例と紐付けて回答例の情報として記憶装置に記憶するステップと、を有する、方法である。A method according to a first aspect of the present invention is a method in which an information processing device performs processing to improve the accuracy of answers generated by a generation AI in response to a user's inquiry, the information processing device being accessible to a storage device, the storage device storing information on example answers used by the generation AI to generate answers, and the method comprising the steps of accepting an evaluation of the answer from the user, displaying the evaluated answer on a screen, accepting corrections to the answer displayed on the screen, and linking the corrected answer to the example inquiry and storing it in the storage device as example answer information.
本発明の第２の態様に係るプログラムは、ユーザの問い合わせに対して生成ＡＩが生成する回答の精度を高める処理を情報処理装置に行わせる命令を含んだプログラムであって、回答の精度を高める処理において、情報処理装置は、記憶装置にアクセス可能であり、記憶装置は、生成ＡＩが回答を生成するために使用する回答例の情報を記憶し、ユーザからの回答に関する評価を受け付けるステップと、評価を受けた回答を画面に表示するステップと、画面に表示された回答の修正を受け付けるステップと、修正された回答を問い合わせ例と紐付けて回答例の情報として記憶装置に記憶するステップと、を有する方法の各ステップを含む、プログラムである。A program according to a second aspect of the present invention is a program including instructions for causing an information processing device to perform processing to improve the accuracy of answers generated by a generation AI in response to a user's inquiry. In the processing to improve the accuracy of the answer, the information processing device is capable of accessing a storage device, and the storage device stores information on example answers used by the generation AI to generate an answer. The program includes the steps of a method including the steps of accepting an evaluation of the answer from a user, displaying the evaluated answer on a screen, accepting corrections to the answer displayed on the screen, and linking the corrected answer to the example inquiry and storing it in the storage device as example answer information.
本発明の第３の態様に係る情報処理装置は、ユーザの問い合わせに対して生成ＡＩが生成する回答の精度を高める処理を情報処理装置であって、処理部と、処理部に処理を行わせる命令を記憶した記憶部とを有し、処理部が前記命令に従って行う処理において、情報処理装置は、記憶装置にアクセス可能であり、記憶装置は、生成ＡＩが回答を生成するために使用する回答例の情報を記憶し、ユーザからの回答に関する評価を受け付けるステップと、評価を受けた回答を画面に表示するステップと、画面に表示された回答の修正を受け付けるステップと、修正された回答を問い合わせ例と紐付けて回答例の情報として記憶装置に記憶するステップと、を有する方法の各ステップを含む、情報処理装置である。An information processing device according to a third aspect of the present invention is an information processing device that performs processing to improve the accuracy of answers generated by a generation AI in response to a user's inquiry, and has a processing unit and a memory unit that stores instructions for causing the processing unit to perform processing. In the processing performed by the processing unit in accordance with the instructions, the information processing device is able to access a storage device, and the storage device stores information on example answers used by the generation AI to generate an answer. The information processing device includes each step of a method having the following steps: accepting an evaluation of the answer from a user; displaying the evaluated answer on a screen; accepting corrections to the answer displayed on the screen; and linking the corrected answer to the example inquiry and storing it in the storage device as example answer information.
本発明の第４の態様に係る情報処理装置は、ユーザの問い合わせに対して生成ＡＩが生成する回答の精度を高める処理を情報処理装置であって、情報処理装置は、記憶装置にアクセス可能であり、記憶装置は、生成ＡＩが回答を生成するために使用する回答例の情報を記憶し、ユーザからの回答に関する評価を受け付けるステップと、評価を受けた回答を画面に表示するステップと、画面に表示された回答の修正を受け付けるステップと、修正された回答を問い合わせ例と紐付けて回答例の情報として記憶装置に記憶するステップと、を有する方法の各ステップを行う手段を備えた、情報処理装置である。An information processing device according to a fourth aspect of the present invention is an information processing device that performs processing to improve the accuracy of answers generated by a generation AI in response to a user's inquiry, the information processing device being able to access a storage device, the storage device storing information on example answers used by the generation AI to generate answers, and having means for performing each step of a method including the steps of accepting an evaluation of the answer from a user, displaying the evaluated answer on a screen, accepting corrections to the answer displayed on the screen, and linking the corrected answer to the example inquiry and storing it in the storage device as example answer information.
本発明によれば、ユーザの問い合わせに対して生成ＡＩが生成する回答の精度を高めることができる方法、プログラムおよび情報処理装置を提供することができる。The present invention provides a method, program, and information processing device that can improve the accuracy of answers generated by a generation AI in response to user inquiries.
以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。Embodiments of the present invention will be described below with reference to the drawings. In the following description, identical components will be assigned the same reference numerals, and descriptions of components that have already been described will be omitted where appropriate.
図１は、本実施形態に係る情報処理装置１を適用するシステムの構成の一例を示す図である。
図１の例に示すシステムは、インターネットなどの通信ネットワーク９を介して通信可能な情報処理装置１、端末装置３、クラウドサーバ４、検索エンジン５および生成ＡＩ６を有する。
ここで、情報処理装置１は、本発明の情報処理装置の一例である。記憶装置２は、本発明の記憶装置の一例である。端末装置３は、本発明の端末装置の一例である。生成ＡＩ６は、本発明の生成ＡＩの一例である。 FIG. 1 is a diagram showing an example of the configuration of a system to which an information processing device 1 according to this embodiment is applied.
The system shown in the example of FIG. 1 includes an information processing device 1, a terminal device 3, a cloud server 4, a search engine 5, and a generation AI 6 that can communicate via a communication network 9 such as the Internet.
Here, the information processing device 1 is an example of an information processing device of the present invention. The storage device 2 is an example of a storage device of the present invention. The terminal device 3 is an example of a terminal device of the present invention. The generation AI 6 is an example of a generation AI of the present invention.
図１に示すステムでは、端末装置３を操作するユーザからの問い合わせに対して生成ＡＩ６が回答を生成して端末装置３に応答する処理と、生成ＡＩ６の回答に対するユーザからの評価を得て、その評価に基づき回答を修正するフィードバックを行う処理とが行われる。In the system shown in Figure 1, the generation AI 6 generates an answer to an inquiry from a user operating the terminal device 3 and responds to the terminal device 3, and also performs a process of obtaining an evaluation from the user of the generation AI 6's answer and providing feedback to modify the answer based on that evaluation.
（端末装置３）
端末装置３は、ユーザが問い合わせや質問、情報の検索などを行うために操作される装置であり、例えばパーソナルコンピュータ、タブレット、スマートフォンなどの情報通信機能を備えた装置である。図１に示すシステムの例において端末装置３は１つであるが、システムは複数のユーザに対応した複数の端末装置３を有していてもよい。(Terminal device 3)
The terminal device 3 is a device operated by a user to make inquiries, ask questions, search for information, etc., and is a device equipped with an information communication function, such as a personal computer, a tablet, a smartphone, etc. In the example of the system shown in Figure 1, there is one terminal device 3, but the system may have multiple terminal devices 3 corresponding to multiple users.
端末装置３は、例えば、後述する情報処理装置１の通信部１１、記憶部１２、処理部１３と同様な通信部、記憶部、処理部を備える。また、端末装置３は、ユーザの指示を処理部に入力する入力部（タッチパネル、マウス、キーボードなど）、処理部において生成される映像データに応じた映像を表示する表示部（液晶ディスプレイ、有機ＥＬディスプレイなど）、音を出力するスピーカなどを備えていてもよい。The terminal device 3 includes, for example, a communication unit, a memory unit, and a processing unit similar to the communication unit 11, the memory unit 12, and the processing unit 13 of the information processing device 1 described below. The terminal device 3 may also include an input unit (touch panel, mouse, keyboard, etc.) for inputting user instructions to the processing unit, a display unit (liquid crystal display, organic EL display, etc.) for displaying images corresponding to video data generated by the processing unit, and a speaker for outputting sound.
（クラウドサーバ４）
クラウドサーバ４は、クラウドサービスを提供するためのサーバであり、通信ネットワーク９に接続される。クラウドサーバ４は、端末装置３や情報処理装置１からの要求に応じて処理を実行し、情報の提供等の応答を行う。例えば、業務の効率化を図るワークフローのデジタル化のため、クラウドサーバ４は、従業員や顧客が操作する端末装置３からの要求に対応して各種のサービスを提供する。また、クラウドサーバ４は、情報処理装置１からの要求に対応したり、端末装置３から情報処理装置１を介在した要求に対応したりすることもある。(Cloud Server 4)
The cloud server 4 is a server for providing cloud services and is connected to the communication network 9. The cloud server 4 executes processing in response to requests from the terminal device 3 and the information processing device 1, and responds by providing information, etc. For example, in order to digitize workflows to improve business efficiency, the cloud server 4 provides various services in response to requests from the terminal device 3 operated by employees or customers. The cloud server 4 may also respond to requests from the information processing device 1, or respond to requests from the terminal device 3 via the information processing device 1.
（検索エンジン５）
検索エンジン５は、検索キー（キーワードやキー画像など）を用いた情報検索システムであり、通信ネットワーク９に接続される。検索エンジン５は、例えばベクトルデータベースを利用したベクトル検索によって類似検索やフィルタリングを行い、精度の高い検索を行う。(Search Engine 5)
The search engine 5 is an information search system that uses search keys (keywords, key images, etc.), and is connected to the communication network 9. The search engine 5 performs similarity searches and filtering by, for example, vector searches using a vector database, thereby performing highly accurate searches.
（生成ＡＩ６）
生成ＡＩ６は、大量のパラメータ（例えば数十億～数千億）を持つ人工ニューラルネットワークに大量のデータを学習させることにより、人間の理解能力を模倣するように構成されたシステムである。生成ＡＩ６の一例は大規模言語モデルである。大規模言語モデルは、与えられたプロンプトに従って、文章のパターンや文脈の把握、質問への応答、文章の生成、翻訳などの幅広い自然言語処理タスクを行うことができる。大規模言語モデルとしては、例えば米国のＯｐｅｎＡＩ社により運営されるＧＰＴシリーズ（Ｃｈａｔ ＧＰＴなど）を用いることができる。(Generation AI6)
Generative AI6 is a system configured to mimic human comprehension by training an artificial neural network with a large number of parameters (e.g., billions to hundreds of billions) on a large amount of data. One example of generative AI6 is a large-scale language model. A large-scale language model can perform a wide range of natural language processing tasks, such as understanding sentence patterns and context, answering questions, generating sentences, and translating, according to given prompts. As a large-scale language model, for example, the GPT series (such as Chat GPT) operated by OpenAI, Inc., USA, can be used.
（情報処理装置１）
情報処理装置１は、ユーザの問い合わせに対して生成ＡＩ６が生成する回答の精度を高める処理を行う装置である。情報処理装置１は、例えばＲＡＧ（Retrieval Augmented Generation）によってユーザからの質問に対する回答の検索や、生成ＡＩ６による回答の生成指示および回答の取得を行う。情報処理装置１は、通信ネットワーク９に接続された１台または複数台のコンピュータを含んで構成される。図１の例において、情報処理装置１は、通信部１１と、記憶部１２と、処理部１３とを有する。(Information processing device 1)
The information processing device 1 is a device that performs processing to improve the accuracy of answers generated by the generation AI 6 in response to user inquiries. The information processing device 1 searches for answers to user questions using, for example, Retrieval Augmented Generation (RAG), instructs the generation AI 6 to generate answers, and acquires the answers. The information processing device 1 is configured to include one or more computers connected to a communication network 9. In the example of FIG. 1, the information processing device 1 has a communication unit 11, a memory unit 12, and a processing unit 13.
通信部１１は、インターネット等の通信ネットワークを介して他の装置（通信ネットワークに接続されたサーバ等）と通信を行う。通信部１１は、例えばイーサネット（登録商標）や無線ＬＡＮ等の所定の通信規格に準拠して通信を行う装置（ネットワークインターフェースカード等）を含む。The communication unit 11 communicates with other devices (such as servers connected to a communication network) via a communication network such as the Internet. The communication unit 11 includes a device (such as a network interface card) that communicates in accordance with a specific communication standard, such as Ethernet (registered trademark) or wireless LAN.
記憶部１２は、処理部１３が実行する命令を含んだ１以上のプログラム１２１、処理部１３による処理の過程で一時的に保存されるデータ、処理部１３の処理に利用されるデータ、処理部１３の処理の結果として得られたデータなどを記憶する。記憶部１２は、例えば、主記憶装置（ＲＡＭ、ＲＯＭなど）と補助記憶装置（フラッシュメモリ、ＳＳＤ、ハードディスク、メモリカード、光ディスクなど）を含んでよい。記憶部１２は、１つの記憶装置から構成されてもよいし、複数の記憶装置から構成されてもよい。記憶部１２が複数の記憶装置から構成される場合、各記憶装置は、コンピュータのバスや他の任意の通信手段を介して処理部１３と接続される。The memory unit 12 stores one or more programs 121 containing instructions executed by the processing unit 13, data temporarily saved during processing by the processing unit 13, data used in processing by the processing unit 13, data obtained as a result of processing by the processing unit 13, etc. The memory unit 12 may include, for example, a main memory device (RAM, ROM, etc.) and a secondary memory device (flash memory, SSD, hard disk, memory card, optical disk, etc.). The memory unit 12 may be composed of a single memory device or multiple memory devices. When the memory unit 12 is composed of multiple memory devices, each memory device is connected to the processing unit 13 via a computer bus or any other communication means.
処理部１３は、情報処理装置１の全体的な動作を統括的に司り、所定の情報処理を実行する。処理部１３は、例えば、記憶部１２に格納された１以上のプログラム１２１の命令に従って処理を行う１以上のプロセッサ（ＣＰＵ（central processing unit）、ＭＰＵ（micro-processing unit）、ＤＳＰ（digital signal processor）など）を含む。処理部１３は、記憶部１２に記憶される１以上のプログラム１２１の命令を１以上のプロセッサが実行することにより、コンピュータとして動作する。The processing unit 13 is responsible for overall control of the operation of the information processing device 1 and executes predetermined information processing. The processing unit 13 includes, for example, one or more processors (such as a CPU (central processing unit), MPU (micro-processing unit), or DSP (digital signal processor)) that perform processing according to the instructions of one or more programs 121 stored in the storage unit 12. The processing unit 13 operates as a computer by having the one or more processors execute the instructions of one or more programs 121 stored in the storage unit 12.
処理部１３は、特定の機能を実現するように構成された１つ以上の専用のハードウェア（ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（field-programmable gate array）など）を含んでもよい。この場合、処理部１３は、本実施形態において説明する全ての処理をコンピュータにおいて実行してもよいし、少なくとも一部の処理を専用のハードウェアにおいて実行してもよい。The processing unit 13 may include one or more dedicated hardware components (such as an ASIC (application specific integrated circuit) or FPGA (field-programmable gate array)) configured to implement specific functions. In this case, the processing unit 13 may perform all of the processing described in this embodiment on a computer, or may perform at least some of the processing on dedicated hardware.
プログラム１２１は、例えばコンピュータ読み取り可能な記録媒体（光ディスク、メモリカード、ＵＳＢメモリ、その他の非一時的な有形の媒体）に記録されていてもよい。処理部１３は、そのような記録媒体に記録された１以上のプログラム１２１の少なくとも一部を不図示の記録媒体読み取り装置（光ディスク装置など）やインターフェース装置（ＵＳＢインターフェースなど）により読み込んで、記憶部１２に書き込んでもよい。あるいは処理部１３は、通信ネットワーク９に接続される他の装置から通信部１１により１以上のプログラム１２１の少なくとも一部をダウンロードして、記憶部１２に書き込んでもよい。１以上のプログラム１２１は、後述する本実施形態に係る処理の少なくとも一部を処理部１３に行わせる命令を含む。The program 121 may be recorded, for example, on a computer-readable recording medium (such as an optical disc, memory card, USB memory, or other non-transitory tangible medium). The processing unit 13 may read at least a portion of the one or more programs 121 recorded on such a recording medium using a recording medium reading device (such as an optical disc device) or an interface device (such as a USB interface), not shown, and write the program to the storage unit 12. Alternatively, the processing unit 13 may download at least a portion of the one or more programs 121 from another device connected to the communication network 9 via the communication unit 11, and write the program to the storage unit 12. The one or more programs 121 include instructions that cause the processing unit 13 to perform at least a portion of the processing according to this embodiment, which will be described later.
（記憶装置２）
記憶装置２は、情報処理装置１の処理において使用される種々の情報を記憶する。情報処理装置１と記憶装置２とは、任意の通信路（ＬＡＮ、専用回線網、インターネット等）介して通信可能である。例えば記憶装置２は、複数の装置からのアクセスを受け付けるファイルサーバ、データベースサーバ、クラウドサーバ等に含まれていてもよいし、情報処理装置１のみアクセス可能な専用の記憶装置でもよい。また、記憶装置２は、情報処理装置１の記憶手段として組み込まれていてもよい。図１の例において、記憶装置２は、ナレッジデータベース２１と、フィードバックデータベース２２とを記憶する。以下の説明では、データベースを「ＤＢ」と省略して記載する場合がある。(Storage device 2)
The storage device 2 stores various information used in the processing of the information processing device 1. The information processing device 1 and the storage device 2 can communicate with each other via any communication path (LAN, dedicated line network, Internet, etc.). For example, the storage device 2 may be included in a file server, database server, cloud server, etc. that accepts access from multiple devices, or may be a dedicated storage device that is accessible only to the information processing device 1. The storage device 2 may also be incorporated as a storage means of the information processing device 1. In the example of FIG. 1 , the storage device 2 stores a knowledge database 21 and a feedback database 22. In the following description, database may be abbreviated as "DB."
ナレッジＤＢ２１は、企業や組織に属する社員等の知識や経験、ノウハウをデータベース化したものである。ナレッジＤＢ２１は、ＦＡＱ（Frequently Asked Questions）の情報を含む。ＦＡＱの情報は、例えば企業のホームページ等にある質疑応答システムで使用されるもので、ユーザからのよくある質問をシステムで処理し、自己解決を促すための情報である。ナレッジＤＢ２１は、一般顧客に向けに設けられるＦＡＱの情報のほか、社内向けに活用されるＦＡＱの情報を含んでいてもよい。Knowledge DB21 is a database of the knowledge, experience, and know-how of employees of a company or organization. Knowledge DB21 includes FAQ (Frequently Asked Questions) information. FAQ information is used, for example, in a question and answer system on a company's homepage, and is used to process frequently asked questions from users and encourage self-resolving. Knowledge DB21 may include FAQ information for internal use in addition to FAQ information for general customers.
フィードバックＤＢ２２は、ユーザから送られる評価の情報を含む。例えば、ユーザの問い合わせに対して生成ＡＩが生成した回答に対するユーザの評価（正確、不正確、良い、普通、悪いなど）の情報を含む。フィードバックＤＢ２２に含まれるユーザからの評価の情報は、ユーザＩＤ、日時、ユーザからの評価、その評価の対象となった回答が紐付けされた情報を含む。Feedback DB22 contains evaluation information sent by users. For example, it contains information on the user's evaluation (accurate, inaccurate, good, average, bad, etc.) of the answer generated by the generation AI in response to the user's inquiry. The user evaluation information contained in feedback DB22 includes information linked to the user ID, date and time, the user's evaluation, and the answer that was the subject of the evaluation.
ここで、上述した構成を有する図１に示すシステムの動作について説明する。
図２は、情報処理装置１を含むシステムでの処理の一例を説明する図である。図２では、端末装置３を操作するユーザが質問（問い合わせ）を入力し、その質問に対する回答を生成ＡＩ６によって生成してユーザへ応答する処理の例が示される。 Here, the operation of the system having the above-described configuration shown in FIG. 1 will be described.
2 is a diagram illustrating an example of processing in a system including the information processing device 1. In FIG. 2, an example of processing is shown in which a user operating a terminal device 3 inputs a question (inquiry), and an answer to the question is generated by the generation AI 6 and returned to the user.
端末装置３は、クラウドサービスから所定の処理や情報（例えば、ナレッジ）の提供を受けるため、クラウドサーバに通信ネットワーク９を介してアクセスする（ステップＳ１０１）。クラウドサーバ４にアクセスした後、ユーザは端末装置３の表示部に表示された入力欄に質問を入力する（ステップＳ１０２）。ユーザが入力した質問は情報処理装置１に提供される。The terminal device 3 accesses the cloud server via the communication network 9 to receive predetermined processing and information (e.g., knowledge) from the cloud service (step S101). After accessing the cloud server 4, the user inputs a question into an input field displayed on the display unit of the terminal device 3 (step S102). The question input by the user is provided to the information processing device 1.
情報処理装置１は、端末装置３から提供されたユーザの質問を取得する（ステップＳ１０３）。情報処理装置１は、端末装置３から送られたユーザの質問を通信ネットワーク９を介して検索エンジン５に送信する（ステップＳ１０４）。The information processing device 1 acquires the user's question provided by the terminal device 3 (step S103). The information processing device 1 transmits the user's question sent from the terminal device 3 to the search engine 5 via the communication network 9 (step S104).
検索エンジン５は、情報処理装置１から送信されたユーザの質問を取得し（ステップＳ１０５）、取得した質問に対する回答の検索を行う（ステップＳ１０６）。例えば、検索エンジン５は、ユーザの質問に基づいてナレッジＤＢ２１を利用したベクトル検索を行い、類似検索やフィルタリングを行って質問に対する回答を検索する。検索によって得られる回答は複数ある場合もある。検索エンジン５は、検索結果を生成ＡＩ６に送信する（ステップＳ１０７）。The search engine 5 acquires the user's question sent from the information processing device 1 (step S105) and searches for an answer to the acquired question (step S106). For example, the search engine 5 performs a vector search using the knowledge DB 21 based on the user's question, and searches for an answer to the question by performing a similarity search and filtering. There may be multiple answers obtained by the search. The search engine 5 transmits the search results to the generation AI 6 (step S107).
生成ＡＩ６は、検索エンジン５の検索結果を取得し（ステップＳ１０８）、取得した検索結果に基づき回答の生成を行う（ステップＳ１０９）。例えば、生成ＡＩ６の一例である大規模言語モデルによって、検索エンジン５での検索結果から自然言語処理を行い、回答を生成する。検索エンジン５から複数の検索結果が生成ＡＩ６に送られた場合には、複数の検索結果に基づき自然言語処理を行って回答を生成する。生成ＡＩ６は、生成した回答を情報処理装置１へ通信ネットワーク９を介して送信する（ステップＳ１１０）。The generation AI 6 acquires the search results from the search engine 5 (step S108) and generates an answer based on the acquired search results (step S109). For example, the generation AI 6 performs natural language processing on the search results from the search engine 5 using a large-scale language model, which is an example of the generation AI 6, to generate an answer. If multiple search results are sent from the search engine 5 to the generation AI 6, the generation AI 6 performs natural language processing based on the multiple search results to generate an answer. The generation AI 6 transmits the generated answer to the information processing device 1 via the communication network 9 (step S110).
情報処理装置１は、生成ＡＩ６から送信された回答を取得し（ステップＳ１１１）、回答をナレッジＤＢ２１に登録する（ステップＳ１１２）。ナレッジＤＢ２１には、ユーザからの質問に紐付けした状態で回答が登録される。情報処理装置１は、生成ＡＩ６から取得した回答を端末装置３へ送信する（ステップＳ１１３）。The information processing device 1 acquires the answer sent from the generation AI 6 (step S111) and registers the answer in the knowledge DB 21 (step S112). The answer is registered in the knowledge DB 21 linked to the question from the user. The information processing device 1 transmits the answer acquired from the generation AI 6 to the terminal device 3 (step S113).
端末装置３は、情報処理装置１から送信された生成ＡＩ６からの回答を取得して、表示部に表示する（ステップＳ１１４）。この一連の処理によって、ユーザからの質問に対する生成ＡＩ６からの回答が端末装置３に表示されるとともに、ナレッジＤＢ２１に登録されることになる。したがって、ユーザからの質問があるたびに、ナレッジＤＢ２１にはその質問に対する回答がナレッジとして蓄積されていく。The terminal device 3 acquires the answer from the generation AI 6 sent from the information processing device 1 and displays it on the display unit (step S114). Through this series of processes, the answer from the generation AI 6 to the user's question is displayed on the terminal device 3 and is also registered in the knowledge DB 21. Therefore, each time a user asks a question, the answer to that question is accumulated as knowledge in the knowledge DB 21.
図３は、情報処理装置１による回答の修正の処理の一例を説明する図である。
図３では、ユーザの質問に対する回答が端末装置３に表示された後、その回答に対する評価をユーザが行った場合の処理の例が示される。 FIG. 3 is a diagram illustrating an example of a process for correcting an answer performed by the information processing device 1. In FIG.
FIG. 3 shows an example of processing in which an answer to a user's question is displayed on the terminal device 3 and then the user evaluates the answer.
端末装置３の表示部にユーザの質問に対する回答が表示された状態で（ステップＳ１１４）、ユーザはその回答に対する評価を入力する（ステップＳ２０１）。評価は、例えば「良い」「悪い」「普通」「正しい」「不正確」「もう少し詳しく」「回答に古い情報が含まれる」「回答が有害な情報である」といった予め設定されたボタンの選択によって行われてもよいし、評価のコメントをテキストで入力したものであってもよい。ユーザの入力した評価は、端末装置３から通信ネットワーク９を介して情報処理装置１へ送信される。With the answer to the user's question displayed on the display unit of the terminal device 3 (step S114), the user inputs an evaluation of the answer (step S201). The evaluation may be made by selecting pre-set buttons such as "Good," "Bad," "Average," "Correct," "Inaccurate," "More details," "Answer contains outdated information," or "Answer is harmful information," or by inputting an evaluation comment in text. The evaluation input by the user is transmitted from the terminal device 3 to the information processing device 1 via the communication network 9.
情報処理装置１は、端末装置３から送信されたユーザの評価を取得し（ステップＳ２０２）、フィードバックＤＢ２２に登録する（ステップＳ２０３）。情報処理装置１は、取得した評価を受けた回答を表示部に表示する（ステップＳ２０４）。これにより、情報処理装置１の表示部には、取得した評価と、その評価を受けた回答（生成ＡＩ６によって生成された回答）と、その回答の元になった質問（ユーザの問い合わせ）が表示される。なお、評価を受けた回答を画面に表示する際、生成ＡＩ６が回答の生成のために用いた回答例、すなわち、検索エンジン５によって検索された質問に対する回答例であって、生成ＡＩ６が回答を生成するために使用した回答例（別の回答例）を併せて表示するようにしてもよい。The information processing device 1 acquires the user's evaluation sent from the terminal device 3 (step S202) and registers it in the feedback DB 22 (step S203). The information processing device 1 displays the answer that received the acquired evaluation on the display unit (step S204). As a result, the display unit of the information processing device 1 displays the acquired evaluation, the answer that received the evaluation (the answer generated by the generation AI 6), and the question that was the basis for the answer (the user's inquiry). Note that when the evaluated answer is displayed on the screen, the example answer used by the generation AI 6 to generate the answer, i.e., the example answer (another example answer) that is an example answer to the question searched by the search engine 5 and that the generation AI 6 used to generate the answer, may also be displayed.
情報処理装置１は、表示された回答の精査および編集を行う（ステップＳ２０５）。回答の精査および編集は、ナレッジの管理者によって行われる。情報処理装置１は、編集後の回答をナレッジＤＢ２１に登録する（ステップＳ２０６）。この一連の処理によって、ユーザから送られた評価に基づき生成ＡＩ６で生成した回答が精査されて、精度の高い回答としてナレッジＤＢ２１に登録される。したがって、ユーザからの回答に対する評価が回答に反映され、ナレッジＤＢ２１に蓄積される回答の精度が向上していくことになる。The information processing device 1 reviews and edits the displayed answer (step S205). The review and editing of the answer is performed by a knowledge administrator. The information processing device 1 registers the edited answer in the knowledge DB 21 (step S206). Through this series of processes, the answer generated by the generation AI 6 based on the evaluation sent by the user is reviewed and registered in the knowledge DB 21 as a highly accurate answer. Therefore, the user's evaluation of the answer is reflected in the answer, and the accuracy of the answers stored in the knowledge DB 21 is improved.
図４は、情報処理装置１による回答の修正の処理の他の例を説明する図である。
図４では、ユーザの質問に対する回答が端末装置３に表示された後、その回答に対する評価をユーザが行った場合の処理の他の例が示される。 FIG. 4 is a diagram illustrating another example of the process of correcting an answer by the information processing device 1. In FIG.
FIG. 4 shows another example of processing when an answer to a user's question is displayed on the terminal device 3 and then the user evaluates the answer.
端末装置３の表示部にユーザの質問に対する回答が表示された状態で（ステップＳ１１４）、ユーザはその回答に対する評価を入力する（ステップＳ３０１）。評価は、例えば「良い」「悪い」「普通」「正しい」「不正確」「もう少し詳しく」「回答に古い情報が含まれる」「回答が有害な情報である」といった予め設定されたボタンの選択によって行われてもよいし、コメントをテキストで入力したものであってもよい。ユーザの入力した評価は、端末装置３から通信ネットワーク９を介して情報処理装置１へ送信される。With the answer to the user's question displayed on the display unit of the terminal device 3 (step S114), the user inputs an evaluation of the answer (step S301). The evaluation may be made by selecting pre-set buttons such as "Good," "Bad," "Average," "Correct," "Inaccurate," "More details," "Answer contains outdated information," or "Answer is harmful information," or by entering a comment in text. The evaluation input by the user is transmitted from the terminal device 3 to the information processing device 1 via the communications network 9.
情報処理装置１は、端末装置３から送信されたユーザの評価を取得し（ステップＳ３０２）、フィードバックＤＢ２２に登録する（ステップＳ３０３）。情報処理装置１は、取得した評価を受けた回答を表示部に表示する（ステップＳ３０４）。これにより、情報処理装置１の表示部には、取得した評価と、その評価を受けた回答（生成ＡＩ６によって生成された回答）と、その回答の元になった質問（ユーザの問い合わせ）が表示される。次に、情報処理装置１は、生成ＡＩ６に修正候補の生成指示を送る（ステップＳ３０５）。The information processing device 1 acquires the user's evaluation sent from the terminal device 3 (step S302) and registers it in the feedback DB 22 (step S303). The information processing device 1 displays the answer that received the acquired evaluation on the display unit (step S304). As a result, the display unit of the information processing device 1 displays the acquired evaluation, the answer that received the evaluation (the answer generated by the generation AI 6), and the question that was the basis for that answer (the user's inquiry). Next, the information processing device 1 sends an instruction to the generation AI 6 to generate a correction candidate (step S305).
生成ＡＩ６は、情報処理装置１から送られた生成指示を取得し（ステップＳ３０６）、修正候補を生成する（ステップＳ３０７）。すなわち、生成ＡＩ６は、取得した評価と、その評価を受けた回答（生成ＡＩ６によって生成された修正前の回答）と、その回答の元になった質問（ユーザの問い合わせ）とに基づき、別な回答例を修正候補として生成する。例えば、ユーザからの評価が「回答に古い情報が含まれる」であった場合、生成ＡＩ６は、修正前の回答を生成した元の情報の取得日時よりも新しい情報を取得して、新しい情報を用いた新たな回答例を生成する。生成ＡＩ６は、生成した修正候補を情報処理装置１へ送信する（ステップＳ３０８）。The generation AI 6 receives the generation instruction sent from the information processing device 1 (step S306) and generates a correction candidate (step S307). That is, the generation AI 6 generates another example answer as a correction candidate based on the acquired evaluation, the answer that received that evaluation (the answer before correction generated by the generation AI 6), and the question that was the basis for that answer (the user's inquiry). For example, if the user's evaluation is "The answer contains old information," the generation AI 6 acquires information newer than the acquisition date and time of the original information that generated the answer before correction, and generates a new example answer using the new information. The generation AI 6 sends the generated correction candidate to the information processing device 1 (step S308).
情報処理装置１は、生成ＡＩ６から送信された修正候補を取得し（ステップＳ３０９）、修正候補に基づき回答の精査および編集を行う（ステップＳ３１０）。回答の精査および編集（修正）は、ナレッジの管理者が生成ＡＩ６によって生成された新たな回答の候補を参照しながら行ってもよいし、生成ＡＩ６によって生成された新たな回答を修正後の回答として自動的に決定するようにしてもよい。また、回答の編集を受け付けるとき、異なる生成ＡＩ６、あるいは同じ生成ＡＩ６に異なるプロンプトを入力して得た修正例を、修正者が選択可能なように画面に表示するようにしてもよい。また、評価のあった回答に対する過去の修正履歴を表示したり、修正履歴を基にした修正例を画面に表示したりするようにしてもよい。これにより、回答の修正において生成ＡＩ６による修正候補や過去の修正履歴などの修正のヒントになる情報を参照しながら精度の高い修正を行うことができる。The information processing device 1 acquires the correction candidates sent from the generation AI 6 (step S309) and examines and edits the answer based on the correction candidates (step S310). The examination and editing (correction) of the answer may be performed by the knowledge administrator while referring to the new answer candidates generated by the generation AI 6, or the new answer generated by the generation AI 6 may be automatically determined as the corrected answer. Furthermore, when accepting edits to an answer, correction examples obtained by inputting different prompts to a different generation AI 6 or the same generation AI 6 may be displayed on the screen so that the corrector can select from them. Furthermore, past correction history for evaluated answers may be displayed, or correction examples based on the correction history may be displayed on the screen. This allows for highly accurate corrections to be made by referring to information that provides hints for correction, such as correction candidates from the generation AI 6 and past correction history.
情報処理装置１は、編集後の回答をナレッジＤＢ２１に登録する（ステップＳ３１１）。この一連の処理によって、ユーザから送られた評価に基づき生成ＡＩ６で生成した回答が精査されて、精度の高い回答としてナレッジＤＢ２１に登録される。したがって、ユーザからの回答に対する評価が回答に反映され、ナレッジＤＢ２１に蓄積される回答の精度が向上していくことになる。The information processing device 1 registers the edited answer in the knowledge DB 21 (step S311). Through this series of processes, the answer generated by the generation AI 6 is scrutinized based on the evaluation sent by the user, and is registered in the knowledge DB 21 as a highly accurate answer. Therefore, the user's evaluation of the answer is reflected in the answer, and the accuracy of the answers stored in the knowledge DB 21 is improved.
（画面表示例）
図５から図９は、回答の評価・修正における画面表示の一例を示す図である。
図５（ａ）は、ユーザが回答に対する評価を行う際に表示される画面の一例を示す図である。図５（ａ）に示す画面例には、ユーザの質問に対する生成ＡＩ６の回答が表示されるとともに、この回答に対する評価を入力する欄が表示される。評価を入力する欄には、図５（ｂ）に示すように評価例のボタンＢ１が表示されるとともに、コメントを入力するテキストボックスＴＢが表示される。ユーザは、取得した回答に対する評価を、ボタンＢ１の選択やテキストボックスＴＢへのコメントの入力によって自由に示すことができる。評価を入力した後、ユーザが送信ボタンＢ２を押すと、入力した評価が情報処理装置１へ送られ、フィードバックＤＢ２２に登録される。(Screen display example)
5 to 9 are diagrams showing examples of screen displays for evaluating and correcting answers.
FIG. 5( a) is a diagram showing an example of a screen displayed when a user evaluates an answer. The example screen shown in FIG. 5( a) displays the answer of the generation AI 6 to the user's question, as well as a field for inputting an evaluation of the answer. In the field for inputting the evaluation, an evaluation example button B1 is displayed, as shown in FIG. 5( b), and a text box TB for inputting a comment is displayed. The user can freely indicate their evaluation of the obtained answer by selecting button B1 or entering a comment in the text box TB. After inputting the evaluation, when the user presses send button B2, the input evaluation is sent to the information processing device 1 and registered in the feedback DB 22.
図６は、ハルシネーション一覧・管理の画面表示例である。情報処理装置１を使用するナレッジの管理者は、情報処理装置１を操作してユーザからの評価の例であるハルシネーションの一覧・管理の画面を参照して、ユーザからのフィードバックに対する処理を行う。ハルシネーション一覧には、ユーザの質問に付与されたＩＤ、ユーザからの評価があった日時（報告日）、ユーザＩＤ、回答の内容、ステータスなどがハルシネーションごとに表示される。管理者は、この一覧画面の操作ボタンを操作して、評価に基づく回答の精査および修正を行う。例えば、ステータスが「未対応」の回答について「詳細」のボタンＢ３を選択し、必要に応じて回答の修正を行う。また、ステータスが「対応不要」の回答については、特に修正の必要がないと判断する。Figure 6 is an example of a hallucination list and management screen display. A knowledge administrator using the information processing device 1 operates the information processing device 1 to refer to the hallucination list and management screen, which shows examples of user evaluations, and processes user feedback. The hallucination list displays, for each hallucination, the ID assigned to the user's question, the date and time the user evaluation was made (report date), the user ID, the content of the answer, the status, and so on. The administrator operates the operation buttons on this list screen to scrutinize and revise the answer based on the evaluation. For example, for an answer with a status of "Not addressed," the administrator selects the "Details" button B3 and revise the answer as necessary. Furthermore, for answers with a status of "No response required," the administrator determines that no particular revision is required.
図７は、回答の精査・修正を行う画面表示例である。図８は、図７に示す修正用入力欄の拡大図である。評価のあった回答に対する精査および修正を行う場合、例えば図６に示す一覧表示の操作ボタンを選択すると、その操作ボタンが選択された回答に対する修正画面（図７参照）が表示される。この画面には、ユーザの質問の内容と、修正前の回答と、修正後の回答が表示される。管理者は、ユーザから評価があった回答（修正前の回答）を参照し、ユーザの質問に対して適切な回答になっているかの精査を行い、図８に示す修正用入力欄の回答入力用のテキストボックスＴＢに修正後の回答を入力する。Figure 7 is an example of a screen display for reviewing and correcting an answer. Figure 8 is an enlarged view of the correction input field shown in Figure 7. When reviewing and correcting a rated answer, for example, by selecting an operation button in the list display shown in Figure 6, a correction screen (see Figure 7) for the answer for which that operation button was selected is displayed. This screen displays the content of the user's question, the answer before correction, and the corrected answer. The administrator refers to the answer that has been reviewed by the user (the answer before correction), reviews it to determine whether it is an appropriate answer for the user's question, and enters the corrected answer in the answer input text box TB in the correction input field shown in Figure 8.
修正した内容に対して他者の承認を得るための承認依頼ボタンＢ４が設けられていてもよい。承認依頼ボタンＢ３が選択された場合、修正後の内容の他者による承認があった場合のみ回答の修正が許可される。これにより、修正の内容のダブルチェックが行われる。An approval request button B4 may be provided to obtain approval from others for the revised content. When the approval request button B3 is selected, the answer will only be allowed to be revised if the revised content has been approved by others. This allows the content of the revisions to be double-checked.
図９は、回答の精査・修正を行う画面表示例の他の例である。評価のあった回答に対する精査および修正を行う場合、例えば図６に示す一覧表示の操作ボタンを選択すると、その操作ボタンが選択された回答に対する修正画面（図８参照）が表示される。この画面には、ユーザから評価のあった回答と、その元になる質問と、評価日時（フィードバック日時）が表示されるとともに、回答の修正用入力欄が表示される。管理者は、ユーザから評価があった回答（修正前の回答）を参照し、ユーザの質問に対して適切な回答になっているかの精査を行い、回答入力用のテキストボックスＴＢに修正後の回答を入力する。Figure 9 is another example of a screen display for reviewing and correcting answers. When reviewing and correcting a rated answer, for example, selecting an operation button in the list display shown in Figure 6 displays a correction screen (see Figure 8) for the answer for which that operation button was selected. This screen displays the answer that the user has rated, the question on which it was based, and the date and time of the evaluation (feedback date and time), as well as an input field for correcting the answer. The administrator references the answer that the user has rated (the answer before correction) and reviews whether it is an appropriate answer for the user's question, and enters the corrected answer in the answer input text box TB.
また、修正用入力欄には生成ＡＩ６による修正案を表示させるためのボタンＢ５があり、このボタンを選択することで、回答入力用のテキストボックスＴＢに並んだＡＩ修正案表示欄Ａに生成ＡＩ６による修正候補が表示される。管理者は、生成ＡＩ６による修正の候補例を参照して、それを修正後の回答として採用してもよいし、さらに手直しを加えて修正後の回答を作成する。また、生成ＡＩ６によって修正候補を生成させる場合、異なる生成ＡＩ６、あるいは同じ生成ＡＩ６に異なる修正案を生成させて表示するようにしてもよい。これにより、管理者は生成ＡＩ６による複数の修正案から適したものを選択できるようになる。修正が完了したら、修正を保存のボタンＢ６を押すことで、修正後の回答がナレッジＤＢ２１に登録される。The correction input field also has a button B5 for displaying correction suggestions made by the generation AI 6. Selecting this button displays correction suggestions made by the generation AI 6 in the AI correction suggestion display field A next to the answer input text box TB. The administrator can refer to the correction suggestions made by the generation AI 6 and adopt them as the corrected answer, or make further adjustments to create the corrected answer. When correction suggestions are generated by the generation AI 6, different correction suggestions can be generated and displayed by different generation AI 6s, or by the same generation AI 6. This allows the administrator to select the appropriate one from multiple correction suggestions made by the generation AI 6. Once the corrections are complete, the administrator can press the Save Corrections button B6 to register the corrected answer in the knowledge DB 21.
以上説明したように、本実施形態によれば、ユーザの問い合わせに対して生成ＡＩが生成する回答の精度を高めることができる方法、プログラムおよび情報処理装置を提供することが可能となる。As described above, this embodiment makes it possible to provide a method, program, and information processing device that can improve the accuracy of answers generated by the generation AI in response to user inquiries.
なお、本発明は上述した実施形態に限定されるものではなく、更に種々のバリエーションを含む。当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更や代替を施すことが可能である。The present invention is not limited to the above-described embodiments, but includes various other variations. Those skilled in the art will be able to make various modifications and substitutions to the components of the above-described embodiments within the technical scope of the present invention or its equivalents.
また、上述した情報処理装置１により実行される処理の一部は、他の装置（サーバ等）により実行されてもよい。この場合、情報処理装置１の処理部１３と他の装置の処理部（プロセッサ等）とを含む複数のコンピュータによって本実施形態に係る情報処理装置としての処理が実行されていると言える。Furthermore, some of the processing performed by the information processing device 1 described above may be performed by another device (e.g., a server). In this case, it can be said that the processing of the information processing device according to this embodiment is performed by multiple computers including the processing unit 13 of the information processing device 1 and processing units (e.g., processors) of the other devices.
以下、本願の出願当初の特許請求の範囲に記載の内容を付記する。
［１］
ユーザの問い合わせに対して生成ＡＩ（Artificial Intelligence）が生成する回答の精度を高める処理を情報処理装置で行う方法であって、
前記情報処理装置は、記憶装置にアクセス可能であり、
前記記憶装置は、前記生成ＡＩが前記回答を生成するために使用する回答例の情報を記憶し、
前記ユーザからの前記回答に関する評価を受け付けるステップと、
前記評価を受けた前記回答を画面に表示するステップと、
前記画面に表示された前記回答の修正を受け付けるステップと、
修正された前記回答を問い合わせ例と紐付けて前記回答例の情報として前記記憶装置に記憶するステップと、を有する、
方法。
［２］
前記回答の修正を受け付けるステップは、修正後の前記回答について承認を受け付けることを含み、
前記修正後の前記回答を前記記憶装置に記憶するステップは、前記承認を受けた前記修正後の回答を前記記憶装置に記憶することを含む、
［１］に記載の方法。
［３］
前記評価を受けた前記回答を画面に表示するステップは、前記生成ＡＩが前記回答の生成のために用いた前記回答例を前記画面に表示することを含む、
［１］に記載の方法。
［４］
前記評価を受けた前記回答を画面に表示するステップは、前記評価の内容を基に、前記生成ＡＩが前記回答の生成のために用いた前記回答例を生成することを含む、
［１］に記載の方法。
［５］
前記評価は、前記回答が不正解、前記回答に古い情報が含まれる、前記回答が有害な情報である、という評価のうち少なくとも一つを含む、
［１］に記載の方法。
［６］
前記回答の修正を受け付けるステップは、修正前の回答と、修正後の回答を入力するための入力ボックスとを前記画面に表示することを含む、
［１］に記載の方法。
［７］
前記回答の修正を受け付けるステップは、前記生成ＡＩによって前記回答の修正例の候補を前記画面に表示することを含む、
［１］に記載の方法。
［８］
前記回答の修正を受け付けるステップは、異なる前記生成ＡＩ、あるいは同じ前記生成ＡＩに異なるプロンプトを入力して得た修正例を、修正者が選択可能な画面を表示することを含む、
［１］に記載の方法。
［９］
前記回答の修正を受け付けるステップは、過去の修正履歴を基に、前記修正例を表示することを含む、
［８］に記載の方法。
［１０］
前記評価を受けた前記回答を画面に表示するステップは、前記評価を受けた複数の前記回答をリスト表示するとともに、それぞれの前記回答についての対応状況をステータスとして示すことを含む、
［１］に記載の方法。
［１１］
ユーザの問い合わせに対して生成ＡＩが生成する回答の精度を高める処理を情報処理装置に行わせる命令を含んだプログラムであって、
前記回答の精度を高める処理は、［１］～［１０］のいずれか１つに記載された方法の各ステップを含む、
プログラム。
［１２］
ユーザの問い合わせに対して生成ＡＩが生成する回答の精度を高める処理を情報処理装置であって、
処理部と、
前記処理部に処理を行わせる命令を記憶した記憶部とを有し、
前記処理部が前記命令に従って行う処理は、［１］～［１０］のいずれか１つに記載された方法の各ステップを含む、
情報処理装置。
［１３］
ユーザの問い合わせに対して生成ＡＩが生成する回答の精度を高める処理を情報処理装置であって、
［１］～［１０］のいずれか１つに記載された方法の各ステップを行う手段を備えた、
情報処理装置。 The following additionally describes the contents of the claims as originally filed in this application.
[1]
A method for performing a process in an information processing device to improve the accuracy of an answer generated by a generation AI (Artificial Intelligence) in response to a user inquiry, comprising:
the information processing device is capable of accessing a storage device;
The storage device stores information on example answers used by the generation AI to generate the answer,
receiving an evaluation from the user regarding the answer;
displaying the evaluated answer on a screen;
a step of accepting corrections to the answer displayed on the screen;
and linking the corrected answer to the example inquiry and storing it in the storage device as information about the example answer.
method.
[2]
The step of accepting a correction to the answer includes accepting approval for the corrected answer;
the step of storing the corrected answer in the storage device includes storing the approved corrected answer in the storage device.
The method described in [1].
[3]
The step of displaying the evaluated answer on a screen includes displaying the example answer used by the generation AI to generate the answer on the screen.
The method described in [1].
[4]
The step of displaying the evaluated answer on a screen includes generating the example answer used by the generation AI to generate the answer based on the content of the evaluation.
The method described in [1].
[5]
The evaluation includes at least one of the following evaluations: the answer is incorrect, the answer contains outdated information, and the answer contains harmful information.
The method described in [1].
[6]
the step of accepting a correction of the answer includes displaying on the screen the answer before the correction and an input box for inputting the corrected answer;
The method described in [1].
[7]
The step of accepting a correction of the answer includes displaying candidates for correction examples of the answer on the screen by the generation AI.
The method described in [1].
[8]
The step of accepting corrections to the answer includes displaying a screen that allows the corrector to select correction examples obtained by inputting different prompts to a different generating AI or the same generating AI.
The method described in [1].
[9]
The step of accepting corrections to the answer includes displaying the correction examples based on a past correction history.
The method described in [8].
[10]
The step of displaying the evaluated answers on a screen includes displaying a list of the evaluated answers and indicating a response status for each of the answers as a status.
The method described in [1].
[11]
A program including instructions for causing an information processing device to perform a process for improving the accuracy of an answer generated by a generation AI in response to a user's inquiry,
The process of improving the accuracy of the answer includes the steps of the method described in any one of [1] to [10].
program.
[12]
An information processing device that performs a process of improving the accuracy of an answer generated by a generation AI in response to a user's inquiry,
a processing unit;
a storage unit that stores instructions for causing the processing unit to perform processing;
The processing performed by the processing unit in accordance with the instructions includes each step of the method described in any one of [1] to [10].
Information processing device.
[13]
An information processing device that performs a process of improving the accuracy of an answer generated by a generation AI in response to a user's inquiry,
[1] to [10], comprising means for performing each step of the method described in any one of [1] to [10],
Information processing device.
１…情報処理装置、２…記憶装置、３…端末装置、４…クラウドサーバ、５…検索エンジン、６…生成ＡＩ、９…通信ネットワーク、１１…通信部、１２…記憶部、１３…処理部、２１…ナレッジデータベース、２２…フィードバックデータベース、１２１…プログラム、ナレッジデータベース（ＤＢ）…２１、２２…フィードバックデータベース（ＤＢ）、Ａ…ＡＩ修正案表示欄、Ｂ１…ボタン、Ｂ２…送信ボタン、Ｂ３…ボタン、Ｂ４…承認依頼ボタン、Ｂ５…ボタン、Ｂ６…ボタン、ＴＢ…テキストボックス1...information processing device, 2...storage device, 3...terminal device, 4...cloud server, 5...search engine, 6...generative AI, 9...communication network, 11...communication unit, 12...storage unit, 13...processing unit, 21...knowledge database, 22...feedback database, 121...program, knowledge database (DB)...21, 22...feedback database (DB), A...AI revision proposal display field, B1...button, B2...send button, B3...button, B4...approval request button, B5...button, B6...button, TB...text box
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2025010374AJP7730219B1 (en) | 2025-01-24 | 2025-01-24 | Method, program, and information processing device for performing processing to improve the accuracy of answers provided by generation AI |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2025010374AJP7730219B1 (en) | 2025-01-24 | 2025-01-24 | Method, program, and information processing device for performing processing to improve the accuracy of answers provided by generation AI |
| Publication Number | Publication Date |
|---|---|
| JP7730219B1true JP7730219B1 (en) | 2025-08-27 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2025010374AActiveJP7730219B1 (en) | 2025-01-24 | 2025-01-24 | Method, program, and information processing device for performing processing to improve the accuracy of answers provided by generation AI |
| Country | Link |
|---|---|
| JP (1) | JP7730219B1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7508715B1 (en)* | 2024-01-23 | 2024-07-01 | オリエンタル白石株式会社 | Asynchronous dialogue system and program |
| CN118585623A (en)* | 2024-05-31 | 2024-09-03 | 武汉Tcl集团工业研究院有限公司 | Text processing system and method based on knowledge base and large model |
| CN118779437A (en)* | 2024-09-12 | 2024-10-15 | 北京市大数据中心 | A large model RAG method based on hierarchical indexing and hybrid retrieval |
| CN119106123A (en)* | 2024-09-18 | 2024-12-10 | 百度国际科技（深圳）有限公司 | Question answering method, training method, device, intelligent agent, equipment and medium based on large model |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7508715B1 (en)* | 2024-01-23 | 2024-07-01 | オリエンタル白石株式会社 | Asynchronous dialogue system and program |
| CN118585623A (en)* | 2024-05-31 | 2024-09-03 | 武汉Tcl集团工业研究院有限公司 | Text processing system and method based on knowledge base and large model |
| CN118779437A (en)* | 2024-09-12 | 2024-10-15 | 北京市大数据中心 | A large model RAG method based on hierarchical indexing and hybrid retrieval |
| CN119106123A (en)* | 2024-09-18 | 2024-12-10 | 百度国际科技（深圳）有限公司 | Question answering method, training method, device, intelligent agent, equipment and medium based on large model |
| Publication | Publication Date | Title |
|---|---|---|
| WO2020077824A1 (en) | Method, apparatus, and device for locating abnormality, and storage medium | |
| JP2023001377A (en) | Information processing device, method and program | |
| JP6424315B2 (en) | Learning support apparatus, learning support program, and learning support method | |
| KR102285142B1 (en) | Apparatus and method for recommending learning data for chatbots | |
| US20160148105A1 (en) | Information providing system, information providing method, and non-transitory recording medium | |
| JP6442807B1 (en) | Dialog server, dialog method and dialog program | |
| JP7488617B1 (en) | Program, method, information processing device, and system | |
| JP2025068567A (en) | Program, method, information processing apparatus, and system | |
| JP7521775B2 (en) | Information processing device, annotation evaluation program, and annotation evaluation method | |
| CN118503396B (en) | ERP system large model calling method, device and medium based on open prompt words | |
| JP2021108033A (en) | Question-answer display server, question-answer display method, and question-answer display program | |
| CN117971953A (en) | Data analysis result visualization method, device, equipment and storage medium | |
| JP7684500B1 (en) | Information processing system, information processing method, and program | |
| US20220343087A1 (en) | Matching service requester with service providers | |
| WO2025182557A1 (en) | Program, method, information processing device, and system | |
| JP7527580B1 (en) | Program, method, information processing device, and system | |
| CN111881270B (en) | Intelligent dialogue method and system | |
| JP2019133418A (en) | Search device, search method, program, and database | |
| JP7730219B1 (en) | Method, program, and information processing device for performing processing to improve the accuracy of answers provided by generation AI | |
| JP2024009724A (en) | Dialogue answer candidate suggestion system and dialogue answer candidate proposal method | |
| CN114707823A (en) | Interactive content scoring method and device, electronic equipment and storage medium | |
| CN113988088B (en) | Continuous integration-based translation auxiliary database development method and management server | |
| JP7586980B1 (en) | Information providing device, information providing method, and information providing program | |
| JP7667611B1 (en) | Program, method, information processing device, and system | |
| JP7749618B2 (en) | Program, information processing device, manufacturing method, and information processing method |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20250124 | |
| A871 | Explanation of circumstances concerning accelerated examination | Free format text:JAPANESE INTERMEDIATE CODE: A871 Effective date:20250124 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20250401 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20250516 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20250715 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20250807 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:7730219 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| S531 | Written request for registration of change of domicile | Free format text:JAPANESE INTERMEDIATE CODE: R313531 |