本発明は、人工知能が自由記述問題に対する採点基準を自動的に作成し、その採点基準に基づいて、人工知能が自動的に、かつ客観的に採点をする自由記述問題自動採点システムに関するものである。The present invention relates to an automatic scoring system for free-form writing questions in which artificial intelligence automatically creates scoring criteria for free-form writing questions and automatically and objectively scores questions based on the scoring criteria.
従来から、多数の受験者・受検者の解答（記号問題の解答）を人工知能（ＡＩ）により自動的に採点する自動採点システム（例えば、デジタル採点システム等）がある。しかしながら、自由記述問題の採点は解答が千差万別であることから、システムによる自動的な採点は困難と言われており、最終的には、主観的に採点者）が定めた採点基準、または採点者の能力に応じた点が行われている。Conventionally, there have been automatic marking systems (such as digital marking systems) that use artificial intelligence (AI) to automatically mark the answers (answers to symbolic questions) of many examinees and test takers. However, since the answers to free-form writing questions vary widely, it is said that it is difficult for a system to automatically mark them, and ultimately, marks are given according to the marking criteria set subjectively by the grader) or according to the grader's ability.
これに対し、特許文献１では、文章解答問題をＡＩによって自動採点するシステムであって、解答文章の判定のためのＡＩの学習パターン構造として、最大４つのカテゴリー、すなわち正解としての正答 誤答としての結論逆 前提あるいは理由逆 論外から構成する構成手段と各４つのパターンに分けた解答例をＡＩに記憶させる記憶手段と、解答された文章をそのカテゴリーへ記憶させたパターン例との近似をＡＩに判定させて各カテゴリーにおける確率を判定させる判定手段と、学習者の文章問題の解答について正答率を適正度として判定表示する判定手段とを有し、文章の前提（主語や理由部分）と結論部分の組み合わせを変化させて正答のみでなく、誤答についても解答パターンをＡＩに記憶させることにより、少ないパターンの機械学習によって判定精度を上げ、ヒトによるチェックを大幅に減らすことを可能とする文章解答問題自動採点システムが提案されている。In response to this, Patent Document 1 proposes a system for automatically marking sentence-answer questions using AI, which has a configuration means for composing a learning pattern structure for the AI for judging answer sentences into up to four categories, namely, correct answer as the correct answer, reverse conclusion as the incorrect answer, reverse premise or reason, and non-argument, and a storage means for storing answer examples divided into four patterns in the AI, a judgment means for having the AI judge the approximation of the answered sentence to the pattern examples stored in that category and judge the probability in each category, and a judgment means for judging and displaying the correct answer rate of the learner's answer to the sentence problem as the appropriateness, and by changing the combination of the premise (subject or reason part) and conclusion part of the sentence and having the AI memorize answer patterns not only for correct answers but also for incorrect answers, the system improves judgment accuracy by machine learning of a small number of patterns and makes it possible to significantly reduce human checking.
しかしながら、現在、実用化されている自動採点システムは、手書きした記号、数値（数字）のみをＡＩによって自動採点するシステムあり、英単語、漢字等であっても自動採点できず、最終的にヒト（採点者）が目視で正答を判断している。However, the automatic marking systems currently in use only use AI to mark handwritten symbols and numerical values (digits); they cannot automatically mark English words, kanji characters, etc., and ultimately humans (markers) visually determine the correct answer.
また、上述した文章解答問題自動採点システムは、正答判定の精度を高め、ヒト（採点者）によるチェックを大幅に減らすことはできるが、自動採点を完全に行うことはできないという問題点があった。In addition, the above-mentioned automatic scoring system for essay-answer questions can increase the accuracy of determining correct answers and significantly reduce the need for human (scorer) checking, but it has the problem that it cannot perform completely automatic scoring.
加えて、上述した文章解答問題自動採点システムであっても、客観的な採点を行うためには、与えられた問題に応じて、その都度ヒトが採点基準を作成する必要があり、採点基準を作成するには相当の労力・時間がかかるという問題点があった。In addition, even with the above-mentioned automatic scoring system for essay-answer questions, in order to score objectively, a human must create scoring criteria for each given question, and creating the scoring criteria requires a considerable amount of time and effort.
さらに、ヒト（採点者）による採点であっても、複数の採点者で同一問題の採点にあたる場合には、採点者個々の能力により、採点結果に偏りが出てしまうという問題点や、Inter-rater reliability（採点者間信頼性）を高めるために、採点前に膨大な時間を費やすことがあるという問題点があった。Furthermore, even when marking is done by humans (raters), when multiple raters are marking the same questions, there is the problem that the marking results can be biased due to the ability of each rater, and that a huge amount of time may be spent before marking in order to increase inter-rater reliability.
本発明は上述した事情に鑑み、自由記述問題に対する採点基準を人工知能が自動的に作成し、その採点基準に基づいて、人工知能が自動的に、かつ客観的に採点をする自由記述問題自動採点システムおよび自由記述問題自動採点方法を提供することを目的とする。In consideration of the above-mentioned circumstances, the present invention aims to provide an automatic free-response question grading system and method in which an artificial intelligence automatically creates grading criteria for free-response questions and automatically and objectively grades questions based on the grading criteria.
また、本発明は、正解に至るまでの解法プロセスを採点基準とすることができるので、解答者の解答が現段階でどの段階まで到達し、どんな知識・技能が解答者の課題であるか、解答集団の課題がどこにあるかを把握することが可能となる。In addition, the present invention can use the solution process leading to the correct answer as the grading criterion, making it possible to grasp the current stage of the solver's solution, what knowledge and skills the solver is lacking, and where the challenges lie for the group of solvers.
さらに、本発明は、問題出題者が採点に時間と労力がかかるという理由で出題を躊躇していた自由記述問題を今後、必要に応じて容易に出題することが可能となり、あらゆる試験の出題に対して変革をもたらすものであり、人類全体の学力を飛躍的に伸ばすものである。今後、世界の自由記述で解答を求める試験を課すあらゆる分野の教育を大きく変える可能性を秘めたものである。Furthermore, this invention will make it easier to ask free-form questions as needed, something that question writers have been hesitant to do because of the time and effort required to grade them, bringing about a revolution in the way questions are asked in all exams and dramatically improving the academic ability of all humanity. It has the potential to bring about major changes in education in all fields around the world that require free-form writing in exams.
なお、これらの問題点（課題）は、他の課題の存在を妨げるものではない。また、後述する本発明の各態様は、これらの問題点（課題）の全てを解決する必要はないものとする。さらに、明細書、図面または請求項の記載から、これら以外の問題点（課題）を抽出することが可能である。Note that these problems (issues) do not preclude the existence of other issues. Furthermore, each aspect of the present invention described below does not necessarily solve all of these problems (issues). Furthermore, it is possible to extract other problems (issues) from the description in the specification, drawings, or claims.
本発明の発明者は、上述した問題点に関して鋭意研究を続けた結果、以下のような画期的な自由記述問題自動採点システムを見出した。As a result of extensive research into the problems mentioned above, the inventors of the present invention have discovered the following groundbreaking automatic scoring system for free-form writing questions.
上記課題を解決するための本発明の第１の態様は、人工知能によって、所定の試験科目に関する自由記述問題に対し、解答者の解答を自動的に採点する自由記述問題自動採点システムであって、人工知能は、所定の試験科目に関する自由記述問題を示す自由記述問題情報と、自由記述問題に対する正解を示す正解情報と、自由記述問題に関する採点数を示す採点情報と、に基づいて、当該自由記述問題から当該正解に至るまでの解法プロセスに応じた採点基準を作成する採点基準作成部と、採点基準に基づいて、解答者の解答を示す解答情報から当該解答者の解答を採点する採点部と、を有する、ことを特徴とする自由記述問題自動採点システムにある。The first aspect of the present invention for solving the above problem is an automatic free-form question marking system that uses artificial intelligence to automatically mark a respondent's answer to a free-form question related to a specified test subject, characterized in that the artificial intelligence has a marking criteria creation unit that creates marking criteria according to the solution process from the free-form question to the correct answer based on free-form question information indicating the free-form question related to the specified test subject, correct answer information indicating the correct answer to the free-form question, and marking information indicating the number of marks for the free-form question, and a marking unit that marks the respondent's answer based on the marking criteria.
ここで、「自由記述問題」とは、問題の答えを単語だけでなく「文章」で答える形式の問題をいい、例えば、小論文、英作文、自由記述欄のある解答用紙に手書きした数学（算数）、理科（生物・化学・物理・地学）の計算過程を記述させる問題、社会（地理・歴史・倫理・政治経済）等の説明を要する自由記述問題、その他、大学や資格試験における論作問題等の問題に用いられる形式の問題である。また、「解法プロセス」とは、問題に対して正解を導くまでの手順をいう。Here, "free-form questions" refer to questions in which the answer is given not just in words but in "sentences," such as short essays, English compositions, questions that require handwritten calculations in mathematics (arithmetic) and science (biology, chemistry, physics, earth science) on answer sheets with free-form writing sections, free-form questions that require explanations in social studies (geography, history, ethics, political economy), and other types of questions used in university and qualification exams. "Solution process" refers to the steps taken to arrive at the correct answer to a question.
かかる第１の態様によれば、人工知能が、解法プロセスに応じた採点基準を自動的に作成し、その採点基準に基づいて、人工知能が自動的に、かつ客観的に採点する自由記述問題自動採点システムを提供することができる。According to this first aspect, it is possible to provide an automatic free-response question grading system in which the artificial intelligence automatically creates grading criteria according to the solution process, and the artificial intelligence automatically and objectively grades the questions based on the grading criteria.
本発明の第２の態様は、採点基準作成部は、採点基準を作成する際に考慮すべき条件を示す制約情報と、所定の試験科目に関する自由記述問題を示す自由記述問題情報と、自由記述問題情報に対する正解を示す正解情報と、自由記述問題情報に関する採点数を示す採点情報と、に基づいて、当該自由記述問題から当該正解に至るまでの解法プロセスに応じた採点基準を作成することを特徴とする、第１の態様に記載の自由記述問題自動採点システムにある。A second aspect of the present invention is the automatic free-form question grading system according to the first aspect, characterized in that the grading criteria creation unit creates grading criteria according to the solution process from the free-form question to the correct answer, based on constraint information indicating conditions to be considered when creating the grading criteria, free-form question information indicating free-form questions related to a specified test subject, correct answer information indicating the correct answer to the free-form question information, and grading information indicating the number of points for the free-form question information.
かかる第２の態様によれば、自由記述問題に対する採点基準（制約情報を満たす）を人工知能が自動的に作成し、その採点基準に基づいて、人工知能が自動的に、かつ客観的に採点する自由記述問題自動採点システムを提供することができる。According to the second aspect, an automatic free-response question grading system can be provided in which the artificial intelligence automatically creates grading criteria (satisfying constraint information) for free-response questions, and the artificial intelligence automatically and objectively grades questions based on the grading criteria.
本発明の第３の態様は、制約情報は、所定のルーブリックであることを特徴とする第２の態様に記載の自由記述問題自動採点システムにある。A third aspect of the present invention is an automatic scoring system for free-form writing questions according to the second aspect, characterized in that the constraint information is a predetermined rubric.
ここで、「ルーブリック」とは、成功の度合いを示す数レベル程度の尺度のことをいい、より具体的には、次の３つの特徴を持つ学習の達成度を測定するための評価ツールをいう。
（１）評価の観点と尺度を一覧表で可視化する。
（２）学習目標の達成度合いを判断するために使用される。
（３）評価の「観点」と「尺度」をマトリクス表で示した絶対評価の判断規準となるツールである。Here, a "rubric" refers to a scale with several levels that indicates the degree of success, and more specifically, to an assessment tool for measuring the achievement of learning that has the following three characteristics:
(1) Visualize the evaluation criteria and scales in a table.
(2) It is used to judge the degree of achievement of learning objectives.
(3) It is a tool that serves as a criterion for absolute evaluation, showing the evaluation "perspectives" and "scales" in a matrix table.
なお、本態様のルーブリックは、指導または支援する者（例えば、教師、講師、教授等）により作成されるものである。Note that the rubric in this embodiment is created by a person who provides guidance or support (e.g., a teacher, lecturer, professor, etc.).
かかる第３の態様によれば、自由記述問題に対する、ルーブリックをも満たす採点基準を人工知能が自動的に作成し、その採点基準に基づいて、人工知能が自動的に、かつ客観的に採点する自由記述問題自動採点システムを提供することができる。その結果、指導または支援する者（例えば、教師、講師、教授等）と学習者が評価基準を共有し、公平で透明性の高い評価を行うことができる。According to the third aspect, an automatic free-response question grading system can be provided in which the artificial intelligence automatically creates grading criteria for free-response questions that also satisfy the rubric, and the artificial intelligence automatically and objectively grades the questions based on the grading criteria. As a result, the instructor or supporter (e.g., teacher, lecturer, professor, etc.) and the learner can share the evaluation criteria, allowing for fair and transparent evaluation.
本発明の第４の態様は、採点基準作成部は、自由記述問題情報および正解情報には示されていないが、ヒトが自由記述問題から正解に至るまでに、意識的または無意識に検討すると推定される推定思考プロセスも考慮した採点基準を作成することを特徴とする、第１～第３の態様の何れか１つに記載の自由記述問題自動採点システムにある。すなわち、本態様の採点基準作成部は、所定の試験科目に関する自由記述問題を示す自由記述問題情報と、自由記述問題に対する正解を示す正解情報と、自由記述問題に関する採点数を示す採点情報と、上述した推定思考プロセスと、に基づいて、自由記述問題から正解に至るまでの解法プロセスに応じた採点基準を作成してもよいし、採点基準を作成する際に考慮すべき条件を示す制約情報と、所定の試験科目に関する自由記述問題を示す自由記述問題情報と、自由記述問題情報に対する正解を示す正解情報と、自由記述問題情報に関する採点数を示す採点情報と、上述した推定思考プロセスと、に基づいて、自由記述問題から正解に至るまでの解法プロセスに応じた採点基準を作成してもよい。The fourth aspect of the present invention is the free-form question automatic marking system according to any one of the first to third aspects, characterized in that the marking criterion creation unit creates a marking criterion that takes into account an estimated thought process that is not shown in the free-form question information and the correct answer information but is estimated to be considered consciously or unconsciously by a human being from a free-form question to a correct answer. That is, the marking criterion creation unit of this aspect may create a marking criterion according to a solution process from a free-form question to a correct answer based on free-form question information indicating a free-form question related to a specified test subject, correct answer information indicating a correct answer to the free-form question, marking information indicating the number of marks for the free-form question, and the estimated thought process described above, or may create a marking criterion according to a solution process from a free-form question to a correct answer based on constraint information indicating conditions to be considered when creating the marking criterion, free-form question information indicating a free-form question related to a specified test subject, correct answer information indicating a correct answer to the free-form question information, marking information indicating the number of marks for the free-form question information, and the estimated thought process described above.
かかる第４の態様によれば、採点基準作成部は推定思考プロセスをも考慮した採点基準を作成することができるので、より適切な採点基準に基づいて採点する自由記述問題自動採点システムを提供することができる。According to the fourth aspect, the marking criteria creation unit can create marking criteria that also take into account estimated thought processes, making it possible to provide an automatic free-response question marking system that marks questions based on more appropriate marking criteria.
本発明の第５の態様は、推定思考プロセスは、メタ認知（自己の思考プロセスの認識）、批判的思考、論理的思考、直感的思考および問題解決能力の少なくとも１つであることを特徴とする、第４の態様に記載の自由記述問題自動採点システムにある。A fifth aspect of the present invention is an automatic scoring system for free-form questions according to the fourth aspect, characterized in that the estimated thought process is at least one of metacognition (recognition of one's own thought process), critical thinking, logical thinking, intuitive thinking, and problem-solving ability.
かかる第５の態様によれば、さらに適切な採点基準に基づいて採点する自由記述問題自動採点システムを提供することができる。According to the fifth aspect, it is possible to provide an automatic free-response question marking system that marks questions based on more appropriate marking criteria.
本発明の第６の態様は、採点基準作成部は、ルーブリックをも考慮した採点基準を作成することを特徴とする、第１～第３の態様の何れか１つに記載の自由記述問題自動採点システムにある。すなわち、本態様の採点基準作成部は、所定の試験科目に関する自由記述問題を示す自由記述問題情報と、自由記述問題に対する正解を示す正解情報と、自由記述問題に関する採点数を示す採点情報と、上述したルーブリックと、に基づいて、自由記述問題から正解に至るまでの解法プロセスに応じた採点基準を作成してもよいし、採点基準を作成する際に考慮すべき条件を示す制約情報と、所定の試験科目に関する自由記述問題を示す自由記述問題情報と、自由記述問題情報に対する正解を示す正解情報と、自由記述問題情報に関する採点数を示す採点情報と、上述したルーブリックと、に基づいて、自由記述問題から正解に至るまでの解法プロセスに応じた採点基準を作成してもよい。A sixth aspect of the present invention is the system for automatically marking free-form questions according to any one of the first to third aspects, characterized in that the marking criterion creation unit creates marking criteria that also take into account a rubric. That is, the marking criterion creation unit of this aspect may create marking criteria according to the solution process from a free-form question to a correct answer based on free-form question information indicating a free-form question related to a specified test subject, correct answer information indicating a correct answer to the free-form question, marking information indicating the number of marks for the free-form question, and the above-mentioned rubric, or may create marking criteria according to the solution process from a free-form question to a correct answer based on constraint information indicating conditions to be considered when creating the marking criteria, free-form question information indicating a free-form question related to a specified test subject, correct answer information indicating a correct answer to the free-form question information, marking information indicating the number of marks for the free-form question information, and the above-mentioned rubric.
かかる第６の態様によれば、採点基準作成部はルーブリックをも考慮した採点基準を作成することができるので、個々の解答者の学力をより適切な採点基準に基づいて採点する自由記述問題自動採点システムを提供することができる。According to the sixth aspect, the marking criteria creation unit can create marking criteria that take rubrics into consideration, making it possible to provide an automatic free-response question marking system that marks the academic ability of each answerer based on more appropriate marking criteria.
本発明の第７の態様は、採点基準作成部は、解法プロセスの数の倍数が採点情報と等しくなるように採点基準を作成する、ことを特徴とする請求項１に記載の自由記述問題自動採点システムにある。A seventh aspect of the present invention is the automatic scoring system for free-form questions described in claim 1, characterized in that the scoring criteria creation unit creates the scoring criteria so that a multiple of the number of solution processes is equal to the scoring information.
かかる第７の態様によれば、解答者の解答をより客観的に採点する自由記述問題自動採点システムを提供することができる。According to the seventh aspect, it is possible to provide an automatic scoring system for free-form questions that scores the answers of the answerers more objectively.
本発明の第８の態様は、前記採点基準作成部により作成された前記採点基準が、ヒトにより修正されることを特徴とする、第１の態様に記載の自由記述問題自動採点システムにある。The eighth aspect of the present invention is the automatic scoring system for free-form questions described in the first aspect, characterized in that the scoring criteria created by the scoring criteria creation unit are modified by a human.
ここで、「ヒト」は、採点者や自由記述問題の作成者だけでなく、第三者であってもよい。Here, "people" may refer not only to graders or people who create free-response questions, but also to third parties.
かかる第８の態様によれば、ヒトが採点基準を修正することにより、人工知能では考慮されなかった条件（基準）や必ず考慮すべき条件（基準）等を採点基準に反映させることができる。According to this eighth aspect, a human can modify the scoring criteria, thereby allowing conditions (criteria) that were not taken into account by the artificial intelligence or conditions (criteria) that must be taken into account to be reflected in the scoring criteria.
本発明の第９の態様は、解答者の解答は、解答用紙に手書されたものであり、解答用紙に手書きされたものから解答情報を抽出する解答情報抽出部をさらに有することを特徴とする、第１の態様に記載の自由記述問題自動採点システムにある。A ninth aspect of the present invention is an automatic scoring system for free-form questions as described in the first aspect, characterized in that the answer of the answerer is handwritten on an answer sheet, and the system further includes an answer information extraction unit that extracts answer information from the handwritten answer on the answer sheet.
かかる第９の態様によれば、手間暇をかけずに、解答者の手書きの解答から自動的に採点する自由記述問題自動採点システムを提供することができる。According to the ninth aspect, it is possible to provide an automatic free-response question marking system that automatically marks answers written by answerers without any time or effort.
なお、本発明において、「データベース」、「システム」、「部」とは、単に物理的手段を意味するものではなく、その「データベース」、「部」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「データベース」、「システム」、「部」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「データベース」、「システム」、「部」の機能が１つの物理的手段や装置により実現されてもよい。In this invention, the terms "database," "system," and "unit" do not simply mean physical means, but also include cases where the functions of the "database," "unit," or "system" are realized by software. Furthermore, the functions of one "database," "system," or "unit" may be realized by two or more physical means or devices, and the functions of two or more "databases," "systems," or "units" may be realized by one physical means or device.
以下に添付図面を参照して、本発明に係る自由記述問題自動採点システムの実施形態を説明する。なお、本発明は、以下の実施形態に限定されるものではない。Below, an embodiment of the automatic scoring system for free-form questions according to the present invention will be described with reference to the attached drawings. Note that the present invention is not limited to the following embodiment.
（実施形態１）
本実施形態の自由記述問題自動採点システム１は、所定の試験科目に関する自由記述問題とその自由記述問題の正解とに基づいて、所定の試験科目における自由記述問題に対する解法プロセスを生成するように学習が行われている人工知能（ＡＩ）を用いることによって、その人工知能が採点基準を自動的に作成すると共に、その採点基準に基づいて解答者の解答を自動的に採点するものである。そして、この自由記述問題自動採点システム１は、図１に示すように、複数の端末１０と、ネットワーク２０を介して、それらの端末１０と接続された自由記述問題自動採点サーバ３０とで構成されている。ネットワーク２０は、端末１０と自由記述問題自動採点サーバ３０とを接続できるものであれば無線・有線問わず限定されず、例えばインターネットやイントラネット等が挙げられる。(Embodiment 1)
The free-writing question automatic marking system 1 of the present embodiment uses an artificial intelligence (AI) that is trained to generate a solution process for free-writing questions in a specified test subject based on free-writing questions related to the specified test subject and the correct answers to the free-writing questions, and the AI automatically creates marking criteria and automatically marks the answer of the answerer based on the marking criteria. As shown in FIG. 1, the free-writing question automatic marking system 1 is composed of a plurality of terminals 10 and a free-writing question automatic marking server 30 connected to the terminals 10 via a network 20. The network 20 is not limited to a wireless or wired network as long as it can connect the terminals 10 and the free-writing question automatic marking server 30, and examples of the network include the Internet and an intranet.
ここで、解答者は１人であってもよいし、複数であってもよい。また、所定の試験科目とは、例えば、小学校、中学校、高校、大学等で予め定められている科目や、司法試験、弁理士試験、司法書士、公認会計士試験、税理士試験、社会保険労務士試験、行政書士試験等の資格試験等に関係する科目をいい、具体例としては、英語、国語、数学（算数）、理科、社会（地歴公民）、憲法、民法、民事訴訟法、刑法、刑事訴訟法等をいう。Here, there may be one or more respondents. Furthermore, the prescribed test subjects refer to, for example, subjects that are predetermined in elementary schools, junior high schools, high schools, universities, etc., or subjects related to qualification exams such as the bar exam, patent attorney exam, judicial scrivener exam, certified public accountant exam, tax accountant exam, social insurance labor consultant exam, and administrative scrivener exam. Specific examples include English, Japanese, mathematics (arithmetic), science, social studies (geography, history, and civics), constitutional law, civil law, civil procedure code, criminal law, criminal procedure code, etc.
まず、端末１０について説明する。端末１０は、所定の試験科目に関する自由記述問題が含まれる試験を受ける解答者や、解答者を指導または支援する者（例えば、教師、講師、教授等）等に使用されるものであり、図２に示すように、自由記述問題自動採点システム１の採点結果を出力する出力部１１と、解答者等が自由記述問題自動採点システム１に自由記述問題情報、正解情報および解答情報を入力する入力部１２とを有している。なお、正解情報を人工知能が作成する場合には、入力部に正解情報を入力しなくてもよいのは言うまでもない。First, the terminal 10 will be described. The terminal 10 is used by test-taker taking a test that includes free-response questions related to a specified test subject, or by a person who guides or supports the test-taker (e.g., a teacher, lecturer, professor, etc.), and as shown in FIG. 2, has an output unit 11 that outputs the grading results of the free-response question automatic grading system 1, and an input unit 12 through which the test-taker inputs free-response question information, correct answer information, and answer information to the free-response question automatic grading system 1. It goes without saying that if the correct answer information is created by artificial intelligence, the correct answer information does not need to be input to the input unit.
出力部１１は、自由記述問題自動採点システム１の採点結果を出力（例えば、文字、映像、画像、音声等）することができるものであれば特に限定されず、例えば、液晶ディスプレイ、点字ディスプレイやスピーカーが挙げられる。The output unit 11 is not particularly limited as long as it can output the grading results of the free-writing question automatic grading system 1 (e.g., text, video, images, audio, etc.), and examples include an LCD display, a Braille display, and a speaker.
入力部１２は、解答者等が自由記述問題自動採点システム１に自由記述問題情報、正解情報および解答情報（例えば、文字、映像、画像（解答用紙をスキャンした画像ファイルまたはＰＤＦファイルを含む。）、ＱＲコード（登録商標）、音声等）を入力することができるものであれば特に限定されず、例えば、キーボード、タッチパネル、マイク、スキャナ、カメラ、ＵＳＢメモリやネットワークを介したファイルの授受等が挙げられる。ここで、正解情報は、人工知能によって予め作成しておいてもよい。The input unit 12 is not particularly limited as long as it allows the respondent to input free-form question information, correct answer information, and answer information (e.g., text, video, image (including image files or PDF files of scanned answer sheets), QR codes (registered trademark), voice, etc.) to the free-form question automatic scoring system 1, and examples include a keyboard, touch panel, microphone, scanner, camera, USB memory, and file transfer via a network. Here, the correct answer information may be created in advance by artificial intelligence.
端末１０としては、上述した出力部１１および入力部１２を有するものであれば特に限定されず、例えばパーソナルコンピュータ、タブレット型コンピュータやスマートフォン等が挙げられる。The terminal 10 is not particularly limited as long as it has the output unit 11 and input unit 12 described above, and examples thereof include a personal computer, a tablet computer, a smartphone, etc.
次に、自由記述問題自動採点サーバ３０について説明する。自由記述問題自動採点サーバ３０は、図３に示すように、人工知能（ＡＩ）を搭載している。そして、この人工知能は、所定の試験科目に関する教師データ用の自由記述問題と、その教師データ用の自由記述問題に対する教師データ用正解とに基づいて、所定の試験科目における自由記述問題に対する解法プロセスを生成するように学習が行われている。ここで、教師データ（teaching data）とは、ＡＩが機械学習を行う際に利用するデータいう。Next, the free-form question automatic grading server 30 will be described. As shown in FIG. 3, the free-form question automatic grading server 30 is equipped with artificial intelligence (AI). This artificial intelligence is trained to generate a solution process for free-form questions in a specified test subject based on free-form questions for teacher data related to the specified test subject and teacher data correct answers to the free-form questions for the teacher data. Here, teacher data (teaching data) refers to data used by the AI when performing machine learning.
ここで、人工知能は、大量のデータから学習したパターンや傾向を基に、画像、文章、音声、プログラムコード、構造化データ等のさまざまな情報を生成できるＡＩ（生成型ＡＩ）であれば特に限定されず、例えば、大規模言語モデル（ＬＬＭ）を用いたChatGPT（登録商標）、Microsoft Copilot、GoogleのGemini等が挙げられる。さらに、自由記述問題に対する解法プロセスとは、自由記述問題からその自由記述問題に対する正解を導き出すための手順をいい、複数の手順（工程）で構成されるものである。本発明の解法プロセスはヒトの解法プロセスと同一でもよいし、異なっていてもよい。なお、解法プロセスの具体例については後述する。Here, the artificial intelligence is not particularly limited as long as it is an AI (generative AI) that can generate various information such as images, text, voice, program code, and structured data based on patterns and trends learned from large amounts of data. Examples include ChatGPT (registered trademark), Microsoft Copilot, and Google Gemini, which use large-scale language models (LLMs). Furthermore, the solution process for free-text questions refers to the procedure for deriving the correct answer to the free-text question from the free-text question, and is composed of multiple procedures (steps). The solution process of the present invention may be the same as or different from the solution process of a human. Specific examples of the solution process will be described later.
教師データ用の自由記述問題とは、所定の試験科目に関する自由記述問題であり、例えば、過去の司法試験における憲法の論文試験問題、大学の法学部の期末試験問題や国家試験の論述試験問題、小学校、中学校、高等学校をはじめとする教育機関における定期考査や学期末考査、学校現場における入試問題の自由作文問題や記述問題、実用英語技能検定試験やTOEICといった英語検定試験におけるライティング問題等が挙げられる。また、教師データ用の正解とは、教師データ用の自由記述問題に対する正解であり、例えば、上述した試験問題の模範解答または解答例、若しくは過去の司法試験における憲法の論文試験問題に対する教育機関の模範解答または解答例等が挙げられる。Free-form writing questions for teacher data are free-form writing questions on specified exam subjects, such as constitutional law essay questions in past bar exams, university law department final exam questions and national exam essay questions, regular and end-of-term exams in educational institutions such as elementary schools, middle schools, and high schools, free composition and written questions in school entrance exams, and writing questions in English proficiency exams such as the Test of Practical English Proficiency and TOEIC. Correct answers for teacher data are correct answers to free-form writing questions for teacher data, such as model answers or sample answers to the exam questions mentioned above, or model answers or sample answers from educational institutions to constitutional law essay questions in past bar exams.
なお、人工知能の学習方法は、特に限定されず、例えば大規模言語モデル（ＬＬＭ）を用いて、人工知能に学習させてもよい。ここで、「大規模言語モデル」とは、言語モデルのうち、「計算量」、「データ量」、「パラメータ数」を大規模にして構築する自然言語モデルをいう。The learning method of the artificial intelligence is not particularly limited, and for example, the artificial intelligence may be trained using a large-scale language model (LLM). Here, a "large-scale language model" refers to a natural language model that is constructed with a large amount of calculation, a large amount of data, and a large number of parameters among language models.
次に、人工知能について詳述する。人工知能は、図３に示すように、採点基準作成部３１と、採点部３２とを有している。Next, the artificial intelligence will be described in detail. As shown in FIG. 3, the artificial intelligence has a scoring criteria creation unit 31 and a scoring unit 32.
採点基準作成部３１は、人工知能が、所定の試験科目に関する自由記述問題を示す自由記述問題情報と、自由記述問題情報に対する正解を示す正解情報と、自由記述問題情報に関する採点を示す採点情報と、に基づいて、その自由記述問題からその正解に至るまでの解法プロセスに応じた採点基準を作成する機能である。The scoring criteria creation unit 31 is a function that creates scoring criteria according to the solution process from the free-form question to the correct answer, based on free-form question information indicating a free-form question related to a specified test subject, correct answer information indicating the correct answer to the free-form question information, and scoring information indicating the score for the free-form question information.
ここで、採点情報とは、その自由記述問題に正解した場合に付与される最大点数（最大採点数）であり、例えば１０点満点であれば１０点を示し、５点満点であれば５点を示す。The scoring information here refers to the maximum score (maximum number of points) that can be awarded if the free-form question is answered correctly; for example, if the maximum score is 10 points, it indicates 10 points, and if the maximum score is 5 points, it indicates 5 points.
そして、採点基準作成部３１によって作成される採点基準は、解法プロセスとその解法プロセスに付与される付与点数との組合せが複数存在するものとなる。すなわち、解法プロセスと、その解法プロセスに付与される付与点数で構成されたテーブル（表）で表わすことができるものであり、例えば、解法プロセス１に対して付与点数１点、解法プロセス２に対して付与点数２点等となる。そして、全ての解法プロセスに付与される付与点数の合計は、採点情報（その自由記述問題に正解した場合に付与される最大点数）と等しくなる。The scoring criteria created by the scoring criteria creation unit 31 will have multiple combinations of solution processes and the points to be assigned to each solution process. In other words, it can be represented as a table consisting of solution processes and the points to be assigned to each solution process; for example, 1 point may be assigned to solution process 1, 2 points may be assigned to solution process 2, etc. The total of the points to be assigned to all solution processes will be equal to the scoring information (the maximum points to be assigned when the free-form question is answered correctly).
なお、各解法プロセスに振られる付与点数は等しくてもよいし、等しくなくてもよいが、採点情報（付与点数の合計数）が、解法プロセスの数の倍数となっていることが好ましい。すなわち、採点基準作成部３１は、解法プロセスの数の倍数が採点情報と等しくなるように採点基準を作成することが好ましい。具体的には、採点情報が「１００」の場合に、解法プロセスの数が「１０」「２０」「５０」「１００」となるように採点基準を作成することになる。このような関係があると、解答者の解答をより簡潔にかつ客観的に採点することができる。Note that the number of points assigned to each solution process may or may not be equal, but it is preferable that the scoring information (total number of points assigned) is a multiple of the number of solution processes. In other words, it is preferable for the scoring criteria creation unit 31 to create the scoring criteria so that a multiple of the number of solution processes is equal to the scoring information. Specifically, when the scoring information is "100", the scoring criteria will be created so that the number of solution processes is "10", "20", "50", or "100". Such a relationship allows the solver's answer to be scored more concisely and objectively.
採点部３２は、人工知能が、作成された採点基準に基づいて、解答者の解答を示す解答情報から、その解答者の解答を採点する機能である。具体的には、人工知能が、解答者の解答から、各解法プロセスに沿って、解答者がどの解法プロセスまでクリアした（経た）のかを判断する。その後、クリアした解法プロセスまでの解法プロセスに付与された付与点数を合計して採点する。すなわち、人工知能が、解答者の解答は正解であると判断した場合には、その解答は採点情報である最大点数と採点され、正解までたどり着いていないが、ある段階までの解法プロセスまでクリアしたと判断した場合には、その解答はそこまでにクリアした解法プロセスの付与点数の合計点と採点される。なお、上述したように、各解法プロセスは自由記述問題に対する正解を導き出すための手順となっているので、人工知能は、上流に位置する解法プロセスを経ないで、その下流に位置する解法プロセスをクリアしたと判断することは無い。The scoring unit 32 is a function in which the AI scores the answer of the answerer based on the created scoring criteria from the answer information indicating the answerer's answer. Specifically, the AI judges which solution process the answerer has cleared (passed) from the answer of the answerer along each solution process. Then, the AI scores the answer by adding up the points given to the solution processes up to the cleared solution process. That is, if the AI judges that the answerer's answer is correct, the answer is scored with the maximum points, which are the scoring information, and if the AI judges that the answerer has not reached the correct answer but has cleared the solution process up to a certain stage, the answer is scored with the total points given to the solution processes cleared up to that point. As described above, each solution process is a procedure for deriving the correct answer to the free-description question, so the AI will not judge that the answerer has cleared a solution process located downstream without passing through the upstream solution process.
次に、本実施形態の自由記述問題自動採点システム１の動作について説明する。図４に示すように、自由記述問題自動採点システム１が稼働すると、自由記述問題自動採点サーバ３０に搭載された人工知能は、自由記述問題情報、正解情報および採点情報に基づいて、採点基準作成部３１により採点基準を作成する（Ｓ１）。ここで、作成された採点基準については、採点者や自由記述問題の作成者等の第三者が確認し、修正してもよい。このようなヒトが採点基準を修正することにより、人工知能では考慮されなかった条件（基準）や必ず考慮すべき条件（基準）等を採点基準に反映させることができる。その結果、自由記述問題自動採点システム１はより適切な採点を行うことができる。Next, the operation of the free-form question automatic marking system 1 of this embodiment will be described. As shown in FIG. 4, when the free-form question automatic marking system 1 is operated, the artificial intelligence installed in the free-form question automatic marking server 30 creates marking criteria by the marking criteria creation unit 31 based on the free-form question information, correct answer information, and marking information (S1). The created marking criteria may be confirmed and modified by a third party such as a grader or the creator of the free-form question. By having such a person modify the marking criteria, conditions (criteria) that were not considered by the artificial intelligence or conditions (criteria) that must be considered can be reflected in the marking criteria. As a result, the free-form question automatic marking system 1 can perform more appropriate marking.
その後、解答者またはその解答者を指導若しくは支援する者が、端末１０の入力部１２に解答者の解答情報を入力する（Ｓ２）。すると、その解答情報は自由記述問題自動採点サーバ３０に送信され、自由記述問題自動採点サーバ３０に搭載された人工知能は、採点部３２により、上述した採点基準に従って、その解答情報を採点する（Ｓ３）。そして、その採点結果は、ネットワーク２０を介して端末１０に送信され、出力部１１に表示され（Ｓ４）、自由記述問題自動採点システム１の動作が終了する。Then, the answerer or a person who is instructing or supporting the answerer inputs the answerer's answer information into the input unit 12 of the terminal 10 (S2). The answer information is then sent to the free-form question automatic grading server 30, and the artificial intelligence installed in the free-form question automatic grading server 30 grades the answer information using the grading unit 32 according to the above-mentioned grading criteria (S3). The grading results are then sent to the terminal 10 via the network 20 and displayed on the output unit 11 (S4), and the operation of the free-form question automatic grading system 1 ends.
上述したように構成された自由記述問題自動採点システム１を、このように動作させることにより、人工知能が、解法プロセスに応じた採点基準を自動的に作成し、その採点基準に基づいて、人工知能が自動的に、かつ客観的に採点する自由記述問題自動採点システムを提供することができる。By operating the automatic free-response question grading system 1 configured as described above in this manner, it is possible to provide an automatic free-response question grading system in which the artificial intelligence automatically creates grading criteria according to the solution process, and the artificial intelligence automatically and objectively grades the questions based on the grading criteria.
（実施形態２）
実施形態１では、採点基準を、何の制限もなく人工知能を使って作成するようにしたが、本発明はこれに限定されない。例えば、採点基準作成部が、採点基準を作成する際に考慮すべき条件を示す制約情報と、所定の試験科目に関する自由記述問題を示す自由記述問題情報と、その自由記述問題情報に対する正解を示す正解情報と、その自由記述問題情報に関する採点を示す採点情報と、に基づいて、その自由記述問題から正解に至るまでの解法プロセスに応じた採点基準を作成するように自由記述問題自動採点システムを構成してもよい。(Embodiment 2)
In the first embodiment, the marking criteria are created using artificial intelligence without any restrictions, but the present invention is not limited to this. For example, the automatic free-writing question marking system may be configured so that the marking criteria creation unit creates marking criteria according to the solution process from the free-writing question to the correct answer based on constraint information indicating the conditions to be considered when creating the marking criteria, free-writing question information indicating a free-writing question related to a specific test subject, correct answer information indicating a correct answer to the free-writing question information, and marking information indicating the marking for the free-writing question information.
ここで、制約情報とは、採点基準を作成する際に考慮すべきものであれば特に限定されない。制約情報としては、例えば、「解法プロセスの数を、採点情報と一致する数とする」、「解答の構造を特定の形式に従わせる」、「特定のキーワードの使用を必須とする」や所定のルーブリック等が挙げられる。なお、制約条件は、自由記述問題自動採点システムが稼働する前に設定していてもよいし、自由記述問題自動採点システムが稼働した後に設定してもよい。なお、本実施形態の制限情報として、所定のルーブリックを用いる場合には、ルーブリック自体は、予め作成しておく必要があるのは言うまでもない。Here, the constraint information is not particularly limited as long as it is something that should be taken into consideration when creating the marking criteria. Examples of the constraint information include "the number of solution processes must match the marking information," "the answer structure must follow a specific format," "the use of specific keywords is mandatory," and a specified rubric. Note that the constraint conditions may be set before the free-form question automatic marking system is operated, or may be set after the free-form question automatic marking system is operated. Note that, if a specified rubric is used as the constraint information of this embodiment, it goes without saying that the rubric itself must be created in advance.
このような採点基準作成部を有するように自由記述問題自動採点システムを構成することにより、自由記述問題自動採点システムを使用する者（問題作成者、採点者等）の意思（考え方）を反映させた採点基準を作成することができる。その結果、自由記述問題自動採点システムを使用する者の意思（考え方）を反映させた採点を行うことができる。By configuring the free-form question automatic grading system to have such a grading criteria creation unit, it is possible to create grading criteria that reflect the intentions (way of thinking) of the person using the free-form question automatic grading system (question creator, grader, etc.). As a result, it is possible to perform grading that reflects the intentions (way of thinking) of the person using the free-form question automatic grading system.
なお、このような自由記述問題自動採点システムに用いられる人工知能は、制約条件を含めて、所定の試験科目に関する教師データ用の自由記述問題と、その教師データ用の自由記述問題に対する教師データ用正解とに基づいて、所定の試験科目における自由記述問題に対する解法プロセスを生成するように学習が行われている必要があるのは言うまでもない。実際、ChatGPT（登録商標）はこれらの情報について学習済みである。It goes without saying that the artificial intelligence used in such an automatic free-response question marking system must be trained to generate a solution process for free-response questions in a specified test subject based on free-response questions for the teacher data for the specified test subject and correct answers for the free-response questions for the teacher data, including constraints. In fact, ChatGPT (registered trademark) has already learned this information.
（実施形態３）
実施形態１では、採点基準作成部は、自由記述問題情報と、その自由記述問題に対する正解情報と、採点情報と、に基づいて、その自由記述問題からその正解に至るまでの解法プロセスに応じた採点基準を作成するようにしたが、本発明はこれに限定されない。(Embodiment 3)
In embodiment 1, the marking criteria creation unit creates marking criteria according to the solution process from the free-form question to the correct answer based on the free-form question information, the correct answer information for the free-form question, and the marking information, but the present invention is not limited to this.
例えば、採点基準作成部が、自由記述問題情報および正解情報には示されていないが、ヒトが自由記述問題から正解に至るまでに、意識的または無意識に検討すると推定される推定思考プロセスも考慮した採点基準を作成するようにしてもよい。For example, the marking criteria creation unit may create marking criteria that take into account the estimated thought processes that a person is estimated to consider consciously or unconsciously from the free-form question to the correct answer, even though these processes are not shown in the free-form question information and correct answer information.
ここで、「推定思考プロセス」とは、自由記述問題情報および正解情報には示されていないが、ヒトが自由記述問題から正解に至るまでに、意識的または無意識に検討すると推定される工程（手順）であれば、特に限定されない。「推定思考プロセス」としては、例えば、「メタ認知」「批判的思考」、「直感的思考」、「論理的思考」等が挙げられる。ここで、「メタ認知」は、例えば、参考文献１："Metacognition: An Overview" by John H. Flavell (1979)、参考文献２："Metacognition and Cognitive Neuropsychology: Monitoring and Control Processes" edited by G. R. D. McClelland, G. L. P. Williams, and P. A. L. G. Delacour (2003)、参考文献３："Handbook of Metacognition" edited by John Dunlosky and Janet Metcalfe (2009)に詳述されている。Here, the "estimated thought process" is not shown in the free-response question information and the correct answer information, but is not particularly limited as long as it is a process (procedure) that is estimated to be considered consciously or unconsciously by a human being from the free-response question to the correct answer. Examples of the "estimated thought process" include "metacognition," "critical thinking," "intuitive thinking," and "logical thinking." Here, "metacognition" is described in detail in, for example, Reference 1: "Metacognition: An Overview" by John H. Flavell (1979), Reference 2: "Metacognition and Cognitive Neuropsychology: Monitoring and Control Processes" edited by G. R. D. McClelland, G. L. P. Williams, and P. A. L. G. Delacour (2003), and Reference 3: "Handbook of Metacognition" edited by John Dunlosky and Janet Metcalfe (2009).
具体的には、例えば、人工知能に、「メタ認知を考慮した採点基準を作成してください」、「批判的思考を考慮した採点基準を作成してください」、「直感的思考を考慮した採点基準を作成してください」、「論理的思考を考慮した採点基準を作成してください」等のプロンプトをさらに与えることにより、人工知能の採点基準作成部は、これらの推定思考プロセスをも考慮した採点基準を作成することができる。Specifically, for example, by providing the AI with further prompts such as "Please create scoring criteria that take metacognition into account," "Please create scoring criteria that take critical thinking into account," "Please create scoring criteria that take intuitive thinking into account," and "Please create scoring criteria that take logical thinking into account," the AI's scoring criteria creation unit can create scoring criteria that also take into account these estimated thought processes.
このような機能を有する採点基準作成部を有する自由記述問題自動採点システムを構成することにより、採点基準作成部は推定思考プロセスをも考慮した採点基準を作成することができるので、より適切な採点基準に基づいて採点する自由記述問題自動採点システムを提供することができる。By configuring an automatic free-response question grading system that has a grading criteria creation unit with such functionality, the grading criteria creation unit can create grading criteria that also take into account estimated thought processes, making it possible to provide an automatic free-response question grading system that grades based on more appropriate grading criteria.
なお、このような自由記述問題自動採点システムに用いられる人工知能は、推定思考プロセス（メタ認知、批判的思考、直感的思考、論理的思考等）を含めて、所定の試験科目に関する教師データ用の自由記述問題と、その教師データ用の自由記述問題に対する教師データ用正解とに基づいて、所定の試験科目における自由記述問題に対する解法プロセスを生成するように学習が行われている必要があるのは言うまでもない。実際、ChatGPT（登録商標）はこれらの情報について学習済みである。It goes without saying that the artificial intelligence used in such an automatic free-response question marking system must be trained to generate a solution process for free-response questions in a specified test subject, including estimated thought processes (metacognition, critical thinking, intuitive thinking, logical thinking, etc.), based on free-response questions for the teacher data for the specified test subject and correct answers for the free-response questions for the teacher data. In fact, ChatGPT (registered trademark) has already learned this information.
（実施形態４）
実施形態１では、採点基準作成部は、自由記述問題情報と、その自由記述問題に対する正解情報と、採点情報と、に基づいて、その自由記述問題からその正解に至るまでの解法プロセスに応じた採点基準を作成するようにしたが、本発明はこれに限定されない。(Embodiment 4)
In embodiment 1, the marking criteria creation unit creates marking criteria according to the solution process from the free-form question to the correct answer based on the free-form question information, the correct answer information for the free-form question, and the marking information, but the present invention is not limited to this.
例えば、採点基準作成部が、ルーブリックも考慮した採点基準を作成するようにしてもよい。なお、実施形態２では予め作成しておいた所定のルーブリックを制限情報として用いたが、本実施形態では、採点基準作成部にルーブリックの考え方を考慮して採点基準を作成させるというものである。したがって、実施形態２の自由記述問題自動採点システムと、本実施形態の自由記述問題自動採点システムとは全く異なるものである。For example, the marking criteria creation unit may create marking criteria that take into account rubrics. Note that in the second embodiment, a predetermined rubric created in advance is used as restriction information, but in this embodiment, the marking criteria creation unit creates marking criteria that take into account the concept of a rubric. Therefore, the free-form question automatic marking system of the second embodiment is completely different from the free-form question automatic marking system of this embodiment.
具体的には、例えば、人工知能に「ルーブリックを考慮した採点基準を作成してください」等のプロンプトをさらに与えることにより、人工知能の採点基準作成部は、ルーブリックをも考慮した採点基準を作成することができる。Specifically, for example, by providing the AI with an additional prompt such as "Please create grading criteria that take the rubric into consideration," the AI's grading criteria creation unit can create grading criteria that also take the rubric into consideration.
このような機能を有する採点基準作成部を有する自由記述問題自動採点システムを構成することにより、採点基準作成部はルーブリックをも考慮した採点基準を作成することができるので、より適切な採点基準に基づいて採点する自由記述問題自動採点システムを提供することができる。By configuring an automatic free-response question grading system that has a grading criteria creation unit with such functionality, the grading criteria creation unit can create grading criteria that take rubrics into consideration, making it possible to provide an automatic free-response question grading system that grades based on more appropriate grading criteria.
なお、このような自由記述問題自動採点システムに用いられる人工知能は、ルーブリックを含めて、所定の試験科目に関する教師データ用の自由記述問題と、その教師データ用の自由記述問題に対する教師データ用正解とに基づいて、所定の試験科目における自由記述問題に対する解法プロセスを生成するように学習が行われている必要があるのは言うまでもない。実際、ChatGPT（登録商標）はルーブリックの情報について学習済みである。It goes without saying that the artificial intelligence used in such an automatic free-response question grading system must be trained to generate a solution process for free-response questions in a specified test subject based on free-response questions for teacher data for a specified test subject, including rubrics, and correct answers for the free-response questions for teacher data. In fact, ChatGPT (registered trademark) has already learned about rubric information.
（他の実施形態）
上述した実施形態では、解答者の解答の形式について特に限定しなかったが、解答者の解答が、例えば紙等の解答用紙に手書きされたものであってもよい。なお、解答用紙の材質は紙に限定されず、他の材料で構成されたものを含む概念である。Other Embodiments
In the above embodiment, the format of the answer of the answerer is not particularly limited, but the answer of the answerer may be handwritten on an answer sheet such as paper. Note that the material of the answer sheet is not limited to paper, and the concept includes those made of other materials.
この場合、端末１０の入力部は、その解答用紙に記載された解答を画像として取込む。そして、その画像から解答者の解答を示す解答情報を抽出する解答情報抽出部を、端末および自由記述問題自動採点サーバの少なくとも何れか一方が有するように自由記述問題自動採点システムを構成してもよい。ここで、解答情報抽出部は、解答用紙等に記載された解答者の手書きの解答から解答情報を抽出できるものであれば特に限定されない。解答情報抽出部としては、例えば市販の光学的文字認識技術を使ったソフトウェア（人工知能を使用しているものを含む）等が挙げられる。In this case, the input unit of the terminal 10 captures the answer written on the answer sheet as an image. The open-ended question automatic grading system may be configured so that at least one of the terminal and the open-ended question automatic grading server has an answer information extraction unit that extracts answer information indicating the answerer's answer from the image. Here, the answer information extraction unit is not particularly limited as long as it can extract answer information from the answerer's handwritten answer written on the answer sheet or the like. Examples of the answer information extraction unit include commercially available software using optical character recognition technology (including software using artificial intelligence).
このように、解答情報抽出部をさらに有する自由記述問題自動採点システムを構成することにより、手間暇をかけずに、解答者の手書きの解答から自動的に採点することができる。In this way, by configuring an automatic free-form question marking system that further includes an answer information extraction unit, marks can be automatically scored from the answerer's handwritten answers without much time and effort.
＜＜実施例＞＞
以下に実施例を示すが、これらの実施例では、自由記述問題自動採点サーバに搭載された人工知能としてChatGPT（登録商標）を用いた。なお、端末としては、インターネットを介してChatGPT（登録商標）と接続された市販のパーソナルコンピュータを用いた。<<Example>>
In the following examples, ChatGPT (registered trademark) was used as the artificial intelligence installed in the free-answer question automatic marking server. A commercially available personal computer connected to ChatGPT (registered trademark) via the Internet was used as the terminal.
なお、ChatGPT（登録商標）は、解答情報抽出部である光学的文字認識機能（ＯＣＲ機能）も有している。したがって、手書きされた自由記述問題、その正解および解答者の解答をそれぞれ画像データとして入力することにより、自由記述問題情報、正解情報および解答情報を自由記述問題自動採点システムに入力できることになる。ChatGPT (registered trademark) also has an optical character recognition (OCR) function that extracts answer information. Therefore, by inputting the handwritten free-form questions, their correct answers, and the answerers' answers as image data, the free-form question information, correct answer information, and answer information can be input into the free-form question automatic grading system.
＜実施例１（算数の場合・正解の場合）＞
自由記述問題情報として図５に示す２つ問題（上側の計算式：問題１、下側の計算式：問題２）を用い、これらの問題の正解情報として「８／１５」（問題１の正解）および「１／４５」（問題２の正解）を用いた。また、採点情報として「５点」「１０点」をそれぞれ用い、制約情報として「５段階評価」「１０段階評価」をそれぞれ用いた。<Example 1 (Arithmetic case, correct answer)>
The two problems shown in Fig. 5 (upper formula: problem 1, lower formula: problem 2) were used as the free description problem information, and "8/15" (correct answer for problem 1) and "1/45" (correct answer for problem 2) were used as the correct answer information for these problems. In addition, "5 points" and "10 points" were used as the marking information, and "5-point evaluation" and "10-point evaluation" were used as the constraint information.
そして、これらの情報を人工知能に送信して、これらの自由記述式問題に対する、それぞれの採点基準（解法プロセス（思考プロセス））を得た。その採点基準を図６および図７に示す。Then, this information was sent to the artificial intelligence to obtain the marking criteria (solution process (thinking process)) for each of these free-form questions. The marking criteria are shown in Figures 6 and 7.
この結果から分かるように、本発明に係る自由記述問題自動採点システムによれば、所定の科目として算数を指定した場合であっても、人工知能の採点基準作成部が解法プロセスに応じた採点基準を自動的に作成できることが分かった。As can be seen from these results, the automatic free-response question marking system of the present invention can automatically create marking criteria according to the problem-solving process, even when arithmetic is specified as the specified subject, by using the AI marking criteria creation unit.
次に、図８に示す解答者の解答（正解）を入力して採点したところ、図９および図１０に示す採点結果が得られた。Next, the answer (correct answer) of the contestant shown in Figure 8 was entered and graded, resulting in the scoring results shown in Figures 9 and 10.
この結果から分かるように、本発明に係る自由記述問題自動採点システムによれば、所定の科目として算数を指定した場合であっても、自由記述問題に対する採点基準（制約情報が反映されている）を人工知能が自動的に作成し、その採点基準に基づいて、解答として正解を入力しても、人工知能が自動的に、かつ客観的に採点できることが分かった。As can be seen from these results, with the automatic free-response question marking system according to the present invention, even when arithmetic is specified as the specified subject, the artificial intelligence can automatically create marking criteria (reflecting constraint information) for the free-response question, and even if the correct answer is entered as the answer based on the marking criteria, the artificial intelligence can automatically and objectively mark the question.
＜実施例２（算数の場合・不正解の場合）＞
実施例１の問題および採点基準を用いて、図１１に示す不正解の解答を入力して採点したところ、図１２および図１３に示す採点結果が得られた。<Example 2 (Arithmetic/Incorrect Answer)>
When the incorrect answers shown in FIG. 11 were entered and graded using the questions and marking criteria of Example 1, the graded results shown in FIGS. 12 and 13 were obtained.
この結果から分かるように、本発明に係る自由記述問題自動採点システムによれば、所定の科目として算数を指定した場合であって、解答として不正解を入力しても、採点基準に基づいて、人工知能が自動的に、かつ客観的に採点できることが分かった。As can be seen from these results, the free-response question automatic marking system of the present invention can automatically and objectively mark questions based on the marking criteria even if an incorrect answer is entered when arithmetic is specified as the specified subject.
＜実施例３（英語の場合・不正解の場合）＞
自由記述問題情報として図１４に示すものを用い、この自由記述問題の正解として図１５に示す英文を用いた。また、採点情報として「１２点」を用い、制約情報として「解法プロセス（思考プロセス）として１２段階作成する」を用いた。そして、これらの情報を人工知能に送信して、この記述式問題に対する採点基準を得た。その採点基準を図１６に示す。<Example 3 (English/incorrect answer)>
The information shown in FIG. 14 was used as the free-writing question information, and the English sentence shown in FIG. 15 was used as the correct answer to this free-writing question. In addition, "12 points" was used as the marking information, and "Create a solution process (thinking process) in 12 steps" was used as the constraint information. These pieces of information were then sent to the artificial intelligence to obtain the marking criteria for this written question. The marking criteria are shown in FIG. 16.
この結果から分かるように、本発明に係る自由記述問題自動採点システムによれば、所定の科目として英語を指定した場合であっても、人工知能の採点基準作成部が解法プロセスに応じた採点基準を自動的に作成できることが分かった。As can be seen from these results, the automatic free-response question marking system according to the present invention can enable the AI marking criteria creation unit to automatically create marking criteria according to the solution process, even when English is specified as the specified subject.
次に、人工知能に、図１７に示す解答者の解答（不正解）の画像データを入力し、「文字起こししてください。」とプロンプトを入力すると、人工知能は図１７の画像に含まれる手書き文字を認識し、「My favorite place is Shibuya. Because I can buy something. Because I can eat something.」と出力する。そこで、この文章を本発明に係る自由記述問題自動採点システムを用いて採点したところ、図１８に示す採点結果が得られた。Next, the image data of the answer (incorrect answer) of the answerer shown in FIG. 17 is input to the artificial intelligence, and the prompt "Please transcribe it" is input. The artificial intelligence recognizes the handwritten characters included in the image in FIG. 17 and outputs "My favorite place is Shibuya. Because I can buy something. Because I can eat something." When this sentence was then graded using the free-form question automatic grading system according to the present invention, the grading result shown in FIG. 18 was obtained.
これらの結果から分かるように、本発明に係る自由記述問題自動採点システムによれば、所定の科目として英語を指定した場合であっても、自由記述問題に対する採点基準（制約情報が反映されている）を人工知能が自動的に作成し、その採点基準に基づいて、人工知能が自動的に、かつ客観的に採点できることが分かった。As can be seen from these results, with the automatic free-response question grading system according to the present invention, even when English is specified as the specified subject, the artificial intelligence can automatically create grading criteria (which reflect the constraint information) for the free-response questions, and automatically and objectively grade the questions based on the grading criteria.
＜実施例４（算数の場合・不正解の場合・推定思考プロセスを考慮した場合＞
実施例１の算数の問題および正解に対し、推定思考プロセスとして、メタ認知を考慮するように指示した上で採点基準を作成した。具体的には、プロンプトとして「１が５点、２が１０点だった場合、１は５段階、２は１０段階、解答に到達するまでの思考のプロセスを作成してください。その際、解答者の「メタ認知的知識」と「メタ認知的活動」といった認知面（情報処理）に焦点をあてて作成してください。」を用いた。その結果、人工知能の採点基準作成部が作成した採点基準を図１９および図２０に示す。Example 4 (Arithmetic, Incorrect Answer, Considering Estimated Thought Process)
For the arithmetic problem and the correct answer in Example 1, the scoring criteria were created after instructing the participants to consider metacognition as an estimated thought process. Specifically, the prompt was "If 1 is 5 points and 2 is 10 points, please create a thought process to arrive at the answer on a 5-point scale for 1 and a 10-point scale for 2. When doing so, please create the process with a focus on the cognitive aspects (information processing) of the answerer, such as "metacognitive knowledge" and "metacognitive activity." As a result, the scoring criteria created by the scoring criteria creation unit of the artificial intelligence are shown in Figures 19 and 20.
この結果から分かるように、本発明に係る自由記述問題自動採点システムによれば、所定の科目として算数を指定した場合であっても、人工知能が、推定思考プロセスの１つであるメタ認知をも考慮した採点基準を作成できることが分かった。As can be seen from these results, the automatic scoring system for free-form writing questions according to the present invention is able to create scoring criteria that take into account metacognition, which is one type of estimated thought process, even when arithmetic is specified as the specified subject.
次に、図８に示す解答者の解答（正解）を入力して採点したところ、図２１および図２２に示す採点結果が得られた。Next, the answer (correct answer) of the contestant shown in Figure 8 was entered and graded, resulting in the scoring results shown in Figures 21 and 22.
この結果から分かるように、本発明に係る自由記述問題自動採点システムによれば、所定の科目として算数を指定した場合であっても、自由記述問題に対する、推定思考プロセスの１つであるメタ認知をも考慮した採点基準を人工知能が自動的に作成し、その採点基準に基づいて、解答として正解を入力しても、人工知能が自動的に、かつ客観的に採点できることが分かった。As can be seen from these results, with the automatic scoring system for free-response questions according to the present invention, even when arithmetic is specified as the specified subject, the artificial intelligence can automatically create scoring criteria for free-response questions that take into account metacognition, which is one type of presumed thought process, and can automatically and objectively score questions based on the scoring criteria, even when the correct answer is entered as the answer.
＜実施例５（算数の場合・不正解の場合・推定思考プロセスを考慮した場合＞
実施例４の採点基準を用いて、図１１に示す解答者の解答（不正解）を入力して採点したところ、図２３および図２４に示す採点結果が得られた。<Example 5 (Arithmetic, Incorrect Answer, Considering Estimated Thought Process)>
When the answers (incorrect answers) of the solvers shown in FIG. 11 were entered and graded using the grading criteria of Example 4, the grading results shown in FIGS. 23 and 24 were obtained.
この結果から分かるように、本発明に係る自由記述問題自動採点システムによれば、自由記述問題に対する、推定思考プロセスの１つであるメタ認知をも考慮した採点基準を人工知能が自動的に作成し、その採点基準に基づいて、不正解を入力しても、人工知能が自動的に、かつ客観的に採点できることが分かった。As can be seen from these results, the automatic scoring system for free-response questions according to the present invention allows the artificial intelligence to automatically create scoring criteria for free-response questions that take into account metacognition, which is one type of inferential thought process, and based on these scoring criteria, the artificial intelligence can automatically and objectively score even if an incorrect answer is entered.
＜実施例６（英語の場合・不正解の場合・推定思考プロセスを考慮した場合＞
実施例３の英語の問題および正解に対し、推定思考プロセスとして、メタ認知を考慮するように指示した上で採点基準を作成した。具体的には、プロンプトとして「次の問題の配点は１２点です。問題と模範解答から、解答までの思考のプロセスを１２段階作成し、それを採点基準としてください。その際、解答者の「メタ認知的知識」と「メタ認知的活動」といった認知面（情報処理）に焦点をあてて作成してください。」を用いた。その結果、人工知能の採点基準作成部が作成した採点基準を図２５に示す。Example 6 (English, incorrect answer, estimated thought process taken into account)
For the English questions and correct answers in Example 3, a marking criterion was created after instructing the participants to consider metacognition as an estimated thought process. Specifically, the following prompt was used: "The following question is worth 12 points. Please create a 12-step thought process from the question and model answer to the answer, and use it as the marking criterion. In doing so, please create the criterion with a focus on the cognitive aspects (information processing) of the answerer, such as "metacognitive knowledge" and "metacognitive activity." As a result, the marking criterion created by the AI marking criterion creation unit is shown in FIG. 25.
この結果から分かるように、本発明に係る自由記述問題自動採点システムによれば、所定の科目として英語を指定した場合であっても、人工知能が、推定思考プロセスの１つであるメタ認知をも考慮した採点基準を作成できることが分かった。As can be seen from these results, the automatic free-response question marking system of the present invention is able to create marking criteria that take into account metacognition, which is one type of estimated thought process, even when English is specified as the specified subject.
次に、実施例３と同様に図１７に示す解答者の解答（不正解）を入力して採点したところ、図２６に示す採点結果が得られた。Next, the answer (incorrect answer) of the answerer shown in Figure 17 was entered and graded in the same manner as in Example 3, and the graded result shown in Figure 26 was obtained.
この結果から分かるように、本発明に係る自由記述問題自動採点システムによれば、所定の科目として英語を指定した場合であっても、自由記述問題に対する、推定思考プロセスの１つであるメタ認知を考慮した採点基準を人工知能が自動的に作成し、その採点基準に基づいて、正解を入力しても、人工知能が自動的に、かつ客観的に採点できることが分かった。As can be seen from these results, with the automatic free-response question grading system of the present invention, even when English is specified as the specified subject, the artificial intelligence can automatically create grading criteria for free-response questions that take into account metacognition, which is one type of presumed thought process, and can automatically and objectively grade questions based on the grading criteria, even if the correct answer is entered.
＜実施例７（数学の場合・制限情報として「ルーブリック」を使用した場合）＞
自由記述問題情報として図２７に示す問題を用い、この問題の正解情報として「－２ｘ＋１９」を用いた。また、採点情報として「１０点」を用い、制約情報として図２８に示すルーブリックを用いた。<Example 7 (In the case of mathematics, when "rubric" is used as restriction information)>
27 was used as the free description question information, and "-2x+19" was used as the correct answer information for this question. In addition, "10 points" was used as the marking information, and the rubric shown in FIG. 28 was used as the constraint information.
そして、これらの情報を人工知能に送信して、この自由記述式問題に対する採点基準（解法プロセス（思考プロセス））を得た。その採点基準を図２９に示す。Then, this information was sent to the artificial intelligence to obtain the grading criteria (solution process (thought process)) for this free-form question. The grading criteria are shown in Figure 29.
この結果から分かるように、本発明に係る自由記述問題自動採点システムによれば、所定の科目として数学を指定し、制限条件として所定のルーブリックを使用した場合であっても、人工知能の採点基準作成部が解法プロセスに応じた採点基準を自動的に作成できることが分かった。As can be seen from these results, the automatic free-response question marking system according to the present invention can enable the AI marking criteria creation unit to automatically create marking criteria according to the solution process, even when mathematics is specified as the specified subject and a specified rubric is used as the restrictive condition.
次に、図３０に示す３名の解答者（生徒Ａ～Ｃ）の解答を入力して採点したところ、図３１～図３３に示す採点結果が得られた。Next, the answers of the three contestants (students A to C) shown in Figure 30 were entered and graded, resulting in the scoring results shown in Figures 31 to 33.
この結果から分かるように、本発明に係る自由記述問題自動採点システムによれば、所定の科目として数学を指定し、制限条件として所定のルーブリックを使用した場合であっても、自由記述問題に対する採点基準を人工知能が自動的に作成し、その採点基準に基づいて、人工知能が自動的に、かつ客観的に採点できることが分かった。As can be seen from these results, with the free-response question automatic grading system according to the present invention, even when mathematics is specified as the specified subject and a specified rubric is used as the restrictive condition, the artificial intelligence can automatically create grading criteria for the free-response questions and automatically and objectively grade them based on the grading criteria.
＜実施例８（英語の場合・制限情報として「ルーブリック」を使用した場合）＞
自由記述問題情報として図３４に示すものを用い、この自由記述問題の正解として図３５に示す英文を用いた。また、採点情報として「１０点」を用い、制約情報として図３６に示すルーブリックを用いた。そして、これらの情報を人工知能に送信して、この記述式問題に対する採点基準を得た。その採点基準を図３７に示す。<Example 8 (in the case of English, when "rubric" is used as restricted information)>
The information shown in Fig. 34 was used as the free-writing question information, and the English sentence shown in Fig. 35 was used as the correct answer to this free-writing question. In addition, "10 points" was used as the marking information, and the rubric shown in Fig. 36 was used as the constraint information. These pieces of information were then sent to an artificial intelligence to obtain the marking criteria for this written question. The marking criteria are shown in Fig. 37.
この結果から分かるように、本発明に係る自由記述問題自動採点システムによれば、所定の科目として英語を指定し、制限条件として所定のルーブリックを使用した場合であっても、人工知能の採点基準作成部が解法プロセスに応じた採点基準を自動的に作成できることが分かった。As can be seen from these results, the automatic free-response question marking system according to the present invention can enable the AI marking criteria creation unit to automatically create marking criteria according to the solution process, even when English is specified as the specified subject and a specified rubric is used as the restrictive condition.
次に、人工知能に、図３８に示す解答者の解答の画像データを入力し、この画像データ内の文章を本発明に係る自由記述問題自動採点システムを用いて採点したところ、図３９に示す採点結果が得られた。Next, the image data of the answer of the answerer shown in Figure 38 was input to the artificial intelligence, and the text in this image data was graded using the free-description question automatic grading system according to the present invention, resulting in the grading results shown in Figure 39.
これらの結果から分かるように、本発明に係る自由記述問題自動採点システムによれば、所定の科目として英語を指定し、制限条件として所定のルーブリックを使用した場合であっても、自由記述問題に対する採点基準（ルーブリックが反映されている）を人工知能が自動的に作成し、その採点基準に基づいて、人工知能が自動的に、かつ客観的に採点できることが分かった。As can be seen from these results, with the free-response question automatic grading system according to the present invention, even when English is specified as the specified subject and a specified rubric is used as the restrictive condition, the artificial intelligence can automatically create grading criteria for the free-response questions (reflecting the rubric), and automatically and objectively grade the questions based on the grading criteria.
＜実施例９（数学の場合・ルーブリックを考慮した場合）＞
実施例７の数学の問題および正解に対し、採点情報として「１０点」を用い、ルーブリックを考慮するように指示した上で採点基準を作成した。具体的には、プロンプトとして「ルーブリックを考慮した採点基準を作成してください。」を用いた。その結果、人工知能の採点基準作成部が作成した採点基準を図４０に示す。<Example 9 (Mathematics: Considering rubrics)>
For the mathematics problem and correct answer in Example 7, "10 points" was used as the marking information, and a marking criterion was created after instructing the user to take the rubric into consideration. Specifically, the prompt "Please create a marking criterion that takes the rubric into consideration" was used. As a result, the marking criterion created by the marking criterion creation unit of the artificial intelligence is shown in FIG. 40.
この結果から分かるように、本発明に係る自由記述問題自動採点システムによれば、所定の科目として数学を指定した場合であっても、人工知能が、ルーブリックをも考慮した採点基準を作成できることが分かった。As can be seen from these results, the automatic free-response question marking system of the present invention was able to use artificial intelligence to create marking criteria that take into account rubrics, even when mathematics is specified as the specified subject.
次に、図３０に示す３名の解答者（生徒Ａ～Ｃ）の解答を入力して採点したところ、図４１～図４３に示す採点結果が得られた。Next, the answers of the three contestants (students A to C) shown in Figure 30 were entered and graded, resulting in the scoring results shown in Figures 41 to 43.
この結果から分かるように、本発明に係る自由記述問題自動採点システムによれば、所定の科目として数学を指定した場合であっても、自由記述問題に対するルーブリックをも考慮した採点基準を人工知能が自動的に作成し、その採点基準に基づいて、人工知能が自動的に、かつ客観的に採点できることが分かった。As can be seen from these results, with the free-response question automatic grading system according to the present invention, even when mathematics is specified as the specified subject, the artificial intelligence can automatically create grading criteria that take into account the rubric for the free-response questions, and the artificial intelligence can automatically and objectively grade based on the grading criteria.
＜実施例１０（英語の場合・ルーブリックを考慮した場合）＞
実施例８の英語の問題および正解に対し、採点情報として「１０点」を用い、ルーブリックを考慮するように指示した上で採点基準を作成した。具体的には、プロンプトとして「ルーブリックを考慮して採点基準を作成してください。」を用いた。その結果、人工知能の採点基準作成部が作成した採点基準を図４４に示す。<Example 10 (in the case of English, when considering rubrics)>
For the English questions and correct answers in Example 8, "10 points" was used as the marking information, and a marking criterion was created after instructing the user to take the rubric into consideration. Specifically, the prompt was "Please create the marking criterion taking the rubric into consideration." As a result, the marking criterion created by the marking criterion creation unit of the artificial intelligence is shown in FIG. 44.
この結果から分かるように、本発明に係る自由記述問題自動採点システムによれば、所定の科目として英語を指定した場合であっても、人工知能が、ルーブリックをも考慮した採点基準を作成できることが分かった。As can be seen from these results, the automatic free-response question marking system of the present invention was able to use artificial intelligence to create marking criteria that take into account rubrics, even when English is specified as the specified subject.
次に、実施例８と同様に図３８に示す解答者の解答を入力して採点したところ、図４５に示す採点結果が得られた。Next, the answers of the contestants shown in Figure 38 were entered and graded in the same manner as in Example 8, and the scoring results shown in Figure 45 were obtained.
この結果から分かるように、本発明に係る自由記述問題自動採点システムによれば、所定の科目として英語を指定した場合であっても、自由記述問題に対するルーブリックをも考慮した採点基準を人工知能が自動的に作成し、その採点基準に基づいて、人工知能が自動的に、かつ客観的に採点できることが分かった。As can be seen from these results, with the automatic free-response question grading system according to the present invention, even when English is specified as the specified subject, the artificial intelligence can automatically create grading criteria that take into account the rubric for the free-response questions, and the artificial intelligence can automatically and objectively grade based on the grading criteria.
１ 自由記述問題自動採点システム
１０ 端末
１１ 出力部
１２ 入力部
２０ ネットワーク
３０ 自由記述問題自動採点サーバ
３１ 採点基準作成部
３２ 採点部
REFERENCE SIGNS LIST 1 Free-text question automatic marking system 10 Terminal 11 Output unit 12 Input unit 20 Network 30 Free-text question automatic marking server 31 Marking criteria creation unit 32 Marking unit
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024151044AJP7598513B1 (en) | 2024-09-02 | 2024-09-02 | Automatic scoring system for free-form writing questions |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024151044AJP7598513B1 (en) | 2024-09-02 | 2024-09-02 | Automatic scoring system for free-form writing questions |
| Publication Number | Publication Date |
|---|---|
| JP7598513B1true JP7598513B1 (en) | 2024-12-11 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024151044AActiveJP7598513B1 (en) | 2024-09-02 | 2024-09-02 | Automatic scoring system for free-form writing questions |
| Country | Link |
|---|---|
| JP (1) | JP7598513B1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019113591A (en)* | 2017-12-21 | 2019-07-11 | カシオ計算機株式会社 | Point rating support device, and control method and control program therefor |
| CN112182210A (en)* | 2020-09-25 | 2021-01-05 | 四川华空天行科技有限公司 | Language generation model based on composition data feature classifier and writing support method |
| JP2021140426A (en)* | 2020-03-04 | 2021-09-16 | 株式会社グロービス | Report evaluation device, report evaluation method, and program |
| KR102533788B1 (en)* | 2015-08-03 | 2023-05-17 | 엔제루 구루푸 가부시키가이샤 | Fraud detection system in casino |
| JP7521860B1 (en)* | 2024-05-15 | 2024-07-24 | 株式会社Nuginy | Language production ability evaluation system, language production ability evaluation program, and language production ability evaluation method |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102533788B1 (en)* | 2015-08-03 | 2023-05-17 | 엔제루 구루푸 가부시키가이샤 | Fraud detection system in casino |
| JP2019113591A (en)* | 2017-12-21 | 2019-07-11 | カシオ計算機株式会社 | Point rating support device, and control method and control program therefor |
| JP2021140426A (en)* | 2020-03-04 | 2021-09-16 | 株式会社グロービス | Report evaluation device, report evaluation method, and program |
| CN112182210A (en)* | 2020-09-25 | 2021-01-05 | 四川华空天行科技有限公司 | Language generation model based on composition data feature classifier and writing support method |
| JP7521860B1 (en)* | 2024-05-15 | 2024-07-24 | 株式会社Nuginy | Language production ability evaluation system, language production ability evaluation program, and language production ability evaluation method |
| Title |
|---|
| 森川周 ほか，生成AIを利用した要約問題の採点制度の検証，情報処理学会第86回全国大会講演論文集，2024年03月01日，pp.975-976 |
| 森川周 ほか: "生成AIを利用した要約問題の採点制度の検証", 情報処理学会第86回全国大会講演論文集, JPN6024040258, 1 March 2024 (2024-03-01), pages 975 - 976, ISSN: 0005435566* |
| 羽賀亮 ほか，少量の訓練データを用いた記述式答案の自動採点，２０２３年度人工知能学会全国大会（第３７回） ，2023年06月09日，pp.1-4 |
| 羽賀亮 ほか: "少量の訓練データを用いた記述式答案の自動採点", ２０２３年度人工知能学会全国大会（第３７回）, JPN6024040256, 9 June 2023 (2023-06-09), pages 1 - 4, ISSN: 0005435564* |
| 藤田彬 ほか，国語教育的評価項目を考慮した機械学習による日本語文章の自動評価と評価モデルの構築 Automated Evaluation of Japanese Compositions based on Features along Japanese Education and Construction of the Individual Evaluation Model，自然言語処理，言語処理学会 The Association for Natural Language Processing，2012年12月，Vol.19, No.4，pp.281-301 |
| 藤田彬 ほか: "国語教育的評価項目を考慮した機械学習による日本語文章の自動評価と評価モデルの構築 Automated Evaluati", 自然言語処理, vol. 19, no. 4, JPN6024040257, December 2012 (2012-12-01), pages 281 - 301, ISSN: 0005435565* |
| Publication | Publication Date | Title |
|---|---|---|
| Chien | Analysis of Taiwanese elementary school English teachers’ perceptions of, designs of, and knowledge constructed about differentiated instruction in content | |
| Nezakatgoo et al. | Challenges in teaching ESP at medical universities of Iran from ESP stakeholders' perspectives | |
| Rahmawati et al. | Teaching and learning narrative text writing through story mapping | |
| Salend | Classroom testing and assessment for all students: Beyond standardization | |
| Silva et al. | Writing instruction for ESL graduate students: Examining issues and raising questions | |
| Thomas et al. | Assessment of Lecturers’ Utilization of Artificial Intelligence for Education in a Nigerian University | |
| Salend | Using technology to create and administer accessible tests | |
| Brooks et al. | Assessing adult literacy and numeracy: a review of assessment instruments | |
| JP7598513B1 (en) | Automatic scoring system for free-form writing questions | |
| Pembe | Improving writing ability in children with susceptible writing difficulties: A child centred approach | |
| Haryanti et al. | Utilizing Visual Literacy Competence as a Strategy in Teaching Descriptive Writing | |
| Agbevivi et al. | Pre-reading activities and their effects on English reading comprehension of ESL Basic School Pupils | |
| Sultana et al. | The usefulness of digital media implementation in ESL learning among Bangladeshi students | |
| Al Samman et al. | The impact of teaching clustering prewriting strategies on writing self-efficacy among EFL learners in Turkey | |
| Romadhianti | The Strengthening of Literation and Character Building Through Drawing Stories | |
| Roti et al. | Improving Student Achievement in Solving Mathematical Word Problems. | |
| Mahamud | Early childhood assessment and observation of educators’ knowledge of learners in Sissala East Municipal, Ghana | |
| Jamshidipour et al. | Exploring Contents of Peer Feedback Dynamics Using Patterns of Pair Interaction: Iranian EFL Learners' Written Discourse in Focus | |
| Chee et al. | Writing Effective Alt-text for Online Instructional Materials | |
| Ghahremanian et al. | The Impact of the Look, Say, Cover, Write, Check Method on the English Spelling Performance of Iranian Students | |
| Cabbigat | Contextualized Highland and Indigenous Literature for Ayangan Grade 7 (CHILAG) Workbook for Noting Details | |
| Annisah et al. | LEVERAGING FLASHCARD FOR ELT: A SYSTEMATIC REVIEW | |
| Zivanayi et al. | Enhancing Formal Assessment using Concept Cartoons in Physics: A Teacher’s Perspective | |
| Nabor | Evaluation of Learning Modules in Mathematics | |
| Cagara et al. | Feedback Mechanisms of DepEd English Teachers in Modular Distance Learning: A Case Study |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20240909 | |
| A871 | Explanation of circumstances concerning accelerated examination | Free format text:JAPANESE INTERMEDIATE CODE: A871 Effective date:20240909 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20241010 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20241029 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20241107 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20241129 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:7598513 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 |