WO2023276130A1

Movatterモバイル変換

Info

Publication number: WO2023276130A1
Application number: PCT/JP2021/025049
Authority: WO
Inventors: 真奈笹川; 俊一瀬古; 直紀萩山
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2021-07-01
Filing date: 2021-07-01
Publication date: 2023-01-05
Anticipated expiration: 2024-01-01
Also published as: JPWO2023276130A1; JP7635842B2

Abstract

Provided is a control device comprising an emotion estimation unit that estimates the emotion of a transmission user on the basis of text data, a haptic sense determination unit that determines a haptic sense corresponding to the estimated emotion, and a control unit that performs control of causing a reception user to feel the determined haptic sense.

Description

Translated fromJapanese

制御装置、感情伝達方法およびプログラムControl device, emotion transmission method and program

　本発明は、制御装置、感情伝達方法およびプログラムに関する。The present invention relates to a control device, an emotion transmission method, and a program.

　通信ネットワークを介して感情を伝達する技術が開発されている。例えば、非特許文献１には、オンラインチャットにおいて打鍵の振動を示すデータを通信相手に送信する技術が開示されている。この技術により、オンラインゆえに読み取りにくい相手の感情を察しやすくなるため、コミュニケーションが円滑になる効果が示されている。Technology is being developed to transmit emotions via communication networks. For example, Non-PatentLiterature 1 discloses a technique for transmitting data indicating the vibration of keystrokes to a communication partner in an online chat. This technology has been shown to have the effect of facilitating communication, as it makes it easier to sense the emotions of others, which is difficult to read online.

山田裕子，平野貴幸，＆西本一志，(2003)，TangibleChat: 打鍵振動の伝達によるキーボードチャットにおける対話状況アウェアネス伝達の試みYuko Yamada, Takayuki Hirano, & Kazushi Nishimoto, (2003), TangibleChat: An Attempt to Convey Dialogue Situation Awareness in Keyboard Chat by Conveying Key Strike Vibration

　上述した従来の技術では、例えば聞き手である受信ユーザは、例えば話し手である送信ユーザの感情の強さを振動の強さから判別できたとしても、どのような感情なのか、例えばポジティブな感情なのかネガティブな感情なのかの判別が難しいという問題がある。例えば、同じ振動を受信ユーザに伝えた場合、送信ユーザが楽しくてうきうきしている振動なのか、怒りのまま叩きつけている振動なのかがわからない。In the conventional technology described above, for example, even if the receiving user, who is the listener, can determine the intensity of the emotion of the transmitting user, who is the speaker, from the intensity of the vibration, what kind of emotion it is, for example, positive emotion. There is a problem that it is difficult to distinguish whether it is a negative emotion or a negative emotion. For example, when the same vibration is transmitted to the receiving user, it is not possible to tell whether the transmitting user is excited and excited or angry.

　開示の技術は、送信ユーザの感情をより正確に受信ユーザに伝えることを目的とする。The disclosed technology aims to more accurately convey the emotions of the sending user to the receiving user.

　開示の技術は、テキストデータに基づいて、送信ユーザの感情を推定する感情推定部と、推定された前記感情に対応する触感を決定する触感決定部と、決定された前記触感を受信ユーザに感じさせるように制御する制御部と、を備える制御装置である。The disclosed technology includes an emotion estimation unit that estimates the emotion of a sending user based on text data, a tactile sensation determination unit that determines a tactile sensation corresponding to the estimated emotion, and a receiving user that feels the determined tactile sensation. and a control unit that controls to cause the control device.

　送信ユーザの感情をより正確に受信ユーザに伝えることができる。The sending user's emotions can be conveyed to the receiving user more accurately.

実施例１に係る感情伝達システムのシステム構成例を示す図である。1 is a diagram illustrating a system configuration example of an emotion transfer system according to Example 1; FIG.実施例１に係る受信端末の配置の一例を示す図である。FIG. 3 is a diagram illustrating an example of arrangement of receiving terminals according to the first embodiment;実施例１に係る制御装置の機能構成例を示す図である。3 is a diagram illustrating an example of functional configuration of a control device according to the first embodiment; FIG.感情・触感関連データの一例を示す図である。It is a figure which shows an example of emotion / tactile sense related data.実施例１に係る制御処理の流れの一例を示すフローチャートである。6 is a flow chart showing an example of the flow of control processing according to the first embodiment;実施例２に係る感情伝達システムのシステム構成例を示す図である。FIG. 11 is a diagram showing a system configuration example of an emotion transfer system according to Example 2;実施例２に係る制御装置の機能構成例を示す図である。FIG. 10 is a diagram illustrating an example of the functional configuration of a control device according to the second embodiment;触感・回転角度関連データの一例を示す図である。It is a figure which shows an example of the tactile sense and rotation angle related data.コンピュータのハードウェア構成例を示す図である。It is a figure which shows the hardware configuration example of a computer.

　以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。An embodiment (this embodiment) of the present invention will be described below with reference to the drawings. The embodiments described below are merely examples, and embodiments to which the present invention is applied are not limited to the following embodiments.

　（本実施の形態の概要）
　本実施の形態に係る制御装置は、受信端末が送信端末から受信したテキストデータに基づいて、送信端末を操作するユーザの感情を推定して、推定した感情に対応する触感を決定する。そして、制御装置は、決定した触感を、受信端末を操作するユーザに感じさせるように、各種の機器を制御する。(Overview of this embodiment)
The control device according to the present embodiment estimates the emotion of the user operating the transmitting terminal based on the text data received by the receiving terminal from the transmitting terminal, and determines the tactile sensation corresponding to the estimated emotion. Then, the control device controls various devices so that the determined tactile sensation is felt by the user operating the receiving terminal.

　以下、本実施の形態の具体的な実施例として、実施例１と実施例２について説明する。Examples 1 and 2 will be described below as specific examples of the present embodiment.

　（実施例１）
　まず、実施例１に係る感情伝達システムについて、図面を参照して説明する。(Example 1)
First, an emotion transfer system according to the first embodiment will be described with reference to the drawings.

　（実施例１に係る感情伝達システムの概要）
　本実施例に係る感情伝達システムは、振動子の振動と熱電素子の温度とを制御することによって、決定した触感を、受信端末を操作するユーザに感じさせる。(Overview of emotion transfer system according to embodiment 1)
The emotion transfer system according to the present embodiment controls the vibration of the vibrator and the temperature of the thermoelectric element to allow the user operating the receiving terminal to feel the determined tactile sensation.

　（実施例１に係る感情伝達システムのシステム構成例）
　図１は、実施例１に係る感情伝達システムのシステム構成例を示す図である。感情伝達システム１は、制御装置１０と、受信端末２０と、送信端末３０と、通信ネットワーク４０と、第一テクスチャ２１０と、第二テクスチャ２２０と、第一熱電素子２１１と、第二熱電素子２２１と、第一振動子２１２と、第二振動子２２２と、を備える。(System configuration example of emotion transfer system according to embodiment 1)
FIG. 1 is a diagram illustrating a system configuration example of an emotion transfer system according to a first embodiment. Theemotion transmission system 1 includes acontrol device 10, areceiving terminal 20, atransmitting terminal 30, acommunication network 40, afirst texture 210, asecond texture 220, a first thermoelectric element 211, and a secondthermoelectric element 221. , afirst oscillator 212 , and asecond oscillator 222 .

　送信端末３０および受信端末２０は、通信ネットワーク４０を介して通信可能に接続されている。また、制御装置１０および受信端末２０は、通信線４１を介して通信可能に接続されている。さらに、制御装置１０と、第一熱電素子２１１、第二熱電素子２２１、第一振動子２１２および第二振動子２２２とは、制御線４２を介してそれぞれ通信可能に接続されている。The transmittingterminal 30 and thereceiving terminal 20 are communicably connected via acommunication network 40 . Also, thecontrol device 10 and thereceiving terminal 20 are communicably connected via acommunication line 41 . Furthermore, thecontrol device 10, the first thermoelectric element 211, the secondthermoelectric element 221, thefirst oscillator 212, and thesecond oscillator 222 are connected viacontrol lines 42 so as to be able to communicate with each other.

　送信端末３０は、例えばオンラインチャットにおける話し手であるユーザ（以下、送信ユーザという）によって操作される端末である。送信端末３０は、送信ユーザによって入力されたテキストを示すデータを、受信端末２０に送信する。The sendingterminal 30 is, for example, a terminal operated by a user who is a speaker in an online chat (hereinafter referred to as a sending user). The sendingterminal 30 sends data indicating the text entered by the sending user to thereceiving terminal 20 .

　受信端末２０は、例えばオンラインチャットにおける聞き手であるユーザ（以下、受信ユーザという）によって操作される端末である。受信端末２０は、送信端末３０から受信したテキストデータを、制御装置１０に送信する。Thereceiving terminal 20 is, for example, a terminal operated by a user who is a listener in an online chat (hereinafter referred to as a receiving user). Thereceiving terminal 20 transmits the text data received from the transmittingterminal 30 to thecontrol device 10 .

　制御装置１０は、例えばＡｒｄｕｉｎｏ等の制御器であって、受信端末２０から受信したテキストデータに基づいて、第一熱電素子２１１、第二熱電素子２２１、第一振動子２１２および第二振動子２２２を制御する。Thecontrol device 10 is, for example, a controller such as Arduino, and controls the first thermoelectric element 211, the secondthermoelectric element 221, thefirst oscillator 212 and thesecond oscillator 222 based on the text data received from thereceiving terminal 20. to control.

　第一テクスチャ２１０および第二テクスチャ２２０は、互いに異なる触感を感じさせるような材質から形成された表面を有する薄膜状の物体である。例えば、第一テクスチャ２１０は、「つるつる」の触感を感じさせる、アルミニウムから形成された表面を有する物体である。第二テクスチャ２２０は、「ふわふわ」の触感を感じさせる、綿から形成された表面を有する物体である。Thefirst texture 210 and thesecond texture 220 are thin-film objects having surfaces made of materials that give different tactile sensations. For example, thefirst texture 210 is an object having a surface made of aluminum that feels "slippery". Thesecond texture 220 is an object having a surface made of cotton that gives it a "fluffy" feel.

　第一テクスチャ２１０は、第一熱電素子２１１および第一振動子２１２に近接して配置され、第一熱電素子２１１の発熱によって温度が上昇し、第一振動子２１２に連動して振動する。Thefirst texture 210 is arranged close to the first thermoelectric element 211 and thefirst oscillator 212 , and the heat generated by the first thermoelectric element 211 increases the temperature and vibrates in conjunction with thefirst oscillator 212 .

　第二テクスチャ２２０も、同様に、第二熱電素子２２１および第二振動子２２２に近接して配置され、第二熱電素子２２１の発熱によって温度が上昇し、第二振動子２２２に連動して振動する。Similarly, thesecond texture 220 is also arranged close to the secondthermoelectric element 221 and thesecond oscillator 222, the temperature rises due to the heat generated by the secondthermoelectric element 221, and it vibrates in conjunction with thesecond oscillator 222. do.

　第一熱電素子２１１および第二熱電素子２２１は、例えばペルチェ素子等であって、それぞれ制御装置１０による制御を受けて熱を発する。The first thermoelectric element 211 and the secondthermoelectric element 221 are, for example, Peltier elements, and generate heat under the control of thecontrol device 10 respectively.

　第一振動子２１２および第二振動子２２２は、例えば円盤型振動モータ等であって、それぞれ制御装置１０による制御を受けて振動する。Thefirst oscillator 212 and thesecond oscillator 222 are, for example, disk-shaped vibration motors, and each vibrate under the control of thecontrol device 10 .

　（実施例１に係る受信端末の配置の一例）
　図２は、実施例１に係る受信端末の配置の一例を示す図である。受信端末２０は、例えば図２に示すようなキーボード２１を備える。キーボード２１の左側のパームレストには、第一テクスチャ２１０が貼り付けられている。また、キーボード２１の右側のパームレストには、第二テクスチャ２２０が貼り付けられている。(Example of arrangement of receiving terminals according to the first embodiment)
FIG. 2 is a diagram illustrating an example of an arrangement of receiving terminals according to the first embodiment. Thereceiving terminal 20 has akeyboard 21 as shown in FIG. 2, for example. Afirst texture 210 is pasted on the palm rest on the left side of thekeyboard 21 . Asecond texture 220 is attached to the palm rest on the right side of thekeyboard 21 .

　第一熱電素子２１１および第一振動子２１２は、第一テクスチャ２１０の裏側に貼り付けられている。同様に、第二熱電素子２２１および第二振動子２２２は、第二テクスチャ２２０の裏側に貼り付けられている。The first thermoelectric element 211 and thefirst oscillator 212 are attached to the back side of thefirst texture 210 . Similarly, the secondthermoelectric element 221 and thesecond oscillator 222 are attached to the back side of thesecond texture 220 .

　これによって、受信ユーザは、キーボード２１を操作する際に、第一テクスチャ２１０および第二テクスチャ２２０に触れている状態となっている。そして、制御装置１０によって第一熱電素子２１１が熱を発し、第一振動子２１２が振動すると、第一テクスチャ２１０の表面から感じられる触感が強調され、「つるつる」の触感を感じる。また、制御装置１０によって第二熱電素子２２１が熱を発し、第二振動子２２２が振動すると、第二テクスチャ２２０の表面から感じられる触感が強調され、「ふわふわ」の触感を感じる。As a result, the receiving user is in a state of touching thefirst texture 210 and thesecond texture 220 when operating thekeyboard 21 . When thecontrol device 10 causes the first thermoelectric element 211 to generate heat and thefirst vibrator 212 to vibrate, the tactile sensation felt from the surface of thefirst texture 210 is emphasized, and a "smooth" tactile sensation is felt. In addition, when the secondthermoelectric element 221 generates heat by thecontrol device 10 and thesecond vibrator 222 vibrates, the tactile sensation felt from the surface of thesecond texture 220 is emphasized, giving a “fluffy” tactile sensation.

　（実施例１に係る制御装置の機能構成例）
　図３は、実施例１に係る制御装置の機能構成例を示す図である。制御装置１０は、記憶部１１と、感情推定部１２と触感決定部１３と、制御部１４と、を備える。(Example of functional configuration of the control device according to the first embodiment)
FIG. 3 is a diagram illustrating a functional configuration example of a control device according to the first embodiment; Thecontrol device 10 includes astorage unit 11 , anemotion estimation unit 12 , a tactilesensation determination unit 13 , and acontrol unit 14 .

　記憶部１１は、感情・触感関連データ１００を記憶する。感情・触感関連データ１００は、感情と触感との関連を規定するデータである。感情・触感関連データ１００の具体例については後述する。Thestorage unit 11 stores emotion/tactile sensationrelated data 100 . Emotion/tactile sensationrelated data 100 is data that defines the relationship between emotion and tactile sensation. A specific example of the emotion/tactile sensationrelated data 100 will be described later.

　感情推定部１２は、受信したテキストデータに基づいて、送信ユーザの感情を推定する。感情推定部１２は、感情推定の方法として、例えば参考文献［１］等の技術を適用しても良い。具体的には、感情推定部１２は、テキストが表現する感情ごとのスコアを算出し、算出されたスコアに基づいて感情を推定する。Theemotion estimation unit 12 estimates the emotion of the sending user based on the received text data. Theemotion estimating unit 12 may apply, for example, a technique such as Reference [1] as a method of estimating emotion. Specifically, theemotion estimation unit 12 calculates a score for each emotion expressed by the text, and estimates the emotion based on the calculated score.

　例えば、感情推定部１２は、「今朝は朝ごはんをしっかりと食べた」というテキストが表現する感情ごとのスコアを、最大値を１．０として「喜び」０．６８、「好意」０．６６、「恐れ」０．２９、「悲しみ」０．１４，「怒り」０．３４のように算出する。感情推定部１２は、送信ユーザの感情を、例えばスコアの最大値の感情（上記の例では「喜び」）と推定し、感情の強度を、当該感情のスコア（上記の例では０．６８）と推定する。For example, theemotion estimating unit 12 assigns a maximum score of 1.0 for each emotion expressed by the text "I had a good breakfast this morning", and assigns a score of 0.68 for "joy" and 0.66 for "goodwill". , "fear" 0.29, "sadness" 0.14, "anger" 0.34. Theemotion estimation unit 12 estimates the emotion of the sending user as, for example, the emotion with the maximum score ("joy" in the above example), and calculates the intensity of the emotion as the score of the emotion (0.68 in the above example). We estimate that

　触感決定部１３は、推定された感情に基づいて、受信ユーザに感じさせる触感を決定する。具体的には、触感決定部１３は、感情・触感関連データ１００に基づいて、推定された感情に対応する触感を決定する。The tactilesensation determination unit 13 determines the tactile sensation to be felt by the receiving user based on the estimated emotion. Specifically, the tactilesensation determination unit 13 determines a tactile sensation corresponding to the estimated emotion based on the emotion/tactile sensation relateddata 100 .

　制御部１４は、推定された感情の強度と、決定された触感と、に基づいて、温度と振動を制御する。具体的には、制御部１４は、振動制御部１４１と、温度制御部１４２と、を含む。振動制御部１４１は、第一振動子２１２および第二振動子２２２を制御する。温度制御部１４２は、第一熱電素子２１１および第二熱電素子２２１を制御する。Thecontrol unit 14 controls the temperature and vibration based on the estimated emotional intensity and the determined tactile sensation. Specifically, thecontroller 14 includes avibration controller 141 and atemperature controller 142 . Thevibration control section 141 controls thefirst oscillator 212 and thesecond oscillator 222 . Thetemperature control section 142 controls the first thermoelectric element 211 and the secondthermoelectric element 221 .

　振動制御部１４１は、決定された触感が第一触感である場合には、推定された感情の強度に応じた振動の強さとなるように第一振動子２１２を制御し、決定された触感が第二触感である場合には、推定された感情の強度に応じた振動の強さとなるように第二振動子２２２を制御する。When the determined tactile sensation is the first tactile sensation, thevibration control unit 141 controls thefirst oscillator 212 so that the intensity of vibration corresponds to the intensity of the estimated emotion, and the determined tactile sensation is the first tactile sensation. In the case of the second tactile sensation, thesecond oscillator 222 is controlled so that the intensity of vibration corresponds to the intensity of the estimated emotion.

　ここで、振動制御部１４１は、感情の強度の最大値に対する割合に応じて、振動の出力を決定する。例えば、最大値１．００に対して推定された感情の強度が０．６８である場合、最大値の６８％程度の出力で第一振動子２１２または第二振動子２２２を振動させる。Here, thevibration control unit 141 determines the vibration output according to the ratio of the intensity of emotion to the maximum value. For example, when the estimated emotion intensity is 0.68 with respect to the maximum value of 1.00, thefirst oscillator 212 or thesecond oscillator 222 is vibrated with an output of about 68% of the maximum value.

　温度制御部１４２は、決定された触感が第一触感である場合には、第一熱電素子２１１が熱を発するように制御し、決定された触感が第二触感である場合には、第二熱電素子２２１が熱を発するように制御する。When the determined tactile sensation is the first tactile sensation, thetemperature control unit 142 controls the first thermoelectric element 211 to generate heat. Thethermoelectric element 221 is controlled to generate heat.

　（実施例１に係る制御装置が扱うデータの具体例）
　図４は、感情・触感関連データの一例を示す図である。感情・触感関連データ１００は、項目として、感情と、感情種別と、触感と、を含む。(Specific example of data handled by the control device according to the first embodiment)
FIG. 4 is a diagram showing an example of emotion/tactile sensation related data. Emotion/tactile sensation relateddata 100 includes, as items, emotion, emotion type, and tactile sensation.

　項目「感情」の値は、感情推定部１２が推定する感情であって、予め規定されている。The value of the item "emotion" is the emotion estimated by theemotion estimation unit 12 and is defined in advance.

　項目「感情種別」の値は、それぞれの感情の種別を示す値であって、例えば「ポジティブ」および「ネガティブ」のいずれかの値である。The value of the item "emotion type" is a value that indicates the type of each emotion, and is, for example, either "positive" or "negative".

　項目「触感」の値は、それぞれの感情の種別ごとに、関連付けられた触感を示す値であって、例えば、第一触感、第二触感のように、テクスチャの種類と対応付けられている。The value of the item "tactile sensation" is a value indicating the associated tactile sensation for each type of emotion, and is associated with the type of texture, for example, the first tactile sensation and the second tactile sensation.

　なお、図４に示した感情・触感関連データ１００は、感情と触感の関連を示すデータの一例であって、他でも良い。例えば、感情・触感関連データ１００は、３つ以上の感情種別および触感を含んでも良い。その場合、感情伝達システム１は、対応するテクスチャ、熱電素子、振動子等の組み合わせを、３つ以上含むように構成される。すなわち、温度制御部１４２は、複数の熱電素子のうち、決定された触感を受信ユーザに感じさせる熱電素子の温度を制御する。また、振動制御部１４１は、複数の振動子のうち、温度を制御する熱電素子に対応する振動子を制御する。The emotion/tactile sensation relateddata 100 shown in FIG. 4 is an example of data indicating the relationship between emotion and tactile sensation, and other data may be used. For example, the emotion/tactile sensation relateddata 100 may include three or more emotion types and tactile sensations. In that case, theemotion transfer system 1 is configured to include three or more combinations of corresponding textures, thermoelectric elements, vibrators, and the like. That is, thetemperature control unit 142 controls the temperature of the thermoelectric element that causes the receiving user to feel the determined tactile sensation among the plurality of thermoelectric elements. Further, thevibration control unit 141 controls the vibrator corresponding to the thermoelectric element that controls the temperature among the plurality of vibrators.

　また、触感は、「ふわふわ」、「つるつる」等のようなものでも良く、その場合、記憶部１１は、それぞれの触感を感じさせるために制御すべき熱電素子および振動子を識別可能になるような対応情報を別途記憶する。例えば、感情・触感関連データ１００は、参考文献［２］の図６に示される表のようなデータであっても良い。In addition, the tactile sensation may be “fluffy”, “smooth”, or the like. corresponding information is stored separately. For example, the emotion/tactile sensation relateddata 100 may be data such as the table shown in FIG. 6 of Reference [2].

　（実施例１に係る制御装置の動作例）
　次に、本実施例に係る制御装置１０の動作について説明する。(Example of operation of the control device according to the first embodiment)
Next, the operation of thecontrol device 10 according to this embodiment will be described.

　図５は、実施例１に係る制御処理の流れの一例を示すフローチャートである。制御装置１０は、定期的に、または受信端末２０からの指示を受けて、制御処理を開始する。FIG. 5 is a flowchart showing an example of the flow of control processing according to the first embodiment. Thecontrol device 10 starts control processing periodically or upon receiving an instruction from the receivingterminal 20 .

　制御処理を開始すると、制御装置１０は、受信端末２０から受信することによって、テキストデータを取得する（ステップＳ１１）。When the control process is started, thecontrol device 10 acquires text data by receiving it from the receiving terminal 20 (step S11).

　感情推定部１２は、取得したテキストデータに示されるテキストが表現する感情を推定する（ステップＳ１２）。次に、触感決定部１３は、推定された感情に対応する触感を決定する（ステップＳ１３）。Theemotion estimation unit 12 estimates the emotion expressed by the text indicated in the acquired text data (step S12). Next, the tactilesensation determination unit 13 determines a tactile sensation corresponding to the estimated emotion (step S13).

　続いて、制御部１４は、振動と温度を制御する（ステップＳ１４）。具体的には、振動制御部１４１は、推定された感情の強度に応じて、第一振動子２１２または第二振動子２２２を制御する。また、温度制御部１４２は、決定された触感に応じて、第一熱電素子２１１または第二熱電素子２２１を制御する。Subsequently, thecontrol unit 14 controls vibration and temperature (step S14). Specifically, thevibration control unit 141 controls thefirst oscillator 212 or thesecond oscillator 222 according to the estimated intensity of emotion. Also, thetemperature control unit 142 controls the first thermoelectric element 211 or the secondthermoelectric element 221 according to the determined tactile sensation.

　（実施例１の効果）
　本実施例に係る感情伝達システム１によれば、制御装置１０は、受信端末２０が送信端末３０から受信したテキストデータに基づいて、送信ユーザの感情を推定して、推定した感情に対応する触感を決定する。そして、制御装置１０は、決定した触感を受信ユーザに感じさせるように、振動と温度を制御する。これによって、送信ユーザの感情の推定結果に応じた触感を受信ユーザに感じさせることができる。(Effect of Example 1)
According to theemotion transfer system 1 of the present embodiment, thecontrol device 10 estimates the emotion of the transmitting user based on the text data received by the receivingterminal 20 from the transmittingterminal 30, and generates a tactile sensation corresponding to the estimated emotion. to decide. Then, thecontrol device 10 controls the vibration and temperature so that the receiving user feels the determined tactile sensation. This makes it possible for the receiving user to feel a tactile sensation corresponding to the estimation result of the sending user's emotion.

　（実施例２）
　以下に図面を参照して、実施例２について説明する。実施例２は、温度と振動を制御する代わりに、回転と振動を制御する点が、実施例１と相違する。よって、以下の実施例２の説明では、実施例１との相違点を中心に説明し、実施例１と同様の機能構成を有するものには、実施例１の説明で用いた符号と同様の符号を付与し、その説明を省略する。(Example 2)
A second embodiment will be described below with reference to the drawings. Example 2 differs from Example 1 in that instead of controlling temperature and vibration, rotation and vibration are controlled. Therefore, in the following description of the second embodiment, the differences from the first embodiment will be mainly described. Reference numerals are assigned and descriptions thereof are omitted.

　（実施例２に係る感情伝達システムの概要）
　本実施例に係る感情伝達システムは、振動子の振動と回転体の回転角度とを制御することによって、決定した触感を、受信端末を操作するユーザに感じさせる。(Overview of emotion transfer system according to embodiment 2)
The emotion transmission system according to the present embodiment controls the vibration of the vibrator and the rotation angle of the rotator to allow the user operating the receiving terminal to feel the determined tactile sensation.

　（実施例２に係る感情伝達システムのシステム構成例）
　図６は、実施例２に係る感情伝達システムのシステム構成例を示す図である。本実施例に係る感情伝達システム１は、制御装置１０と、受信端末２０と、送信端末３０と、通信ネットワーク４０と、第一テクスチャ２１０と、第二テクスチャ２２０と、回転体２３０と、モータ２４０と、振動装置２５０と、を備える。(System configuration example of the emotion transfer system according to the second embodiment)
FIG. 6 is a diagram illustrating a system configuration example of an emotion transfer system according to the second embodiment. Theemotion transfer system 1 according to this embodiment includes acontrol device 10, a receivingterminal 20, a transmittingterminal 30, acommunication network 40, afirst texture 210, asecond texture 220, arotating body 230, and amotor 240. and a vibratingdevice 250 .

　受信端末２０、送信端末３０、通信ネットワーク４０、第一テクスチャ２１０および第二テクスチャ２２０は、実施例１と同様である。The receivingterminal 20, the transmittingterminal 30, thecommunication network 40, thefirst texture 210 and thesecond texture 220 are the same as in the first embodiment.

　本実施例に係る制御装置１０は、受信端末２０から受信したテキストデータに基づいて、モータ２４０および振動装置２５０を制御する。Thecontrol device 10 according to this embodiment controls themotor 240 and thevibration device 250 based on the text data received from the receivingterminal 20.

　また、本実施例に係る第一テクスチャ２１０および第二テクスチャ２２０は、回転体２３０の周囲に貼り付けられている。Also, thefirst texture 210 and thesecond texture 220 according to this embodiment are applied around therotating body 230 .

　回転体２３０は、例えば円柱形の物体であって、周囲に貼り付けられた第一テクスチャ２１０および第二テクスチャ２２０が受信ユーザに触れる配置となっている。そして、回転体２３０は、モータ２４０によって回転し、その回転角度に応じて第一テクスチャ２１０または第二テクスチャ２２０が受信ユーザに触れるように構成される。The body ofrotation 230 is, for example, a cylindrical object, and is arranged so that thefirst texture 210 and thesecond texture 220 pasted around it touch the receiving user. Therotor 230 is rotated by themotor 240, and thefirst texture 210 or thesecond texture 220 touches the receiving user according to the rotation angle.

　振動装置２５０は、振動を受信ユーザに感じさせるように配置される。振動装置２５０は、回転体２３０を介して振動を受信ユーザに感じさせても良いし、他の物体を介して、または直接に受信ユーザに触れるように構成されていても良い。The vibratingdevice 250 is arranged to make the receiving user feel the vibration. The vibratingdevice 250 may cause the receiving user to feel vibrations via therotating body 230, or may be configured to directly touch the receiving user via another object.

　（実施例２に係る制御装置の機能構成例）
　図７は、実施例２に係る制御装置の機能構成例を示す図である。本実施例に係る制御装置１０は、実施例１に係る制御装置１０の温度制御部１４２に代えて、回転制御部１４３を備える。(Example of functional configuration of the control device according to the second embodiment)
FIG. 7 is a diagram illustrating a functional configuration example of a control device according to the second embodiment; Thecontrol device 10 according to the present embodiment includes arotation control section 143 instead of thetemperature control section 142 of thecontrol device 10 according to the first embodiment.

　また、記憶部１１は、触感・回転角度関連データ１０１をさらに記憶する。触感・回転角度関連データ１０１は、触感と回転体２３０の回転角度との関連を示すデータである。触感・回転角度関連データ１０１の具体例については後述する。In addition, thestorage unit 11 further stores tactile sensation/rotational anglerelated data 101 . The tactile sensation/rotation angle relateddata 101 is data indicating the relationship between the tactile sensation and the rotation angle of therotating body 230 . A specific example of the tactile sensation/rotational angle relateddata 101 will be described later.

　振動制御部１４１は、推定された感情の強度に応じた振動の強さとなるように、振動装置２５０を制御する。Thevibration control unit 141 controls thevibration device 250 so that the strength of the vibration corresponds to the estimated emotional strength.

　回転制御部１４３は、決定された触感を受信ユーザに感じさせるための回転角度を、触感・回転角度関連データ１０１に基づいて決定し、回転体２３０が決定された回転角度となるように、モータ２４０を制御する。Therotation control unit 143 determines, based on the tactile sensation/rotation angle relateddata 101, a rotation angle for causing the receiving user to feel the determined tactile sensation, and rotates the motor so that therotating body 230 reaches the determined rotation angle. 240.

　（実施例２に係る制御装置が扱うデータの具体例）
　図８は、触感・回転角度関連データの一例を示す図である。触感・回転角度関連データ１０１は、項目として、触感と、回転角度と、を含む。(Specific example of data handled by the control device according to the second embodiment)
FIG. 8 is a diagram showing an example of tactile sensation/rotational angle related data. The tactile sensation/rotation angle relateddata 101 includes tactile sensation and rotation angle as items.

　項目「触感」の値は、感情・触感関連データ１００の項目「触感」の値と同じであり、例えば、第一触感、第二触感のように、テクスチャの種類と対応付けられている。The value of the item "tactile sensation" is the same as the value of the item "tactile sensation" of the emotion/tactile sensation relateddata 100, and is associated with the texture type, for example, the first tactile sensation and the second tactile sensation.

　項目「回転角度」の値は、第一テクスチャ２１０または第二テクスチャ２２０が受信ユーザに触れる位置になる回転体２３０の回転角度であって、あらかじめ設定される。The value of the item "rotation angle" is the rotation angle of therotating body 230 at which thefirst texture 210 or thesecond texture 220 touches the receiving user, and is set in advance.

　（実施例２に係る制御装置の動作例）
　次に、本実施例に係る制御装置１０の動作について説明する。(Example of operation of the control device according to the second embodiment)
Next, the operation of thecontrol device 10 according to this embodiment will be described.

　本実施例に係る制御部１４は、図５に示される制御処理のステップＳ１４において、振動と温度を制御する代わりに、振動と回転角度を制御する。具体的には、振動制御部１４１は、推定された感情の強度に応じた振動の強さとなるように、振動装置２５０を制御する。Thecontrol unit 14 according to the present embodiment controls vibration and rotation angle instead of controlling vibration and temperature in step S14 of the control process shown in FIG. Specifically, thevibration control unit 141 controls thevibration device 250 so that the strength of vibration corresponds to the estimated strength of emotion.

　（実施例２の効果）
　本実施例に係る感情伝達システム１によれば、制御装置１０は、受信端末２０が送信端末３０から受信したテキストデータに基づいて、送信ユーザの感情を推定して、推定した感情に対応する触感を決定する。そして、制御装置１０は、決定した触感を受信ユーザに感じさせるように、振動と回転角度を制御する。これによって、送信ユーザの感情の推定結果に応じた触感を受信ユーザに感じさせることができる。(Effect of Example 2)
According to theemotion transfer system 1 of the present embodiment, thecontrol device 10 estimates the emotion of the transmitting user based on the text data received by the receivingterminal 20 from the transmittingterminal 30, and generates a tactile sensation corresponding to the estimated emotion. to decide. Then, thecontrol device 10 controls the vibration and rotation angle so that the receiving user feels the determined tactile sensation. This makes it possible for the receiving user to feel a tactile sensation corresponding to the estimation result of the sending user's emotion.

　（本実施の形態に係るハードウェア構成例）
　制御装置１０は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。なお、この「コンピュータ」は、物理マシンであってもよいし、クラウド上の仮想マシンであってもよい。仮想マシンを使用する場合、ここで説明する「ハードウェア」は仮想的なハードウェアである。(Hardware configuration example according to the present embodiment)
Thecontrol device 10 can be implemented, for example, by causing a computer to execute a program describing the processing details described in the present embodiment. Note that this "computer" may be a physical machine or a virtual machine on the cloud. When using a virtual machine, the "hardware" described here is virtual hardware.

　上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。The above program can be recorded on a computer-readable recording medium (portable memory, etc.), saved, or distributed. It is also possible to provide the above program through a network such as the Internet or e-mail.

　図９は、上記コンピュータのハードウェア構成例を示す図である。図９のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。FIG. 9 is a diagram showing a hardware configuration example of the computer. The computer of FIG. 9 has adrive device 1000, anauxiliary storage device 1002, amemory device 1003, aCPU 1004, aninterface device 1005, adisplay device 1006, aninput device 1007, anoutput device 1008, etc., which are interconnected by a bus B, respectively.

　当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。A program that implements the processing in the computer is provided by arecording medium 1001 such as a CD-ROM or memory card, for example. When therecording medium 1001 storing the program is set in thedrive device 1000 , the program is installed from therecording medium 1001 to theauxiliary storage device 1002 via thedrive device 1000 . However, the program does not necessarily need to be installed from therecording medium 1001, and may be downloaded from another computer via the network. Theauxiliary storage device 1002 stores installed programs, as well as necessary files and data.

　メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、当該装置に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。なお、上記コンピュータは、ＣＰＵ１００４の代わりにＧＰＵ（Graphics Processing Unit）またはＴＰＵ（Tensor processing unit）を備えていても良く、ＣＰＵ１００４に加えて、ＧＰＵまたはＴＰＵを備えていても良い。その場合、例えば特殊な演算が必要な処理をＧＰＵまたはＴＰＵが実行し、その他の処理をＣＰＵ１００４が実行する、というように処理を分担して実行しても良い。Thememory device 1003 reads and stores the program from theauxiliary storage device 1002 when a program activation instruction is received. TheCPU 1004 implements functions related to the device according to programs stored in thememory device 1003 . Theinterface device 1005 is used as an interface for connecting to the network. Adisplay device 1006 displays a program-based GUI (Graphical User Interface) or the like. Aninput device 1007 is composed of a keyboard, a mouse, buttons, a touch panel, or the like, and is used to input various operational instructions. Theoutput device 1008 outputs the calculation result. The computer may include a GPU (Graphics Processing Unit) or TPU (Tensor Processing Unit) instead of theCPU 1004, or may include a GPU or TPU in addition to theCPU 1004. In that case, the processing may be divided and executed, for example, the GPU or TPU executes processing that requires special computation, and theCPU 1004 executes other processing.

　（参考文献）
　［１］：User Local,Inc.，音声感情認識ＡＩ，［ｏｎｌｉｎｅ］，インターネット＜ＵＲＬ：https://emotion-voice-ai.userlocal.jp/＞
　［２］：Sato, D., Sasagawa, M., & Niijima, A. Affective Touch Robots with Changing Textures and Movements. In 2020 29th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN) (pp. 1-6). IEEE.(References)
[1]: User Local, Inc., voice emotion recognition AI, [online], Internet <URL: https://emotion-voice-ai.userlocal.jp/>
[2]: Sato, D., Sasagawa, M., & Niijima, A. Affective Touch Robots with Changing Textures and Movements. In 2020 29th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN) (pp. 1- 6).IEEE.

　（実施の形態のまとめ）
　本明細書には、少なくとも下記の各項に記載した制御装置、感情伝達方法およびプログラムが記載されている。
（第１項）
　テキストデータに基づいて、送信ユーザの感情を推定する感情推定部と、
　推定された前記感情に対応する触感を決定する触感決定部と、
　決定された前記触感を受信ユーザに感じさせるように制御する制御部と、を備える、
　制御装置。
（第２項）
　前記感情推定部は、前記送信ユーザの感情の強度を推定し、
　前記制御部は、推定された前記感情の強度に応じた振動を前記受信ユーザに感じさせるように制御する、
　第１項に記載の制御装置。
（第３項）
　前記制御部は、複数の熱電素子のうち、決定された前記触感を前記受信ユーザに感じさせる熱電素子の温度を制御する、
　第２項に記載の制御装置。
（第４項）
　前記制御部は、複数の振動子のうち、温度を制御する熱電素子に対応する振動子を制御する、
　第３項に記載の制御装置。
（第５項）
　前記制御部は、決定された前記触感を前記受信ユーザに感じさせるように、回転体の回転角度を制御する、
　第２項に記載の制御装置。
（第６項）
　制御装置が実行する感情伝達方法であって、
　テキストデータに基づいて、送信ユーザの感情を推定するステップと、
　推定された前記感情に対応する触感を決定するステップと、
　決定された前記触感を受信ユーザに感じさせるように制御するステップと、を備える、
　感情伝達方法。
（第７項）
　コンピュータを、第１項から第５項のいずれか１項に記載の制御装置における各部として機能させるためのプログラム。(Summary of embodiment)
This specification describes at least a control device, an emotion transmission method, and a program described in each of the following items.
(Section 1)
an emotion estimation unit that estimates the emotion of the sending user based on the text data;
a tactile sense determination unit that determines a tactile sense corresponding to the estimated emotion;
a control unit that controls the receiving user to feel the determined tactile sensation;
Control device.
(Section 2)
The emotion estimation unit estimates the intensity of emotion of the sending user,
The control unit performs control so that the receiving user feels vibration according to the estimated intensity of the emotion.
A control device according toclaim 1.
(Section 3)
The control unit controls the temperature of a thermoelectric element that causes the receiving user to feel the determined tactile sensation among the plurality of thermoelectric elements.
3. A control device according to claim 2.
(Section 4)
The control unit controls, among the plurality of vibrators, a vibrator corresponding to a thermoelectric element that controls temperature.
A control device according to claim 3.
(Section 5)
The control unit controls the rotation angle of the rotating body so that the receiving user feels the determined tactile sensation.
3. A control device according to claim 2.
(Section 6)
An emotion transmission method executed by a control device,
estimating the sending user's sentiment based on the text data;
determining a tactile sensation corresponding to the estimated emotion;
and controlling the receiving user to feel the determined tactile sensation.
method of conveying emotions.
(Section 7)
A program for causing a computer to function as each unit in the control device according to any one ofitems 1 to 5.

　以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。Although the present embodiment has been described above, the present invention is not limited to such a specific embodiment, and various modifications and changes are possible within the scope of the gist of the present invention described in the claims. is.

１０　制御装置
１１　記憶部
１２　感情推定部
１３　触感決定部
１４　制御部
２０　受信端末
３０　送信端末
４０　通信ネットワーク
４１　通信線
４２　制御線
１００　感情・触感関連データ
１０１　触感・回転角度関連データ
１４１　振動制御部
１４２　温度制御部
１４３　回転制御部
２１０　第一テクスチャ
２１１　第一熱電素子
２１２　第一振動子
２２０　第二テクスチャ
２２１　第二熱電素子
２２２　第二振動子
２３０　回転体
２４０　モータ
２５０　振動装置
１０００　ドライブ装置
１００１　記録媒体
１００２　補助記憶装置
１００３　メモリ装置
１００４　ＣＰＵ
１００５　インタフェース装置
１００６　表示装置
１００７　入力装置
１００８　出力装置10control device 11storage unit 12emotion estimation unit 13 tactilesense determination unit 14control unit 20 receivingterminal 30 transmittingterminal 40communication network 41communication line 42control line 100 emotion/tactile sense relateddata 101 tactile sense/rotation angle relateddata 141vibration control unit 142Temperature control unit 143Rotation control unit 210 First texture 211 Firstthermoelectric element 212First oscillator 220Second texture 221 Secondthermoelectric element 222Second oscillator 230Rotating body 240Motor 250Vibration device 1000Drive device 1001 Recording medium 1002Auxiliary storage device 1003Memory device 1004 CPU
1005interface device 1006display device 1007input device 1008 output device

Claims

Translated fromJapanese

　テキストデータに基づいて、送信ユーザの感情を推定する感情推定部と、
　推定された前記感情に対応する触感を決定する触感決定部と、
　決定された前記触感を受信ユーザに感じさせるように制御する制御部と、を備える、
　制御装置。an emotion estimation unit that estimates the emotion of the sending user based on the text data;
a tactile sense determination unit that determines a tactile sense corresponding to the estimated emotion;
a control unit that controls the receiving user to feel the determined tactile sensation;
Control device.

　前記感情推定部は、前記送信ユーザの感情の強度を推定し、
　前記制御部は、推定された前記感情の強度に応じた振動を前記受信ユーザに感じさせるように制御する、
　請求項１に記載の制御装置。The emotion estimation unit estimates the intensity of emotion of the sending user,
The control unit performs control so that the receiving user feels vibration according to the estimated intensity of the emotion.
A control device according to claim 1 .

　前記制御部は、複数の熱電素子のうち、決定された前記触感を前記受信ユーザに感じさせる熱電素子の温度を制御する、
　請求項２に記載の制御装置。The control unit controls the temperature of a thermoelectric element that causes the receiving user to feel the determined tactile sensation among the plurality of thermoelectric elements.
3. A control device according to claim 2.

　前記制御部は、複数の振動子のうち、温度を制御する熱電素子に対応する振動子を制御する、
　請求項３に記載の制御装置。The control unit controls, among the plurality of vibrators, a vibrator corresponding to a thermoelectric element that controls temperature.
4. A control device according to claim 3.

　前記制御部は、決定された前記触感を前記受信ユーザに感じさせるように、回転体の回転角度を制御する、
　請求項２に記載の制御装置。The control unit controls the rotation angle of the rotating body so that the receiving user feels the determined tactile sensation.
3. A control device according to claim 2.

　制御装置が実行する感情伝達方法であって、
　テキストデータに基づいて、送信ユーザの感情を推定するステップと、
　推定された前記感情に対応する触感を決定するステップと、
　決定された前記触感を受信ユーザに感じさせるように制御するステップと、を備える、
　感情伝達方法。An emotion transmission method executed by a control device,
estimating the sending user's sentiment based on the text data;
determining a tactile sensation corresponding to the estimated emotion;
and controlling the receiving user to feel the determined tactile sensation.
method of conveying emotions.

　コンピュータを、請求項１から５のいずれか１項に記載の制御装置における各部として機能させるためのプログラム。A program for causing a computer to function as each unit in the control device according to any one of claims 1 to 5.