WO2017010547A1 - Robot and robot system - Google Patents

Abstract

Provided is a robot to which is disposed a cartilage vibration-transmission source, the robot being configured so that both hands of the robot are lain onto the face of a person or hold the back of the head, or so that one hand touches the cartilage of the ear. The relative positions of both hands touching the cartilage of both ears are maintained, but movement of the face is not restricted. The hands of the robot extend in the line-of-sight direction of the robot. The mouth of the robot is caused to move in conjunction with cartilage transmission audio. A limiter is applied to the touch pressure of the hands. Permission is sought before touching. Safety is confirmed before touching. When a malfunction occurs, touching with the hands is cancelled. The hands are warmed to the temperature of the human body. The robot makes indirect contact with a person who is wearing an accessory which covers a portion of the cartilage of the ear. Information for specifying the wearer is held in the accessory, and the robot reads such information. When the person guides the hands of the robot, the robot does not resist. When vibrations are transmitted to both ears, the hand of the robot tracks the movement of the head. The cartilage vibration-transmission source is provided to the first finger of the robot, and the second finger of the robot supports the head of the person.

Description

Translated fromJapanese

ロボットおよびロボットシステムRobot and robot system

　本発明は、ロボットおよびロボットシステムに関する。The present invention relates to a robot and a robot system.

　人とのコミュニケーションが可能な種々のロボットが提案されている。例えば特許文献１では、収録した特定個人の声で発話するとともに登録しておいた同人の癖に基づいて同時に四肢を動作させ、愛情などを演出できる人型ロボットが提案されている。一方、独居者の見守りシステムとしては、特許文献２において、見守り対象となる居住者の住居に設置した人感センサ、居住者が装着する加速度センサの双方から検出したデータを受信し、居住者の行動や状態、居住者の住居に発生したイベントを判断することが提案されている。さらに、咀嚼状態認識装置として、特許文献３では、外耳道内に挿入されて外耳道の変形量を検知する検知部からの検知波形に基づき咀嚼回数をカウントすることが提案されている。また、古くから知られていた気導および骨導に加え、第三の伝導ルートとして新たに発見された軟骨伝導については、特許文献４において、外耳道入口部周りの耳軟骨に接触させた振動源の振動により外耳道内部の軟骨表面から気導音が発生し、外耳道内を進んで鼓膜に達することが説明されている。Various robots that can communicate with people have been proposed. For example, Patent Document 1 proposes a humanoid robot that can utter with the voice of a specific individual recorded and simultaneously operate its limbs based on a registered person's habit to produce affection and the like. On the other hand, as a single-person monitoring system, inPatent Document 2, data detected from both a human sensor installed in a residence of a resident to be watched over and an acceleration sensor worn by the resident is received. It has been proposed to determine the behavior, state, and event that occurred in the resident's residence. Furthermore, as a mastication state recognition device, Patent Document 3 proposes counting the number of mastications based on a detection waveform from a detection unit that is inserted into the ear canal and detects the deformation amount of the ear canal. Further, in addition to air conduction and bone conduction that have been known for a long time, the cartilage conduction newly discovered as a third conduction route is disclosed inPatent Document 4 in which a vibration source is brought into contact with the ear cartilage around the ear canal entrance. It is described that air conduction sound is generated from the cartilage surface inside the ear canal due to the vibration of the ear, and travels through the ear canal to reach the eardrum.

特開２０１０－９４７９９号公報JP 2010-94799 A特開２０１４－８９４９４号公報JP 2014-89494 A特開２０１１－１０７９１号公報JP 2011-10791 A特開２０１３－８１０４７号公報JP 2013-81047 A

　しかしながらロボットおよびロボットを活用したロボットシステムに関しては、さらに検討すべき課題が多い。However, there are many issues to be further studied regarding robots and robot systems using robots.

　本発明の課題は、上記に鑑み、人との適切なコミュニケーションができるなロボットおよびロボットを活用したロボットシステムを提供することにある。In view of the above, an object of the present invention is to provide a robot capable of appropriately communicating with a human and a robot system using the robot.

　上記の課題を解決するため、本発明は、手と、前記手に設けられ人の耳軟骨に振動を伝達するための軟骨伝導振動源とを有することを特徴とするロボットを提供する。これにより自然な動作によるロボットと人との軟骨伝導によるコミュニケーションが可能となる。In order to solve the above-described problems, the present invention provides a robot characterized by having a hand and a cartilage conduction vibration source provided on the hand for transmitting vibration to a human ear cartilage. As a result, it is possible to communicate by cartilage conduction between the robot and a human by natural movement.

　具体的な特徴によれば、ロボットは両手を有し、前記両手のそれぞれに前記軟骨伝導振動源が設けられる。これにより、例えばロボットの両手で人の顔をやさしく包むような癒しのある演出で軟骨伝導によるロボットと人のコミュニケーションが可能となる。さらにステレオによる聴取も可能となる。他の具体的な特徴によれば、ロボットは、前記手に指を有し、前記軟骨伝導振動源は前記指に設けられる。これにより、より効率の良い軟骨伝導が可能となる。より詳細な特徴によれば、前記手全体を耳軟骨に接触するよう導くとともに、前記指を耳珠に導くよう調整する関節機構を有する。これにより適切な軟骨伝導のための調節が可能となる。According to a specific feature, the robot has both hands, and the cartilage conduction vibration source is provided in each of the both hands. Thereby, for example, the robot and the person can communicate with each other by cartilage conduction with a healing effect that gently wraps the face of the person with both hands of the robot. Furthermore, listening in stereo becomes possible. According to another specific feature, the robot has a finger on the hand, and the cartilage conduction vibration source is provided on the finger. Thereby, more efficient cartilage conduction becomes possible. According to a more detailed feature, it has an articulation mechanism that guides the entire hand to contact the ear cartilage and adjusts the finger to guide the tragus. This allows adjustment for proper cartilage conduction.

　他の具体的な特徴によれば、ロボットは、前記両手が軟骨伝導のためにそれぞれ両耳の軟骨に接触するとき、前記両手が両者の相対位置は維持しつつ顔の動きを拘束しないよう制御する制御部を有する。これにより、束縛感のない軟骨伝導が可能となる。According to another specific feature, when the both hands touch the cartilage of both ears for cartilage conduction, the robot controls the two hands to keep their relative positions and not restrain the movement of the face. A control unit. Thereby, cartilage conduction without a feeling of restraint becomes possible.

　他の具体的な特徴によれば、ロボットは外観が可動の目を有し、前記目の視線が前記両手の間を向くよう同調して動かされる。これにより、ロボットとの間でより親密な軟骨伝導によるコミュニケーションが可能となる。他の具体的な特徴によれば、ロボットは外観が可動の口機構を有し、前記口機構は前記軟骨伝導振動源の振動によって伝達される音声と連動して動くよう制御される。これによって、自然な軟骨伝導によるコミュニケーションが可能となる。According to another specific feature, the robot has an eye whose appearance is movable and is moved in synchronism so that the line of sight of the eye faces between the hands. This enables intimate communication with the robot through cartilage conduction. According to another specific feature, the robot has a mouth mechanism whose appearance is movable, and the mouth mechanism is controlled to move in conjunction with the sound transmitted by the vibration of the cartilage conduction vibration source. This enables communication by natural cartilage conduction.

　他の具体的な特徴によれば、ロボットは、前記軟骨伝導振動源の振動を耳軟骨に伝達するよう前記手が耳軟骨に接触するときその接触圧を制限するリミッタを有する。これにより安全な軟骨伝導によるコミュニケーションが可能となる。他の具体的な特徴によれば、ロボットは、前記軟骨伝導振動源の振動を耳軟骨に伝達するよう前記手を耳軟骨に接触させる際、同意を求めるコミュニケーション手段を有する。これによって、不快感のない軟骨伝導によるコミュニケーションが可能となる。According to another specific feature, the robot has a limiter for limiting the contact pressure when the hand contacts the ear cartilage so as to transmit the vibration of the cartilage conduction vibration source to the ear cartilage. This enables communication by safe cartilage conduction. According to another specific feature, the robot has communication means for asking for consent when the hand contacts the ear cartilage so as to transmit the vibration of the cartilage conduction vibration source to the ear cartilage. Thereby, communication by cartilage conduction without discomfort is possible.

　他の具体的な特徴によれば、ロボットは、前記軟骨伝導振動源の振動を耳軟骨に伝達するよう前記手を耳軟骨に接触させる際、事前に安全確認を行う制御部を有する。これによって、安全性の高い軟骨伝導によるコミュニケーションが可能となる。他の具体的な特徴によれば、ロボットは異常検知手段を有し、前記軟骨伝導振動源の振動を耳軟骨に伝達するよう前記手を耳軟骨に接触させる際、前記異常検知手段が異常を検知したとき、前記手の耳軟骨への接触が解除される。これによって万一の場合における不具合を回避できる。According to another specific feature, the robot has a control unit that performs safety confirmation in advance when the hand is brought into contact with the ear cartilage so as to transmit the vibration of the cartilage conduction vibration source to the ear cartilage. As a result, highly safe communication by cartilage conduction becomes possible. According to another specific feature, the robot has an abnormality detection means, and when the hand contacts the ear cartilage to transmit the vibration of the cartilage conduction vibration source to the ear cartilage, the abnormality detection means detects the abnormality. When detected, contact with the ear cartilage of the hand is released. This avoids problems in the event of an emergency.

　他の具体的な特徴によれば、ロボットは前記手を耳軟骨に導く外力に抗さないようロボットの腕を保持する関節機構を有する。これによってロボットと接触しようとする人が、自分の手でロボットの手を自分の耳軟骨に容易に導くことが出来る。他の具体的な特徴によれば、ロボットは、前記軟骨伝導振動源が人の片側の耳に振動を伝達するとともに、前記人の頭の動きに対し前記手を追従させる追従手段を有する。これにより片側の耳に振動を伝える場合でも人の頭の動きで接触が断たれることを防止できる。According to another specific feature, the robot has a joint mechanism for holding the arm of the robot so as not to resist the external force that guides the hand to the ear cartilage. This allows a person who wants to contact the robot to easily guide the robot's hand to his / her ear cartilage with his / her hand. According to another specific feature, the robot has follow-up means for causing the cartilage conduction vibration source to transmit vibrations to one ear of the person and to follow the hand with the movement of the person's head. Accordingly, even when vibration is transmitted to the ear on one side, it is possible to prevent the contact from being cut off by the movement of the human head.

　他の具体的な特徴によれば、ロボットの前記手は、前記軟骨伝導振動源が設けられる第一の指と、人の頭部の重量を支える第二の指を有する。これにより、例えば横臥している人の頭を抱き起こすロボットの動作に伴って軟骨伝導による自然なコミュニケーションが可能となる。According to another specific feature, the hand of the robot has a first finger provided with the cartilage conduction vibration source and a second finger supporting the weight of the human head. As a result, for example, natural communication by cartilage conduction is possible with the movement of the robot that holds the head of a lying person.

　本発明の他の具体的な特徴によれば、手と、前記手を人肌に加温するヒータとを有することを特徴とするロボットが提供される。これによって不快な冷感を伴わずにロボットと人との触れ合いが可能となる。According to another specific feature of the present invention, there is provided a robot having a hand and a heater for heating the hand to human skin. This makes it possible for the robot and the person to touch each other without an unpleasant cooling sensation.

　本発明の他の具体的な特徴によれば、人の耳軟骨に振動を伝達するための軟骨伝導振動源が手に設けられるとともに多数の人に共用されるロボットと、前記多数の人に個別に装着されるためのものであって少なくとも前記耳軟骨の一部を覆う装身具とを有し、前記装身具を介して間接的に前記軟骨伝導振動源の振動を前記多数の人の一人の耳軟骨に伝達することを特徴とするロボットシステムが提供される。これによって、誰が触れたのかわからないロボットの手を共用するにもかかわらず、衛生的に軟骨伝導の利点を享受できる聴取システムが実現できる。前記装身具は、具体的には例えばイヤーウォーマ、ヘヤバンド、イヤーカフおよび耳装着用キャラクターグッズのいずれか一つである。According to another specific feature of the present invention, a cartilage conduction vibration source for transmitting vibrations to a human ear cartilage is provided in a hand and is shared by a large number of persons, and the large number of persons individually An accessory that covers at least a portion of the ear cartilage, and indirectly transmits the vibration of the cartilage conduction vibration source via the accessory to one ear cartilage of the multiple persons. There is provided a robot system characterized in that As a result, it is possible to realize a listening system that can sanitarily enjoy the benefits of cartilage conduction despite sharing the hand of the robot who does not know who touched it. Specifically, the accessory is any one of, for example, an ear warmer, a hair band, an ear cuff, and an ear wearing character goods.

　本発明の他の具体的な特徴によれば、装着者を特定するための情報を保持する情報保持部を前記装身具に設けられるとともに、前記ロボットに前記情報を読取る手段が設けられる。これによって、装身具の装着者の要望にきめ細かく対応できるロボットシステムが実現するので装身具を装着する動機付けが可能となる。According to another specific feature of the present invention, an information holding unit for holding information for identifying a wearer is provided in the accessory, and means for reading the information is provided in the robot. As a result, a robot system capable of finely responding to the request of the wearer of the accessory is realized, so that motivation for attaching the accessory can be achieved.

　本発明の他の具体的な特徴によれば、多数の装着者に個別に装着されるとともに装着者を特定するための情報を保持する情報保持部が設けられた装身具と、前記情報を読取る手段が設けられたロボットとを有することを特徴とするロボットシステムが提供される。これによってロボットは個別の装着者それぞれ適した対応をとることができる。According to another specific feature of the present invention, an accessory that is individually worn by a large number of wearers and that is provided with an information holding unit that holds information for identifying the wearers, and means for reading the information A robot system is provided. As a result, the robot can take a suitable action for each individual wearer.

　上記のように、本発明によれば、人との適切なコミュニケーションができるなロボットおよびロボットを活用したロボットシステムが提供される。As described above, according to the present invention, a robot capable of appropriately communicating with a human and a robot system using the robot are provided.

本発明の実施例１のシステム構成図である。（実施例１）It is a system configuration figure of Example 1 of the present invention. Example 1図１の実施例１の詳細構成のブロック図である。It is a block diagram of the detailed structure of Example 1 of FIG.軟骨伝導を説明する耳の断面図である。It is sectional drawing of the ear | edge explaining a cartilage conduction.軟骨伝導の効果を示す実測データの一例を示すグラフである。It is a graph which shows an example of the measurement data which shows the effect of a cartilage conduction.実施例１における耳装着部の機能を示すフローチャートである。3 is a flowchart illustrating functions of an ear wearing unit according to the first embodiment.実施例１における携帯電話の機能を示すフローチャートである。3 is a flowchart illustrating functions of the mobile phone according to the first embodiment.実施例１における住居内モニタ部の機能を示すフローチャートである。It is a flowchart which shows the function of the residence monitor part in Example 1. FIG.本発明の実施例２のシステム構成図である。（実施例２）It is a system configuration | structure figure of Example 2 of this invention. (Example 2)本発明の実施例３のシステム構成図である。（実施例３）It is a system configuration | structure figure of Example 3 of this invention. Example 3図９の実施例３のロボットのブロック図である。It is a block diagram of the robot of Example 3 of FIG.実施例３のロボットの制御部２４０の機能を示すフローチャートである。12 is a flowchart illustrating functions of acontrol unit 240 of the robot according to the third embodiment.図１１のステップＳ１４０の詳細を示すフローチャートである。It is a flowchart which shows the detail of step S140 of FIG.本発明の実施例４のシステム構成図である。（実施例４）It is a system configuration | structure figure of Example 4 of this invention. Example 4実施例４のブロック図である。FIG. 10 is a block diagram of Example 4.実施例４の制御部の機能の一部を示すフローチャートである。10 is a flowchart illustrating a part of functions of a control unit according to the fourth embodiment.本発明の実施例５のシステム構成図である。（実施例５）It is a system configuration | structure figure of Example 5 of this invention. (Example 5)実施例５のブロック図である。10 is a block diagram of Embodiment 5. FIG.実施例５の制御部の機能を示すフローチャートである。10 is a flowchart illustrating functions of a control unit according to a fifth embodiment.図１８のステップＳ２５８の詳細を示すフローチャートである。It is a flowchart which shows the detail of step S258 of FIG.実施例５において装身具を介する接触の様子を示す側面図である。In Example 5, it is a side view which shows the mode of the contact through jewelry.実施例５における銀行全体のシステムブロック図である。It is a system block diagram of the whole bank in Example 5.図２１の銀行制御部の機能を示すフローチャートである。It is a flowchart which shows the function of the bank control part of FIG.本発明の実施例６に関する斜視図である。（実施例６）It is a perspective view regarding Example 6 of this invention. (Example 6)

　図１は、本発明の実施の形態に係る実施例１のシステム構成図である。実施例１は、住居２内の見守りシステムを構成しており、対耳輪と耳珠に挟まれて耳甲介腔に納まることによって見守り対象者の耳４の穴の周辺軟骨に接触する耳装着部６（耳構造と区別するため破線で図示）、耳装着部６と近距離通信により情報交換する住居内モニタ部８、および見守り対象者の携帯電話１０を含む。携帯電話１０は、耳装着部６および住居内モニタ部８と近距離通信により情報交換する。FIG. 1 is a system configuration diagram of Example 1 according to the embodiment of the present invention. The first embodiment constitutes a watch system in thehouse 2 and is put on an ear that comes in contact with the cartilage around the hole of theear 4 of the watch target person by being sandwiched between the antiauricle and the tragus and being placed in the concha cavity. A part 6 (illustrated with a broken line to distinguish it from the ear structure), an in-house monitor part 8 for exchanging information with theear wearing part 6 by short-range communication, and amobile phone 10 of the person to be watched are included. Themobile phone 10 exchanges information with theear wearing unit 6 and the in-house monitor unit 8 by short-range communication.

　耳装着部６は、携帯電話１０との近距離通信により携帯電話１０のヘッドセットとして機能し、携帯電話１０を例えば衣服のポケットに入れたままの状態でも通話が可能である。耳装着部６はまた単独で補聴器としても機能する。このヘッドセットとしての機能および補聴器としての機能は、後述する軟骨伝導を利用したものである。耳装着部６はさらに咀嚼センサを備え、咀嚼運動による耳珠等の移動または外耳道の変形を検知する。なお、耳装着部６は、穴６ａを有するリング状の形状をしていて装着時においても外耳道入口は開放しており、穴６ａを通して外界の音を聞くことができるとともに、外耳道の閉塞感のない快適な装着を可能とする。また、後述のように、必要に応じ穴６ａを指で閉鎖するかまたは掌で覆うことにより、軟骨伝導における外耳道閉鎖効果を得て、より大きな音を聞くことができる。Theear wearing unit 6 functions as a headset of themobile phone 10 by short-range communication with themobile phone 10, and can make a call even when themobile phone 10 is kept in a pocket of clothes, for example. Theear wearing part 6 also functions as a hearing aid alone. The function as a headset and the function as a hearing aid utilize cartilage conduction described later. Theear wearing unit 6 further includes a mastication sensor, and detects movement of the tragus or the like or deformation of the external auditory canal due to mastication. Note that theear mounting portion 6 has a ring shape having a hole 6a, and the ear canal entrance is open even when theear mounting portion 6 is mounted, so that sounds of the outside world can be heard through the hole 6a, and the ear canal has a feeling of obstruction. Allows no comfortable wearing. Further, as described later, by closing the hole 6a with a finger or covering with a palm as necessary, it is possible to obtain an external ear canal closing effect in cartilage conduction and to hear a louder sound.

　住居内モニタ部８は、耳装着部６および携帯電話１０と近距離通信するための近距離通信部１２および外部と常時接続のインターネット通信を行うデジタル通信部１４を有する。制御部１６は、近距離通信部１２およびデジタル通信部１４を含む住居内モニタ部８全体の制御を行う。記憶部１８は、制御部１６の制御に必要なプログラムを記憶するとともに、制御等に関連する種々のデータを一時記憶する。The in-housing monitor unit 8 includes a nearfield communication unit 12 for performing near field communication with theear wearing unit 6 and themobile phone 10 and adigital communication unit 14 for performing always-on Internet communication with the outside. Thecontrol unit 16 controls the entireresidential monitor unit 8 including the short-range communication unit 12 and thedigital communication unit 14. Thestorage unit 18 stores programs necessary for the control of thecontrol unit 16 and temporarily stores various data related to control and the like.

　以上の構成により、住居内モニタ部８は、耳装着部６からの咀嚼運動の検知結果を近距離通信により受信し、日常生活にて予測される咀嚼運動が検知されないときは異常状態の可能性があるとしてデジタル通信部１４から見守り業者にその旨の通報を行う。また、住居内モニタ部８は、耳装着部６のヘッドセット機能により検知される見守り対象者の音声の有無に関する情報を近距離通信にて受信し、所定期間音声が検知されない場合、または悲鳴等の緊急性のある音声信号を検知した場合に、異常状態の可能性があるとしてデジタル通信部１４から見守り業者にその旨の通報を行う。With the above configuration, the in-housing monitor unit 8 receives the detection result of the mastication movement from theear wearing unit 6 by short-range communication, and when the mastication movement predicted in daily life is not detected, there is a possibility of an abnormal state. There is a report from thedigital communication unit 14 to the monitoring company. In addition, the in-house monitor unit 8 receives information on the presence or absence of the voice of the person being watched over, which is detected by the headset function of theear wearing unit 6, by short-range communication, and when no sound is detected for a predetermined period, or screaming, etc. When an urgent voice signal is detected, thedigital communication unit 14 notifies the monitoring company that there is a possibility of an abnormal state.

　また、携帯電話１０は、耳装着部６からの咀嚼運動の検知結果を近距離通信により受信し、日常生活にて予測される咀嚼運動が検知されないときは異常状態の可能性があるとして予め登録しておいた遠隔地の家族等の携帯電話への自動発呼を行い、応答があれば自動音声にてその旨の通報を行う。さらに、携帯電話１０は、耳装着部６のヘッドセット機能により検知される見守り対象者の音声の有無に関する情報を近距離通信にて受信し、所定期間音声が検知されない場合、または悲鳴等の緊急性のある音声信号を検知した場合に、異常状態の可能性があるとして上記遠隔地の家族等の携帯電話への自動発呼を行い、応答があればその旨の通報を行う。In addition, themobile phone 10 receives the detection result of the mastication movement from theear wearing unit 6 through near field communication, and registers in advance that there is a possibility of an abnormal state when the mastication movement predicted in daily life is not detected. Calls are automatically made to a mobile phone of a remote family member, etc., and if there is a response, a notification to that effect is made by automatic voice. Furthermore, themobile phone 10 receives information on the presence or absence of the voice of the person being watched over, which is detected by the headset function of theear wearing unit 6, by short-range communication, and when no voice is detected for a predetermined period of time or an emergency such as a scream When a sound signal having a characteristic is detected, it is assumed that there is a possibility of an abnormal state, and an automatic call is made to a mobile phone of a remote family member or the like, and if there is a response, a notification to that effect is made.

　なお、携帯電話１０では、日常生活にて予測される咀嚼運動が検知された場合でも、上記遠隔地の家族等の携帯電話への自動発呼を行い、応答があれば自動音声にて異常なしの旨の通報を行う。また、見守り対象者の通常音声の検知に基づいても、上記遠隔地の家族等の携帯電話への自動発呼を適宜行い、応答があれば自動音声にて異常なしの旨の通報を行う。これによって遠隔地の家族等は、見守り対象者が三度の食事を規則的にとっていることや、日常的に期待される会話の存在、または予め設定された時間帯における規則的な発声状況（日常的な買い物での会話や日々のお経を唱えていることなど）を知り、安心することができる。なお、この場合、見守り対象者が意図していないのに携帯電話１０の自動発呼が行われ、会話の内容が聞かれてしまうことになる。これは、家族とはいえ見守り対象者にとってはプライバシー上望ましくないので、後述のように、音声の存否という事実のみ通報し、会話の内容は判別できないようにする。Note that themobile phone 10 automatically calls a mobile phone of a remote family or the like even if a chewing motion predicted in daily life is detected, and if there is a response, there is no abnormality in the automatic voice. Report to that effect. Also, based on detection of the normal voice of the person being watched over, automatic calling is appropriately made to the mobile phone of the remote family or the like, and if there is a response, a notification that there is no abnormality is made by automatic voice. As a result, a remote family member, etc., can regularly watch three meals, have daily conversations expected, or have regular utterances in a preset time zone (daily You can feel safe knowing that you are talking about traditional shopping and daily life. In this case, themobile phone 10 is automatically called even if the person being watched over is not intended, and the content of the conversation is heard. This is undesirable from the viewpoint of privacy for the person being watched over even though it is a family, so that only the fact of the presence or absence of voice is reported and the content of the conversation cannot be determined, as will be described later.

　図２は、図１に示した本発明の実施例１の詳細構成のブロック図である。図１と共通する部分には同一の番号を付し、必要のない限り説明を省略する。住居内モニタ部８の構成は、図１に示した通りであるが、住居内モニタ部８全体に給電する電源部２０を有する。電源部２０は住居２内の家庭用電源から給電を受ける。FIG. 2 is a block diagram of the detailed configuration of the first embodiment of the present invention shown in FIG. Portions common to those in FIG. 1 are denoted by the same reference numerals, and description thereof is omitted unless necessary. The configuration of the in-resident monitor unit 8 is as shown in FIG. 1, but includes apower supply unit 20 that supplies power to the entire in-house monitor unit 8. Thepower source unit 20 receives power from a household power source in thehouse 2.

　一方、携帯電話１０は、図２に示すように、携帯電話機能部２２を有し、アンテナ２４により無線電話回線にて通話を行う。近距離通信部２６は、耳装着部６および住居内モニタ部８それぞれの近距離通信部３６及び１２と通信する。また、ＧＰＳ部２８は、耳装着部６を装着した見守り対象者が携帯電話１０を持って外出した時の位置を検知し、必要に応じ上記の遠隔地の家族等の携帯電話または見守り業者と通信することで見守り対象者の位置情報を提供する。制御部３０は、携帯電話機能部２２、近距離通信部２６およびＧＰＳ部２８を含む携帯電話１０全体の制御を行う。記憶部３２は、制御部３０の制御に必要なプログラムを記憶するとともに、制御等に関連する種々のデータを一時記憶する。充電可能な蓄電池を有する電源部３４は、携帯電話１０全体に給電する。なお、図２では、簡単のため、図１に図示されている大型タッチパネル型液晶表示部、マイク、スピーカ、近接センサ、内側カメラなど、携帯電話１０が通常備える構成の図示を省略している。On the other hand, themobile phone 10 has a mobilephone function unit 22 as shown in FIG. The nearfield communication unit 26 communicates with the nearfield communication units 36 and 12 of theear wearing unit 6 and thedwelling monitor unit 8, respectively. In addition, theGPS unit 28 detects the position when the person to be watched wearing theear wearing unit 6 goes out with themobile phone 10, and if necessary, with a mobile phone or a watch trader such as the above-mentioned remote family Provide location information of the person being watched over by communicating. Thecontrol unit 30 controls the entiremobile phone 10 including the mobilephone function unit 22, the short-range communication unit 26, and theGPS unit 28. Thestorage unit 32 stores a program necessary for the control of thecontrol unit 30 and temporarily stores various data related to control and the like. Apower supply unit 34 having a rechargeable storage battery supplies power to the entiremobile phone 10. In FIG. 2, for the sake of simplicity, illustrations of configurations normally provided in themobile phone 10 such as a large touch panel type liquid crystal display unit, a microphone, a speaker, a proximity sensor, and an inner camera illustrated in FIG. 1 are omitted.

　図２に示すように、耳装着部６は、携帯電話１０の近距離通信部２６および住居内モニタ部８の近距離通信部１２と近距離通信する近距離通信部３６を有する。そして咀嚼センサ３８は、耳装着部６を装着した見守り対象者の咀嚼運動による耳珠等の移動または外耳道の変形を検知し、見守り対象者の咀嚼の有無を検出する。咀嚼センサ３８としては、ばストレインゲージ又は圧電素子等で構成する。制御部４０は、咀嚼運動を検出すると近距離通信部３６および近距離通信部２６を介して携帯電話１０にその旨を伝達する。また、日常生活にて予測される咀嚼運動が検知されないときは異常状態の可能性があるとして、近距離通信部３６から近距離通信部２６を介して携帯電話１０に、また、近距離通信部３６から近距離通信部１２を介して住居内モニタ部８にその旨を伝達する。As shown in FIG. 2, theear wearing unit 6 includes a short-range communication unit 36 that performs short-range communication with the short-range communication unit 26 of themobile phone 10 and the short-range communication unit 12 of theresidential monitor unit 8. Themastication sensor 38 detects the movement of the tragus or the like due to the mastication movement of the person to be watched wearing theear wearing part 6 or the deformation of the external auditory canal, and detects the presence or absence of mastication by the person to be watched. Themastication sensor 38 is composed of a strain gauge or a piezoelectric element. When detecting the mastication movement, thecontrol unit 40 transmits the fact to themobile phone 10 via the short-range communication unit 36 and the short-range communication unit 26. Further, when the mastication motion predicted in daily life is not detected, there is a possibility of an abnormal state, so that the short-range communication unit 36 transmits the short-distance communication unit 26 to themobile phone 10, and the short-range communication unit The information is transmitted from 36 to thedwelling monitor 8 via the short-range communication unit 12.

　耳装着部６の軟骨伝導振動源４２(例えば圧電バイモルフ素子を採用)は、近距離通信により携帯電話１０から受信した通話相手の音声信号により振動し、この振動を耳装着部６に接触している耳軟骨に伝えることで後述の軟骨伝導により通話相手の声を聞くことを可能とする。骨導マイク４４は、骨導による自分の声を拾い、近距離通信により携帯電話１０に自分の声の音声信号を送信することで、会話を成立させる。このようにして、耳装着部６は、携帯電話１０のヘッドセットとして機能する。外部気導音マイク４６は、近くにいる話し相手の生の気導音を拾って得た音声信号により軟骨伝導振動源４２を振動させる。これによって耳装着部６は、単独で補聴器としても機能する。制御部４０は、このようなヘッドセットの機能および補聴器の機能についても耳装着部６を制御する。なお、ヘッドセット機能における骨導マイク４４は、上記のように、見守り対象者が日常生活のなかで想定される声を出しているか否かを見守るための音声センサとしても機能する。充電可能な蓄電池を有する電源部４８は、耳装着部６全体に給電する。The cartilage conduction vibration source 42 (for example, adopting a piezoelectric bimorph element) of theear wearing unit 6 vibrates by the voice signal of the communication partner received from themobile phone 10 by short-range communication, and this vibration comes into contact with theear wearing unit 6. By transmitting to the ear cartilage, it is possible to hear the voice of the other party by cartilage conduction described later. Thebone conduction microphone 44 picks up his / her voice by bone conduction and transmits a voice signal of his / her voice to themobile phone 10 by short-range communication, thereby establishing a conversation. In this way, theear wearing unit 6 functions as a headset of themobile phone 10. The external air conductionsound microphone 46 vibrates the cartilageconduction vibration source 42 by an audio signal obtained by picking up a live air conduction sound of a nearby conversation partner. As a result, theear wearing part 6 functions as a hearing aid alone. Thecontrol unit 40 also controls theear wearing unit 6 for the function of the headset and the function of the hearing aid. Note that thebone conduction microphone 44 in the headset function also functions as a voice sensor for watching whether or not the person to be watched is making a voice expected in daily life. Apower supply unit 48 having a rechargeable storage battery supplies power to the entireear wearing unit 6.

　ここで軟骨伝導について説明する。軟骨伝導は、本願発明者によって発見された現象であり耳珠等の外耳道入口部周りの軟骨に伝えられた振動により軟骨部外耳道表面が振動し、外耳道内で気導音を発生させる現象である。そして外耳道内で発生した気導音は外耳道内をさらに奥に進んで鼓膜に達する。このように軟骨伝導により聞こえる音の主要部は鼓膜を介して聞こえる音である。ただし、鼓膜で聞こえるのは通常の気導音のように外耳道外部から外耳道に侵入した音ではなく、あくまで外耳道内部で発生した気導音である。Here, cartilage conduction will be explained. Cartilage conduction is a phenomenon discovered by the present inventor, and is a phenomenon in which the cartilage surface of the external auditory canal vibrates due to vibration transmitted to the cartilage around the entrance to the external ear canal such as tragus and generates air conduction sound in the external auditory canal. . The air conduction sound generated in the ear canal travels further back in the ear canal and reaches the eardrum. Thus, the main part of the sound heard by cartilage conduction is the sound heard through the tympanic membrane. However, what is heard through the eardrum is not a sound that enters the ear canal from outside the external auditory canal, but a sound that is generated inside the ear canal.

　図３は、上記のことを説明するための耳の断面図であって、耳４の構造と本発明に用いられる耳装着部６との関係を示す。矢印５２は、軟骨伝導振動源４２によって振動する耳装着部６の振動が鼓膜５０に伝わる経路を図示している。耳装着部６から発生する振動は、矢印５２で示すように、まず接触部分から外耳道入口部周りの軟骨５４に伝導する。軟骨５４の振動は、その表面（軟骨部外耳道）から外耳道内に気導音を発生させる。そしてこの気導音は外耳道内を進み、骨部外耳道５６を経て鼓膜５０に達する。なお、耳装着部６の穴６ａからは、矢印５８（通常の音が聞こえる経路）で示すように穴６ａを通して外界の気導音が外耳道に侵入し、鼓膜５０に達する。これによって、外耳道の閉塞感なしに快適に耳装着部６を装着することができる。FIG. 3 is a cross-sectional view of the ear for explaining the above, and shows the relationship between the structure of theear 4 and theear mounting portion 6 used in the present invention. Anarrow 52 illustrates a path through which the vibration of theear mounting portion 6 that is vibrated by the cartilageconduction vibration source 42 is transmitted to theeardrum 50. As shown by thearrow 52, the vibration generated from theear mounting portion 6 is first conducted from the contact portion to thecartilage 54 around the ear canal entrance portion. The vibration of thecartilage 54 generates air conduction sound from the surface (cartilage part external auditory canal) into the ear canal. The air conduction sound travels through the external auditory canal and reaches theeardrum 50 through the bone externalauditory canal 56. In addition, from the hole 6a of theear wearing part 6, as indicated by an arrow 58 (path through which a normal sound can be heard), air conduction sound of the outside world enters the ear canal through the hole 6a and reaches theeardrum 50. As a result, theear mounting part 6 can be comfortably mounted without a feeling of obstruction of the external auditory canal.

　図４は、軟骨伝導の効果を示す実測データの一例を示すグラフである。図４のグラフは軟骨伝導振動源により振動する振動体の外壁表面を耳輪への接触なしに外耳道入口部周辺の耳軟骨の少なくとも一部に接触させたときの外耳道入口部から１ｃｍ奥の外耳道内の音圧を周波数との関係で示すものである。グラフの縦軸は音圧（ｄＢＳＰＬ）であり、横軸は対数目盛の周波数（Ｈｚ）である。また、グラフには、振動体の外壁表面と外耳道入口部周辺軟骨の接触圧の関係において、非接触状態（振動体の外壁表面から発生する気導音のみが聞こえる状態）の音圧を実線で、接触圧１０重量グラムにおける音圧を破線で、接触圧２５０重量グラムにおける音圧を一点鎖線で、接触圧の増加により外耳道が閉鎖された状態（接触圧５００重量グラム）における音圧を二点鎖線で、それぞれ図示している。図示のように、音圧は非接触状態から接触圧１０重量グラムでの接触により増加し、さらに２５０重量グラムへの接触圧増加により増加し、この状態からさらに５００重量グラムに接触圧を増加させることで、音圧がさらに増加する。FIG. 4 is a graph showing an example of actually measured data showing the effect of cartilage conduction. The graph of FIG. 4 shows the inside of the ear canal 1 cm from the ear canal entrance when the outer wall surface of the vibrating body vibrated by the cartilage conduction vibration source is brought into contact with at least a part of the ear cartilage around the ear canal entrance without contacting the ear ring. Is shown in relation to the frequency. The vertical axis of the graph is the sound pressure (dBSPL), and the horizontal axis is the logarithmic scale frequency (Hz). In addition, the graph shows the sound pressure in a non-contact state (a state where only the air conduction sound generated from the outer wall surface of the vibrating body can be heard) in a solid line in relation to the contact pressure between the outer wall surface of the vibrating body and the cartilage around the ear canal entrance. The sound pressure at a contact pressure of 10 gram is indicated by a broken line, the sound pressure at a contact pressure of 250 gram is indicated by a one-dot chain line, and the sound pressure when the ear canal is closed by increasing the contact pressure (contact pressure of 500 gram) is indicated by two points. Each is indicated by a chain line. As shown in the figure, the sound pressure is increased by contact at a contact pressure of 10 weight grams from the non-contact state, further increased by increasing the contact pressure to 250 weight grams, and the contact pressure is further increased from this state to 500 weight grams. As a result, the sound pressure further increases.

　図４のグラフから明らかなように、振動体の外壁表面を耳輪への接触なしに外耳道入口部周辺の耳軟骨の少なくとも一部に接触させたとき、非接触状態に比べ、外耳道入口部から１ｃｍ奥の外耳道内における音圧が音声の主要な周波数帯域（５００Ｈｚ～２３００Ｈｚ）において少なくとも１０ｄＢ増加していることがわかる。（実線で示す非接触状態と、一点鎖線で示す状態とを比較参照。）As apparent from the graph of FIG. 4, when the outer wall surface of the vibrator is brought into contact with at least a part of the ear cartilage around the ear canal entrance without contact with the ear ring, it is 1 cm from the ear canal entrance compared with the non-contact state. It can be seen that the sound pressure in the inner ear canal increases by at least 10 dB in the main frequency band (500 Hz to 2300 Hz) of speech. (Refer to the comparison between the non-contact state indicated by the solid line and the state indicated by the alternate long and short dash line.)

　また、図４のグラフから明らかなように、振動体の外壁表面を耳輪への接触なしに外耳道入口部周辺の耳軟骨の少なくとも一部に接触させたとき、接触圧の変化によって外耳道入口部から１ｃｍ奥の外耳道内における音圧が音声の主要な周波数帯域（５００Ｈｚ～２５００Ｈｚ）において少なくとも５ｄＢ変化していることがわかる。（破線で示すわずかな接触状態と一点鎖線で示す状態での接触状態とを比較参照。）Further, as apparent from the graph of FIG. 4, when the outer wall surface of the vibrating body is brought into contact with at least a part of the ear cartilage around the ear canal entrance without contact with the ear ring, the contact pressure changes from the ear canal entrance. It can be seen that the sound pressure in the ear canal at a depth of 1 cm varies by at least 5 dB in the main frequency band (500 Hz to 2500 Hz) of speech. (Refer to the comparison between the slight contact state indicated by the broken line and the contact state indicated by the alternate long and short dash line.)

　以上から、耳装着部６に気導音を発生させるための構造（例えば通常イヤホンの振動板）がなくても、軟骨伝導振動源４２の振動を接触により耳軟骨に伝達することで必要な音圧が得られることがわかる。また、気導音を発生させるための構造が不要なため、耳装着部６は、穴６ａを有するリング状等の形状とすることができ、装着時においても穴６ａを通して外界の音を聞くことができるとともに、外耳道の閉塞感のない快適な装着が可能となることがわかる。From the above, even if there is no structure (for example, a normal earphone diaphragm) for generating air conduction sound in theear wearing part 6, the necessary sound can be obtained by transmitting the vibration of the cartilageconduction vibration source 42 to the ear cartilage by contact. It can be seen that pressure is obtained. In addition, since a structure for generating air conduction sound is not required, theear mounting portion 6 can be formed in a ring shape or the like having a hole 6a, and the outside sound can be heard through the hole 6a even during mounting. It can be seen that the device can be worn comfortably without the occlusion of the ear canal.

　さらに、図４のグラフから明らかなように、振動体の外壁表面を耳軟骨の少なくとも一部により強く接触させることにより外耳道入口部を閉鎖（図４の実測では、耳珠の外側から振動体の外壁表面を押し付け、耳珠が折れ曲がることにより外耳道入口を閉鎖する状態にして測定）したとき、非接触状態に比べ、外耳道入口部から１ｃｍ奥の外耳道内における音圧が音声の主要な周波数帯域（３００Ｈｚ～１８００Ｈｚ）において少なくとも２０ｄＢ増加していることがわかる。これは外耳道閉鎖効果による。（実線で示す非接触状態と、二点鎖線で示す外耳道が閉鎖された状態とを比較参照。）Furthermore, as is apparent from the graph of FIG. 4, the outer ear canal entrance is closed by bringing the outer wall surface of the vibrator into stronger contact with at least a part of the ear cartilage (in the actual measurement of FIG. When the outer wall surface is pressed and the tragus is bent and the ear canal entrance is closed (measured), the sound pressure in the ear canal is 1 cm behind the ear canal, compared to the non-contact state. It can be seen that there is an increase of at least 20 dB at 300 Hz to 1800 Hz. This is due to the effect of closing the ear canal. (Refer to the comparison between the non-contact state indicated by the solid line and the state where the ear canal indicated by the two-dot chain line is closed.)

　なお、図４における測定は、すべて軟骨伝導振動源の出力を変化させない状態におけるものである。また　耳輪への接触なしに振動体の外壁表面を外耳道入口部周辺の耳軟骨の少なくとも一部に接触させる状態として、図４における測定は、振動体の外壁表面を耳珠外側から接触させる状態で行っている。また、図４における外耳道が閉鎖された状態での測定は、上記のように耳珠を外側からより強く押圧することで耳珠が折り返ることにより外耳道を閉鎖する状態を作ることにより行っている。In addition, all the measurements in FIG. 4 are in a state where the output of the cartilage conduction vibration source is not changed. Further, in the state in which the outer wall surface of the vibrating body is brought into contact with at least a part of the ear cartilage around the entrance part of the ear canal without contact with the ear ring, the measurement in FIG. Is going. Moreover, the measurement in the state in which the external auditory canal is closed in FIG. 4 is performed by creating a state in which the external auditory canal is folded back by pressing the tragus more strongly from the outside as described above. .

　上記のような外耳道閉鎖効果は、実施例１の場合、穴６ａに指を当てて押すことにより穴６ａが閉鎖するとともに耳装着部６の軟骨への接触圧を高めることにより実現できる。又は、これに代えて掌で耳４全体を覆うことによっても外耳道閉鎖効果を得ることができる。このように、実施例１においても、必要に応じ穴６ａを指で閉鎖するかまたは掌で覆うことにより、より大きな音を聞くことができるのがわかる。In the case of Example 1, the outer ear canal closing effect as described above can be realized by closing the hole 6a by pressing thefinger 6 against the hole 6a and increasing the contact pressure of theear mounting portion 6 to the cartilage. Alternatively, the effect of closing the ear canal can be obtained by covering theentire ear 4 with a palm instead. Thus, also in Example 1, it turns out that a louder sound can be heard by closing the hole 6a with a finger or covering with a palm as needed.

　なお、図４の測定グラフは、あくまでも一例であって、細かく見れば個人差がある。また、図４の測定グラフは現象の単純化および標準化のために振動体の外壁表面を耳珠外側に限って少ない面積で接触させる状態にて測定を行っている。しかしながら接触による音圧の増加は、軟骨との接触面積にも依存し、耳輪への接触なしに振動体の外壁表面を外耳道入口部周辺の耳軟骨に接触させる場合、外耳道入口部周りのより広い軟骨部分に接触させれば音圧の増加はさらに高まる。以上のことを考慮すれば、図４の測定グラフに示した数値は軟骨伝導を利用した構成を示す一般性を持つものであって、不特定多数の被験者による再現性のあるものである。さらに、図４の測定グラフは、外耳道入口部を閉鎖する際に耳珠を外側から押圧することで接触圧を増して耳珠を折り返すことによるものであるが、振動体の外壁を外耳道入口部に押し入れてこれを閉鎖した場合にも同様の結果が得られる。Note that the measurement graph of FIG. 4 is merely an example, and there are individual differences if you look closely. In addition, the measurement graph of FIG. 4 is measured in a state where the outer wall surface of the vibrating body is in contact with a small area only on the outer side of the tragus in order to simplify and standardize the phenomenon. However, the increase in sound pressure due to contact also depends on the contact area with the cartilage, and when the outer wall surface of the vibrator is brought into contact with the ear cartilage around the ear canal entrance without contact with the ear ring, it is wider around the ear canal entrance. If the cartilage part is brought into contact, the increase in sound pressure is further increased. Considering the above, the numerical values shown in the measurement graph of FIG. 4 have generality indicating a configuration using cartilage conduction, and are reproducible by an unspecified number of subjects. Furthermore, the measurement graph of FIG. 4 is based on the result that the tragus is folded back by increasing the contact pressure by pressing the tragus from the outside when closing the ear canal entrance. A similar result can be obtained when it is pushed into and closed.

　図５は、実施例１の見守りシステムにおける耳装着部６の制御部４０の機能を示すフローチャートである。フローは、充電のために不図示の充電器に接続されていた耳装着部６を充電器から取り外すことによってスタートする。フローがスタートすると、ステップＳ２で携帯電話１０との近距離通信のためのペアリング状況を確認し、未設定ならペアリング設定を自動で行う。次いで、ステップＳ４で外部気導音マイク４６および骨導マイク４４をオンにする。これにより、耳装着部６は補聴器として機能するようになるとともに、骨導マイク４４による見守り対象者の音声検知待機状態になる。なお、フローでは省略しているが、咀嚼センサ３８はフロースタートから終了までの間、常にオン状態にあり咀嚼検知待機状態にある。FIG. 5 is a flowchart showing the function of thecontrol unit 40 of theear wearing unit 6 in the watching system of the first embodiment. The flow starts by removing theear wearing part 6 connected to a charger (not shown) for charging from the charger. When the flow starts, the pairing status for short-distance communication with themobile phone 10 is confirmed in step S2, and if not set, the pairing setting is automatically performed. Next, in step S4, the externalair conduction microphone 46 and thebone conduction microphone 44 are turned on. As a result, theear wearing unit 6 functions as a hearing aid, and enters a state of waiting for voice detection of the person being watched over by thebone conduction microphone 44. Although not shown in the flow, themastication sensor 38 is always in the on state from the start to the end of the flow and is in the mastication detection standby state.

　次にステップＳ６において咀嚼センサ３８が咀嚼運動を検知したか否かチェックする。そして検知があればステップＳ８に進み、近距離通信にて携帯電話１０に検知信号を送信するとともに、ステップＳ１０で近距離通信にて住居内モニタ部８に検知信号を送信し、ステップＳ１２に移行する。一方、ステップＳ６で咀嚼運動が検知されない場合は、直接ステップＳ１２に移行する。Next, in step S6, it is checked whether or not themastication sensor 38 has detected a mastication movement. If there is a detection, the process proceeds to step S8, and a detection signal is transmitted to themobile phone 10 by short-range communication, and a detection signal is transmitted to the in-house monitoring unit 8 by short-range communication in step S10, and the process proceeds to step S12. To do. On the other hand, if the mastication movement is not detected in step S6, the process proceeds directly to step S12.

　ステップＳ１２では、骨導マイク４４が見守り対象者の音声を検知したか否かチェックする。そして検知があればステップＳ１４に進み、近距離通信にて携帯電話１０に検知した音声信号を送信するとともに、これと並行してステップＳ１６で近距離通信にて住居内モニタ部８に検知した音声信号を送信する。ステップＳ１２からステップＳ１６は、簡易化した図示になっているが、実際には、これらのステップにおいては、骨導マイク４４に音声が検知され始めてからその後の所定時間（例えば１０秒）、骨導マイク４４からの音声信号を携帯電話１０および住居内モニタ部８に並行して送信し続ける。このとき、音声が所定時間以上続いていても所定時間で送信を打ち切り、逆に所定時間内に無音となっても所定時間内は骨導マイク４４の出力送信を継続する。上記のようなステップＳ１２からステップＳ１６による所定時間の音声信号送信が終了するとステップＳ２０に移行する。一方、ステップＳ１２で音声信号の検知がなければ直ちにステップＳ２０に移行する。In step S12, it is checked whether the bone-conduction microphone 44 has detected the target person's voice. And if there exists detection, it will progress to step S14, and while transmitting the audio | voice signal detected to themobile telephone 10 by near field communication, in parallel with this, the audio | voice detected by thedwelling monitor part 8 by near field communication by step S16 Send a signal. Steps S12 to S16 are illustrated in a simplified manner. Actually, however, in these steps, bone conduction is performed for a predetermined time (for example, 10 seconds) after the sound is detected by thebone conduction microphone 44. The audio signal from themicrophone 44 is continuously transmitted to themobile phone 10 and the in-house monitor unit 8 in parallel. At this time, even if the voice continues for a predetermined time or longer, the transmission is stopped at the predetermined time, and conversely, even if the sound is silenced within the predetermined time, the output transmission of the bone-conduction microphone 44 is continued within the predetermined time. When the audio signal transmission for a predetermined time from step S12 to step S16 is completed, the process proceeds to step S20. On the other hand, if no audio signal is detected in step S12, the process immediately proceeds to step S20.

　ステップＳ２０では、見守り対象者により携帯電話１０から発呼操作が行われ相手がこれに応答したか否か、または外部から携帯電話１０への着信があり、見守り対象者が応答操作をしたか否かをチェックする。そしてそのいずれかに該当する場合はステップＳ２２に進み外部気導音マイク４６をオフするとともに骨導マイク４４のオンは継続し、ステップＳ２４に移行する。これにより、耳装着部６は携帯電話１０のヘッドセットとして機能するようになり、外部気導音マイク４６から通話に不要な音が入らないようにする。In step S20, whether or not the person to be watched makes a call operation from themobile phone 10 and the other party has responded to this, or there is an incoming call to themobile phone 10 from the outside, and whether or not the person to be watched has made a response operation To check. If either of them is true, the process proceeds to step S22, the externalair conduction microphone 46 is turned off and thebone conduction microphone 44 is kept on, and the process proceeds to step S24. As a result, theear wearing unit 6 functions as a headset of themobile phone 10, and prevents unnecessary sounds from entering the call from the externalair conduction microphone 46.

　ステップＳ２４では、電話を切ることによりステップＳ２０で始まった通話が終了したか否かチェックする。そして通話終了が検知されたときは、ステップＳ２６に進み、外部気導音マイク４６をオンするとともに骨導マイク４４のオン状態を継続してステップＳ２８に移行する。これにより、耳装着部６は補聴器としての機能に復帰するとともに、骨導マイク４４による見守り対象者の音声検知待機状態が継続される。一方、ステップＳ２４で通話終了が検知されない場合は、ステップＳ２４が繰り返され、通話終了を待つ。また、ステップＳ２０で発呼応答または着信応答が検知されない場合は直接ステップＳ２８に移行する。In step S24, it is checked whether or not the call started in step S20 is terminated by hanging up the telephone. When the end of the call is detected, the process proceeds to step S26, the external air conductionsound microphone 46 is turned on and thebone conduction microphone 44 is kept on, and the process proceeds to step S28. Thereby, while theear mounting part 6 returns to the function as a hearing aid, the sound detection standby state of the person to be watched over by thebone conduction microphone 44 is continued. On the other hand, if the end of the call is not detected in step S24, step S24 is repeated to wait for the end of the call. If no outgoing call response or incoming call response is detected in step S20, the process proceeds directly to step S28.

　ステップＳ２８では、電源部４８の蓄電池が消耗しているか否かチェックする。蓄電池が消耗していなければステップＳ３０に移行し、耳装着部６が充電のために不図示の充電器に接続されたか否かチェックする。このステップは、蓄電池が消耗していなくても耳装着部６を耳４から取り外して充電する場合に対応している。ステップＳ３０で充電接続が検知されるとステップＳ３２に移行し、終了処理を行ってフローを終了する。これは、耳装着部６が耳４から取り外され見守り機能を果たすことができなくなっている状態であるにもかかわらず誤って動作状態に維持されることを防止する意義がある。一方、ステップＳ３０で充電接続が検知されなければ、ステップＳ６に戻り、以下、蓄電池が消耗するか充電接続が行われるかしないかぎり、ステップＳ６からステップＳ３０が繰り返され、耳装着部６は適宜、補聴器機能、見守り機能、携帯電話１０のヘッドセット機能を維持する。なお、ステップＳ２８で蓄電池の消耗が検知された場合もステップＳ３２に移行し、終了処理を行ってフローを終了する。In step S28, it is checked whether or not the storage battery of thepower supply unit 48 is exhausted. If the storage battery is not consumed, the process proceeds to step S30, and it is checked whether theear wearing unit 6 is connected to a charger (not shown) for charging. This step corresponds to the case where theear mounting portion 6 is detached from theear 4 and charged even when the storage battery is not consumed. When charging connection is detected in step S30, the process proceeds to step S32, and an end process is performed to end the flow. This has the significance of preventing theear wearing unit 6 from being erroneously maintained in the operating state despite being in a state where it is removed from theear 4 and cannot perform the watching function. On the other hand, if the charging connection is not detected in step S30, the process returns to step S6. Thereafter, unless the storage battery is consumed or the charging connection is performed, step S6 to step S30 are repeated, and theear wearing unit 6 The hearing aid function, the watch function, and the headset function of themobile phone 10 are maintained. In addition, also when the consumption of a storage battery is detected by step S28, it transfers to step S32, complete | finishes a flow, and complete | finishes a flow.

　図６は、実施例１における携帯電話１０の制御部３０の機能を示すフローチャートである。なお、図６のフローは、見守りに関する機能を中心に動作を抽出して図示しており、携帯電話１０には通常の携帯電話機能をはじめとする図６のフローに表記していない制御部３０の動作が存在する。携帯電話１０のハード構成自体は通常のものであって、図６で抽出している機能は、耳装着部６に付属のソフトウエアとしてインストールされるものである。FIG. 6 is a flowchart illustrating functions of thecontrol unit 30 of themobile phone 10 according to the first embodiment. Note that the flow of FIG. 6 is illustrated by extracting operations with a focus on functions related to watching, and themobile phone 10 includes acontrol unit 30 that is not shown in the flow of FIG. 6 including normal mobile phone functions. There are behaviors. The hardware configuration itself of themobile phone 10 is normal, and the functions extracted in FIG. 6 are installed as software attached to theear wearing unit 6.

　携帯電話１０の電源スイッチをオンすることにより図６のフローがスタートし、ステップＳ４２で通常携帯電話モードを設定する。次いでステップＳ４４で耳装着部６との近距離通信のためのペアリング状況をチェックする。そしてペアリングが設定されていれば耳装着部６と連携した携帯電話１０による見守りが可能なのでステップＳ４６に移行する。6 is started by turning on the power switch of themobile phone 10, and the normal mobile phone mode is set in step S42. Next, in step S44, the pairing status for near field communication with theear wearing unit 6 is checked. And if pairing is set, since it can watch over by themobile telephone 10 cooperated with theear mounting part 6, it transfers to step S46.

　ステップＳ４６では、耳装着部６から新たな咀嚼検知信号を受信したか否かチェックし、受信があればステップＳ４８に進み、予め登録しておいた遠隔地の家族等の携帯電話に見守り者の無事を知らせるメールを自動送信する。また、ステップＳ４８では予め設定しておくことによりメールに代えて予め登録しておいた遠隔地の家族等の携帯電話への自動発呼を行い、応答があれば見守り者の無事を知らせる自動音声の送信を行う。メールと発呼の両方を行うよう設定することもできる。咀嚼検知については基本的に日に三度で煩雑ではないと考えられるので、このように咀嚼検知信号を検知する毎に遠隔地の家族等に無事を報知し安心させる。なお、このような無事の報知が煩雑であると遠隔地の家族が考える場合は、ステップＳ４８を省略するよう予め設定しておくことができる。In step S46, it is checked whether or not a new mastication detection signal has been received from theear wearing unit 6, and if received, the process proceeds to step S48, and the watcher's mobile phone such as a remote family member registered in advance is checked. Automatically send a safety email. Further, in step S48, automatic voice calls are made to a remote family mobile phone registered in advance instead of e-mail by setting in advance, and if there is a response, an automatic voice that informs the safety of the watcher Send. It can also be configured to send both mail and calls. About mastication detection, it is considered that it is basically three times a day and is not complicated, so every time a mastication detection signal is detected, a remote family member is informed of the safety and reassured. If a remote family thinks that such a safe notification is complicated, it can be set in advance to omit step S48.

　次いでステップＳ５０に移行し、記憶部３２における咀嚼検知信号の受信履歴を新たな受信に基づいて日時情報付で更新するとともに、その時点のＧＰＳ信号を併せて記憶し、ステップＳ５２に進む。一方、ステップＳ４６で咀嚼検知信号の受信が確認できなかったときは直接ステップＳ５２に移行する。Then, the process proceeds to step S50, where the reception history of the mastication detection signal in thestorage unit 32 is updated with date and time information based on new reception, and the GPS signal at that time is also stored, and the process proceeds to step S52. On the other hand, when reception of the mastication detection signal cannot be confirmed in step S46, the process directly proceeds to step S52.

　ステップＳ５２では、記憶部３２の受信履歴に基づき、前回の咀嚼検知信号の受信から所定期間内に新たな咀嚼検知信号の受信があったか否かチェックする。所定期間内の新たな咀嚼検知信号の受信がなければステップＳ５４に進み、予め登録しておいた遠隔地の家族等の携帯電話に自動発呼を行い、応答があれば異常の可能性がある旨の自動音声を送信してステップＳ５６に移行する。ステップＳ５４では、さらにその時点のＧＰＳ情報に基づき見守り者の現在位置を通報する自動音声を送信する。一方、ステップＳ５２で所定期間内に新たな咀嚼検知信号の受信があったことがの受信履歴で確認できたときは直接ステップＳ５６に移行する。In step S52, based on the reception history of thestorage unit 32, it is checked whether a new mastication detection signal has been received within a predetermined period from the previous reception of the mastication detection signal. If a new mastication detection signal is not received within a predetermined period, the process proceeds to step S54, where an automatic call is made to a mobile phone of a remote family member registered in advance, and if there is a response, there is a possibility of abnormality. An automatic voice to that effect is transmitted and the process proceeds to step S56. In step S54, an automatic voice for notifying the current position of the watcher is further transmitted based on the GPS information at that time. On the other hand, if it can be confirmed in the reception history that a new mastication detection signal has been received within the predetermined period in step S52, the process directly proceeds to step S56.

　ステップＳ５６では、耳装着部６の骨導マイク４４が拾った音声信号の受信があったか否かチェックする。そして音声信号の受信があればステップＳ５８に進み、音声信号の内容（含まれる単語など）の音声識別、音声信号の強度やトーンのパターン等に基づき、受信した音声が悲鳴や救助要請であるか否か（緊急性）をチェックする。そして、悲鳴又は救助要請音声である可能性が高いとき（緊急性が高いと判断されたとき）はステップＳ６０に進み、予め登録しておいた遠隔地の家族等の携帯電話に自動発呼を行って応答があれば受信した音声そのものを転送してステップＳ６２に移行する。一方、ステップＳ５８において、受信した音声が通常の会話音声であり悲鳴や救助要請ではない（緊急性が低い）と判断されたときは、直接ステップＳ６２に移行する。In step S56, it is checked whether or not an audio signal picked up by the bone-conduction microphone 44 of theear attachment unit 6 has been received. If a voice signal is received, the process proceeds to step S58, where the received voice is a scream or a rescue request based on the voice identification of the contents of the voice signal (including words etc.), the strength of the voice signal, the tone pattern, etc. Check whether it is urgent. When there is a high possibility that the voice is a scream or rescue request voice (when it is determined that the urgency is high), the process proceeds to step S60, and an automatic call is made to a mobile phone of a remote family member registered in advance. If there is a response, the received voice itself is transferred and the process proceeds to step S62. On the other hand, if it is determined in step S58 that the received voice is a normal conversation voice and not a scream or a rescue request (less urgent), the process directly proceeds to step S62.

　ステップＳ６２では、受信した音声信号が規則的な生活パターンに基づいて予め設定される時間帯（例えば、日常の買い物やお経を唱える時間時間帯）において受信したものか否かチェックする。そして該当すれば、ステップＳ６４に進み、予め登録しておいた遠隔地の家族等の携帯電話に見守り者の無事を知らせるメールを自動送信してステップＳ６６に移行する。一方、ステップＳ６２において、受信した音声信号が予め設定された時間帯において受信したものでなかったときは、直接ステップＳ６６に移行する。なお、ステップＳ４８と同様にしてメールに代えて自動発呼と自動音声の送信が行われるようにするかまたは両者が行われるよう設定しておくこともできる。また、このような無事の報知が煩雑であると遠隔地の家族が考える場合は、ステップＳ６２およびステップＳ６４を省略するよう予め設定しておくこともできる。ステップＳ６４において送信される音声は、実際に骨導マイク４４が拾った音声信号ではなく、音声信号の受信があったという事実だけを報知するものであり、ステップＳ６０とは異なって見守り対象者の会話の内容はわからず、プライバシーが保たれる。In step S62, it is checked whether or not the received audio signal is received in a time zone set in advance based on a regular life pattern (for example, a time zone in which daily shopping or sutra is advocated). Then, if applicable, the process proceeds to step S64, and a mail notifying the safety of the watcher is automatically transmitted to a mobile phone of a remote family registered in advance, and the process proceeds to step S66. On the other hand, if it is determined in step S62 that the received audio signal is not received in a preset time zone, the process directly proceeds to step S66. As in step S48, automatic calling and automatic voice transmission may be performed instead of e-mail, or both may be set to be performed. Moreover, when a remote family thinks that such a safe notification is complicated, it can be set in advance so as to omit step S62 and step S64. The voice transmitted in step S64 is not a voice signal actually picked up by the bone-conduction microphone 44 but only a fact that a voice signal has been received. Unlike step S60, the voice of the person being watched over is notified. The content of the conversation is unknown and privacy is preserved.

　ステップＳ６６では、記憶部３２における音声信号の受信履歴を新たな受信に基づいて日時情報付で更新するとともに、その時点のＧＰＳ信号を併せて記憶し、ステップＳ６８に進む。一方、ステップＳ５６で骨導マイク４４が拾った音声信号の受信が確認されなかった場合は直接ステップＳ６８に移行する。In step S66, the reception history of the audio signal in thestorage unit 32 is updated with date and time information based on new reception, and the GPS signal at that time is also stored, and the process proceeds to step S68. On the other hand, if reception of the audio signal picked up by the bone-conduction microphone 44 is not confirmed in step S56, the process directly proceeds to step S68.

　ステップＳ６８では、記憶部３２の受信履歴に基づき、前回の音声信号の受信から所定期間内に新たな音声信号の受信があったか否かチェックする。所定期間内の新たな音声信号の受信がなければステップＳ７０に進み、予め登録しておいた上記の遠隔地の家族等の携帯電話に自動発呼を行い、応答があれば異常の可能性がある旨の自動音声を送信してステップＳ７２に移行する。ステップＳ７０においても、さらにその時点のＧＰＳ情報に基づき見守り者の現在位置を通報する自動音声を送信する。一方、ステップＳ６８で所定期間内に新たな音声信号の受信があったことが受信履歴で確認できたときは直接ステップＳ７２に移行する。なお、ステップＳ４４で耳装着部６とのペアリングの設定が確認されない場合は直接ステップＳ７２に移行し、見守りのための諸ステップは実行せず、通常携帯電話として機能する。In step S68, based on the reception history of thestorage unit 32, it is checked whether or not a new audio signal has been received within a predetermined period from the previous reception of the audio signal. If no new audio signal is received within a predetermined period, the process proceeds to step S70, where an automatic call is made to the previously registered mobile phone of a remote family or the like, and if there is a response, there is a possibility of abnormality. An automatic voice to that effect is transmitted and the process proceeds to step S72. Also in step S70, an automatic voice for notifying the current position of the watcher is transmitted based on the GPS information at that time. On the other hand, when it is confirmed in the reception history that a new audio signal has been received within the predetermined period in step S68, the process directly proceeds to step S72. If the pairing setting with theear wearing unit 6 is not confirmed in step S44, the process directly proceeds to step S72, and the steps for watching are not executed, and functions as a normal mobile phone.

　ステップＳ７２では、電源部３４の蓄電池が消耗しているか否かチェックする。蓄電池が消耗していなければステップＳ４４に戻り、以下、蓄電池の消耗が検知されないかぎり、ステップＳ４４からステップＳ７２が繰り返され、携帯電話１０は、見守りにおける種々の事態に対応する。一方、ステップＳ７２で蓄電池の消耗が検知された場合はステップＳ７４に移行し、終了処理を行ってフローを終了する。In step S72, it is checked whether or not the storage battery of thepower supply unit 34 is exhausted. If the storage battery is not exhausted, the process returns to step S44. Hereinafter, unless the storage battery is exhausted, step S44 to step S72 are repeated, and themobile phone 10 responds to various situations in watching. On the other hand, when the consumption of the storage battery is detected in step S72, the process proceeds to step S74, the end process is performed, and the flow is ended.

　図７は、実施例１における住居内モニタ部８の制御部１６の機能を示すフローチャートである。フローは住居内モニタ部８を設置して家庭用電源に接続することまたは住居内モニタ部８の電源をオンすることによりスタートし、ステップＳ８２で見守り業者との通信のためのインターネットの常時接続を自動設定するとともに耳装着部６との近距離通信など連携の自動テストを行ってステップＳ８４に移行する。FIG. 7 is a flowchart illustrating the function of thecontrol unit 16 of the in-resident monitoring unit 8 according to the first embodiment. The flow starts by installing the in-house monitor unit 8 and connecting it to a household power source or by turning on the power source of the in-house monitor unit 8. In step S82, the Internet is constantly connected for communication with the watchmaker. The automatic setting is performed, and an automatic test for cooperation such as near field communication with theear wearing unit 6 is performed, and the process proceeds to step S84.

　ステップＳ８４では、耳装着部６との近距離通信が可能な状態から不可能な状態に遷移したか否かチェックする。これは、見守り対象者が外出して近距離通信圏外に出たか否かのチェックに相当する。該当しなければステップＳ８６に進み、耳装着部６との近距離通信が不可能な状態から可能な状態に遷移したか否かチェックする。これは、見守り対象者が帰宅して近距離通信圏内に復帰したか否かのチェックに相当する。該当すれば、ステップＳ８８で上記の予め登録しておいた遠隔地の家族等の携帯電話への自動メール送信を行い、見守り対象者が帰宅したことを通知する。In step S84, it is checked whether or not the state where the near field communication with theear wearing unit 6 is possible is changed to the impossible state. This is equivalent to checking whether or not the person being watched over has gone out of the near field communication range. If not, the process proceeds to step S86, and it is checked whether or not the state where the near field communication with theear wearing unit 6 is impossible is changed to the possible state. This corresponds to checking whether or not the person to be watched returns home and returns to the near field communication range. If applicable, in step S88, automatic mail transmission to the previously registered mobile phone of a remote family or the like is performed to notify that the person to be watched has returned home.

　さらにステップＳ９０では携帯電話１０との間で自動近距離通信を行い、近距離通信状態が図２に示すシステム構成状態に復帰したことを確認する処理を行う。これは、見守り対象者の外出中、携帯電話１０も見守り対象者に携帯されて住居内モニタ部８の近距離通信圏外に出ていたことが想定されるからである。万一、ステップＳ９０において携帯電話１０と近距離通信できることが確認できないときは、ステップＳ９０内において、その旨を見守り業者および遠隔地の家族等の携帯電話に通知する。Further, in step S90, automatic short-range communication is performed with themobile phone 10, and processing for confirming that the short-range communication state has returned to the system configuration state shown in FIG. This is because it is assumed that themobile phone 10 was also carried by the watching target person and went out of the near field communication area of the in-resident monitor unit 8 while the watching target person was out. If it cannot be confirmed in step S90 that short-distance communication with themobile phone 10 can be performed, in step S90, the mobile phone such as a contractor or a remote family is notified.

　ステップＳ９０では、さらに、住居内モニタ部８の記憶部１８と携帯電話１０の記憶部３２における耳装着部６からの受信履歴のクロスチェックと情報交換を行い、両者の情報を一致させる。これは、主に、見守り対象者が外出して住居内モニタ部８が耳装着部６からの受信ができない間、受信情報が欠落するので、その間の受信情報を携帯電話１０から受け取ることに該当する。これによって、実際は耳装着部６から送信が行われたのに、住居内モニタ部８では、耳装着部６から所定時間以上送信がない異常状態であると誤認する等の不都合を防止することができる。上記のような受信履歴のクロスチェックによる両者の情報を一致させる機能は、逆に住居２内において携帯電話１０の蓄電池が消耗していて充電までの間、耳装着部６からの受信情報が欠落する場合への対応としても意義がある。In step S90, cross check and information exchange of the reception history from theear wearing unit 6 in thestorage unit 18 of the in-house monitor unit 8 and thestorage unit 32 of themobile phone 10 are further performed to match the information of both. This is mainly due to reception information being lost while the monitoring target person goes out and the in-housing monitor unit 8 cannot receive from theear wearing unit 6, so that the received information is received from themobile phone 10. To do. As a result, in-house monitor unit 8 can prevent inconvenience such as misidentifying that there is no transmission fromear wearing unit 6 for a predetermined time or longer, although transmission is actually performed fromear wearing unit 6. it can. The function of matching both information by the cross check of the reception history as described above is that the storage information of themobile phone 10 is consumed in theresidence 2 and the reception information from theear wearing unit 6 is missing until charging. It is also meaningful as a response to the case.

　ステップＳ９０の処理が終わるとステップＳ９２に進み、耳装着部６から新たな咀嚼検知信号を受信したか否かチェックする。受信があればステップＳ９４に進み、記憶部１８における咀嚼検知信号の受信履歴を新たな受信に基づいて日時情報付で更新し、ステップＳ９６に進む。一方、ステップＳ９２で咀嚼検知信号の受信が確認できなかったときは直接ステップＳ９６に移行する。When the process of step S90 ends, the process proceeds to step S92, and it is checked whether a new mastication detection signal has been received from theear wearing unit 6. If there is reception, the process proceeds to step S94, the reception history of the mastication detection signal in thestorage unit 18 is updated with date information based on the new reception, and the process proceeds to step S96. On the other hand, when the reception of the mastication detection signal cannot be confirmed in step S92, the process directly proceeds to step S96.

　ステップＳ９６では、記憶部１８の受信履歴に基づき、前回の咀嚼検知信号の受信から所定期間内に新たな咀嚼検知信号の受信があったか否かチェックする。所定期間内の新たな咀嚼検知信号の受信がなければステップＳ９８に進み、予め契約している見守り業者に異常の可能性がある旨の自動通報を行ってステップＳ１００に移行する。一方、ステップＳ９６で所定期間内に新たな咀嚼検知信号の受信があったことがの受信履歴で確認できたときは異常なしとして直接ステップＳ１００に移行する。In step S96, based on the reception history of thestorage unit 18, it is checked whether a new mastication detection signal has been received within a predetermined period from the previous reception of the mastication detection signal. If no new mastication detection signal is received within the predetermined period, the process proceeds to step S98, where an automatic notification that there is a possibility of abnormality is given to the pre-contracted watchmaker, and the process proceeds to step S100. On the other hand, if it can be confirmed from the reception history that a new mastication detection signal has been received within the predetermined period in step S96, the process proceeds directly to step S100 with no abnormality.

　ステップＳ１００では、耳装着部６の骨導マイク４４が拾った音声信号の受信があったか否かチェックする。そして音声信号の受信があればステップＳ１０２に進み、音声信号の内容（含まれる単語など）の音声識別、音声信号の強度やトーンのパターン等に基づき、受信した音声が悲鳴や救助要請であるか否かをチェックする。そして、悲鳴又は救助要請音声である可能性が高いときはステップＳ１０４に進み、上記見守り業者に受信した音声そのものを転送してステップＳ１０６に移行する。一方、ステップＳ１０２において、受信した音声が通常の会話音声であり悲鳴や救助要請ではないと判断されたときは、直接ステップＳ１０６に移行する。In step S100, it is checked whether an audio signal picked up by thebone conduction microphone 44 of theear mounting unit 6 has been received. If a voice signal is received, the process proceeds to step S102, where the received voice is a scream or a rescue request based on the voice identification of the contents (such as contained words) of the voice signal, the intensity of the voice signal, the tone pattern, etc. Check whether or not. If there is a high possibility that it is a scream or a rescue request voice, the process proceeds to step S104, and the received voice itself is transferred to the watcher and the process proceeds to step S106. On the other hand, when it is determined in step S102 that the received voice is a normal conversation voice and not a scream or a rescue request, the process directly proceeds to step S106.

　ステップＳ１０６では、記憶部１８における音声信号の受信履歴を新たな受信に基づいて日時情報付で更新して、ステップＳ１０８に進む。一方、ステップＳ１００で骨導マイク４４が拾った音声信号の受信が確認されなかった場合は直接ステップＳ１０８に移行する。In step S106, the reception history of the audio signal in thestorage unit 18 is updated with date information based on the new reception, and the process proceeds to step S108. On the other hand, if reception of the audio signal picked up by the bone-conduction microphone 44 is not confirmed in step S100, the process directly proceeds to step S108.

　ステップＳ１０８では、記憶部１８の受信履歴に基づき、前回の音声信号の受信から所定期間内に新たな音声信号の受信があったか否かチェックする。所定期間内の新たな音声信号の受信がなければステップＳ１１０に進み、上記見守り業者に異常の可能性がある旨の自動通報を行ってステップＳ１１２に移行する。一方、ステップＳ１０８で所定期間内に新たな音声信号の受信があったことが受信履歴で確認できたときは直接ステップＳ１１２に移行する。なお、ステップＳ８４で耳装着部６との近距離通信が可能な状態から不可能な状態に遷移したことが検知された時は、ステップＳ１１４に移行し上記の予め登録しておいた遠隔地の家族等の携帯電話への自動メール送信を行い、見守り対象者が外出したことを通知してステップＳ１１２に移行する。この場合、耳装着部６から信号をうけることができず見守りはできないので、見守り機能の実行は見守り対象者が携帯する携帯電話１０に委ねられ、住居内モニタ部８としての見守り機能の実行はない。In step S108, based on the reception history of thestorage unit 18, it is checked whether a new audio signal has been received within a predetermined period from the previous reception of the audio signal. If no new audio signal is received within the predetermined period, the process proceeds to step S110, where the watcher is automatically notified that there is a possibility of abnormality, and the process proceeds to step S112. On the other hand, when it can be confirmed from the reception history that a new audio signal has been received within the predetermined period in step S108, the process directly proceeds to step S112. When it is detected in step S84 that the short-range communication with theear wearing unit 6 has been changed to the impossible state, the process proceeds to step S114 and the previously registered remote location is registered. Automatic mail transmission to a cellular phone such as a family is performed to notify that the person to be watched has gone out, and the process proceeds to step S112. In this case, since a signal cannot be received from theear wearing unit 6 and watching cannot be performed, execution of the watching function is entrusted to themobile phone 10 carried by the watching target person, and execution of the watching function as the in-house monitoring unit 8 is performed. Absent.

　ステップＳ１１２では、住居内モニタ部８の電源がオフされたか否かチェックする。電源オフには停電等における給電の断絶も含まれる。電源のオフがなければステップＳ８４に戻り、以下、電源がオフされないかぎり、ステップＳ８４からステップＳ１１４が繰り返され、住居内モニタ部８は見守りにおける種々の事態に対応する。一方、ステップＳ１１２で電源オフが検知された場合はステップＳ１１６に移行し、終了処理を行ってフローを終了する。In step S112, it is checked whether or not the power source of the in-resident monitor unit 8 is turned off. Power off includes power interruption due to power failure. If the power is not turned off, the process returns to step S84. Hereinafter, unless the power is turned off, steps S84 to S114 are repeated, and thedwelling monitor unit 8 responds to various situations in watching. On the other hand, when the power-off is detected in step S112, the process proceeds to step S116, the end process is performed, and the flow is ended.

　図８は、本発明の実施の形態に係る実施例２のシステム構成図である。実施例２も、住居内の見守りシステムを構成しており、眼鏡型の耳装着部１０６を用いたものである。その他の構成は図１、２の実施例１と共通であるので、共通部分には同一の番号を付し説明を省略する。図８では簡単のため、住居２および住居内モニタ部８の図示を省略しているが、その構成は図１、２の実施例１と共通である。FIG. 8 is a system configuration diagram of Example 2 according to the embodiment of the present invention. The second embodiment also constitutes a monitoring system in the house, and uses a glasses-typeear mounting unit 106. Since other configurations are the same as those of the first embodiment shown in FIGS. 1 and 2, common portions are denoted by the same reference numerals and description thereof is omitted. In FIG. 8, for the sake of simplicity, illustration of thedwelling 2 and thedwelling monitor unit 8 is omitted, but the configuration is the same as that of the first embodiment of FIGS.

　本発明における軟骨伝導振動源、骨導マイク、および咀嚼センサはいずれも圧電素子を用いて構成できるので、共通の圧電素子を軟骨伝導振動源、骨導マイク、および咀嚼センサとして兼用することが可能である。図８の実施例２において、軟骨伝導振動源、骨導マイク、および咀嚼センサとして兼用される圧電バイモルフ素子１４２は、眼鏡のツルが耳４の付け根の軟骨に乗る部分に設けられている。このような構成により、圧電バイモルフ素子１４２の振動が耳４の付け根の軟骨に伝わり軟骨伝導を起こす。また、骨導による音声が圧電バイモルフ素子１４２によって拾われる。さらに咀嚼による耳４の付け根近辺の動きが圧電バイモルフ素子１４２によって検知される。兼用にあたっては、制御部１４０の信号処理により圧電バイモルフ素子１４２の入出力信号の抽出や分離が行われる。その際、本来は補聴器の機能のために話相手の音声を拾うために設けられている外部気導音マイク４６を利用して見守り対象者自身の音声を気導で拾うようにし、圧電バイモルフ素子１４２における入出力信号の抽出や分離のための情報として利用する。実施例２においても外耳道入口は開放されていて外界の音を聞くことができるとともに、外耳道の閉塞感のない快適な耳装着部１０６の装着を可能とする。また、必要に応じ外耳道入口を指で閉鎖するかまたは耳４全体を掌で覆うことにより、軟骨伝導における外耳道閉鎖効果を得て、より大きな音を聞くことができる。Since the cartilage conduction vibration source, bone conduction microphone, and mastication sensor according to the present invention can all be configured using piezoelectric elements, the common piezoelectric element can be used as the cartilage conduction vibration source, bone conduction microphone, and mastication sensor. It is. In Example 2 of FIG. 8, thepiezoelectric bimorph element 142 that is also used as the cartilage conduction vibration source, the bone conduction microphone, and the mastication sensor is provided in a portion where the eyeglass vine rests on the cartilage at the base of theear 4. With this configuration, the vibration of thepiezoelectric bimorph element 142 is transmitted to the cartilage at the base of theear 4 to cause cartilage conduction. Further, the sound by bone conduction is picked up by thepiezoelectric bimorph element 142. Furthermore, the movement near the base of theear 4 due to mastication is detected by thepiezoelectric bimorph element 142. In the combined use, input / output signals of thepiezoelectric bimorph element 142 are extracted and separated by signal processing of thecontrol unit 140. At that time, the sound of the person to be watched is picked up by air conduction using the externalair conduction microphone 46 originally provided for picking up the voice of the other party for the function of the hearing aid, and the piezoelectric bimorph element This is used as information for extraction and separation of input / output signals at 142. Also in the second embodiment, the external auditory canal entrance is opened so that the sound of the outside world can be heard, and the comfortableear mounting part 106 without the occlusion of the external auditory canal can be mounted. Further, if necessary, the ear canal entrance is closed with a finger or theentire ear 4 is covered with a palm, so that the effect of closing the ear canal in cartilage conduction can be obtained and a larger sound can be heard.

　以上の各実施例に示した種々の特徴の実施は、個々の実施例に限るものではなく、その利点を享受できる限り、他の実施例でも実施可能である。また、各実施例に示した種々の特徴は、種々変形して実施することが可能である。これらの変形は適宜組合せて実施することが可能であるとともに、一部変形前の状態と組み合わせて実施することも可能である。The implementation of the various features shown in the above embodiments is not limited to individual embodiments, and other embodiments can be implemented as long as the advantages can be enjoyed. The various features shown in each embodiment can be implemented with various modifications. These modifications can be carried out in combination as appropriate, and can also be carried out in combination with a state before partial deformation.

　例えば、実施例１のような構成において、実施例２のように軟骨伝導振動源、骨導マイク、および咀嚼センサのいずれか機能を一つの圧電バイモルフ素子で兼用するよう構成してもよい。逆に、実施例２において、軟骨伝導振動源、骨導マイク、および咀嚼センサをそれぞれ最適の別素子で構成し、それぞれ最適の位置に分散配置するよう構成してもよい。For example, in the configuration as in the first embodiment, as in the second embodiment, any one of the functions of the cartilage conduction vibration source, the bone conduction microphone, and the mastication sensor may be combined with one piezoelectric bimorph element. On the contrary, in the second embodiment, the cartilage conduction vibration source, the bone conduction microphone, and the mastication sensor may be configured by different optimum elements, respectively, and may be configured to be distributed and arranged at the optimum positions.

　また、各実施例では、見守り対象者の声を拾うのに骨導マイクを採用しているが、これを気導音マイクで構成（例えば外部気導音マイク４６と兼用）するようにしてもよい。In each embodiment, the bone conduction microphone is used to pick up the voice of the person being watched over. However, this may be constituted by an air conduction sound microphone (for example, also used as the external air conduction sound microphone 46). Good.

　図９は、本発明の実施の形態に係る実施例３のシステム構成図である。実施例３は、軟骨伝導により人とコミュニケーション可能なロボットとして構成され、実施例１と同様にして住居内の見守りシステムを構成するとともに、見守り対象者との人間的なコミュニケーションが可能となっている。図９の実施例３は、図１の実施例１における耳装着部６の部分が実施例３ではロボット２０６となっている点を除き実施例１と共通であるので、ロボット２０６および見守り対象者２０１以外の図示を省略するとともに、共通部分の説明についても必要のない限り省略する。FIG. 9 is a system configuration diagram of Example 3 according to the embodiment of the present invention. The third embodiment is configured as a robot capable of communicating with a person by cartilage conduction, and configures a monitoring system in a residence in the same manner as in the first embodiment and enables human communication with a monitoring target person. . Since Example 3 in FIG. 9 is the same as Example 1 except that the part of theear mounting portion 6 in Example 1 in FIG. 1 is therobot 206 in Example 3, therobot 206 and the person being watched over are shown in FIG. Illustrations other than 201 are omitted, and descriptions of common parts are also omitted unless necessary.

　ロボット２０６は、実施例１と同様にして近距離通信により図１に示す住居内モニタ部８、および見守り対象者２０１の携帯電話１０と近距離通信により情報交換する。ロボット２０６は、頭部２０３の左右の耳２０５の部分に一対のステレオ外部気導音マイクを有し、見守り対象者２０１の音声を拾うとともに、頭部２０３の左右の目２０７の部分に一対の３Ｄカメラを有し、見守り対象者２０１の画像を撮像する。ステレオ外部気導音マイクおよび３Ｄカメラはそれぞれ見守り対象者２０１を見守るためのセンサとして機能し、検知結果は図１に示す住居内モニタ部８、携帯電話１０に送信される。さらに、ロボット２０６の頭部２０３の口機構２０９の部分には気導音スピーカが設けられており、見守り対象者２０１への発話が可能となっている。このとき、ロボット２０６の口機構２０９は発話と連動して動くようになっている。また、ロボット２０６の頭部２０３に設けられた外部気導音マイクおよび気導音スピーカは、図１に示す携帯電話１０の外部送受話装置としても機能する。As in the first embodiment, therobot 206 exchanges information with the in-house monitoring unit 8 shown in FIG. 1 and themobile phone 10 of the person to be watched 201 by short-range communication through short-range communication. Therobot 206 has a pair of stereo external air conduction microphones in the left andright ears 205 of thehead 203, picks up the voice of the watchingtarget 201, and pairs of left andright eyes 207 in thehead 203. It has a 3D camera and takes an image of the watchingtarget person 201. The stereo external air conduction sound microphone and the 3D camera each function as a sensor for watching over theperson 201 to be watched over, and the detection result is transmitted to the in-house monitor unit 8 and themobile phone 10 shown in FIG. Furthermore, an air conduction sound speaker is provided in themouth mechanism 209 portion of thehead 203 of therobot 206 so that it is possible to speak to the watchingtarget person 201. At this time, themouth mechanism 209 of therobot 206 moves in conjunction with the speech. Further, the external air conduction microphone and the air conduction speaker provided on thehead 203 of therobot 206 also function as an external transmission / reception device of themobile phone 10 shown in FIG.

　次に、ロボット２０６を用いた軟骨伝導について説明する。ロボット２０６の右手２１１の中指２１３には圧電バイモルフ素子等からなる軟骨伝導振動源が配置されており、中指２１３の指先が効率よく振動するようになっている。なお、軟骨伝導振動源の振動は右手２１１全体にも伝わるので右手２１１のどの部分からでも軟骨伝導は可能である。図９では、中指２１３の指先が見守り対象者２０１の左耳の耳珠２３２に接触し最良の軟骨伝導を実現している状態を示す。なお図９には図示されないが、ロボット２０６の左手の中指にも同様の軟骨伝導振動源が配置されており、見守り対象者２０１の右耳の耳珠に接触している。これによって通常のように両耳で気導音を聞くのと同様のステレオでの軟骨伝導が可能となる。また、ロボット２０６の口機構２０９は、気導音スピーカからの発話の場合と同様にして、軟骨伝導によって伝えられる音声と連動してロボット２０６の口機構２０９が動くようになっている。Next, cartilage conduction using therobot 206 will be described. Themiddle finger 213 of theright hand 211 of therobot 206 is provided with a cartilage conduction vibration source composed of a piezoelectric bimorph element or the like, so that the fingertip of themiddle finger 213 vibrates efficiently. In addition, since the vibration of the cartilage conduction vibration source is transmitted to the entireright hand 211, cartilage conduction is possible from any part of theright hand 211. FIG. 9 shows a state where the fingertip of themiddle finger 213 is in contact with thetragus 232 of the left ear of theperson 201 to be watched to realize the best cartilage conduction. Although not shown in FIG. 9, a similar cartilage conduction vibration source is also arranged on the middle finger of the left hand of therobot 206 and is in contact with the tragus of the right ear of theperson 201 to be watched. As a result, it is possible to conduct cartilage conduction in stereo in the same way as normal air conduction sound is heard with both ears. In addition, themouth mechanism 209 of therobot 206 moves in conjunction with the voice transmitted by cartilage conduction in the same manner as in the case of speech from the air conduction sound speaker.

　図９に示すように、ロボット２０６は、見守り対象者２０１の顔を両手で優しく包み、慈愛に満ちた雰囲気で話しかける状態となるので、見守り対象者２０１は癒された心理状態でロボット２０６の声を聞くことができる。この演出のため、ロボット２０６の両手が見守り対象者２０１の顔を挟む圧力が過度にならないようロボット２０６の右腕２１５および左腕２１７は加圧リミッタが設けられている。As shown in FIG. 9, therobot 206 gently wraps the face of the watchingtarget person 201 with both hands and talks in a charitable atmosphere. Can hear. For this effect, theright arm 215 and theleft arm 217 of therobot 206 are provided with pressure limiters so that the pressure with which both hands of therobot 206 watch over the face of the subject 201 is not excessive.

　さらに、見守り対象者２０１が拘束感を感じないよう、左右の手の間の適切な圧力が決定されたあとは左右の手がその相対間隔を保ったまま見守り対象者２０１の顔の自由な動きに合わせて抵抗なく追従するよう、ロボット２０６の胴体２１９に対してロボット２０６の右腕２１５および左腕２１７の関節が制御される。また、最初にロボット２０６が見守り対象者２０１に触れるときに冷たさを感じないよう、ロボット２０６の両手は、見守り対象者２０１の顔を包む動作に入る前に人肌に加温される。さらに、見守り対象者２０１の顔を両手で優しく包んで話しかける演出との齟齬が生じないよう、ロボット２０６の左右の目２０７は外観が可動となっており、頭部２０３の向きおよび左右の目２０７の外観上の視線は、見守り対象者２０１の視線を不用意に外さず、威圧感のない範囲で自然に動いて追従する。Furthermore, after the appropriate pressure between the left and right hands is determined so that the watchingtarget person 201 does not feel a sense of restraint, the left and right hands keep the relative distance and the face of the watchingtarget person 201 moves freely. The joints of theright arm 215 and theleft arm 217 of therobot 206 are controlled with respect to thebody 219 of therobot 206 so as to follow without resistance. Further, both hands of therobot 206 are warmed to the human skin before entering the operation of wrapping the face of the watchingtarget person 201 so that therobot 206 does not feel cold when it first touches the watchingtarget person 201. In addition, the left andright eyes 207 of therobot 206 are movable so that there is no discrepancy with the effect of gently wrapping the face of theperson 201 to be watched with both hands and talking, the orientation of thehead 203 and the left andright eyes 207. The line of sight on the outside of the person does not inadvertently remove the line of sight of theperson 201 to be watched over, and moves and follows naturally within a range without intimidation.

　以上のような、軟骨伝導による発話は、見守り対象者２０１の聴力が高齢等のため低下している場合や、周囲の騒音が大きい場合に有用であり、気導音スピーカが、がなり立てるような状況を避けることができる。また、周囲の音量が大きい場合等において見守り対象者２０１の声を拾うため、ロボット２０６の右手２１１の親指２２１には骨導マイクが設けられており、頬骨などからの骨伝導音を拾うよう構成される。後述のようにロボット２０６の左手にも同様の骨導マイクが設けられ右手２１１側の骨導マイクと相補的に骨導音を拾う。なお、骨導マイクについては、実施例２と同様にして圧電バイモルフ素子からなる軟骨伝導振動源を骨導マイクとして兼用してもよい。The utterance by the cartilage conduction as described above is useful when the hearing ability of theperson 201 to be watched is lowered due to the elderly or the like, or when the surrounding noise is high, and the air conduction sound speaker is apt Can avoid the situation. In addition, in order to pick up the voice of theperson 201 to be watched when the surrounding volume is high, a bone conduction microphone is provided on thethumb 221 of theright hand 211 of therobot 206 so as to pick up bone conduction sound from the cheekbone or the like. Is done. As will be described later, a similar bone conduction microphone is provided on the left hand of therobot 206 to pick up bone conduction sound in a complementary manner to the bone conduction microphone on theright hand 211 side. As for the bone conduction microphone, a cartilage conduction vibration source composed of a piezoelectric bimorph element may be used as the bone conduction microphone in the same manner as in the second embodiment.

　図１０は、図９に示した本発明の実施例３のロボット２０６のブロック図である。図９と共通する部分には同一の番号を付し、必要のない限り説明を省略する。なお、上記のように、実施例３は、図１に示すような住居内モニタ部８、および携帯電話１０との通信については実施例１と共通であり、図１０では近距離通信部２３６を図示するに留めて説明を省略する。FIG. 10 is a block diagram of therobot 206 according to the third embodiment of the present invention shown in FIG. Portions common to those in FIG. 9 are denoted by the same reference numerals, and description thereof is omitted unless necessary. As described above, the third embodiment is the same as the first embodiment in communication with the in-resident monitor unit 8 and themobile phone 10 as shown in FIG. 1, and the short-range communication unit 236 in FIG. The description is omitted only for illustration.

　図１０に示すように、ロボット２０６は、頭部２０３の左右の耳２０５（図９参照）の部分に一対のステレオ外部気導音マイク２４６を有し、見守り対象者２０１の音声を含む外部音声をステレオで拾う。また、頭部２０３は、左右の目２０７の部分に３Ｄカメラ（一対のカメラ）２３８を有し、見守り対象者２０１の画像を撮像する。なお、上述の頭部２０３の向きおよび左右の目２０７の視線の追従は、３Ｄカメラ２３８の画像の分析に基づいて見守り対象者２０１の顔および目の認識をすることによって行う。さらに、ロボット２０６の頭部２０３の口機構２０９の部分には気導音スピーカ２２３が設けられ、上述のように見守り対象者２０１への発話が可能となっている。口機構２０９は気導音スピーカ２２３によるロボット２０６の発話と連動して動くようになっている。As shown in FIG. 10, therobot 206 has a pair of stereo externalair conduction microphones 246 at the left and right ears 205 (see FIG. 9) of thehead 203, and includes external sound including the sound of the watchingtarget person 201. Pick up in stereo. Thehead 203 has a 3D camera (a pair of cameras) 238 in the left andright eyes 207 and takes an image of the watchingtarget person 201. The orientation of thehead 203 and the tracking of the line of sight of the left andright eyes 207 are performed by recognizing the face and eyes of the watchingtarget 201 based on the analysis of the image of the3D camera 238. Furthermore, an air conductionsound speaker 223 is provided in themouth mechanism 209 portion of thehead 203 of therobot 206 so that the user can speak to the watchingtarget 201 as described above. Themouth mechanism 209 moves in conjunction with the speech of therobot 206 by theair conduction speaker 223.

　図１０に示すように、ロボットの右手２１１の中指２１３ａには圧電バイモルフ素子等からなる軟骨伝導振動源２４２ａが配置されており、中指２１３ａの指先が効率よく振動するようになっている。上述のように、軟骨伝導振動源２４２ａの振動は右手２１１全体にも伝わるので右手２１１のどの部分が耳軟骨に接触しても軟骨伝導は可能である。なお、上述のように、ロボット２０６の口機構２０９は、軟骨伝導振動源２４２ａの振動によって伝えられる音声と連動して動くようになっている。中指２１３ａには更に感圧センサ等からなる触覚センサ２３１ａが設けられているがこれについては後述する。また、ロボットの右手２１１の親指２２１ａには骨導マイク２４４ａが設けられており、頬骨などからの骨伝導音を拾う。なお、上述のように骨導マイク２４４ａについては、実施例２と同様にして圧電バイモルフ素子からなる軟骨伝導振動源２４２ａを骨導マイクとして兼用してもよい。なお、煩雑を避けるため図示を省略しているが、親指２２１ａにも中指２１３ａの触覚センサ２３１ａと同様の触覚センサが設けられているがこれについても後述する。右手２１１にはさらにヒータ２２５ａが設けられており、見守り対象者２０１の顔を包む動作に入る前にスイッチが入って右手２１１全体を人肌に加温する。As shown in FIG. 10, a cartilageconduction vibration source 242a made of a piezoelectric bimorph element or the like is arranged on themiddle finger 213a of theright hand 211 of the robot so that the fingertip of themiddle finger 213a vibrates efficiently. As described above, the vibration of the cartilageconduction vibration source 242a is transmitted to the entireright hand 211, so that cartilage conduction is possible regardless of which part of theright hand 211 contacts the ear cartilage. As described above, themouth mechanism 209 of therobot 206 moves in conjunction with the voice transmitted by the vibration of the cartilageconduction vibration source 242a. Themiddle finger 213a is further provided with atactile sensor 231a including a pressure-sensitive sensor, which will be described later. Further, abone conduction microphone 244a is provided on thethumb 221a of theright hand 211 of the robot, and picks up bone conduction sound from the cheekbone or the like. As described above, for thebone conduction microphone 244a, the cartilageconduction vibration source 242a made of a piezoelectric bimorph element may be used as the bone conduction microphone in the same manner as in the second embodiment. Although illustration is omitted to avoid complication, thethumb 221a is provided with a touch sensor similar to thetouch sensor 231a of themiddle finger 213a, which will be described later. Theright hand 211 is further provided with aheater 225a. The switch is turned on to heat the entireright hand 211 to the human skin before the operation of wrapping the face of the watchingtarget person 201 is started.

　図１０に示すように、右腕２１５には右関節機構２２７ａが設けられており、見守り対象者２０１の顔を右側（見守り対象者２０１から見れば左側）から包んで話しかける等の動作を行う。右関節機構２２７ａは簡単のため肩関節の部分にのみ図示しているが、肘関節、手首関節および指関節を含む右手２１１及び右腕２１５の諸関節全体を代表的に示すものとする。また、右関節機構２２７ａは、後述するように左関節機構２２７ｂと連動し、見守り対象者２０１の顔を両手で優しく包んで話しかける演出を行う際に、左右の手の間の適切な圧力が決定されたあとは左右の手がその相対間隔を保ったまま見守り対象者２０１の顔の自由な動きに合わせて抵抗なく追従するよう制御される。As shown in FIG. 10, theright arm 215 is provided with a rightjoint mechanism 227a, and performs operations such as wrapping the face of the watchingtarget person 201 from the right side (left side when viewed from the watching target person 201). The rightjoint mechanism 227a is illustrated only in the shoulder joint portion for simplicity, but the joints of theright hand 211 and theright arm 215 including the elbow joint, wrist joint, and finger joint are representatively shown. Further, the rightjoint mechanism 227a is linked with the leftjoint mechanism 227b as will be described later, and an appropriate pressure between the left and right hands is determined when performing an effect of gently wrapping the face of theperson 201 to be watched with both hands. After being done, the left and right hands are controlled so as to follow the movement of the face of theperson 201 being watched over without any resistance while keeping the relative distance therebetween.

　図１０における左腕２１７および左手２２９の構成は、右腕２１５および右手２１１の構成と同様なので、右側において中指２１３ａのごとくそれぞれ「ａ」を付していた構成を左側においては中指２１３ｂのごとく対応する構成にそれぞれ「ｂ」を付して図示し、説明を省略する。なお、左右に設けられた構成要素のうち、軟骨伝導振動源２４２ａ、２４２ｂは鼓膜を経由する軟骨伝導の原理に基づきステレオ聴取が可能である。これに対し、骨導マイク２４４ａ、２４４ｂについては、骨導の性質上、頭蓋骨の同じ振動を拾うのでステレオマイクを構成するわけではなく、接触状態を相互補完するため、左右に設けられているものである。従って、後述のように、片方の親指の接触位置を微修正することによってベストの骨導接触位置が充分確保できる場合には、他方の親指における骨導マイクを省略してもよい。Since the configuration of theleft arm 217 and theleft hand 229 in FIG. 10 is the same as the configuration of theright arm 215 and theright hand 211, the configuration indicated by “a” on the right side like themiddle finger 213a corresponds to the configuration on the left side like themiddle finger 213b. Are denoted by “b”, and the description is omitted. Of the components provided on the left and right, the cartilageconduction vibration sources 242a and 242b can perform stereo listening based on the principle of cartilage conduction via the tympanic membrane. On the other hand, thebone conduction microphones 244a and 244b are not provided as a stereo microphone because they pick up the same vibration of the skull due to the nature of bone conduction, and are provided on the left and right sides to complement each other. It is. Therefore, as will be described later, when the bone conduction contact position of the best thumb can be sufficiently secured by finely correcting the contact position of one thumb, the bone conduction microphone on the other thumb may be omitted.

　右関節機構２２７ａおよび左関節機構２２７ｂは、軟骨伝導による見守り対象者２０１とのコミュニケーションを行う際、３Ｄカメラ２３８による画像の分析に基づいて認識される見守り対象者２０１の顔に向かって右手２１１および左手２２９を伸ばす。なお、右関節機構２２７ａおよび左関節機構２２７ｂにはそれぞれ負荷検知センサが設けられており、腕、手、指が何かに当たってフリーな状態での動き以外の負荷がかかったかどうかを検知する。そして負荷がかかった場合、その負荷が関節のどの部分においてどの程度の強さでかかっているかを識別する。When the rightjoint mechanism 227a and the leftjoint mechanism 227b communicate with the watchingtarget person 201 by cartilage conduction, theright hand 211 and theright hand 211 toward the face of the watchingtarget person 201 recognized based on the analysis of the image by the3D camera 238. Extendleft hand 229. Each of the rightjoint mechanism 227a and the leftjoint mechanism 227b is provided with a load detection sensor, and detects whether a load other than movement in a free state is applied when something hits an arm, hand, or finger. When a load is applied, it is identified in what part of the joint the load is applied with what strength.

　右関節機構２２７ａおよび左関節機構２２７ｂの負荷検知センサが負荷を検知し、３Ｄカメラ２３８による画像から、その原因が両手により見守り対象者２０１の顔が包まれたからであると判断されると、加圧リミッタが作動して見守り対象者２０１の顔を挟む圧力を制限する。そして、左右の中指２１３ａおよび２１３ｂのそれぞれ指先に設けられた触覚センサ２３１ａおよび２３１ｂの出力と３Ｄカメラ２３８による画像をモニタしながら、右手２１１および左手２２９の位置および左右の中指２１３ａおよび２１３ｂの曲がり具合を微修正する。これによって、左右の中指２１３ａおよび２１３ｂが見守り対象者２０１の耳珠に接触するようにする。（図９図示の状態の実現）同様に、左右の親指２２１ａおよび２２１ｂについても、それぞれの指先に設けられた触覚センサ（図示省略）の出力と３Ｄカメラ２３８による画像をモニタしながら、左右の親指２２１ａおよび２２１ｂの曲がり具合を微修正し、見守り対象者２０１の頬骨に接触するようにする。When the load detection sensors of the rightjoint mechanism 227a and the leftjoint mechanism 227b detect the load and it is determined from the image by the3D camera 238 that the cause is that the face of theperson 201 to be watched is wrapped with both hands, The pressure limiter is actuated to limit the pressure sandwiching the face of theperson 201 to be watched over. Then, while monitoring the outputs of thetactile sensors 231a and 231b provided at the fingertips of the left and rightmiddle fingers 213a and 213b and the image by the3D camera 238, the positions of theright hand 211 and theleft hand 229 and the bending state of the left and rightmiddle fingers 213a and 213b, respectively. Minor correction. Thus, the left and rightmiddle fingers 213a and 213b are brought into contact with the tragus of theperson 201 to be watched over. (Realization of the state shown in FIG. 9) Similarly, for the left andright thumbs 221a and 221b, the left and right thumbs are monitored while monitoring the output of the tactile sensors (not shown) provided on the respective fingertips and the image by the3D camera 238. The bending state of 221a and 221b is finely corrected so as to come into contact with the cheekbone of the watchingtarget 201.

　また、右関節機構２２７ａおよび左関節機構２２７ｂは、左右の手の間の適切な圧力が決定されたあとは左右の手がその相対間隔を保ったまま平行移動し、見守り対象者２０１の顔の自由な動きに合わせて抵抗なく追従するよう制御する。この追従は右腕２１５および左腕２１７が自由状態にあるときそれらの重量に抗して右腕２１５および左腕２１７を持ち上げ静止させている状態を基準としているので、右腕２１５および左腕２１７の荷重が顔にかかることもない。そして、このような状態において、右関節機構２２７ａおよび左関節機構２２７ｂの負荷検知センサが顔の動きに基づく上下左右方向の負荷を検知すると、それに応答して左右の手の相対間隔を保ったまま従属的に左右の右関節機構２２７ａおよび左関節機構２２７ｂを駆動するようにする。これによって、見守り対象者２０１はロボット２０６の両手に顔を包まれつつも拘束されることなく軟骨伝導状態を継続したまま顔を動かすことができる。In addition, the rightjoint mechanism 227a and the leftjoint mechanism 227b move in parallel with the left and right hands maintaining the relative distance after the appropriate pressure between the left and right hands is determined, so that theface 201 Control to follow the free movement without resistance. This follow-up is based on a state in which theright arm 215 and theleft arm 217 are lifted and stopped against the weight of theright arm 215 and theleft arm 217 when they are in a free state, so the load of theright arm 215 and theleft arm 217 is applied to the face. There is nothing. In such a state, when the load detection sensors of the rightjoint mechanism 227a and the leftjoint mechanism 227b detect the load in the up / down / left / right directions based on the movement of the face, the relative distance between the left and right hands is maintained in response thereto. The left and right rightjoint mechanisms 227a and 227b are driven in a dependent manner. As a result, the watchingtarget person 201 can move the face while continuing the cartilage conduction state without being restrained while being wrapped in both hands of therobot 206.

　以上の機能は、記憶部２１８に格納されたプログラムに基づき制御部２４０によって達成される。なお、制御部２４０は、３Ｄカメラ２３８に接続された専用の画像処理機能部を含む。制御部２４０は、さらに、軟骨伝導振動源２４２ａ、２４２ｂに接続された専用の圧電バイモルフ駆動機能部を含むとともに、この圧電バイモルフ駆動機能部、気導音スピーカ２２３ならびに骨導マイク２４４ａ、２４４ｂに接続された専用の音声処理機能部を含む。また、記憶部２１８は、制御部２４０の機能のための種々のデータを一次的に格納する。充電池を含む電源部２４８はロボット２０６の各構成要素に対し、それぞれに必要な電圧にて給電を行う。なお、上記の制御部２４０、記憶部２１８、電源部２４８、及び、近距離通信部２３６は、例えば、ロボット２０６の胴体２１９に組み込んでおくとよい。The above functions are achieved by thecontrol unit 240 based on a program stored in thestorage unit 218. Thecontrol unit 240 includes a dedicated image processing function unit connected to the3D camera 238. Thecontrol unit 240 further includes a dedicated piezoelectric bimorph drive function unit connected to the cartilageconduction vibration sources 242a and 242b, and is connected to the piezoelectric bimorph drive function unit, the air conductionsound speaker 223, and thebone conduction microphones 244a and 244b. A dedicated voice processing function unit. Thestorage unit 218 temporarily stores various data for the function of thecontrol unit 240. Apower supply unit 248 including a rechargeable battery supplies power to each component of therobot 206 at a voltage required for each. Note that thecontrol unit 240, thestorage unit 218, thepower supply unit 248, and the short-range communication unit 236 may be incorporated in thebody 219 of therobot 206, for example.

　図１１は、図１０の実施例３のロボット２０６における制御部２４０の機能を示すフローチャートである。フローは、ロボット２０６の主電源スイッチによる電源部２４８からの給電開始によりスタートする。フローがスタートすると、ステップＳ１２２で住居内モニタ部８および見守り対象者２０１の携帯電話１０（図１参照）との近距離通信のためのペアリング状況を確認し、未設定ならペアリング設定を自動で行う。次いで、ステップＳ１２４で通常見守り機能を開始する処理を行う。この通常見守り機能は、基本的には、図１から図８で説明した実施例１または実施例２における見守り機能に準じたものであり、実施例３の場合は、ステレオ外部気導音マイク２４６および３Ｄカメラ２３８が見守りセンサとして機能する。FIG. 11 is a flowchart illustrating functions of thecontrol unit 240 in therobot 206 according to the third embodiment illustrated in FIG. The flow starts when power supply from thepower supply unit 248 is started by the main power switch of therobot 206. When the flow starts, in step S122, the pairing status for short-distance communication with themonitor unit 8 in the house and the mobile phone 10 (see FIG. 1) of theperson 201 to be watched is confirmed. To do. Next, in step S124, a process for starting the normal watching function is performed. This normal watching function basically conforms to the watching function in the first or second embodiment described with reference to FIGS. 1 to 8, and in the case of the third embodiment, the stereo external air conductionsound microphone 246 is used. And the3D camera 238 functions as a watching sensor.

　次いで、ステップＳ１２６で異常の有無をチェックし、異常がなければステップＳ１２８に移行して定常報告タイミングか否かをチェックする。そして定常報告タイミングで無ければステップＳ１３０に移行する。一方、ステップＳ１２８で定常報告タイミングであることが確認されるとステップＳ１３２に移行し、正常報告処理を行ってステップＳ１３０に移行する。この正常報告処理は実施例１または実施例２と共通である。Next, in step S126, whether or not there is an abnormality is checked. If there is no abnormality, the process proceeds to step S128 to check whether or not it is a regular report timing. If it is not the regular report timing, the process proceeds to step S130. On the other hand, if it is confirmed in step S128 that the regular report timing is reached, the process proceeds to step S132, normal report processing is performed, and the process proceeds to step S130. This normal report processing is common to the first embodiment or the second embodiment.

　ステップＳ１３０では、見守り対象者２０１との会話を開始すべきか否かの判断がなされる。例えば、見守り対象者２０１がデイケアから帰宅したときやロボット２０６が修理から返ってきたときなどのように見守り対象者２０１とロボット２０６が時間を置いて顔を合わせたとき、または、見守り対象者２０１がロボット２０６に近づいてきたとき、または、見守り対象者２０１がロボット２０６に話しかけたとき、または、見守り対象者２０１の様子を観察してロボット２０６が自発的に話しかけようとするとき、などが「会話を開始すべき」との判断がなされるケースである。In step S130, it is determined whether or not a conversation with the watchingtarget person 201 should be started. For example, when the watchingtarget person 201 and therobot 206 face each other after a long time such as when the watchingtarget person 201 returns from day care or when therobot 206 returns from repair, or the watchingtarget person 201 "When the person watching over 201 talks to therobot 206, or when therobot 206 tries to speak spontaneously by observing the state of the person undermonitoring 201. In this case, it is determined that the conversation should be started.

　ステップＳ１３０で会話開始の判断がなされるとステップＳ１３４に進み、まずは、ステレオ外部気導音マイク２４６および気導音スピーカ２２３がオンされ、通常の気導音による会話が準備される。次いで、ステップＳ１３６において、見守り対象者２０１が軟骨伝導により会話をすべき登録者か否かチェックする。この登録は、聴力が高齢等のため低下している場合や、見守り対象者２０１本人の好みにより予め行っておくことができる。ステップＳ１３６で軟骨伝導登録者であることが確認できない場合は、ステップＳ１３８に進み、周囲の気導音が所定以上であるか否かチェックする。見守り環境では、通常の騒音が存在する可能性は小さいが、居室内において多人数が随所で談笑しているような場合、周囲の気導音が所定以上となって、ロボット２０６と見守り対象者２０１による気導音による個人的な会話が困難になる場合がある。ステップＳ１３８において、周囲の気導音が所定以上であると判断されるとステップＳ１４０に移行する。一方、ステップＳ１３６において、見守り対象者２０１が軟骨伝導により会話をすべき登録者であると判断された場合は、直ちにステップＳ１４０に移行する。When it is determined in step S130 that the conversation is started, the process proceeds to step S134. First, the stereo externalair conduction microphone 246 and theair conduction speaker 223 are turned on, and a normal air conduction sound conversation is prepared. Next, in step S136, it is checked whether or not the watchingtarget person 201 is a registrant who should have a conversation by cartilage conduction. This registration can be performed in advance when the hearing ability is low due to the elderly or the like, or according to the preference of the 201 person to be watched over. If it is not confirmed in step S136 that the person is a cartilage conduction registrant, the process proceeds to step S138, where it is checked whether the surrounding air conduction sound is equal to or higher than a predetermined value. In the watching environment, the possibility of normal noise is small, but when many people are chatting at various places in the room, the surrounding air conduction sound becomes a predetermined level or more, and therobot 206 and the person to be watched over In some cases, the personal conversation by the air conduction sound by 201 becomes difficult. If it is determined in step S138 that the ambient air conduction sound is equal to or higher than the predetermined level, the process proceeds to step S140. On the other hand, if it is determined in step S136 that the watchingtarget person 201 is a registrant who should have a conversation by cartilage conduction, the process immediately proceeds to step S140.

　ステップＳ１４０では、軟骨伝導のためにロボット２０６の両手を見守り対象者２０１の両耳に接触させるための処理が行われる。その詳細は後述する。ステップＳ１４０の両手接触処理が完了するとステップＳ１４２に進み、ロボット２０６の両手中指２１３ａ、２１３ｂが見守り対象者２０１の両耳の耳珠に、両手親指２２１ａ、２２１ｂが見守り対象者２０１の両頬骨に、それぞれ接触していることの確認が行われる。そして、この確認ができるとステップＳ１４４に進み、ステレオ外部気導音マイク２４６および気導音スピーカ２２３をオフするとともに、骨導マイク２４４ａ、２４４ｂおよび軟骨伝導振動源２４２ａ、２４２ｂをそれぞれオンしてステップＳ１４６に移行する。これによって、気導音による会話が軟骨伝導および骨導マイクによる会話に切換えられる。In step S140, a process for watching both hands of therobot 206 and contacting both ears of the subject 201 for cartilage conduction is performed. Details thereof will be described later. When the two-hand contact processing of step S140 is completed, the process proceeds to step S142, where themiddle fingers 213a and 213b of therobot 206 are on the tragus of both ears of the watchingtarget person 201, and thethumbs 221a and 221b are on both cheekbones of the watchingperson 201. Each is confirmed to be in contact. If this confirmation can be made, the process proceeds to step S144 where the stereo external air conductionsound microphone 246 and the air conductionsound speaker 223 are turned off, and thebone conduction microphones 244a and 244b and the cartilageconduction vibration sources 242a and 242b are turned on, respectively. The process proceeds to S146. Thereby, the conversation by the air conduction sound is switched to the conversation by the cartilage conduction and the bone conduction microphone.

　一方、ステップＳ１４２において上記の耳珠および頬骨への接触が確認できない場合は、直接ステップＳ１４６に移行する。既述のように、軟骨伝導はロボット２０６の手および指のどこかが見守り対象者２０１の両耳の軟骨のいずれかの部分に接触すれば可能となるので、ステップＳ１４０の両手接触処理内においてこの状態が確認された場合、ステレオ外部気導音マイク２４６および気導音スピーカ２２３のオン状態を維持したまま、骨導マイク２４４ａ、２４４ｂおよび軟骨伝導振動源２４２ａ、２４２ｂがそれぞれオンされる。これに対し、ステップＳ１４０の両手接触処理内においてロボット２０６の手と見守り対象者２０１との接触が実行されなかった場合は、ロボット２０６の両手を見守り対象者２０１の方に伸ばす処理は行われず、骨導マイク２４４ａ、２４４ｂおよび軟骨伝導振動源２４２ａ、２４２ｂのオンも行われないので、ステレオ外部気導音マイク２４６および気導音スピーカ２２３による会話が続行されることになる。これらのステップＳ１４０の両手接触処理の詳細については後述する。On the other hand, if contact with the tragus and cheekbones cannot be confirmed in step S142, the process proceeds directly to step S146. As described above, the cartilage conduction can be achieved by touching any part of the cartilage of both ears of the subject 201 while watching the hand and finger of therobot 206. When this state is confirmed, thebone conduction microphones 244a and 244b and the cartilageconduction vibration sources 242a and 242b are turned on while the stereo external air conductionsound microphone 246 and the air conductionsound speaker 223 are kept on. On the other hand, in the case where the contact between the hand of therobot 206 and the watchingtarget person 201 is not executed in the two-hand contact process in step S140, the process of watching over both hands of therobot 206 and extending toward thetarget person 201 is not performed. Since thebone conduction microphones 244a and 244b and the cartilageconduction vibration sources 242a and 242b are not turned on, the conversation by the stereo external air conductionsound microphone 246 and the air conductionsound speaker 223 is continued. Details of the two-hand contact process in step S140 will be described later.

　また、ステップＳ１３８において、周囲の気導音が所定以上であると判断されない場合は、直接ステップＳ１４６に移行する。この場合は、ロボット２０６の両手を見守り対象者２０１の方に伸ばす処理は行われず、ステレオ外部気導音マイク２４６および気導音スピーカ２２３による会話が続行されることになる。In step S138, if it is not determined that the ambient air conduction sound is equal to or higher than the predetermined level, the process proceeds directly to step S146. In this case, the process of watching over both hands of therobot 206 and extending it toward the subject 201 is not performed, and the conversation by the stereo externalair conduction microphone 246 and theair conduction speaker 223 is continued.

　ステップＳ１４６では、異常の有無がチェックされる。これはステップＳ１２６において異常なしとして開始された会話中において不測の事態が生じることに対応するものである。この段階では、ロボット２０６の手による軟骨伝導が実行されている可能性があるので、ロボット２０６における見守りのためのセンサ機能が増加することになる。具体的には、骨導マイク２４４ａ、２４４ｂ、触覚センサ２３１ａ、２３１ｂ等が異常検知に寄与すると共に、例えば見守り対象者２０１が倒れたりした場合、顔を包んでいる手を通じて関節機構２２７ａ、２２７ｂの負荷検知センサに異常な負荷がかかるので３Ｄカメラ２３８による画像とともにきめ細かな異常検知が可能となる。In step S146, it is checked whether there is an abnormality. This corresponds to the occurrence of an unexpected situation during the conversation started as normal in step S126. At this stage, there is a possibility that the cartilage conduction by the hand of therobot 206 is executed, so that the sensor function for watching in therobot 206 is increased. Specifically, the bone-conduction microphones 244a and 244b, thetactile sensors 231a and 231b, etc. contribute to abnormality detection. For example, when the watchingtarget 201 falls down, thejoint mechanisms 227a and 227b can be connected through the hands that wrap the face. Since an abnormal load is applied to the load detection sensor, fine abnormality detection can be performed together with an image by the3D camera 238.

　ステップＳ１４６で異常が検知されない場合、ステップＳ１４８に移行して会話が終了したか否かの判断が行われる。この判断は、お互いの無言状態が所定時間以上続いたか否かのチェック、および会話内容の分析と会話終了に特有のキーワードの有無等により総合的に行われる。会話終了との判断がなされない場合は、ステップＳ１３６に戻り、以下会話終了との判断がなされるまでステップＳ１３６からステップＳ１４８が繰り返される。この繰り返しによって、まだ軟骨伝導が実行されていない状態においてステップＳ１３８で周囲の音量が所定以上となった場合、軟骨伝導への移行が可能となる。なお、気導音によるコミュニケーションから軟骨伝導へのコミュニケーションへの移行は一方向のものである。つまり、仮に、上記の繰り返しにおいてステップＳ１３８で周囲の音量が小さくなったからといって、一度開始した軟骨伝導によるコミュニケーションについてはこれを気導音によるコミュニケーションに戻す機能はない。従って、一連の会話途中では、軟骨伝導コミュニケーションと気導音コミュニケーションの間の煩瑣な往復切換えが行われることはない。ただし、異常の場合、ロボット２０６の手が見守り対象者２０１の顔を包んだままの状態を継続することは危険であり、上記の繰り返しにおいてステップＳ１４６がこれに対応している。その詳細は後述する。If no abnormality is detected in step S146, the process proceeds to step S148 to determine whether or not the conversation has ended. This determination is comprehensively performed by checking whether or not each other's silent state has continued for a predetermined time or longer, analyzing the contents of the conversation, and the presence or absence of a keyword unique to the end of the conversation. If it is not determined that the conversation is ended, the process returns to step S136, and steps S136 to S148 are repeated until it is determined that the conversation is ended. As a result of this repetition, when the surrounding sound volume becomes a predetermined level or higher in step S138 in a state where the cartilage conduction has not yet been executed, the transition to the cartilage conduction becomes possible. The transition from communication by air conduction sound to communication from cartilage conduction is one-way. That is, even if the surrounding sound volume is reduced in step S138 in the above repetition, there is no function to return the communication based on the cartilage conduction once started to the communication based on the air conduction sound. Therefore, no troublesome reciprocal switching between cartilage conduction communication and air conduction sound communication is performed during a series of conversations. However, in the case of abnormality, it is dangerous to continue the state in which the hand of therobot 206 wraps around the face of theperson 201 to be watched over, and step S146 corresponds to this in the above repetition. Details thereof will be described later.

　ステップＳ１４８で会話終了との判断がなされるとステップＳ１５０に移行し、軟骨伝導状態であるか否かチェックする。そして、軟骨伝導状態であればステップＳ１５２に移行し、ロボット２０６の両手を退避させて見守り対象者２０１の顔を解放し、ステップＳ１５４に移行する。一方、ステップＳ１５０において軟骨伝導状態が検知されなければ通常気導音による会話であり、見守り対象者２０１の拘束はないので直接ステップＳ１５４に移行する。If it is determined in step S148 that the conversation has ended, the process proceeds to step S150, and it is checked whether the cartilage conduction state is present. If it is in the cartilage conduction state, the process proceeds to step S152, where both hands of therobot 206 are retracted to release the face of the watchingtarget person 201, and the process proceeds to step S154. On the other hand, if the cartilage conduction state is not detected in step S150, the conversation is based on normal air conduction sound, and the watchingtarget person 201 is not restrained.

　ここで、異常の場合についての処理について説明する。ステップＳ１２６において異常状態が検知されるとステップＳ１５６に移行し、異常対応処理を行ってステップＳ１５０に移行する。この異常対応処理は基本的には実施例１または実施例２と共通の通報処理であるが、実施例３はロボット２０６により構成されるので、ロボット２０６が把握した見守り対象者２０１の状況に応じ、可能かつ緊急度がリスクを上回れば予めプログラムされた応急処置を行う。また、ステップＳ１４６において会話中に異常が検知された場合もステップＳ１５６に移行して異常対応処理を行うとともにステップＳ１５０に移行する。ここで重要なのは、上記のように、会話が軟骨伝導で行われていた場合においてなんらかの異常状態が発生した場合、仮にロボット２０６の手が見守り対象者２０１の顔を包んだままの状態を継続すると危険である。ここにおいてステップＳ１４６で異常が検知されると会話終了の判断がなくてもステップＳ１３６からステップＳ１４８の繰り返しループから抜け、ステップＳ１５６の異常対応処理を経由してステップＳ１５０に至る。そしてステップＳ１５０で軟骨伝導状態であったことが確認されるとステップＳ１５２に移行し、ロボット２０６の両手を退避させて見守り対象者２０１の顔を解放する。Here, the processing for abnormal cases will be described. If an abnormal state is detected in step S126, the process proceeds to step S156, an abnormality handling process is performed, and the process proceeds to step S150. This abnormality handling process is basically a notification process common to the first embodiment or the second embodiment. However, since the third embodiment includes therobot 206, it corresponds to the situation of the watchingtarget person 201 grasped by therobot 206. If possible and urgency exceeds risk, pre-programmed first aid is performed. In addition, when an abnormality is detected during the conversation in step S146, the process proceeds to step S156 to perform an abnormality handling process and the process proceeds to step S150. What is important here is that, as described above, if any abnormal state occurs when the conversation is performed by cartilage conduction, if the hand of therobot 206 keeps covering the face of theperson 201 to be watched, It is a danger. Here, if an abnormality is detected in step S146, even if it is not determined that the conversation has ended, the process repeats the loop from step S136 to step S148, and reaches step S150 via the abnormality handling process in step S156. When it is confirmed in step S150 that the cartilage conduction state is established, the process proceeds to step S152, where both hands of therobot 206 are retracted to release the face of the watchingtarget person 201.

　ステップＳ１５４では、ロボット２０６の主電源スイッチのオフまたは電源部２４８の充電池の消耗によりロボット２０６への給電が停止したか否かのチェックが行われる。給電停止が確認されない場合はステップＳ１２６に戻る。なお、ステップＳ１３０で会話開始が検知されなかった場合は、直ちにステップＳ１２６に戻る。以下、ステップＳ１５４で給電停止が確認されるまで、ステップＳ１２６からステップＳ１５４を繰り返し、ロボット２０６の種々の状況変化に対応する。一方、ステップＳ１５４で給電停止が確認されるとステップＳ１５８に至り、所定の終了処理を行ってフローを終了する。なお、この終了処理には、フェイルセーフとして、万一ロボット２０６の両手が見守り対象者の顔に接触したままである場合、これを退避させる機能が含まれる。In step S154, it is checked whether or not the power supply to therobot 206 is stopped by turning off the main power switch of therobot 206 or exhausting the rechargeable battery of thepower supply unit 248. If power supply stoppage is not confirmed, the process returns to step S126. If no conversation start is detected in step S130, the process immediately returns to step S126. Hereinafter, step S126 to step S154 are repeated until it is confirmed in step S154 that the power supply is stopped, to cope with various situation changes of therobot 206. On the other hand, when power supply stoppage is confirmed in step S154, the process reaches step S158, performs a predetermined end process, and ends the flow. Note that this end processing includes a function of evacuating therobot 206 when both hands of therobot 206 remain in contact with the watched person's face as a fail safe.

　図１２は、図１１のステップＳ１４０における両手接触処理の詳細を示すフローチャートである。フローがスタートするとステップＳ１６２で既にステップＳ１４０が実行されて手が見守り対象者２０１に接触済みか否かチェックする。そして接触済みであることが検知されると、直ちにフローを終了し、ステップＳ１４０では何も行われなないことになる。この場合、図１１のフローでは、ステップＳ１３８で周囲音量が所定以上であることが検知されても途中のステップＳ１４０～Ｓ１４４で何も行われず、実質的に直接ステップＳ１４６に至ったのと同等の結果となる。このようにして、ステップＳ１４０の実行により何らかの形で見守り対象者２０１への手の接触が実現すると、以後会話の途中でステップＳ１４０を繰り返して状態を変えたり同じ処理をしつこく繰り返したりすることが避けられる。FIG. 12 is a flowchart showing details of the two-hand contact process in step S140 of FIG. When the flow starts, step S140 is already executed in step S162, and it is checked whether or not the hand has been in contact with the watchingtarget person 201. When it is detected that contact has been made, the flow is immediately terminated, and nothing is performed in step S140. In this case, in the flow of FIG. 11, even if it is detected in step S138 that the ambient volume is greater than or equal to the predetermined value, nothing is performed in steps S140 to S144 in the middle, and is substantially equivalent to having reached step S146 directly. Result. In this way, when the hand contact with theperson 201 to be watched is realized in some way by the execution of step S140, it is avoided that step S140 is repeated in the middle of the conversation to change the state or repeatedly repeat the same process. It is done.

　一方、ステップＳ１６２でロボット２０６の手の接触が確認されないとステップＳ１６４に進み、手のヒータ２２５ａ、２２５ｂの人肌への急速加温を開始してステップＳ１６６に移行する。ステップＳ１６６では、接触同意コミュニケーション処理を行う。一般にスキンシップ（この場合、ロボット２０６が相手）は、受け入れる気持ちがある場合大変心地良いが、場合によっては極めて不快である。従って、ロボット２０６は、図１１のステップＳ１３０からステップＳ１３８への諸判断を経てステップＳ１４０に至ったとしても、いきなり一方的な行動はとらず、見守り対象者２０１の意思を尊重して図１２のステップＳ１６６にて接触への同意を促す。このときステップＳ１６６で行われるコミュニケーションは、気導音による言語情報のみによる「お顔に触れてもいいですか」という直截的なものに限らず、例えばまずハグするように両手を大きく広げてから相手を驚かせないよう穏やかに顔を包み込む動作に移行する等のボディランゲージでもよい。また、このような動作に「静かにお話ししましょうか」等の暗示的な語りかけを添えた総合的なコミュニケーションを試みるようにしてもよい。そして、このような働きかけをしながら３Ｄカメラ２３８およびステレオ外部気導音マイク２４６により相手の様子を観察してステップＳ１６８に移行する。On the other hand, if the contact of the hand of therobot 206 is not confirmed in step S162, the process proceeds to step S164, where rapid heating of thehand heaters 225a, 225b to the human skin is started, and the process proceeds to step S166. In step S166, contact consent communication processing is performed. In general, skinship (in this case, therobot 206 is the other party) is very comfortable when there is a willingness to accept, but in some cases it is very uncomfortable. Therefore, even if therobot 206 reaches step S140 through various judgments from step S130 to step S138 in FIG. 11, it does not take any unilateral action, respecting the intention of the watchingtarget 201 and in FIG. In step S166, consent to contact is prompted. At this time, the communication performed in step S166 is not limited to the straightforward “can you touch the face” based only on the language information of the air conduction sound, for example, after spreading both hands so as to hug first. Body language, such as shifting to a gentle wrapping action to surprise the opponent, may be used. Moreover, you may be made to try the total communication which added implicit hints, such as "Let's talk quietly" to such operation | movement. The other party is observed with the3D camera 238 and the stereo externalair conduction microphone 246 while performing such an action, and the process proceeds to step S168.

　ステップＳ１６８では、見守り対象者２０１の拒否の言葉または顔を背ける等の拒否の動作による見守り対象者２０１の意思表示がないかチェックし、接触拒否意思表示がないものと判断できればステップＳ１７０に移行する。ステップＳ１７０では、見守り対象者２０１が車椅子使用者か否かチェックする。これは車椅子使用者ならば比較的顔の位置が安定しており、ロボット２０６の手で接触圧を加えても転倒などの危険が少ないからである。ステップＳ１７０で車椅子使用者であることが確認できなければ、ステップＳ１７２の着席案内処理に移行する。この処理では、椅子の有無および位置の確認と、見守り対象者２０１への着席推奨アナウンスおよび椅子への案内、着席の確認などを行う。次いで、ステップＳ１７４で見守り対象者２０１の顔に手を接触させても危険がないか否かの最終確認を行う。この確認は、見守り対象者２０１の着席確認を最善とするが、立ったままであるとしても、着席案内処理を通じて見守り対象者２０１の足腰に不安がなく、多少顔に圧力がかかっても転倒のリスクが少ないことが確認できた場合も含む。In step S168, it is checked whether or not there is an intention display of the person to be watched 201 due to a refusal action such as turning away the word or face of refusal of the person to be watched 201, and if it can be determined that there is no contact refusal intention display, the process proceeds to step S170. . In step S170, it is checked whether or not the watchingtarget person 201 is a wheelchair user. This is because if the user is a wheelchair user, the position of the face is relatively stable, and even if contact pressure is applied with the hand of therobot 206, there is little risk of falling. If it is not confirmed in step S170 that the user is a wheelchair user, the process proceeds to the seating guidance process in step S172. In this process, the presence / absence and position of the chair are confirmed, a recommended seating announcement to the person to be watched over 201, guidance to the chair, confirmation of seating, and the like are performed. Next, in step S174, a final confirmation is made as to whether there is no danger even if the hand is brought into contact with the face of theperson 201 to be watched over. This confirmation is best to confirm the seating of the person to be watched 201, but even if the person is standing, there is no anxiety on the legs and legs of the person to be watched 201 through the seating guidance process, and the risk of falling even if some pressure is applied to the face This includes cases where it is confirmed that there are few.

　ステップＳ１７４で安全確認ができるとステップＳ１７６に移行し、両手を顔に伸ばす方向と視線の方向を一致させる視線同調を開始しステップＳ１７８に進む。ステップＳ１７８では両手で顔を包むために３Ｄカメラ２３８の情報に基づいて右関節機構２２７ａと左関節機構２２７ｂを駆動する両手調節処理を実行しステップＳ１８０に進む。ステップＳ１８０では、両手が顔に接触することによる負荷が右関節機構２２７ａおよび左関節機構２２７ｂの負荷検知センサにより検知されたか否かチェックする。そして検知がなければステップＳ１７８に戻り、両手が顔に接触するまでステップＳ１７８およびステップＳ１８０を繰り返す。そしてステップＳ１８０で負荷が検知されるとステップＳ１８２に進み、加圧リミッタをオンして見守り対象者２０１の顔を挟む圧力が過度にならないよう制限を開始する。If the safety can be confirmed in step S174, the process proceeds to step S176, and the line-of-sight synchronization is started to match the direction of extending both hands to the face and the direction of the line of sight, and the process proceeds to step S178. In step S178, a two-hand adjustment process for driving the rightjoint mechanism 227a and the leftjoint mechanism 227b is executed based on information from the3D camera 238 in order to wrap the face with both hands, and the process proceeds to step S180. In step S180, it is checked whether or not the load due to the contact of both hands with the face is detected by the load detection sensors of the rightjoint mechanism 227a and the leftjoint mechanism 227b. If there is no detection, the process returns to step S178, and steps S178 and S180 are repeated until both hands touch the face. When a load is detected in step S180, the process proceeds to step S182, where the pressure limiter is turned on and restriction is started so that the pressure sandwiching the face of the watchingtarget person 201 does not become excessive.

　この状態で、ロボット２０６の両手（指を含む）のどこかが見守り対象者２０１の両耳軟骨のどこかに接触したものと判断できるので、ステップＳ１８４に進み、骨導マイク２４４ａ、２４４ｂおよび軟骨伝導振動源２４２ａ、２４２ｂをオンしてステップＳ１８６に進む。この状態では、気導音スピーカ２２３ならびに骨導マイク２４４ａ、２４４ｂもオン状態で併用される。さらにステップＳ１８６では、気導音スピーカ２２３のみからの発話の場合と同様にして、口機構２０９が軟骨伝導振動源２４２ａ、２４２ｂの振動による音声と連動して動くよう同調を継続させる。ステップＳ１８６による同調は、図１２のステップＳ１４４において気導音スピーカ２２３がオフになっても継続される。In this state, it can be determined that somewhere on both hands (including the fingers) of therobot 206 is in contact with somewhere on the binaural cartilage of the subject 201, and thus the process proceeds to step S184 and the bone-conductingmicrophones 244a and 244b and the cartilage Theconduction vibration sources 242a and 242b are turned on and the process proceeds to step S186. In this state, the air conductionsound speaker 223 and thebone conduction microphones 244a and 244b are also used in the on state. Further, in step S186, in the same manner as in the case of speech from the air conductionsound speaker 223, the synchronization is continued so that themouth mechanism 209 moves in conjunction with the sound generated by the vibration of the cartilageconduction vibration sources 242a and 242b. The tuning in step S186 is continued even if the air conductionsound speaker 223 is turned off in step S144 in FIG.

　次いでステップＳ１８８による両手間隔保持／関節脱力処理が開始される。これは、既述のように、両手がその相対間隔を保ったまま平行移動するとともに見守り対象者２０１の顔の自由な動きに合わせて抵抗なく追従するよう右関節機構２２７ａおよび左関節機構２２７ｂがいわば脱力状態で追従するよう制御する処理である。この処理はステップＳ１８８からフローが進んでも継続される。Next, the two-hand interval holding / joint weakening process in step S188 is started. As described above, the rightjoint mechanism 227a and the leftjoint mechanism 227b move so that both hands move in parallel while maintaining the relative distance and follow the free movement of the face of the watchingtarget 201 without resistance. In other words, it is a process of controlling to follow in a weak state. This process is continued even if the flow proceeds from step S188.

　さらに、ステップＳ１９０では、左右の中指２１３ａ、２１３ｂの曲がり具合を微修正しながら指先が見守り対象者２０１の耳珠に接触するようにするとともに、左右の親指２２１ａおよび２２１ｂの曲がり具合を微修正し、見守り対象者２０１の頬骨に接触するようにする処理が開始される。次いで、ステップＳ１９２では、上記の結果として中指２１３ａ、２１３ｂが耳珠に、親指２２１ａ、２２１ｂが頬骨に接触したか否かをチェックされ、接触が確認できないとステップＳ１９４に進む。ステップＳ１９４では、ステップＳ１９０が開始されてから所定時間が経過したか否かチェックし、所定時間の経過がないとステップＳ１９０に戻る。以下、ステップＳ１９０からステップＳ１９４が繰り返される。その繰り返しの中で、ステップＳ１９２にて耳珠および頬骨への指の接触が確認されるとフローを終了し、図１１のステップＳ１４２に移行する。この場合、既述のとおりステップＳ１４２からステップＳ１４４に進むことになり、ステレオ外部気導音マイク２４６および気導音スピーカ２２３がオフされることになる。一方、ステップＳ１９４で所定時間の経過が確認された場合もフローを終了し、図１１のステップＳ１４２に移行する。この場合は、図１１においてステップＳ１４４を経由せず、ステレオ外部気導音マイク２４６および気導音スピーカ２２３がオンで併用されたままステップＳ１４６に移行することになる。Furthermore, in step S190, while slightly correcting the bending of the left and rightmiddle fingers 213a and 213b, the fingertips are in contact with the tragus of the watchingtarget 201, and the bending of the left andright thumbs 221a and 221b is slightly corrected. Then, the process of making contact with the cheekbone of the watchingtarget person 201 is started. Next, in step S192, it is checked whether or not themiddle fingers 213a and 213b are in contact with the tragus and thethumbs 221a and 221b are in contact with the cheekbones as a result of the above, and if the contact cannot be confirmed, the process proceeds to step S194. In step S194, it is checked whether or not a predetermined time has elapsed since the start of step S190. If the predetermined time has not elapsed, the process returns to step S190. Thereafter, steps S190 to S194 are repeated. In the repetition, when the finger contact with the tragus and cheekbone is confirmed in step S192, the flow is ended, and the process proceeds to step S142 in FIG. In this case, as described above, the process proceeds from step S142 to step S144, and the stereo externalair conduction microphone 246 and theair conduction speaker 223 are turned off. On the other hand, also when it is confirmed that the predetermined time has elapsed in step S194, the flow is ended, and the process proceeds to step S142 in FIG. In this case, the process proceeds to step S146 without passing through step S144 in FIG. 11 while the stereo externalair conduction microphone 246 and theair conduction speaker 223 are kept on and used together.

　一方ステップＳ１６８において、少しでも接触拒否の意思表示があるとの判断がなされたときはステップＳ１９６に進み、手のヒータ２２５ａ、２２５ｂによる人肌への加温を停止してフローを終了する。同様に、ステップＳ１７４において安全確認ができない場合も、ステップＳ１９６に進み、手のヒータ２２５ａ、２２５ｂによる人肌への加温を停止してフローを終了する。これらの場合はいずれも、ロボット２０６の手と見守り対象者２０１の接触による軟骨伝導は行われず、気導音によるコミュニケーションが継続される。On the other hand, if it is determined in step S168 that there is any intention to refuse contact, the process proceeds to step S196, the heating of the human skin by thehand heaters 225a, 225b is stopped, and the flow ends. Similarly, when the safety check cannot be performed in step S174, the process proceeds to step S196, the heating of the human skin by thehand heaters 225a and 225b is stopped, and the flow is ended. In any of these cases, cartilage conduction due to contact between the hand of therobot 206 and the watchingtarget person 201 is not performed, and communication using air conduction sound is continued.

　以上の各実施例に示した種々の特徴の実施は、個々の実施例に限るものではなく、その利点を享受できる限り、他の実施例でも実施可能である。また、各実施例に示した種々の特徴は、種々変形して実施することが可能である。これらの変形は適宜組合せて実施することが可能であると共に、一部変形前の状態と組み合わせて実施することも可能である。The implementation of the various features shown in the above embodiments is not limited to individual embodiments, and other embodiments can be implemented as long as the advantages can be enjoyed. The various features shown in each embodiment can be implemented with various modifications. These modifications can be carried out in combination as appropriate, and can also be carried out in combination with the state before partial deformation.

　例えば、実施例３のロボットの構成において、骨導マイクを親指に軟骨伝導振動源を中指に設けているが、これに限るものではなく、例えば軟骨伝導振動源を人差し指に設けてもよい。さらに、片手について複数の軟骨伝導振動源を片手の複数の指にそれぞれ設けても良い。また、実施例３では軟骨伝導に入るときに手のヒータの人肌への加温をスタートさせているが、常にヒータをオンしてロボットの手の温度を人肌に保ち、他の目的で見守り対象者に触れた時にも冷たさを感じないようにすることも可能である。For example, in the configuration of the robot according to the third embodiment, the bone conduction microphone is provided on the thumb and the cartilage conduction vibration source is provided on the middle finger. However, the present invention is not limited to this. For example, the cartilage conduction vibration source may be provided on the index finger. Further, a plurality of cartilage conduction vibration sources for one hand may be provided on each of a plurality of fingers of one hand. In Example 3, the heating of the hand heater to the human skin is started when entering cartilage conduction, but the heater is always turned on to keep the temperature of the robot hand on the human skin. It is also possible to avoid feeling cold when touching the person being watched over.

　さらに、図１１のフローでは、ステップＳ１３６で登録済み軟骨伝導登録者であることが確認されたとき、または、ステップＳ１３８で周囲の音量が大きくなったときにしかステップＳ１４０の両手接触処理に入らないようになっているが、これらの場合に加え、見守り対象者２０１からの自由な意思表示（例えば、見守り対象者２０１から希望する旨の発言がステレオ外部気導音マイク２４６で確認されたとき、または３Ｄカメラ２３８にて見守り対象者２０１が軟骨伝導を求める動作をしていることが確認できたとき、または見守り対象者２０１が自らロボット２０６の手を取って自分の耳に導いたときなど）に基づいて割り込みをかけ、図１１のステップＳ１４０に移行するよう構成してもよい。Further, in the flow of FIG. 11, the two-hand contact process of step S140 is entered only when it is confirmed that the registered cartilage conduction registrant is obtained in step S136 or when the surrounding sound volume is increased in step S138. In addition to these cases, in addition to these cases, a free intention display from the watching target person 201 (for example, when a statement that themonitoring target person 201 desires is confirmed with the stereo externalair conduction microphone 246, Or when it is confirmed that theperson 201 to be watched is performing an operation for obtaining cartilage conduction with the3D camera 238, or when theperson 201 to be watched takes the hand of therobot 206 and leads it to his / her ear) An interrupt may be issued based on the above and the process may proceed to step S140 in FIG.

　さらに、実施例３のロボットの手には見守り対象者の耳珠と指先の接触を確認するための触覚センサが設けられているが、これを光学的な近接センサに代えてもよく、また触覚センサと光学的な近接センサを併用してもよい。Further, the robot hand of Example 3 is provided with a tactile sensor for confirming the contact between the tragus of the person being watched over and the fingertip. However, this may be replaced with an optical proximity sensor. A sensor and an optical proximity sensor may be used in combination.

　図１３は、本発明の実施の形態に係る実施例４のシステム構成図である。実施例４は、図９～図１２に示した実施例３と同様にして、軟骨伝導により人とコミュニケーション可能なロボット３０６として構成される。そして、実施例１と同様にして住居内の見守りシステムを構成するとともに、実施例３のロボット２０６と同様にして見守り対象者２０１との人間的なコミュニケーションが可能となっている。図１３の実施例４は、実施例３と共通部分が多いので、同様の部分には同じ番号を付して必要のない限り説明を省略する。FIG. 13 is a system configuration diagram of Example 4 according to the embodiment of the present invention. The fourth embodiment is configured as arobot 306 that can communicate with humans by cartilage conduction in the same manner as the third embodiment shown in FIGS. The monitoring system in the residence is configured in the same manner as in the first embodiment, and human communication with the watchingtarget person 201 is possible in the same manner as therobot 206 in the third embodiment. Since Example 4 of FIG. 13 has many common parts with Example 3, the same parts are denoted by the same reference numerals and description thereof is omitted unless necessary.

　図１３に示す実施例４が、図９に示す実施例３と異なるのは、ロボット３０６の手の構造およびその制御である。これによって、実施例４のロボット３０６は、図１３に示すように、ベッド３５０に横臥している見守り対象者２０１を抱き起こして軟骨伝導によるコミュニケーションをとることができる。なお、実施例４のロボット３０６は、実施例３のロボット２０６と同様にして、自立している見守り対象者２０１とのコミュニケーションをとることも可能である。13 differs from the third embodiment shown in FIG. 9 in the structure of the hand of therobot 306 and its control. As a result, therobot 306 according to the fourth embodiment can wake up the watchingtarget person 201 lying on thebed 350 and communicate by cartilage conduction as shown in FIG. Note that therobot 306 according to the fourth embodiment can communicate with the watchingtarget person 201 who is independent as in therobot 206 according to the third embodiment.

　次に図１３に基づき、横臥している見守り対象者２０１とのコミュニケーションに関するロボット３０６の機能について詳細に説明する。ロボット３０６は、コミュニケーションにあたり、図１３に示すように、両手で見守り対象者２０１を少し抱き起こしてロボット３０６の顔に対向させるようにする。これにより、ベッド３５０の脇に立ったロボット３０６が横臥している見守り対象者２０１を触れ合いなしに見下ろすのに比べ、より親近感が増したコミュニケーションが可能となる。Next, the function of therobot 306 related to communication with the lyingtarget person 201 will be described in detail with reference to FIG. In communication, as shown in FIG. 13, therobot 306 wakes up theperson 201 to be watched a little with both hands so as to face the face of therobot 306. As a result, it is possible to perform communication with a greater sense of familiarity than when therobot 306 standing beside thebed 350 looks down on the watchingtarget person 201 without touching it.

　図１３の状態における各指の機能について説明すると、ます、見守り対象者２０１の後頭部および首に差し入れられた中指３１３、薬指３５１および小指３５２が、主に見守り対象者２０１の上半身の体重を支える。そして軟骨伝導振動源が設けられた親指３２１が見守り対象者２０１の耳珠２３２に接触し、軟骨伝導によりロボット３０６からの音声を伝える。また、骨導マイクが設けられた人差し指３５４が見守り対象者２０１の乳様突起に接触し、骨導により見守り対象者２０１の音声を拾う。13 will be described. First, themiddle finger 313, thering finger 351, and thelittle finger 352 inserted into the back of the head and neck of the watchingtarget 201 mainly support the weight of the upper body of the watchingtarget 201. Then, thethumb 321 provided with the cartilage conduction vibration source comes into contact with thetragus 232 of theperson 201 to be watched, and transmits the voice from therobot 306 by cartilage conduction. Further, theindex finger 354 provided with the bone conduction microphone comes into contact with the milky process of the watchingtarget person 201, and picks up the voice of the watchingtarget person 201 by the bone guide.

　図１４は、図１３に示した本発明の実施例４のロボット３０６のブロック図である。図１３と共通する部分には同一の番号を付し、必要のない限り説明を省略する。なお、上記のように、実施例４は、実施例３と共通するとことが多いので、実施例３と異なる右手２１１の構成を制御部３４０との関係で図示している。そして、その他の部分については、実施例３のブロック図である図１０およびその説明を流用することとし、図１４では図示を省略または簡略化している。さらに、図１４に図示した部分についても、図１０と共通の部分については、同じ番号を付し、説明を省略する。FIG. 14 is a block diagram of therobot 306 according to the fourth embodiment of the present invention shown in FIG. Portions common to those in FIG. 13 are denoted by the same reference numerals, and description thereof is omitted unless necessary. As described above, since the fourth embodiment is often in common with the third embodiment, the configuration of theright hand 211 different from the third embodiment is illustrated in relation to thecontrol unit 340. As for other parts, FIG. 10 which is a block diagram of the third embodiment and the description thereof are used, and the illustration is omitted or simplified in FIG. Further, with respect to the portions illustrated in FIG. 14, portions common to FIG. 10 are denoted by the same reference numerals and description thereof is omitted.

　図１４に明らかなように、ロボット３０６の右手２１１の中指３１３には第１軟骨伝導振動源２４２ａおよび第１触覚センサ２３１ａが設けられている。一方、ロボット３０６の右手２１１の親指３２１には第１骨導マイク２４４ａが設けられており、頬骨などからの骨伝導音を拾う。これらの構成は、図１０に図示した軟骨伝導振動源２４２ａ、触覚センサ２３１ａ、および骨導マイク２４４ａと同じものであり、実施例３と同様にして、図９のように自立している見守り対象者２０１とのコミュニケーションをとる際に用いられる。As is apparent from FIG. 14, themiddle finger 313 of theright hand 211 of therobot 306 is provided with a first cartilageconduction vibration source 242a and a firsttactile sensor 231a. On the other hand, a first bone-conductingmicrophone 244a is provided on thethumb 321 of theright hand 211 of therobot 306 to pick up bone conduction sound from the cheekbone or the like. These structures are the same as those of the cartilageconduction vibration source 242a, thetactile sensor 231a, and thebone conduction microphone 244a illustrated in FIG. Used when communicating with theperson 201.

　次に、図１３のように横臥している見守り対象者２０１とのコミュニケーションをとる際に、機能する構成について説明する。親指３２１には、第２軟骨伝導振動源３４２ａが設けられ、見守り対象者２０１の耳珠２３２に接触することで軟骨伝導によりロボット３０６からの音声を伝える。さらに、親指３２１には、見守り対象者２０１の耳珠２３２への接触状態をモニタして良好な軟骨伝導を実現維持するための第２触覚センサ３３１ａが設けられている。一方、人差し指３５４には、第２骨導マイク３４４ａが設けられ、見守り対象者２０１の乳様突起に接触することで骨導により見守り対象者２０１の音声を拾う。これら第２軟骨伝導振動源３４２ａ、第２触覚センサ３３１ａおよび第２骨導マイク３４４ａは、先に説明した第１軟骨伝導振動源２４２ａ、第１触覚センサ２３１ａ、および第１骨導マイク２４４ａと切換えられることにより、いずれか一方が機能する。Next, a configuration that functions when communicating with the watchingtarget person 201 lying on the side as shown in FIG. 13 will be described. Thethumb 321 is provided with a second cartilageconduction vibration source 342a, which conveys sound from therobot 306 by cartilage conduction by contacting thetragus 232 of theperson 201 to be watched. Further, thethumb 321 is provided with a second tactile sensor 331a for monitoring the contact state of theperson 201 to be watched with thetragus 232 to realize and maintain good cartilage conduction. On the other hand, theindex finger 354 is provided with a second bone-conduction microphone 344a, and picks up the voice of the watchingtarget 201 by bone guide by contacting the milky process of the watchingtarget 201. The second cartilageconduction vibration source 342a, the second tactile sensor 331a, and the secondbone conduction microphone 344a are switched to the first cartilageconduction vibration source 242a, the firsttactile sensor 231a, and the firstbone conduction microphone 244a described above. One of them will function.

　また、図１４に示すように、中指３１３、薬指３５１および小指３５２と右手２１１の間には抱起し用指調節機構３５５が設けられ、見守り対象者２０１の後頭部および首に差し入れられたこれらの指が見守り対象者２０１の上半身の体重を支えることができるよう、各指を支持する。このとき右関節機構２２７ａも、見守り対象者２０１の上半身の体重を支えることができるよう、右手２１１及び右腕２１５を支持する。ただし、見守り対象者２０１の頭を過度に拘束しないよう、右関節機構２２７は、垂直方向の位置を保ったまま水平方向には見守り対象者２０１の頭の自由な動きに合わせて抵抗なく追従するよう制御する。さらに上下方向についても、所定以上の見守り対象者２０１の頭の動きがあったときはこれに抵抗せず追従することで、快適に見守り対象者２０１の上半身の体重を支える。Further, as shown in FIG. 14, afinger adjustment mechanism 355 for raising is provided between themiddle finger 313,ring finger 351,little finger 352 and theright hand 211, and these are inserted into the back head and neck of theperson 201 to be watched. Each finger is supported so that the finger can support the weight of the upper body of theperson 201 to be watched over. At this time, the rightjoint mechanism 227a also supports theright hand 211 and theright arm 215 so that the weight of the upper body of theperson 201 to be watched can be supported. However, the right joint mechanism 227 follows in a horizontal direction without resistance in accordance with the free movement of the watchedperson 201's head while maintaining the vertical position so that the watchedperson 201's head is not excessively restrained. Control as follows. Further, in the vertical direction, when there is a movement of the head of the watchingtarget person 201 exceeding a predetermined level, the weight of the upper body of the watchingtarget person 201 is comfortably supported by following without resisting.

　以上の構成により、実施例４では、図１３に示すように、ベッド３５０に横臥している見守り対象者２０１を自然に抱き起こし、より親近感が増しかつ快適な状態において軟骨伝導によるコミュニケーションをとることができる。With the above configuration, in Example 4, as shown in FIG. 13, theperson 201 to be watched lying on thebed 350 is naturally held up, and communication by cartilage conduction is taken in a more comfortable and comfortable state. Can do.

　図１５は、図１４に示す実施例４のロボット３０６における制御部３４０の機能の一部を示すフローチャートである。上記のように実施例４は実施例３と共通するところが多いので、制御部３４０全体の機能を示すフローチャートについては図１１における実施例３のものを流用する。換言すれば、図１５のフローチャートは、図１１のフローチャートにおけるステップＳ１４０の両手接触処理の詳細として説明する。なお、図１１のフローチャートを実施例４のものとして流用する際、ステップＳ１５２の両手退避処理において、見守り対象者２０１の顔を解放するのに先立ち、対象者２０１の頭をゆっくりとベッド３５０に戻す処理を行う。また、実施例３においても共通であるが、ステップＳ１５２の両手退避処理が終了すると手のヒータ２２５ａの加温も停止する。FIG. 15 is a flowchart showing a part of the function of thecontrol unit 340 in therobot 306 of the fourth embodiment shown in FIG. As described above, since the fourth embodiment has a lot in common with the third embodiment, the flowchart of the overall function of thecontrol unit 340 is the same as that of the third embodiment in FIG. In other words, the flowchart in FIG. 15 will be described as details of the two-hand contact process in step S140 in the flowchart in FIG. When diverting the flowchart of FIG. 11 as that of the fourth embodiment, the head of the subject 201 is slowly returned to thebed 350 prior to releasing the face of the subject 201 in the two-hand retracting process of step S152. Process. Further, as in the third embodiment, the heating of thehand heater 225a is also stopped when the two-hand retracting process in step S152 is completed.

　さて、図１５のフローチャートは、図１１のフローがステップＳ１４０に至るとスタートし、ステップＳ２０２で既にステップＳ１４０が実行されてロボット３０６の手が見守り対象者２０１に接触済みか否かチェックする。そして接触済みであることが検知されると、既に軟骨伝導が達成されているものと判断し、直ちにフローを終了する。この場合、ステップＳ１４０では何も行われなないことになる。The flow chart of FIG. 15 starts when the flow of FIG. 11 reaches Step S140, and checks whether or not Step S140 has already been executed in Step S202 and the hand of therobot 306 has contacted the watchingtarget person 201. When it is detected that contact has been made, it is determined that cartilage conduction has already been achieved, and the flow is immediately terminated. In this case, nothing is performed in step S140.

　一方、ステップＳ２０２でロボット３０６の手の接触が確認されないとステップＳ２０４に進み、手のヒータ２２５ａ、２２５ｂの人肌への急速加温を開始してステップＳ２０６に移行する。ステップＳ２０６では、接触同意コミュニケーション処理を行い、見守り対象者２０１の意思を尊重して抱き上げ接触への同意を促す。この際のコミュニケーションは実施例３と同様である。そして、３Ｄカメラ２３８およびステレオ外部気導音マイク２４６により相手の応答を待ちながら様子を観察してステップＳ２０８に移行する。On the other hand, if the contact of the hand of therobot 306 is not confirmed in step S202, the process proceeds to step S204, the rapid heating of thehand heaters 225a, 225b to the human skin is started, and the process proceeds to step S206. In step S206, contact consent communication processing is performed, and the intention of the person to be watched 201 is respected and the consent to the lifting contact is promoted. Communication at this time is the same as in the third embodiment. Then, the state is observed by the3D camera 238 and the stereo external air conductionsound microphone 246 while waiting for the other party's response, and the process proceeds to step S208.

　ステップＳ２０８では、見守り対象者２０１の拒否の言葉または拒否の動作による見守り対象者２０１の意思表示がないかチェックし、接触拒否意思表示がないものと判断できればステップＳ２１０に移行する。ステップＳ２１０では、見守り対象者２０１が横臥者か否かチェックする。ステップＳ２１０で見守り対象者２０１が横臥者であることが確認できると、第１軟骨伝導振動源２４２ａ、第１触覚センサ２３１ａ、および第１骨導マイク２４４ａを不動作状態とするとともに、第２軟骨伝導振動源３４２ａ、第２触覚センサ３３１ａおよび第２骨導マイク３４４ａを動作状態とする。これによって、親指３２１による軟骨伝導が行われる状態への切換えが完了するのでステップＳ２１４に移行する。In step S208, it is checked whether or not there is an intention display of the watchingtarget person 201 due to the word or words of refusal of the watchingtarget person 201, and if it can be determined that there is no contact refusing intention display, the process proceeds to step S210. In step S210, it is checked whether or not the watchingtarget person 201 is a lying person. If it can be confirmed in step S210 that theperson 201 to be watched is a lying person, the first cartilageconduction vibration source 242a, the firsttactile sensor 231a, and the first bone-conduction microphone 244a are deactivated, and the second cartilage Theconduction vibration source 342a, the second tactile sensor 331a, and the second bone-conductingmicrophone 344a are set in the operating state. As a result, switching to a state in which cartilage conduction is performed by thethumb 321 is completed, and the process proceeds to step S214.

　ステップＳ２１４では、両手を顔に伸ばす方向と視線の方向を一致させる視線同調を開始しステップＳ２１６に進む。ステップＳ２１６では、３Ｄカメラ２３８の情報に基づいて左右の関節機構２２７ａ、２２７ｂおよび抱き起し用指調節機構３５５を駆動し、ロボット３０６の中指３１３から小指３５２を見守り対象者２０１の後頭部および首の後ろに差し入れて抱き起こす処理を実行し、ステップＳ２１８に進む。ステップＳ２１８では、抱き上げた状態において親指３２１と人差指３５４の曲がり具合を第２触覚センサ３３１ａ（必要に応じて第１触覚センサ２３１ａも併用、以下も同様）および３Ｄカメラ２３８の情報により微調整し、それぞれ耳珠および乳様突起に接触させる処理を行ってステップＳ２２０に移行する。ステップＳ２２０では、第２触覚センサ３３１ａおよび３Ｄカメラ２３８の情報により上記の接触が実現したか否かチェックする。確認がなければステップＳ２１８に戻り、接触が確認されるまでステップＳ２１８とステップＳ２２０を繰り返す。そしてステップＳ２２０で接触が確認されるとステップＳ２２２に進み、加圧リミッタをオンして見守り対象者２０１の顔を両手の親指３２１および人差指３５４で挟む圧力が過度にならないよう制限を開始する。In step S214, line-of-sight synchronization is started to match the direction of extending both hands to the face and the line of sight, and the process proceeds to step S216. In step S216, the left and rightjoint mechanisms 227a and 227b and the liftingfinger adjustment mechanism 355 are driven based on the information of the3D camera 238 to watch thelittle finger 352 from themiddle finger 313 of therobot 306 and A process of waking up and hugging is executed, and the process proceeds to step S218. In step S218, the degree of bending of thethumb 321 and theindex finger 354 is finely adjusted in accordance with information from the second tactile sensor 331a (the firsttactile sensor 231a is used in combination, as well as the following) and the3D camera 238, The process which contacts each tragus and milky process is performed, and it transfers to step S220. In step S220, it is checked whether or not the above contact has been realized based on information from the second tactile sensor 331a and the3D camera 238. If there is no confirmation, the process returns to step S218, and steps S218 and S220 are repeated until contact is confirmed. Then, when contact is confirmed in step S220, the process proceeds to step S222, where the pressure limiter is turned on and restriction is started so that the pressure to pinch the face of the watchingtarget person 201 with boththumbs 321 andindex finger 354 does not become excessive.

　次いで、ステップＳ２２４に進み、第２骨導マイク３４４ａおよび第２軟骨伝導振動源３４２ａをオンしてステップＳ２２６に進む。ステップＳ２２６では、口機構２０９が第２軟骨伝導振動源３４２ａの振動による音声と連動して動くよう同調させ、ステップＳ２２８に移行する。Next, the process proceeds to step S224, the secondbone conduction microphone 344a and the second cartilageconduction vibration source 342a are turned on, and the process proceeds to step S226. In step S226, themouth mechanism 209 is tuned to move in conjunction with the sound generated by the vibration of the second cartilageconduction vibration source 342a, and the process proceeds to step S228.

　ステップＳ２２８では、両手親指間の間隔および両手人差指間の間隔をそれぞれ保持したまま水平方向に両手が並行移動できるように関節を脱力させる処理が開始される。これは、既述のように、ロボット３０６の指が見守り対象者２０１を拘束することなく頭の自由な動きに合わせて両手が脱力状態で追従するよう制御する処理である。この処理はステップＳ２２８からフローが進んでも継続される。In step S228, a process of de-energizing the joint is started so that both hands can move in parallel in the horizontal direction while maintaining the distance between the thumbs of both hands and the distance between the two index fingers. As described above, this is a process of controlling the fingers of therobot 306 so that both hands follow in a weak state in accordance with the free movement of the head without restraining theperson 201 to be watched over. This process is continued even if the flow proceeds from step S228.

　ステップＳ２２８の処理が開始されるとステップＳ２３０に進み、第２触覚センサ３３１ａおよび３Ｄカメラ２３８の情報により親指３２１と人差指３５４がそれぞれ耳珠および乳様突起に接触しているか再確認する。そしてステップＳ２３０で接触が再確認されるとフローを終了する。この結果、フローは図１１のステップＳ１４２に移行することになる。一方、ステップＳ２３０で接触が再確認できないとステップＳ２３２に進む。ステップＳ２３２では、ステップＳ２１８が開始されてから所定時間が経過したか否かチェックし、所定時間の経過がないとステップＳ２１８に戻る。以下、ステップＳ２１８からステップＳ２３２が繰り返される。その繰り返しの中で、ステップＳ２３０にて耳珠および乳様突起への指の接触が確認されるか、またはステップＳ２３２で所定時間の経過が確認されると、フローを終了し、図１１のステップＳ１４２に移行する。なおステップＳ１４２の処理は、横臥者への対応の場合「耳珠・乳様突起接触確認？」と読替えることとする。When the process of step S228 is started, the process proceeds to step S230, and it is reconfirmed whether thethumb 321 and theindex finger 354 are in contact with the tragus and the mastoid process according to the information of the second tactile sensor 331a and the3D camera 238, respectively. When the contact is reconfirmed in step S230, the flow ends. As a result, the flow moves to step S142 in FIG. On the other hand, if the contact cannot be reconfirmed in step S230, the process proceeds to step S232. In step S232, it is checked whether or not a predetermined time has elapsed since the start of step S218. If the predetermined time has not elapsed, the process returns to step S218. Thereafter, step S218 to step S232 are repeated. In the repetition, when the contact of the finger to the tragus and the mastoid process is confirmed in step S230, or the passage of the predetermined time is confirmed in step S232, the flow is finished, and the step of FIG. The process proceeds to S142. Note that the process of step S142 is read as “confirmation of contact with tragus / milky protrusion?” In the case of dealing with a lying person.

　一方、ステップＳ２０８において、見守り対象者２０１が少しでも接触拒否の意思表示をしていると判断がなされたときはステップＳ２３４に進み、手のヒータ２２５ａによる人肌への加温を停止してフローを終了する。この場合は、ロボット３０６の手と見守り対象者２０１の接触による軟骨伝導は行われず、気導音によるコミュニケーションが継続される。On the other hand, when it is determined in step S208 that theperson 201 to be watched has made the intention to refuse contact even a little, the process proceeds to step S234 to stop the heating of the human skin by thehand heater 225a and execute the flow. Exit. In this case, cartilage conduction by contact between the hand of therobot 306 and the watchingtarget person 201 is not performed, and communication by air conduction sound is continued.

　なお、ステップＳ２１０において、見守り対象者２０１が横臥者であることが確認できない場合は、ステップＳ２３６に移行し、第２軟骨伝導振動源３４２ａ、第２触覚センサ３３１ａおよび第２骨導マイク３４４ａを不動作状態とするとともに、第１軟骨伝導振動源２４２ａ、第１触覚センサ２３１ａ、および第１骨導マイク２４４ａを動作状態とする。これによって、中指３１３による軟骨伝導が行われる状態への切換えが完了するのでステップＳ２３８の自立者処理に移行し、処理が完了すると、フローを終了する。なお、ステップＳ２３８の自立者処理は、図１２のステップＳ１７０からステップＳ１９６と同じものである。If it is not confirmed in step S210 that theperson 201 to be watched is a lying person, the process proceeds to step S236, and the second cartilageconduction vibration source 342a, the second tactile sensor 331a, and the secondbone conduction microphone 344a are not connected. The operation state is set, and the first cartilageconduction vibration source 242a, the firsttactile sensor 231a, and the firstbone conduction microphone 244a are set in the operation state. As a result, switching to the state in which cartilage conduction is performed by themiddle finger 313 is completed, so the process proceeds to the independent process in step S238, and when the process is completed, the flow ends. In addition, the independent person process of step S238 is the same as step S170 to step S196 of FIG.

　図１６は、本発明の実施の形態に係る実施例５のシステム構成図である。実施例５は、図９から図１２に示した実施例３と同様にして、軟骨伝導により人とコミュニケーション可能なロボット４０６として構成される。しかしながら、ロボット４０６は銀行における顧客応対システムとして構成される。そして、多数の顧客が訪れている銀行の騒音下における特定の顧客との円滑なコミュニケーションを可能にするとともに、プライバシー保護の観点からも有用なシステムを提供する。図１６の実施例５は、実施例３と共通部分が多いので、同様の部分には同じ番号を付して必要のない限り説明を省略する。FIG. 16 is a system configuration diagram of Example 5 according to the embodiment of the present invention. The fifth embodiment is configured as arobot 406 that can communicate with a person by cartilage conduction in the same manner as the third embodiment shown in FIGS. 9 to 12. However, therobot 406 is configured as a customer reception system in the bank. In addition, it enables smooth communication with a specific customer under the noise of a bank where many customers are visiting, and provides a useful system from the viewpoint of privacy protection. Since Example 5 of FIG. 16 has many common parts with Example 3, the same number is attached | subjected to the same part and description is abbreviate | omitted unless it is required.

　図１６に示す実施例５が、図９に示す実施例３と異なるのは、ロボット４０６が片手で顧客の耳に接触しても良好な軟骨伝導を維持できるようにする点、多数の顧客と順次接触する際の衛生問題に対処する点、および顧客へのきめ細かな応対を可能にする点である。図１６に図示するように、ロボット４０６は右手２１１のみで顧客４０１の左耳に接触している。具体的には、図９の実施例３と同様にして、中指４１３が耳珠２３２に接触し、親指４２１が頬骨に接触している。（同様にして、左手２１３のみで顧客４０１の右耳に接触することも可能である。）そして顧客４０１が頭を動かしたときにこれに追従して接触を維持するため、その指に加速度センサを備えている。また、顧客４０１とのきめ細かなコミュニケーションのためのＩＣタグリーダを指に備えている。これらの詳細については後述する。Example 5 shown in FIG. 16 differs from Example 3 shown in FIG. 9 in that therobot 406 can maintain good cartilage conduction even if it touches the customer's ear with one hand. It is a point to deal with the hygiene problem at the time of sequential contact and to enable a fine-tuned response to customers. As shown in FIG. 16, therobot 406 is in contact with the left ear of thecustomer 401 with only theright hand 211. Specifically, themiddle finger 413 is in contact with thetragus 232 and thethumb 421 is in contact with the cheekbone, as in the third embodiment of FIG. (Similarly, it is possible to contact the right ear of thecustomer 401 with only theleft hand 213.) When thecustomer 401 moves his / her head, the contact is followed and the acceleration sensor is applied to the finger. It has. Also, an IC tag reader for fine communication with thecustomer 401 is provided on the finger. Details of these will be described later.

　図１７は、図１６に示した本発明の実施例５のロボット４０６のブロック図である。図１６と共通する部分には同一の番号を付し、必要のない限り説明を省略する。なお、上記のように、実施例５は、実施例３と共通するとことが多いので、実施例４の場合と同様にして、実施例３と異なる右手２１１の構成を制御部４４０との関係で図示している。そして、その他の部分については、実施例３のブロック図である図１０およびその説明を流用することとし、図１７では図示を省略または簡略化している。さらに、図１７に図示した部分についても、図１０と共通の部分については、同じ番号を付し、説明を省略する。FIG. 17 is a block diagram of therobot 406 according to the fifth embodiment of the present invention shown in FIG. Portions common to those in FIG. 16 are denoted by the same reference numerals, and description thereof is omitted unless necessary. As described above, since the fifth embodiment is often in common with the third embodiment, the configuration of theright hand 211 different from the third embodiment is related to thecontrol unit 440 in the same manner as the fourth embodiment. It is shown. As for other parts, FIG. 10 which is a block diagram of the third embodiment and the description thereof are used, and the illustration is omitted or simplified in FIG. Further, with respect to the portions illustrated in FIG. 17, portions common to FIG. 10 are denoted by the same reference numerals and description thereof is omitted.

　図１７に明らかなように、ロボット４０６の右手２１１の中指４１３には軟骨伝導振動源４４２ａ、触覚センサ４３１ａに加え、加速度センサ４５６が設けられている。加速度センサ４５６は、接触摩擦により頭の動きに引きずられる中指４１３の加速度を検出する。そして加速度センサ４５６の検知する加速度の情報、触覚センサ４３１ａが検知する接触圧の変化の情報、および３Ｄカメラ２３８が検知する頭の動きの情報を総合して制御部４４０は、頭の動きを判定する。そしてこの判定に基づいて右関節機構２２７を駆動し、頭の動きに右手２１１の動きを追従させる。これにより、顧客４０１の頭が動いても中指４１３と耳珠の接触、および親指４２１と頬骨の接触が維持される。17, themiddle finger 413 of theright hand 211 of therobot 406 is provided with anacceleration sensor 456 in addition to the cartilageconduction vibration source 442a and thetactile sensor 431a. Theacceleration sensor 456 detects the acceleration of themiddle finger 413 dragged by the movement of the head due to contact friction. Thecontrol unit 440 determines the head movement by combining the acceleration information detected by theacceleration sensor 456, the contact pressure change information detected by thetactile sensor 431a, and the head movement information detected by the3D camera 238. To do. Based on this determination, the right joint mechanism 227 is driven to cause the movement of theright hand 211 to follow the movement of the head. Thereby, even if thecustomer 401's head moves, the contact between themiddle finger 413 and the tragus and the contact between thethumb 421 and the cheekbone are maintained.

　図１７に示すように、薬指４５１にはＩＣタグリーダ４５７が備えられている。これは、顧客４０１に配布される装身具（後述）にロボット４０６の右手２１１が触れたとき、その装身具に設けられているＩＣタグの情報を読取るためのものである。なお、図１６のように、ロボット４０６が直接顧客４０１の耳に触れる場合においては、ＩＣタグリーダ４５７が顧客情報を読み取ることはない。上記装身具とその意義については後述する。As shown in FIG. 17, thering finger 451 is provided with anIC tag reader 457. This is for reading the information of the IC tag provided on the accessory when theright hand 211 of therobot 406 touches the accessory distributed to the customer 401 (described later). As shown in FIG. 16, when therobot 406 directly touches the ear of thecustomer 401, theIC tag reader 457 does not read the customer information. The jewelry and its significance will be described later.

　図１８は、図１７の実施例５のロボット４０６における制御部４４０の機能を示すフローチャートである。フローは、ロボット４０６の主電源スイッチによる給電開始でスタートする。フローがスタートすると、ステップＳ２４２で銀行管理部との近距離通信のためのペアリング状況を確認し、未設定ならペアリング設定を自動で行う。次いで、ステップＳ２４６で通常応対機能を開始する処理を行う。この通常応対機能は、銀行においてロボット４０６が通常の気導音により顧客４０１と会話して応対する機能である。FIG. 18 is a flowchart showing functions of thecontrol unit 440 in therobot 406 of the fifth embodiment shown in FIG. The flow starts when power supply is started by the main power switch of therobot 406. When the flow starts, the pairing status for short-range communication with the bank management unit is confirmed in step S242, and if it is not set, pairing setting is automatically performed. Next, in step S246, a process for starting the normal reception function is performed. This normal reception function is a function in which therobot 406 interacts with thecustomer 401 by normal air conduction sound in the bank.

　次いで、ステップＳ２４８で顧客４０１との会話を開始すべき状況か否かの判断がなされる。ステップＳ２４８で会話開始の判断がなされるとステップＳ２５０に進み、まずは、ステレオ外部気導音マイク２４６および気導音スピーカ２２３（図１０参照）がオンされ、通常の気導音による会話が準備される。次いで、ステップＳ２５２において、顧客４０１が軟骨伝導により会話をすべき登録者（後述）か否かチェックする。ステップＳ２５２で軟骨伝導登録者であることが確認できない場合は、ステップＳ２５４に進み、周囲の気導音が所定以上であるか否かチェックする。銀行が顧客で混み合っているときなど、周囲の気導音が所定以上となって、ロボット４０６と特定の顧客４０１による個人的な会話が困難になる場合の把握がこのステップの目的である。ステップＳ２５４において、周囲の気導音が所定以上であると判断されるとステップＳ２５６に移行する。ステップＳ２５６では、軟骨伝導のためにロボット４０６が耳に触れることに顧客４０１が同意しているか否かチェックする。そして同意が確認できるとステップＳ２５８に移行する。一方、ステップＳ２５２において、顧客４０１が登録者であると判断された場合は、直ちにステップＳ２５８に移行する。Next, in step S248, it is determined whether or not the conversation with thecustomer 401 should be started. If it is determined in step S248 that the conversation starts, the process proceeds to step S250. First, the stereo externalair conduction microphone 246 and the air conduction speaker 223 (see FIG. 10) are turned on, and a normal air conduction sound conversation is prepared. The Next, in step S252, it is checked whether or not thecustomer 401 is a registrant (discussed below) who should have a conversation by cartilage conduction. If it is not confirmed in step S252 that the person is a cartilage conduction registrant, the process proceeds to step S254 to check whether or not the surrounding air conduction sound is equal to or higher than a predetermined level. The purpose of this step is to grasp when the surrounding air conduction sound becomes more than a predetermined level, such as when the bank is crowded with customers, and it becomes difficult for therobot 406 and aspecific customer 401 to have a personal conversation. If it is determined in step S254 that the ambient air conduction sound is equal to or higher than the predetermined level, the process proceeds to step S256. In step S256, it is checked whether or not thecustomer 401 agrees that therobot 406 touches the ear for cartilage conduction. If the consent can be confirmed, the process proceeds to step S258. On the other hand, if it is determined in step S252 that thecustomer 401 is a registrant, the process immediately proceeds to step S258.

　ステップＳ２５８では、軟骨伝導のためにロボット４０６の片手を顧客４０１の片耳にに接触させるとともにこれを維持するための処理が開始される。その詳細は後述する。ステップＳ２５８の片手接触処理が開始されるとステップＳ２６０に進み、ロボット４０６の中指４１３が見守り顧客４０１の耳珠に、また、親指４２１が顧客４０１の頬骨に、それぞれ接触していることの確認が行われる。そして、この確認ができるとステップＳ２６２に進み、ステレオ外部気導音マイク２４６および気導音スピーカ２２３（図１０参照）をオフするとともに、骨導マイク２４４ａおよび軟骨伝導振動源４４２ａをそれぞれオンしてステップＳ２６４に移行する。これによって、気導音による会話が軟骨伝導および骨導マイク２４４ａによる会話に切換えられる。In step S258, a process for bringing one hand of therobot 406 into contact with one ear of thecustomer 401 for cartilage conduction and maintaining it is started. Details thereof will be described later. When the one-hand contact process in step S258 is started, the process proceeds to step S260, where confirmation is made that themiddle finger 413 of therobot 406 is in contact with thewatch 401 of thecustomer 401 and thethumb 421 is in contact with the cheekbone of thecustomer 401. Done. Then, if this confirmation can be made, the process proceeds to step S262 where the stereo external air conductionsound microphone 246 and the air conduction sound speaker 223 (see FIG. 10) are turned off, and thebone conduction microphone 244a and the cartilageconduction vibration source 442a are turned on. The process proceeds to step S264. Thereby, the conversation by the air conduction sound is switched to the conversation by the cartilage conduction and thebone conduction microphone 244a.

　次いでステップＳ２６４では、顧客４０１が軟骨伝導により会話をすべき登録者（後述）か否かチェックし、登録者であることが確認できるとステップＳ２６６に進んでＩＣタグ管理処理を行い、ステップＳ２６８に移行する。ステップＳ２６６におけるＩＣタグ管理処理の内容は後述する。一方、ステップＳ２６４で顧客４０１が登録者であることが確認できないとステップＳ２７０に移行し、ロボット４０６の手が直接顧客４０１に触れる状態（図１６の状態）における一般メニュー処理を行い、ステップＳ２６８に移行する。Next, in step S264, it is checked whether or not thecustomer 401 is a registrant (to be described later) who should have a conversation by cartilage conduction. If it is confirmed that the customer is a registrant, the process proceeds to step S266 to perform IC tag management processing. Transition. The contents of the IC tag management process in step S266 will be described later. On the other hand, if it is not confirmed in step S264 that thecustomer 401 is a registrant, the process proceeds to step S270, and general menu processing is performed in a state where the hand of therobot 406 directly touches the customer 401 (state shown in FIG. 16), and the process proceeds to step S268. Transition.

　また、ステップＳ２６０において上記の耳珠および頬骨への接触が確認できない場合は、直接ステップＳ２６８に移行する。さらに、ステップＳ２５４において、周囲の気導音が所定以上であると判断されなかった場合、またはステップＳ２５６において軟骨伝導のためにロボット４０６が耳に触れることへの顧客４０１の同意が確認できなかった場合も直接ステップＳ２６８に移行する。これらの場合、ロボット４０６の片手を顧客４０１の耳に接触させる処理は行われず、骨導マイク２４４ａおよび軟骨伝導振動源４４２ａのオンも行われないので、ステレオ外部気導音マイク２４６および気導音スピーカ２２３による会話が続行されることになる。Further, if the contact with the tragus and cheekbones cannot be confirmed in step S260, the process directly proceeds to step S268. Further, in step S254, if the surrounding air conduction sound is not determined to be greater than or equal to the predetermined value, or in step S256, thecustomer 401's consent for therobot 406 to touch the ear for cartilage conduction could not be confirmed. Also in this case, the process directly proceeds to step S268. In these cases, the process of bringing one hand of therobot 406 into contact with the ear of thecustomer 401 is not performed, and thebone conduction microphone 244a and the cartilageconduction vibration source 442a are not turned on, so the stereo external air conductionsound microphone 246 and the air conduction sound The conversation with thespeaker 223 is continued.

　ステップＳ２６８はロボット４０６による顧客４０１に対する会話応対が終了したか否かの判断が行われる。この判断は、実施例３と同様にして、お互いの無言状態が所定時間以上続いたか否かのチェック、および会話内容の分析と会話終了に特有のキーワードの有無等により総合的に行われる。ステップＳ２６８で会話応対終了との判断がなされない場合は、ステップＳ２５２に戻り、以下会話応対終了との判断がなされるまでステップＳ２５２からステップＳ２６８が繰り返される。この繰り返しによって、まだ軟骨伝導が実行されていない状態においてステップＳ２５４で周囲の音量が所定以上となった場合等において、軟骨伝導への移行が可能となる。In step S268, it is determined whether or not the conversation with thecustomer 401 by therobot 406 has been completed. Similar to the third embodiment, this determination is comprehensively performed by checking whether or not each other's silent state has continued for a predetermined time or more, analyzing the contents of the conversation, and the presence or absence of a keyword unique to the end of the conversation. If it is not determined in step S268 that the conversation reception has ended, the process returns to step S252, and steps S252 to S268 are repeated until it is determined that the conversation reception has ended. By repeating this process, when the surrounding sound volume becomes equal to or higher than the predetermined level in step S254 in a state where the cartilage conduction has not yet been executed, the transition to the cartilage conduction becomes possible.

　一方、ステップＳ２６８で会話応対終了との判断がなされるとステップＳ２７２に移行し、軟骨伝導状態であるか否かチェックする。そして、軟骨伝導状態であればステップＳ２７４に移行し、ロボット４０６の片手を退避させ、ステップＳ２７６に移行する。このとき、後述のように顧客４０１が自らの手でロボット４０６の手を耳に当てている場合、顧客４０１の手を跳ね除けないよう、顧客４０１の手の負荷をモニタしながら顧客４０１が自然に手を離すまで穏やかな退避行動を実行する。一方、ステップＳ２７２で軟骨伝導状態でないことが確認されると直接ステップＳ２７６に移行する。On the other hand, when it is determined in step S268 that the conversation response has been completed, the process proceeds to step S272, where it is checked whether the cartilage conduction state is present. If it is in the cartilage conduction state, the process proceeds to step S274, the one hand of therobot 406 is retracted, and the process proceeds to step S276. At this time, as described later, when thecustomer 401 is holding the hand of therobot 406 with his / her hand as described later, thecustomer 401 naturally moves while monitoring the load of thecustomer 401's hand so that the customer's 401 hand cannot be repelled. Perform gentle evacuation until you release your hand. On the other hand, if it is confirmed in step S272 that the cartilage conduction state is not established, the process directly proceeds to step S276.

　ステップＳ２７６では、ロボット４０６の主電源スイッチのオフまたは電源部２４８（図１０参照）の充電池の消耗によりロボット４０６への給電が停止したか否かのチェックが行われる。給電停止が確認されない場合はステップＳ２４８に戻る。以下、ステップＳ２７６で給電停止が確認されるまで、ステップＳ２４８からステップＳ２７６を繰り返し、ロボット４０６の種々の状況変化に対応する。一方、ステップＳ２７６で給電停止が確認されるとステップＳ２７８に至り、所定の終了処理を行ってフローを終了する。なお、この終了処理には、フェイルセーフとして、万一ロボット４０６の片手が顧客４０６の顔の方向に伸びたままである場合、これを退避させる機能が含まれる。その退避にあたっては、ステップＳ２７４で説明したのと同様に顧客４０６の手を跳ね除けない等の安全措置が講じられる。In step S276, it is checked whether or not the power supply to therobot 406 is stopped by turning off the main power switch of therobot 406 or exhausting the rechargeable battery of the power supply unit 248 (see FIG. 10). If power supply stoppage is not confirmed, the process returns to step S248. Hereinafter, step S248 to step S276 are repeated until it is confirmed in step S276 that the power supply is stopped, and various changes in the situation of therobot 406 are dealt with. On the other hand, when power supply stoppage is confirmed in step S276, the process reaches step S278, where a predetermined end process is performed and the flow is ended. Note that this termination processing includes a function of evacuating therobot 406 in the event that one hand of therobot 406 is still extending in the direction of the face of thecustomer 406 as fail-safe. In the evacuation, safety measures are taken such that thecustomer 406 cannot be repelled as described in step S274.

　図１９は、図１８のステップＳ２５８における片手接触・維持処理の詳細を示すフローチャートである。フローがスタートすると、ステップＳ２８２において、ロボット４０６の手が顧客４０１に接触済みか否かチェックする。接触済みであることが検知されない場合、ステップＳ２８４に進み、手のヒータ２２５ａによる人肌への急速加温を開始してステップＳ２８６に移行する。ステップＳ２８６では、接触案内コミュニケーション処理を行う。案内は、主に気導音によって行われるが、ロボット４０６の胸に表示部を設けて視覚的に行ってもよい。またその内容は、基本的には軟骨伝導によるコミュニケーションそのものの説明であるが、顧客４０１自身の手でロボット４０６の手を取って耳に導く方法や、ロボット４０６が自動的に顧客４０１の顔に手を伸ばして接触を試みる方法などの具体的な接触方法を紹介するとともに、その選択を求めるコミュニケーションを含む。このようなコミュニケーションを経てステップＳ２８８に進む。FIG. 19 is a flowchart showing details of the one-hand contact / maintenance process in step S258 of FIG. When the flow starts, it is checked in step S282 whether or not the hand of therobot 406 has contacted thecustomer 401. If it is not detected that the contact has been made, the process proceeds to step S284, where rapid heating of the human skin by thehand heater 225a is started, and the process proceeds to step S286. In step S286, contact guidance communication processing is performed. The guidance is mainly performed by air conduction sound, but may be visually performed by providing a display unit on the chest of therobot 406. The content is basically an explanation of the communication itself by cartilage conduction, but the method of taking the hand of therobot 406 with thecustomer 401's own hand and guiding it to the ear, or therobot 406 automatically puts on the face of thecustomer 401. It introduces specific contact methods such as reaching out and trying to contact, and includes communication that asks for a choice. After such communication, the process proceeds to step S288.

　ステップＳ２８８では、顧客４０１が自身の手でロボット４０６の手を取って耳に導く方法を選んだか否かを判断する。この判断は、顧客４０１の選択応答だけでなく、顧客４０１がいきなりロボット４０６の手をとって自分の耳に導く動作を始めてしまったことの検知による場合も含む。ステップＳ２８８で顧客４０１が手取り接触を選択していないと判断された場合はステップＳ２９０に進み、ロボット４０６の片手を顧客４０１の顔に伸ばす方向とロボット４０６の視線の方向を一致させる視線同調を開始しステップＳ２９２に進む。In step S288, it is determined whether or not thecustomer 401 has selected a method of taking the hand of therobot 406 with his / her hand and guiding it to the ear. This determination includes not only the selection response of thecustomer 401 but also a case of detecting that thecustomer 401 has suddenly started to take the hand of therobot 406 and lead it to his / her ear. If it is determined in step S288 that thecustomer 401 has not selected the touch contact, the process proceeds to step S290, and the line-of-sight synchronization is started to match the direction of extending the one hand of therobot 406 to the face of thecustomer 401 and the line of sight of therobot 406. Then, the process proceeds to step S292.

　ステップＳ２９２では、自動的に片手を伸ばして指を顧客４０１の耳に接触させるため、３Ｄカメラ２３８の情報に基づいて右関節機構２２７ａ（または左関節機構２２７ｂでも可）を駆動する片手調節処理を実行し、ステップＳ２９４に進む。ステップＳ２９４では、片手が顔に接触することによる負荷が右関節機構２２７ａの負荷検知センサにより検知されたか否かチェックする。そして検知がなければステップＳ２９２に戻り、片手が顔に接触するまでステップＳ２９２およびステップＳ２９４を繰り返す。そしてステップＳ２９４で負荷が検知されると加圧リミッタをオンしてロボット４０６の手が顧客４０１の顔を片側から押す圧力が過度にならないよう制限を開始し、ステップＳ２９６に進む。上記の加圧リミッタは、ロボット４０６が顧客４０１を横向きに押し倒してしまうような事故を防ぐ。In step S292, one-hand adjustment processing for driving the rightjoint mechanism 227a (or the leftjoint mechanism 227b) based on information from the3D camera 238 is performed in order to automatically extend one hand and bring the finger into contact with thecustomer 401's ear. Execute, and proceed to step S294. In step S294, it is checked whether or not a load due to the contact of one hand with the face is detected by the load detection sensor of the rightjoint mechanism 227a. If there is no detection, the process returns to step S292, and steps S292 and S294 are repeated until one hand contacts the face. When a load is detected in step S294, the pressure limiter is turned on to start restriction so that the pressure with which the hand of therobot 406 pushes the face of thecustomer 401 from one side does not become excessive, and the process proceeds to step S296. The above pressure limiter prevents an accident in which therobot 406 pushes thecustomer 401 sideways.

　一方、ステップＳ２８８で顧客４０１が自身の手でロボット４０６の手を取って耳に導く方法が選ばれたと判断すると、ステップＳ２９８の関節脱力処理に移行し、顧客４０１の手の動きに抵抗せず、ロボット４０６の手を導かれるままとする。なお、この脱力処理は、ロボット４０６の手の自重の負荷を顧客４０１の手にかけないようにするため、ロボット４０６の腕の上下方向を無重量状態でバランスさせるとともに上下左右には抵抗なく動くようロボット４０６の胴体２１９（図１０参照）に支持する。ステップＳ２９８において、顧客４０１自身の手でロボット４０６の片手が顔に接触したことが確認されるとステップＳ２９６に移行する。On the other hand, if it is determined in step S288 that thecustomer 401 has selected the method of taking the hand of therobot 406 with his / her hand and guiding it to the ear, the process proceeds to the joint weakening process in step S298 and does not resist the movement of thecustomer 401's hand. The hand of therobot 406 is left guided. This weakening process balances the vertical direction of the arm of therobot 406 in a weightless state and moves it up, down, left and right without resistance so that the load of the weight of the hand of therobot 406 is not applied to the hand of thecustomer 401. Therobot 406 is supported on the body 219 (see FIG. 10). If it is confirmed in step S298 that one hand of therobot 406 has touched the face with thecustomer 401's own hand, the process proceeds to step S296.

　ステップＳ２９６では、骨導マイク２４４ａおよび軟骨伝導振動源４４２ａをオンしてステップＳ３００に進む。この状態では、気導音スピーカ２２３（図１０参照）ならびに骨導マイク２４４ａもオン状態で併用される。ステップＳ３００では、気導音スピーカ２２３のみからの発話の場合と同様にして、口機構２０９（図１０参照）が軟骨伝導振動源４４２ａの振動による音声と連動して動くよう同調を継続させる。ステップＳ３００による同調は、図１８のステップＳ２６２において気導音スピーカ２２３がオフになっても継続される。In step S296, thebone conduction microphone 244a and the cartilageconduction vibration source 442a are turned on, and the process proceeds to step S300. In this state, the air conduction sound speaker 223 (see FIG. 10) and thebone conduction microphone 244a are also used in the on state. In step S300, as in the case of the utterance from only the air conductionsound speaker 223, the synchronization is continued so that the mouth mechanism 209 (see FIG. 10) moves in conjunction with the sound generated by the vibration of the cartilageconduction vibration source 442a. The tuning in step S300 is continued even if the air conductionsound speaker 223 is turned off in step S262 in FIG.

　次いでステップＳ３０２による指調節処理が開始される。これは、中指４１３の曲がり具合を微修正しながら指先が顧客４０１の耳珠に接触するようにするとともに、親指４２１の曲がり具合を微修正し、顧客４０１の頬骨に接触するようにする処理が開始される。次いで、ステップＳ３０４では、上記の結果として中指４１３が耳珠に接触し、親指４２１が頬骨に接触したか否かがチェックされ、接触が確認できるとステップＳ３０６に進んで正常な接触状態を接触センサ４３１ａの圧力および３Ｄカメラ２３８（図１０参照）の画像として登録する。その上で、ステップＳ３０８に進み、加速度センサ４５６および接触センサ４３１ａの出力変化のモニタを開始する。また、ステップＳ３１０で３Ｄカメラ２３８による顔認識位置の変化のモニタを開始する。Next, finger adjustment processing in step S302 is started. This is a process in which the fingertip comes into contact with the tragus of thecustomer 401 while finely correcting the bending state of themiddle finger 413 and the bending state of thethumb 421 is finely corrected so as to contact the cheekbone of thecustomer 401. Be started. Next, in step S304, it is checked whether or not themiddle finger 413 has come into contact with the tragus as a result of the above, and thethumb 421 has come into contact with the cheekbone. It registers as a pressure of 431a and an image of the 3D camera 238 (see FIG. 10). Then, the process proceeds to step S308, and monitoring of output changes of theacceleration sensor 456 and thecontact sensor 431a is started. In step S310, monitoring of the change of the face recognition position by the3D camera 238 is started.

　そして、ステップＳ３１２で、加速度センサ４５６、接触センサ４３１ａの出力変化および３Ｄカメラ２３８による顔認識位置の変化があったか否かチェックする。そして何らかの変化があればステップＳ３１４に移行し、検知された頭の動きにロボット４０６の手を追従させる追従処理を行ってフローを終了する。これらの処理は、既に説明したように、接触摩擦により頭の動きに引きずられて動く中指４１３の加速度を加速度センサ４５６で検出するとともに、触覚センサ４３１ａが検知する接触圧の変化（頭がロボット４０６の手から離れる方向に動くと減圧、頭がロボット４０６の手を押す方向に動くと昇圧）を検出し、さらに３Ｄカメラ２３８が検知する頭の動きの情報も加味して総合的に制御部４４０により頭の動きを判定し、その動きを補償する方向にロボット４０６の手を追従させることで、顧客４０１の頭が動いても、中指４１３と耳珠の接触、および親指４２１と頬骨の接触を維持する処理である。なお、ステップＳ３１２で、加速度センサ４５６、接触センサ４３１ａの出力変化および３Ｄカメラ２３８による顔認識位置の変化がいずれも検出されない場合は、頭は静止していると考えられるので直ちにフローを終了する。In step S312, it is checked whether there is a change in output of theacceleration sensor 456 and thecontact sensor 431a and a change in the face recognition position by the3D camera 238. If there is any change, the process proceeds to step S314, and a follow-up process is performed in which the hand of therobot 406 follows the detected head movement, and the flow ends. As described above, these processes are performed by detecting the acceleration of themiddle finger 413 moved by the movement of the head by contact friction with theacceleration sensor 456 and changing the contact pressure detected by thetactile sensor 431a (the head is the robot 406). Thecontrol unit 440 comprehensively takes into account information on the movement of the head detected by the3D camera 238, in addition to detecting pressure reduction when the head moves away from the hand, and pressure increase when the head moves in the direction of pressing the hand of therobot 406. The movement of the head is determined by following the direction of therobot 406 in the direction to compensate for the movement, so that the contact of themiddle finger 413 and the tragus and the contact of thethumb 421 and the cheekbone can be performed even when the head of thecustomer 401 moves. It is a process to maintain. If none of the output changes of theacceleration sensor 456 and thecontact sensor 431a and the change of the face recognition position by the3D camera 238 are detected in step S312, the head is considered to be stationary and the flow is immediately terminated.

　一方、ステップＳ３０４で中指４１３と耳珠の接触および親指４２１と頬骨の接触が確認されない場合、ステップＳ３１６に移行し、ステップＳ３０２が開始されてから所定時間が経過したか否かチェックする。そして、所定時間が経過していなければステップＳ３０２に戻り、ステップＳ３０４で接触が検知されるかステップＳ３１６で所定時間の経過が検知されるまでステップＳ３０２、ステップＳ３０４およびステップＳ３１６のループを繰り返す。そして、ステップＳ３１６で所定時間の経過が検知された場合は直ちにフローを終了する。以上のいずれかにより図１９のフローが終了すると図１８のステップＳ２６０に移行する。On the other hand, when the contact between themiddle finger 413 and the tragus and the contact between thethumb 421 and the cheekbone are not confirmed in step S304, the process proceeds to step S316, and it is checked whether or not a predetermined time has elapsed since the start of step S302. If the predetermined time has not elapsed, the process returns to step S302, and the loop of step S302, step S304 and step S316 is repeated until contact is detected in step S304 or until the elapse of the predetermined time is detected in step S316. If the passage of a predetermined time is detected in step S316, the flow is immediately terminated. When the flow in FIG. 19 is terminated by any of the above, the process proceeds to step S260 in FIG.

　図２０は、図１６から図１９で説明した実施例５においてロボット４０６の中指４１３が装身具を介して顧客４０１の耳珠２３２に接触している様子を示す側面図である。全体システムは図１６と共通であるが接触部分以外の図示は省略している。図２０（Ａ）は、装身具の一例としてイヤーウォーマ４６１が両耳に装着されている。そして耳珠２３２はイヤーウォーマ４６１の下に隠れ、ロボット４０６の中指４１３はイヤーウォーマ４６１を介して間接的に顧客４０１の耳珠２３２に接触している。FIG. 20 is a side view showing a state in which themiddle finger 413 of therobot 406 is in contact with thetragus 232 of thecustomer 401 via the accessory in the fifth embodiment described with reference to FIGS. 16 to 19. Although the entire system is the same as that in FIG. 16, illustrations other than the contact portion are omitted. In FIG. 20A,ear warmers 461 are attached to both ears as an example of an accessory. Thetragus 232 is hidden under the ear warmer 461, and themiddle finger 413 of therobot 406 is indirectly in contact with thetragus 232 of thecustomer 401 via the ear warmer 461.

　一方、図２０（Ｂ）は、装身具の一例としてヘヤバンド４６２が頭に装着されている。そして耳珠２３２はヘヤバンド４６２の下に隠れ、ロボット４０６の中指４１３はヘヤバンド４６２を介して間接的に顧客４０１の耳珠２３２に接触している。また、図２０（Ｃ）は、装身具の一例としてイヤーカフ４６３が耳珠に装着されている。そして、ロボットの中指４１３はイヤーカフ４６３の上から間接的に顧客４０１の耳珠に接触している。さらに、図２０（Ｄ）は、装身具の一例として子供用キャラクターグッズ４６４が耳に装着されている。そして耳珠は子供用キャラクターグッズ４６４の下に隠れ、ロボット４０６の中指４１３は子供用キャラクターグッズ４６４を介して間接的に顧客４０１の耳珠に接触している。これらの装身具は、銀行を訪れた顧客４０１が自身の個人情報および相談要件を登録するのと引き換えにプレゼントとして顧客４０１に配布される。そして装身具にはＩＣタグが設けられていて、顧客ＩＤが銀行管理部によって書き込まれている。ロボット４０６の手（例えば薬指４５１）には図１７に示すようにＩＣタグリーダ４５７が設けられており、図２０のようにロボット４０６の手が装身具に近接するとその顧客４０１のＩＤを読み取ることができる。On the other hand, in FIG. 20B, ahair band 462 is attached to the head as an example of the accessory. Thetragus 232 is hidden under thehair band 462, and themiddle finger 413 of therobot 406 is indirectly in contact with thetragus 232 of thecustomer 401 via thehair band 462. In FIG. 20C, anear cuff 463 is attached to the tragus as an example of an accessory. Themiddle finger 413 of the robot is in contact with the tragus of thecustomer 401 indirectly from the top of theear cuff 463. Further, in FIG. 20D, achild character goods 464 is attached to the ear as an example of the accessory. The tragus is hidden under the children'scharacter goods 464, and themiddle finger 413 of therobot 406 is indirectly in contact with the tragus of thecustomer 401 via the children'scharacter goods 464. These accessories are distributed to thecustomers 401 as gifts in exchange for thecustomers 401 visiting the bank registering their personal information and consultation requirements. The jewelry is provided with an IC tag, and the customer ID is written by the bank management unit. As shown in FIG. 17, anIC tag reader 457 is provided in the hand of the robot 406 (for example, the ring finger 451). When the hand of therobot 406 comes close to the accessory as shown in FIG. 20, the ID of thecustomer 401 can be read. .

　図２０に示す装身具は、衛生面の対策としても意義がある。銀行には不特定多数の顧客が訪れ、ロボット４０６の手は多数の顧客の耳に触れることになるが、その際、衛生面の観点から、誰を触ったかわからないロボット４０６の手で触れられるのを嫌う顧客も存在する。図２０に示す装身具は、耳を覆うことによってロボット４０６の手が直接顧客の肌に触れるのを防止し、このような顧客の要望に応えることができる。そして、装身具を装着することは、ＩＣタグによって顧客４０１を特定することができる利点があり、予め登録した相談要件に応じて、顧客毎に適切かつきめ細かな応対が可能となる。従って、顧客は装身具のプレゼントをもらえると共に衛生面の利点、およびより適切な応対を受ける利点を享受できるので、ロボット４０６との接触を求めて銀行を訪れるインセンティブがさらに高まる。The jewelry shown in FIG. 20 is significant as a hygiene measure. An unspecified number of customers visit the bank, and the hands of therobot 406 touch the ears of many customers. At this time, from the viewpoint of hygiene, the hands of therobot 406 who do not know who touched it can be touched. Some customers dislike it. The jewelry shown in FIG. 20 prevents the hand of therobot 406 from directly touching the customer's skin by covering the ear, and can meet such a customer's request. Wearing the accessory has the advantage that thecustomer 401 can be specified by the IC tag, and appropriate and fine-tuned response can be made for each customer according to the consultation requirements registered in advance. Therefore, since the customer can receive the gift of jewelry and enjoy the benefits of hygiene and receiving a more appropriate response, the incentive to visit the bank for contact with therobot 406 is further increased.

　図２１は実施例５における銀行全体のシステムブロック図であり、ＩＣタグの機能に関する部分を抽出して図示している。図１７および図２０と同じ部分には同じ番号を付して必要のない限り説明を省略する。FIG. 21 is a system block diagram of the entire bank in the fifth embodiment, in which a portion related to the function of the IC tag is extracted and illustrated. The same parts as those in FIGS. 17 and 20 are denoted by the same reference numerals, and description thereof is omitted unless necessary.

　図２１において、銀行管理部４７２は、顧客がロボット４０６と接触する前に、顧客に応対する。そして受付データ入力部４７６（受付操作者が入力するキーボードまたは銀行カードリーダ）により、顧客を特定すると共に、その顧客が相談したい要件情報を入力する。銀行制御部４７８は、上記のようにして入力された情報を顧客データベース４８０に格納するとともに、ＩＣタグリーダ４８２によって顧客ＩＤを装身具４６１（イヤーウォーマ４６１で代表して図示）のＩＣタグ４７０に書き込み、受け付けた顧客に装身具４６１をプレゼントとして配布する。21, thebank management unit 472 responds to the customer before the customer contacts therobot 406. Then, the customer is specified by the reception data input unit 476 (keyboard or bank card reader input by the reception operator), and the requirement information that the customer wants to consult is input. Thebank control unit 478 stores the information input as described above in thecustomer database 480 and writes the customer ID into theIC tag 470 of the accessory 461 (represented by the ear warmer 461) by theIC tag reader 482, Theaccessories 461 are distributed as gifts to the received customers.

　次に、図２０のように、配布された装身具４６１を装着した顧客４０１がロボット４０６に接触すると、薬指４５１に設けられたＩＣタグリーダ４５７は、装身具４６１に設けられたＩＣタグ４７０に書込まれた顧客ＩＤを読み取り、近距離通信部２１３ａから銀行管理部４７２の近距離通信部４７４に対して現在接触している顧客４０１の特定情報を送信する。これにより、銀行管理部４７２は顧客データベース４８０に格納されていた該当する顧客４０１の要件情報を読み出し、近距離通信部４７４からロボット４０６の近距離通信部２１３ａに返信する。これによってロボット４０６は予め登録された相談要件に沿って特定の顧客４０１とコミュニケーションすることが可能となる。コミュニケーションは、ロボット４０６の中指４１３に設けられた軟骨伝導振動源４４２ａの振動が、装身具４６１を介して間接的に耳珠２３２に伝達されることにより、また骨導マイク２４４ａが顧客４０１の発言をピックアップすることにより行われる。Next, as shown in FIG. 20, when thecustomer 401 wearing the distributedaccessory 461 contacts therobot 406, theIC tag reader 457 provided on thering finger 451 is written to theIC tag 470 provided on theaccessory 461. The customer ID is read, and the specific information of thecustomer 401 currently in contact is transmitted from the short-range communication unit 213a to the short-range communication unit 474 of thebank management unit 472. As a result, thebank management unit 472 reads the requirement information of thecorresponding customer 401 stored in thecustomer database 480 and sends it back from the short-range communication unit 474 to the short-range communication unit 213a of therobot 406. As a result, therobot 406 can communicate with aspecific customer 401 in accordance with consultation requirements registered in advance. As for the communication, the vibration of the cartilageconduction vibration source 442a provided on themiddle finger 413 of therobot 406 is indirectly transmitted to thetragus 232 via theaccessory 461, and the bone-conduction microphone 244a transmits the remarks of thecustomer 401. This is done by picking up.

　図２２は、図２１の銀行制御部４７８の機能を示すフローチャートである。フローは、銀行の当日開業とともにスタートし、ステップ３２０で顧客登録に関連する応対が要求されているか否かチェックする。要求があればステップＳ３２２に移行し、要求が顧客の新規登録であるか否かチェックする。新規登録であれば、ステップＳ３２４において顧客との間でプライバシー保護に関する相互了解処理を行いステップＳ３２６に移行する。ステップＳ３２６では顧客ＩＤを付与する。FIG. 22 is a flowchart showing functions of thebank control unit 478 of FIG. The flow starts with the opening of the bank on the day, and in step 320 it is checked whether a response related to customer registration is required. If there is a request, the process proceeds to step S322, and it is checked whether or not the request is a new registration of the customer. If it is new registration, mutual consent processing regarding privacy protection is performed with the customer in step S324, and the process proceeds to step S326. In step S326, a customer ID is assigned.

　次いでステップＳ３２８で顧客情報の入力が完了したか否かチェックし、完了であればステップＳ３３０で顧客の用件情報の入力が完了したか否かチェックする。そしてこれも完了すればステップＳ３３２に移行し、付与したＩＤ別に顧客情報および用件情報を顧客データベース４８０に格納してステップＳ３３４に移行する。ステップＳ３３４では登録した顧客に配布する装身具のＩＣタグへのＩＤ書き込みが完了したか否かチェックし、完了が確認するとステップＳ３３６に移行する。また、このとき顧客への装身具の配布が行われる。一方、ステップＳ３２２で新規登録が要求されていなければ、登録が完了して装身具も配布された状態であると判断され、直接ステップＳ３３６に移行する。Next, in step S328, it is checked whether or not the input of customer information is completed. If it is completed, it is checked in step S330 whether or not the input of customer information is completed. And if this is also completed, it will transfer to step S332, will store customer information and business information for every assigned ID in thecustomer database 480, and will transfer to step S334. In step S334, it is checked whether or not the ID writing to the IC tag of the accessory distributed to the registered customer is completed, and if the completion is confirmed, the process proceeds to step S336. At this time, accessories are distributed to customers. On the other hand, if new registration is not requested in step S322, it is determined that registration has been completed and the accessory has been distributed, and the process directly proceeds to step S336.

　ステップＳ３３６では、ロボット４０６が、接触している顧客４０１の顧客ＩＤをＩＣタグリーダ４５７により読取って送信してきたか否かチェックする。そして、送信があればステップＳ３３８に進み、受信した顧客ＩＤに対応する顧客情報を顧客データベース４８０から読み出す。さらに、ステップＳ３４０に進み、受信した顧客ＩＤに対応する用件情報を顧客データベース４８０から読み出す。そして、ステップＳ３４２でこれら読出しデータをロボット４０６に送信する。In step S336, it is checked whether or not therobot 406 has read and transmitted the customer ID of thecustomer 401 in contact with theIC tag reader 457. If there is a transmission, the process proceeds to step S338, and the customer information corresponding to the received customer ID is read from thecustomer database 480. In step S340, the business information corresponding to the received customer ID is read from thecustomer database 480. In step S342, the read data is transmitted to therobot 406.

　次いで、ステップＳ３４４で、ロボット４０６から軟骨伝導に基づく会話記録を受信したか否かチェックする。そして受信した会話記録があればステップＳ３４６に進み、顧客ＩＤ別に会話情報としてこれを分析するとともに整理して顧客データベース４８０に書き込みステップＳ３４８に移行する。ステップＳ３４４で受信が確認されなければ直接ステップＳ３４８に移行する。ステップＳ３４８ではロボット４０６による顧客４０１への応対が終了したか否かチェックし、終了でなければステップＳ３４４に戻って、応対の終了までステップＳ３４４からステップＳ３４８を繰り返す。そしてステップＳ３４８で応対終了が検知されるとフローを終了する。Next, in step S344, it is checked whether or not a conversation record based on cartilage conduction is received from therobot 406. If there is a received conversation record, the process proceeds to step S346, where it is analyzed as conversation information for each customer ID, organized and written into thecustomer database 480, and the process proceeds to step S348. If reception is not confirmed in step S344, the process proceeds directly to step S348. In step S348, it is checked whether or not the response to thecustomer 401 by therobot 406 has been completed. If not, the process returns to step S344, and steps S344 to S348 are repeated until the reception is completed. When the end of the response is detected in step S348, the flow ends.

　一方、ステップＳ３３６で、ロボット４０６が顧客ＩＤを読取って送信してきたことが確認できないと直ちにフローを終了する。また、ステップ３２０において顧客登録に関連する応対の要求が確認されない場合はステップＳ３５０に進み、ＩＣタグ４７０による処理を伴わない一般応対処理を行ってフローを終了する。On the other hand, if it is not confirmed in step S336 that therobot 406 has read and transmitted the customer ID, the flow is immediately terminated. If a request for reception related to customer registration is not confirmed in step 320, the process proceeds to stepS 350, a general reception process not involving the process by theIC tag 470 is performed, and the flow is terminated.

　図２３は、本発明の実施の形態に係る実施例６に関する斜視図であり、実施例５と同様の銀行における応対システムとして構成される。但し、実施例５が人型ロボットを利用したシステムであるのに対し、実施例６は顧客が対面するディスプレイと、このディスプレイの側面に備えられ、顧客が自分の手で自分の耳に導ける伸縮自在の軟骨伝導送受話部とを有するシステムとして構成される。FIG. 23 is a perspective view regarding Example 6 according to the embodiment of the present invention, and is configured as a reception system in a bank similar to Example 5. However, while Example 5 is a system using a humanoid robot, Example 6 is equipped with a display facing the customer and the side of the display, and the expansion / contraction that the customer can guide to his / her ear with his / her hand. It is configured as a system having a free cartilage conduction transmitter / receiver.

　以下、図２３に基づいて詳細に説明する。図２３（Ａ）は、設置型応対装置７０１の正面図であり、設置型応対装置７０１はタッチパネルを兼ねた大画面表示部７０５を備える。設置型応対装置７０１には、その右辺において、自在継手７０３で接続された伸縮自在の軟骨伝導送受話部７８１が備えられている。軟骨伝導送受話部７８１は、上端が軟骨伝導部７２４になっているとともに、中間部分にマイク７２３が設けられている。軟骨伝導送受話部７８１は、後述のように軟骨伝導部７２４を上方に引出し可能な伸縮自在構造になっている。なお、図２３（Ａ）は、基本的には軟骨伝導送受話部７８１を使用しないで設置型応対装置７０１の右辺に収納した状態を示している。Hereinafter, this will be described in detail with reference to FIG. FIG. 23A is a front view of the installationtype response apparatus 701, and the installationtype reception apparatus 701 includes a largescreen display unit 705 that also serves as a touch panel. The installationtype response device 701 is provided with a telescopic cartilage transmission /reception unit 781 connected by auniversal joint 703 on the right side thereof. The cartilage conduction transmitter /receiver 781 has acartilage conduction portion 724 at the upper end and amicrophone 723 at the middle portion. The cartilage conduction transmitter /receiver 781 has a telescopic structure that allows thecartilage conduction part 724 to be drawn upward as will be described later. FIG. 23 (A) shows a state in which the cartilage transmission /reception unit 781 is basically stored in the right side of the installationtype response device 701 without using it.

　一方、図２３（Ｂ）は、設置型応対装置７０１の軟骨伝導送受話部７８１を利用する場合の状態を示す。図２３（Ｂ）に明らかなように、顧客自身の手により、矢印７８１ａの方向にスライド部７８１ｃをスライドさせて軟骨伝導部７２４を上方に引出すとともに、矢印７８１ｂの方向に軟骨伝導部７２４を前方に倒すことが可能となっている。なお、上記のように軟骨伝導送受話部７８１は自在継手７０３によって設置型応対装置７０１に接続されているので、倒す方向は前方に限らず任意の方向に倒すことができる。On the other hand, FIG. 23 (B) shows a state in which the cartilage conduction transmitter /receiver 781 of thestationary response device 701 is used. As apparent from FIG. 23 (B), the customer's own hand slides theslide part 781c in the direction of thearrow 781a to pull thecartilage conduction part 724 upward, and moves thecartilage conduction part 724 forward in the direction of thearrow 781b. It is possible to defeat. As described above, since the cartilage conduction transmitter /receiver 781 is connected to the installationtype response device 701 by theuniversal joint 703, the direction of the tilt is not limited to the front, but can be tilted in any direction.

　上記の構成により、大画面表示部７０５に表示される銀行情報を見る姿勢のまま、引き出した軟骨伝導部７２４を顧客自身の手で耳軟骨に当て、銀行の騒音下でも音声による銀行情報を聞くことができる。一方、自分の声は、このような状態において口の近くに来るマイク７２３によって拾うことができる。また、軟骨伝導部７２４は自重により倒れたり顧客に加重をかけたりしないようバランスしているとともに、顧客の手の動きに抗さないよう脱力状態で支持される。この点は、実施例５と共通である。With the above configuration, while looking at the bank information displayed on the largescreen display unit 705, the pulledcartilage conduction unit 724 is applied to the ear cartilage with the customer's own hand, and the bank information is heard by voice even under bank noise. be able to. On the other hand, one's own voice can be picked up by themicrophone 723 that comes near the mouth in such a state. In addition, thecartilage conduction portion 724 is balanced so as not to fall down due to its own weight or apply a load to the customer, and is supported in a weak state so as not to resist the movement of the customer's hand. This point is common to the fifth embodiment.

　また、図２３（Ｂ）に示すように、大画面表示部７０５に軟骨伝導部７２４を引出す方法を表示し、初めての顧客が正しく軟骨伝導による銀行とのコミュニケーションをとることができるようにする。Also, as shown in FIG. 23B, a method of pulling out thecartilage conduction unit 724 is displayed on the largescreen display unit 705 so that the first customer can correctly communicate with the bank by cartilage conduction.

　以上の各実施例に示した種々の特徴の実施は、個々の実施例に限るものではなく、その利点を享受できる限り、他の実施例でも実施可能である。また、各実施例に示した種々の特徴は、種々変形して実施することが可能である。これらの変形は適宜組合せて実施することが可能であるとともに、一部変形前の状態と組み合わせて実施することも可能である。例えば、実施例５に関連して図２０から図２２に示した装身具を用いる構成は、図２３に示した実施例６でも応用可能である。The implementation of the various features shown in the above embodiments is not limited to individual embodiments, and other embodiments can be implemented as long as the advantages can be enjoyed. The various features shown in each embodiment can be implemented with various modifications. These modifications can be carried out in combination as appropriate, and can also be carried out in combination with a state before partial deformation. For example, the configuration using the accessory shown in FIGS. 20 to 22 in relation to the fifth embodiment can be applied to the sixth embodiment shown in FIG.

　なお、実施例５において顧客ＩＤを保持する手段としてＩＣタグを示しているが、このような情報保持手段として採用可能なものはＩＣタグに限らず、バーコードまたは二次元バーコードでもよい。また、情報保持手段に、顧客ＩＤを直接保持させる構成に限らず、装身具を区別可能な装身具ＩＤを保持させ、どの装身具をどの顧客に配布したかを関連付ける情報を顧客データベースに保持しておけば、装身具ＩＤを読取ることにより、間接的に装着者を特定することができる。In addition, although the IC tag is shown as means for holding the customer ID in the fifth embodiment, what can be adopted as such information holding means is not limited to the IC tag but may be a barcode or a two-dimensional barcode. Moreover, the information holding means is not limited to the configuration in which the customer ID is directly held, but the accessory ID that can distinguish the accessory is held, and the information that associates which accessory is distributed to which customer is held in the customer database. The wearer can be indirectly specified by reading the accessory ID.

　また、実施例５の図１９において説明した片手接触・維持処理は、図２０に示すように装身具を介して間接的に耳珠等に振動を伝達する場合においても有効であることはいうまでもない。Further, it goes without saying that the one-hand contact / maintenance process described in FIG. 19 of the fifth embodiment is also effective in the case of transmitting vibrations indirectly to the tragus etc. via the accessory as shown in FIG. Absent.

＜総括＞
　以下では、本明細書中に開示されている種々の実施例の特徴について総括的に述べる。<Summary>
In the following, the features of the various embodiments disclosed herein will be described generally.

　本明細書中に開示されている実施例の特徴は、軟骨伝導振動源と見守り検知センサとを持ち外耳道入口を開放した状態で耳に装着される見守り検知装置と、前記見守り検知装置との間の近距離通信により前記見守り検知センサからの見守り情報を受信する見守り通報装置とを有することを特徴とする見守りシステムを提供する。これにより快適な見守り検知装置の装着が可能となる。A feature of the embodiment disclosed in the present specification is that between the watch detection device and the watch detection device that is mounted on the ear with the cartilage conduction vibration source and the watch detection sensor open and the ear canal entrance is opened. There is provided a watch system characterized by having a watch notification device that receives watch information from the watch detection sensor by short-range communication. This makes it possible to mount a comfortable watching detection device.

　具体的な特徴によれば、前記見守り検知装置は外部気導音マイクを有し、前記外部気導音マイクで拾った音声信号により前記軟骨伝導振動源を振動させることにより補聴器として機能する。これにより、日常的に使用される補聴器を利用して見守りを行なうことができる。他の具体的な特徴によれば、前記見守り検知装置は、近距離通信により前記見守り通報装置から受信した音声信号により前記軟骨伝導振動源を振動させる。これにより、携帯電話等、他の装置からの音声信号を聞く装置を利用して見守りを行なうことができる。According to a specific feature, the watching detection device has an external air conduction sound microphone, and functions as a hearing aid by vibrating the cartilage conduction vibration source by an audio signal picked up by the external air conduction sound microphone. Thereby, it can watch over using the hearing aid used on a daily basis. According to another specific feature, the watch detection device vibrates the cartilage conduction vibration source by an audio signal received from the watch notification device by short-range communication. Thereby, watching can be performed using a device that listens to an audio signal from another device such as a mobile phone.

　他の具体的な特徴によれば、前記見守り検知センサは、咀嚼運動センサである。他の具体的な特徴によれば、前記見守り検知センサは、音声センサである。例えば、前記音声センサは骨導マイクまたは気導音マイクである。According to another specific feature, the watching detection sensor is a mastication movement sensor. According to another specific feature, the watch detection sensor is an audio sensor. For example, the voice sensor is a bone conduction microphone or an air conduction microphone.

　他の具体的な特徴によれば、前記見守り通報装置は、見守り検知センサから所定時間検知信号が受信できないとき外部への通報を行なう。According to another specific feature, the monitoring notification device notifies the outside when the detection signal cannot be received from the monitoring detection sensor for a predetermined time.

　本明細書中に開示されている実施例の他の特徴によれば、見守り検知装置と、前記見守り検知装置との間の近距離通信により前記見守り検知装置から見守り情報を受信する複数の見守り通報装置とを有し、前記複数の見守り通報装置間で受信した見守り情報の交換を行なうこと特徴とする見守りシステムが提供される。これによって、ひとつの見守り通報装置による見守り情報の受信に欠落があっても、他の見守り通報装置が受信する見守り情報を共有することができ、複数の見守り通報装置間で混乱が生じるのを防止できる。According to other features of the embodiments disclosed herein, a plurality of watch notifications that receive watch information from the watch detection device by short-range communication between the watch detection device and the watch detection device There is provided a watching system characterized by exchanging watch information received between the plurality of watch notification devices. As a result, even if there is a lack of reception of watch information from one watch notification device, it is possible to share watch information received by other watch notification devices and prevent confusion among multiple watch notification devices. it can.

　本明細書中に開示されている実施例の他の特徴によれば、見守り検知装置と、前記見守り検知装置との間の近距離通信により前記見守り検知装置から見守り情報を受信する複数の見守り通報装置とを有し、前記複数の見守り通報装置は前記見守り情報に基づき異なる通報を行なうこと特徴とする見守りシステムが提供される。これによって、性質の違う複数の見守り通報装置のそれぞれに適した見守りが可能となる。具体的な特徴によれば、前記複数の見守り通報装置は、携帯電話および住居内に設置される通報装置を含む。According to other features of the embodiments disclosed herein, a plurality of watch notifications that receive watch information from the watch detection device by short-range communication between the watch detection device and the watch detection device There is provided a monitoring system, wherein the plurality of monitoring notification devices perform different notifications based on the monitoring information. As a result, it is possible to perform monitoring suitable for each of a plurality of monitoring notification devices having different properties. According to a specific feature, the plurality of monitoring notification devices include a mobile phone and a notification device installed in a residence.

　本明細書中に開示されている実施例の他の特徴によれば、音声センサを持つ見守り検知装置と、前記見守り検知装置との間の近距離通信により前記見守り検知センサからの見守り情報を受信する見守り通報装置とを有し、前記見守り通報装置は、前記音声センサが拾う音声信号の存否を外部に通報するとともに音声信号の内容は通報しないことを特徴とする見守りシステムが提供される。これによって見守り対象者のプライバシーが保護される。具体的な特徴によれば、前記見守り通報装置は、前記音声センサが拾う音声信号の緊急性を判断し、緊急性が高いときは例外として音声信号の内容を通報する。これにより、例えば悲鳴や救助要請において生の声による具体的な通報を得ることができる。According to another feature of the embodiments disclosed herein, the monitoring information is received from the monitoring sensor by short-range communication between the monitoring sensor having an audio sensor and the monitoring sensor. There is provided a monitoring system characterized in that the monitoring notification device notifies the outside of the presence or absence of a voice signal picked up by the voice sensor and does not report the contents of the voice signal. This protects the privacy of the person being watched over. According to a specific feature, the monitoring notification device determines the urgency of the audio signal picked up by the audio sensor, and reports the content of the audio signal as an exception when the urgency is high. As a result, for example, a specific report by a live voice can be obtained in a scream or a rescue request.

　本明細書中に開示されている実施例の他の特徴によれば、軟骨伝導振動源と、見守り検知センサとを有し、外耳道入口を開放した状態で耳に装着されることを特徴とする見守り検知装置が提供される。これにより快適な見守り検知装置の装着が可能となる。According to another characteristic of the embodiment disclosed in the present specification, the apparatus has a cartilage conduction vibration source and a monitoring sensor, and is mounted on the ear with the ear canal entrance open. A monitoring device is provided. This makes it possible to mount a comfortable watching detection device.

　具体的な特徴によれば、前記見守り検知装置は外部気導音マイクを有し、前記外部気導音マイクで拾った音声信号により前記軟骨伝導振動源を振動させることにより補聴器として機能する。他の具体的な特徴によれば、近距離通信により前記見守り通報装置から受信した音声信号により前記軟骨伝導振動源を振動させ、携帯電話等、他の装置からの音声信号を聞く装置として機能する。According to a specific feature, the watching detection device has an external air conduction sound microphone, and functions as a hearing aid by vibrating the cartilage conduction vibration source by an audio signal picked up by the external air conduction sound microphone. According to another specific feature, the cartilage conduction vibration source is vibrated by a voice signal received from the watch notification device by short-range communication, and functions as a device that listens to a voice signal from another device such as a mobile phone. .

　他の具体的な特徴によれば、前記見守り検知センサは、咀嚼運動センサである。より具体的な特徴によれば、前記咀嚼運動センサは前記軟骨伝導振動源と兼用することができる。他の具体的な特徴によれば、前記見守り検知センサは、音声センサである。より具体的には、前記音声センサは骨導マイクである。さらに具体的には、前記骨導マイクは前記軟骨伝導振動源と兼用することができる。According to another specific feature, the watching detection sensor is a mastication movement sensor. According to a more specific feature, the mastication motion sensor can also be used as the cartilage conduction vibration source. According to another specific feature, the watch detection sensor is an audio sensor. More specifically, the voice sensor is a bone conduction microphone. More specifically, the bone-conduction microphone can also be used as the cartilage conduction vibration source.

　他の具体的な特徴によれば、前記見守り検知センサは、補聴器機能のための気導音マイクを有し、前記骨導マイクが使用されるとき前記気導音マイクをオフする。他の具体的な特徴によれば、前記音声センサは気導音マイクである。According to another specific feature, the watching detection sensor includes an air conduction sound microphone for a hearing aid function, and turns off the air conduction sound microphone when the bone conduction microphone is used. According to another specific feature, said voice sensor is an air conduction microphone.

　本明細書中に開示されている実施例の他の特徴によれば、音声センサからの見守り情報の取得部と、前記取得部が取得した音声信号の存否を外部に通報するとともに音声信号の内容は通報しない通報部とを有することを特徴とする見守り通報装置が提供される。これによって見守り対象者のプライバシーが保護される。具体的な特徴によれば、前記通報部は、前記取得部が取得した音声信号の緊急性を判断し、緊急性が高いときは例外として音声信号の内容を通報する。According to another feature of the embodiment disclosed in the present specification, the acquisition unit of the monitoring information from the audio sensor, and the outside of the presence or absence of the audio signal acquired by the acquisition unit and the content of the audio signal There is provided a watching and reporting device characterized by having a reporting unit that does not report. This protects the privacy of the person being watched over. According to a specific feature, the reporting unit determines the urgency of the audio signal acquired by the acquiring unit, and reports the content of the audio signal as an exception when the urgency is high.

　また、本明細書中に開示されている実施例は、手と、前記手に設けられた軟骨伝導振動源とを有することを特徴とするロボットを提供する。これにより自然な動作によるロボットと人との軟骨伝導によるコミュニケーションが可能となる。Also, the embodiment disclosed in the present specification provides a robot characterized by having a hand and a cartilage conduction vibration source provided in the hand. As a result, it is possible to communicate by cartilage conduction between the robot and a human by natural movement.

　具体的な特徴によれば、ロボットは両手を有し、前記両手のそれぞれに前記軟骨伝導振動源が設けられる。これにより、例えばロボットの両手で人の顔をやさしく包むような癒しのある演出で軟骨伝導によるロボットと人のコミュニケーションが可能となる。さらにステレオによる聴取も可能となる。According to a specific feature, the robot has both hands, and the cartilage conduction vibration source is provided in each of the both hands. Thereby, for example, the robot and the person can communicate with each other by cartilage conduction with a healing effect that gently wraps the face of the person with both hands of the robot. Furthermore, listening in stereo becomes possible.

　他の具体的な特徴によれば、ロボットは前記手に指を有し、前記軟骨伝導振動源は前記指に設けられる。これにより、より効率の良い軟骨伝導が可能となる。According to another specific feature, the robot has a finger on the hand, and the cartilage conduction vibration source is provided on the finger. Thereby, more efficient cartilage conduction becomes possible.

　より詳細な特徴によれば、前記手全体を耳軟骨に接触するよう導くとともに、前記指を耳珠に導くよう調整する関節機構を有する。これにより適切な軟骨伝導のための調節が可能となる。According to a more detailed feature, it has a joint mechanism that guides the entire hand to contact the ear cartilage and adjusts the finger to guide the tragus. This allows adjustment for proper cartilage conduction.

　他の具体的な特徴によれば、両手が軟骨伝導のためにそれぞれ両耳の軟骨に接触するとき、前記両手が両者の相対位置は維持しつつ顔の動きを拘束しないよう制御する制御部をロボットが有する。これにより、束縛感のない軟骨伝導が可能となる。According to another specific feature, when both hands contact the cartilage of both ears for cartilage conduction, a control unit that controls the two hands to keep the relative positions of both hands and not restrain the movement of the face. The robot has. Thereby, cartilage conduction without a feeling of restraint becomes possible.

　他の具体的な特徴によれば、ロボットは外観が可動の目を有し、前記目の視線が前記両手の間を向くよう同調して動かされる。これにより、ロボットとの間でより親密な軟骨伝導によるコミュニケーションが可能となる。According to another specific feature, the robot has an eye whose appearance is movable and is moved in synchronism so that the line of sight of the eye faces between the hands. This enables intimate communication with the robot through cartilage conduction.

　他の具体的な特徴によれば、ロボットは外観が可動の口機構を有し、前記口機構は前記軟骨伝導振動源の振動によって伝達される音声と連動して動くよう制御される。これによって、自然な軟骨伝導によるコミュニケーションが可能となる。According to another specific feature, the robot has a mouth mechanism whose appearance is movable, and the mouth mechanism is controlled to move in conjunction with the sound transmitted by the vibration of the cartilage conduction vibration source. This enables communication by natural cartilage conduction.

　他の具体的な特徴によれば、前記軟骨伝導振動源の振動を耳軟骨に伝達するよう前記手が耳軟骨に接触するときその接触圧を制限するリミッタをロボットが有する。これにより安全な軟骨伝導によるコミュニケーションが可能となる。According to another specific feature, the robot has a limiter for limiting the contact pressure when the hand contacts the ear cartilage so as to transmit the vibration of the cartilage conduction vibration source to the ear cartilage. This enables communication by safe cartilage conduction.

　他の具体的な特徴によれば、前記軟骨伝導振動源の振動を耳軟骨に伝達するよう前記手を耳軟骨に接触させる際、同意を求めるコミュニケーション手段をロボットが有する。これによって、不快感のない軟骨伝導によるコミュニケーションが可能となる。According to another specific feature, the robot has a communication means for requesting consent when the hand contacts the ear cartilage so as to transmit the vibration of the cartilage conduction vibration source to the ear cartilage. Thereby, communication by cartilage conduction without discomfort is possible.

　他の具体的な特徴によれば、前記軟骨伝導振動源の振動を耳軟骨に伝達するよう前記手を耳軟骨に接触させる際、事前に安全確認を行う制御部をロボットが有する。これによって、安全性の高い軟骨伝導によるコミュニケーションが可能となる。According to another specific feature, the robot has a control unit for confirming safety in advance when the hand is brought into contact with the ear cartilage so as to transmit the vibration of the cartilage conduction vibration source to the ear cartilage. As a result, highly safe communication by cartilage conduction becomes possible.

　他の具体的な特徴によれば、ロボットは異常検知手段を有し、前記軟骨伝導振動源の振動を耳軟骨に伝達するよう前記手を耳軟骨に接触させる際、前記異常検知手段が異常を検知したとき、前記手の耳軟骨への接触が解除される。これによって万一の場合における不具合を回避できる。According to another specific feature, the robot has an abnormality detection means, and when the hand contacts the ear cartilage to transmit the vibration of the cartilage conduction vibration source to the ear cartilage, the abnormality detection means detects the abnormality. When detected, contact with the ear cartilage of the hand is released. This avoids problems in the event of an emergency.

　本明細書中に開示されている実施例の他の特徴によれば、手と、前記手を人肌に加温するヒータとを有することを特徴とするロボットが提供される。これによって快適なスキンシップが実現できる。According to another feature of the embodiments disclosed herein, there is provided a robot characterized by having a hand and a heater for heating the hand to human skin. This makes it possible to realize a comfortable skinship.

　また、本明細書中に開示されている実施例は、人の耳軟骨に振動を伝達するための軟骨伝導部と、前記人が装着し少なくとも前記耳軟骨の一部を覆う装身具とを有し、前記装身具を介して間接的に前記軟骨伝導部の振動を前記耳軟骨に伝達することを特徴とする軟骨伝導聴取システムを提供する。これによって、軟骨伝導部が直接耳軟骨に触れることから生じる問題点を解決することができる。具体的な特徴によれば前記軟骨伝導部は多数の人に共用されるとともに、前記装身具は前記多数の人に個別に装着される。これによって、誰が触れたのかわからない軟骨伝導部を共用するにもかかわらず、衛生的に軟骨伝導の利点を享受できる聴取システムが実現できる。In addition, an embodiment disclosed in the present specification includes a cartilage conduction part for transmitting vibration to a human ear cartilage, and a jewelry worn by the person and covering at least a part of the ear cartilage. A cartilage conduction listening system is provided, wherein vibration of the cartilage conduction part is transmitted to the ear cartilage indirectly through the accessory. As a result, the problems caused by the cartilage conduction part directly touching the ear cartilage can be solved. According to a specific feature, the cartilage conduction part is shared by a large number of people, and the accessory is individually worn by the large number of people. Accordingly, it is possible to realize a listening system that can hygienically enjoy the benefits of cartilage conduction despite sharing a cartilage conduction portion that does not know who touched it.

　他の具体的な特徴によれば、前記装身具は、イヤーウォーマ、ヘヤバンド、イヤーカフおよび耳装着用キャラクターグッズのいずれか一つとして構成される。これによって、自然に装身具を装着する動機付けが可能となる。According to another specific feature, the accessory is configured as any one of an ear warmer, a hair band, an ear cuff, and an ear wearing character goods. As a result, the motivation to wear the accessory naturally becomes possible.

　他の具体的な特徴によれば、本実施例の軟骨伝導聴取システムは銀行の応対システムとして構成される。これによって、誰が触れたのかわからない軟骨伝導部を共用するにもかかわらず、衛生的に軟骨伝導の利点を享受できる本発明の聴取システムの利点を好適に活用できる。According to other specific features, the cartilage conduction listening system of the present embodiment is configured as a bank response system. Thus, the advantage of the listening system of the present invention that can enjoy the advantage of cartilage conduction in a sanitary manner, even though the cartilage conduction part that does not know who has touched it, can be suitably used.

　また、他の具体的な特徴によれば、本実施例の軟骨伝導聴取システムは、装着者を特定するための情報を保持する情報保持部を前記装身具に設けるとともに、前記軟骨伝導部が前記装身具を介して前記軟骨伝導部の振動を前記耳軟骨に伝達できる状態において前記情報を読取る手段を有する。これによって、装着者の要望にきめ細かく対応できる聴取システムが提供できるので装身具を装着する動機付けが可能となる。より具体的な特徴によれば、前記情報は装着者の情報である。他のより具体的な特徴によれば、前記情報は装身具を特定する情報であるとともに装着者と装身具との関係を示す情報を保持する関係情報保持手段が設けられる。According to another specific feature, in the cartilage conduction listening system according to the present embodiment, an information holding unit that holds information for specifying a wearer is provided in the accessory, and the cartilage conduction unit is connected to the accessory. Means for reading the information in a state in which vibration of the cartilage conduction portion can be transmitted to the ear cartilage via This makes it possible to provide a listening system that can respond precisely to the wearer's request, so that motivation to wear the accessory is possible. According to more specific features, the information is wearer information. According to another more specific feature, the information is information for specifying an accessory, and a relationship information holding means for holding information indicating a relationship between the wearer and the accessory is provided.

　本実施例の他の具体的な特徴によれば、前記軟骨伝導部はロボットの指に設けられる。これによって、耳軟骨への接触の興が増し、有効に軟骨伝導を活用できる。According to another specific feature of the present embodiment, the cartilage conduction part is provided on the finger of the robot. As a result, contact with the ear cartilage is increased and cartilage conduction can be effectively utilized.

　より具体的な特徴によれば、前記ロボットの指を前記人が前記耳軟骨に導く際、それに抗さないよう前記ロボットの腕を保持する関節機構が前記ロボットに設けられる。これによって確実に軟骨伝導部を耳軟骨に導くことができるとともに、人とロボットの間で軟骨伝導のための円滑な協働が可能となる。According to a more specific feature, the robot is provided with a joint mechanism for holding the arm of the robot so as not to resist when the person guides the finger of the robot to the ear cartilage. As a result, the cartilage conduction portion can be reliably guided to the ear cartilage, and smooth cooperation for cartilage conduction can be performed between the human and the robot.

　他のより具体的な特徴によれば、前記軟骨伝導部が前記人の片側の耳に振動を伝達するとともに、前記人の頭の動きに対して前記ロボットの指を追従させる追従手段が設けられる。これによって片側の耳に振動を伝達するにもかかわらず、人の頭の動きによって振動伝達が断たれることがないようにすることができる。According to another more specific feature, the cartilage conduction part transmits vibration to the ear on one side of the person, and a follow-up means is provided for causing the robot's finger to follow the movement of the person's head. . Accordingly, it is possible to prevent the vibration transmission from being interrupted by the movement of the person's head even though the vibration is transmitted to the ear on one side.

　本実施例の他の特徴によれば、人の耳軟骨に振動を伝達するための軟骨伝導部と、前記軟骨伝導部を可動的に支持する支持部を有し、前記支持部は、前記人が前記耳軟骨に導く際、それに抗さないよう前記軟骨伝導部を支持することを特徴とする軟骨伝導聴取システムが提供される。これにより、使用者に不快感を与えることなく確実に軟骨伝導部を耳軟骨に導くことができる。具体的な特徴によれば、前記軟骨伝導部はロボットの指に設けられる。他の具体的な特徴によれば、本実施例の軟骨伝導聴取システムは表示画面を有し、前記軟骨伝導部は前記支持部により前記表示画面に支持される。According to another feature of the present embodiment, it has a cartilage conduction part for transmitting vibration to the human ear cartilage, and a support part that movably supports the cartilage conduction part, and the support part includes the human cartilage conduction part. A cartilage conduction listening system is provided, wherein the cartilage conduction part is supported so as not to resist the cartilage when it is guided to the ear cartilage. Thereby, the cartilage conduction part can be reliably guided to the ear cartilage without causing discomfort to the user. According to a specific feature, the cartilage conduction part is provided on a robot finger. According to another specific feature, the cartilage conduction listening system of the present embodiment has a display screen, and the cartilage conduction part is supported on the display screen by the support part.

　本実施例の他の特徴によれば、人の耳軟骨に振動を伝達するためにロボットの指に設けられる軟骨伝導部と、前記軟骨伝導部が前記人の片側の耳に振動を伝達するとき前記人の頭の動きに対し前記ロボットの指を追従させる前記ロボットに設けられた追従手段とを有することを特徴とする軟骨伝導聴取システムが提供される。これによって片側の耳に振動を伝達するにもかかわらず、人の頭の動きによって振動伝達が断たれることがないようにすることができる。According to another feature of the present embodiment, a cartilage conduction portion provided on a finger of a robot for transmitting vibration to a human ear cartilage, and when the cartilage conduction portion transmits vibration to one ear of the person There is provided a cartilage conduction listening system, comprising: follower means provided on the robot for causing the robot's finger to follow the movement of the human head. Accordingly, it is possible to prevent the vibration transmission from being interrupted by the movement of the person's head even though the vibration is transmitted to the ear on one side.

　本実施例の他の特徴によれば、人の耳軟骨に振動を伝達するためにロボットの第一の指に設けられる軟骨伝導部を有し、前記ロボットの第二の指にて前記人の頭部を支えることを特徴とする軟骨伝導聴取システムが提供される。これによって例えば横臥している人を自然に起こしてコミュニケーションを図ることができる。According to another feature of the present embodiment, the robot has a cartilage conduction portion provided on the first finger of the robot to transmit vibration to the human ear cartilage, and the second finger of the robot A cartilage conduction listening system characterized by supporting the head is provided. As a result, for example, a person lying down can naturally wake up and communicate.

　具体的な特徴によれば、前記ロボットの左右の手の前記第一の指にそれぞれ設けられ、それぞれ前記人の左右の耳軟骨に振動を伝えるとともに、前記ロボットの左右の手の前記第二の指にて前記人の頭部を支える。他の具体的な特徴によれば、前記第一の指は親指であり、前記第二の指は中指である。According to a specific feature, the first fingers of the left and right hands of the robot are respectively provided with vibrations to the left and right ear cartilages of the person, and the second hands of the left and right hands of the robot are provided. The person's head is supported by a finger. According to another particular feature, the first finger is a thumb and the second finger is a middle finger.

　本実施例の他の特徴によれば、上記のような種々の軟骨伝導聴取システムに用いられる好適なロボットが提供される。According to another feature of the present embodiment, a suitable robot used for the various cartilage conduction listening systems as described above is provided.

　本発明は、人とコミュニケーション可能なロボット、ないしは、銀行等における応対システムに適用することができる。The present invention can be applied to a robot that can communicate with humans or a response system in a bank or the like.

２１１、２１３　手
２４２ａ、２４２ｂ　軟骨伝導振動源
２０６　ロボット
２１３　指
２２７ａ、２２７ｂ　関節機構
２２７ａ、２２７ｂ、２４０　制御部
２０７　目
２０９　口機構
２２５ａ、２２５ｂ　ヒータ
２４０　リミッタ
２２３、２１５、２１７、２４０　コミュニケーション手段
２４０　制御部
２４６、２３８、２２７ａ、２２７ｂ　異常検知部
３２１、３１３、４１３、７２４　軟骨伝導部
４６１、４６２、４６３、４６４　装身具
４７０　情報保持部
４５７　情報を読取る手段
４８０　関係情報保持手段
２２７ａ　関節機構
４３１ａ、４５６、２３８、４４０　追従手段
２２７ａ　支持部
７０５　表示画面
３２１　第一の指
３１３　第二の指211, 213Hand 242a, 242b Cartilageconduction vibration source 206Robot 213Finger 227a, 227bJoint mechanism 227a, 227b, 240Control unit 207Eye 209Mouth mechanism 225a,225b Heater 240Limiter 223, 215, 217, 240Communication unit 240Control unit 246, 238, 227a, 227bAbnormality detection unit 321, 313, 413, 724Cartilage conduction unit 461, 462, 463, 464Accessories 470Information holding unit 457Information reading unit 480 Relationshipinformation holding unit 227aJoint mechanism 431a, 456, 238 440 followingmeans 227asupport part 705display screen 321first finger 313 second finger

Claims (20)

Translated fromJapanese

　手と、前記手に設けられ人の耳軟骨に振動を伝達するための軟骨伝導振動源とを有することを特徴とするロボット。A robot having a hand and a cartilage conduction vibration source provided on the hand for transmitting vibration to human ear cartilage.　両手を有し、前記両手のそれぞれに前記軟骨伝導振動源が設けられたことを特徴とする請求項１記載のロボット。The robot according to claim 1, wherein the robot has both hands, and the cartilage conduction vibration source is provided in each of the both hands.　前記手に指を有し、前記軟骨伝導振動源は前記指に設けられていることを特徴とする請求項１記載のロボット。The robot according to claim 1, wherein the hand has a finger, and the cartilage conduction vibration source is provided on the finger.　前記手全体を耳軟骨に接触するよう導くとともに、前記指を耳珠に導くよう調整する関節機構を有することを特徴とする請求項３記載のロボット。4. The robot according to claim 3, further comprising a joint mechanism that guides the entire hand so as to contact the ear cartilage and adjusts the finger to guide the tragus.　前記両手が軟骨伝導のためにそれぞれ両耳の軟骨に接触するとき、前記両手が両者の相対位置は維持しつつ顔の動きを拘束しないよう制御する制御部を有することを特徴とする請求項２記載のロボット。3. The control unit according to claim 2, further comprising a control unit configured to control the movement of the face so as not to restrain the movement of the both hands while maintaining the relative positions of the both hands when the both hands contact the cartilage of both ears for cartilage conduction. The robot described.　外観が可動の目を有し、前記目の視線が前記両手の間を向くよう同調して動かされることを特徴とする請求項２記載のロボット。The robot according to claim 2, wherein the robot has an eye whose appearance is movable, and is moved in synchronism so that the line of sight of the eye faces between both hands.　外観が可動の口機構を有し、前記口機構は前記軟骨伝導振動源の振動によって伝達される音声と連動して動くことを特徴とする請求項１記載のロボット。2. The robot according to claim 1, wherein the robot has a mouth mechanism whose appearance is movable, and the mouth mechanism moves in conjunction with a sound transmitted by vibration of the cartilage conduction vibration source.　前記手を人肌に加温するヒータを有することを特徴とする請求項１記載のロボット。The robot according to claim 1, further comprising a heater for heating the hand to human skin.　前記軟骨伝導振動源の振動を耳軟骨に伝達するよう前記手が耳軟骨に接触するときその接触圧を制限するリミッタを有することを特徴とする請求項１記載のロボット。The robot according to claim 1, further comprising a limiter for limiting a contact pressure when the hand contacts the ear cartilage so as to transmit the vibration of the cartilage conduction vibration source to the ear cartilage.　前記軟骨伝導振動源の振動を耳軟骨に伝達するよう前記手を耳軟骨に接触させる際、同意を求めるコミュニケーション手段を有することを特徴とする請求項１記載のロボット。The robot according to claim 1, further comprising communication means for obtaining consent when the hand is brought into contact with the ear cartilage so as to transmit the vibration of the cartilage conduction vibration source to the ear cartilage.　前記軟骨伝導振動源の振動を耳軟骨に伝達するよう前記手を耳軟骨に接触させる際、事前に安全確認を行う制御部を有することを特徴とする請求項１記載のロボット。The robot according to claim 1, further comprising a controller for confirming safety in advance when the hand is brought into contact with the ear cartilage so as to transmit the vibration of the cartilage conduction vibration source to the ear cartilage.　異常検知手段を有し、前記軟骨伝導振動源の振動を耳軟骨に伝達するよう前記手を耳軟骨に接触させる際、前記異常検知手段が異常を検知したとき、前記手の耳軟骨への接触を解除することを特徴とする請求項１記載のロボット。An anomaly detection means, and when the hand contacts the ear cartilage to transmit the vibration of the cartilage conduction vibration source to the ear cartilage, when the abnormality detection means detects an abnormality, the hand contacts the ear cartilage The robot according to claim 1, wherein: is released.　前記手を耳軟骨に導く外力に抗さないようロボットの腕を保持する関節機構を有することを特徴とする請求項１記載のロボット。The robot according to claim 1, further comprising a joint mechanism for holding an arm of the robot so as not to resist an external force that guides the hand to the ear cartilage.　前記軟骨伝導振動源が人の片側の耳に振動を伝達するとともに、前記人の頭の動きに対し前記手を追従させる追従手段を有することを特徴とする請求項１記載のロボット。The robot according to claim 1, characterized in that the cartilage conduction vibration source transmits vibration to an ear on one side of the person and has follow-up means for making the hand follow the movement of the head of the person.　前記手は、前記軟骨伝導振動源が設けられる第一の指と、人の頭部の重量を支える第二の指を有することを特徴とする請求項１記載のロボット。The robot according to claim 1, wherein the hand has a first finger provided with the cartilage conduction vibration source and a second finger supporting the weight of a human head.　手と、前記手を人肌に加温するヒータとを有することを特徴とするロボット。A robot having a hand and a heater for heating the hand to human skin.　人の耳軟骨に振動を伝達するための軟骨伝導振動源が手に設けられるとともに多数の人に共用されるロボットと、前記多数の人に個別に装着されるためのものであって少なくとも前記耳軟骨の一部を覆う装身具とを有し、前記装身具を介して間接的に前記軟骨伝導振動源の振動を前記多数の人の一人の耳軟骨に伝達することを特徴とするロボットシステム。A cartilage conduction vibration source for transmitting vibrations to human ear cartilage is provided in a hand and is shared by a large number of people, and is individually attached to the large number of people, and at least the ear A robot system comprising an accessory covering a part of the cartilage, wherein the vibration of the cartilage conduction vibration source is indirectly transmitted to one ear cartilage of the large number of persons via the accessory.　前記装身具は、イヤーウォーマ、ヘヤバンド、イヤーカフおよび耳装着用キャラクターグッズのいずれか一つとして構成されることを特徴とする請求項１７記載のロボットシステム。18. The robot system according to claim 17, wherein the accessory is configured as any one of an ear warmer, a hair band, an ear cuff, and an ear wearing character goods.　装着者を特定するための情報を保持する情報保持部を前記装身具に設けるとともに、前記ロボットに前記情報を読取る手段が設けられたことを特徴とする請求項１７記載のロボットシステム。18. The robot system according to claim 17, wherein an information holding unit for holding information for identifying a wearer is provided in the accessory, and means for reading the information is provided in the robot.　多数の装着者に個別に装着されるとともに装着者を特定するための情報を保持する情報保持部が設けられた装身具と、前記情報を読取る手段が設けられたロボットとを有することを特徴とするロボットシステム。It is characterized by having an accessory equipped with an information holding unit that is individually worn by a large number of wearers and holds information for identifying the wearers, and a robot provided with means for reading the information. Robot system.

Images