本発明は、接触体が接触することで情報を入力することが可能な情報処理装置及び情報処理方法に関する。 The present invention relates to an information processing apparatus and an information processing method capable of inputting information by contact of a contact body.
ユーザの体の一部などの接触体が接触することで簡易に情報を入力し、処理を行う装置としてタッチパネルが様々な用途で幅広く用いられている。タッチパネルは、ユーザがパネル上に表示されている表示情報に触れることで簡易に情報を入力することができる。特許文献１には、一般的なタッチパネルの製造に必要な構成が記載されている。タッチパネルは、表示面を目視することができるように透明樹脂フィルム及び透明ガラス板等から構成されている。そして、透明樹脂フィルム及び透明ガラス板が平行に重なって備えられている。透明樹脂フィルムと透明ガラス板とが対向するそれぞれの面には、透明電極が設けられている。また、透明電極間にスペーサーが設けられており、２つの電極間に隙間が設けられている。タッチパネルの表示部分に液晶表示パネルが使用される場合、入力の際にタッチパネルが弾性変形されるため液晶表示パネルも共に変形させられてしまう。そのため、液晶表示パネルの表示面が変形することにより表示が不鮮明となる。これを防止するために、上述した透明樹脂フィルムと透明ガラス板との２つの透明基材のうち、液晶表示パネル側に近い透明基材としてガラス板が一般的に用いられている。一方の透明基材は、ユーザが指で触れて情報を入力するために透明樹脂フィルムが用いられる。透明樹脂フィルムが指で触れられることで、透明樹脂フィルムと透明ガラス板との間に設けられている透明電極が弾性変形する。この変形により透明電極同士が接触することで、透明電極間に電流が流れる。透明電極間で電流が流れることで、タッチパネルから情報が入力される。
しかしながら、タッチパネルそのものを製造するために必要な部品点数が多く、タッチパネルの製造には複雑な構成が必要とされていた。また、透明電極がガラス板に蒸着されたり、透明樹脂フィルムがタッチパネルに塗布されたりと複数の工程が必要とされるため製造費コストが高くなるという問題がある。 However, the number of parts required for manufacturing the touch panel itself is large, and a complicated configuration is required for manufacturing the touch panel. Moreover, since a transparent electrode is vapor-deposited on a glass plate and a transparent resin film is apply | coated to a touch panel, a several process is required and there exists a problem that manufacturing cost cost becomes high.
本発明は、上述した問題点を解決するためになされたものである。本発明の目的は、ユーザの体の一部などの接触体が接触することで情報が入力され処理される装置において、多重構造ではなく部品点数も少ない簡易な構成により接触が精度良く検出される接触入力型の情報処理装置を提供することである。 The present invention has been made to solve the above-described problems. An object of the present invention is to detect a contact with high accuracy by a simple configuration with a small number of parts instead of a multiple structure in an apparatus in which information is input and processed by contact of a contact body such as a part of a user's body. It is to provide a contact input type information processing apparatus.
この目的を達成するために、請求項１に記載の発明は、透明部材と、前記透明部材を通してユーザが目視できる情報を表示する表示部と、接触体が接触可能な前記透明部材の表面と反対側の表面から画像を撮影する位置に配置されている撮影ユニットと、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力して、前記透明部材上での接触体との接触部分の入力位置を決定する画像処理部と、を備えたことを特徴としている。 In order to achieve this object, the invention according to claim 1 is opposite to the surface of the transparent member, the transparent member, the display unit for displaying information visible to the user through the transparent member, and the surface of the transparent member with which the contact body can contact. A photographing unit arranged at a position for photographing an image from the surface on the side, an image photographed by the photographing unit through the transparent member, and a contact portion with the contact body on the transparent member And an image processing unit for determining an input position.
請求項２に記載の発明は、透明部材と、前記透明部材を通してユーザが目視できる情報を表示する表示部と、ユーザが接触可能な前記透明部材の表面と反対側の表面から画像を撮影する位置に配置されている撮影ユニットと、前記撮影ユニットにより前記透明部材を介して撮影された画像を入力して、前記透明部材上でのユーザの体の一部との接触部分の入力位置を決定する画像処理部と、前記画像処理部により決定された前記接触部分の入力位置に基づいて、前記表示部により表示された情報に対応する処理を決定する処理制御部と、を備えたことを特徴としている。 The invention according to claim 2 is a position where an image is taken from a transparent member, a display unit that displays information visible to the user through the transparent member, and a surface opposite to the surface of the transparent member that can be contacted by the user. And an image taken by the photographing unit through the transparent member is input, and an input position of a contact portion with a part of the user's body on the transparent member is determined. An image processing unit, and a processing control unit that determines processing corresponding to information displayed by the display unit based on the input position of the contact portion determined by the image processing unit, Yes.
請求項３に記載の発明は、前記画像処理部が、前記透明部材上での前記接触部分の大きさとして接触面積を決定する面積決定部と、前記画像処理部により決定された前記接触面積が所定の大きさの場合はユーザの体の一部が前記透明部材に接触したと判別し、所定の大きさでない場合はユーザの体の一部が前記透明部材に接触していないと判別する判別部とを備え、前記判別部によりユーザの体の一部が接触したと判別されたときに前記処理制御部により処理が決定されること、を特徴としている。 According to a third aspect of the present invention, the image processing unit has an area determining unit that determines a contact area as a size of the contact part on the transparent member, and the contact area determined by the image processing unit is When the predetermined size is determined, it is determined that a part of the user's body is in contact with the transparent member. When the predetermined size is not determined, it is determined that the part of the user's body is not in contact with the transparent member. And a process is determined by the process control unit when it is determined by the determination unit that a part of the user's body is in contact.
請求項４に記載の発明は、前記表示部は画像表示情報に従って映像を表示するディスプレイであることを特徴としている。 According to a fourth aspect of the present invention, the display unit is a display that displays an image in accordance with image display information.
請求項５に記載の発明は、前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、前記画像処理部が前記複数の接触部分の暫定位置を決定し、前記決定された複数の接触部分の暫定位置に基づいて決定される重心位置を、前記接触部分の入力位置と決定することを特徴としている。 According to a fifth aspect of the present invention, when there are a plurality of contact portions having a predetermined contact area, the determination unit determines that they are in contact at a plurality of different positions, and the image processing unit A provisional position of a plurality of contact portions is determined, and a barycentric position determined based on the determined provisional positions of the plurality of contact portions is determined as an input position of the contact portions.
請求項６に記載の発明は、前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、前記画像処理部が前記接触面積が最大である接触部分の暫定位置を前記接触部分の入力位置と決定することを特徴としている。 According to a sixth aspect of the present invention, when there are a plurality of contact portions having a predetermined contact area, the determination unit determines that they are in contact at a plurality of different positions, and the image processing unit The provisional position of the contact portion having the largest contact area is determined as the input position of the contact portion.
請求項７に記載の発明は、ユーザに再度の入力を促す表示情報を発生するための表示情報発生部を備え、前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、前記判別部が複数の異なる位置で接触していると判別したときに、前記表示情報発生部がユーザに再度の入力を促す表示情報を発生し、前記表示部が前記ユーザに再度の入力を促す表示情報に従って表示することを特徴としている。 The invention according to claim 7 includes a display information generation unit for generating display information that prompts the user to input again, and the determination unit includes a plurality of contact portions having a predetermined contact area. Is determined to be in contact at a plurality of different positions, and when the determination unit determines to be in contact at a plurality of different positions, the display information generation unit displays display information prompting the user to input again. And the display unit displays the information according to display information prompting the user to input again.
請求項８に記載の発明は、前記表示部により表示される情報が選択項目であり、前記判別部が、接触面積が所定の大きさである接触部分が複数ある場合は、複数の異なる位置で接触していると判別し、前記画像処理部が前記複数の異なる接触部分の暫定位置を決定し、前記処理制御部が、前記画像処理部により決定された前記複数の異なる接触部分の暫定位置と前記選択項目が表示されている透明部材上での表示位置とを比較し、前記暫定位置と前記選択項目の表示位置とが一致した場合の前記選択項目のみを再度の入力が可能な選択項目であると決定し、前記表示部に前記再度の入力が可能な選択項目を表示させることを特徴としている。 According to an eighth aspect of the present invention, when the information displayed by the display unit is a selection item, and the determination unit includes a plurality of contact portions having a predetermined contact area, the information is displayed at a plurality of different positions. It is determined that the image processing unit is in contact, the image processing unit determines provisional positions of the plurality of different contact parts, and the processing control unit determines the provisional positions of the plurality of different contact parts determined by the image processing unit. Compared with the display position on the transparent member on which the selection item is displayed, only the selection item when the provisional position matches the display position of the selection item is a selection item that can be input again. It is determined that there is a selection item, and the display unit displays the selection item that can be input again.
請求項９に記載の発明は、前記画像処理部が前記接触部分の形状の中の１点を前記接触部分の入力位置と決定することを特徴としている。 The invention according to claim 9 is characterized in that the image processing unit determines one point in the shape of the contact portion as an input position of the contact portion.
請求項１０に記載の発明は、前記画像処理部が、前記接触部分の形状を包含し、且つ、前記接触部分と接する正方形または長方形の中心を接触部分の入力位置と決定することを特徴としている。 The invention according to claim 10 is characterized in that the image processing unit includes the shape of the contact portion and determines the square or rectangular center in contact with the contact portion as the input position of the contact portion. .
請求項１１に記載の発明は、前記画像処理部が前記接触部分の形状を決定し、前記決定された接触部分の形状に基づいて所定の形状の接触部分を、入力位置と決定する判断対象から排除する第１排除部を備えたことを特徴としている。 According to an eleventh aspect of the present invention, the image processing unit determines a shape of the contact portion, and determines a contact portion having a predetermined shape as an input position based on the determined shape of the contact portion. It is characterized by including a first exclusion unit for exclusion.
請求項１２に記載の発明は、前記撮影ユニットはカラー画像の撮影が可能な構成を有し、前記画像処理部が接触部分の色を決定し、予め記憶された所定の色と前記画像処理部により決定された接触部分の色とが一致しないとき、前記接触部分を入力位置と決定する判断対象から排除する第２排除部を備えたことを特徴としている。 According to a twelfth aspect of the present invention, the photographing unit has a configuration capable of photographing a color image, the image processing unit determines a color of a contact portion, and a predetermined color stored in advance and the image processing unit When the color of the contact portion determined by (1) does not match, a second exclusion unit is provided that excludes the contact portion from the determination target for determining the input position.
請求項１３に記載の発明は、前記接触部分を撮影するための方向とユーザの顔を撮影するための方向との間で選択的に前記撮影ユニットの撮影角度を変える角度変更部を備えることを特徴としている。 The invention according to claim 13 includes an angle changing unit that selectively changes the shooting angle of the shooting unit between a direction for shooting the contact portion and a direction for shooting the user's face. It is a feature.
請求項１４に記載の発明は、前記透明部材はプラスチックにより作られていることを特徴としている。 The invention described in claim 14 is characterized in that the transparent member is made of plastic.
請求項１５に記載の発明は、前記透明部材が曲面を有することを特徴としている。 The invention described in claim 15 is characterized in that the transparent member has a curved surface.
請求項１６に記載の情報処理方法の発明は、透明部材を通してユーザが目視できる情報を表示する表示ステップと、ユーザが接触可能な前記透明部材の表面と反対側の表面から前記透明部材を介して、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する撮影ステップと、前記撮影された画像を入力して、前記透明部材上でのユーザの体の一部との接触部分の入力位置を決定する入力位置決定ステップと、前記決定された接触部分の入力位置に基づいて、前記表示ステップにより表示された情報に対応する処理を決定する処理決定ステップと、を備えたことを特徴とする接触入力型の情報処理方法としている。 The information processing method according to claim 16 includes a display step of displaying information visible to a user through a transparent member, and a surface opposite to the surface of the transparent member that can be contacted by the user via the transparent member. A photographing step for photographing an image of a contact portion between a part of the user's body and the transparent member, and a portion of the transparent member that is in contact with the part of the user's body by inputting the photographed image. And an input position determining step for determining the input position of the touch panel, and a process determining step for determining a process corresponding to the information displayed by the display step based on the determined input position of the contact portion. The feature is a contact input type information processing method.
請求項１７に記載の情報処理プログラムの発明は、透明部材を通してユーザが目視できる情報を表示する表示ステップと、ユーザが接触可能な前記透明部材の表面と反対側の表面から前記透明部材を介して、ユーザの体の一部と前記透明部材との接触部分の画像を撮影する撮影ステップと、前記撮影された画像を入力して、前記透明部材上でのユーザの体の一部との接触部分の入力位置を決定する入力位置決定ステップと、前記決定された接触部分の入力位置に基づいて、前記表示ステップにより表示された情報に対応する処理を決定する処理決定ステップと、をコンピュータに実行させることを特徴としている。 The invention of the information processing program according to claim 17 includes a display step of displaying information visible to a user through the transparent member, and a surface opposite to the surface of the transparent member that can be contacted by the user via the transparent member. A photographing step for photographing an image of a contact portion between a part of the user's body and the transparent member, and a portion of the transparent member that is in contact with the part of the user's body by inputting the photographed image. An input position determining step for determining the input position of the computer and a process determining step for determining a process corresponding to the information displayed by the display step based on the determined input position of the contact portion. It is characterized by that.
請求項１記載の発明によれば、透明部材上の接触位置が撮影ユニットにより撮影された画像から決定される構成であるため、タッチパネルでは必要だった透明電極や透明樹脂フィルムが不要になる。そのため、タッチパネルの製造に必要だった透明電極の蒸着や透明樹脂フィルムの塗布といった作業工程が不要となり、接触位置を検出するための構成が多重構造でなく簡易になる。また、接触体が接触可能な透明部材の表面と反対側の表面から画像を撮影する位置に撮影ユニットが配置されている構成である。つまり、透明部材と接触体との接触部分が、接触体の接触端部分以外の本体部分により妨げられることなく、正確に撮影されることが可能となる。そのため、接触体と透明部材との接触が精度よく決定される。 According to the first aspect of the present invention, since the contact position on the transparent member is determined from the image photographed by the photographing unit, the transparent electrode and the transparent resin film that are necessary for the touch panel are not required. Therefore, work steps such as vapor deposition of transparent electrodes and application of a transparent resin film, which are necessary for manufacturing the touch panel, are not required, and the configuration for detecting the contact position is simplified instead of the multiple structure. In addition, the photographing unit is arranged at a position where an image is photographed from the surface opposite to the surface of the transparent member that can be contacted by the contact body. That is, the contact portion between the transparent member and the contact body can be accurately photographed without being obstructed by the main body portion other than the contact end portion of the contact body. Therefore, the contact between the contact body and the transparent member is determined with high accuracy.
請求項２記載の発明によれば、透明部材上の接触位置が撮影ユニットにより撮影された画像から決定される構成であるため、タッチパネルでは必要だった透明電極や透明樹脂フィルムが不要になる。そのため、タッチパネルの製造に必要だった透明電極の蒸着や透明樹脂フィルムの塗布といった作業工程が不要となり、接触位置を検出するための構成が多重構造でなく簡易になる。また、ユーザが接触可能な透明部材の表面と反対側の表面から画像を撮影する位置に撮影ユニットが配置されている構成である。つまり、透明部材とユーザの体の一部との接触部分が、ユーザの体により妨げられることなく、正確に撮影されることが可能となる。そのため、ユーザの体の一部と透明部材との接触が精度よく決定される。 According to the second aspect of the present invention, since the contact position on the transparent member is determined from the image photographed by the photographing unit, the transparent electrode and the transparent resin film that are necessary for the touch panel become unnecessary. Therefore, work steps such as vapor deposition of transparent electrodes and application of a transparent resin film, which are necessary for manufacturing the touch panel, are not required, and the configuration for detecting the contact position is simplified instead of the multiple structure. In addition, the photographing unit is arranged at a position for photographing an image from the surface opposite to the surface of the transparent member that can be contacted by the user. That is, the contact portion between the transparent member and a part of the user's body can be accurately photographed without being disturbed by the user's body. Therefore, the contact between a part of the user's body and the transparent member is determined with high accuracy.
請求項３記載の発明では、接触の決定が前記画像処理部により決定された接触部分の接触面積の大きさに基づいて決定されることで、確実に精度良くユーザの体の一部と透明部材との接触を判別することができる。 According to a third aspect of the present invention, the determination of contact is determined based on the size of the contact area of the contact portion determined by the image processing unit, so that a part of the user's body and the transparent member can be reliably and accurately Can be discriminated.
請求項４記載の発明では、表示部に画像信号に従って映像を表示するディスプレイを用いるため、表示部の表示内容を適宜、容易に変更することが可能となる。 In the invention according to the fourth aspect, since the display that displays the video according to the image signal is used on the display unit, the display content of the display unit can be easily and appropriately changed.
請求項５記載の発明では、接触部分が複数あると判別された場合、複数の接触部分の暫定位置により決定される重心位置を、接触部分の最終的な入力位置と決定することで、接触部分の入力位置の決定を自動的に正確に行うことができる。また、処理制御部が複数の接触部分の暫定位置に対応する処理を無駄に決定しなくて良いため、位置決定の処理負担を減らすことができる。 In the invention according to claim 5, when it is determined that there are a plurality of contact portions, the center of gravity determined by the provisional positions of the plurality of contact portions is determined as the final input position of the contact portions, thereby The input position can be automatically and accurately determined. In addition, the processing control unit does not need to determine a process corresponding to the provisional positions of the plurality of contact portions, so that the position determination processing load can be reduced.
請求項６記載の発明では、接触面積が最大の暫定位置を最終的な入力位置と決定するため、接触部分の入力位置の決定を自動的に行うことが可能となる。 According to the sixth aspect of the present invention, the provisional position with the largest contact area is determined as the final input position, so that the input position of the contact portion can be automatically determined.
請求項７記載の発明では、接触部分が複数あると判別された場合、表示情報発生部がユーザに再度の入力を促す表示情報を発生し、表示部がその表示情報に従って表示することが可能である。そのため、判定部によって接触部分が１つに決定されるまで、ユーザに繰り返し入力を行わせるため誤認識または誤作動を減らすことができる。 According to the seventh aspect of the present invention, when it is determined that there are a plurality of contact portions, the display information generation unit generates display information that prompts the user to input again, and the display unit can display the display information according to the display information. is there. Therefore, since the user repeatedly performs input until the determination unit determines one contact portion, erroneous recognition or malfunction can be reduced.
請求項８記載の発明では、接触部分が複数あると判別された場合、画像処理部により決定された暫定位置と一致する選択項目のみが、再度の入力が可能な選択項目であると決定される。ユーザは全ての選択項目から再度の選択を行う必要がなく、ユーザは限られた選択項目のみを見れば良いため、選択操作の負担の軽減が可能となる。 In the invention according to claim 8, when it is determined that there are a plurality of contact portions, only the selection item that matches the provisional position determined by the image processing unit is determined to be a selection item that can be input again. . Since the user does not need to make a selection again from all the selection items, and the user only needs to see a limited selection item, the burden of the selection operation can be reduced.
請求項９記載の発明では、接触部分の形状の中の１点を入力位置と決定することで、１つの接触部分に対して複数の入力位置が存在することがないため、接触部分の位置に対応した処理を容易に決定することができる。 In the invention according to claim 9, since one point in the shape of the contact portion is determined as the input position, there is no plurality of input positions for one contact portion. Corresponding processing can be easily determined.
請求項１０記載の発明では、接触部分の形状を包含し、且つ、接触部分と接する正方形または長方形の中心を接触部分の位置とすることで、位置決定処理の負担が少なく容易に接触部分の入力位置を決定することが可能となる。 In the invention according to claim 10, the shape of the contact portion is included and the center of the square or rectangle in contact with the contact portion is set as the position of the contact portion. The position can be determined.
請求項１１記載の発明では、接触部分の形状に基づいて所定の形状の接触部分を、入力位置と決定する判断対象から排除することが可能になる。そのため、接触部分の面積や入力位置を求めるための無駄な画像処理を行う必要がない。 In the invention according to claim 11, it becomes possible to exclude the contact portion having a predetermined shape from the determination target to be determined as the input position based on the shape of the contact portion. Therefore, it is not necessary to perform useless image processing for obtaining the area of the contact portion and the input position.
請求項１２記載の発明では、撮影ユニットがカラー画像の色情報に基づいて所定の色の接触部分を、入力位置と決定する判断対象から排除することが可能になる。そのため、接触部分の面積や位置を求めるための無駄な画像処理を行う必要がない。 In the invention described in claim 12, it is possible for the photographing unit to exclude the contact portion of the predetermined color from the determination target determined as the input position based on the color information of the color image. Therefore, it is not necessary to perform useless image processing for obtaining the area and position of the contact portion.
請求項１３記載の発明では、角度変更部が備えられたことで、１つの撮影ユニットによりユーザの顔画像と透明部材上の画像とを選択的に撮影することが可能になるため、１つの撮影ユニットで複数の処理を実行することができる。 According to the thirteenth aspect of the present invention, since the angle changing unit is provided, it is possible to selectively shoot the face image of the user and the image on the transparent member by one shooting unit. A unit can execute a plurality of processes.
請求項１４記載の発明では、本発明の構成では透明電極が不要なため、これまでタッチパネルの製造で使用することが困難だったプラスチックにより製造が可能となる。この結果、安価な素材で容易に様々な形状のパネルの製造が可能となる。 In the invention according to the fourteenth aspect, since the transparent electrode is unnecessary in the configuration of the present invention, it is possible to manufacture with a plastic that has been difficult to use in the manufacture of touch panels. As a result, it is possible to easily manufacture panels having various shapes with inexpensive materials.
請求項１５に記載の発明では、一般的なタッチパネルで幅広く用いられている平面に限定されることなく曲面の形状も可能となるため、接触入力型の情報処理装置の用途やデザインに適した形状に容易に変更することが可能である。 In the invention described in claim 15, since it is possible to form a curved surface without being limited to a plane widely used in a general touch panel, a shape suitable for use and design of a contact input type information processing apparatus It can be easily changed.
請求項１６及び請求項１７に記載の発明では、撮影ステップにおいて透明部材上の接触位置が撮影ステップにより撮影された画像から決定されるため、タッチパネルでは必要だった透明電極や透明樹脂フィルムが不要になる。そのため、タッチパネルの製造に必要だった透明電極の蒸着や透明樹脂フィルムの塗布といった作業工程が不要となり、接触位置を検出するための構成が多重構造でなく簡易になる。また、ユーザが接触可能な透明部材の表面と反対側の表面から画像が撮影される。つまり、透明部材とユーザの体の一部との接触部分をユーザの体により妨げられることなく、正確に接触部分を撮影することが可能となる。そのため、ユーザの体の一部と透明部材との接触が精度よく決定される。 In the invention according to claim 16 and claim 17, since the contact position on the transparent member is determined from the image photographed in the photographing step in the photographing step, the transparent electrode and the transparent resin film which are necessary in the touch panel are unnecessary. Become. Therefore, work steps such as vapor deposition of transparent electrodes and application of a transparent resin film, which are necessary for manufacturing the touch panel, are not required, and the configuration for detecting the contact position is simplified instead of the multiple structure. Further, an image is taken from the surface opposite to the surface of the transparent member that can be contacted by the user. That is, the contact portion between the transparent member and a part of the user's body can be accurately photographed without being obstructed by the user's body. Therefore, the contact between a part of the user's body and the transparent member is determined with high accuracy.
＜第１の実施形態＞
以下、自己学習機能を有する情報処理装置に本発明を適用した第１の実施形態について図面を参照して説明する。第１の実施形態では、表示部に問題が表示される。表示された問題の解答候補が、表示部に選択項目として表示される。表示された選択項目がユーザの体の一部により接触される。ユーザにより接触された選択項目が正解か、または不正解かが判断される。<First Embodiment>
Hereinafter, a first embodiment in which the present invention is applied to an information processing apparatus having a self-learning function will be described with reference to the drawings. In the first embodiment, a problem is displayed on the display unit. Answer candidates for the displayed question are displayed as selection items on the display unit. The displayed selection item is touched by a part of the user's body. It is determined whether the selection item touched by the user is correct or incorrect.
図１及び図２は本発明を適用した第１の実施形態の情報処理装置の概念的構成を示す。図１は第１の実施形態の側面図、図２は正面図である。第１の実施形態の接触入力型の情報処理装置１では、図１に示す矢印の方向をそれぞれ上方向、下方向、前方向、後方向とする。また、図２に示す矢印の方向をそれぞれ右方向、逆を左方向と定義する。 1 and 2 show a conceptual configuration of an information processing apparatus according to a first embodiment to which the present invention is applied. FIG. 1 is a side view of the first embodiment, and FIG. 2 is a front view. In the contact input type information processing apparatus 1 according to the first embodiment, the directions of arrows shown in FIG. 1 are respectively an upward direction, a downward direction, a forward direction, and a backward direction. Also, the directions of the arrows shown in FIG. 2 are defined as the right direction, and the opposite is defined as the left direction.
＜第１の実施形態の外観的構成＞
図１に示されるように第１の実施形態の接触入力型の情報処理装置１は、透明フレーム３を有する全体フレーム２により覆われている。全体フレーム２の内部には２つの空間が形成されている。図１における前方の空間を覆っている透明フレーム３が前方向からユーザの体の一部により接触可能に構成される。後方の空間には、液晶ディスプレイ４、ＣＰＵ５、メモリ６、カラー画像の撮影が可能なＣＣＤカメラ７、ＨＤＤ８、サーボモータ９が備えられている。全体フレーム２の下方には、全体フレーム２を支持するための支持スタンド１０が備えられている。<External configuration of the first embodiment>
As shown in FIG. 1, the contact input type information processing apparatus 1 of the first embodiment is covered with an entire frame 2 having a transparent frame 3. Two spaces are formed inside the entire frame 2. The transparent frame 3 covering the space in front of FIG. 1 is configured to be able to contact with a part of the user's body from the front. In the rear space, a liquid crystal display 4, a CPU 5, a memory 6, a CCD camera 7 that can take a color image, an HDD 8, and a servo motor 9 are provided. Below the entire frame 2, a support stand 10 for supporting the entire frame 2 is provided.
（透明部材の構成）
透明フレーム３は透明なプラスチックを材料にして作られている。ユーザに対して凸の曲面の形状をしている。一方、後方の空間を覆っている全体フレーム２の材料はプラスチックを材料にして作られているが、特に限定されない。透明フレーム３は本発明の透明部材の一例である。(Configuration of transparent member)
The transparent frame 3 is made of a transparent plastic material. It has a convex curved shape for the user. On the other hand, the material of the entire frame 2 covering the rear space is made of plastic, but is not particularly limited. The transparent frame 3 is an example of the transparent member of the present invention.
（表示部の構成）
液晶ディスプレイ４は、透明フレーム３を通してユーザが目視できる位置に配置されている。液晶ディスプレイ４は、表示情報に従ってユーザに情報を表示する。液晶ディスプレイ４は本発明の表示部の一例である。(Configuration of display unit)
The liquid crystal display 4 is disposed at a position where the user can see through the transparent frame 3. The liquid crystal display 4 displays information to the user according to the display information. The liquid crystal display 4 is an example of the display unit of the present invention.
（撮影ユニットの構成）
ＣＣＤカメラ７により、ユーザが接触可能な透明フレーム３の領域全てが撮影可能な位置に配置される。また、ＣＣＤカメラ７は、ユーザが接触可能な透明フレーム３の表面と反対側の表面の方向から撮影を行える特定位置に配置されている。そのため、透明フレーム３とユーザの体の一部との接触部分がユーザの体により妨げられることなく、正確に接触部分の接触面積が撮影される。ＣＣＤカメラ７が上記特定位置に配置されることで、１台のＣＣＤカメラ７により透明フレーム３とユーザの体の一部とが接触しているか否かの決定が可能となる。そのため、複数のカメラを用意する必要がない。ＣＣＤカメラ７は本発明の撮影ユニットの一例である。(Configuration of the shooting unit)
The entire area of the transparent frame 3 that can be touched by the user is placed at a position where the CCD camera 7 can take a picture. The CCD camera 7 is arranged at a specific position where photographing can be performed from the direction of the surface opposite to the surface of the transparent frame 3 that can be contacted by the user. For this reason, the contact area between the transparent frame 3 and a part of the user's body is captured by the user's body without being obstructed by the user's body. By disposing the CCD camera 7 at the specific position, it is possible to determine whether or not the transparent frame 3 and a part of the user's body are in contact with one CCD camera 7. Therefore, it is not necessary to prepare a plurality of cameras. The CCD camera 7 is an example of a photographing unit of the present invention.
（角度変更部の構成）
図３は、サーボモータ９を用いてＣＣＤカメラ７の角度を変更する角度変更部の一例を示す。図３（ａ）に示すように、サーボモータ９によりカム１１が回転され、ＣＣＤカメラ７を支持する支持部材７ａがカム１１の短径部分と係合したときに、ＣＣＤカメラ７の撮影角度は、透明フレーム３とユーザの体の一部との接触部分を撮影できる撮影角度に設定される。また、図３（ｂ）に示すように、ＣＣＤカメラ７を支持する支持部材７ａがカム１１の長径部分と係合したときに、ＣＣＤカメラ７の撮影角度は、透明フレーム３を通してユーザの顔を撮影できる撮影角度に設定される。そのため、ＣＣＤカメラ７により、透明フレーム３とユーザの体の一部との接触部分と、ユーザの顔などのユーザそのものとが選択的に撮影される。サーボモータ９及びカム１１は本発明の角度変更部の一例である。(Configuration of angle changing unit)
FIG. 3 shows an example of an angle changing unit that changes the angle of the CCD camera 7 using the servo motor 9. As shown in FIG. 3A, when the cam 11 is rotated by the servo motor 9 and the support member 7 a that supports the CCD camera 7 is engaged with the short diameter portion of the cam 11, the photographing angle of the CCD camera 7 is The photographing angle is set so that the contact portion between the transparent frame 3 and a part of the user's body can be photographed. Further, as shown in FIG. 3B, when the support member 7 a that supports the CCD camera 7 is engaged with the long diameter portion of the cam 11, the photographing angle of the CCD camera 7 is such that the user's face is viewed through the transparent frame 3. The shooting angle is set so that shooting is possible. Therefore, the CCD camera 7 selectively captures the contact portion between the transparent frame 3 and a part of the user's body and the user itself such as the user's face. The servo motor 9 and the cam 11 are examples of the angle changing unit of the present invention.
＜第１の実施形態の電気的構成＞
図４は、第１の実施形態の接触入力型の情報処理装置１の電気的構成を示すブロック図である。図４に示すように、第１の実施形態の接触入力型の情報処理装置１には、接触入力型情報処理装置１を制御するＣＰＵ５が設けられている。ＣＰＵ５には、液晶ディスプレイ４と、メモリ６と、ＣＣＤカメラ７と、ＨＤＤ８と、サーボモータ９とがそれぞれ電気的に接続されている。ＣＰＵ５は、メモリ６及びＨＤＤ８と共に、第１の実施形態の情報処理装置１の動作を制御処理するコンピュータを構成している。ＣＰＵ５とメモリ６とＨＤＤ８とからなるコンピュータは、本発明の処理制御部と、判定部との一例である。<Electric Configuration of First Embodiment>
FIG. 4 is a block diagram illustrating an electrical configuration of the contact input type information processing apparatus 1 according to the first embodiment. As shown in FIG. 4, the contact input type information processing apparatus 1 of the first embodiment is provided with a CPU 5 that controls the contact input type information processing apparatus 1. A liquid crystal display 4, a memory 6, a CCD camera 7, an HDD 8, and a servo motor 9 are electrically connected to the CPU 5. The CPU 5, together with the memory 6 and the HDD 8, constitutes a computer that controls the operation of the information processing apparatus 1 of the first embodiment. A computer including the CPU 5, the memory 6, and the HDD 8 is an example of the processing control unit and the determination unit of the present invention.
（メモリの構成）
メモリ６は、公知のＲＡＭから構成され、図１に示すようにＣＣＤカメラ７により撮影された撮影画像データ１２を記憶する領域を備える。また、メモリ６は、決定された接触部分の接触面積１５と、接触位置の候補の暫定位置１３と、接触位置の最終的な入力位置１４とを記憶する領域を備える。(Memory configuration)
The memory 6 is composed of a known RAM, and has an area for storing captured image data 12 captured by the CCD camera 7 as shown in FIG. Further, the memory 6 includes an area for storing the contact area 15 of the determined contact portion, the temporary position 13 of the contact position candidate, and the final input position 14 of the contact position.
（ＨＤＤの構成）
図５は、ＨＤＤ８の記憶内容の詳細を示す。ＨＤＤ８は、プログラム４１と、色情報４２と、表示情報４３と、接触部分の大きさ情報４４とを記憶している。プログラム４１は、接触入力型の情報処理装置１を制御するためのプログラムである。色情報４２は、接触部分の候補であるかどうかを判定するための情報である。表示情報４３は、液晶ディスプレイ４に映像などの情報を表示させることを指令する情報である。接触部分の大きさ情報４４は、接触部分の面積が所定の大きさであるかを判断するための情報である。(HDD configuration)
FIG. 5 shows details of the contents stored in the HDD 8. The HDD 8 stores a program 41, color information 42, display information 43, and contact portion size information 44. The program 41 is a program for controlling the contact input type information processing apparatus 1. The color information 42 is information for determining whether or not the contact portion is a candidate. The display information 43 is information for instructing the liquid crystal display 4 to display information such as video. The contact portion size information 44 is information for determining whether the contact portion area has a predetermined size.
ＨＤＤ８は、プログラム４１として、図６に示すメインプログラム４５と、図９に示す接触検出プログラム４６と、図１０に示す処理決定プログラム４７とを記憶している。メインプログラム４５は、第１の実施形態の接触入力型の情報処理装置を制御するためのプログラムである。接触検出プログラム４６は、ＣＣＤカメラ７により撮影された撮影画像データに対して画像処理を行い、接触部分の検出を行うためのプログラムである。処理決定プログラム４７は、接触検出プログラム４６により検出された接触位置に基づいて処理を決定するためのプログラムである。ＨＤＤ８に記憶されている接触検出プログラム４６は、本発明の画像処理部の一例である。 The HDD 8 stores, as programs 41, a main program 45 shown in FIG. 6, a contact detection program 46 shown in FIG. 9, and a process determination program 47 shown in FIG. The main program 45 is a program for controlling the contact input type information processing apparatus of the first embodiment. The contact detection program 46 is a program for performing image processing on captured image data captured by the CCD camera 7 and detecting a contact portion. The processing determination program 47 is a program for determining processing based on the contact position detected by the contact detection program 46. The contact detection program 46 stored in the HDD 8 is an example of the image processing unit of the present invention.
ＨＤＤ８は、色情報４２として、接触部分色情報４８を記憶している。接触部分色情報４８は、接触部分の候補であるかを判定するための判定基準となる色情報である。 The HDD 8 stores contact part color information 48 as the color information 42. The contact part color information 48 is color information that serves as a determination criterion for determining whether or not the contact part candidate is a contact part candidate.
ＨＤＤ８は、液晶ディスプレイ４に情報を表示させるための表示情報４３として、初期表示情報４９を記憶している。初期表示情報４９は、情報処理装置１の起動時に液晶ディスプレイ４に情報を表示させるための表示情報である。 The HDD 8 stores initial display information 49 as display information 43 for displaying information on the liquid crystal display 4. The initial display information 49 is display information for displaying information on the liquid crystal display 4 when the information processing apparatus 1 is activated.
＜第１の実施形態のメイン動作の説明＞
以上説明した構成からなる第１の実施形態の情報処理装置１の動作及び作用について、添付図面を参照して説明する。図６は、情報処理装置１におけるメイン動作の処理手順を示すフローチャートである。メイン動作は、接触入力型の情報処理装置に電源が供給され、ＣＰＵ５がメインプログラム４５を実行することにより、遂行される。以下に示す処理は全てＣＰＵ５により処理される。<Description of Main Operation of First Embodiment>
The operation and action of the information processing apparatus 1 according to the first embodiment having the above-described configuration will be described with reference to the accompanying drawings. FIG. 6 is a flowchart illustrating a processing procedure of the main operation in the information processing apparatus 1. The main operation is performed when power is supplied to the contact input type information processing apparatus and the CPU 5 executes the main program 45. All processes shown below are processed by the CPU 5.
第１の実施形態の接触入力型の情報処理装置１では、最初に、ステップＳ１０１で本装置の電源スイッチがユーザによりＯＮにされたかが判定される。電源スイッチがＯＮにされたと判定されるまで、ステップＳ１０１が繰り返される。電源スイッチがＯＮにされたと判定されると、ステップＳ１０２が実行される。電源スイッチはハードウェアを用いたスイッチであっても、ソフトウェアにより動作されるソフト電源スイッチであっても良い。 In the contact input type information processing apparatus 1 according to the first embodiment, first, in step S101, it is determined whether the power switch of the apparatus is turned on by the user. Step S101 is repeated until it is determined that the power switch is turned on. If it is determined that the power switch is turned on, step S102 is executed. The power switch may be a switch using hardware or a soft power switch operated by software.
ステップＳ１０２では、初期表示情報４９がＨＤＤ８から読み出される。液晶ディスプレイ４はＨＤＤ８から読み出された初期表示情報４９に従って情報を表示する。たとえば、第１の実施形態の接触入力位置検出装置が地理の問題を出題する学習装置の場合、ユーザが地理について自己学習を開始すると、図７に示すように、液晶ディスプレイ４は、初期表示情報４９に従って「スタート」という文字を表示する。「スタート」という文字は、所定の時間が経過するまで表示される。例えば、「スタート」という文字が１秒間表示される。そして、図８に示す地図を表示するための表示情報が初期表示情報として決定される。図８は液晶ディスプレイ４の表示画面の拡大図を示す。図８に示された値はＸ軸及びＹ軸における座標値を示す。液晶ディスプレイ４の画面上の点線より左側に表示されている岐阜県の地図の形状の表示情報と青森県の地図の形状の表示情報とが決定される。ＨＤＤ８から読み出された表示情報に従って、液晶ディスプレイ４は岐阜県と青森県との地図の形状を表示する。液晶ディスプレイ４の画面に上記地図の形状の情報を表示するステップは、本発明の表示ステップの一例である。 In step S102, the initial display information 49 is read from the HDD 8. The liquid crystal display 4 displays information according to the initial display information 49 read from the HDD 8. For example, when the contact input position detection device according to the first embodiment is a learning device that questions a geography problem, when the user starts self-learning about geography, the liquid crystal display 4 displays initial display information as shown in FIG. According to 49, the word “start” is displayed. The letters “start” are displayed until a predetermined time has elapsed. For example, the word “start” is displayed for 1 second. Then, display information for displaying the map shown in FIG. 8 is determined as initial display information. FIG. 8 shows an enlarged view of the display screen of the liquid crystal display 4. The values shown in FIG. 8 indicate coordinate values on the X axis and the Y axis. The display information of the map shape of Gifu Prefecture and the display information of the map shape of Aomori Prefecture displayed on the left side of the dotted line on the screen of the liquid crystal display 4 are determined. According to the display information read from the HDD 8, the liquid crystal display 4 displays the map shapes of Gifu Prefecture and Aomori Prefecture. The step of displaying the map shape information on the screen of the liquid crystal display 4 is an example of the display step of the present invention.
ステップＳ１０３では、図９に示す接触検出プログラム４６が、ＨＤＤ８から読み出され、実行される。接触検出プログラム４６の詳細な説明は図９を用いて後述する。接触検出プログラム４６により、接触部分の面積の大きさと接触位置とが決定される。決定された接触部分の面積の大きさと接触位置とは、メモリ６に一時記憶される。 In step S103, the contact detection program 46 shown in FIG. 9 is read from the HDD 8 and executed. A detailed description of the contact detection program 46 will be described later with reference to FIG. The contact detection program 46 determines the size of the contact area and the contact position. The determined size of the area of the contact portion and the contact position are temporarily stored in the memory 6.
ステップＳ１０４では、タイムフラグがＯＮされているかが判定される。タイムフラグがＯＮの場合はステップＳ１０７へ進み、タイムフラグがＯＦＦの場合はステップＳ１０５へ進む。 In step S104, it is determined whether the time flag is ON. If the time flag is ON, the process proceeds to step S107, and if the time flag is OFF, the process proceeds to step S105.
ステップＳ１０５では、図１０に示す処理決定プログラム４７が、ＨＤＤ８から読み出され、実行される。処理決定プログラム４７の詳細な説明は図１０を用いて後述する。処理決定プログラム４７が実行されることで、ステップＳ１０３で決定された接触部分の面積の大きさと接触位置とに基づいて処理内容が決定される。 In step S105, the process determination program 47 shown in FIG. 10 is read from the HDD 8 and executed. A detailed description of the processing determination program 47 will be described later with reference to FIG. By executing the processing determination program 47, the processing content is determined based on the size of the area of the contact portion and the contact position determined in step S103.
ステップＳ１０６では、ステップＳ１０５で決定された処理が実行された後、ユーザにより電源スイッチがＯＦＦされたかが判定される。電源スイッチがＯＦＦにされなかった場合はステップＳ１０１へ戻り、再びステップＳ１０１が実行される。電源スイッチがＯＦＦにされた場合は、メイン動作の処理は終了となる。 In step S106, after the process determined in step S105 is executed, it is determined whether the user has turned off the power switch. If the power switch is not turned off, the process returns to step S101, and step S101 is executed again. When the power switch is turned off, the main operation process ends.
ステップＳ１０７では、タイムフラグがＯＮにされているため、図１１に示すように、規定時間以内に接触部分が検出されなかったことに基づく表示情報が決定される。接触入力型情報処理装置１では、「残念時間切れです」という情報を表示させるための表示情報がＨＤＤ８から読み出される。液晶ディスプレイ４はＨＤＤ８から読み出された表示情報に従って「残念時間切れです」といった情報を表示する。その後、図８に示す表示情報が液晶ディスプレイ４により表示される。再びステップＳ１０３へ戻り、接触検出プログラム４６が実行される。 In step S107, since the time flag is set to ON, as shown in FIG. 11, display information based on the fact that the contact portion has not been detected within the specified time is determined. In the contact input type information processing apparatus 1, display information for displaying the information “Unfortunate time out” is read from the HDD 8. The liquid crystal display 4 displays information such as “Unfortunate time-out” according to the display information read from the HDD 8. Thereafter, display information shown in FIG. 8 is displayed on the liquid crystal display 4. Returning to step S103 again, the contact detection program 46 is executed.
（接触検出動作の説明）
図９は、接触検出プログラム４６に従う接触検出動作の詳細を示すフローチャートである。まず、ステップＳ２０１でタイムフラグがＯＦＦにされる。タイムフラグは、規定の時間以内に透明フレーム３が接触されたかを判別するためのフラグである。規定の時間以内に接触が検出されなかった場合、タイムフラグがＯＮにされる。(Explanation of contact detection operation)
FIG. 9 is a flowchart showing details of the contact detection operation according to the contact detection program 46. First, in step S201, the time flag is turned off. The time flag is a flag for determining whether the transparent frame 3 is touched within a specified time. If no contact is detected within a specified time, the time flag is turned ON.
ステップＳ２０２では、規定時間以内に接触が検出されたかが判定されるために、時間のカウントがスタートされる。 In step S202, in order to determine whether contact has been detected within a specified time, time counting is started.
ステップＳ２０３では、ＣＣＤカメラ７により透明フレーム３とユーザの体の一部との接触部分の撮影が開始される。撮影を行うタイミングは、第１の実施形態の接触入力型の情報処理装置１では一定周期ごとに撮影が行われる。ＣＣＤカメラ７により撮影されるごとに、撮影画像データがメモリ６に一時記憶される。第１の実施形態の接触入力型情報処理装置１では、１秒ごとの周期で撮影が行われている。すなわち、ステップＳ２０３では、１秒ごとの周期で透明フレーム３を撮影するようＣＰＵ５がＣＣＤカメラ７に命令している。ステップＳ２０３は、本発明の撮影ステップの一例である。撮影を行うタイミングは、一定周期ごとに撮影が行われなくても良い。 In step S203, the CCD camera 7 starts photographing the contact portion between the transparent frame 3 and a part of the user's body. Shooting is performed at regular intervals in the contact input type information processing apparatus 1 according to the first embodiment. Every time the image is taken by the CCD camera 7, the taken image data is temporarily stored in the memory 6. In the contact input type information processing apparatus 1 of the first embodiment, photographing is performed at a cycle of one second. That is, in step S203, the CPU 5 instructs the CCD camera 7 to shoot the transparent frame 3 at a cycle of 1 second. Step S203 is an example of a photographing step of the present invention. The timing of shooting may not be taken at regular intervals.
ステップＳ２０４では、透明フレーム３とユーザの体の一部との接触部分の検出を行うために、メモリ６に記憶されている撮影画像データに対して画像処理が実行される。具体的には、メモリ６に記憶されている撮影画像データが時系列で比較され、比較された撮影画像データの差分が取られる。この差分以外の部分を除去することで背景の除去が可能となる。図１２は、接触部分を決定する画像処理の一例の概念図を示す。ある時刻Ｔに撮影された撮影画像データ３１と、ある時刻Ｔ＋１秒に撮影された撮影画像データ３２との画像の差分が求められる。図１２に示される差分画像データ３３が求められる。ある時刻Ｔと時刻Ｔ＋１秒との間で変化があった画素が決定される。そのため、現在動いていない物体（背景）の除去が可能となる。第１の実施形態の接触入力型情報処理装置１では１秒間隔に撮影が行われ、撮影された画像の差分が取られている。 In step S <b> 204, image processing is performed on the captured image data stored in the memory 6 in order to detect a contact portion between the transparent frame 3 and a part of the user's body. Specifically, the captured image data stored in the memory 6 is compared in time series, and a difference between the compared captured image data is taken. The background can be removed by removing portions other than the difference. FIG. 12 is a conceptual diagram illustrating an example of image processing for determining a contact portion. The difference between the captured image data 31 captured at a certain time T and the captured image data 32 captured at a certain time T + 1 seconds is obtained. Difference image data 33 shown in FIG. 12 is obtained. A pixel that has changed between a certain time T and time T + 1 seconds is determined. Therefore, it is possible to remove an object (background) that is not currently moving. In the contact input type information processing apparatus 1 of the first embodiment, photographing is performed at intervals of one second, and a difference between the photographed images is taken.
ステップＳ２０５では、ステップＳ２０４の画像処理結果により接触部分がないと決定された場合、ステップＳ２１１へ進む。接触部分がありと決定された場合、ステップＳ２０６が実行される。 If it is determined in step S205 that there is no contact portion based on the image processing result in step S204, the process proceeds to step S211. If it is determined that there is a contact portion, step S206 is executed.
ステップＳ２０６では、ステップＳ２０５で接触部分がありと決定された場合、所定の色の接触部分が接触部分の入力位置を決定する判断対象から排除される。第１の実施形態の接触入力型情報処理装置１では人間の指の色の一つである薄橙以外の接触部分が、接触部分の入力位置を決定する判断対象から排除される。薄橙色を検出するために、ＣＣＤカメラ７が撮影した撮影画像データの全ての画素におけるＲＧＢの値と、ＨＤＤ８に記憶された接触部分色情報４８とが比較される。比較結果に基づき、画素の色が薄橙色であるかが決定される。薄橙色と識別されるＲＧＢの値の上限値及び下限値といった閾値が、あらかじめ接触部分色情報４８としてＨＤＤ８に記憶されている。画素のＲＧＢの値が、上限値と下限値とにより定まる範囲に該当するなら、薄橙色であると決定される。ステップＳ２０６及びＣＰＵ５は、本発明の第２排除部の一例である。 In step S206, when it is determined in step S205 that there is a contact portion, the contact portion of a predetermined color is excluded from the determination target for determining the input position of the contact portion. In the contact input type information processing apparatus 1 according to the first embodiment, contact portions other than light orange, which is one of the colors of human fingers, are excluded from the determination targets for determining the input position of the contact portion. In order to detect the light orange color, the RGB values in all the pixels of the captured image data captured by the CCD camera 7 are compared with the contact partial color information 48 stored in the HDD 8. Based on the comparison result, it is determined whether the color of the pixel is light orange. Threshold values such as an upper limit value and a lower limit value of RGB values identified as light orange are stored in the HDD 8 in advance as contact partial color information 48. If the RGB value of the pixel falls within the range determined by the upper limit value and the lower limit value, the pixel is determined to be light orange. Step S206 and CPU 5 are an example of a second exclusion unit of the present invention.
ステップＳ２０７では、ステップＳ２０６が実行された結果、接触部分がないと決定された場合、ステップＳ２１１へ進む。接触部分がありと決定された場合、ステップＳ２０８が実行される。 In step S207, when it is determined that there is no contact portion as a result of executing step S206, the process proceeds to step S211. If it is determined that there is a contact portion, step S208 is executed.
ステップＳ２０８では、接触部分の形状に基づいて所定の形状の接触部分が接触部分の入力位置を決定する判断対象から排除される。第１の実施形態の接触入力型情報処理装置１では、ユーザの体の一部として指が想定される。そのため、指の接触部分の形状として考えられる円、楕円に類似した形状である接触部分以外が排除される。ＣＣＤカメラ７が撮影した画像に対して、ハフ変換が用いられる。ハフ変換により、第１の実施形態の接触入力型情報処理装置１では図形の特徴が決定される。円及び楕円に類似した形状の接触部分が決定され、それ以外の形状の接触部分が排除される。また、接触部分の面積がＨＤＤ８に記憶されている接触部分の大きさ情報と比較される。接触部分として決定される接触部分の面積の大きさの上限値及び下限値といった閾値が、あらかじめ接触部分の大きさ情報４４としてＨＤＤ８に記憶されている。接触部分の面積の大きさが上限値と下限値とにより定まる範囲に該当しない場合、該当する接触面積の大きさである接触部分は、入力位置が決定される判断対象から排除される。ステップＳ２０８及びＣＰＵ５は、本発明の第１排除部の一例である。 In step S208, the contact portion having a predetermined shape is excluded from the determination target for determining the input position of the contact portion based on the shape of the contact portion. In the contact input type information processing apparatus 1 of the first embodiment, a finger is assumed as a part of the user's body. Therefore, other than the contact portion having a shape similar to a circle or an ellipse considered as the shape of the contact portion of the finger is excluded. Hough transform is used for the image captured by the CCD camera 7. By the Hough transform, the feature of the figure is determined in the contact input type information processing apparatus 1 of the first embodiment. A contact portion having a shape similar to a circle and an ellipse is determined, and contact portions having other shapes are excluded. Further, the area of the contact portion is compared with the size information of the contact portion stored in the HDD 8. Threshold values such as an upper limit value and a lower limit value of the area size of the contact portion determined as the contact portion are stored in advance in the HDD 8 as the contact portion size information 44. When the size of the area of the contact portion does not fall within the range determined by the upper limit value and the lower limit value, the contact portion having the corresponding contact area size is excluded from the determination target for which the input position is determined. Step S208 and CPU 5 are an example of a first exclusion unit of the present invention.
ステップＳ２０９では、ステップＳ２０８が実行された結果、接触部分がないと決定された場合はステップＳ２１１へ進む。接触部分がありと決定された場合、ステップＳ２１０が実行される。 In step S209, if it is determined that there is no contact portion as a result of executing step S208, the process proceeds to step S211. If it is determined that there is a contact portion, step S210 is executed.
ステップＳ２１０では、ステップＳ２０９で接触部分がありと決定された場合、接触部分の面積と入力位置の候補としての暫定位置とが決定される。上述のステップＳ２０４からＳ２０９の処理で排除されなかった接触部分における画素数が、接触部分の接触面積と決定される。図１３は、接触面積の決定方法の一例の概念図を示す。ステップＳ２０８の実行後、撮影画像データ３４に関して、接触部分３５と接触部分３６とが決定されている。図１３における右部分に示された図は、接触部分３６の拡大図である。図１３に示す小さい１つの四角形が、１つの画素３７に相当する。また色の濃い画素３８はユーザにより接触された画素を示している。第１の実施形態では、接触部分の画素数が接触面積の大きさとされている。そのため、図１３の接触部分３６の接触面積は、ユーザにより接触された画素３８の画素数として決定される。決定された接触面積の大きさはメモリ６に一時記憶される。ステップＳ２１０及びＣＰＵ５は、本発明の面積決定部の一例である。 In step S210, when it is determined in step S209 that there is a contact portion, the area of the contact portion and the provisional position as the input position candidate are determined. The number of pixels in the contact portion that has not been excluded in the processing of steps S204 to S209 described above is determined as the contact area of the contact portion. FIG. 13 is a conceptual diagram illustrating an example of a method for determining a contact area. After execution of step S208, the contact portion 35 and the contact portion 36 are determined for the captured image data 34. The figure shown in the right part in FIG. 13 is an enlarged view of the contact part 36. One small square shown in FIG. 13 corresponds to one pixel 37. A dark pixel 38 indicates a pixel touched by the user. In the first embodiment, the number of pixels in the contact portion is the size of the contact area. For this reason, the contact area of the contact portion 36 in FIG. 13 is determined as the number of pixels 38 touched by the user. The determined contact area size is temporarily stored in the memory 6. Step S210 and CPU 5 are an example of an area determining unit of the present invention.
また、ステップＳ２１０では、接触部分の形状の中の１点の位置が暫定位置として決定される。接触部分の形状の中の１点の位置が暫定位置とされることで、上記１点の位置に対応する処理のみをＣＰＵ５が決定すれば良い。そのため、容易に接触部分に対応する処理を決定することが可能となる。第１の実施形態の接触入力型情報処理装置１では、図１４（ａ）（ｂ）（ｃ）に示すように、暫定位置として接触部分の形状を包含し、且つ、前記接触部分と接する長方形または正方形の中心を暫定位置としている。包含する正方形または長方形の中心とは、各辺の中点から引いた垂直二等分線の交点である。ＣＣＤカメラ７が撮影した画像の最も左下の画素の位置を原点としている。この原点を基準として、１画素ごとに１座標値が定められる。接触部分の暫定位置は、上記中心の座標値として決定される。このようにして接触部分の面積と接触部分の暫定位置とが決定される。図１５は、接触部分の入力位置の候補である暫定位置と、暫定位置の接触面積とがメモリ６に記憶されている概念図を示す。接触位置１から接触位置３は、接触部分の入力位置の候補である暫定位置を表している。各接触部分の接触面積と暫定位置とが、図１５に示すようにメモリ６に一時記憶される。 In step S210, the position of one point in the shape of the contact portion is determined as a temporary position. By setting the position of one point in the shape of the contact portion as a temporary position, the CPU 5 only needs to determine the process corresponding to the position of the one point. Therefore, it is possible to easily determine the process corresponding to the contact portion. In the contact input type information processing apparatus 1 according to the first embodiment, as shown in FIGS. 14A, 14B, and 14C, a rectangle that includes the shape of the contact portion as a temporary position and is in contact with the contact portion. Or the center of the square is the provisional position. The center of the enclosing square or rectangle is the intersection of the perpendicular bisectors drawn from the midpoint of each side. The position of the lower left pixel of the image taken by the CCD camera 7 is the origin. With this origin as a reference, one coordinate value is determined for each pixel. The provisional position of the contact portion is determined as the coordinate value of the center. In this way, the area of the contact portion and the provisional position of the contact portion are determined. FIG. 15 is a conceptual diagram in which the temporary position that is a candidate for the input position of the contact portion and the contact area of the temporary position are stored in the memory 6. Contact position 1 to contact position 3 represent temporary positions that are candidates for the input position of the contact portion. The contact area and provisional position of each contact portion are temporarily stored in the memory 6 as shown in FIG.
ステップＳ２１１では、ステップＳ２０２でカウントを始めてから経過した時間が、規定の時間内であるかが判断される。規定の時間内であれば、ステップＳ２０３へ戻り、再度透明フレーム３の撮影が開始される。規定の時間内でなければ、ステップＳ２１２に進む。 In step S211, it is determined whether the time elapsed since the start of counting in step S202 is within a specified time. If it is within the specified time, the process returns to step S203, and imaging of the transparent frame 3 is started again. If it is not within the specified time, the process proceeds to step S212.
ステップＳ２１２では、規定時間以内に接触部分が検出されなかったため、タイムフラグがＯＮにされる。 In step S212, since the contact portion has not been detected within the specified time, the time flag is turned ON.
ステップＳ２１３では、時間のカウントが終了される。ステップＳ２１３が実行された後、図６に示すメイン動作に戻り、ステップＳ１０４へ進む。ステップＳ２０８を除くステップＳ２０５からステップＳ２１３までのステップは、本発明の入力位置決定ステップの一例である。 In step S213, the time counting is ended. After step S213 is executed, the process returns to the main operation shown in FIG. 6 and proceeds to step S104. Steps from step S205 to step S213 excluding step S208 are an example of the input position determination step of the present invention.
（処理決定動作の説明）
図１０は、処理決定プログラム４７に従う処理決定動作の詳細を示すフローチャートである。まず、上記のステップＳ２１０において複数の暫定位置が決定された場合、ステップＳ３０１で、複数の暫定位置の中から、接触面積の最も大きい接触部分の暫定位置が最終的な入力位置として決定される。たとえば、図１５に示すように、メモリ６が暫定位置として記憶した接触位置１〜３の中で、最も接触面積が大きい暫定位置は、接触位置１であることから、図１５から、第１の実施形態の接触入力型情報処理装置１における入力位置の座標値は、接触位置１の座標値（１００、２５５）と決定され、メモリ６に一時記憶される。(Description of processing decision operation)
FIG. 10 is a flowchart showing details of the process determination operation according to the process determination program 47. First, when a plurality of provisional positions are determined in step S210, the provisional position of the contact portion having the largest contact area is determined as the final input position from the plurality of provisional positions in step S301. For example, as shown in FIG. 15, the contact position 1 has the largest contact area among the contact positions 1 to 3 stored in the memory 6 as the temporary position. The coordinate value of the input position in the contact input type information processing apparatus 1 of the embodiment is determined as the coordinate value (100, 255) of the contact position 1 and is temporarily stored in the memory 6.
ステップＳ３０２では、ステップＳ３０１で決定された入力位置に基づいて、表示情報が決定される。図８は液晶ディスプレイ４の表示画面の拡大図を示す。図８に示された値はＸ軸及びＹ軸における座標値を示す。第１の実施形態の接触入力型情報処理装置１では画面の左下が原点とされている。画面の右下における座標値が（６００、０）、左上の座標値が（０、４００）、点線で示された真ん中の中心線の座標値が（３００、０）となっている。ステップＳ３０１で入力位置が（１００、２５５）と決定されたため、点線で示された真ん中の中心線より左の位置が接触されたと決定される。そのため、図８に示す液晶ディスプレイ４の画面における左に表示されている形状をした図形が、ユーザにより選択されたと決定される。ユーザにより左に表示されている図形が選択されたと判定されたため、液晶ディスプレイ４により表示された選択問題に対して、正解であると判定される。正解と判定されたことに基づく処理がＨＤＤ８から読み出されて処理される。 In step S302, display information is determined based on the input position determined in step S301. FIG. 8 shows an enlarged view of the display screen of the liquid crystal display 4. The values shown in FIG. 8 indicate coordinate values on the X axis and the Y axis. In the contact input type information processing apparatus 1 of the first embodiment, the lower left of the screen is the origin. The coordinate value at the bottom right of the screen is (600, 0), the coordinate value at the top left is (0, 400), and the coordinate value of the center line shown by the dotted line is (300, 0). Since the input position is determined as (100, 255) in step S301, it is determined that the position to the left of the center line indicated by the dotted line is touched. Therefore, it is determined that the figure having the shape displayed on the left on the screen of the liquid crystal display 4 shown in FIG. 8 is selected by the user. Since it is determined that the graphic displayed on the left side is selected by the user, it is determined that the selection question displayed on the liquid crystal display 4 is correct. A process based on the determination of the correct answer is read from the HDD 8 and processed.
ステップＳ３０３では、ステップＳ３０２で決定された処理に従って表示情報の決定が実行される。ステップＳ３０２では、液晶ディスプレイ４の画面に表示された出題問題に対して正解であったことに基づく処理が決定されたことから、図１６に示す「正解です」といった正解に基づく表示情報が決定され、ＨＤＤ８から読み出される。一方、図８における右に表示されている図形が選択された場合、図１６に表示されている「正解です」に代わりに、「不正解です」といった表示情報が決定され、ＨＤＤ８から読み出される。 In step S303, display information is determined according to the process determined in step S302. In step S302, since the process based on the correct answer to the question displayed on the screen of the liquid crystal display 4 is determined, the display information based on the correct answer such as “correct answer” shown in FIG. 16 is determined. , Read from the HDD 8. On the other hand, when the graphic displayed on the right side in FIG. 8 is selected, display information such as “Incorrect answer” is determined instead of “Is correct answer” displayed in FIG.
ステップＳ３０４では、液晶ディスプレイ４は、ステップＳ３０３で決定された表示情報に従って情報を画面に表示する。ステップＳ３０１からステップＳ３０３までのステップが、本発明の処理決定ステップの一例である。 In step S304, the liquid crystal display 4 displays information on the screen according to the display information determined in step S303. Steps from step S301 to step S303 are an example of the process determination step of the present invention.
ステップＳ１０４では、規定の時間以内に第１の実施形態の接触入力型情報処理装置１に入力がされなかったと判定されたため、ステップＳ１０７ではその判定結果に応じた表示情報が決定され、ＨＤＤ８から読み出される。液晶ディスプレイ４はＨＤＤ８から読み出された表示情報に従って、図１６に表示されている「正解です」の文字の代わりに、図１１に表示されている「残念時間切れです」を表示する。 In step S104, since it is determined that no input has been made to the contact input type information processing apparatus 1 of the first embodiment within a specified time, display information corresponding to the determination result is determined and read from the HDD 8 in step S107. It is. In accordance with the display information read from the HDD 8, the liquid crystal display 4 displays “Unfortunate time-out” displayed in FIG. 11 instead of the characters “correct answer” displayed in FIG.
＜第２の実施形態＞
第１の実施形態で記載した自己学習機能を有する接触入力型の情報処理装置１を備えたロボットに本発明を適用した第２の実施形態について、添付図面を参照して説明する。<Second Embodiment>
A second embodiment in which the present invention is applied to a robot including a contact input type information processing apparatus 1 having a self-learning function described in the first embodiment will be described with reference to the accompanying drawings.
＜第２の実施形態の外観的構成＞
図１７は、第２の実施形態のロボットの外観的構成を示している。第２の実施形態のロボットを構成する接触入力型の情報処理装置１０１は、支持スタンド１１０の内部に音声入力装置１１１と音声出力装置１１２とを備えている。音声入力装置１１１と音声出力装置１１２以外の構成部分は、第１の実施形態と同じ構成であるので、説明を省略する。<External configuration of the second embodiment>
FIG. 17 shows an external configuration of the robot according to the second embodiment. A contact input type information processing apparatus 101 constituting the robot of the second embodiment includes a voice input device 111 and a voice output device 112 inside a support stand 110. Since the components other than the voice input device 111 and the voice output device 112 have the same configuration as in the first embodiment, description thereof will be omitted.
＜第２の実施形態の電気的構成＞
図１８は、第２の実施形態における接触入力型の情報処理装置１０１の電気的構成を示すブロック図である。図１８に示すように、第２の実施形態の接触入力型の情報処理装置１０１には、第１の実施形態と同様に、接触入力型の情報処理装置１０１を制御するＣＰＵ１０５が備えられている。ＣＰＵ１０５には、液晶ディスプレイ１０４と、メモリ１０６と、ＣＣＤカメラ１０７と、ＨＤＤ１０８と、サーボモータ１０９と、音声入力装置１１１と、音声出力装置１１２とが電気的に接続されている。ＣＰＵ１０５は、メモリ１０６及びＨＤＤ１０８と共に、第２の実施形態の情報処理装置１０１の動作を制御処理するコンピュータを構成している。<Electric Configuration of Second Embodiment>
FIG. 18 is a block diagram illustrating an electrical configuration of the contact input type information processing apparatus 101 according to the second embodiment. As shown in FIG. 18, the contact input type information processing apparatus 101 according to the second embodiment includes a CPU 105 that controls the contact input type information processing apparatus 101 as in the first embodiment. . A liquid crystal display 104, a memory 106, a CCD camera 107, an HDD 108, a servo motor 109, a voice input device 111, and a voice output device 112 are electrically connected to the CPU 105. The CPU 105 constitutes a computer that controls the operation of the information processing apparatus 101 according to the second embodiment together with the memory 106 and the HDD 108.
音声入力装置１１１は、ユーザからの音声を取り込み、その音声を処理して音声入力情報を生成する。この生成された音声入力情報がメモリ１０６に一時記憶される。 The voice input device 111 takes in voice from the user and processes the voice to generate voice input information. The generated voice input information is temporarily stored in the memory 106.
音声出力装置１１２は、ＣＰＵ１０５が決定した処理に関連する音声出力情報をＨＤＤ１０８から読み出して音声出力を行う。 The audio output device 112 reads out audio output information related to the process determined by the CPU 105 from the HDD 108 and performs audio output.
（第２の実施形態メモリの構成）
メモリ１０６は、音声入力装置１１１により入力され生成された音声入力情報１１７と、ＣＣＤカメラ１０７により撮影された撮影画像データ１１３と、接触部分の接触面積１１６と、接触位置の候補の暫定位置１１４と、最終的な入力位置１１５とを記憶する領域を備える。(Configuration of Memory of Second Embodiment)
The memory 106 includes voice input information 117 input and generated by the voice input device 111, photographed image data 113 photographed by the CCD camera 107, a contact area 116 of a contact portion, and a temporary position 114 of a candidate contact position. And an area for storing the final input position 115.
（第２の実施形態ＨＤＤの構成）
図１９は、ＨＤＤ１０８の記憶内容の詳細を示す。ＨＤＤ１０８は、プログラム１４１と、色情報１４２と、表示情報１４３と、接触部分の大きさ情報１４４と、ユーザ情報１４５と、音声出力情報１４６とを記憶する。プログラム１４１は、接触入力型の情報処理装置１０１を制御するためのプログラムである。色情報１４２は、接触部分の候補であるかどうかを判定するための情報である。表示情報１４３は、液晶ディスプレイ１０４に情報を表示させるための表示情報である。音声出力情報１４６は、音声出力装置１１２に音声を出力させるための音声出力情報である。ユーザ情報１４５は、ユーザを特定するための情報である。(Configuration of HDD of Second Embodiment)
FIG. 19 shows details of the contents stored in the HDD 108. The HDD 108 stores a program 141, color information 142, display information 143, contact portion size information 144, user information 145, and audio output information 146. The program 141 is a program for controlling the contact input type information processing apparatus 101. The color information 142 is information for determining whether or not the contact portion is a candidate. The display information 143 is display information for displaying information on the liquid crystal display 104. The audio output information 146 is audio output information for causing the audio output device 112 to output audio. The user information 145 is information for specifying a user.
ＨＤＤ１０８は、プログラム１４１として、ＨＤＤ８に記憶されているプログラム４１と同様に、図２０に示すメインプログラム１４７と、接触検出プログラム１４８と、処理決定プログラム１４９とを記憶している。それに加え、図２２に示すユーザ撮影モードプログラム１５０と、図２３に示す音声入出力プログラム１５１とが記憶されている。ユーザ撮影モードプログラム１５０は、ＣＣＤカメラ１０７により撮影された撮影画像データからユーザを特定するためのプログラムである。音声入出力プログラム１５１は、音声の入出力を処理するためのプログラムである。 The HDD 108 stores a main program 147, a contact detection program 148, and a processing determination program 149 shown in FIG. 20 as the program 141, similarly to the program 41 stored in the HDD 8. In addition, a user photographing mode program 150 shown in FIG. 22 and a voice input / output program 151 shown in FIG. 23 are stored. The user shooting mode program 150 is a program for specifying a user from shot image data shot by the CCD camera 107. The voice input / output program 151 is a program for processing voice input / output.
ＨＤＤ１０８は、ユーザの顔情報１４５を記憶している。ユーザの顔情報１４５は、ＣＣＤカメラ１０７により撮影された撮影画像データからユーザの特定を行うための情報である。 The HDD 108 stores user face information 145. The user face information 145 is information for identifying the user from the captured image data captured by the CCD camera 107.
ＨＤＤ１０８は、音声出力装置１１２に音声を出力させるための音声出力情報１４６を記憶している。音声出力情報１４６は、ユーザと対話するための音声出力情報と、接触位置に基づいた処理内容を音声でユーザに伝えるための音声出力情報とからなる。 The HDD 108 stores audio output information 146 for causing the audio output device 112 to output audio. The audio output information 146 includes audio output information for interacting with the user and audio output information for conveying the processing content based on the contact position to the user by audio.
＜第２の実施形態のメイン動作の説明＞
以上説明した構成からなる第２の実施形態の情報処理装置１０１の動作及び作用について、添付図面を参照して説明する。図２０は、本実施形態におけるメインプログラム１４７に従うメイン動作の処理手順を示すフローチャートである。<Description of Main Operation of Second Embodiment>
The operation and action of the information processing apparatus 101 according to the second embodiment configured as described above will be described with reference to the accompanying drawings. FIG. 20 is a flowchart showing a processing procedure of the main operation according to the main program 147 in the present embodiment.
第２の実施形態では、最初に、ステップＳ８０１で本装置の電源スイッチがＯＮにされているかが判定される。電源スイッチがＯＮにされていると判定されるまで、ステップＳ８０１が繰り返される。電源スイッチがＯＮにされていると判定されると、ステップＳ８０２が実行される。 In the second embodiment, first, in step S801, it is determined whether the power switch of the apparatus is turned on. Step S801 is repeated until it is determined that the power switch is turned on. If it is determined that the power switch is turned on, step S802 is executed.
ステップＳ８０２では、起動時に液晶ディスプレイ１０４に表示する初期表示情報１５３がＨＤＤ１０８から読み出される。ＨＤＤ１０８から読み出された表示情報に従って、液晶ディスプレイ１０４が情報を表示する。図２１に示すように、液晶ディスプレイ１０４は初期表示情報１５３に従って、人の顔を画面に表示する。第２の実施形態における接触入力型情報処理装置１０１では、初期音声は出力されないと決定されている。 In step S <b> 802, initial display information 153 to be displayed on the liquid crystal display 104 at startup is read from the HDD 108. In accordance with the display information read from the HDD 108, the liquid crystal display 104 displays the information. As shown in FIG. 21, the liquid crystal display 104 displays a human face on the screen according to the initial display information 153. In the contact input type information processing apparatus 101 in the second embodiment, it is determined that the initial sound is not output.
ステップＳ８０３では、ユーザ撮影モードプログラム１５０がＨＤＤ１０８から読み出されて実行される。ユーザ撮影モードプログラム１５０の詳細な説明は図２２を用いて後述する。ユーザ撮影モードプログラム１５０により、ユーザの顔画像が撮影され、撮影されたユーザの顔画像データに基づいて、液晶ディスプレイ１０４に情報を表示させるための表示情報および音声出力装置１１２に音声を出力させるための音声出力情報が決定される。 In step S803, the user shooting mode program 150 is read from the HDD 108 and executed. A detailed description of the user shooting mode program 150 will be described later with reference to FIG. The user photographing mode program 150 shoots a user's face image, and based on the photographed user's face image data, display information for displaying information on the liquid crystal display 104 and sound output to the sound output device 112. Audio output information is determined.
ステップＳ８０４では、音声入出力処理プログラム１５１がＨＤＤ１０８から読み出されて実行される。音声入出力プログラム１５１の詳細な説明は図２３を用いて後述する。音声入出力プログラム１５１により、音声が入力されたか否かの判定と、液晶ディスプレイ１０４に表示させるための表示情報および音声出力部１１２に出力させるための音声出力情報とが決定される。 In step S804, the audio input / output processing program 151 is read from the HDD 108 and executed. A detailed description of the voice input / output program 151 will be described later with reference to FIG. The sound input / output program 151 determines whether or not sound has been input, and display information to be displayed on the liquid crystal display 104 and sound output information to be output to the sound output unit 112.
ステップＳ８０５では、接触検出プログラム１４８がＨＤＤ１０８から読み出されて実行される。接触検出プログラム１４８により、接触部分の接触面積の大きさと接触位置とが決定される。 In step S805, the contact detection program 148 is read from the HDD 108 and executed. The contact detection program 148 determines the contact area size and contact position of the contact portion.
ステップＳ８０６では、タイムフラグがＯＮされているかが判定される。タイムフラグがＯＮの場合はステップＳ８０９へ進み、タイムフラグがＯＦＦの場合はステップＳ８０７へ進む。 In step S806, it is determined whether the time flag is ON. If the time flag is ON, the process proceeds to step S809. If the time flag is OFF, the process proceeds to step S807.
ステップＳ８０７では、ＨＤＤ１０８から読み出された図１０に示す処理決定プログラム１４９が実行される。処理決定プログラム１４９が実行されることで、ステップＳ８０５で決定された接触部分の接触面積の大きさと接触位置とに基づいた処理が決定される。 In step S807, the process determination program 149 shown in FIG. 10 read from the HDD 108 is executed. By executing the processing determination program 149, processing based on the contact area size and the contact position of the contact portion determined in step S805 is determined.
ステップＳ８０８では、ステップＳ８０７で決定された処理が実行された後、ユーザにより電源スイッチがＯＦＦでされたかが判定される。電源スイッチがＯＦＦにされなかった場合はステップＳ８０１へ戻り、再びステップＳ８０１が実行される。 In step S808, after the process determined in step S807 is executed, it is determined whether the user has turned off the power switch. If the power switch is not turned off, the process returns to step S801, and step S801 is executed again.
ステップＳ８０９では、タイムフラグがＯＮにされているため、規定時間以内に接触部分が検出されなかったことに基づく表示情報及び音声出力情報が決定され、ＨＤＤ１０８から読み出される。ＨＤＤ１０８から読み出された表示情報に従って、液晶ディスプレイ１０４が情報を表示する。再びステップＳ８０３へ戻り、ユーザ撮影モードプログラム１５０がＨＤＤ１０８から読み出されて実行される。本実施形態では、液晶ディスプレイ１０４により表示される情報として図２１に示す顔が、出力される音声として「残念時間切れです。もう一度教科書を見直したほうがいいね」が決定される。上述した表示情報および音声出力情報が、ＨＤＤ１０８から読み出されて液晶ディスプレイ１０４と音声出力装置１１２とを動作させる。 In step S809, since the time flag is set to ON, display information and audio output information based on the fact that the contact portion has not been detected within the specified time are determined and read from the HDD. In accordance with the display information read from the HDD 108, the liquid crystal display 104 displays the information. Returning to step S803 again, the user shooting mode program 150 is read from the HDD 108 and executed. In the present embodiment, the face shown in FIG. 21 is displayed as information displayed on the liquid crystal display 104, and “sorry time has expired. The textbook should be reviewed again” is determined as the output voice. The display information and the audio output information described above are read from the HDD 108 to operate the liquid crystal display 104 and the audio output device 112.
（ユーザ撮影モードの説明）
図２２は、ユーザ撮影モードプログラム１５０に従うユーザ撮影モードにおける動作の詳細を示すフローチャートである。まず、ステップＳ９０１でユーザを撮影するため、ＣＣＤカメラ１０７の角度が変更される。透明フレーム１０３とユーザの顔とを選択的に撮影するために、ＣＣＤカメラ１０７の撮影角度が、サーボモータ１０９により、ユーザの顔が撮影可能な角度に変更される。第２の実施形態における接触入力型情報処理装置１０１では、図３に示す第１の実施形態の角度変更部と同様に、サーボモータ１０９により、ＣＣＤカメラ１０７の撮影角度が適宜調整され、ユーザの顔が撮影される。撮影された画像はメモリ１０６に一時記憶される。(Explanation of user shooting mode)
FIG. 22 is a flowchart showing details of the operation in the user shooting mode in accordance with the user shooting mode program 150. First, in order to photograph the user in step S901, the angle of the CCD camera 107 is changed. In order to selectively photograph the transparent frame 103 and the user's face, the photographing angle of the CCD camera 107 is changed by the servo motor 109 to an angle at which the user's face can be photographed. In the contact input type information processing apparatus 101 according to the second embodiment, similarly to the angle changing unit according to the first embodiment shown in FIG. The face is photographed. The captured image is temporarily stored in the memory 106.
ステップＳ９０２では、ＣＣＤカメラ１０７の角度が変更された後、ユーザの顔が撮影される。撮影を行うタイミングは、第１の実施形態の接触入力型の情報処理装置１と同様に、一定周期ごとに撮影が行われる。ＣＣＤカメラ１０７により撮影されるごとに、撮影画像データがメモリ１０６に一時記憶される。 In step S902, the face of the user is photographed after the angle of the CCD camera 107 is changed. As with the contact input type information processing apparatus 1 of the first embodiment, shooting is performed at regular intervals. Each time the image is taken by the CCD camera 107, the taken image data is temporarily stored in the memory 106.
ステップＳ９０３では、透明フレーム１０３の前にユーザがいるかが、撮影された画像データから決定される。 In step S903, whether there is a user in front of the transparent frame 103 is determined from the captured image data.
ステップＳ９０４では、ユーザが透明フレーム３の前にいるか否かが判別される。ユーザが透明フレーム１０３の前にいない場合ステップＳ９０２へ戻り、ユーザがいる場合ステップＳ９０５へ進む。 In step S904, it is determined whether or not the user is in front of the transparent frame 3. If the user is not in front of the transparent frame 103, the process returns to step S902, and if there is a user, the process proceeds to step S905.
ステップＳ９０５では、メモリ１０６に記憶されている撮影画像データと、ＨＤＤ１０８により予め記憶されているユーザの顔情報１４５とが比較されることで、ユーザが特定される。 In step S905, the photographed image data stored in the memory 106 and the user face information 145 stored in advance by the HDD 108 are compared to identify the user.
ステップＳ９０６では、特定されたユーザに基づいて表示情報と音声出力情報とが決定される。本実施形態では、特定されたユーザに基づいて、ユーザの名前である『ヒロ君』という音声出力情報がＨＤＤ１０８から読み出されて、音声出力装置１１２により音声が出力される。 In step S906, display information and audio output information are determined based on the identified user. In the present embodiment, based on the identified user, the voice output information “Hiro-kun”, which is the user's name, is read from the HDD 108, and the voice is output by the voice output device 112.
ステップＳ９０７では、ステップＳ９０５でＣＣＤカメラ１０７により撮影された撮影画像データに対して画像処理が行われてユーザの表情が決定される。 In step S907, image processing is performed on the captured image data captured by the CCD camera 107 in step S905 to determine the user's facial expression.
ステップＳ９０８では、ステップＳ９０７で決定されたユーザの表情に基づいて、表示情報と音声出力情報とが決定される。画像処理の結果、『ヒロ君』の表情が『暗い』と決定された場合、「あ、ヒロ君だ。なんか暗いね。元気出して遊ぼう」という音声出力情報が決定され、ＨＤＤ１０８から読み出されて、音声出力装置１１２により音声が出力される。 In step S908, display information and audio output information are determined based on the user's facial expression determined in step S907. As a result of the image processing, when the expression of “Hiro-kun” is determined to be “dark”, audio output information “Ah, Hiro-kun. Something is dark. Then, a sound is output by the sound output device 112.
（音声入出力処理動作の説明）
図２３は、音声入出力プログラム１５１に従う音声入出力処理動作の詳細を示すフローチャートである。ステップＳ１００１では、音声入力装置１１１に規定時間以内に音声が入力されたかを判定するために、時間のカウントがスタートされる。(Explanation of voice input / output processing operation)
FIG. 23 is a flowchart showing details of the voice input / output processing operation according to the voice input / output program 151. In step S <b> 1001, time counting is started in order to determine whether or not voice is input to the voice input device 111 within a specified time.
ステップＳ１００２では、音声入力装置１１１に音声が入力され、その入力された音声に対応する音声入力情報が生成されて、メモリ１０６に一時記憶される。 In step S <b> 1002, voice is input to the voice input device 111, voice input information corresponding to the input voice is generated, and temporarily stored in the memory 106.
ステップＳ１００３では、音声の入力が検出されたかどうかが判定される。ステップＳ１００３で音声入力が検出されたと判定されると、ステップＳ１００５に進む。音声入力が検出されなかったと判定されると、ステップＳ１００４へ進む。 In step S1003, it is determined whether voice input is detected. If it is determined in step S1003 that a voice input has been detected, the process proceeds to step S1005. If it is determined that no voice input has been detected, the process proceeds to step S1004.
ステップＳ１００４では、時間のカウントが始められた時点から経過した時間が、規定の時間以内であるかが判定される。規定の時間以内であれば再度ステップＳ１００２へ戻り、音声の入力の検出が開始され、規定の時間以内でなければステップＳ１００６へ進む。 In step S1004, it is determined whether the time that has elapsed since the time counting is started is within a specified time. If it is within the specified time, the process returns to step S1002 again, and detection of voice input is started. If it is not within the specified time, the process proceeds to step S1006.
ステップＳ１００５では、入力された音声に基づき、表示情報及び音声出力情報が決定される。たとえば、「明日、社会の試験があるんだ。問題出してよ。」といった音声入力に対応する表示情報及び音声出力情報が決定される。本実施形態では、上記の音声入力に対して、「じゃあ、問題出すよ。岐阜県はどれでしょう？」といった音声出力情報と、図８に示す第１の実施形態と同様の２択の問題を表す表示情報とが決定される。上述した表示情報と音声出力情報とが、ＨＤＤ１０８から読み出されて液晶ディスプレイ１０４と音声出力装置１１２をそれぞれ動作させる。 In step S1005, display information and audio output information are determined based on the input audio. For example, display information and voice output information corresponding to voice input such as “I have a social test tomorrow. In this embodiment, in response to the above voice input, the voice output information such as “Oh, I'm going to give a problem. Which one is in Gifu Prefecture?” And the same two-choice questions as in the first embodiment shown in FIG. Is displayed. The display information and the audio output information described above are read from the HDD 108 to operate the liquid crystal display 104 and the audio output device 112, respectively.
ステップＳ１００６では、ステップＳ１００４で規定時間以内に音声入力がないと判定されたことに基づいた表示情報及び音声出力情報が決定される。たとえば、第２の実施形態では、「聞こえなかった。もう一度言ってください。」といった音声出力情報が、ＨＤＤ１０８から読み出されて音声出力装置１１２により出力される。 In step S1006, display information and audio output information based on the determination in step S1004 that there is no audio input within the specified time are determined. For example, in the second embodiment, audio output information such as “I could not hear it. Please say again” is read from the HDD 108 and output by the audio output device 112.
ステップＳ１００７では、ステップＳ１００５とステップＳ１００６とがそれぞれ実行された後、時間のカウントが終了される。 In step S1007, after steps S1005 and S1006 are executed, the time counting is ended.
（処理決定動作の説明）
第２の実施形態の処理決定動作においては、上述のステップＳ３０１からＳ３０４までのステップと同様の処理が実行される。第２の実施形態も、図８に示す問題表示が可能な第１の実施形態と同様に、自己学習機能を備えた接触入力型の情報処理装置である。問題が表示された液晶ディスプレイ１０４の画面において、ユーザにより左に表示されている図形が選択されたと判定された場合、液晶ディスプレイ１０４により表示された選択問題に対して正解であると判定される。正解と判定されたことに基づく表示情報と音声出力情報とが、決定されてＨＤＤ１０８から読み出される。たとえば、図２１に示す表示情報と、「正解。明日の試験はこれで大丈夫だね。」といった音声出力情報とが決定される。一方、図８における右に表示されている図形が選択された場合、本装置が表示した問題に対して不正解だと決定される。そのため、「不正解」という表示情報と、「不正解。でも、これから頑張って勉強すれば大丈夫だよ。」といった音声出力情報とが決定され、ＨＤＤ１０８から読み出されて液晶ディスプレイ１０４と音声出力装置１１２とをそれぞれ動作させる。(Description of processing decision operation)
In the process determination operation of the second embodiment, the same processes as those in steps S301 to S304 described above are executed. The second embodiment is also a contact input type information processing apparatus having a self-learning function, as in the first embodiment capable of displaying the problem shown in FIG. When it is determined that the graphic displayed on the left side is selected by the user on the screen of the liquid crystal display 104 on which the problem is displayed, it is determined that the selection problem displayed on the liquid crystal display 104 is correct. Display information and audio output information based on the determination as correct are determined and read from the HDD 108. For example, the display information shown in FIG. 21 and the sound output information such as “correct answer. On the other hand, when the graphic displayed on the right in FIG. 8 is selected, it is determined that the problem displayed by the present apparatus is incorrect. For this reason, display information “incorrect answer” and audio output information such as “incorrect answer, but it is okay if you study hard from now on” are determined and read from the HDD 108 and read out from the liquid crystal display 104 and the audio output device. 112 are operated.
＜変形例１＞
第１の実施形態と第２の実施形態とにおける接触位置決定の変形例１について、添付図面を参照して以下に説明する。<Modification 1>
Modification 1 of the contact position determination in the first embodiment and the second embodiment will be described below with reference to the accompanying drawings.
図２４は、変形例１のメイン動作の処理手順を示すフローチャートである。ステップＳ４０１とステップ４０２とは、図６に示すステップＳ１０１とステップＳ１０２と同じである。ステップＳ４０３では、接触検出プログラムが実行される。ステップＳ４０３では、第１の実施形態で説明した図９に示す接触検出のフローチャートにおけるステップＳ２０１からステップＳ２１３までの処理が実行される。このステップＳ４０３において、接触部分の接触面積と接触部分の入力位置または暫定位置とが決定される。 FIG. 24 is a flowchart illustrating a processing procedure of the main operation of the first modification. Step S401 and step 402 are the same as step S101 and step S102 shown in FIG. In step S403, a contact detection program is executed. In step S403, the processing from step S201 to step S213 in the flowchart of contact detection shown in FIG. 9 described in the first embodiment is executed. In step S403, the contact area of the contact portion and the input position or provisional position of the contact portion are determined.
ステップＳ４０６では、ステップＳ４０３で決定された接触部分の暫定位置が複数あるかが判定される。接触部分の暫定位置が複数あると判定された場合はステップＳ４０７が実行され、接触部分の暫定位置が複数ないと判定された場合はステップＳ４０９が実行される。 In step S406, it is determined whether there are a plurality of provisional positions of the contact portion determined in step S403. If it is determined that there are a plurality of temporary positions of the contact portion, step S407 is executed, and if it is determined that there are not a plurality of temporary positions of the contact portion, step S409 is executed.
ステップＳ４０７では、ステップＳ４０６で複数の接触部分があると判定されたため、ユーザに対して再度の入力を促すための表示情報が決定される。再度の入力を促すための表示情報が、ＨＤＤ８またはＨＤＤ１０８から読み出される。液晶ディスプレイ４または液晶ディスプレイ１０４がＨＤＤ８またはＨＤＤ１０８から読み出された表示情報に従って情報を表示する。液晶ディスプレイ４または液晶ディスプレイ１０４により表示される情報として、図１６に表示されている「正解です」の文字の代わりに、「もう一度入力をお願いします」が決定される。ステップＳ４０７及びＣＰＵ５またはＣＰＵ１０５は、本発明の表示情報発生部の一例である。 In step S407, since it is determined in step S406 that there are a plurality of contact portions, display information for prompting the user to input again is determined. Display information for prompting another input is read from the HDD 8 or HDD 108. The liquid crystal display 4 or the liquid crystal display 104 displays information according to the display information read from the HDD 8 or the HDD 108. As information displayed on the liquid crystal display 4 or the liquid crystal display 104, “Please input again” is determined instead of the characters “Is correct” displayed in FIG. Step S407 and CPU 5 or CPU 105 are an example of the display information generating unit of the present invention.
ステップＳ４０８では、入力を行うための図８に示す表示情報が決定され、ＨＤＤ８またはＨＤＤ１０８から読み出される。液晶ディスプレイ４または液晶ディスプレイ１０４がＨＤＤ８またはＨＤＤ１０８から読み出された表示情報に従って図８に示す情報を再度表示し、ステップＳ４０３へ戻り、透明フレーム３の撮影が再び開始される。 In step S408, display information shown in FIG. 8 for input is determined and read from the HDD 8 or HDD. The liquid crystal display 4 or the liquid crystal display 104 displays the information shown in FIG. 8 again in accordance with the display information read from the HDD 8 or the HDD 108, and the process returns to step S403 to start the photographing of the transparent frame 3 again.
＜変形例２＞
第１の実施形態と第２の実施形態とにおける接触位置決定の変形例２について、添付図面を参照して以下に説明する。<Modification 2>
Modification 2 of the contact position determination in the first embodiment and the second embodiment will be described below with reference to the accompanying drawings.
変形例２の電気的構成は、図４に示す第１の実施形態の電気的構成または図１８に示す第２の実施形態の電気的構成のいずれかの構成と同じ構成である。図２５は、ＨＤＤ２０８の記憶内容の詳細を示す。ＨＤＤ２０８は、第１の実施形態または第２の実施形態と同様の情報とプログラムを記憶している。それに加え、図２７に示す複数位置処理プログラム２５２が記憶されている。複数位置処理プログラム２５２は、入力位置の候補である複数の暫定位置から最終的な入力位置を決定するためのプログラムである。複数位置処理プログラム２５２は、最終的な入力位置として複数の暫定位置により決定される重心位置を最終的な入力位置と決定する。重心位置の座標値は、図８に示すようなＸ軸及びＹ軸の座標値により決定される。接触部分の重心位置は、接触部分に含まれる各画素の座標値のＸ座標の座標値の総和と、Ｙ座標の座標値の総和とを、その接触部分に含まれる画素の総和、つまり接触部分の接触面積で割ったものが、接触部分の重心位置の座標値として決定される。 The electrical configuration of Modification 2 is the same as the electrical configuration of the first embodiment shown in FIG. 4 or the electrical configuration of the second embodiment shown in FIG. FIG. 25 shows details of the contents stored in the HDD 208. The HDD 208 stores the same information and program as in the first embodiment or the second embodiment. In addition, a multi-position processing program 252 shown in FIG. 27 is stored. The multi-position processing program 252 is a program for determining a final input position from a plurality of temporary positions that are input position candidates. The multiple position processing program 252 determines the center of gravity position determined by the multiple provisional positions as the final input position as the final input position. The coordinate value of the center of gravity position is determined by the coordinate values of the X axis and the Y axis as shown in FIG. The barycentric position of the contact portion is obtained by calculating the sum of the coordinate values of the X coordinates and the sum of the coordinate values of the Y coordinates of the pixels included in the contact portion as the sum of the pixels included in the contact portion, that is, the contact portion. Divided by the contact area is determined as the coordinate value of the center of gravity position of the contact portion.
図２６は、変形例２のメイン動作の処理手順を示すフローチャートである。ステップＳ５０７で実行される複数位置処理２５２を図２７のフローチャートを参照して説明する。ステップＳ５０１とステップＳ５０２とは、図６に示すステップＳ１０１とステップＳ１０２と同じである。ステップＳ５０３では、接触検出プログラムが実行される。ステップＳ５０３では、第１の実施形態で説明した図９に示す接触検出のフローチャートにおけるステップＳ２０１からステップＳ２１３までの処理が実行される。このステップＳ５０３において、接触部分の接触面積と接触部分の入力位置または暫定位置とが決定される。ステップＳ５０７では、図２７に示す複数位置処理プログラム２５２のステップＳ６０１が実行される。ステップＳ６０１では、ステップＳ５０３で決定された複数の接触部分に関する複数の暫定位置に基づいて決定される１つの重心位置が、最終的な入力位置として決定される。決定された重心位置の座標値がメモリ６またはメモリ１０６に一時記憶される。 FIG. 26 is a flowchart illustrating a processing procedure of the main operation of the second modification. The multi-position process 252 executed in step S507 will be described with reference to the flowchart of FIG. Step S501 and step S502 are the same as step S101 and step S102 shown in FIG. In step S503, a contact detection program is executed. In step S503, the processing from step S201 to step S213 in the flowchart of contact detection shown in FIG. 9 described in the first embodiment is executed. In step S503, the contact area of the contact portion and the input position or provisional position of the contact portion are determined. In step S507, step S601 of the multi-position processing program 252 shown in FIG. 27 is executed. In step S601, one center-of-gravity position determined based on a plurality of provisional positions related to a plurality of contact portions determined in step S503 is determined as a final input position. The coordinate value of the determined center-of-gravity position is temporarily stored in the memory 6 or the memory 106.
暫定位置が１つのみで、ステップＳ５０３及びステップＳ５０４（ＮＯの場合）において、その１つの暫定位置が入力位置として決定された場合、ステップ５０８で決定された入力位置に応じた処理が決定される。また、ステップＳ５０４（ＹＥＳの場合）において、複数の暫定位置が存在し、その複数の暫定位置の中からステップＳ６０１で入力位置として決定された場合、ステップ６０１で決定された入力位置に応じた処理が決定される。決定された処理に関係する表示情報などがＨＤＤ８またはＨＤＤ１０８から読み出されて、読み出された表示情報に従って液晶ディスプレイ４または液晶ディスプレイ１０４が情報を表示する。 If there is only one provisional position and that one provisional position is determined as the input position in step S503 and step S504 (in the case of NO), processing corresponding to the input position determined in step 508 is determined. . In step S504 (in the case of YES), when there are a plurality of provisional positions and the input positions are determined from the plurality of provisional positions in step S601, the process corresponding to the input positions determined in step 601 is performed. Is determined. Display information related to the determined process is read from the HDD 8 or the HDD 108, and the liquid crystal display 4 or the liquid crystal display 104 displays information according to the read display information.
＜変形例３＞
次に、第１の実施形態と第２の実施形態との変形例２における複数位置処理の変形例３について、添付図面を参照して以下に説明する。<Modification 3>
Next, Modification 3 of the multi-position process in Modification 2 of the first embodiment and the second embodiment will be described below with reference to the accompanying drawings.
変形例３の電気的構成は、上記の変形例２と同様に、図４または図１８に示す電気的構成のいずれかの構成と同じ構成である。図２８は、ＨＤＤ３０８に記憶されているデータ及びプログラムを示す。ＨＤＤ３０８は、第１の実施形態または第２の実施形態と同様の情報及びプログラムを記憶している。さらに、変形例３では、ＨＤＤ３０８は、複数位置処理プログラム３５３と、表示位置情報３４７とを記憶している。複数位置処理プログラム３５３は、入力位置の候補である複数の暫定位置から最終的な入力位置を決定するためのプログラムである。表示位置情報３４７は、液晶ディスプレイ４または液晶ディスプレイ１０４により表示されている選択項目が透明フレーム３または透明フレーム１０３上に位置する選択項目表示位置の情報である。 The electrical configuration of Modification 3 is the same as that of any of the electrical configurations shown in FIG. 4 or FIG. 18, as in Modification 2 above. FIG. 28 shows data and programs stored in the HDD 308. The HDD 308 stores information and programs similar to those in the first embodiment or the second embodiment. Further, in Modification 3, the HDD 308 stores a multi-position processing program 353 and display position information 347. The multi-position processing program 353 is a program for determining a final input position from a plurality of provisional positions which are input position candidates. The display position information 347 is information on the selection item display position where the selection item displayed on the liquid crystal display 4 or the liquid crystal display 104 is located on the transparent frame 3 or the transparent frame 103.
図２９は、第２の実施形態の変形例２における複数位置処理の変形例３の処理手順を示すフローチャートである。変形例３では、図３０に示すように、選択項目が液晶ディスプレイ４または液晶ディスプレイ１０４の画面に表示される。変形例３では、まず、ステップ７０１が実行される。ステップ７０１では、ステップ５０３で決定された複数の接触部分に関する複数の暫定位置と、透明フレーム３または透明フレーム１０３上での選択項目表示位置との比較が行われる。図３０を参照して、詳細に説明する。図１５に示すように、複数の接触部分に関する複数の暫定位置が、メモリ６またはメモリ１０６に記憶されていることから、接触位置１の座標値（１００，２５５）、接触位置２の座標値（３２０、１２８）、接触位置３の座標値（２９８、６５）といった透明フレーム３における接触部分の位置座標が読み出される。図３０で示すように、選択項目表示位置を表す表示位置情報３４７が、ＨＤＤ３０８から読み出される。Ｍｅｎｕ１の選択項目表示位置の座標値として、Ｘ座標の値が２０以上２８０以下、Ｙ座標の値が２４０以上３６０以下であるといった表示位置情報３４７がＨＤＤ３０８から読み出される。また、Ｍｅｎｕ２の選択項目表示位置の座標値として、Ｘ座標の値が３２０以上５８０以下、Ｙ座標の値が２４０以上３６０以下であるといった表示位置情報３４７が読み出される。Ｍｅｎｕ３の選択項目表示位置の座標値として、Ｘ座標の値が２０以上２８０以下、Ｙ座標の値が４０以上１６０以下であるといった表示位置情報３４７がＨＤＤ３０８から読み出される。Ｍｅｎｕ４の選択項目表示位置の座標値として、Ｘ座標の値が３２０以上５８０以下、Ｙ座標の値が４０以上１６０以下であるといった表示位置情報３４７がＨＤＤ３０８から読み出される。接触部分の位置座標と表示位置情報とを比較することにより、接触位置１がＭｅｎｕ１の位置と、接触位置２がＭｅｎｕ４の位置と一致していると決定される。接触位置３は、Ｍｅｎｕ１からＭｅｎｕ４のいずれにも一致しないと決定される。 FIG. 29 is a flowchart illustrating a processing procedure of Modification 3 of the multi-position process in Modification 2 of the second embodiment. In the third modification, the selection items are displayed on the screen of the liquid crystal display 4 or the liquid crystal display 104 as shown in FIG. In the third modification, first, step 701 is executed. In step 701, the plurality of provisional positions related to the plurality of contact portions determined in step 503 are compared with the selection item display positions on the transparent frame 3 or the transparent frame 103. This will be described in detail with reference to FIG. As shown in FIG. 15, since a plurality of temporary positions related to a plurality of contact portions are stored in the memory 6 or the memory 106, the coordinate values (100, 255) of the contact position 1 and the coordinate values (100) of the contact position 2 ( 320, 128), and the coordinate value (298, 65) of the contact position 3, the position coordinates of the contact portion in the transparent frame 3 are read out. As shown in FIG. 30, display position information 347 representing the selection item display position is read from the HDD 308. Display position information 347 such that the X coordinate value is 20 or more and 280 or less and the Y coordinate value is 240 or more and 360 or less is read from the HDD 308 as the coordinate value of the menu 1 selection item display position. Further, display position information 347 such as an X coordinate value of 320 to 580 and a Y coordinate value of 240 to 360 is read as the coordinate value of the menu 2 selection item display position. Display position information 347 such as an X coordinate value of 20 or more and 280 or less and a Y coordinate value of 40 or more and 160 or less is read from the HDD 308 as the coordinate value of the menu 3 selection item display position. As the coordinate value of the menu 4 selection item display position, display position information 347 such as an X coordinate value of 320 to 580 and a Y coordinate value of 40 to 160 is read from the HDD 308. By comparing the position coordinates of the contact portion and the display position information, it is determined that the contact position 1 matches the position of Menu 1 and the contact position 2 matches the position of Menu 4. The contact position 3 is determined not to match any of Menu1 to Menu4.
ステップＳ７０２では、前記暫定位置と前記選択項目表示位置とが一致した選択項目のみが、再度の入力が可能な選択項目として決定される。図３１及び図３２は、前記暫定位置と前記選択項目表示位置とが一致した選択項目のみが、再度の入力が可能な選択項目と決定されて画面に表示された２つの例を示す。図３１は、接触部分の暫定位置と透明フレーム３または透明フレーム１０３上の選択項目表示位置とが一致した選択項目であるＭｅｎｕ１とＭｅｎｕ４のみが、再度の入力が可能な選択項目として表示されている例を示している。また図３２は、接触部分の暫定位置と透明フレーム３または透明フレーム１０３上の選択項目表示位置とが一致しなかった選択項目の表示色が変えられ、再度の入力が不可能な選択項目として表示されている例を示している。 In step S <b> 702, only selection items whose provisional position matches the selection item display position are determined as selection items that can be input again. FIG. 31 and FIG. 32 show two examples in which only the selection item in which the provisional position matches the selection item display position is determined as a selection item that can be input again and displayed on the screen. In FIG. 31, only Menu 1 and Menu 4 which are selection items in which the provisional position of the contact portion matches the selection item display position on the transparent frame 3 or the transparent frame 103 are displayed as selection items that can be input again. An example is shown. Further, FIG. 32 shows the selection item whose display position of the contact portion and the selection item display position on the transparent frame 3 or the transparent frame 103 do not coincide with each other, and is displayed as a selection item that cannot be input again. An example is shown.
ステップＳ７０３では、接触検出プログラム３４９が実行される。再度の入力が可能な選択項目のみがユーザの体の一部により接触される。接触部分の暫定位置と接触部分の面積が決定される。 In step S703, the contact detection program 349 is executed. Only selection items that can be input again are touched by a part of the user's body. The provisional position of the contact portion and the area of the contact portion are determined.
ステップＳ７０４では、接触位置が複数あるかが判定される。接触位置が複数ある場合はステップＳ７０１へ戻り、暫定位置が１つに決定されるとステップＳ５０８へ進む。ステップＳ７０４で暫定位置が１つに決定されるまで、ステップＳ７０１からＳステップ７０４の処理は繰り返される。 In step S704, it is determined whether there are a plurality of contact positions. If there are a plurality of contact positions, the process returns to step S701, and if one provisional position is determined, the process proceeds to step S508. Until the provisional position is determined to be one in step S704, the processing from step S701 to step S704 is repeated.
＜変形例４＞
第１の実施形態または第２の実施形態の変形例２における複数位置処理の変形例４について説明する。接触部分における暫定位置が複数あると判定された場合、複数の暫定位置が全て入力位置と決定されても良い。複数の入力位置に対応する処理が全て実行される処理であっても良い。または、接触部分における暫定位置が複数あると判定された場合、接触がなかったとして処理を行っても良い。<Modification 4>
A modification 4 of the multi-position process in the modification 2 of the first embodiment or the second embodiment will be described. When it is determined that there are a plurality of temporary positions in the contact portion, all of the plurality of temporary positions may be determined as input positions. A process in which all processes corresponding to a plurality of input positions are executed may be used. Alternatively, when it is determined that there are a plurality of provisional positions in the contact portion, the processing may be performed assuming that there is no contact.
＜変形例５＞
第１の実施形態または第２の実施形態に、図２２に示すユーザ撮影モードが付け加えられても良い。<Modification 5>
The user shooting mode shown in FIG. 22 may be added to the first embodiment or the second embodiment.
＜変形例６＞
ＣＣＤカメラ７またはＣＣＤカメラ１０７は、カラー画像の撮影が可能なカメラ以外にモノクロ画像のみ撮影が可能なカメラでも良い。また、ＣＭＯＳカメラ、ビデオカメラ、スチールカメラや広角カメラなどが使用されても良い。<Modification 6>
The CCD camera 7 or the CCD camera 107 may be a camera capable of capturing only a monochrome image in addition to a camera capable of capturing a color image. In addition, a CMOS camera, a video camera, a still camera, a wide-angle camera, or the like may be used.
＜変形例７＞
ＣＣＤカメラ７またはＣＣＤカメラ１０７は、図１または図１７に示す液晶ディスプレイ４または液晶ディスプレイ１０４の鉛直方向における上方位置以外の場所に設置される構成でも良い。例えば、図１における液晶ディスプレイ４の下方位置、図２における液晶ディスプレイ４の右方位置または左方位置に設置されても良い。図３３は、接触部分が撮影される際、鏡４０５による反射を利用する変形例を示す。鏡４０５を使用することにより、本明細書に記載した位置以外の位置にＣＣＤカメラ７またはＣＣＤカメラ１０７が設置されることも可能である。<Modification 7>
The CCD camera 7 or the CCD camera 107 may be installed at a location other than the upper position in the vertical direction of the liquid crystal display 4 or the liquid crystal display 104 shown in FIG. For example, it may be installed at a lower position of the liquid crystal display 4 in FIG. 1, or at a right position or a left position of the liquid crystal display 4 in FIG. FIG. 33 shows a modification in which reflection by the mirror 405 is used when a contact portion is photographed. By using the mirror 405, the CCD camera 7 or the CCD camera 107 can be installed at a position other than the position described in this specification.
＜変形例８＞
サーボモータ９またはサーボモータ１０９の代わりに、ソレノイドによって角度が変更されても良い。<Modification 8>
Instead of the servo motor 9 or the servo motor 109, the angle may be changed by a solenoid.
＜変形例９＞
透明フレーム３または透明フレーム１０３の材料は、透明な材料であり、且つ、容易に様々な形状に加工が可能な材料であるならば何でも良い。たとえば、熱可塑性樹脂であるアクリル、ポリカーボネートは透明であり、かつ、様々な形状に成形し易いため本実施の形態の透明部材の材料として適している。ＰＥＴにより透明部材が作られることで安価に透明部材を作ることが可能となる。また、ガラスで作られても良い。本発明により接触を検出するために透明電極の蒸着が不要となる。そのため、プラスチックに代表される透明な熱可塑性樹脂全般が使用可能である。<Modification 9>
The material of the transparent frame 3 or the transparent frame 103 may be anything as long as it is a transparent material and can be easily processed into various shapes. For example, acrylic and polycarbonate, which are thermoplastic resins, are transparent and can be easily molded into various shapes, and thus are suitable as materials for the transparent member of the present embodiment. Since the transparent member is made of PET, the transparent member can be made at low cost. It may also be made of glass. According to the present invention, it is not necessary to deposit a transparent electrode in order to detect contact. Therefore, general transparent thermoplastic resins represented by plastics can be used.
＜変形例１０＞
透明フレーム３または透明フレーム１０３は用途に応じて曲面以外の形状であっても良い。例えば、平面のみから構成される形状、平面と曲面の両方を有する形状から構成されても良い。<Modification 10>
The transparent frame 3 or the transparent frame 103 may have a shape other than a curved surface depending on the application. For example, you may comprise from the shape comprised only from a plane, and the shape which has both a plane and a curved surface.
＜変形例１１＞
表示部が液晶ディスプレイ以外でも良い。例えば、画像信号に従って映像を表示するＣＲＴディスプレイや、プラズマディスプレイ、有機ＥＬディスプレイを用いても良い。また、画像信号に従って映像を表示するディスプレイではなく、単に情報が印刷されている紙を用いて表示が行われても良い。上述したディスプレイにインターネットを介してＷｅｂ上の情報が表示されても良い。インターネットを用いることで、ディスプレイに表示可能な情報の種類が多くなる。<Modification 11>
The display unit may be other than the liquid crystal display. For example, a CRT display that displays an image according to an image signal, a plasma display, or an organic EL display may be used. Further, instead of a display that displays an image according to an image signal, display may be performed using paper on which information is printed. Information on the Web may be displayed on the above-described display via the Internet. By using the Internet, the types of information that can be displayed on the display increase.
＜変形例１２＞
第１の実施形態と第２の実施形態では、接触部分における暫定位置が１点に決定されている。暫定位置が１点に定められず、接触部分の全てが暫定位置または入力位置と決定されても良い。図３４は、１つの接触部分に対して、複数の入力位置が存在する例を示す。図３４は、選択項目であるＭｅｎｕ１とＭｅｎｕ２とが表示されている画面を示す。選択項目であるＭｅｎｕ１とＭｅｎｕ２との両者の上に、ユーザの体の一部により接触された楕円形状の接触部分が位置していることが、ＣＣＤカメラ７により撮影されている。接触部分の全てが入力位置と決定されるため、図３４に示す接触部分の全てが入力位置と決定される。そのため、選択項目のＭｅｎｕ１とＭｅｎｕ２との両方が接触されたと判別される。<Modification 12>
In the first embodiment and the second embodiment, the provisional position in the contact portion is determined as one point. The temporary position may not be determined as one point, and all the contact portions may be determined as the temporary position or the input position. FIG. 34 shows an example in which a plurality of input positions exist for one contact portion. FIG. 34 shows a screen on which the menu items Menu1 and Menu2 are displayed. It is photographed by the CCD camera 7 that an elliptical contact portion that is in contact with a part of the user's body is positioned on both of the selection items Menu1 and Menu2. Since all of the contact portions are determined as the input positions, all of the contact portions shown in FIG. 34 are determined as the input positions. Therefore, it is determined that both of the selection items Menu1 and Menu2 are touched.
＜変形例１３＞
ステップＳ２１０で包含される図形は正方形や長方形以外の四角形でも良い。例えば、台形などでも良い。<Modification 13>
The figure included in step S210 may be a square other than a square or a rectangle. For example, a trapezoid may be used.
＜変形例１４＞
図９に示すＳステップ２１０における接触部分の暫定位置の決定は、接触面積の重心位置としてもよい。本明細書中における重心位置の座標値は、図８または図３０に示すように、Ｘ軸およびＹ軸の座標値により決定される。接触部分の重心位置の座標値は、接触部分に含まれる各画素の座標値のＸ座標の座標値の総和と、Ｙ座標の座標値の総和とを、接触部分に含まれる画素の総和、つまり本願明細書における接触部分の接触面積で割ることにより、求められる。本明細書における実施形態では、撮影した画像の最も左下の画素の位置が原点と定義されたが、左下に限定されるものではない。例えば、原点の位置は画像の最も右上、もしくは画像の中心位置を原点として任意に設定されても良い。また本実施形態では１画素を１座標値としているが、１画素を１座標値と限定されるものではない。例えば、２画素を１座標値のように適宜変更されても良い。１座標値が任意の画素数により決定されても良い。<Modification 14>
The provisional position of the contact portion in S step 210 shown in FIG. 9 may be determined as the position of the center of gravity of the contact area. The coordinate value of the center of gravity position in this specification is determined by the coordinate values of the X axis and the Y axis, as shown in FIG. 8 or FIG. The coordinate value of the barycentric position of the contact portion is obtained by calculating the sum of the coordinate values of the X coordinate and the sum of the coordinate values of the Y coordinate of each pixel included in the contact portion, that is, the sum of the pixels included in the contact portion, that is, It is calculated | required by dividing by the contact area of the contact part in this-application specification. In the embodiment of the present specification, the position of the lower left pixel of the captured image is defined as the origin, but is not limited to the lower left. For example, the position of the origin may be arbitrarily set with the uppermost position of the image or the center position of the image as the origin. In this embodiment, one pixel is set as one coordinate value, but one pixel is not limited to one coordinate value. For example, two pixels may be appropriately changed as one coordinate value. One coordinate value may be determined by an arbitrary number of pixels.
＜変形例１５＞
本明細書における図９に示す接触位置検出に関するフローチャートでは、ステップＳ２０４からステップＳ２０９の処理については全て実行されている。必要でなければステップＳ２０４とステップＳ２０５、ステップＳ２０６とステップＳ２０７、またはステップＳ２０８とステップＳ２０９の処理は、それぞれ実行されなくても良い。<Modification 15>
In the flowchart relating to the contact position detection shown in FIG. 9 in this specification, the processes from step S204 to step S209 are all executed. If not necessary, the processes of step S204 and step S205, step S206 and step S207, or step S208 and step S209 may not be executed.
＜変形例１６＞
図１または図１７に示すようにＣＰＵ５またはＣＰＵ１０５、メモリ６またはメモリ１０６、ＨＤＤ８またはＨＤＤ１０８が本装置の全体フレーム２または全体フレーム１０２の内部に備えられていない構成でも良い。例えば、外部サーバに画像データを送信して、外部サーバに備えられているＣＰＵやメモリ、ＨＤＤを用いて処理が行われることも可能である。その場合、全体フレーム２または全体フレーム１０２の内部にインターネットを介して外部サーバに対してデータを送受信するための装置が必要となる。<Modification 16>
As shown in FIG. 1 or FIG. 17, the CPU 5 or the CPU 105, the memory 6 or the memory 106, the HDD 8 or the HDD 108 may not be provided in the entire frame 2 or the entire frame 102 of this apparatus. For example, image data can be transmitted to an external server, and processing can be performed using a CPU, memory, or HDD provided in the external server. In that case, an apparatus for transmitting / receiving data to / from an external server via the Internet is required inside the entire frame 2 or the entire frame 102.
＜変形例１７＞
ＣＣＤカメラ７またはＣＣＤカメラ１０７により撮影が行われるタイミングは、明細書に記載してある実施形態及び変形例では１秒ごとである。撮影を行うタイミングは１秒ごとに限定されず、例えば０．１秒ごともしくは２秒ごとといった任意のタイミングにより撮影を行っても良い。<Modification 17>
The timing at which shooting is performed by the CCD camera 7 or the CCD camera 107 is every second in the embodiment and the modification described in the specification. Shooting timing is not limited to every second, and shooting may be performed at an arbitrary timing such as every 0.1 seconds or every 2 seconds.
＜変形例１８＞
本明細書における接触部分の大きさとして接触面積を用いている。接触部分の大きさとして、接触部分の形状を包含し、且つ、接触部分と接する長方形または正方形の４辺の長さを用いて決定しても良い。接触部分の形状の外周を接触部分の大きさとしても良い。<Modification 18>
In this specification, the contact area is used as the size of the contact portion. The size of the contact portion may be determined using the length of four sides of a rectangle or square that includes the shape of the contact portion and is in contact with the contact portion. The outer periphery of the shape of the contact portion may be the size of the contact portion.
＜変形例１９＞
本明細書における接触体として、長尺の部材の端に柔軟性のある素材を付けた専用のペンなどを用いても良い。<Modification 19>
As the contact body in the present specification, a dedicated pen or the like in which a flexible material is attached to the end of a long member may be used.
＜変形例２０＞
本明細書における接触入力型の情報処理装置１、１０１、４０１は、表示部により表示される情報の選択（表示された情報に対応する処理の決定）と選択された情報に対応する処理の実行とを行っている。接触入力型の情報処理装置１、１０１、４０１は、表示部により表示される情報の選択のみを行い、選択された情報に対応する処理の実行を別の機器により実行される構成でも良い。例えば、接触入力型の情報処理装置と直接電気的に接続された別機器が処理を実行する構成でも良い。また、接触入力型の情報処理装置がインターネットに接続され、ネットワーク上に接続されている別機器により処理が実行される構成でも良い。<Modification 20>
The contact input type information processing apparatuses 1, 101, 401 in this specification select information displayed on the display unit (determination of a process corresponding to the displayed information) and execute a process corresponding to the selected information. And go. The contact input type information processing apparatuses 1, 101, and 401 may be configured such that only the information displayed on the display unit is selected and the processing corresponding to the selected information is executed by another device. For example, a configuration in which processing is performed by another device that is directly electrically connected to the contact input type information processing apparatus may be employed. Further, a configuration in which a contact input type information processing apparatus is connected to the Internet and processing is executed by another device connected on the network may be employed.
１、１０１、４０１ 接触入力型の情報処理装置
２、１０２、４０２ 全体フレーム
３、１０３、４０３ 透明フレーム
４、１０４、４０４ 液晶ディスプレイ
５、１０５ ＣＰＵ
６、１０６ メモリ
７、１０７ ＣＣＤカメラ
８、１０８、２０８、３０８ ＨＤＤ
９、１０９ サーボモータ
１０、１１０、４０６ 支持スタンド
１１ カム
１３、１１４ 暫定位置
１４、１１５ 入力位置
１５、１１６ 接触面積
１２、３１、３２、３４、１１３ 撮影画像データ
３３ 差分画像データ
３５、３６ 接触部分
３７ 画素
３８ 接触部分の画素
４１、１４１、２４１、３４１ プログラム
４２、１４２、２４２、３４２ 色情報
４３、１４３、２４３、３４３ 表示情報
４４、１４４、２４４、３４４ 接触部分の大きさ情報
４５、１４７、２４７、３４８ メインプログラム
４６、１４８、２４８、３４９ 接触検出プログラム
４７、１４９、２４９、３５０ 処理決定プログラム
４８、１５２、２５３、３５４ 接触部分色情報
４９、１５３、２５４、３５５ 初期表示情報
１１１ 音声入力装置
１１２ 音声出力装置
１１７ 音声入力情報
１４５、２４５、３４５ ユーザの顔情報
１４６、２４６、３４６ 音声出力情報
１５０、２５０、３５１ ユーザ撮影モードプログラム
１５１、２５１、３５２ 音声入出力プログラム
２５２、３５３ 複数位置処理プログラム
３４７ 表示位置情報
４０５ 鏡1, 101, 401 Contact input type information processing device 2, 102, 402 Whole frame 3, 103, 403 Transparent frame 4, 104, 404 Liquid crystal display 5, 105 CPU
6, 106 Memory 7, 107 CCD camera 8, 108, 208, 308 HDD
9, 109 Servo motor 10, 110, 406 Support stand 11 Cam 13, 114 Temporary position 14, 115 Input position 15, 116 Contact area 12, 31, 32, 34, 113 Captured image data 33 Differential image data 35, 36 Contact portion 37 pixels 38 pixels in contact part 41, 141, 241, 341 program 42, 142, 242, 342 color information 43, 143, 243, 343 display information 44, 144, 244, 344 contact part size information 45, 147, 247, 348 Main program 46, 148, 248, 349 Contact detection program 47, 149, 249, 350 Processing decision program 48, 152, 253, 354 Contact color information 49, 153, 254, 355 Initial display information 111 Voice input device 112 Audio output device 117 Voice input information 145, 245, 345 User face information 146, 246, 346 Voice output information 150, 250, 351 User shooting mode program 151, 251, 352 Voice input / output program 252, 353 Multiple position processing program 347 Display position information 405 mirror
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008060624AJP4670879B2 (en) | 2008-03-11 | 2008-03-11 | Contact input type information processing apparatus, contact input type information processing method, and information processing program |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008060624AJP4670879B2 (en) | 2008-03-11 | 2008-03-11 | Contact input type information processing apparatus, contact input type information processing method, and information processing program |
| Publication Number | Publication Date |
|---|---|
| JP2009217543A JP2009217543A (en) | 2009-09-24 |
| JP4670879B2true JP4670879B2 (en) | 2011-04-13 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008060624AExpired - Fee RelatedJP4670879B2 (en) | 2008-03-11 | 2008-03-11 | Contact input type information processing apparatus, contact input type information processing method, and information processing program |
| Country | Link |
|---|---|
| JP (1) | JP4670879B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9417754B2 (en) | 2011-08-05 | 2016-08-16 | P4tents1, LLC | User interface system, method, and computer program product |
| WO2013169842A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for selecting object within a group of objects |
| CN108958550B (en) | 2012-05-09 | 2021-11-12 | 苹果公司 | Device, method and graphical user interface for displaying additional information in response to user contact |
| CN108241465B (en) | 2012-05-09 | 2021-03-09 | 苹果公司 | Method and apparatus for providing haptic feedback for operations performed in a user interface |
| WO2013169865A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input |
| HK1208275A1 (en) | 2012-05-09 | 2016-02-26 | 苹果公司 | Device, method, and graphical user interface for moving and dropping a user interface object |
| WO2013169845A1 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for scrolling nested regions |
| WO2013169843A1 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for manipulating framed graphical objects |
| AU2013259630B2 (en) | 2012-05-09 | 2016-07-07 | Apple Inc. | Device, method, and graphical user interface for transitioning between display states in response to gesture |
| EP3410287B1 (en) | 2012-05-09 | 2022-08-17 | Apple Inc. | Device, method, and graphical user interface for selecting user interface objects |
| EP2847662B1 (en) | 2012-05-09 | 2020-02-19 | Apple Inc. | Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object |
| WO2013169851A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for facilitating user interaction with controls in a user interface |
| WO2013169875A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for displaying content associated with a corresponding affordance |
| WO2013169849A2 (en) | 2012-05-09 | 2013-11-14 | Industries Llc Yknots | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
| KR101755029B1 (en) | 2012-12-29 | 2017-07-06 | 애플 인크. | Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture |
| KR102001332B1 (en) | 2012-12-29 | 2019-07-17 | 애플 인크. | Device, method, and graphical user interface for determining whether to scroll or select contents |
| WO2014105276A1 (en) | 2012-12-29 | 2014-07-03 | Yknots Industries Llc | Device, method, and graphical user interface for transitioning between touch input to display output relationships |
| CN105264479B (en) | 2012-12-29 | 2018-12-25 | 苹果公司 | Apparatus, method and graphical user interface for navigating a user interface hierarchy |
| CN105144057B (en) | 2012-12-29 | 2019-05-17 | 苹果公司 | For moving the equipment, method and graphic user interface of cursor according to the cosmetic variation of the control icon with simulation three-dimensional feature |
| WO2014105279A1 (en) | 2012-12-29 | 2014-07-03 | Yknots Industries Llc | Device, method, and graphical user interface for switching between user interfaces |
| JP2017510879A (en)* | 2014-01-28 | 2017-04-13 | ▲華▼▲為▼終端有限公司Ｈｕａｗｅｉ Ｄｅｖｉｃｅ Ｃｏ．， Ｌｔｄ． | Method and terminal device for processing a terminal device |
| US10095396B2 (en) | 2015-03-08 | 2018-10-09 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
| US10048757B2 (en) | 2015-03-08 | 2018-08-14 | Apple Inc. | Devices and methods for controlling media presentation |
| US9632664B2 (en) | 2015-03-08 | 2017-04-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US9990107B2 (en) | 2015-03-08 | 2018-06-05 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying and using menus |
| US9645732B2 (en) | 2015-03-08 | 2017-05-09 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying and using menus |
| US9785305B2 (en) | 2015-03-19 | 2017-10-10 | Apple Inc. | Touch input cursor manipulation |
| US9639184B2 (en) | 2015-03-19 | 2017-05-02 | Apple Inc. | Touch input cursor manipulation |
| US10152208B2 (en) | 2015-04-01 | 2018-12-11 | Apple Inc. | Devices and methods for processing touch inputs based on their intensities |
| US20170045981A1 (en) | 2015-08-10 | 2017-02-16 | Apple Inc. | Devices and Methods for Processing Touch Inputs Based on Their Intensities |
| US10346030B2 (en) | 2015-06-07 | 2019-07-09 | Apple Inc. | Devices and methods for navigating between user interfaces |
| US9891811B2 (en) | 2015-06-07 | 2018-02-13 | Apple Inc. | Devices and methods for navigating between user interfaces |
| US10200598B2 (en) | 2015-06-07 | 2019-02-05 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US9830048B2 (en) | 2015-06-07 | 2017-11-28 | Apple Inc. | Devices and methods for processing touch inputs with instructions in a web page |
| US9674426B2 (en) | 2015-06-07 | 2017-06-06 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US9860451B2 (en) | 2015-06-07 | 2018-01-02 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US10235035B2 (en) | 2015-08-10 | 2019-03-19 | Apple Inc. | Devices, methods, and graphical user interfaces for content navigation and manipulation |
| US10248308B2 (en) | 2015-08-10 | 2019-04-02 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures |
| US9880735B2 (en) | 2015-08-10 | 2018-01-30 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10416800B2 (en) | 2015-08-10 | 2019-09-17 | Apple Inc. | Devices, methods, and graphical user interfaces for adjusting user interface objects |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07230352A (en)* | 1993-09-16 | 1995-08-29 | Hitachi Ltd | Touch position detection device and touch instruction processing device |
| JP2004046311A (en)* | 2002-07-09 | 2004-02-12 | Nippon Telegr & Teleph Corp <Ntt> | Gesture input method and apparatus in three-dimensional virtual space |
| JP2004252676A (en)* | 2003-02-19 | 2004-09-09 | Seiko Epson Corp | Electro-optical panel with touch panel, touch panel, method of manufacturing electro-optical panel with touch panel, method of manufacturing touch panel, electro-optical device, and electronic apparatus |
| JP2007141177A (en)* | 2005-11-22 | 2007-06-07 | Tokai Rika Co Ltd | Operation input device |
| Publication number | Publication date |
|---|---|
| JP2009217543A (en) | 2009-09-24 |
| Publication | Publication Date | Title |
|---|---|---|
| JP4670879B2 (en) | Contact input type information processing apparatus, contact input type information processing method, and information processing program | |
| JP7262659B2 (en) | Target object matching method and device, electronic device and storage medium | |
| US9542044B2 (en) | Multi-touch positioning method and multi-touch screen | |
| KR20210113612A (en) | Method and device for detecting face and hands in relation to them, electronic devices and storage media | |
| JP5741079B2 (en) | Image generating apparatus and projector | |
| KR20210028218A (en) | Image processing methods and devices, electronic devices and storage media | |
| CN105229582A (en) | Gesture detection based on proximity sensor and image sensor | |
| EP2364013A2 (en) | Information processing apparatus, method and program for imaging device | |
| JP4915367B2 (en) | Display imaging apparatus and object detection method | |
| JP7266667B2 (en) | GESTURE RECOGNITION METHOD, GESTURE PROCESSING METHOD AND APPARATUS | |
| US9600712B2 (en) | Method and apparatus for processing digital images using face recognition | |
| EP3062506B1 (en) | Image switching method and apparatus | |
| JPWO2016063736A1 (en) | Operation device, information processing device including operation device, and operation reception method for information processing device | |
| CN111339880A (en) | Target detection method and device, electronic equipment and storage medium | |
| EP2529805B1 (en) | Information processing apparatus, information processing method, and program, which upon display of an image take into account the position of a physical object placed on the display | |
| CN112437231B (en) | Image shooting method and device, electronic equipment and storage medium | |
| JP7293362B2 (en) | Imaging method, device, electronic equipment and storage medium | |
| US20200089323A1 (en) | Method and apparatus for interaction with virtual and real images | |
| US20170142346A1 (en) | Electronic device and image processing method thereof | |
| US20180220066A1 (en) | Electronic apparatus, operating method of electronic apparatus, and non-transitory computer-readable recording medium | |
| CN115812173B (en) | Method for dynamically displaying three-dimensional image objects in a stereoscopic display device, dynamic stereoscopic display device and computer program product | |
| US20180059811A1 (en) | Display control device, display control method, and recording medium | |
| KR100969927B1 (en) | Apparatus for touchless interactive display with user orientation | |
| JP6196790B2 (en) | Information device and control method of information device | |
| JP2009237875A (en) | Contact input type information processing unit, contact input type information processing method, and information processing program |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20100215 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20101213 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20101221 | |
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20110103 | |
| R150 | Certificate of patent or registration of utility model | Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20140128 Year of fee payment:3 | |
| LAPS | Cancellation because of no payment of annual fees |