本発明は、通信ネットワークを介して通信可能な携帯電話機や通信機能付きのパーソナルコンピュータ、ＰＤＡなどの情報通信端末に関するものである。 The present invention relates to an information communication terminal such as a mobile phone, a personal computer with a communication function, and a PDA that can communicate via a communication network.
従来、この種の情報通信端末として、所定の暗証番号を入力することにより電話の発信や通信相手先リストの使用等の機能を制限できるようにした携帯電話機が知られている。この携帯電話機では、例えば所定の設定画面で使用者が暗証番号を入力することにより、その使用者が正規の使用者か否かが確認される。そして、正しい暗証番号が入力され正規の使用者であることが確認された場合に、上記電話の発信や通信相手先リストの使用を禁止する操作禁止モードが設定される。この操作禁止モードでは、正規の使用者やその他の者が電話の発信等を行おうとしても、その操作が禁止される。上記操作禁止モードは、所定の設定画面で上記暗証番号を再度入力することにより解除することができる。
また、上記電話の発信等を遠隔的に禁止できるようにした携帯電話機も知られている（特許文献１参照）。この携帯電話機では、無線回線を介して所定回継続される呼び出しにより応答メッセージを送出し、その応答メッセージの送出中に無線回線を介して所定形式の制御信号を受信する。この制御信号に基づいてダイヤルキーの操作による発信を禁止する。これにより、携帯電話機の紛失・盗難・置き忘れの場合、悪意のある第三者による不正使用を防止することができる。
There is also known a mobile phone that can remotely prohibit the transmission of the telephone (see Patent Document 1). In this cellular phone, a response message is transmitted by a call that is continued a predetermined number of times via a wireless line, and a control signal in a predetermined format is received via the wireless line while the response message is being transmitted. Based on this control signal, the transmission by dial key operation is prohibited. Thereby, when the mobile phone is lost, stolen, or misplaced, unauthorized use by a malicious third party can be prevented.
しかしながら、上記従来の携帯電話機では、上記機能制限によって不正使用を防止できるが、携帯電話機の紛失・盗難・置き忘れの場合に不正使用者によって携帯電話機が操作されていることを正規の使用者に対して積極的に知らせることができなかった。 However, in the above conventional mobile phone, unauthorized use can be prevented by the above function limitation. However, if a mobile phone is lost, stolen, or misplaced, the unauthorized user is operating the mobile phone. I was not able to actively inform them.
本発明は以上の問題点に鑑みなされたものであり、その目的は、情報通信端末の紛失・盗難・置き忘れ等があった場合に不正使用者によって操作されていることを所定の通信先に積極的に知らせることができる情報通信端末を提供することである。 The present invention has been made in view of the above problems, and its purpose is to proactively notify a predetermined communication destination that an information communication terminal has been operated by an unauthorized user in the event of loss, theft or misplacement. It is to provide an information communication terminal that can be informed.
上記目的を達成するために、請求項１の発明は、通信ネットワークを介して通信可能な情報通信端末であって、該情報通信端末を操作する使用者の顔を撮影可能な撮像手段と、該情報通信端末の操作を検知する操作検知手段と、予め設定した不正使用対応モードの実行時に該情報通信端末の操作が検知されたとき、該情報通信端末を操作している使用者の顔を撮影し、該顔の画像データを含む情報を所定の通信先宛に送信するように制御する制御手段と、を備えたことを特徴とするものである。
この情報通信端末では、紛失・盗難・置き忘れ等があった場合において所定の不正使用対応モードに設定される。この不正使用対応モードの実行時に情報通信端末の操作が検知されると、その操作を行っている使用者は、情報通信端末の正規の使用者ではない不正使用者であるとみなされ、その使用者の顔が撮影される。そして、この撮影された不正使用者の顔の画像データを含む情報が、所定の通信先宛に送信される。このように送信される情報により、情報通信端末の紛失・盗難・置き忘れ等があった場合に不正使用者によって操作されていることを所定の通信先に積極的に知らせることができる。In order to achieve the above object, the invention of claim 1 is an information communication terminal capable of communicating via a communication network, the imaging means capable of photographing the face of a user who operates the information communication terminal, An operation detecting means for detecting an operation of the information communication terminal and a face of the user who is operating the information communication terminal when the operation of the information communication terminal is detected during execution of the preset unauthorized use mode. And control means for controlling to transmit information including the face image data to a predetermined communication destination.
In this information communication terminal, when there is loss, theft, misplacement, etc., a predetermined unauthorized use mode is set. If an operation of the information communication terminal is detected during execution of this unauthorized use support mode, the user performing the operation is regarded as an unauthorized user who is not an authorized user of the information communication terminal, and The person's face is photographed. Then, information including image data of the photographed image of the unauthorized user is transmitted to a predetermined communication destination. The information transmitted in this manner can actively notify a predetermined communication destination that an information communication terminal is operated by an unauthorized user when the information communication terminal is lost, stolen, misplaced, or the like.
また、請求項２の発明は、請求項１の情報通信端末において、上記操作検知手段は、上記情報通信端末の使用開始操作を検知し、上記制御手段は、該使用開始操作が検知されたときに上記顔の撮影及び上記情報の送信を実行することを特徴とするものである。
この情報通信端末では、上記使用者による使用開始操作が検知されたときに、上記顔の撮影及び上記情報の送信を行うことにより、不正使用者による情報通信端末の不正使用が開始された後、その不正使用者によって操作されていることを速やかに知らせることができる。According to a second aspect of the present invention, in the information communication terminal according to the first aspect, the operation detecting means detects a use start operation of the information communication terminal, and the control means detects the use start operation. In addition, the photographing of the face and the transmission of the information are executed.
In this information communication terminal, after an unauthorized use of the information communication terminal by the unauthorized user is started by performing the photographing of the face and transmitting the information when the use start operation by the user is detected, It is possible to promptly notify that the unauthorized user is operating.
また、請求項３の発明は、請求項１又は２の情報通信端末において、使用者の顔認識に使用される顔認識基準データを記憶する顔認識基準データ記憶手段を備え、上記制御手段は、上記撮影した顔の画像データと該顔認識基準データとの比較結果に基づいて、上記情報通信端末を操作している使用者が不正使用者であるか否かを判定し、不正使用者であると判定したときに上記情報の送信を実行することを特徴とするものである。
この情報通信端末では、正規の使用者の顔認識に使用される顔認識基準データが予め顔認識基準データ記憶手段に記憶されている。そして、情報通信端末の操作が検知されると、その使用者の顔が撮影され、この撮影された顔の画像データと、上記顔認識基準データ記憶手段に記憶されている顔認識基準データとが比較される。この比較結果に基づいて、上記操作している使用者が不正使用者であるかが自動識別されることにより、不正使用者であるか否かの判定を正確に行うことができる。従って、上記不正使用対応モードの設定中に正規の使用者が操作したときの上記情報の誤送信を回避できる。Further, the invention of claim 3 comprises face recognition reference data storage means for storing face recognition reference data used for user face recognition in the information communication terminal of claim 1 or 2, wherein the control means comprises: Based on the comparison result between the photographed face image data and the face recognition reference data, it is determined whether or not the user operating the information communication terminal is an unauthorized user. The transmission of the information is executed when it is determined that.
In this information communication terminal, face recognition reference data used for face recognition of an authorized user is stored in advance in the face recognition reference data storage means. When the operation of the information communication terminal is detected, the face of the user is photographed, and the image data of the photographed face and the face recognition reference data stored in the face recognition reference data storage means are obtained. To be compared. Based on the comparison result, whether or not the user who is operating is an unauthorized user is automatically identified, so that it is possible to accurately determine whether or not the user is an unauthorized user. Accordingly, it is possible to avoid erroneous transmission of the information when a legitimate user operates during the setting of the unauthorized use support mode.
また、請求項４の発明は、請求項１、２又は３の情報通信端末において、上記制御手段は、上記送信対象の情報を、上記撮影した顔の画像データを添付したメールとして送信することを特徴とするものである。
この情報通信端末では、上記撮影した顔の画像データが添付されて送信されたメールを、上記所定の通信先において汎用のメーラーによって受信することができる。この受信したメールの本文から、上記不正使用者によって操作されていることを容易に確認できる。また、添付の画像データを用いて顔の画像を表示することにより、不正使用者の顔を容易に確認できる。According to a fourth aspect of the present invention, in the information communication terminal according to the first, second, or third aspect, the control means transmits the information to be transmitted as an email attached with the image data of the photographed face. It is a feature.
In this information communication terminal, the mail transmitted with the photographed face image data attached thereto can be received by a general-purpose mailer at the predetermined communication destination. From the text of the received mail, it can be easily confirmed that the unauthorized user is operating. In addition, the face of an unauthorized user can be easily confirmed by displaying a face image using the attached image data.
また、請求項５の発明は、請求項１、２又は３の情報通信端末において、画像データを記憶するデータ記憶手段を備え、上記制御手段は、上記撮影した顔の画像データを該データ記憶手段に保存することを特徴とするものである。
この情報通信端末では、上記撮影した顔の画像データをデータ記憶手段に保存することにより、上記情報通信端末が正規の使用者のもとに戻ったとき、情報通信端末のデータ記憶手段から画像データを読み出して表示することにより、不正使用者の顔を容易に確認できる。The invention according to claim 5 is the information communication terminal according to claim 1, 2 or 3, further comprising data storage means for storing image data, wherein the control means stores the image data of the photographed face in the data storage means. It is characterized in that it is stored in.
In this information communication terminal, by storing the captured face image data in the data storage means, when the information communication terminal returns to the authorized user, image data is read from the data storage means of the information communication terminal. By reading out and displaying, the face of an unauthorized user can be easily confirmed.
また、請求項６の発明は、請求項１、２、３、４又は５の情報通信端末において、該情報通信端末の現在位置の位置情報を取得する位置情報取得手段を備え、上記制御手段は、上記送信対象の情報に、該情報通信端末の現在位置の位置情報を含めることを特徴とするものである。
この情報通信端末では、上記送信対象の情報に、情報通信端末の現在位置の位置情報を含めることにより、不正使用の場所の特定が容易になる。The invention of claim 6 is the information communication terminal of claim 1, 2, 3, 4 or 5, further comprising position information acquisition means for acquiring position information of the current position of the information communication terminal, wherein the control means comprises The information to be transmitted includes position information of the current position of the information communication terminal.
In this information communication terminal, by including the position information of the current position of the information communication terminal in the information to be transmitted, the location of unauthorized use can be easily identified.
また、請求項７の発明は、請求項１、２、３、４、５又は６の情報通信端末において、上記制御手段は、所定の発信者から動作モード設定を行うための電話又はメールを着信したとき、上記不正使用対応モードに設定するように制御することを特徴とするものである。
この情報通信端末では、所定の発信者から動作モード設定を行うための電話又はメールを着信したとき上記不正使用対応モードに自動的に設定されるので、不正使用対応モードのリモート設定が可能になる。The invention according to claim 7 is the information communication terminal according to claim 1, 2, 3, 4, 5 or 6, wherein the control means receives a call or mail for setting an operation mode from a predetermined caller. Then, control is performed so as to set the mode for dealing with unauthorized use.
In this information communication terminal, when the telephone or mail for setting the operation mode is received from a predetermined caller, it is automatically set to the unauthorized use support mode, so that the unauthorized use support mode can be set remotely. .
また、請求項８の発明は、請求項１、２、３、４、５、６又は７の情報通信端末において、画像表示手段を備え、上記制御手段は、上記撮像手段で撮影した上記顔の画像を該画像表示手段に表示しないように制御することを特徴とするものである。
この情報通信端末では、撮影した使用者の顔の画像を表示しないことにより、顔が撮影されていることが使用者にわかりにくくなるので、不正使用者が意識しない状態で顔の撮影に行うことができる。According to an eighth aspect of the present invention, in the information communication terminal of the first, second, third, fourth, fifth, sixth, or seventh aspect, the image communication unit includes an image display unit, and the control unit Control is performed so that the image is not displayed on the image display means.
This information communication terminal does not display the photographed user's face image, which makes it difficult for the user to know that the face has been photographed. Can do.
なお、上記「情報通信端末」には、移動体通信端末のほか、携帯型情報端末（ＰＤＡ：Personal Digital Assistance）など、通信ネットワークを介して通信可能なあらゆる情報通信端末が含まれる。また、上記移動体通信端末としては、ＰＤＣ（Personal Digital Cellular）方式、ＧＳＭ（Global System for Mobile Communication）方式、ＴＩＡ（Telecommunications Industry Association）方式等の携帯電話機、ＩＭＴ（International Mobile Telecommunications）−２０００で標準化された携帯電話機、ＴＤ−ＳＣＤＭＡ（Time Division Synchronous Code Division Multiple Access）方式の一つであるＴＤ−ＳＣＤＭＡ（ＭＣ：Multi Carrier）方式の携帯電話機、ＰＨＳ（Personal Handyphone System）などが挙げられる。
また、上記情報通信端末における処理及び制御は、これに設けられたコンピュータで所定のプログラムを実行することによって実現することもできる。このコンピュータで用いるプログラムの受け渡しは、デジタル情報としてプログラムを記録したＦＤ、ＣＤ−ＲＯＭ等の記録媒体を用いて行ってもいいし、コンピュータネットワーク等の通信ネットワークを用いて行ってもよい。Note that the “information communication terminal” includes any information communication terminal capable of communicating via a communication network, such as a mobile communication terminal and a portable information terminal (PDA: Personal Digital Assistance). In addition, as the mobile communication terminal, PDC (Personal Digital Cellular) system, GSM (Global System for Mobile Communication) system, TIA (Telecommunications Industry Association) system mobile phone, etc., standardized by IMT (International Mobile Telecommunications) -2000 Mobile phone, TD-SCDMA (MC: Multi Carrier) mobile phone, which is one of TD-SCDMA (Time Division Synchronous Code Division Multiple Access), and PHS (Personal Handyphone System).
The processing and control in the information communication terminal can also be realized by executing a predetermined program on a computer provided therein. Delivery of the program used in the computer may be performed using a recording medium such as an FD or a CD-ROM in which the program is recorded as digital information, or may be performed using a communication network such as a computer network.
請求項１の発明によれば、情報通信端末の紛失・盗難・置き忘れ等があった場合に不正使用者によって操作されていることを所定の通信先に積極的に知らせることができるという効果がある。
請求項２の発明によれば、情報通信端末の不正使用が開始された後、不正使用者によって操作されていることを速やかに知らせることができるという効果がある。
請求項３の発明によれば、上記不正使用対応モードの設定中に正規の使用者が操作したときの上記顔の画像データを含む情報の誤送信を回避できるという効果がある。
請求項４の発明によれば、上記不正使用者によって操作されていること及び不正使用者の顔を容易に確認できるという効果がある。
請求項５の発明によれば、情報通信端末のデータ記憶手段から画像データを読み出して表示することにより、不正使用者の顔を容易に確認できるという効果がある。
請求項６の発明によれば、不正使用の場所の特定が容易になるという効果がある。
請求項７の発明によれば、不正使用対応モードのリモート設定が可能になるという効果がある。
請求項８の発明によれば、不正使用者が意識しない状態で顔の撮影に行うことができるという効果がある。According to the first aspect of the invention, there is an effect that it is possible to positively notify a predetermined communication destination that an information communication terminal is operated by an unauthorized user when the information communication terminal is lost, stolen, misplaced, or the like. .
According to the second aspect of the present invention, after the unauthorized use of the information communication terminal is started, there is an effect that it is possible to promptly notify that the unauthorized user is operating.
According to the third aspect of the present invention, there is an effect that it is possible to avoid erroneous transmission of information including the face image data when a regular user operates during the setting of the unauthorized use support mode.
According to the invention of claim 4, there is an effect that the operation by the unauthorized user and the face of the unauthorized user can be easily confirmed.
According to the invention of claim 5, there is an effect that the face of the unauthorized user can be easily confirmed by reading and displaying the image data from the data storage means of the information communication terminal.
According to the invention of claim 6, there is an effect that it becomes easy to specify the place of unauthorized use.
According to the seventh aspect of the present invention, there is an effect that it is possible to remotely set the unauthorized use support mode.
According to the eighth aspect of the present invention, there is an effect that it is possible to take a picture of a face without an unauthorized user being conscious.
以下、図面を参照しながら本発明の実施形態について説明する。
図１は本実施形態に係る情報通信端末である移動体通信端末としての携帯電話機１０のハードウェア構成の一例を示すブロック図である。この携帯電話機１０は、主制御部１１０と無線通信部１１１とベースバンド処理部１１２と音入出力部１１３と表示部１１４と操作部１１５とを備える。Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing an example of a hardware configuration of a mobile phone 10 as a mobile communication terminal which is an information communication terminal according to the present embodiment. The mobile phone 10 includes a main control unit 110, a wireless communication unit 111, a baseband processing unit 112, a sound input / output unit 113, a display unit 114, and an operation unit 115.
主制御部１１０はメイン処理部（ＭＰＵ）とも呼ばれ、ＣＰＵ１１０ａや内部メモリ１１０ｂ等を備えている。内部メモリはＲＡＭやＲＯＭ等で構成される。この主制御部１１０は、所定の基本ＯＳ、ミドルウェア、デバイスドライバ等のプログラムが実行されることにより、無線通信部１１１やベースバンド処理部１１２等の各部を制御したり、ソフトウェア構成上のネイティブプラットフォーム環境やアプリケーション実行環境を構築したりする。 The main control unit 110 is also called a main processing unit (MPU), and includes a CPU 110a, an internal memory 110b, and the like. The internal memory is composed of RAM, ROM and the like. The main control unit 110 controls each unit such as the wireless communication unit 111 and the baseband processing unit 112 by executing a program such as a predetermined basic OS, middleware, and device driver, and is a native platform on the software configuration. Environment and application execution environment.
無線通信部１１１は、例えばシンセサイザ、周波数変換器，高周波増幅器などにより構成され、携帯電話通信網４０の基地局４１との間で無線通信するための高周波信号処理を実行する。 The wireless communication unit 111 includes, for example, a synthesizer, a frequency converter, a high frequency amplifier, and the like, and executes high frequency signal processing for wireless communication with the base station 41 of the mobile phone communication network 40.
ベースバンド処理部１１２は、外部の移動体通信端末やサーバとの間で電話やデータ送受信の通信を行うためのデジタル処理を実行する。このベースバンド処理部１１２と上記無線通信部１１１との間はＤ／Ａ変換器やＡ／Ｄ変換器を介して接続されている。 The baseband processing unit 112 performs digital processing for performing telephone and data transmission / reception communication with an external mobile communication terminal or server. The baseband processing unit 112 and the wireless communication unit 111 are connected via a D / A converter or an A / D converter.
音入出力部１１３は、マイク、スピーカ、イヤホンジャック、音信号処理部等で構成されている。マイクから出力されるアナログの音声信号は、音信号処理部でデジタル信号に変換され、主制御部１１０やベースバンド処理部１１２等に送られる。スピーカは、音信号処理部でデジタル信号から変換されたアナログ信号が入力され、通話中の音声を出力したり、メールの着信音、電話の呼び出し音、音楽などを出力したりする。なお、スピーカは、通話中の音声を聞くための受話器用スピーカ（レシーバ）と、着信音や音楽などを出力する外部出力用スピーカとを別々に設けて構成してもいいし、これらの受話器用スピーカ及び外部出力用スピーカを兼用するように一つのスピーカで構成してもよい。 The sound input / output unit 113 includes a microphone, a speaker, an earphone jack, a sound signal processing unit, and the like. The analog audio signal output from the microphone is converted into a digital signal by the sound signal processing unit and sent to the main control unit 110, the baseband processing unit 112, and the like. The speaker receives an analog signal converted from a digital signal by the sound signal processing unit, and outputs a voice during a call, or outputs a ringtone for a mail, a ringing tone for a telephone, music, or the like. The speaker may be configured by separately providing a receiver speaker (receiver) for listening to voice during a call and an external output speaker for outputting ringtones, music, etc. You may comprise with one speaker so that a speaker and an external output speaker may be combined.
表示部１１４は、内向きのメインディスプレイ（正面ディスプレイ）と、外向きのサブディスプレイ（背面ディスプレイ）と、各サブディスプレイに対する描画処理を行う描画処理部とを用いて構成されている。メインディスプレイ及びサブディスプレイは例えばＬＣＤ（液晶ディスプレイ）や有機ＥＬ(Organic Electroluminescence)、ＬＥＤ(Light-Emitting Diode)アレイ等で構成され、主制御部１１０からの指令に基づいて各種画像が表示される。この表示部１１４は、本発明における画像表示手段としても用いられる。 The display unit 114 includes an inward main display (front display), an outward sub display (rear display), and a drawing processing unit that performs drawing processing on each sub display. The main display and the sub display are configured by, for example, an LCD (liquid crystal display), an organic EL (Organic Electroluminescence), an LED (Light-Emitting Diode) array, and the like, and various images are displayed based on commands from the main control unit 110. The display unit 114 is also used as image display means in the present invention.
操作部１１５は、データ入力キー（テンキー、＊キー、＃キー）、通話開始キー、終話キー、スクロールキー、多機能キー等の複数のキーで構成されている。この操作部１１５は、利用者が通話開始、終話、メニュー選択、画面切り換え等を指示したり情報を入力したりするときに用いられる。 The operation unit 115 includes a plurality of keys such as a data input key (ten key, * key, # key), a call start key, a call end key, a scroll key, and a multi-function key. The operation unit 115 is used when the user gives an instruction to start or end a call, select a menu, switch screens, or input information.
また、携帯電話機１０は、電子財布サービスで用いられる電子マネー処理用の集積回路装置としての専用ＩＣチップやＩＣカードで構成された電子財布チップ部１１６を備えている。この電子財布チップ部１１６は、各種施設や店舗等に設置された電子財布サービスの決済用端末装置であるリーダ／ライタ装置（以下、「Ｒ／Ｗ装置」という。）３０との間で、所定通信プロトコルによる非接触通信を行うためのアンテナや無線通信回路を有している。 In addition, the mobile phone 10 includes an electronic wallet chip unit 116 formed of a dedicated IC chip or an IC card as an integrated circuit device for electronic money processing used in an electronic wallet service. The electronic wallet chip unit 116 is connected to a reader / writer device (hereinafter referred to as “R / W device”) 30 that is a payment terminal device for electronic wallet services installed in various facilities and stores. An antenna and a wireless communication circuit for performing contactless communication using a communication protocol are included.
また、携帯電話機１０は、ＧＰＳ（Global Positioning System）部１１７、カメラ部１１８、センサ部１１９、電源供給部１２０、メモリーカード部１２１、操作開始検知部１２２、図示しない時計部等も備えている。 The mobile phone 10 also includes a GPS (Global Positioning System) unit 117, a camera unit 118, a sensor unit 119, a power supply unit 120, a memory card unit 121, an operation start detection unit 122, a clock unit (not shown), and the like.
ＧＰＳ部１１７は、ＧＰＳ受信モジュールやＧＰＳアンテナ等で構成され、地球の周りに配置されている複数のＧＰＳ衛星から電波を受信し、その受信結果に基づいて携帯電話機１０が位置する緯度、経度及び高度のデータを算出する。 The GPS unit 117 includes a GPS receiving module, a GPS antenna, and the like, receives radio waves from a plurality of GPS satellites arranged around the earth, and based on the reception result, the latitude, longitude, and Calculate altitude data.
カメラ部１１８は、図２に示すようにカメラモジュール１１８ａと１組のカメラ（外向きの背面カメラ１０８、内向きの正面カメラ１０９）とを用いて構成され、人物や風景等を撮影する時に用いられる。１組のカメラのうち内向きの正面カメラ１０９は自分取りカメラとも呼ばれ、本実施形態では後述の顔認識やテレビ電話などに使用される。また、外向きの背面カメラ１０８は他人取りカメラとも呼ばれ、主に風景や使用者以外の他の人物などの撮影に使用される。各カメラ１０８、１０９は光学レンズ及び撮像デバイスを用いて構成されている。撮像デバイスとしては、ＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳカメラを用いることができる。カメラモジュール１１８ａは、各カメラ１０８、１０９の光学コントロール等を行ったり、主制御部１１０とのインターフェースを行ったりする。 As shown in FIG. 2, the camera unit 118 is configured by using a camera module 118a and a pair of cameras (an outward rear camera 108 and an inward front camera 109), and is used when photographing a person or a landscape. It is done. The inward front camera 109 of the set of cameras is also called a self-taking camera, and in this embodiment is used for face recognition and a video phone, which will be described later. The outward-facing rear camera 108 is also referred to as a stranger camera, and is mainly used for photographing a person other than the scenery or the user. Each camera 108 and 109 is configured using an optical lens and an imaging device. As the imaging device, a CCD (Charge Coupled Device) camera or a CMOS camera can be used. The camera module 118a performs optical control of the cameras 108 and 109, and interfaces with the main control unit 110.
センサ部１１９は、３軸の加速度センサや３軸の地磁気センサ等で構成されている。このセンサ部１１９の出力に基づいて、携帯電話機１０の位置、向き、姿勢、動き等を示すデータを算出することができる。 The sensor unit 119 includes a triaxial acceleration sensor, a triaxial geomagnetic sensor, and the like. Based on the output of the sensor unit 119, data indicating the position, orientation, posture, movement, etc. of the mobile phone 10 can be calculated.
電源供給部１２０は、充電可能なバッテリー、バッテリーから各部に所定電圧の電力を供給する電力供給回路、バッテリーを充電する充電回路などを備えている。 The power supply unit 120 includes a rechargeable battery, a power supply circuit that supplies power of a predetermined voltage from the battery to each unit, a charging circuit that charges the battery, and the like.
メモリーカード部１２１は、着脱自在の外部記憶媒体としてのメモリーカードが装着されるメモリーカード装着部（カードスロット）と、メモリーカードに対するデータのメモリーカードコントローラとを用いて構成されている。 The memory card unit 121 includes a memory card mounting unit (card slot) in which a memory card as a removable external storage medium is mounted, and a memory card controller for data to the memory card.
操作開始検知部１２２は、筺体の可動部分に設けられたタッチセンサや回転センサ等のコンタクトセンサの他、プッシュスイッチ、コンタクトスイッチ等の接点スイッチ等で構成され、携帯電話機１０の筐体の状況（筐体の変化）を検知することにより、携帯電話機１０の操作、特に携帯電話機１０の使用開始操作を検知する。かかる検知に用いる携帯電話機１０の筐体の状況（筐体の変化）としては、次のようなものがある。
例えば、折り畳みタイプ（クラムシェルタイプ）の携帯電話機の場合は、筐体上部と筐体下部とを接触対向させて閉じた非操作時の閉状態と、筐体上部を揺動させて筐体下部から離して開いた操作時の開状態との間の筐体の状態変化を利用できる。そして、携帯電話機のフリップオープンされて閉状態から開状態に切り換わったときに、その状態の変化が、ヒンジ部などに組み込まれたセンサによって検知され、若しくはスイッチの接点状態が変化して、携帯電話機１０の操作が開始されたと自動認識することができる。特に、筐体上部のディスプレイ及びカメラのある面が１８０度反転するように筐体上部の一部を回転可能なスウィーベルタイプの携帯電話機の場合は、使用者に対向するカメラを特定できるよう筐体上部の回転を検知するように構成する。
また、スライドタイプの携帯電話機の場合は、筐体蓋部を筐体本体に重ねて閉じた非操作時の閉状態と、筐体蓋部をスライドさせて筐体本体の操作部が露出するように開いた操作時の開状態との間の筐体の状態変化を利用できる。この閉状態から開状態に切り換わったときに、携帯電話機１０の操作が開始されたと自動認識することができる。
また、ストレートタイプの携帯電話機の場合は、携帯電話機の筐体が使用者に保持されていない非操作時の非保持状態と、携帯電話機の筐体が使用者に保持されている操作時の保持状態との間の筐体の状態変化を利用できる。この非保持状態から保持状態に切り換わったときに、携帯電話機１０の操作が開始されたと自動認識することができる。The operation start detection unit 122 includes contact sensors such as a touch sensor and a rotation sensor provided on a movable part of the housing, a contact switch such as a push switch, a contact switch, and the like. By detecting the change in the casing, the operation of the mobile phone 10, particularly the use start operation of the mobile phone 10 is detected. As the situation of the casing of the mobile phone 10 used for such detection (change in casing), there are the following.
For example, in the case of a foldable type (clamshell type) mobile phone, the closed state in the non-operation state in which the upper part of the casing and the lower part of the casing are in contact with each other and closed, and the lower part of the casing is swung. The state change of the housing between the open state at the time of the operation opened away from the can be used. When the mobile phone is flip-opened and switched from the closed state to the open state, the change in the state is detected by a sensor incorporated in the hinge or the like, or the contact state of the switch is changed, It is possible to automatically recognize that the operation of the telephone 10 has started. In particular, in the case of a swivel type mobile phone in which a part of the upper part of the case can be rotated so that the display and camera side of the upper part of the case are reversed 180 degrees, the case can be specified so that the camera facing the user can be identified Configure to detect top rotation.
In addition, in the case of a slide-type mobile phone, the closed state when the casing lid is closed and overlapped with the casing body is closed, and the casing lid is slid to expose the operating section of the casing body. A change in the state of the housing between the open state during the open operation can be used. When switching from the closed state to the open state, it is possible to automatically recognize that the operation of the mobile phone 10 has started.
In the case of a straight type mobile phone, the non-operating state when the mobile phone case is not held by the user and the holding state when the mobile phone case is held by the user The change in the state of the housing between can be used. When the non-holding state is switched to the holding state, it can be automatically recognized that the operation of the mobile phone 10 is started.
時計部はクロック回路等で構成され、正確な日時を計数し、また、時差テーブルを有する場合はワールドタイムを計数し、電話・メールの通信や画像撮影のタイムスタンプ、時計表示等のための時刻情報を生成する。 The clock part is composed of a clock circuit, etc., and counts the exact date and time, and if it has a time difference table, it counts the world time, time for telephone / mail communication, image shooting time stamp, clock display, etc. Generate information.
図３（ａ）、（ｂ）及び（ｃ）はそれぞれ携帯電話機１０の外観を示す背面図、正面図及び側面図である。この携帯電話機１０は、ヒンジ部１０Ｃを中心にして互いに揺動可能な蓋部（筐体上部）１０Ａと本体部（筐体下部）１０Ｂとを有するクラムシェル（折り畳み）タイプの携帯電話機である。
蓋部１０Ａは、アンテナ１００を有し、本体部１０Ｂに設けられた操作部１１５のキーが操作可能な開状態と、操作部１１５のキーを覆った閉状態とをとり得るようになっている。上記開状態にある蓋部１０Ａの使用者側とは反対側の表面部には、外部スピーカ１０１、サブディスプレイ１０２及び背面カメラ１０８が設けられている。また、蓋部１０Ａの使用者に対向する側の表面部には、受話スピーカ１０３、メインディスプレイ１０４及び正面カメラ１０９が設けられている。一方、上記本体部１０Ｂの使用者に対向する側の表面部には、複数のキーからなる操作部１１５、送話マイク１０５等が設けられている。使用者は、メインディスプレイ１０４の画面を見ながら操作部１１５のキーを操作することができる。また、本体部１０Ｂの側面には、シャッター１０６ａが開閉しメモリーカード２００を着脱可能なメモリーカード装着部（カードスロット）１０６と、ハンズフリー等の場合にヘッドホンが接続されるヘッドフォンジャック１０７とが設けられている。3A, 3B, and 3C are a rear view, a front view, and a side view, respectively, showing the appearance of the mobile phone 10. FIG. This mobile phone 10 is a clamshell (folding) type mobile phone having a lid (upper housing) 10A and a main body (lower housing) 10B that can swing with respect to the hinge 10C.
10 A of cover parts have the antenna 100, and can take the open state which can operate the key of the operation part 115 provided in the main-body part 10B, and the closed state which covered the key of the operation part 115. . An external speaker 101, a sub display 102, and a rear camera 108 are provided on the surface of the lid portion 10A in the open state on the opposite side to the user side. In addition, a receiving speaker 103, a main display 104, and a front camera 109 are provided on the surface of the lid 10A facing the user. On the other hand, an operation unit 115 including a plurality of keys, a transmission microphone 105, and the like are provided on the surface of the main body 10B facing the user. The user can operate the keys of the operation unit 115 while viewing the screen of the main display 104. Further, on the side surface of the main body 10B, there are provided a memory card mounting portion (card slot) 106 in which the shutter 106a is opened and closed and the memory card 200 can be attached and detached, and a headphone jack 107 to which headphones are connected in the case of hands-free or the like. It has been.
図４は、携帯電話機１０における本発明の特徴部に対応する主要な機能を抽出して示した機能ブロック図である。本実施形態の携帯電話機１０は、撮像手段１３０と操作検知手段１３３と制御手段１３４と通信手段１３５とを備える。 FIG. 4 is a functional block diagram showing extracted main functions corresponding to the features of the present invention in the mobile phone 10. The cellular phone 10 according to the present embodiment includes an imaging unit 130, an operation detection unit 133, a control unit 134, and a communication unit 135.
上記撮像手段１３０は、携帯電話機１０を操作する使用者の顔を撮影可能な部位に設けられ、前述のカメラ部１１８を用いて構成される。上記図３の例では、内向きの正面カメラ１０９が用いられる。このカメラ部１１８により使用者の顔を撮影するときは、予め設定した所定の画像サイズ及びフレーム数（例えば１０フレーム／秒）で撮影される。 The imaging unit 130 is provided at a site where the face of the user who operates the mobile phone 10 can be photographed, and is configured using the camera unit 118 described above. In the example of FIG. 3, the front camera 109 facing inward is used. When the user's face is photographed by the camera unit 118, the photograph is taken with a predetermined image size and the number of frames (for example, 10 frames / second).
上記操作検知手段１３３は、携帯電話機１０の操作（又は操作開始）を検知する手段であり、前述の操作開始検知部１２２を用いて構成される。 The operation detection unit 133 is a unit that detects an operation (or operation start) of the mobile phone 10 and is configured using the operation start detection unit 122 described above.
上記制御手段１３４は、前述の主制御部１１０を用いて構成され、次のような機能制御を行う。すなわち、制御手段１３４は、携帯電話機（情報通信端末）の操作が検知されたときに、その携帯電話機の使用者の顔を撮影し、撮影した顔の画像データを含む情報を所定の通信先（メールアドレス等）宛に送信するように制御する。 The control unit 134 is configured using the main control unit 110 described above, and performs the following function control. That is, when the operation of the mobile phone (information communication terminal) is detected, the control unit 134 takes a face of the user of the mobile phone and sends information including image data of the taken face to a predetermined communication destination ( Control to send to e-mail address.
上記通信手段１３５は、携帯電話通信網等の通信ネットワークを介して他の携帯電話機、パーソナルコンピュータ、サーバなどと通信するための手段であり、前述の無線通信部１１１やベースバンド処理部１１２を用いて構成されている。 The communication unit 135 is a unit for communicating with other mobile phones, personal computers, servers, etc. via a communication network such as a mobile phone communication network, and uses the above-described wireless communication unit 111 and baseband processing unit 112. Configured.
なお、撮影した顔の認識処理及び使用者の識別処理を行う場合は、顔認識基準データ記憶手段１３１を設ける。この顔認識基準データ記憶手段１３１は、使用者の顔認識に使用される顔認識基準データを記憶する手段であり、前述の主制御部１１０における内部メモリ１１０ｂやメモリーカード２００等の外部記憶媒体を用いて構成される。上記顔認識基準データは、上記制御手段１３４で採用される顔認識方法に応じて、携帯電話機１０の所有者や許可された登録者等の顔認識対象の人物について予め求められて記憶される。例えば、顔に存在する口や目などの顔部品の位置や大きさのデータからなる後述の個人識別パラメータファイルが、上記顔認識基準データとして記憶される。この顔部品のデータは、例えば顔の画像領域における濃淡パターンから求めることができる。
この場合、上記制御手段１３４は、上記撮影した顔の画像データと顔認識基準データとの比較結果に基づいて、携帯電話機１０を操作している使用者が不正使用者であるか否かを判定し、不正使用者であると判定したときに上記情報の送信を実行する。かかる制御手段としての主制御部１１０は所定のプログラムが実行されることにより、顔認識コントローラや顔認識エンジンとしても機能する。In the case of performing recognition processing of a photographed face and identification processing of a user, a face recognition reference data storage unit 131 is provided. This face recognition reference data storage means 131 is means for storing face recognition reference data used for user face recognition, and an external storage medium such as the internal memory 110b or the memory card 200 in the main control unit 110 described above. Constructed using. The face recognition reference data is obtained and stored in advance for a person for face recognition such as the owner of the mobile phone 10 or an authorized registrant in accordance with the face recognition method employed by the control means 134. For example, a personal identification parameter file, which will be described later, consisting of data on the position and size of facial parts such as mouths and eyes existing on the face is stored as the face recognition reference data. The face part data can be obtained from, for example, a gray pattern in the face image area.
In this case, the control means 134 determines whether or not the user operating the mobile phone 10 is an unauthorized user based on the comparison result between the captured face image data and the face recognition reference data. When it is determined that the user is an unauthorized user, the information is transmitted. The main control unit 110 as such control means also functions as a face recognition controller or a face recognition engine by executing a predetermined program.
また、内部メモリ１１０ｂやメモリーカード２００等の外部記憶媒体には、携帯電話機１０の複数機能の制御に用いる機能制御情報を記憶しておくこともできる。上記機能制御の対象としては、例えば、（１）所有者、（２）登録使用者及び（３）所有者及び登録使用者以外の不正使用者のそれぞれについて、次のような機能を設定することができる。これらの機能制御情報が所有者によって予め設定されて記憶される。
（１）所有者
全ての機能が使用可（平常動作）
（２）所有者以外の登録使用者
＜待受時＞
音声発信（可・不可）
メール発信（可・不可）
データ通信（制御）
ボタン（キー）操作（有効・無効）
発信履歴、着信履歴の参照（可・不可）
メールフォルダ参照（可・不可：フォルダそのものが表示されない）
発信時の番号通知（通知・非通知）
アドレス帳データ参照、編集（可・不可）
スケジュールデータ参照、編集（可・不可）
画像、ミュージック、メモリーカード等の
データフォルダ参照、編集（可・不可）
ＷＥＢのブックマーク参照、編集（可・不可）
赤外線通信（可・不可）
携帯電話機オープン時の壁紙設定
各種設定変更（可・不可）
電子財布機能（可・不可）
＜着信時＞
着信への応答（可・不可）
ボタン（キー）操作（有効・無効）
着信時の相手先（表示・非表示
（３）所有者・登録使用者以外の不正使用者
アラーム（アラーム音、ＬＥＤ点滅、バイブレータ起動等）
ディスプレイの表示オフ
電話のダイヤルのロック
全機能のロック（オールロック）
不正使用対応モード（Emergencyモード）設定時の動作の実行In addition, function control information used for controlling a plurality of functions of the mobile phone 10 can be stored in an external storage medium such as the internal memory 110b or the memory card 200. For example, (1) owner, (2) registered user, and (3) unauthorized users other than the owner and registered user should set the following functions as targets of the function control. Can do. These function control information is preset and stored by the owner.
(1) Owner All functions can be used (normal operation)
(2) Registered users other than the owner <Standby>
Voice call (possible / impossible)
Mail transmission (possible / impossible)
Data communication (control)
Button (key) operation (valid / invalid)
Reference outgoing / incoming call history (possible / impossible)
Mail folder reference (Yes / No: Folder itself is not displayed)
Caller ID notification (notification / non-notification)
Address book data reference, editing (possible / impossible)
Schedule data reference, editing (possible / impossible)
Images, music, memory cards, etc.
Browse and edit data folder (Yes / No)
WEB bookmark reference, editing (possible / impossible)
Infrared communication (possible / impossible)
Set wallpaper when mobile phone is open Change settings (Yes / No)
Electronic wallet function (possible / impossible)
<Incoming call>
Answering incoming calls (Yes / No)
Button (key) operation (valid / invalid)
Destination of incoming call (display / hide (3) unauthorized user other than owner / registered user alarm (alarm sound, LED flashing, vibrator activation, etc.)
Display off Off Phone dial lock All functions lock (all lock)
Execution of operations when unauthorized use mode (Emergency mode) is set
ここで、上記（２）登録使用者及び（３）不正使用者に対する機能制御については、所有者が予め設定することができる。複数の登録使用者がいる場合は、登録使用者ごとに異なる機能制御を設定することができる。また、カメラを隠す等によって顔認識ができなかった場合は、上記（３）不正使用者に対する機能制御を適用することができる。 Here, the owner can set the function control for (2) registered user and (3) unauthorized user in advance. When there are a plurality of registered users, different function control can be set for each registered user. In addition, when face recognition cannot be performed by hiding the camera or the like, (3) function control for an unauthorized user can be applied.
また、上記メールフォルダやデータフォルダについては登録使用者ごとに専用のフォルダを作成しておき、登録使用者が操作するときには、その登録使用者専用のフォルダについてのみメールやデータを参照できるようにしてもよい。 In addition, for the above mail folder and data folder, a dedicated folder is created for each registered user so that when the registered user operates, the mail and data can be referred only to the folder dedicated to the registered user. Good.
図５は、携帯電話機１０におけるソフトウェア・インターフェースの一例を示すブロック図である。上記顔認識機能は、主に顔認識コントローラ１４０と顔認識エンジン１４１とで構成されるミドルウェアで実現される。携帯電話通信網を介した電話やデータ通信等の携帯電話機１０の基本的な動作は、ネイティブと呼ばれる電話機プラットフォームの実行環境上で実行される。このネイティブは、基本ＯＳや、各種ミドルウェア、各種ドライバーソフト等で構成される。ミドルウェアとしては、電話処理ソフト、メールクライアント、メールブラウザ、ＨＴＴＰクライアント、ＷＷＷブラウザ、アプリケーションマネージャ等のソフトが起動される。このネイティブ内のドライバーソフトを介して、ＧＰＳ部１１７におけるＧＰＳ制御ソフトや、センサ部１１９におけるセンサ制御ソフト等が実行される。 FIG. 5 is a block diagram illustrating an example of a software interface in the mobile phone 10. The face recognition function is realized by middleware mainly composed of the face recognition controller 140 and the face recognition engine 141. Basic operations of the mobile phone 10 such as telephone and data communication via the mobile phone communication network are executed on an execution environment of a phone platform called native. This native is composed of a basic OS, various middleware, various driver software, and the like. As middleware, software such as a telephone processing software, a mail client, a mail browser, an HTTP client, a WWW browser, and an application manager is activated. The GPS control software in the GPS unit 117, the sensor control software in the sensor unit 119, and the like are executed via this native driver software.
顔認識コントローラ１４０は、ネイティブ上で実行されるネイティブアプリケーション１４２により顔認識制御ＡＰＩ（Application Program Interface）を介して制御される。例えば、顔認識制御ＡＰＩを介して、次のような顔認識の開始・終了、カメラ画像セット、顔認識の正否通知などが制御される。
・顔認識の開始：顔認識、認識対象の使用者の登録を開始し、初期化処理を実行する。同時に、個人識別パラメータを顔認識エンジンに対してセットし、その後、顔認識に用いるデータのセットを順次行う。この顔認識に用いるデータは、特定の種類に限定されるものではなく、顔認識処理に採用する顔認識エンジンの種類に応じて設定される。顔認識に用いるデータとしては、例えば顔特徴情報のデータや使用者データがある。ここで、「顔特徴情報」は、顔を検出する際に用いる特徴量の情報である。ユーザの顔画像から顔特徴情報を検出し顔認識エンジンに設定することで、顔の特徴点抽出を安定させることができる。また、「使用者データ」は、使用者のモノクロ画像（サムネイル画像）、顔特徴点座標、個人識別ＩＤ、表情の動き情報等のデータである。
・顔認識の終了：顔認識処理を終了する。
・カメラ画像セット：カメラから取得された画像を、エンジン処理可能な形式（例えば、グレースケール８ビット色画像）に変換し、顔認識エンジンに渡す。
・顔認識の正否通知：前もって設定されたコールバック関数を用いて正否判定結果を返信する。The face recognition controller 140 is controlled by a native application 142 executed natively via a face recognition control API (Application Program Interface). For example, the following face recognition start / end, camera image set, face recognition correct / incorrect notification, and the like are controlled via the face recognition control API.
-Start of face recognition: Starts face recognition and registration of a user to be recognized, and executes initialization processing. At the same time, the personal identification parameters are set in the face recognition engine, and then data used for face recognition is sequentially set. The data used for the face recognition is not limited to a specific type, but is set according to the type of the face recognition engine used for the face recognition process. Examples of data used for face recognition include face feature information data and user data. Here, the “face feature information” is feature amount information used when detecting a face. By detecting facial feature information from the user's facial image and setting it in the facial recognition engine, facial feature point extraction can be stabilized. “User data” is data such as a user's monochrome image (thumbnail image), facial feature point coordinates, personal identification ID, facial expression movement information, and the like.
End of face recognition: The face recognition process is finished.
Camera image set: An image acquired from a camera is converted into a format that can be processed by an engine (for example, a grayscale 8-bit color image) and passed to a face recognition engine.
-Face recognition correct / incorrect notification: Returns a correct / incorrect determination result using a callback function set in advance.
顔認識コントローラ１４０は、デバイスＡＰＩを介して各種デバイスを制御し、次のようなデータ・情報・ファイルの保存及び取得処理並びにカメラの制御を行う。
・使用者データの保存・取得：内部メモリ１１０ｂやメモリーカード２００の規定ディレクトリに使用者データを保存したり、保存されている使用者データを読み出して取得したりする。使用者データは、サムネイル画像、使用者の名前等のデータで構成される。
・上記顔認識に用いる顔特徴情報の保存・取得：内部メモリ１１０ｂやメモリーカード２００の規定ディレクトリに顔特徴情報を保存したり、保存されている顔特徴情報を読み出して取得したりする。この顔特徴情報は、顔認識エンジン１４１によって出力される。
・個人識別パラメータファイルの取得：内部メモリ１１０ｂやメモリーカード２００に保存されている規定ファイルを読み出して取得し、その規定ファイルに書き込まれている顔認識基準データとしての個人識別パラメータの内容を顔認識エンジン１４１に受け渡す。ここで、「パラメータファイル」は、顔認識の際の閾値、タイムアウト値等の設定パラメータが書き込まれたファイルである。
・カメラ制御：カメラの起動及び終了、並びに顔の撮影に用いる画像サイズ、フレーム数、画像モードなどを変更する。The face recognition controller 140 controls various devices via the device API, and performs the following data / information / file storage and acquisition processing and camera control.
User data storage / acquisition: User data is stored in the specified directory of the internal memory 110b or the memory card 200, or the stored user data is read out and acquired. The user data is composed of data such as thumbnail images and user names.
Saving / acquiring facial feature information used for face recognition: saving facial feature information in the internal memory 110b or a prescribed directory of the memory card 200, or reading and obtaining the saved facial feature information. This face feature information is output by the face recognition engine 141.
・ Acquisition of personal identification parameter file: Read and obtain a specified file stored in the internal memory 110b or the memory card 200, and recognize the contents of the personal identification parameter as face recognition reference data written in the specified file. Delivered to the engine 141. Here, the “parameter file” is a file in which setting parameters such as a threshold value and a timeout value for face recognition are written.
-Camera control: Change the image size, the number of frames, the image mode, etc. used for starting and ending the camera and photographing the face.
また、顔認識エンジン１４１は、顔認識コントローラ１４０により顔画像処理ＡＰＩを介して制御され、上記カメラで撮影された顔画像のデータ及び上記個人識別パラメータなどに基づいて、顔認識のための画像処理を実行する。 The face recognition engine 141 is controlled by the face recognition controller 140 via the face image processing API, and image processing for face recognition is performed based on the face image data photographed by the camera and the personal identification parameter. Execute.
図６は、上記構成の携帯電話機１０における使用者の顔認識による自動機能制御の一例を示すフローチャートである。この携帯電話機１０の待受状態では、顔認識による自動機能制御を行う「顔認識制御モード」の起動要求を受付可能な状態にある（Ｓ１０１，Ｓ１０２）。この「顔認識制御モード」の起動要求は、例えば携帯電話機１０の所有者が操作部１１５を操作することによって入力される。また、遠隔からの電話やメールによって「顔認識制御モード」の起動要求を携帯電話機１０に通知するようにしてもよい。 FIG. 6 is a flowchart showing an example of automatic function control by user's face recognition in the mobile phone 10 having the above configuration. In the standby state of the mobile phone 10, it is possible to accept an activation request for a “face recognition control mode” that performs automatic function control based on face recognition (S <b> 101 and S <b> 102). The activation request for the “face recognition control mode” is input, for example, when the owner of the mobile phone 10 operates the operation unit 115. Further, the activation request for the “face recognition control mode” may be notified to the mobile phone 10 by remote telephone or mail.
次に、携帯電話機１０は、上記「顔認識制御モード」の起動要求を受けると、顔認識制御モードを開始し（Ｓ１０３）、通常の待受状態から「待受＋顔認識待機状態」に移行する（Ｓ１０４）。この待機状態で、いずれかの使用者によって携帯電話機１０の操作が開始されると、その操作開始が検知される。より具体的には、図３に示す折り畳みタイプ（クラムシェルタイプ）の携帯電話機１０において、筐体上部１０Ａを揺動させて筐体下部１０Ｂから離して開くオープン操作時の状態変化が、操作開始検知部１２２で検知される。この状態変化により、携帯電話機１０の操作が開始されたと自動認識することができる。 Next, upon receiving a request for activation of the “face recognition control mode”, the mobile phone 10 starts the face recognition control mode (S103), and shifts from the normal standby state to the “standby + face recognition standby state”. (S104). When the operation of the mobile phone 10 is started by any user in this standby state, the start of the operation is detected. More specifically, in the folding type (clamshell type) mobile phone 10 shown in FIG. 3, the state change at the time of the opening operation that swings the upper housing portion 10A and opens away from the lower housing portion 10B is the start of the operation. It is detected by the detection unit 122. By this state change, it can be automatically recognized that the operation of the mobile phone 10 is started.
次に、上記携帯電話機１０のオープン操作が検知されると、顔認識処理が実行される（Ｓ１０５，Ｓ１０６）。この顔認識処理は、主制御部１１０の顔認識コントローラ１４０からカメラ部１１８に対してカメラ起動指令が送られることにより開始する。カメラ起動指令を受けたカメラ部１１８は、予め設定した所定の撮影条件（画像サイズ、撮影フレーム数、撮影モード等の条件）に基づいて、携帯電話機１０の操作を開始した使用者に対向する正面カメラ１０９により、その使用者の顔の撮影を開始する。そして、主制御部１１０の顔認識コントローラ１４０は、カメラ部１１８で撮影された顔の画像データを受けると、顔認識エンジン１４１に渡す。顔認識エンジン１４１は、予め登録されている使用者の顔認識基準データに基づいて認識処理を実行する。この顔認識処理の方式としては、様々な方式を採用することができる。例えば、複数のフレームの顔画像データ（入力画像フレーム）から選択した１フレームの顔画像データを用いて顔認識を行う方式であってもよい。この場合、上記１フレームの顔画像データとして、例えば撮影された使用者の顔をトラッキングする過程で最適なフレームの顔画像データ（入力画像フレーム）が選択される。そして、その選択されたフレームの顔画像データ（入力画像フレーム）を使って顔の特徴点抽出が行われる。 Next, when an open operation of the mobile phone 10 is detected, face recognition processing is executed (S105, S106). This face recognition process starts when a camera activation command is sent from the face recognition controller 140 of the main control unit 110 to the camera unit 118. Upon receiving the camera activation command, the camera unit 118 faces the user who has started the operation of the mobile phone 10 based on predetermined shooting conditions (conditions such as image size, number of shooting frames, and shooting mode). The camera 109 starts photographing the user's face. When the face recognition controller 140 of the main control unit 110 receives the face image data captured by the camera unit 118, the face recognition controller 140 passes it to the face recognition engine 141. The face recognition engine 141 performs recognition processing based on user face recognition reference data registered in advance. Various methods can be adopted as the face recognition processing method. For example, a method may be used in which face recognition is performed using face image data of one frame selected from face image data (input image frames) of a plurality of frames. In this case, as the face image data of one frame, for example, face image data (input image frame) of an optimal frame is selected in the process of tracking the photographed user's face. Then, feature point extraction of the face is performed using the face image data (input image frame) of the selected frame.
次に、上記顔認識処理の結果に基づいて、携帯電話機１０の操作を開始した使用者が識別され、予め設定されて保存されている機能制御情報に基づいて機能制御が実行される（Ｓ１０７〜Ｓ１１２）。ここで、操作開始の使用者が携帯電話機１０の所有者であると判定された場合は、機能制限がなく、全機能を使用可能な通常の動作になるように制御される（Ｓ１０８）。また、操作開始の使用者が、予め登録された登録使用者であると判定された場合は、予め設定されている登録使用者用の機能制御情報に基づいて、所定の機能だけが使用できるように機能制限が実行されるように制御される（Ｓ１０９）。 Next, the user who has started the operation of the mobile phone 10 is identified based on the result of the face recognition process, and the function control is executed based on the function control information set and stored in advance (S107 to S107). S112). Here, when it is determined that the user who starts the operation is the owner of the mobile phone 10, control is performed so that there is no function restriction and the normal operation can use all functions (S108). When it is determined that the user who starts the operation is a registered user registered in advance, only a predetermined function can be used based on the function control information for the registered user set in advance. (S109).
一方、操作開始の使用者が、上記所有者及び登録使用者以外の不正使用者と判定された場合又は顔認識不可と判定された場合は、更に、所定のEmergency動作を実行する「不正使用対応モード」が設定されているか否かが判定される（Ｓ１１０）。ここで、「不正使用対応モード」が設定されていない場合は、予め設定されている不正使用者用の機能制御情報に基づいて、通常使用者用のほとんどの機能が使用できないようにディスプレイをオフにしたり、不正使用者用に設定されたアラーム出力が実行されたりするように、制御される（Ｓ１１１）。また、上記「不正使用対応モード」が設定されていない場合は、所有者によって予め設定されたEmergency動作を実行する（Ｓ１１２）。このEmergency動作としては、例えば撮影した使用者の顔の画像データを添付したメールを所定のメールアドレス宛に送信するように動作する。 On the other hand, when the user who starts the operation is determined to be an unauthorized user other than the above-mentioned owner and registered user, or when it is determined that face recognition is not possible, a predetermined emergency operation is further executed. It is determined whether or not “mode” is set (S110). Here, if the “unauthorized use support mode” is not set, the display is turned off so that most functions for normal users cannot be used based on preset function control information for unauthorized users. Or an alarm output set for an unauthorized user is executed (S111). If the “illegal use handling mode” is not set, emergency operation preset by the owner is executed (S112). As the emergency operation, for example, an email attached with image data of a photographed user's face is sent to a predetermined email address.
次に、上記顔認識による使用者の識別結果に基づいた機能制御が実行された後、顔認識制御モードを終了するか否かが判定される（Ｓ１１３）。顔認識制御モードを終了しない場合は、前述の「待受＋顔認識待機状態」になる。顔認識制御モードを終了する場合は、前述の「待受＋顔認識待機状態」
なお、初回の顔認識による使用者の識別結果に基づいた機能制御が実行された後、「待受＋顔認識待機状態」にある携帯電話機１０が継続的に操作されている場合は、一定の時間間隔ごとに、上記顔認識処理及びその顔認識による使用者の識別結果に基づいた機能制御を実行するようにしてもよい。Next, after the function control based on the user identification result by the face recognition is executed, it is determined whether or not to end the face recognition control mode (S113). If the face recognition control mode is not terminated, the “standby + face recognition standby state” described above is entered. To end the face recognition control mode, see “Standby + Face recognition standby state” above.
In addition, after the function control based on the user identification result by the first face recognition is executed, when the mobile phone 10 in the “standby + face recognition standby state” is continuously operated, a certain level of You may make it perform the function control based on the said face recognition process and the user's identification result by the face recognition for every time interval.
上記顔認識制御モードは、使用者による一連の操作が終了し利用者が携帯電話機１０を閉じた時や電源を切った時などに終了する。 The face recognition control mode ends when a series of operations by the user ends and the user closes the mobile phone 10 or turns off the power.
図７は、各使用者に対する機能制御内容を設定するときの画面遷移の一例を示す説明図である。まず、携帯電話機１０の操作部１１５を操作し、メインメニュー画面で顔認証モード設定を選択すると、顔認証モード設定画面１５０が表示される。この顔認証モード設定画面１５０で「１．登録ユーザ」を選択すると、顔認証による識別対象の使用者として予め登録されている複数の登録ユーザがリストアップされた登録ユーザ設定画面１５１が表示される。この登録ユーザ設定画面１５１にリストアップされている複数の登録ユーザごとに、機能制御設定用のアクセス権限設定画面１５２を表示し、各種機能の使用の可否について設定することができる。図７の例では、音声発信、メール発信、ボタン（キー）操作、発信履歴・着信履歴の参照、メールフォルダの参照等の可否を設定することができる。 FIG. 7 is an explanatory diagram showing an example of screen transition when setting the function control content for each user. First, when the operation unit 115 of the mobile phone 10 is operated and the face authentication mode setting is selected on the main menu screen, the face authentication mode setting screen 150 is displayed. When “1. registered user” is selected on the face authentication mode setting screen 150, a registered user setting screen 151 is displayed in which a plurality of registered users registered in advance as users to be identified by face authentication are listed. . For each of a plurality of registered users listed on the registered user setting screen 151, an access authority setting screen 152 for function control setting can be displayed and whether or not various functions can be used can be set. In the example of FIG. 7, it is possible to set whether or not to perform voice transmission, mail transmission, button (key) operation, transmission history / incoming history reference, mail folder reference, and the like.
一方、上記顔認証モード設定画面１５０で「２．不正者」を選択すると、携帯電話機１０の所有者及び登録ユーザ以外の不正使用者に対するモード設定を行う不正者モード設定画面１５３が表示される。この不正者モード設定画面１５３では、「アクセス制限モード」、及び上記Emergency動作を行う不正使用対応モード（以下「Emergencyモード」という。）のいずれかを設定対象として選択することができる。「アクセス制限モード」の内容について設定するアクセス権限設定画面１５４では、不正使用者に対する機能制限及び不正使用者の場合に特定の出力動作について設定することができる。例えば、図７の例では、アラーム音の出力、ＬＥＤの発光・点滅、バイブレータ動作、液晶表示の停止、ダイヤルロック、オールロックについてＯＮ／ＯＦＦを設定することができる。また、「Emergencyモード」の内容について設定するEmergencyモード設定画面１５５では、不正使用者が操作したときに緊急に実行する特定の動作について設定することができる。図７の例では、顔写真の撮影のＯＮ／ＯＦＦ、メール送信のＯＮ／ＯＦＦ、メール送信先、液晶表示のＯＮ／ＯＦＦについて設定することができる。 On the other hand, when “2. Unauthorized person” is selected on the face authentication mode setting screen 150, an unauthorized person mode setting screen 153 for setting a mode for unauthorized users other than the owner of the mobile phone 10 and the registered user is displayed. On the unauthorized person mode setting screen 153, either an “access restriction mode” or an unauthorized use handling mode for performing the emergency operation (hereinafter referred to as “Emergency mode”) can be selected as a setting target. On the access authority setting screen 154 set for the contents of the “access restriction mode”, it is possible to set a function restriction for an unauthorized user and a specific output operation in the case of an unauthorized user. For example, in the example of FIG. 7, ON / OFF can be set for alarm sound output, LED light emission / flashing, vibrator operation, liquid crystal display stop, dial lock, and all lock. Further, on the Emergency mode setting screen 155 for setting the contents of the “Emergency mode”, it is possible to set a specific operation that is urgently executed when an unauthorized user operates. In the example of FIG. 7, it is possible to make settings for ON / OFF of photographing a face photo, ON / OFF of mail transmission, mail transmission destination, and ON / OFF of liquid crystal display.
図８及び図１１は、顔認証による識別対象の使用者を登録するユーザ登録モードにおける処理の一例を示すシーケンスフロー図である。図８の続きのシーケンスが図１１に表示されている。
まず、携帯電話機１０の待受状態において、登録対象の使用者が操作部１１５を操作し、ユーザ登録モードの起動を要求すると、主制御部１１０において、ユーザ登録モードが起動されるとともに、顔認識に必要なパラメータデータが取得される。次に、主制御部１１０において、顔認識エンジンが初期化され、顔認識のアプリケーションが呼び出されて起動される。8 and 11 are sequence flowcharts showing an example of processing in the user registration mode for registering a user to be identified by face authentication. The sequence following FIG. 8 is displayed in FIG.
First, when the user to be registered operates the operation unit 115 and requests activation of the user registration mode in the standby state of the mobile phone 10, the main control unit 110 activates the user registration mode and performs face recognition. The parameter data necessary for Next, in the main control unit 110, the face recognition engine is initialized, and a face recognition application is called and started.
次に、主制御部１１０からカメラ部１１８にカメラ撮影開始要求が出力されると、正面カメラ１０９が起動するとともに、表示部１１４のディスプレイに図９（ａ）に示す顔撮影ガイド用画像を表示する撮影画像表示が実行される。そして、カメラ部１１８は、所定の撮影条件で登録ユーザの顔を撮影し、主制御部１１０に渡す。主制御部１１０は、カメラ部１１８から受けて取得した顔の画像データを内部メモリ１１０ｂ又はメモリーカード２００の所定記憶領域に保存する。 Next, when a camera shooting start request is output from the main control unit 110 to the camera unit 118, the front camera 109 is activated and the face shooting guide image shown in FIG. 9A is displayed on the display of the display unit 114. The captured image display to be executed is executed. Then, the camera unit 118 shoots the face of the registered user under a predetermined shooting condition and passes it to the main control unit 110. The main control unit 110 stores the face image data received from the camera unit 118 in a predetermined storage area of the internal memory 110 b or the memory card 200.
次に、主制御部１１０は、認識エンジンによって顔の認識処理を実行し、図１０（ａ）又は図１０（ｂ）に示す認識結果を通知するとともに、表示部１１４のディスプレイに図９（ｂ）に示す認識結果の顔画像を表示する確認表示を実行する。 Next, the main control unit 110 executes face recognition processing by the recognition engine, notifies the recognition result shown in FIG. 10A or 10B, and displays the result of FIG. 9B on the display of the display unit 114. Confirmation display for displaying the face image of the recognition result shown in FIG.
次に、登録対象の使用者が操作部１１５を操作し、登録処理を要求すると、主制御部１１０において、カメラの停止処理が実行されるとともに、上記顔認証処理で得られた顔認識基準データであるユーザ認証情報が、内部メモリ１１０ｂ又はメモリーカード２００の所定記憶領域に保存される。その後、主制御部１１０は、顔認識エンジンを停止するとともに、顔認識のアプリケーションを終了し、通常の待受状態に戻す。 Next, when the user to be registered operates the operation unit 115 and requests registration processing, the main control unit 110 executes camera stop processing and the face recognition reference data obtained by the face authentication processing. Is stored in a predetermined storage area of the internal memory 110b or the memory card 200. Thereafter, the main control unit 110 stops the face recognition engine, ends the face recognition application, and returns to the normal standby state.
なお、前述の図６に示す顔認識制御モードは、電話やメールを用いてリモート起動することができる。このリモート起動を許可するか否かは、図１２に示す顔認識起動設定の画面で設定することができる。 Note that the face recognition control mode shown in FIG. 6 can be remotely activated using a telephone or mail. Whether or not this remote activation is permitted can be set on the face recognition activation setting screen shown in FIG.
図１３及び図１４は、電話やメールによる顔認識制御モードのリモート起動を行う場合の処理の一例を示すシーケンスフロー図である。図１３の続きのシーケンスが図１４に表示されている。このような電話やメールによるリモート起動を行うことにより、携帯電話機１０を落したり盗まれたりした場合に、顔認識制御モードを速やかに起動し、携帯電話機１０の不正使用を未然に防止できる。 FIG. 13 and FIG. 14 are sequence flowcharts showing an example of processing when the face recognition control mode is remotely activated by telephone or mail. The sequence following FIG. 13 is displayed in FIG. By performing such remote activation by telephone or e-mail, when the mobile phone 10 is dropped or stolen, the face recognition control mode can be quickly activated to prevent unauthorized use of the mobile phone 10 in advance.
図１３に示すシーケンスフローは、音声（電話）によるリモート起動の処理を示している。まず、図１３において、携帯電話機１０の待受状態で着信を受けたとき、音声（電話）の着信か否かが判断される。ここで、音声の着信の場合、主制御部１１０は着信設定パラメータを取得し、着信動作を実行する。そして、発信元の電話に対して遠隔認証を要求し、所定の認証結果の情報を受信し、その情報が正しいか否かを判断する。主制御部１１０は、正しい認証結果の情報を受信すると、顔認識制御モードを起動するとともに、顔認識に必要なパラメータデータを取得し、起動した旨を通知する起動通知を発信元の電話に送信する。そして、主制御部１１０は終話処理を実行した後、「待受＋顔認識待機状態」に移行する。 The sequence flow shown in FIG. 13 shows remote activation processing by voice (telephone). First, in FIG. 13, when an incoming call is received in the standby state of the mobile phone 10, it is determined whether or not a voice (phone) call is received. Here, in the case of an incoming voice call, the main control unit 110 acquires an incoming call setting parameter and executes an incoming call operation. Then, remote authentication is requested from the caller telephone, information on a predetermined authentication result is received, and it is determined whether or not the information is correct. When the main control unit 110 receives the correct authentication result information, the main control unit 110 activates the face recognition control mode, acquires parameter data necessary for face recognition, and transmits an activation notification notifying the activation to the caller's telephone. To do. Then, the main control unit 110 shifts to the “standby + face recognition standby state” after executing the end-call processing.
一方、メール着信の場合、図１４に示すように、主制御部１１０はメール着信か否かを確認する。メール着信の場合は、着信設定パラメータを取得し、受信したメールのメッセージ等のデータをメールボックスに保存する。そして、リモートメール設定がオンであって受信したメールが所定のリモートメールであるときは、メール内のキーワードについて照合処理を実行する。この照合の結果がＯＫの場合には、顔認識制御モードを起動するとともに、顔認識に必要なパラメータデータを取得し、起動した旨を通知する返信メールを発信元の通信端末に送信し、「待受＋顔認識待機状態」に移行する。 On the other hand, in the case of an incoming mail, as shown in FIG. 14, the main control unit 110 confirms whether the incoming mail is received. In the case of incoming mail, the incoming call setting parameter is acquired and data such as the received mail message is stored in the mailbox. When the remote mail setting is on and the received mail is a predetermined remote mail, a matching process is executed for the keyword in the mail. When the result of this collation is OK, the face recognition control mode is started, parameter data necessary for face recognition is acquired, a reply mail notifying that the face has been started is sent to the communication terminal of the sender, “Standby + face recognition standby state” is entered.
図１５は、上記Emergencyモードを設定したときの処理の一例を示すシーケンスフロー図である。このEmergencyモードにおける表示部１１４は非表示になるように表示パラメータが設定されている。 FIG. 15 is a sequence flow diagram showing an example of processing when the Emergency mode is set. The display parameters are set so that the display unit 114 in the emergency mode is not displayed.
上記Emergencyモードが設定された「待受＋顔認識待機状態」において、使用者による携帯電話機１０の操作開始が検知されると、主制御部１１０は、認識エンジンを初期化するとともに、顔認識のアプリケーションを呼び出して起動する。 In the “standby + face recognition standby state” in which the Emergency mode is set, when the operation start of the mobile phone 10 by the user is detected, the main control unit 110 initializes the recognition engine and performs face recognition. Call and start the application.
次に、主制御部１１０からカメラ部１１８にカメラ撮影開始要求が出力されると、正面カメラ１０９が起動する。カメラ部１１８は、所定の撮影条件で登録ユーザの顔を撮影し、主制御部１１０に渡す。 Next, when a camera shooting start request is output from the main control unit 110 to the camera unit 118, the front camera 109 is activated. The camera unit 118 shoots the face of the registered user under a predetermined shooting condition and passes it to the main control unit 110.
次に、主制御部１１０は、認識エンジンによって顔の認識に成功するまで顔認識処理を実行する。主制御部１１０は、顔認識処理に成功したら、カメラ部１１８から取得した不正使用者の顔の画像データを内部メモリ１１０ｂ又はメモリーカード２００の所定記憶領域に保存する。また、主制御部１１０は、不正使用者の顔の画像データを添付したメールを、所定の通信先宛（例えば所有者又は正規の登録使用者のメールアドレス宛）に送信するように制御する。 Next, the main control unit 110 executes face recognition processing until the face is successfully recognized by the recognition engine. If the face recognition process is successful, the main control unit 110 stores the image data of the unauthorized user's face acquired from the camera unit 118 in the internal memory 110b or a predetermined storage area of the memory card 200. In addition, the main control unit 110 controls to send an e-mail attached with image data of an unauthorized user's face to a predetermined communication destination (for example, to an e-mail address of an owner or a regular registered user).
次に、主制御部１１０は、カメラの停止処理を実行するとともに、上記顔認証処理で得られた顔認識基準データであるユーザ認証情報を、内部メモリ１１０ｂ又はメモリーカード２００の所定記憶領域に保存する。その後、主制御部１１０は、顔認識エンジンを停止するとともに、顔認識のアプリケーションを終了する。 Next, the main control unit 110 executes a camera stop process and saves user authentication information, which is face recognition reference data obtained by the face authentication process, in a predetermined storage area of the internal memory 110b or the memory card 200. To do. Thereafter, the main control unit 110 stops the face recognition engine and ends the face recognition application.
以上、本実施形態によれば、紛失・盗難・置き忘れ等があった場合において所定の不正使用対応モード（Emergencyモード）に設定される。この不正使用対応モードの実行時に携帯電話機１０の操作が検知されると、その操作を行っている使用者は、携帯電話機１０の正規の使用者ではない不正使用者であるとみなされ、その使用者の顔が撮影される。そして、この撮影された不正使用者の顔の画像データを含む情報が、所定の通信先宛に送信される。このように送信される情報により、携帯電話機１０の紛失・盗難・置き忘れ等があった場合に不正使用者によって操作されていることを所定の通信先に積極的に知らせることができる。
また、本実施形態によれば、携帯電話機１０の使用開始操作が検知されたときに、上記顔の撮影及び上記情報の送信を行うことにより、携帯電話機１０の不正使用が開始された後、不正使用者によって操作されていることを速やかに知らせることができる。
また、本実施形態によれば、携帯電話機１０の操作が検知されると、その使用者の顔が撮影され、この撮影された顔の画像データと、内部メモリ１１０ｂ等に記憶されている顔認識基準データとが比較される。この比較結果に基づいて、上記操作している使用者が不正使用者であるかが自動識別されることにより、不正使用者であるか否かの判定を正確に行うことができる。従って、上記不正使用対応モード（Emergencyモード）の設定中に正規の使用者が操作したときの上記顔の画像データを含む情報の誤送信を回避できる。
また、本実施形態によれば、上記撮影した顔の画像データが添付されて送信されたメールを、所定の通信先（携帯電話機１０の所有者や正規の登録使用者）において汎用のメーラーによって受信することができる。この受信したメールの本文から、上記不正使用者によって操作されていることを容易に確認できる。また、添付の画像データを用いて顔の画像を表示することにより、不正使用者の顔を容易に確認できる。
また、本実施形態によれば、上記撮影した顔の画像データを内部メモリ１１０ｂ等に保存することにより、携帯電話機１０が正規の使用者のもとに戻ったとき、携帯電話機１０の内部メモリ１１０ｂ等から画像データを読み出して表示することにより、不正使用者の顔を容易に確認できる。
また、本実施形態によれば、上記不正使用対応モード（Emergencyモード）に設定するための電話又はメールを所定の発信者から着信したときに不正使用対応モードに自動的に設定されるので、不正使用対応モードのリモート設定が可能になる。
また、本実施形態によれば、撮影した使用者の顔の画像をディスプレイに表示しないことにより、顔が撮影されていることが使用者にわかりにくくなるので、不正使用者が意識しない状態で顔の撮影に行うことができる。As described above, according to the present embodiment, when there is loss, theft, misplacement, etc., the predetermined unauthorized use support mode (Emergency mode) is set. When an operation of the mobile phone 10 is detected during the execution of the unauthorized use support mode, the user who performs the operation is regarded as an unauthorized user who is not an authorized user of the mobile phone 10, and the use thereof The person's face is photographed. Then, information including image data of the photographed image of the unauthorized user is transmitted to a predetermined communication destination. The information transmitted in this way can positively notify a predetermined communication destination that the mobile phone 10 is operated by an unauthorized user when it is lost, stolen, misplaced, or the like.
Further, according to the present embodiment, when the use start operation of the mobile phone 10 is detected, the unauthorized use of the mobile phone 10 is started after the unauthorized use of the mobile phone 10 is started by photographing the face and transmitting the information. It is possible to promptly notify that it is being operated by the user.
Further, according to the present embodiment, when the operation of the mobile phone 10 is detected, the face of the user is photographed, and the image data of the photographed face and the face recognition stored in the internal memory 110b or the like. The reference data is compared. Based on the comparison result, whether or not the user who is operating is an unauthorized user is automatically identified, so that it is possible to accurately determine whether or not the user is an unauthorized user. Accordingly, it is possible to avoid erroneous transmission of information including the image data of the face when an authorized user operates during setting of the unauthorized use support mode (Emergency mode).
Further, according to the present embodiment, a mail sent with the photographed face image data attached is received by a general-purpose mailer at a predetermined communication destination (the owner of the mobile phone 10 or a regular registered user). can do. From the text of the received mail, it can be easily confirmed that the unauthorized user is operating. In addition, the face of an unauthorized user can be easily confirmed by displaying a face image using the attached image data.
Further, according to the present embodiment, by storing the captured face image data in the internal memory 110b or the like, when the mobile phone 10 returns to the authorized user, the internal memory 110b of the mobile phone 10 is restored. By reading out the image data from, etc. and displaying it, the face of the unauthorized user can be easily confirmed.
In addition, according to the present embodiment, when a call or e-mail for setting the unauthorized use correspondence mode (Emergency mode) is received from a predetermined caller, the unauthorized use correspondence mode is automatically set. Enables remote setting of usage support mode.
In addition, according to the present embodiment, since the captured face image of the user is not displayed on the display, it is difficult for the user to understand that the face has been shot. Can be taken for.
なお、上記実施形態において、上記所定の通信先に対して送信する送信対象の情報に、携帯電話機１０の現在位置の位置情報を含めてもよい。この場合は、不正使用の場所の特定が容易になる。携帯電話機１０の現在位置の位置情報を取得する位置情報取得手段は、前述の無線通信手段１１１、ベースバンド処理部１１２、ＧＰＳ部１１７等を用いて構成することができる。例えば、無線通信手段１１１及びベースバンド処理部１１２を用いて携帯電話通信網の基地局と通信することにより、携帯電話機１０が存在するエリア（セル）情報を位置情報として取得したり、所定の配信サーバから配信される携帯電話機１０の位置情報を受信して取得したりすることができる。また、ＧＰＳ部１１７を用いてＧＰＳ衛星と通信することにより、携帯電話機１０の経度及び緯度を位置情報として取得することができる。 In the above-described embodiment, position information on the current position of the mobile phone 10 may be included in the transmission target information transmitted to the predetermined communication destination. In this case, it becomes easy to specify the place of unauthorized use. The position information acquisition unit that acquires the position information of the current position of the mobile phone 10 can be configured using the above-described wireless communication unit 111, baseband processing unit 112, GPS unit 117, and the like. For example, by communicating with a base station of a mobile phone communication network using the wireless communication unit 111 and the baseband processing unit 112, area (cell) information in which the mobile phone 10 exists is acquired as position information, or predetermined distribution is performed. The location information of the mobile phone 10 distributed from the server can be received and acquired. Further, by communicating with a GPS satellite using the GPS unit 117, the longitude and latitude of the mobile phone 10 can be acquired as position information.
また、上記実施形態では、内向きの正面カメラ１０９を顔の撮影に使用することとして説明したが、使用者が操作する際に外向きの背面カメラ１０８が使用者の顔に対向する場合には外向きの背面カメラ１０８を顔の撮影に使用してもよい。
また、上記実施形態では携帯電話機の場合について説明したが、本発明は、操作する使用者の顔を撮影可能なカメラを備えることにより、携帯電話機以外の他の情報通信端末についても同様に適用できる。In the above embodiment, the inwardly facing front camera 109 is used for photographing a face. However, when the user operates the outwardly facing rear camera 108 to face the user's face. The outward rear camera 108 may be used for photographing the face.
Moreover, although the case of the mobile phone has been described in the above embodiment, the present invention can be similarly applied to other information communication terminals other than the mobile phone by including a camera capable of photographing the face of the user who operates. .
１０ 携帯電話機
１１０ 主制御部
１１０ｂ 内部メモリ
１１８ カメラ部
１２２ 操作開始検知部
１３０ 撮像手段
１３１ 顔認識基準データ記憶手段
１３３ 操作検知手段
１３４ 制御手段
１３５ 通信手段DESCRIPTION OF SYMBOLS 10 Cellular phone 110 Main control part 110b Internal memory 118 Camera part 122 Operation start detection part 130 Imaging means 131 Face recognition reference data storage means 133 Operation detection means 134 Control means 135 Communication means
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005250672AJP2007067783A (en) | 2005-08-31 | 2005-08-31 | Information communication terminal |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005250672AJP2007067783A (en) | 2005-08-31 | 2005-08-31 | Information communication terminal |
| Publication Number | Publication Date |
|---|---|
| JP2007067783Atrue JP2007067783A (en) | 2007-03-15 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005250672APendingJP2007067783A (en) | 2005-08-31 | 2005-08-31 | Information communication terminal |
| Country | Link |
|---|---|
| JP (1) | JP2007067783A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008252186A (en)* | 2007-03-29 | 2008-10-16 | Kyocera Corp | Communication device and communication device notification method |
| JP2009129419A (en)* | 2007-11-28 | 2009-06-11 | Kyocera Corp | Electronic device and authentication method |
| JP2009296112A (en)* | 2008-06-03 | 2009-12-17 | Nec Corp | Mobile terminal unit, fraudulent use prevention method and program |
| JP2016534435A (en)* | 2014-06-26 | 2016-11-04 | シャオミ・インコーポレイテッド | File locking method, file locking device, program, and recording medium |
| US9904774B2 (en) | 2014-06-26 | 2018-02-27 | Xiaomi Inc. | Method and device for locking file |
| KR102240495B1 (en)* | 2020-06-11 | 2021-04-15 | 주식회사 카카오뱅크 | Method for managing abusing user about identification and authentication, and server for the method |
| US11645373B2 (en) | 2019-12-26 | 2023-05-09 | Samsung Electronics Co., Ltd. | Electronic device for biometrics and method thereof |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008252186A (en)* | 2007-03-29 | 2008-10-16 | Kyocera Corp | Communication device and communication device notification method |
| JP2009129419A (en)* | 2007-11-28 | 2009-06-11 | Kyocera Corp | Electronic device and authentication method |
| JP2009296112A (en)* | 2008-06-03 | 2009-12-17 | Nec Corp | Mobile terminal unit, fraudulent use prevention method and program |
| JP2016534435A (en)* | 2014-06-26 | 2016-11-04 | シャオミ・インコーポレイテッド | File locking method, file locking device, program, and recording medium |
| US9904774B2 (en) | 2014-06-26 | 2018-02-27 | Xiaomi Inc. | Method and device for locking file |
| US11645373B2 (en) | 2019-12-26 | 2023-05-09 | Samsung Electronics Co., Ltd. | Electronic device for biometrics and method thereof |
| KR102240495B1 (en)* | 2020-06-11 | 2021-04-15 | 주식회사 카카오뱅크 | Method for managing abusing user about identification and authentication, and server for the method |
| Publication | Publication Date | Title |
|---|---|---|
| EP1914961B1 (en) | Mobile information terminal apparatus | |
| KR100840457B1 (en) | Portable terminal device, recording medium recording motion control program and recording medium recording data access control program | |
| CN100442803C (en) | Portable terminal, response message sending method and server | |
| CN113163052A (en) | Emergency call method and electronic equipment | |
| JP4284309B2 (en) | Emergency operation execution method and electronic device | |
| JP2005045587A (en) | Mobile information terminal device and display control method therefor | |
| CN110060062B (en) | Information exchange method after wearable device is lost, wearable device and storage medium | |
| KR100548418B1 (en) | Method and system for limiting shooting of camera integrated mobile terminal | |
| JP2007067783A (en) | Information communication terminal | |
| JP2006254311A (en) | Communication terminal and communication terminal control method | |
| JP2004140710A (en) | Mobile phone terminal and control method therefor | |
| JP2003101640A (en) | Mobile terminal | |
| KR101005041B1 (en) | Recording medium recording communication terminal device and communication program | |
| JP5132192B2 (en) | Mobile terminal device | |
| JP4703475B2 (en) | Portable information equipment | |
| JP2005123817A (en) | Mobile communication terminal | |
| JP2002290818A (en) | Portable terminal | |
| JP2003264877A (en) | Mobile terminal | |
| JP2005136921A (en) | Portable phone with unauthorized photography prevention function | |
| EP1895764B1 (en) | Disabling operation of a camera on a handheld mobile communication device based upon enabling or disabling devices | |
| JP5042009B2 (en) | Mobile terminal device | |
| JP2009129419A (en) | Electronic device and authentication method | |
| JP2007150866A (en) | Mobile telephone set, visual field angle changing method of mobile telephone set, and visual field changing program of mobile telephone set | |
| JP2005151052A (en) | Camera phone | |
| JP5382808B2 (en) | Terminal device and program |
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20080911 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20081017 | |
| A521 | Written amendment | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20081216 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20090529 | |
| A521 | Written amendment | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20090723 | |
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:20091106 |