






本発明は携帯端末と通信機能を持つ外部の表示・入力装置との組み合わせによる無線通信システムに関する。 The present invention relates to a wireless communication system using a combination of a portable terminal and an external display / input device having a communication function.
近年、携帯電話機はGPS(Global Positioning System)、Bluetooth(登録商標)、WLAN(Wireless Local Area Network)、加速度センサ、NFC(Near Field Communication)チップ等のさまざまなセンサ、デバイスを搭載しており、これらセンサ、デバイスを利用した高機能なアプリケーションを動作させることが可能である。特に有効であるのはナビゲーション機能であり、高価な車載用カーナビゲーションシステムの代用として利用することが可能なポテンシャルを保持している。 In recent years, mobile phones are equipped with various sensors and devices such as GPS (Global Positioning System), Bluetooth (registered trademark), WLAN (Wireless Local Area Network), acceleration sensors, and NFC (Near Field Communication) chips. It is possible to operate highly functional applications using sensors and devices. The navigation function is particularly effective, and holds the potential to be used as a substitute for an expensive in-vehicle car navigation system.
しかし、携帯電話機は元来持ち運びを前提とした設計がなされており、表示画面やキーやタッチパネル等の操作サイズが小型である。そのため手に持って利用する以外の携帯電話機の利用用途で使うためには視認性や操作性に課題がある。 However, mobile phones are originally designed to be carried around, and the operation size of the display screen, keys, touch panel, etc. is small. For this reason, there are problems in visibility and operability in order to use the mobile phone for use other than holding it in hand.
携帯電話機をカーナビゲーションシステムの代用とする場合の課題に関して言えば、携帯電話機にディスプレイ手段を持つ外部装置を有線で接続し、携帯電話機で生成したナビゲーション用の画像を外部装置に送信してディスプレイ手段で表示できるようにした車載情報通信システムが提案されている(特許文献1)。外部装置のディスプレイ手段は携帯電話機の表示画面より大きな表示画面サイズを持つことは言うまでも無い。 Speaking of problems when a mobile phone is used as a substitute for a car navigation system, an external device having a display means is connected to the mobile phone by wire, and an image for navigation generated by the mobile phone is transmitted to the external device to display the means. An in-vehicle information communication system that can be displayed on the Internet has been proposed (Patent Document 1). Needless to say, the display means of the external device has a display screen size larger than the display screen of the mobile phone.
上記の車載情報通信システムは、携帯電話機と外部装置を接続ケーブルで接続している。これは、上記の車載情報通信システムは、携帯電話機と外部装置の接続に際し相互の認証までは考えていないことによるものである。その結果、上記の車載情報通信システムは、携帯電話機と外部装置が1対1の関係でしか適用できない。 In the above-mentioned in-vehicle information communication system, a mobile phone and an external device are connected by a connection cable. This is because the above-described in-vehicle information communication system does not consider mutual authentication when connecting a mobile phone and an external device. As a result, the above-described in-vehicle information communication system can be applied only in a one-to-one relationship between the mobile phone and the external device.
上記説明は携帯電話機をカーナビゲーションシステムの代用とする場合の課題であるが、将来的に携帯電話機に代表される携帯端末の様々な機能を用いて電子機器を代用しようとする場合にも利用目的の違いから視認性や操作性が課題になると考えられる。 The above explanation is a problem when a mobile phone is used as a substitute for a car navigation system, but it is also used when an electronic device is used in the future by using various functions of a mobile terminal represented by a mobile phone. Visibility and operability are considered to be issues due to the difference between the two.
本発明は、携帯電話機にて代表される携帯端末においてアプリケーションの実行に伴って生成される画面を外部の表示・入力装置で表示可能とするだけでなく、外部の表示・入力装置側から携帯端末のアプリケーションを操作可能な無線通信システムを提供しようとするものである。 The present invention not only enables a screen generated when an application is executed on a mobile terminal typified by a mobile phone to be displayed on an external display / input device, but also allows the mobile terminal to be displayed from the external display / input device side. It is intended to provide a wireless communication system capable of operating the application.
本発明の態様によれば、携帯端末と外部の表示・入力装置との間で構成される無線通信システムであって、前記携帯端末、前記表示・入力装置はそれぞれ、通信に際して識別子情報を用いて相手機器との間で認証を行なう機能と、認証した相手機器との間で近距離無線通信を行なう機能とを有する機器認証・通信手段、端末認証・通信手段を備え、前記携帯端末は更に、アプリケーションを実行させるアプリケーション実行手段と、アプリケーションの実行に伴う画面を生成する画面生成手段を備えることにより、生成した画面を前記識別子情報と共に画面情報に含ませて前記機器認証・通信手段を通して前記表示・入力装置へ送信し、前記表示・入力装置は更に、前記端末認証・通信手段を通して受信した前記携帯端末からの前記画面情報に含まれる画面を表示画面に表示させる画面表示手段と、当該表示・入力装置へのユーザによる操作を検知して操作内容と前記識別子情報を含む操作イベント情報を生成するイベント情報生成手段を備えることにより、生成した操作イベント情報を前記端末認証・通信手段を通して前記携帯端末へ送信し、前記アプリケーション実行手段は、前記機器認証・通信手段を通して受信した前記操作イベント情報に応じた機能を実行することにより、前記表示・入力装置より擬似的に前記携帯端末のアプリケーションを操作することを可能にしたことを特徴とする無線通信システムが提供される。 According to an aspect of the present invention, there is provided a wireless communication system configured between a mobile terminal and an external display / input device, wherein each of the mobile terminal and the display / input device uses identifier information for communication. Device authentication / communication means having a function of performing authentication with the counterpart device and a function of performing short-range wireless communication with the authenticated counterpart device, terminal authentication / communication means, the portable terminal further includes By including application execution means for executing an application and screen generation means for generating a screen accompanying execution of the application, the generated screen is included in the screen information together with the identifier information, and the display / display through the device authentication / communication means. The screen information from the portable terminal transmitted to the input device and further received by the display / input device through the terminal authentication / communication means By providing screen display means for displaying the included screen on the display screen, and event information generating means for detecting operation by the user to the display / input device and generating operation event information including the operation content and the identifier information. The generated operation event information is transmitted to the portable terminal through the terminal authentication / communication means, and the application execution means executes a function according to the operation event information received through the device authentication / communication means, There is provided a wireless communication system characterized in that it is possible to operate the application of the mobile terminal in a pseudo manner from the display / input device.
上記の態様による無線通信システムにおいては、前記表示・入力装置は前記表示画面にタッチパネルを備え、前記イベント情報生成手段はユーザによる該タッチパネル操作を検知して前記操作イベント情報を生成するようにされるのが望ましい。 In the wireless communication system according to the above aspect, the display / input device includes a touch panel on the display screen, and the event information generation unit detects the touch panel operation by a user and generates the operation event information. Is desirable.
上記の態様による無線通信システムにおいては、前記アプリケーションはナビゲーションアプリであり、前記アプリケーション実行手段により該ナビゲーションアプリを実行中に前記画面生成手段で生成したナビ用の表示画面を画面情報に含ませて前記機器認証・通信手段経由で前記表示・入力装置に送信し、前記表示・入力装置ではこれを受信して、前記画面表示手段が、受信したナビ用の表示画面を前記表示画面に表示させることで前記表示・入力装置にナビゲーションアプリの画面を表示させることを可能とし、一方、前記表示・入力装置における前記ユーザによるタッチパネル操作に対し、前記イベント情報生成手段が前記操作イベント情報を生成して前記端末認証・通信手段経由で前記携帯端末に送信し、前記携帯端末ではこれを受信し、前記アプリケーション実行手段にイベントとして前記ユーザによるタッチパネル操作をインプットすることで、前記表示・入力装置におけるタッチパネル操作によりナビゲーションアプリを操作することができる。 In the wireless communication system according to the above aspect, the application is a navigation application, and the display screen for navigation generated by the screen generation unit during execution of the navigation application by the application execution unit is included in the screen information. It is transmitted to the display / input device via the device authentication / communication means, and the display / input device receives this, and the screen display means displays the received navigation display screen on the display screen. It is possible to display a screen of a navigation application on the display / input device, while the event information generating means generates the operation event information for the touch panel operation by the user in the display / input device, and the terminal Sent to the mobile terminal via the authentication / communication means, and the mobile terminal And Shin, said by input a touch panel operation by the user as an event to the application executing unit can operate the navigation application by the touch panel operation on the display and input device.
上記の態様による無線通信システムにおいては、前記携帯端末が更に、前記機器認証・通信手段より認証完了通知を受け取ると前記アプリケーション実行手段に対してアプリケーション開始要求を、受信した前記識別子情報とともに送信するアプリケーション制御手段を備え、該アプリケーション制御手段はまた、前記機器認証・通信手段より前記操作イベント情報を受け取ると、該操作イベント情報に含まれる前記識別子情報が認証済みの機器かを確認し、認証済であれば前記アプリケーション実行手段に対して前記操作イベント情報を送信し、前記アプリケーション実行手段は、アプリケーション開始要求時に渡された前記識別子情報に対応したアプリケーションを起動することにより、前記携帯端末と前記表示・入力装置との認証タイミングにて前記識別子情報に対応したアプリケーションを自動的に起動可能とすることができる。 In the wireless communication system according to the above aspect, when the portable terminal further receives an authentication completion notification from the device authentication / communication means, an application for transmitting an application start request to the application execution means together with the received identifier information Control means, and when receiving the operation event information from the device authentication / communication means, the application control means confirms whether the identifier information included in the operation event information is an authenticated device, If there is, the operation event information is transmitted to the application execution means, and the application execution means activates the application corresponding to the identifier information passed at the time of the application start request, whereby the portable terminal and the display / display Authentication tie with input device The application corresponding to the identifier information in packaging can be automatically activatable.
上記の態様による無線通信システムにおいては、前記携帯端末が更に、一時キャッシュ手段を備える一方、前記表示・入力装置は、前記携帯端末にて認証後に実行されるべき1つ以上のアプリケーションプログラムがあらかじめ格納されているアプリケーション保存手段を備え、前記端末認証・通信手段は認証の完了後、前記アプリケーション保存手段に格納されているアプリケーションプログラムの1つを読み出して実行アプリケーションとして前記識別子情報と共に送信し、前記機器認証・通信手段は、受信した実行アプリケーションを前記一時キャッシュ手段に格納し、認証完了通知とともに前記識別子情報を前記アプリケーション制御手段に送付し、前記アプリケーション制御手段は、前記携帯端末と前記表示・入力装置との認証タイミングにて前記アプリケーション実行手段に対し前記実行アプリケーションを起動させることができる。 In the wireless communication system according to the above aspect, the mobile terminal further includes a temporary cache unit, while the display / input device stores in advance one or more application programs to be executed after authentication by the mobile terminal. And the terminal authentication / communication means reads one of the application programs stored in the application storage means and transmits it together with the identifier information as an execution application after the authentication is completed. The authentication / communication unit stores the received execution application in the temporary cache unit, and sends the identifier information to the application control unit together with an authentication completion notification. The application control unit includes the portable terminal and the display / input device. And authentication Can activate the execution application to said application executing means at timing.
上記の態様による無線通信システムにおいては、当該無線通信システムを1台の前記携帯端末と複数の前記表示・入力装置で構成し、前記携帯端末上のアプリケーションを複数の前記表示・入力装置上にて操作、表示することもできる。 In the wireless communication system according to the above aspect, the wireless communication system is configured by one mobile terminal and a plurality of the display / input devices, and an application on the mobile terminal is executed on the plurality of the display / input devices. Operation and display are also possible.
本発明によればまた、携帯端末と外部の表示・入力装置との間で無線通信を行なう方法であって、前記携帯端末、前記表示・入力装置はそれぞれ、通信に際して識別子情報を用いて相手機器との間で認証を行なう機能と、認証した相手機器との間で近距離無線通信を行なう機能とによる認証・通信機能を備え、前記携帯端末は、アプリケーションを実行させるアプリケーション実行機能と、アプリケーションの実行に伴う画面を生成する画面生成機能により、生成した画面を前記識別子情報と共に画面情報に含ませて前記表示・入力装置へ送信し、前記表示・入力装置は、受信した前記携帯端末からの前記画面情報に含まれる画面を表示画面に表示させる画面表示機能と、当該表示・入力装置へのユーザによる操作を検知して操作内容と前記識別子情報を含む操作イベント情報を生成するイベント情報生成機能により、生成した操作イベント情報を前記携帯端末へ送信し、前記携帯端末は、前記アプリケーション実行機能により、前記表示・入力装置から受信した前記操作イベント情報に応じた機能を実行することにより、前記表示・入力装置より擬似的に前記携帯端末のアプリケーションを操作することを可能にしたことを特徴とする無線通信方法が提供される。 According to the present invention, there is also provided a method of performing wireless communication between a portable terminal and an external display / input device, wherein each of the portable terminal and the display / input device uses identifier information for communication. An authentication / communication function including a function for performing authentication between the mobile device and a function for performing short-range wireless communication with the authenticated counterpart device, and the mobile terminal includes an application execution function for executing an application, A screen generation function for generating a screen accompanying execution is transmitted to the display / input device by including the generated screen in the screen information together with the identifier information, and the display / input device receives the received information from the mobile terminal. Screen display function for displaying the screen included in the screen information on the display screen, the operation by the user to the display / input device, The event information generation function that generates the operation event information including the identifier information transmits the generated operation event information to the portable terminal, and the portable terminal receives the information received from the display / input device by the application execution function. By executing a function corresponding to operation event information, it is possible to provide a wireless communication method characterized in that it is possible to operate the application of the mobile terminal in a pseudo manner from the display / input device.
本発明によれば更に、外部の表示・入力装置との間で無線通信システムを構成することのできる携帯端末であって、該携帯端末は、通信に際して前記表示・入力装置との間で認証を行なう機能と、認証した表示・入力装置との間で近距離無線通信を行なう機能とを有する機器認証・通信手段と、アプリケーションを実行させるアプリケーション実行手段と、アプリケーションの実行に伴う画面を生成する画面生成手段と、を含み、生成した画面を前記機器認証・通信手段を通して前記表示・入力装置へ送信することにより、前記表示・入力装置において前記アプリケーションの実行に伴う画面を表示させることができるようにしたことを特徴とする携帯端末が提供される。 According to the present invention, there is further provided a portable terminal capable of configuring a wireless communication system with an external display / input device, the portable terminal authenticating with the display / input device during communication. Device authentication / communication means having a function to be performed and a function to perform short-range wireless communication with an authenticated display / input device, an application execution means for executing an application, and a screen for generating a screen associated with the execution of the application Generating means, and transmitting the generated screen to the display / input device through the device authentication / communication means so that the screen accompanying execution of the application can be displayed on the display / input device. A portable terminal characterized by the above is provided.
本発明の通信システムによれば、携帯端末においてアプリケーションの実行に伴って生成される画面を外部の表示・入力装置で表示可能となるだけでなく、携帯端末にて動作可能なアプリケーションに対して、外部の表示・入力装置からの操作・参照を行うことが可能となることで、外部の表示・入力装置上にて擬似的に携帯端末のアプリケーションを操作し、利用することを可能となる。 According to the communication system of the present invention, not only can an external display / input device display a screen generated when an application is executed on a mobile terminal, but also an application operable on the mobile terminal. Since it becomes possible to perform operations / references from an external display / input device, it becomes possible to operate and use the application of the mobile terminal in a pseudo manner on the external display / input device.
はじめに、図1を参照して、本発明が適用される携帯端末が携帯電話機である場合の無線通信システムの構成について説明する。 First, a configuration of a wireless communication system when a mobile terminal to which the present invention is applied is a mobile phone will be described with reference to FIG.
図1において、携帯電話機1は、音声通話機能、データ通信・処理機能、ワンセグ放送表示機能、画像データや音声データの記憶・再生機能といった各種機能を実現するほか、GPSや加速度センサ等、ナビゲーションアプリを動作させることの可能な携帯端末機能部14を具備すると共に、後述する表示・入力装置2との通信を行う機器認証・通信部11、外部へ出力する画面を生成する画面生成部12、及びアプリケーション本体(プログラム)を実行、動作させるアプリケーション実行部13を具備する。表示・入力装置2は、携帯電話機1に備えられた表示装置とは別の、いわば外部表示・入力装置であることは言うまでも無く、表示・入力というのは画面表示機能とデータ等の入力機能を有することを意味する。 In FIG. 1, a mobile phone 1 realizes various functions such as a voice call function, a data communication / processing function, a one-segment broadcasting display function, a storage / playback function for image data and voice data, and a navigation application such as a GPS or an acceleration sensor. A device authentication /
表示・入力装置2は、携帯電話機1と無線通信可能とするための端末認証・通信部21を具備するほか、タッチパネル24、及び表示画面25、携帯電話機1より送信された表示情報を表示画面25に表示させるための画面表示部23、タッチパネル24からのタッチ操作に伴う入力をイベント情報(操作イベント情報)に変換するイベントリスナ(イベント情報生成手段)22を具備する。表示画面25のサイズは、携帯電話機1の備える表示画面の表示サイズより大きい。 The display / input device 2 includes a terminal authentication /
このような携帯電話機1、表示・入力装置2により、携帯電話機1において、例えばナビゲーションアプリを実行中に画面生成部12で生成したナビ用の表示画面を機器認証・通信部11経由で表示・入力装置2に送信し、表示・入力装置2ではこれを受信し、画面表示部23が、受信したナビ用の表示画面を表示画面25に表示させることで表示・入力装置2にナビゲーションアプリの画面を表示させることが可能となる。 By using the mobile phone 1 and the display / input device 2, for example, a display screen for navigation generated by the
一方、表示・入力装置2におけるタッチパネル24上のユーザ操作に対し、イベントリスナ22が操作をイベント情報にして端末認証・通信部21経由で携帯電話機1に送信し、携帯電話機1ではこれを受信し、アプリケーション実行部13にイベントとしてユーザ操作をインプットすることで、表示・入力装置2からの操作によりナビゲーションアプリを操作することが可能となる。 On the other hand, in response to a user operation on the
なお、上記のような携帯電話機1と表示・入力装置2との間の関係性から、両者間の無線通信は、通常、数m程度以内の近距離通信で実行される。 Note that due to the relationship between the mobile phone 1 and the display / input device 2 as described above, the wireless communication between the two is usually performed by short-range communication within about several meters.
[第1の実施例]
(第1の実施例の構成)
本発明に係る表示・操作拡張のための無線通信システムの第1の実施例について、図1、図2を参照して詳細に説明する。[First embodiment]
(Configuration of the first embodiment)
A first embodiment of a wireless communication system for display / operation expansion according to the present invention will be described in detail with reference to FIGS.
図1を参照すると、第1の実施例による表示・操作拡張のための無線通信システムは、携帯電話機1と、表示・入力装置2とを含む。 Referring to FIG. 1, the wireless communication system for display / operation expansion according to the first embodiment includes a mobile phone 1 and a display / input device 2.
前述したように、携帯電話機1は、機器認証・通信部11と、画面生成部12と、アプリケーション実行部13と、携帯端末機能部14とを備える。一方、表示・入力装置2は、端末認証・通信部21と、イベントリスナ22と、画面表示部23と、タッチパネル24と、表示画面25とを備える。 As described above, the mobile phone 1 includes the device authentication /
携帯電話機1の機器認証・通信部11は、表示・入力装置2の端末認証・通信部21との間で機器同士の認証を行う機能、及び認証した機器間にて近距離無線通信(無線LAN,Bluetooth,NFC等)を行う機能を保持する。機器同士の認証方法については、ここでは言及しないが、第1の実施例中では具体例として携帯電話機1と表示・入力装置2に接続ボタンを設け、両者の通信範囲内で接続ボタンを同時に押下することで機器の特定と認証を行う方法を想定している。認証が成功した際には機器認証・通信部11は表示・入力装置2の持つデバイス識別子を取得し保存する。機器認証・通信部11はまた、デバイス識別子情報をアプリケーション実行部13に送付する。 The device authentication /
機器認証・通信部11はまた、表示・入力装置2の端末認証・通信部21と認証済の状況下において、画面生成部12より画面情報3(図2)が送付されると、画面情報3に含まれるデバイス識別子31(図2)を参照し、参照の結果判別された、対象となる表示・入力装置2へ画面情報3を送信する。 The device authentication /
機器認証・通信部11はさらに、表示・入力装置2よりイベント情報4(図2)が送信され、これを受信した場合、受信したイベント情報4に含まれるデバイス識別子41(図2)が認証済みの機器かを確認し、認証済であれば、アプリケーション実行部13にイベント情報4を引き渡す。 The device authentication /
携帯電話機1の画面生成部12は、アプリケーション実行部13より表示画面の描画要求を受けると動作し、同時に渡されるデバイス識別子と描画要求から、対象の表示・入力装置2で表示される表示情報32(図2)を更新する為の画面情報3を作成し、機器認証・通信部11に引き渡す。 The
携帯電話機1のアプリケーション実行部13は、従来と同様の携帯端末アプリケーションプログラムの実行環境を具備し、ユーザ操作によりアプリケーション動作を開始する。開始したアプリケーションは携帯端末機能部14と連携してアプリケーション動作を行う。第1の実施例ではアプリケーションとしてナビゲーションを実行するプログラムをあらかじめ図示しない記憶部に格納しており、アプリケーション実行部13と携帯端末機能部14が記憶部からナビゲーションプログラムを読み出して実行することにより協働してナビゲーションを実現するものとする。 The
アプリケーション実行部13はまた、機器認証・通信部11より渡されたイベント情報4を取得すると、そのイベント情報4に含まれる操作内容42(図2)に含まれるアプリケーション動作に対する動作を実行する。具体例としては、表示・入力装置2におけるタッチパネル24に対して「特定位置をタッチ」、「画面上を右から左になぞる(フリック動作)」等が行われた場合にイベントリスナ22で生成され、送信されたイベント情報に基づいて、アプリケーション実行部13がアプリケーションの別機能画面への切り替えを行う等が考えられる。 When the
アプリケーション実行部13はさらに、表示・入力装置2の表示画面25の表示を更新する必要がある場合に、機器認証・通信部11より渡される認証済のデバイス識別子を指定して画面生成部12に描画要求を行う。 The
携帯端末機能部14は、アプリケーション実行部13と連携し、携帯電話機の備える従来と同様の各種機能、センサ、デバイスの機能、動作を実行する。具体的には、携帯端末機能部14は、基地局とのパケット通信、GPSによる測位、加速度センサによる方角や移動速度の検出等を行う。 The mobile
表示・入力装置2の端末認証・通信部21は、携帯電話機1の機器認証・通信部11と機器同士の認証を行う機能、及び認証した機器間で近距離無線通信(無線LAN,Bluetooth,NFC等)を行う機能を保持する。端末認証・通信部21は、認証が成功した際には機器認証・通信部11に対して、表示・入力装置2の持つデバイス識別子を送付する。 The terminal authentication /
端末認証・通信部21はまた、機器認証・通信部11と認証済の状況下において、機器認証・通信部11より画面情報3が送信されるとこれを受信し、受信した画面情報3を画面表示部23に引き渡す。 The terminal authentication /
端末認証・通信部21はさらに、イベントリスナ22よりイベント情報4が送付された場合に、機器認証・通信部11にイベント情報4を引き渡す。 The terminal authentication /
表示・入力装置2のイベントリスナ22は、ユーザのタッチパネル操作の発生のたびにイベント情報4を作成し、端末認証・通信部21にイベント情報4を引き渡す。 The
画面表示部23は、端末認証・通信部21より画面情報3を受け取ると、画面情報3に含まれる表示情報32を基に表示画面25の表示内容の更新を行う。 Upon receiving the screen information 3 from the terminal authentication /
タッチパネル24は、表示画面25上に取り付けられたユーザ操作可能な操作パネルを示し、携帯電話機1におけるアプリケーション実行部13に対して操作を行うためのユーザ操作の入力インターフェースを示す。 The
表示・入力装置2の表示画面25は、アプリケーション実行部13にて実行されるアプリケーションの実行画面を表示する出力インターフェースを示す。 A
図2を参照すると、画面情報3は、デバイス識別子31と、表示情報32とを含む。デバイス識別子31は、表示・入力装置2を一意に決めることができるユニークIDを示す。表示情報32は、アプリケーション実行部13より要求された描画要求により画面生成部12で生成され、表示画面25にて表示を行うための表示画像を示す。 Referring to FIG. 2, the screen information 3 includes a
イベント情報4は、デバイス識別子41と、操作内容42とを含む。デバイス識別子41は、表示・入力装置2を一意に決めることが出来るユニークIDを示す。 The event information 4 includes a
操作内容42は、タッチパネル24におけるユーザの操作内容を示す。具体的には、タッチパネル24上の特定座標位置をタッチする、フリック動作を行う等の操作を示す。 The
(第1の実施例の動作)
次に、図1〜図4を参照して第1の実施例の動作について詳細に説明する。(Operation of the first embodiment)
Next, the operation of the first embodiment will be described in detail with reference to FIGS.
図3は、携帯電話機1においてナビゲーションアプリを動作させ、車載の表示・入力装置2にて表示、操作を行う場合の実施例のトリガ操作を示している。図3では、携帯電話機1において操作A、Bを行い、表示・入力装置2において操作A、Cを行なうものとする。 FIG. 3 shows a trigger operation of an embodiment in the case where a navigation application is operated on the mobile phone 1 and display and operation are performed on the in-vehicle display / input device 2. In FIG. 3, it is assumed that operations A and B are performed on the mobile phone 1, and operations A and C are performed on the display / input device 2.
操作Aは、携帯電話機1と表示・入力装置2の両者の接続ボタンを同時に押下し、機器間の認証が発生した場合を指す。 The operation A indicates a case where the connection buttons of both the mobile phone 1 and the display / input device 2 are pressed at the same time and authentication between devices occurs.
操作Bは、ユーザが携帯電話機1よりナビゲーションアプリを起動した時のトリガ操作を指す。 The operation B indicates a trigger operation when the user activates the navigation application from the mobile phone 1.
図4は、図3の操作Cの具体的な操作イメージを示す。 FIG. 4 shows a specific operation image of the operation C in FIG.
操作Cは、表示・入力装置2にてユーザがタッチパネル24を操作した時のトリガ操作を示す。 The operation C indicates a trigger operation when the user operates the
以下では、表示・入力装置2の表示画面25上に表示されたボタン(図4では「現在地」と記されたボタン)をタッチパネル24上にて選択した際の動作を説明する。 Hereinafter, an operation when a button displayed on the
まず、操作Aの場合について説明する。 First, the case of operation A will be described.
操作Aにて、携帯電話機1の接続ボタンと表示・入力装置2の接続ボタンを同時に押下することにより機器認証・通信部11と端末認証・通信部21間にて認証処理が行われる。認証完了後、端末認証・通信部21は機器認証・通信部11に表示・入力装置2のデバイス識別子を送信し、機器認証・通信部11は認証されている間は表示・入力装置2のデバイス識別子を記憶、保持する。 In operation A, an authentication process is performed between the device authentication /
これにより、携帯電話機1と表示・入力装置2間の基本的な接続が行われる。 Thereby, the basic connection between the mobile phone 1 and the display / input device 2 is performed.
次に、操作Bの場合について説明する。 Next, the case of operation B will be described.
操作Bにて、ユーザがナビゲーションアプリ起動操作を開始すると、アプリケーション実行部13はナビゲーションアプリを実行し、ナビゲーションに必要な動作を携帯端末機能部14と連携して開始する。動作開始後、ナビゲーションアプリが表示・入力装置2の画面表示を変更したい場合には、アプリケーション実行部13より画面生成部12に対して、操作Aにて入手済みのデバイス識別子を指定して描画要求を行う。 When the user starts the navigation application activation operation in operation B, the
画面生成部12は、アプリケーション実行部13より表示画面の描画要求を受けると、渡されたデバイス識別子と描画要求内容より、対象の表示・入力装置2で表示される表示情報32を更新するための画面情報3を作成し、機器認証・通信部11に引き渡す。 Upon receiving a display screen drawing request from the
機器認証・通信部11は、画面生成部12より画面情報3が送付された際には、画面情報3に含まれるデバイス識別子31を参照し、対象となる表示・入力装置の端末認証・通信部21へ画像情報3を送信する。 The device authentication /
端末認証・通信部21は、画像情報3を受信すると、これを画面表示部23に引渡し、画面情報3に含まれる表示情報32を基に表示画面25の表示内容の更新を行う。 Upon receiving the image information 3, the terminal authentication /
これにより、ユーザがナビゲーションアプリの起動操作を行なうことで、表示・入力装置2上の表示画面25にナビゲーションアプリの画面表示を行うことができる。 As a result, the navigation application can be displayed on the
最後に、操作Cの場合について説明する。 Finally, the case of operation C will be described.
操作Cにて、ユーザがタッチパネル24のボタン部分を選択すると、イベントリスナ22はユーザのタッチパネル操作を検知し、検知した操作に対応するイベント情報4を作成する。イベントリスナ22は、作成したイベント情報4を端末認証・通信部21に引き渡す。 When the user selects a button part of the
端末認証・通信部21はイベント情報4が引き渡されると、機器認証・通信部11にイベント情報4を送信する。 When the event information 4 is delivered, the terminal authentication /
機器認証・通信部11は、表示・入力装置2から送信されたイベント情報4を受信し、受信したイベント情報4に含まれるデバイス識別子41が認証済みの機器かを確認し、すでに認証済であれば、アプリケーション実行部13にイベント情報4を引き渡す。 The device authentication /
アプリケーション実行部13は、イベント情報4を取得すると、デバイス識別子41及び操作内容42を基にタッチパネル24上での操作を検知し、対応するアプリケーション動作を実行する。図4の例ではタッチパネル上の「現在地」のボタンがタッチされたことを検知することで、アプリケーション実行部13はボタンを選択された際のアプリケーション動作を行う。 When the
また、この際にアプリケーション動作として描画更新が発生する場合には、アプリケーション実行部13は操作Bの場合と同様に画面生成部12に対して、表示画面の描画要求を行い、最終的に表示画面25の画面の更新を行う。 In addition, when drawing update occurs as an application operation at this time, the
これにより、タッチパネル24へのユーザ操作に対して、携帯電話機1内のアプリケーションを操作することが可能であり、操作後の画面へのフィードバックを表示画面25に行うことで、擬似的に表示・入力装置2上でアプリケーションを動作しているように見せることができる。 Thereby, it is possible to operate an application in the mobile phone 1 in response to a user operation on the
(第1の実施例の効果)
第1の効果は、携帯電話機で動作するアプリケーションを外部の表示・入力装置上より擬似的に操作・表示を行える点である。(Effect of the first embodiment)
A first effect is that an application operating on a mobile phone can be operated and displayed in a pseudo manner from an external display / input device.
第2の効果は、携帯電話機で動作するアプリケーションを携帯電話機の本来持つ表示サイズや操作サイズにとらわれることなく外部の表示・入力装置で表示・操作することが可能であることである。 The second effect is that an application operating on a mobile phone can be displayed and operated on an external display / input device without being restricted by the display size and operation size inherent to the mobile phone.
その理由は、外部の表示・入力装置と携帯電話機間であらかじめ認証を行い、表示・入力装置側のタッチパネル操作を携帯電話機のアプリケーション操作として利用する処理と、逆に携帯電話機上で表示・入力装置に合わせたアプリケーションを動作させることで表示・入力装置に合わせた表示画面をリアルタイムに送信・表示させる処理を並行して行なうことができるからである。 The reason is that authentication is performed in advance between the external display / input device and the mobile phone, and the touch panel operation on the display / input device side is used as the application operation of the mobile phone, and conversely the display / input device on the mobile phone. This is because the processing for transmitting / displaying the display screen adapted to the display / input device in real time can be performed in parallel by operating the application adapted to the above.
[第2の実施例]
本発明の第2の実施例として、その基本的構成は上記の第1の実施例とほぼ同様であるが、携帯電話機におけるアプリケーションの起動について工夫している。その構成例を図5に示す。[Second Embodiment]
As a second embodiment of the present invention, the basic configuration is substantially the same as that of the first embodiment described above, but it is devised to start an application in a mobile phone. An example of the configuration is shown in FIG.
図5において、携帯電話機1は、図1の構成に加えて新たにアプリケーション制御部16を備えている。 In FIG. 5, the mobile phone 1 newly includes an
アプリケーション制御部16の追加により機器認証・通信部11’、及びアプリケーション実行部13’の動作を次のように変更する。 By adding the
機器認証・通信部11’は、端末認証・通信部21と機器同士の認証が完了した際に、認証完了通知とともにデバイス識別子情報をアプリケーション制御部16に送付する。機器認証・通信部11’はまた、表示・入力装置2より送付されたイベント情報4を受信した場合、アプリケーション制御部16に受信したイベント情報4を引き渡す。 When the authentication between the terminal authentication /
アプリケーション実行部13’は、従来と同様の携帯端末アプリケーションの実行環境を具備し、アプリケーション制御部16からのアプリケーション開始要求によりアプリケーション動作を開始する。開始するアプリケーションはアプリケーション開始要求時に渡されたデバイス識別子情報に対応したアプリケーションを起動する。アプリケーション実行中は、アプリケーション制御部16より渡されたイベント情報4を取得すると、そのイベント情報4に含まれる操作内容42(図2)に対するアプリケーション動作を実行する。 The
アプリケーション制御部16は、機器認証・通信部11’より認証完了通知を受け取ると、アプリケーション実行部13’に対してアプリケーション開始要求をデバイス識別子情報と共に送信する。アプリケーション制御部16はまた、機器認証・通信部11よりイベント情報4を受け取ると、イベント情報4に含まれるデバイス識別子41が認証済みの機器かを確認し、認証済であればアプリケーション実行部13’に対して、イベント情報4をそのまま送信する。 Upon receiving the authentication completion notification from the device authentication /
上記のような動作の変更により、携帯電話機1と表示・入力装置2間での認証を実施した際に、機器認証・通信部11’は、認証完了通知とともにデバイス識別子情報をアプリケーション制御部16に送付し、アプリケーション制御部16は認証完了通知に従いアプリケーション実行部13’に対してアプリケーション開始要求をデバイス識別子情報とともに送信する。アプリケーション実行部13’においては、アプリケーション開始要求時に渡されたデバイス識別子情報に対応したアプリケーションを起動する動作が発生する。 When the authentication between the mobile phone 1 and the display / input device 2 is performed by the change in the operation as described above, the device authentication /
このように、第2の実施例では、携帯電話機1と表示・入力装置2との認証タイミングにて表示・入力装置2のデバイス識別子情報に対応したアプリケーションを自動的に起動しているので、ユーザが機器認証後に別途対応するアプリケーションを起動する手順を省くことが出来る。 As described above, in the second embodiment, since the application corresponding to the device identifier information of the display / input device 2 is automatically activated at the authentication timing of the mobile phone 1 and the display / input device 2, the user Can omit the procedure of starting the corresponding application separately after device authentication.
本発明の第3の実施例として、その構成例を図6に示す。 FIG. 6 shows a configuration example as a third embodiment of the present invention.
図6において、第3の実施例による携帯電話機1は、第2の実施例による携帯電話機の構成に加えて、一時キャッシュ17を備える。一方、表示・入力装置2は、第1、第2の実施例の表示・入力装置の構成に加えて、1つ以上のアプリケーションプログラムがあらかじめ格納されているアプリケーション保存領域26を備えている。すなわち、アプリケーション保存領域26は、携帯電話機1にて認証後に実行すべき1つ以上のアプリケーションプログラムの格納領域として機能する。一時キャッシュ17、アプリケーション保存領域26のいずれも、元々備えられている記憶装置の一部を利用して実現されても良い。 6, the mobile phone 1 according to the third embodiment includes a
一時キャッシュ17、アプリケーション保存領域26の追加により、携帯電話機1の機器認証・通信部11’及びアプリケーション実行部13’、表示・入力装置2の端末認証・通信部21’の動作を次のように変更する。 By adding the
端末認証・通信部21’は機器同士の認証が完了後、アプリケーション保存領域26に格納されているアプリケーションプログラムの1つを読み出して実行アプリケーションとして送信する。機器認証・通信部11’は、受信した実行アプリケーションを一時キャッシュ17に格納し、認証完了通知とともにデバイス識別子情報をアプリケーション制御部16に送付する。 After the authentication between devices is completed, the terminal authentication /
一時キャッシュ17は、認証した機器向けに実行するアプリケーションの格納領域を示す。 The
アプリケーション実行部13’は、従来と同様の携帯端末アプリケーションの実行環境を具備し、アプリケーション制御部16からのアプリケーション開始要求により一時キャッシュ17に格納されたアプリケーションを起動する。アプリケーション実行部13’は、アプリケーション実行中は、アプリケーション制御部16より渡されたイベント情報4を取得すると、そのイベント情報4に含まれる操作内容42(図2)に対するアプリケーション動作を実行する。 The
端末認証・通信部21’は、機器認証・通信部11’との認証処理完了後、アプリケーション保存領域26より実行アプリケーションを取得し、機器認証・通信部11’に送付する。 After completing the authentication process with the device authentication /
上記の動作の変更により、携帯電話機1と表示・入力装置2間での認証を実施した際に、端末認証・通信部21’より機器認証・通信部11’に実行アプリケーションが送付され、実行アプリケーションは一時キャッシュ17に格納される。端末認証・通信部21’は、あわせて認証完了通知とともにデバイス識別子情報をアプリケーション制御部16に送付し、アプリケーション制御部16は認証完了通知に従いアプリケーション実行部13’に対してアプリケーション開始要求をデバイス識別子情報とともに送信する。アプリケーション実行部13’は、アプリケーション開始要求を受けて一時キャッシュ17に格納された実行アプリケーションを読み出して起動する。 When the authentication between the mobile phone 1 and the display / input device 2 is performed due to the change in the above operation, the execution application is sent from the terminal authentication /
このように、第3の実施例では、携帯電話機1と表示・入力装置2との認証タイミングにて表示・入力装置2より携帯電話機1にて実行すべきアプリケーションを送付し、自動的に起動するため、あらかじめ携帯電話機1内に実行すべきアプリケーションを格納する必要が無くなる。 As described above, in the third embodiment, the application to be executed on the mobile phone 1 is sent from the display / input device 2 at the authentication timing of the mobile phone 1 and the display / input device 2, and is automatically started. Therefore, there is no need to store an application to be executed in the mobile phone 1 in advance.
なお、図1の第1の実施例について、携帯電話機1と表示・入力装置2は1対1の関係で説明したが、図7に第4の実施例として示すように1台の携帯電話機1に対して複数の表示・入力装置2を組み合わせて無線通信システムを構成してもよい。これにより、携帯電話機1上のアプリケーションを複数の表示・入力装置2上にて表示、操作を行うことが可能となる。 In the first embodiment of FIG. 1, the mobile phone 1 and the display / input device 2 have been described in a one-to-one relationship. However, as shown in FIG. 7 as the fourth embodiment, a single mobile phone 1 is used. In contrast, a plurality of display / input devices 2 may be combined to form a wireless communication system. As a result, the application on the mobile phone 1 can be displayed and operated on the plurality of display / input devices 2.
本発明は、携帯電話機に限らず、携帯端末と呼ばれ表示装置を備えた通信端末全般に適用可能である。 The present invention is not limited to a mobile phone, and can be applied to all communication terminals called a mobile terminal and provided with a display device.
本発明はまた、携帯電話機をカーナビゲーションシステムの代用とする場合のみに限らず、将来的に携帯端末の様々な機能を用いて電子機器を代用することが考えられる。 The present invention is not limited to the case where a mobile phone is used as a substitute for a car navigation system, and it is conceivable that electronic devices will be used in the future by using various functions of a mobile terminal.
1 携帯電話機
2 表示・入力装置1 Mobile phone 2 Display / input device
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010038836AJP2011176591A (en) | 2010-02-24 | 2010-02-24 | Radio communication system using mobile terminal |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010038836AJP2011176591A (en) | 2010-02-24 | 2010-02-24 | Radio communication system using mobile terminal |
| Publication Number | Publication Date |
|---|---|
| JP2011176591Atrue JP2011176591A (en) | 2011-09-08 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010038836AWithdrawnJP2011176591A (en) | 2010-02-24 | 2010-02-24 | Radio communication system using mobile terminal |
| Country | Link |
|---|---|
| JP (1) | JP2011176591A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013108470A1 (en)* | 2012-01-17 | 2013-07-25 | シャープ株式会社 | Operation terminal |
| JP2013191124A (en)* | 2012-03-15 | 2013-09-26 | Sony Corp | Information processing apparatus, information processing method, information processing program, and terminal apparatus |
| WO2013180279A1 (en)* | 2012-05-31 | 2013-12-05 | クラリオン株式会社 | In-vehicle information system, information terminal, application execution method, and program |
| JP2013250798A (en)* | 2012-05-31 | 2013-12-12 | Ricoh Co Ltd | Electronic apparatus and image forming apparatus |
| JP2014119917A (en)* | 2012-12-14 | 2014-06-30 | Mazda Motor Corp | On-vehicle information processing device |
| JP2014236351A (en)* | 2013-05-31 | 2014-12-15 | 株式会社アイ・オー・データ機器 | Communication connection system and program therefor |
| JP2015046669A (en)* | 2013-08-27 | 2015-03-12 | 三菱電機株式会社 | Mobile terminal device |
| JP2015046671A (en)* | 2013-08-27 | 2015-03-12 | 三菱電機株式会社 | Mobile terminal device |
| JPWO2013141142A1 (en)* | 2012-03-19 | 2015-08-03 | 日本電気株式会社 | In-vehicle information system |
| CN104823180A (en)* | 2012-12-04 | 2015-08-05 | 阿巴塔科技有限公司 | Distributed cross-platform user interface and application projection |
| JP2016045745A (en)* | 2014-08-22 | 2016-04-04 | コニカミノルタ株式会社 | Character input system, character input method, information processing apparatus, portable terminal device, and character input program |
| JP2018042260A (en)* | 2017-10-17 | 2018-03-15 | 株式会社アイ・オー・データ機器 | Communication connection system and program for communication connection system |
| WO2018159579A1 (en)* | 2017-02-28 | 2018-09-07 | 株式会社teamS | Display/operation terminal and display/operation separation system using same |
| US11526325B2 (en) | 2019-12-27 | 2022-12-13 | Abalta Technologies, Inc. | Projection, control, and management of user device applications using a connected resource |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013108470A1 (en)* | 2012-01-17 | 2013-07-25 | シャープ株式会社 | Operation terminal |
| JP2013191124A (en)* | 2012-03-15 | 2013-09-26 | Sony Corp | Information processing apparatus, information processing method, information processing program, and terminal apparatus |
| US9414179B2 (en) | 2012-03-15 | 2016-08-09 | Sony Corporation | Operational control of an apparatus through a terminal device |
| JP2016059063A (en)* | 2012-03-19 | 2016-04-21 | 日本電気株式会社 | On-vehicle information system |
| JPWO2013141142A1 (en)* | 2012-03-19 | 2015-08-03 | 日本電気株式会社 | In-vehicle information system |
| JP2013250798A (en)* | 2012-05-31 | 2013-12-12 | Ricoh Co Ltd | Electronic apparatus and image forming apparatus |
| WO2013180279A1 (en)* | 2012-05-31 | 2013-12-05 | クラリオン株式会社 | In-vehicle information system, information terminal, application execution method, and program |
| US10942735B2 (en) | 2012-12-04 | 2021-03-09 | Abalta Technologies, Inc. | Distributed cross-platform user interface and application projection |
| CN104823180A (en)* | 2012-12-04 | 2015-08-05 | 阿巴塔科技有限公司 | Distributed cross-platform user interface and application projection |
| JP2016511946A (en)* | 2012-12-04 | 2016-04-21 | アバルタ テクノロジーズ、 インク.Abalta Technologies, Inc. | Distributed cross-platform user interface and application projection |
| JP2014119917A (en)* | 2012-12-14 | 2014-06-30 | Mazda Motor Corp | On-vehicle information processing device |
| JP2014236351A (en)* | 2013-05-31 | 2014-12-15 | 株式会社アイ・オー・データ機器 | Communication connection system and program therefor |
| JP2015046671A (en)* | 2013-08-27 | 2015-03-12 | 三菱電機株式会社 | Mobile terminal device |
| JP2015046669A (en)* | 2013-08-27 | 2015-03-12 | 三菱電機株式会社 | Mobile terminal device |
| JP2016045745A (en)* | 2014-08-22 | 2016-04-04 | コニカミノルタ株式会社 | Character input system, character input method, information processing apparatus, portable terminal device, and character input program |
| WO2018159579A1 (en)* | 2017-02-28 | 2018-09-07 | 株式会社teamS | Display/operation terminal and display/operation separation system using same |
| JP2018042260A (en)* | 2017-10-17 | 2018-03-15 | 株式会社アイ・オー・データ機器 | Communication connection system and program for communication connection system |
| US11526325B2 (en) | 2019-12-27 | 2022-12-13 | Abalta Technologies, Inc. | Projection, control, and management of user device applications using a connected resource |
| Publication | Publication Date | Title |
|---|---|---|
| JP2011176591A (en) | Radio communication system using mobile terminal | |
| KR102152754B1 (en) | Communication connecting method for bluetooth device and apparatus therefor | |
| US11798107B2 (en) | Scenario-based application recommendation method and apparatus | |
| JP6448158B2 (en) | Method, server, mobile terminal, and apparatus for exchanging data with in-vehicle infotainment | |
| US20140325384A1 (en) | Wireless communication device and information communication method | |
| KR20170024846A (en) | Mobile terminal and method for controlling the same | |
| JP2012124578A (en) | On-vehicle device, on-vehicle system, and portable terminal | |
| TW201249226A (en) | Method, mobile device and computer program product for triggering an event of interest based on communications with nearby wireless devices | |
| JP5997848B2 (en) | Mobile terminal resource processing method, apparatus, client-side computer, server, mobile terminal, program, and recording medium | |
| KR20140028546A (en) | Apparatus for controlling key input and method for the same | |
| CN108153460B (en) | Icon hiding method and terminal | |
| KR20180017638A (en) | Mobile terminal and method for controlling the same | |
| JP2010130552A (en) | Remote control system and remote control method | |
| JP2016502196A (en) | Application installation method, application installation apparatus, facility, program, and recording medium | |
| CN110069184B (en) | Mobile terminal control method, wearable device and computer readable storage medium | |
| KR20160016397A (en) | Mobile terminal and method for controlling the same | |
| CN112068916A (en) | Alarm clock control method, device and storage medium | |
| CN109033473B (en) | Picture sharing method and device and computer readable storage medium | |
| KR20110126438A (en) | Mobile terminal and its operation method | |
| KR20160012781A (en) | Mobile terminal and method for controlling the same | |
| KR20170052190A (en) | Terminal device and controlling method thereof | |
| JP2019041187A (en) | Portable terminal and system | |
| KR20180031238A (en) | Mobile terminal and method for controlling the same | |
| KR20160032915A (en) | Mobile terminal | |
| KR20160047267A (en) | Mobile terminal and method for controlling the same |
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination | Free format text:JAPANESE INTERMEDIATE CODE: A300 Effective date:20130507 |