JP2022152961A - Remote operation system - Google Patents

Abstract

Translated fromJapanese

【課題】ＰＣの操作パネルの操作によるパスワードなどの入力に際しては、キーの操作がＰＣの操作パネルにのみ表示されて画像形成装置の操作パネルに表示されないようにする。
【解決手段】本発明の遠隔操作システムＳｙにおいて、パスワードなどの入力が行われていないときに、画像形成装置１０の表示部１１の画面に表示されている操作パネルと情報処理装置３０の表示部３１の画面に表示されている操作パネルとを常に整合させる第１遠隔操作モードを選択し、またパスワードなどの入力が行われているときに、情報処理装置３０の表示部３１の画面上の操作パネルにのみ操作されたキーの位置に画像片を表示させる第２遠隔操作モードを選択している。
【選択図】図１

Kind Code: A1 When a password or the like is input by operating an operation panel of a PC, key operations are displayed only on the operation panel of the PC and not displayed on the operation panel of an image forming apparatus.
Kind Code: A1 In a remote control system Sy of the present invention, an operation panel displayed on a screen of a display unit 11 of an image forming apparatus 10 and a display unit of an information processing apparatus 30 when a password or the like is not input. Operation on the screen of the display unit 31 of the information processing device 30 when the first remote operation mode that always matches the operation panel displayed on the screen of the information processing device 31 is selected and a password or the like is being input. A second remote operation mode is selected in which an image fragment is displayed at the position of the operated key only on the panel.
[Selection drawing] Fig. 1

Description

Translated fromJapanese

本発明は、情報処理装置からネットワークを通じて電子機器を遠隔操作する遠隔操作システムに関し、特に、遠隔操作されるキーの操作内容についてのセキュリティを向上させるための技術に関する。 TECHNICAL FIELD The present invention relates to a remote control system for remotely controlling an electronic device from an information processing apparatus through a network, and more particularly to a technique for improving the security of remote-controlled key operations.

電子機器の一例としての画像形成装置には、パーソナルコンピューター（ＰＣ）などの情報処理装置によりネットワークを通じて遠隔操作されるものがある。この遠隔操作では、画像形成装置及びＰＣのいずれの表示部にも、同一の操作パネルをそれぞれ表示させ、ＰＣ側で操作パネルのキーが操作されたときに、このキーの操作を両方の操作パネルに表示させて、操作パネルの操作状況を両方で把握することができる。 2. Description of the Related Art Some image forming apparatuses, which are examples of electronic devices, are remotely controlled through a network by an information processing apparatus such as a personal computer (PC). In this remote operation, the same operation panel is displayed on both the display units of the image forming apparatus and the PC. can be displayed on both sides to grasp the operation status of the operation panel.

例えば、画像形成装置では、操作パネルを表示部に表示させると共に、この操作パネルを示す画像データを、ネットワークを通じてＰＣへと送信する。ＰＣでは、その画像データを受信して、この画像データによって示される操作パネルを表示部に表示させ、マウス又はキーボードなどの操作により当該操作パネルの任意のキーが指示されると、操作パネルにおける当該キーの座標を示す位置データを、ネットワークを通じて画像形成装置へと送信する。画像形成装置では、位置データを受信すると、この位置データによって示される座標のキーを判定し、この操作されているキーの画像（例えば押下されているキーの画像）を表示部に表示させ、この操作されているキーの画像を示す画像データを、ネットワークを通じてＰＣへと送信させる。ＰＣでは、その画像データを受信して、この画像データによって示されるその操作されているキーの画像を表示部に表示させる。これにより、画像形成装置及びＰＣのいずれにおいても、同一の操作パネルが表示されると共に、操作されているキーの画像が表示され、操作パネルの操作状況を把握することができる。 For example, in an image forming apparatus, an operation panel is displayed on a display unit, and image data representing the operation panel is transmitted to a PC through a network. The PC receives the image data and displays the operation panel indicated by the image data on the display unit. Position data indicating the coordinates of the key is transmitted to the image forming apparatus through the network. When the image forming apparatus receives the position data, it determines the key at the coordinates indicated by the position data, displays the image of the key being operated (for example, the image of the key being pressed) on the display unit, and displays the image of the key being operated. Image data representing an image of the key being operated is transmitted to the PC through the network. The PC receives the image data and causes the display unit to display the image of the operated key indicated by the image data. As a result, the same operation panel is displayed on both the image forming apparatus and the PC, and the image of the key being operated is displayed, so that the operation status of the operation panel can be grasped.

また、特許文献１に記載の情報処理システムでは、画像形成装置の表示部に表示される前画面データと次画面データとの差分データ量を算出し、この差分データ量が小さい場合に、当該各画面の変更部分のみを示す送信用画面データを作成して、この送信用画面データをコンピュータへ送信し、またその差分データ量が大きい場合に、次画面データを示す送信用画面データを作成して、この送信用画面データをコンピュータへ送信している。これにより、通信負荷を大きくすることなく、リモート操作における良好なレスポンスを実現する。 Further, in the information processing system described inPatent Document 1, the difference data amount between the previous screen data and the next screen data displayed on the display unit of the image forming apparatus is calculated, and when the difference data amount is small, each Create screen data for transmission showing only the changed part of the screen, send this screen data for transmission to the computer, and if the amount of difference data is large, create screen data for transmission showing the next screen data. , this transmission screen data is transmitted to the computer. This realizes good response in remote operation without increasing the communication load.

また、特許文献２に記載の情報処理装置では、複数の数字を表示し、各数字別に、数字の近傍に所定数の文字を配置して、各文字をそれぞれ異なる色で表示し、ユーザーが任意の数字を選択すると、この選択された数字の近傍に配置されている各文字のうちから、ユーザーが予め選択した色の文字を選択して、この選択した文字を確定している。この任意の数字及び色の選択を繰り返して、複数の文字からなるパスワードを設定しているので、パスワードなどの秘匿性を高くすることができる。 Further, in the information processing apparatus described inPatent Document 2, a plurality of numbers are displayed, a predetermined number of characters are arranged in the vicinity of each number, and each character is displayed in a different color. When a number is selected, a character of a color pre-selected by the user is selected from characters arranged in the vicinity of the selected number, and the selected character is confirmed. Since the password consisting of a plurality of characters is set by repeating the selection of arbitrary numbers and colors, the confidentiality of the password can be enhanced.

また、特許文献３に記載の情報処理装置では、操作デバイスにより例えば右方向への操作が入力された場合、選択状態のアイコンの位置から右方向に存在する移動先の別のアイコンを強調表示したり、この移動先の別のアイコンに誘導表示を付加したりしている。このような視覚表現により、ユーザーは、自分が今行っている操作によって、カーソルがどの方向へ移動しようとしているのかを視覚的に認識することができる。 Further, in the information processing apparatus disclosed inPatent Document 3, when a rightward operation is input by an operation device, for example, another destination icon located rightward from the position of the selected icon is highlighted. Or, a guidance display is added to another icon at this destination. Such a visual representation allows the user to visually recognize in which direction the cursor is about to move due to the user's current operation.

特開２０１４－０６７４４４号公報JP 2014-067444 A特開２０１４－０４４６４４号公報JP 2014-044644 A特開２０１２－１１３７４３号公報JP 2012-113743 A

ここで、上記のように画像形成装置及びＰＣのいずれの表示部にも、同一の操作パネルが表示されると共に、操作されているキーの画像が表示される状態では、ＰＣのユーザーによるキーの遠隔操作の内容が、画像形成装置側にいる他人に分かってしまうことがある。例えば、ＰＣのユーザーが操作パネルのキーを操作してパスワードを入力すると、この操作されているキーの画像が画像形成装置の操作パネルに表示されるため、パスワードが画像形成装置側の他の人にわかってしまうことがある。 Here, in a state in which the same operation panel is displayed on both the display units of the image forming apparatus and the PC as described above, and the image of the key being operated is displayed, the user of the PC cannot press the key. The details of the remote operation may be known by others on the side of the image forming apparatus. For example, when a user of a PC enters a password by operating keys on an operation panel, an image of the key being operated is displayed on the operation panel of the image forming apparatus, so that the password can be used by other people on the image forming apparatus side. Sometimes I understand.

そこで、従来は、ＰＣ側でパスワードを入力するときには、操作されているキーの画像を画像形成装置の操作パネルに表示させないようにしていた。しかしながら、この場合、操作されているキーの画像がＰＣの操作パネルにも表示されなくなるため、ＰＣのユーザーは、操作パネルのキーを操作しても、操作パネルの表示に全く変化が生じず、キーの操作を目視で確認できない。 Therefore, conventionally, when a password is entered on the PC side, the image of the operated key is not displayed on the operation panel of the image forming apparatus. However, in this case, since the image of the key being operated is not displayed on the operation panel of the PC, even if the user of the PC operates the keys on the operation panel, the display on the operation panel does not change at all. Key operation cannot be visually confirmed.

このため、画像形成装置及びＰＣのいずれにおいても、同一の操作パネルが表示されると共に、操作されているキーの画像が表示されることを前提としながらも、ＰＣ側でのパスワードなどの入力に際しては、キーの操作がＰＣの操作パネルにのみ表示にされて画像形成装置の操作パネルには表示されないようにすることが好ましい。 For this reason, it is assumed that the same operation panel is displayed on both the image forming apparatus and the PC, and the image of the key being operated is displayed. Preferably, key operations are displayed only on the operation panel of the PC and not displayed on the operation panel of the image forming apparatus.

特許文献１では、前画面データと次画面データとの差分データ量に応じた送信用画面データを作成しているが、キーの操作がＰＣの操作パネルにのみ表示されて画像形成装置の操作パネルに表示されないようにするための技術的な記載がなく、その示唆もない。 InPatent Document 1, screen data for transmission is created according to the difference data amount between the previous screen data and the next screen data. There is no technical description or suggestion to prevent it from appearing in

また、特許文献２では、各数字と各色の文字の組み合わせ及び色の選択によりパスワードなどの秘匿性を高くし、更に特許文献３では、移動先の別のアイコンを強調表示したり、移動先の別のアイコンに誘導表示を付加したりしているが、やはりキーの操作がＰＣの操作パネルにのみ表示されて画像形成装置の操作パネルに表示されないようにするための技術的な記載がなく、その示唆もない。 Further, in Japanese Patent Application Laid-Open No. 2002-200020, the confidentiality of passwords is enhanced by combining numbers and letters of various colors and selecting colors. Although guidance display is added to another icon, there is no technical description to prevent key operations from being displayed only on the operation panel of the PC and not on the operation panel of the image forming apparatus. No hint of that.

本発明は、上記の事情に鑑みなされたものであり、電子機器及び情報処理装置の両方に同一の操作パネル及びキーを表示しながらも、キーの操作内容が情報処理装置の操作パネルにのみ表示されて、電子機器の操作パネルに表示されないようにすることを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and while the same operation panel and keys are displayed on both the electronic device and the information processing device, the operation contents of the keys are displayed only on the operation panel of the information processing device. The purpose is to prevent it from being displayed on the operation panel of electronic equipment.

本発明の一局面に係る遠隔操作システムは、電子機器及び情報処理装置を備え、ネットワークを通じて互いにデータ通信を行う遠隔操作システムであって、前記電子機器は、第１表示部と、前記ネットワークを通じて前記情報処理装置との間でデータ通信を行う第１通信部と、複数のキーを配列してなる操作パネルの画像を前記第１表示部に表示させると共に、前記操作パネルの画像を前記第１通信部から前記情報処理装置に送信させ、前記情報処理装置側で操作された前記操作パネルのキーの位置を前記情報処理装置から前記第１通信部で受信したときに、前記第１表示部に表示させている前記位置のキーの画像を変化させ、前記位置及び前記変化させたキーの画像を前記第１通信部から前記情報処理装置に送信させる第１遠隔操作モード、及び前記情報処理装置側で操作された前記操作パネルのキーの位置を前記情報処理装置から前記第１通信部で受信したときに、前記第１表示部に表示されている前記位置のキーの画像を変化させることなく、前記位置及び予め設定された画像片を前記第１通信部から前記情報処理装置に向けて送信させる第２遠隔操作モードのいずれかに切り替えて制御する第１制御部と、を備え、前記情報処理装置は、第２表示部と、ユーザーにより操作される操作部と、前記ネットワークを通じて前記電子機器との間でデータ通信を行う第２通信部と、前記操作パネルの画像を前記電子機器から前記第２通信部で受信したとき、前記操作パネルの画像を前記第２表示部に表示させ、前記操作部の操作により前記操作パネルのいずれかのキーが操作されると、当該操作されたキーの位置を前記第２通信部から前記電子機器に向けて送信させ、前記第１遠隔操作モードにおいて前記位置及び前記変化したキーの画像が前記電子機器から前記第２通信部が受信した場合に、前記変化したキーの画像を前記位置の操作されたキーに代えて配置して前記第２表示部に表示させ、前記第２遠隔操作モードにおいて前記位置及び前記画像片を前記電子機器から前記第２通信部が受信した場合には、前記画像片を前記位置の操作されたキーに代えて配置して前記第２表示部に表示させる第２制御部と、を備えるものである。 A remote control system according to one aspect of the present invention is a remote control system that includes an electronic device and an information processing device and performs data communication with each other through a network, wherein the electronic device includes a first display unit and the a first communication unit for performing data communication with an information processing device; displaying an image of an operation panel formed by arranging a plurality of keys on the first display unit; unit to the information processing device, and when the first communication unit receives from the information processing device the positions of the keys of the operation panel operated on the information processing device side, the information is displayed on the first display unit. a first remote operation mode for changing the image of the key at the position being moved, and transmitting the position and the changed image of the key from the first communication unit to the information processing device; When the position of the operated key of the operation panel is received from the information processing device by the first communication unit, the image of the key at the position displayed on the first display unit is not changed. a first control unit that switches to any one of a second remote operation mode for transmitting a position and a preset image piece from the first communication unit to the information processing device and controls the information processing device; comprises a second display unit, an operation unit operated by a user, a second communication unit for performing data communication with the electronic device through the network, and transmitting an image of the operation panel from the electronic device to the second When the communication unit receives the image, the image of the operation panel is displayed on the second display unit, and when any key of the operation panel is operated by operating the operation unit, the position of the operated key is displayed. The second communication unit is caused to transmit to the electronic device, and when the second communication unit receives from the electronic device the image of the position and the changed key in the first remote control mode, the changed an image of a key is arranged in place of the operated key at the position and displayed on the second display unit, and the position and the image fragment are transmitted from the electronic device to the second communication unit in the second remote control mode. and a second control unit that, when received, arranges the image piece in place of the operated key at the position and displays it on the second display unit.

本発明によれば、電子機器及び情報処理装置の両方に同一の操作パネル及びキーを表示しながらも、キーの操作内容が情報処理装置の操作パネルにのみ表示されて、電子機器の操作パネルに表示されないようにすることかできる。 According to the present invention, while the same operation panel and keys are displayed on both the electronic device and the information processing device, the operation contents of the keys are displayed only on the operation panel of the information processing device, and are displayed on the operation panel of the electronic device. You can prevent it from being displayed.

本発明の一実施形態にかかる遠隔操作システム、並びに遠隔操作システムにおける画像形成装置の構成及び情報処理装置の構成を示すブロック図である。1 is a block diagram showing a configuration of a remote control system, an image forming apparatus, and an information processing apparatus in the remote control system according to an embodiment of the present invention; FIG.第１遠隔操作モード及び第２遠隔操作モードにより画像形成装置の表示部と情報処理装置の表示部を制御するための制御手順を示すフローチャートである。5 is a flow chart showing a control procedure for controlling the display section of the image forming apparatus and the display section of the information processing apparatus in a first remote control mode and a second remote control mode;画像形成装置の表示部及び情報処理装置の表示部に表示された操作パネルを示す図である。3A and 3B are diagrams showing operation panels displayed on a display unit of an image forming apparatus and a display unit of an information processing apparatus; FIG.第１遠隔操作モードにおいて画像形成装置の表示部及び情報処理装置の表示部に表示された操作パネルの操作されたキーを示す図である。FIG. 4 is a diagram showing operated keys of an operation panel displayed on a display unit of an image forming apparatus and a display unit of an information processing apparatus in a first remote operation mode;画像形成装置の表示部及び情報処理装置の表示部に表示された操作パネル及びパスワードを入力するためのウィンドウを示す図である。FIG. 3 is a diagram showing an operation panel and a window for entering a password displayed on the display section of the image forming apparatus and the display section of the information processing apparatus;（Ａ）は第２遠隔操作モードにおいて操作パネルのキーの位置に表示される画像片を示す図であり、（Ｂ）は第２遠隔操作モードにおいて情報処理装置の表示部に表示された操作パネルを示す図であり、（Ｃ）は第２遠隔操作モードにおいて画像形成装置の表示部に表示された操作パネルを示す図である。(A) is a diagram showing an image fragment displayed at a key position of the operation panel in the second remote operation mode, and (B) is an operation panel displayed on the display unit of the information processing device in the second remote operation mode. FIG. 3C is a diagram showing an operation panel displayed on the display section of the image forming apparatus in the second remote operation mode;

以下、本発明の一実施形態にかかる遠隔操作システムについて図面を参照して説明する。 A remote control system according to an embodiment of the present invention will be described below with reference to the drawings.

図１は、本発明の一実施形態にかかる遠隔操作システム、並びに遠隔操作システムにおける画像形成装置の構成及び情報処理装置の構成を示すブロック図である。本実施形態の遠隔操作システムＳｙでは、画像形成装置１０と情報処理装置３０を、ネットワーク（イントラネットなど）を通じて接続している。画像形成装置１０は、本発明に係る電子機器の一実施形態である。 FIG. 1 is a block diagram showing a remote control system according to an embodiment of the present invention, a configuration of an image forming apparatus, and a configuration of an information processing apparatus in the remote control system. In the remote control system Sy of this embodiment, theimage forming apparatus 10 and theinformation processing apparatus 30 are connected via a network (intranet, etc.). Theimage forming apparatus 10 is an embodiment of an electronic device according to the invention.

この遠隔操作システムＳｙにおいて、画像形成装置１０は、例えば、コピー機能、プリンター機能、スキャナー機能のような複数の機能を兼ね備えたＭＦＰ（複合機）である。この画像形成装置１０は、表示部１１、操作部１２、通信部１４、タッチパネル１３、画像読取部１５、画像形成部１６、制御ユニット１９、及び記憶部１８などを備えている。これらの構成要素は、互いにバスを通じてデータ又は信号の送受信が可能とされている。 In this remote control system Sy, theimage forming apparatus 10 is, for example, an MFP (composite machine) having multiple functions such as a copy function, a printer function, and a scanner function. Theimage forming apparatus 10 includes adisplay section 11, anoperation section 12, acommunication section 14, atouch panel 13, animage reading section 15, animage forming section 16, acontrol unit 19, astorage section 18, and the like. These components are enabled to send and receive data or signals to and from each other through the bus.

表示部１１は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（ＯＬＥＤ：Organic Light-Emitting Diode）ディスプレイなどから構成される。 Thedisplay unit 11 includes a liquid crystal display (LCD), an organic light emitting diode (OLED) display, or the like.

表示部１１の画面には、タッチパネル１３が備えられている。タッチパネル１３は、当該タッチパネル１３に対するユーザーの指などの接触（タッチ）をその接触位置と共に検知し、その接触位置の座標を示す検知信号を制御ユニット１９の後述する制御部２１に出力する。これにより、タッチパネル１３を通じて表示部１１の画面に表示されているＧＵＩ（Graphical User Interface）などの操作が可能となる。従って、タッチパネル１３は、表示部１１の画面に対するユーザー操作が入力される操作部としての機能を果たす。 Atouch panel 13 is provided on the screen of thedisplay unit 11 . Thetouch panel 13 detects contact (touch) of a user's finger or the like on thetouch panel 13 together with the contact position, and outputs a detection signal indicating the coordinates of the contact position to thecontrol section 21 of thecontrol unit 19, which will be described later. As a result, operations such as a GUI (Graphical User Interface) displayed on the screen of thedisplay unit 11 can be performed through thetouch panel 13 . Therefore, thetouch panel 13 functions as an operation unit for inputting user operations on the screen of thedisplay unit 11 .

操作部１２は、テンキー、決定キー、スタートキーなどのハードキーを備えている。 Theoperation unit 12 includes hard keys such as a numeric keypad, an enter key, and a start key.

画像読取部１５は、コンタクトガラスに載置された原稿に記載されているドキュメントなどの画像を光学的に読み取るスキャナーを有し、この原稿の画像を示す画像データを生成する。 Theimage reading unit 15 has a scanner for optically reading an image such as a document written on a document placed on the contact glass, and generates image data representing an image of the document.

画像形成部１６は、感光体ドラム、感光体ドラムの表面を均一帯電させる帯電装置、感光体ドラムの表面を露光して、感光体ドラムの表面に静電潜像を形成する露光装置、感光体ドラムの表面の静電潜像をトナー像に現像する現像装置、及び感光体ドラムの表面のトナー像（画像）を記録媒体としての記録紙に転写する転写装置等を備え、上記画像データによって示される画像を記録紙に印刷する。 Theimage forming unit 16 includes a photoreceptor drum, a charging device that uniformly charges the surface of the photoreceptor drum, an exposure device that exposes the surface of the photoreceptor drum to form an electrostatic latent image on the surface of the photoreceptor drum, and a photoreceptor. Equipped with a developing device that develops the electrostatic latent image on the surface of the drum into a toner image, and a transfer device that transfers the toner image (image) on the surface of the photosensitive drum to recording paper as a recording medium. Prints the captured image on recording paper.

通信部１４は、ＬＡＮチップなどの通信モジュールを備える通信インターフェイスである。この通信部１４は、ネットワーク（イントラネットなど）を通じて、情報処理装置３０に接続され、情報処理装置３０との間でデータ通信を行う。 Thecommunication unit 14 is a communication interface including a communication module such as a LAN chip. Thecommunication unit 14 is connected to theinformation processing device 30 via a network (such as an intranet) and performs data communication with theinformation processing device 30 .

記憶部１８は、ＳＳＤ（Solid State Drive）又はＨＤＤ（Hard Disk Drive）などの大容量の記憶装置であって、各種のアプリケーションプログラムや種々のデータを記憶している。 Thestorage unit 18 is a large-capacity storage device such as an SSD (Solid State Drive) or HDD (Hard Disk Drive), and stores various application programs and various data.

制御ユニット１９は、プロセッサー、ＲＡＭ(Random Access Memory）、及びＲＯＭ（Read Only Memory）などから構成される。プロセッサーは、例えばＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、又はＭＰＵ（Micro Processing Unit）等である。この制御ユニット１９は、上記のＲＯＭ又は記憶部１８に記憶された制御プログラムが上記プロセッサーで実行されることにより、制御部２１として機能する。 Thecontrol unit 19 includes a processor, RAM (Random Access Memory), ROM (Read Only Memory), and the like. The processor is, for example, a CPU (Central Processing Unit), an ASIC (Application Specific Integrated Circuit), or an MPU (Micro Processing Unit). Thecontrol unit 19 functions as thecontrol section 21 by executing the control program stored in the ROM or thestorage section 18 by the processor.

制御部２１は、画像形成装置１０の全体的な制御を司る。また、制御ユニット１９は、表示部１１、操作部１２、タッチパネル１３、通信部１４、画像読取部１５、画像形成部１６、及び記憶部１８などと接続されている。制御部２１は、上記各構成要素の制御や、各構成要素との間での信号またはデータの送受信を行う。 Thecontrol unit 21 controls overall control of theimage forming apparatus 10 . Thecontrol unit 19 is also connected to thedisplay section 11, theoperation section 12, thetouch panel 13, thecommunication section 14, theimage reading section 15, theimage forming section 16, thestorage section 18, and the like. Thecontrol unit 21 controls each component and transmits/receives signals or data to/from each component.

制御部２１は、種々の処理を実行する処理部としての役割を果たす。また、制御部２１は、表示部１１及び通信部１４を制御する機能を有する。 Thecontrol unit 21 serves as a processing unit that executes various processes. Also, thecontrol unit 21 has a function of controlling thedisplay unit 11 and thecommunication unit 14 .

次に、遠隔操作システムＳｙにおける情報処理装置３０を説明する。情報処理装置３０は、例えばパーソナルコンピューター（ＰＣ）であって、表示部３１と、操作部３２と、通信部３４と、記憶部３８と、制御ユニット３９とを備えている。これらの構成要素は、互いにバスを通じてデータ又は信号の送受信が可能とされている。 Next, theinformation processing device 30 in the remote control system Sy will be described. Theinformation processing device 30 is, for example, a personal computer (PC), and includes adisplay section 31 , anoperation section 32 , acommunication section 34 , astorage section 38 and acontrol unit 39 . These components are enabled to send and receive data or signals to and from each other through the bus.

表示部３１は、液晶ディスプレイや有機ＥＬなどから構成される。 Thedisplay unit 31 is composed of a liquid crystal display, organic EL, or the like.

操作部３２は、ユーザーにより操作されるキーボードやポインティングデバイスである。 Theoperation unit 32 is a keyboard or pointing device operated by the user.

通信部３４は、通信インターフェイスであり、ネットワーク（イントラネットなど）を通じて画像形成装置１０に接続されて、画像形成装置１０との間でデータを送受信する。 Thecommunication unit 34 is a communication interface, is connected to theimage forming apparatus 10 through a network (intranet, etc.), and transmits and receives data to and from theimage forming apparatus 10 .

記憶部３８は、ＳＳＤ又はＨＤＤなどの大容量の記憶装置であって、各種のアプリケーションプログラムや種々のデータを記憶している。 Thestorage unit 38 is a large-capacity storage device such as an SSD or HDD, and stores various application programs and various data.

制御ユニット３９は、プロセッサー、ＲＡＭ、及びＲＯＭなどから構成される。制御ユニット３９は、上記のＲＯＭ又は記憶部３８に記憶された制御プログラムが上記のプロセッサーで実行されることにより、制御部４１として機能する。 Thecontrol unit 39 is composed of a processor, RAM, ROM, and the like. Thecontrol unit 39 functions as thecontrol section 41 by executing the control program stored in the ROM or thestorage section 38 by the processor.

制御部４１は、情報処理装置３０の全体的な制御を司る。また、制御ユニット３９は、表示部３１、操作部３２、通信部３４、及び記憶部３８などと接続されている。制御部４１は、上記各構成要素の制御や、各構成要素との間での信号またはデータの送受信を行う。 Thecontrol unit 41 manages overall control of theinformation processing device 30 . Also, thecontrol unit 39 is connected to thedisplay section 31, theoperation section 32, thecommunication section 34, thestorage section 38, and the like. Thecontrol unit 41 controls each component described above and transmits/receives signals or data to/from each component.

制御部４１は、操作部３２の操作に応じた処理などを実行する処理部としての役割を果たす。また、制御部４１は、表示部３１及び通信部３４を制御する機能を有する。 Thecontrol unit 41 serves as a processing unit that executes processing according to the operation of theoperation unit 32 . Also, thecontrol unit 41 has a function of controlling thedisplay unit 31 and thecommunication unit 34 .

ここで、本実施形態の遠隔操作システムＳｙでは、情報処理装置３０によりネットワークを通じて画像形成装置１０が遠隔操作される。この遠隔操作を行う場合、画像形成装置１０の表示部１１の画面及び情報処理装置３０の表示部３１の画面には、同一の操作パネルが表示される。そして、情報処理装置３０のユーザーが表示部３１の画面上の操作パネルのキーを、タッチパネル１３等を介して操作すると、この操作されているキーの画像（例えば押下されている状態を示すキーの画像）が両方の表示部１１、３１の画面上の操作パネルで表示される。 Here, in the remote control system Sy of the present embodiment, theimage forming apparatus 10 is remotely controlled by theinformation processing device 30 through the network. When this remote operation is performed, the same operation panel is displayed on the screen of thedisplay section 11 of theimage forming apparatus 10 and the screen of thedisplay section 31 of theinformation processing apparatus 30 . When the user of theinformation processing device 30 operates a key on the operation panel on the screen of thedisplay unit 31 via thetouch panel 13 or the like, an image of the key being operated (for example, a key indicating the pressed state) is displayed. image) are displayed on the operation panels on the screens of bothdisplay units 11 and 31 .

遠隔操作システムＳｙの画像形成装置１０及び情報処理装置３０は第１遠隔操作モード及び第２遠隔操作モードで動作する。上記のように画像形成装置１０の表示部１１の画面に表示されている操作パネルと情報処理装置３０の表示部３１の画面に表示されている操作パネルとを常に整合させる表示制御を、第１遠隔操作モードと称す。 Theimage forming device 10 and theinformation processing device 30 of the remote control system Sy operate in a first remote control mode and a second remote control mode. The display control for always matching the operation panel displayed on the screen of thedisplay unit 11 of theimage forming apparatus 10 and the operation panel displayed on the screen of thedisplay unit 31 of theinformation processing apparatus 30 as described above is performed by the first method. This is called remote control mode.

しかしながら、第１遠隔操作モードでは、例えば情報処理装置３０のユーザーが表示部３１の画面上の操作パネルのキーを操作してパスワードを入力すると、この操作されているキーの画像が画像形成装置１０の表示部１１の画面上の操作パネルに表示される、すなわち、どのキーが操作されたかが、画像形成装置１０の表示部１１の画面上の操作パネルに表示されるので、パスワードが画像形成装置１０側にいる他人にわかってしまうことがある。一方、仮に、ＰＣ側でパスワードを入力するときに、操作されているキーの画像が両方の表示部１１、３１の画面上の操作パネルに表示されないようすると、情報処理装置３０のユーザーは、キーの操作を目視で確認できず不便である。 However, in the first remote operation mode, for example, when the user of theinformation processing apparatus 30 operates keys on the operation panel on the screen of thedisplay unit 31 to enter a password, the image of the operated key is displayed on theimage forming apparatus 10 . The password is displayed on the operation panel on the screen of thedisplay unit 11 of theimage forming apparatus 10, that is, which key has been operated is displayed on the operation panel on the screen of thedisplay unit 11 of theimage forming apparatus 10. Others by your side may find out. On the other hand, if the images of the keys being operated are not displayed on the operation panels on the screens of both thedisplay units 11 and 31 when entering the password on the PC side, the user of theinformation processing device 30 will not be able to enter the password. It is inconvenient because it is impossible to visually confirm the operation of

そこで、本実施形態では、情報処理装置３０側でのパスワードなどの入力に際しては、画像形成装置１０の制御部２１及び情報処理装置３０の制御部４１は、ネットワークを通じてのデータ通信により協働して、表示部１１、３１の両方の画面上に同一の操作パネル及びキーを表示しながらも、情報処理装置３０の表示部３１の画面上の操作パネルにのみその操作されたキーの位置に予め設定された画像（以下画像片と称す）を表示させて、情報処理装置３０のユーザーがキーの操作を確認できるようにする。画像片は、例えばキーと略同一サイズの不透明色の小さな画像である。 Therefore, in this embodiment, when a password or the like is input on theinformation processing device 30 side, thecontrol unit 21 of theimage forming device 10 and thecontrol unit 41 of theinformation processing device 30 cooperate by data communication through the network. , while the same operation panel and keys are displayed on both the screens of thedisplay units 11 and 31, only the operation panel on the screen of thedisplay unit 31 of theinformation processing device 30 is set in advance to the position of the operated key. The resulting image (hereinafter referred to as an image fragment) is displayed so that the user of theinformation processing device 30 can confirm the key operation. An image piece is, for example, a small opaque image approximately the same size as the key.

以降、操作されているキーの画像が画像形成装置１０及び情報処理装置３０の表示部１１、３１の画面上の操作パネルで表示されないようにしながらも、情報処理装置３０の表示部３１の画面上の操作パネルにのみその操作されたキーの位置に画像片を表示させる表示制御を、第２遠隔操作モードと称す。 After that, while preventing the image of the operated key from being displayed on the operation panel on the screens of thedisplay units 11 and 31 of theimage forming apparatus 10 and theinformation processing apparatus 30, the screen of thedisplay unit 31 of theinformation processing apparatus 30 The display control for displaying an image fragment at the position of the operated key only on the operation panel is called a second remote operation mode.

次に、上記のような第１遠隔操作モード及び第２遠隔操作モードにより画像形成装置１０の表示部１１と情報処理装置３０の表示部３１を制御するための制御手順を、図２に示すフローチャートなどを参照して説明する。 Next, the control procedure for controlling thedisplay unit 11 of theimage forming apparatus 10 and thedisplay unit 31 of theinformation processing apparatus 30 in the first remote control mode and the second remote control mode as described above is shown in the flowchart of FIG. etc. will be referred to.

画像形成装置１０では、制御部２１が遠隔操作のためのプログラム（例えばＶＮＣ Ｖｉｅｗｅｒ：Virtual Network Computing Viewerのクライアントソフト）を記憶部１８から読み出して起動させている。 In theimage forming apparatus 10, thecontrol unit 21 reads a program for remote operation (for example, VNC Viewer: Virtual Network Computing Viewer client software) from thestorage unit 18 and activates it.

情報処理装置３０では、ユーザーが、操作部３２を操作して、表示部３１の画面に表示されているＧＵＩに対して画像形成装置１０の遠隔操作の開始を指示すると、制御部４１は、画像形成装置１０側のプログラムに対応している遠隔操作のためのプログラム（例えばＶＮＣ Ｖｉｅｗｅｒのサーバソフト）を記憶部３８から読み出して起動させ、接続要求を通信部３４から画像形成装置１０に送信させる。これにより、画像形成装置１０の制御部２１及び情報処理装置３０の制御部４１が、それぞれの通信部１４、４４によるネットワークを通じてのデータ通信を行って、遠隔操作を開始する（Ｓ１０１、Ｓ２０１）。 In theinformation processing apparatus 30, when the user operates theoperation unit 32 to instruct the GUI displayed on the screen of thedisplay unit 31 to start remote operation of theimage forming apparatus 10, thecontrol unit 41 displays the image. A remote control program (for example, VNC Viewer server software) corresponding to the program on the formingapparatus 10 side is read from thestorage unit 38 and activated, and a connection request is transmitted from thecommunication unit 34 to theimage forming apparatus 10 . Accordingly, thecontrol unit 21 of theimage forming apparatus 10 and thecontrol unit 41 of theinformation processing apparatus 30 perform data communication through the network by thecommunication units 14 and 44, respectively, and start remote control (S101, S201).

画像形成装置１０の制御部２１は、遠隔操作を開始すると、例えば図３に示すような操作パネルＰＡを示す画像データを記憶部１８から読み出して、この画像データに基づき操作パネルＰＡを表示部１１の画面に表示させ、操作パネルＰＡを示す画像データを通信部１４から情報処理装置３０に送信させる（Ｓ１０２）。 When the remote operation is started, thecontrol unit 21 of theimage forming apparatus 10 reads image data representing the operation panel PA as shown in FIG. , and image data showing the operation panel PA is transmitted from thecommunication unit 14 to the information processing device 30 (S102).

情報処理装置３０では、画像データが通信部３４で受信されると、制御部４１は、この画像データによって示される操作パネルＰＡを表示部３１の画面に表示させる（Ｓ２０２）。 In theinformation processing device 30, when the image data is received by thecommunication unit 34, thecontrol unit 41 displays the operation panel PA indicated by the image data on the screen of the display unit 31 (S202).

操作パネルＰＡを示す画像データは、操作パネルＰＡのサイズ、各キーのサイズ、及び操作パネルにおける各キーの座標などを示すものであり、画像形成装置１０の制御部２１及び情報処理装置３０の制御部４１は、操作パネルＰＡのサイズ、各キーのサイズ、及び操作パネルにおける各キーの座標などに基づき操作パネルＰＡをそれぞれの表示部１１、３１に表示させる。 The image data indicating the operation panel PA indicates the size of the operation panel PA, the size of each key, the coordinates of each key on the operation panel, and the like.Unit 41 causes displayunits 11 and 31 to display operation panel PA based on the size of operation panel PA, the size of each key, and the coordinates of each key on the operation panel.

これにより、画像形成装置１０の表示部１１及び情報処理装置３０の表示部３１には、同一の操作パネルＰＡが表示される。
＜第１遠隔操作モード＞Accordingly, the same operation panel PA is displayed on thedisplay unit 11 of theimage forming apparatus 10 and thedisplay unit 31 of theinformation processing apparatus 30 .
<First remote control mode>

遠隔操作システムＳｙの画像形成装置１０及び情報処理装置３０が第１遠隔操作モードで動作する場合、情報処理装置３０では、ユーザーが、操作部３２を操作して、表示部３１の画面に表示されている操作パネルＰＡのキーを操作すると、制御部４１は、操作パネルＰＡにおける当該操作されたキーの座標を検出する（２０３）。例えば、マウス（操作部３２）の操作により表示部３１の画面上でカーソルが操作パネルＰＡにおける任意のキーに重なる位置まで移動されて、マウスの操作によりカーソルの位置が入力されると、制御部４１は、表示部３１の画面におけるカーソルの位置を検出する。制御部４１は、操作パネルＰＡを表示部３１に表示させる際に、操作パネルＰＡのサイズ、各キーのサイズ、及び操作パネルＰＡにおける各キーの座標などに基づき表示部３１の画面における操作パネルＰＡの表示領域、各キーの表示領域などを予め算出しておき、その検出されたカーソルの位置を各キーの表示領域と比較して、そのカーソルの位置に重なるキーを判定し、操作パネルＰＡにおけるその判定されたキーの座標を、操作されたキーの座標として検出する。 When theimage forming device 10 and theinformation processing device 30 of the remote control system Sy operate in the first remote control mode, in theinformation processing device 30, the user operates theoperation unit 32 to display on the screen of thedisplay unit 31 When a key on operation panel PA is operated,control unit 41 detects the coordinates of the operated key on operation panel PA (203). For example, when the mouse (operation unit 32) is operated to move the cursor on the screen of thedisplay unit 31 to a position overlapping an arbitrary key on the operation panel PA, and the cursor position is input by operating the mouse, thecontrol unit 41 detects the position of the cursor on the screen of thedisplay unit 31 . When displaying the operation panel PA on thedisplay unit 31, thecontrol unit 41 adjusts the operation panel PA on the screen of thedisplay unit 31 based on the size of the operation panel PA, the size of each key, the coordinates of each key on the operation panel PA, and the like. , the display area of each key, etc. are calculated in advance, and the position of the detected cursor is compared with the display area of each key to determine which key overlaps the position of the cursor. The coordinates of the determined key are detected as the coordinates of the operated key.

情報処理装置３０の制御部４１は、操作されたキーの座標を示す位置データを通信部３４から画像形成装置１０に対して送信させる（Ｓ２０４）。 Thecontrol unit 41 of theinformation processing device 30 causes thecommunication unit 34 to transmit the position data indicating the coordinates of the operated key to the image forming device 10 (S204).

そして、画像形成装置１０では、位置データが通信部１４で受信されると（Ｓ１０３）、制御部２１は、この位置データによって示される座標に基づき表示部１１の画面上の操作パネルＰＡにおけるその操作されたキーを判定する（Ｓ１０４）。 In theimage forming apparatus 10, when the position data is received by the communication unit 14 (S103), thecontrol unit 21 performs the operation on the operation panel PA on the screen of thedisplay unit 11 based on the coordinates indicated by the position data. The selected key is determined (S104).

ここで、第１遠隔操作モードの場合は、Ｓ１０５の処理を行わず、Ｓ１０６に移行する。Ｓ１０６では、制御部２１は、上記操作されているキーの画像（例えば押下されているキーの画像）を変化させ、当該変化させたキーの画像を含む操作パネルＰＡを示す画像データを生成し、この画像データに基づき当該操作パネルＰＡを表示部１１の画面に表示させる（Ｓ１０６）。これにより、表示部１１の画面上の操作パネルＰＡにおいてその操作されているキーの画像がそれまでは異なる表示形態で表示される。 Here, in the case of the first remote control mode, the process of S105 is not performed, and the process proceeds to S106. In S106, thecontrol unit 21 changes the image of the operated key (for example, the image of the pressed key), generates image data showing the operation panel PA including the changed image of the key, Based on this image data, the operation panel PA is displayed on the screen of the display unit 11 (S106). As a result, the image of the key being operated on the operation panel PA on the screen of thedisplay unit 11 is displayed in a different display form.

画像形成装置１０の制御部２１は、キーが操作される前の元の操作パネルＰＡを示す画像データとキーが操作されている操作パネルＰＡを示す画像データとの差分として、その操作されているキーの画像を示す画像データ及び当該キーの座標を示す位置データを生成し、これらの画像データ及び位置データを通信部１４から情報処理装置３０に送信させる（Ｓ１０７）。 Thecontrol unit 21 of theimage forming apparatus 10 calculates the difference between the image data representing the original operation panel PA before the key is operated and the image data representing the operation panel PA with the key operated. Image data indicating the image of the key and position data indicating the coordinates of the key are generated, and these image data and position data are transmitted from thecommunication unit 14 to the information processing device 30 (S107).

情報処理装置３０では、その操作されているキーの画像を示す画像データ及び当該キーの座標を示す位置データが通信部３４で受信されると（Ｓ２０５）、制御部４１は、これらの画像データ及び位置データに基づきその操作されているキーの画像を含む操作パネルＰＡを示す画像データを生成し、この画像データに基づき当該操作パネルＰＡを表示部３１の画面に表示させる（Ｓ２０６）。 In theinformation processing device 30, when thecommunication unit 34 receives the image data indicating the image of the key being operated and the position data indicating the coordinates of the key (S205), thecontrol unit 41 receives these image data and Based on the position data, image data representing the operation panel PA including the image of the operated key is generated, and based on this image data, the operation panel PA is displayed on the screen of the display unit 31 (S206).

これにより、画像形成装置１０の表示部１１及び情報処理装置３０の表示部３１には、例えば図４に示すようにその操作されているキーの画像ＫＧを含む操作パネルＰＡが表示される。 As a result, thedisplay unit 11 of theimage forming apparatus 10 and thedisplay unit 31 of theinformation processing apparatus 30 display the operation panel PA including the image KG of the operated key as shown in FIG. 4, for example.

続いて、情報処理装置３０では、ユーザーが、表示部３１の画面に表示されている操作パネルＰＡのキーの操作を停止すると、制御部４１は、操作パネルＰＡにおける当該操作が停止されたキーの座標を検出し（Ｓ２０７）、その操作が停止されたキーの座標を示す位置データを通信部３４から画像形成装置１０に送信させる（Ｓ２０８）。 Subsequently, in theinformation processing device 30, when the user stops operating the keys of the operation panel PA displayed on the screen of thedisplay unit 31, thecontrol unit 41 controls the operation of the key whose operation has been stopped on the operation panel PA. The coordinates are detected (S207), and position data indicating the coordinates of the key whose operation has been stopped is transmitted from thecommunication unit 34 to the image forming apparatus 10 (S208).

画像形成装置１０では、位置データが通信部１４で受信されると（Ｓ１０８）、制御部２１は、この位置データによって示される座標に基づき表示部１１の画面上の操作パネルＰＡにおけるその操作が停止されたキーを判定する（Ｓ１０９）。 In theimage forming apparatus 10, when the position data is received by the communication unit 14 (S108), thecontrol unit 21 stops the operation on the operation panel PA on the screen of thedisplay unit 11 based on the coordinates indicated by the position data. The selected key is determined (S109).

そして、画像形成装置１０の制御部２１は、そのキーの操作される前の元の画像（例えば押下されていないキーの元の画像）を含む操作パネルＰＡを示す画像データを生成し、この画像データに基づき当該操作パネルＰＡを表示部１１の画面に表示させる（Ｓ１１０）。これにより、表示部１１の画面上の操作パネルＰＡにおいてその操作が停止されたキーの元の画像が表示される。 Then, thecontrol unit 21 of theimage forming apparatus 10 generates image data representing the operation panel PA including the original image before the key is operated (for example, the original image of the key that is not pressed), and this image is displayed. Based on the data, the operation panel PA is displayed on the screen of the display unit 11 (S110). As a result, the original image of the key whose operation is stopped on the operation panel PA on the screen of thedisplay unit 11 is displayed.

画像形成装置１０の制御部２１は、キーが操作されているときの操作パネルＰＡを示す画像データと当該キーの操作が停止されたときの操作パネルＰＡを示す画像データとの差分として、そのキーの操作される前の元の画像を示す画像データ及び当該キーの座標を示す位置データを生成し、これらの画像データ及び位置データを通信部１４から情報処理装置３０に送信させる（Ｓ１１１）。 Thecontrol unit 21 of theimage forming apparatus 10 calculates the key as the difference between the image data representing the operation panel PA when the key is operated and the image data representing the operation panel PA when the operation of the key is stopped. image data indicating the original image before being operated and position data indicating the coordinates of the key are generated, and these image data and position data are transmitted from thecommunication unit 14 to the information processing device 30 (S111).

情報処理装置３０では、そのキーの操作される前の元の画像を示す画像データ及び当該キーの座標を示す位置データが通信部３４で受信されると（Ｓ２０９）、制御部４１は、これらの画像データ及び位置データに基づきそのキーの操作される前の元の画像を含む操作パネルＰＡを示す画像データを生成し、この画像データに基づき当該操作パネルＰＡを表示部３１の画面に表示させる（Ｓ２１０）。 In theinformation processing device 30, when thecommunication unit 34 receives the image data indicating the original image before the key is operated and the position data indicating the coordinates of the key (S209), thecontrol unit 41 Image data representing the operation panel PA including the original image before the key is operated is generated based on the image data and the position data, and the operation panel PA is displayed on the screen of thedisplay unit 31 based on this image data ( S210).

これにより、画像形成装置１０の表示部１１及び情報処理装置３０の表示部３１には、図３に示すようないずれのキーも操作されていない元の操作パネルＰＡが表示される。 As a result, the original operation panel PA in which none of the keys is operated is displayed on thedisplay unit 11 of theimage forming apparatus 10 and thedisplay unit 31 of theinformation processing apparatus 30, as shown in FIG.

第１遠隔操作モードでは、以降同様に、情報処理装置３０側で表示部３１に表示されている操作パネルＰＡのキーが操作される度に、画像形成装置１０でＳ１０３～Ｓ１１１が繰り返され（Ｓ１０５を除く）、また、情報処理装置３０でＳ２０３～Ｓ２１０が繰り返されて、画像形成装置１０の表示部１１及び情報処理装置３０の表示部３１に表示されている両方の操作パネルＰＡのキーが操作されている状態で表示されたり操作が停止された状態で表示されたりする。
＜第２遠隔操作モード＞In the first remote operation mode, S103 to S111 are repeated in the image forming apparatus 10 (S105 ), and S203 to S210 are repeated in theinformation processing device 30, and the keys of both the operation panels PA displayed on thedisplay unit 11 of theimage forming device 10 and thedisplay unit 31 of theinformation processing device 30 are operated. It may be displayed in a state of being activated or displayed in a state in which operation is stopped.
<Second remote control mode>

遠隔操作システムＳｙの画像形成装置１０及び情報処理装置３０が第２遠隔操作モードで動作する場合、一方、画像形成装置１０の制御部２１は、例えば図５に示すようなパスワードを入力するためのウィンドウＷＤを表示部１１の画面に表示させて、操作パネルＰＡの操作によるウィンドウＷＤへのパスワードの入力を受け付けているものとする。なお、制御部２１は、ウィンドウＷＤには、入力されたパスワードの値そのものは表示させない。 When theimage forming apparatus 10 and theinformation processing apparatus 30 of the remote control system Sy operate in the second remote control mode, on the other hand, thecontrol unit 21 of theimage forming apparatus 10 has a password entry screen as shown in FIG. It is assumed that the window WD is displayed on the screen of thedisplay unit 11 and that the input of the password to the window WD by operating the operation panel PA is accepted. Note that thecontrol unit 21 does not display the input password value itself in the window WD.

この場合、画像形成装置１０の制御部２１は、操作パネルＰＡ及びウィンドウＷＤを示すそれぞれの画像データを記憶部１８から読み出して、これらの画像データに基づき操作パネルＰＡ及びウィンドウＷＤを表示部１１の画面に表示させ、操作パネルＰＡ及びウィンドウＷＤを示すそれぞれの画像データを通信部１４から情報処理装置３０に送信させる（Ｓ１０２）。 In this case,control unit 21 ofimage forming apparatus 10 reads respective image data representing operation panel PA and window WD fromstorage unit 18, and displays operation panel PA and window WD ondisplay unit 11 based on these image data. The image data representing the operation panel PA and the window WD are transmitted from thecommunication unit 14 to the information processing device 30 (S102).

情報処理装置３０では、それらの画像データが通信部３４で受信されると、制御部４１は、これらの画像データによって示される操作パネルＰＡ及びウィンドウＷＤを表示部３１の画面に表示させる（Ｓ２０２）。 In theinformation processing device 30, when the image data are received by thecommunication unit 34, thecontrol unit 41 causes the screen of thedisplay unit 31 to display the operation panel PA and the window WD indicated by the image data (S202). .

これにより、画像形成装置１０の表示部１１及び情報処理装置３０の表示部３１には、同一の操作パネルＰＡ及びウィンドウＷＤが表示される。 Accordingly, the same operation panel PA and window WD are displayed on thedisplay unit 11 of theimage forming apparatus 10 and thedisplay unit 31 of theinformation processing apparatus 30 .

情報処理装置３０では、ユーザーが、操作部３２を操作して、表示部３１の画面に表示されている操作パネルＰＡのキーを操作すると、制御部４１は、操作パネルＰＡにおける当該操作されたキーの座標を検出する（Ｓ２０３）。 In theinformation processing device 30, when the user operates theoperation unit 32 to operate the keys of the operation panel PA displayed on the screen of thedisplay unit 31, thecontrol unit 41 controls the operated key on the operation panel PA. is detected (S203).

情報処理装置３０の制御部４１は、操作されたキーの座標を示す位置データを通信部３４から画像形成装置１０に送信させる（Ｓ２０４）。 Thecontrol unit 41 of theinformation processing device 30 causes thecommunication unit 34 to transmit the position data indicating the coordinates of the operated key to the image forming device 10 (S204).

画像形成装置１０では、位置データが通信部１４で受信されると（Ｓ１０３）、制御部２１は、この位置データによって示される座標に基づき表示部１１の画面上の操作パネルＰＡにおけるその操作されたキーを判定する（Ｓ１０４）。 In theimage forming apparatus 10, when the position data is received by the communication unit 14 (S103), thecontrol unit 21 controls the operation panel PA on the screen of thedisplay unit 11 based on the coordinates indicated by the position data. A key is determined (S104).

そして、画像形成装置１０の制御部２１は、表示部１１の画面上で、上記判定されたキーの操作によりパスワードの入力が行われているか否かを判定する（Ｓ１０５）。例えば、制御部２１は、入力されている値がパスワードであることを、(i)予め定められたパスワード入力画面を表示させていることと、(ii)パスワード入力用の入力欄に対するキー操作がされていることの両方の条件を満たすことをもって判断する。制御部２１は、(i)又は(ii)のいずれかが満たされていないことをもって、入力されている値がパスワードではないと判断する。 Then, thecontrol unit 21 of theimage forming apparatus 10 determines whether or not the password is input by operating the determined key on the screen of the display unit 11 (S105). For example, thecontrol unit 21 confirms that the input value is a password, (i) displaying a predetermined password input screen, and (ii) key operation in the input field for password input. It is determined by satisfying both conditions. If either (i) or (ii) is not satisfied, thecontrol unit 21 determines that the input value is not a password.

ここでは、画像形成装置１０の制御部２１は、操作パネルＰＡの操作によるウィンドウＷＤへのパスワードの入力を受け付けていることから、上記(i)(ii)の条件を満たすとして、表示部１１の画面上でパスワードの入力が行われていると判定する（Ｓ１０５「Ｙｅｓ」）。 Here, since thecontrol unit 21 of theimage forming apparatus 10 accepts the input of the password to the window WD by operating the operation panel PA, the above conditions (i) and (ii) are satisfied. It is determined that a password has been entered on the screen (S105 "Yes").

このようにパスワードの入力が行われている場合、画像形成装置１０の制御部２１は、予め設定された画像片を示す画像データを生成し、この画像データ及びＳ１０４で判定されたその操作されたキーの座標を示す位置データを通信部１４から情報処理装置３０に送信させる（Ｓ１１２）。なお、上記画像片を示す画像データは、予め記憶部１８等の記憶領域に記憶され、制御部２１は、当該予め記憶されている画像データを読み出して用いてもよい。 When the password is entered in this way, thecontrol unit 21 of theimage forming apparatus 10 generates image data indicating a preset image piece, and the image data and the operation determined in S104 are generated. The position data indicating the coordinates of the key is transmitted from thecommunication unit 14 to the information processing device 30 (S112). The image data representing the image piece may be stored in advance in a storage area such as thestorage unit 18, and thecontrol unit 21 may read out and use the image data stored in advance.

情報処理装置３０では、その画像片を示す画像データ及びその操作されたキーの座標を示す位置データが通信部３４で受信されると（Ｓ２０５）、制御部４１は、その受信されたキーの座標に基づき表示部３１の画面上の操作パネルＰＡにおける当該キーを判定し、このキーの代わりにその受信された画像データによって示される画像片を表示させる（Ｓ２０６）。 In theinformation processing device 30, when thecommunication unit 34 receives the image data indicating the image piece and the position data indicating the coordinates of the operated key (S205), thecontrol unit 41 receives the coordinates of the key. , the corresponding key on the operation panel PA on the screen of thedisplay unit 31 is determined, and instead of this key, an image fragment indicated by the received image data is displayed (S206).

例えば、画像形成装置１０の制御部２１は、図６（Ａ）に示すような不透明色の画像片ＫＨを用いる。画像形成装置１０の制御部２１は、いずれのキーに対しても、同一の画像片ＫＨを用いることが好ましい。本実施形態では、いずれのキーに対しても、同一の画像片ＫＨを用いるものとする。情報処理装置３０の制御部４１は、図６（Ｂ）に示すようにその操作されたキーの代わりに画像片ＫＨを操作パネルＰＡに配置して表示部３１に表示させる。一方、画像形成装置１０の制御部２１は、図６（Ｃ）に示すように、いずれのキーも表示を変化させることなく、S１０２で表示させた操作パネルＰＡ及びウィンドウＷＤをそのまま表示部１１に表示させておく。 For example, thecontrol unit 21 of theimage forming apparatus 10 uses an opaque color image piece KH as shown in FIG. 6A. Thecontrol unit 21 of theimage forming apparatus 10 preferably uses the same image piece KH for any key. In this embodiment, the same image piece KH is used for any key. Thecontrol unit 41 of theinformation processing device 30 arranges the image piece KH instead of the operated key on the operation panel PA and causes thedisplay unit 31 to display it, as shown in FIG. 6B. On the other hand, as shown in FIG. 6C, thecontrol unit 21 of theimage forming apparatus 10 directly displays the operation panel PA and the window WD displayed in S102 on thedisplay unit 11 without changing the display of any key. let it be displayed.

そして、画像形成装置１０の制御部２１は、画像片を示す画像データ及び操作されたキーの座標を示す位置データを情報処理装置３０に向けて送信させた時点から計時を開始し、この計時している時間が予め設定された一定時間（例えば０.３～０.５秒）に達すると（Ｓ１１３）、Ｓ１０４で判定されたキーの画像（操作されていない状態を示す元のキーの画像）を示す画像データ及び当該キーの座標を示す位置データを通信部１４から情報処理装置３０に向けて送信させる（Ｓ１１４）。 Then, thecontrol unit 21 of theimage forming apparatus 10 starts measuring time when the image data indicating the image piece and the position data indicating the coordinates of the operated key are transmitted to theinformation processing apparatus 30. When the time reached reaches a predetermined time (for example, 0.3 to 0.5 seconds) (S113), the image of the key determined in S104 (original image of the key showing the non-operated state) and position data indicating the coordinates of the key are transmitted from thecommunication unit 14 to the information processing device 30 (S114).

このとき、情報処理装置３０では、上記操作されていない状態を示す元のキーの画像を示す画像データ及び当該キーの座標を示す位置データが通信部３４で受信される（Ｓ２０９）。制御部４１は、その受信されたキーの座標に基づき表示部３１の画面上の操作パネルＰＡにおける当該キーを判定し、このキーの位置にその受信された画像データによって示される操作されていないキーの元の画像を操作パネルＰＡに表示させる表示させる（Ｓ２１０）。 At this time, in theinformation processing device 30, thecommunication unit 34 receives the image data indicating the image of the original key indicating the non-operated state and the position data indicating the coordinates of the key (S209).Control unit 41 determines the corresponding key on operation panel PA on the screen ofdisplay unit 31 based on the received coordinates of the key, and places the unoperated key indicated by the received image data at the position of this key. The original image is displayed on the operation panel PA (S210).

これにより、情報処理装置３０の表示部３１に表示されていた画像片が消去され、画像形成装置１０の表示部１１及び情報処理装置３０の表示部３１には、図５に示すようないずれのキーも操作されていない操作パネルＰＡが表示されることになる。 As a result, the image fragment displayed on thedisplay unit 31 of theinformation processing device 30 is erased, and any of the images shown in FIG. The operation panel PA on which no keys are operated is displayed.

第２遠隔操作モードでは、以降同様に、表示部１１の画面上でパスワードの入力が行われている場合には、情報処理装置３０側で表示部３１に表示されている操作パネルＰＡのキーが操作される度に、画像形成装置１０でＳ１０３～Ｓ１０５、Ｓ１１２～Ｓ１１４が繰り返され、一方、情報処理装置３０では、Ｓ２０３～Ｓ２１０が繰り返されて、情報処理装置３０の表示部３１に表示されている操作パネルＰＡにおいては、操作されているキーの位置に画像片が表示され、一定時間後にその画像片が消去される。画像形成装置１０の表示部１１に表示されている操作パネルＰＡには、操作されたキーの画像が変化して表示されることはない。 In the second remote operation mode, similarly thereafter, when a password is entered on the screen of thedisplay unit 11, the keys of the operation panel PA displayed on thedisplay unit 31 on theinformation processing apparatus 30 side are Each time an operation is performed, S103 to S105 and S112 to S114 are repeated in theimage forming apparatus 10, while S203 to S210 are repeated in theinformation processing apparatus 30 and displayed on thedisplay unit 31 of theinformation processing apparatus 30. On the operation panel PA, an image fragment is displayed at the position of the operated key, and the image fragment is erased after a certain period of time. On the operation panel PA displayed on thedisplay unit 11 of theimage forming apparatus 10, the image of the operated key is not changed and displayed.

このように第２遠隔操作モードでは、表示部１１の画面上でパスワードの入力が行われている際に、操作されているキーの画像が画像形成装置１０及び情報処理装置３０の表示部１１、３１の画面上の操作パネルで表示されず、情報処理装置３０の表示部３１の画面上の操作パネルにのみその操作されたキーの位置に画像片を表示させるので、パスワードが画像形成装置１０側にいる他人に把握されてしまうことはなく、また情報処理装置３０のユーザーがキーの操作を確認することができる。 As described above, in the second remote operation mode, when a password is being input on the screen of thedisplay unit 11, the image of the key being operated is displayed on thedisplay units 11, 11, 12 of theimage forming apparatus 10 and theinformation processing apparatus 30. Since the image fragment is displayed at the position of the operated key only on the operation panel on the screen of thedisplay unit 31 of theinformation processing apparatus 30, the password is not displayed on the operation panel on the screen of theinformation processing apparatus 30, so the password is not displayed on theimage forming apparatus 10 side. The user of theinformation processing apparatus 30 can confirm the operation of the key without being grasped by another person in the room.

なお、Ｓ１０５において、画像形成装置１０の制御部２１が、表示部１１の画面上で、上記判定されたキーの操作によりパスワードの入力が行われていないと判定したときは（Ｓ１０５でＮＯ）、第１遠隔操作モードの場合と同様にして、Ｓ１０６～Ｓ１１１の処理を行い、情報処理装置３０では、これに対応する、Ｓ２０５～Ｓ２１０の処理を行う。すなわち、第２遠隔操作モードでは、画像形成装置１０は、上記判定されたキーの操作によりパスワードの入力が行われていると判定したときは（Ｓ１０５でＹＥＳ）、上記判定されたキーを示す画像を変化させず、上記判定されたキーの操作によりパスワードの入力が行われていないと判定したときは（Ｓ１０５でＮＯ）、上記判定されたキーを示す画像を変化させる。すなわち、第２遠隔操作モードでは、パスワード入力が行われているときにのみ、どのキーが操作されたかを隠し、パスワード以外の入力が行われているときには、操作されたキーの表示形態を異ならせる。これにより、第２遠隔操作モードでは、パスワード以外の入力が行われているときには、情報処理装置３０の表示部３１には、画像片ＫＨを用いた表示ではなく、操作されたキーの画像が、画像形成装置１０の表示部１１の表示と同様に変化する表示がされるため、ユーザーは、パスワード以外を入力しているときには、画像形成装置１０を直接操作しているのに近い操作感を低減することなく、情報処理装置３０から画像形成装置１０をリモート操作することができる。 In S105, when thecontrol unit 21 of theimage forming apparatus 10 determines that the password is not input by operating the determined key on the screen of the display unit 11 (NO in S105), As in the case of the first remote operation mode, the processing of S106 to S111 is performed, and theinformation processing device 30 performs the processing of S205 to S210 corresponding to this. That is, in the second remote operation mode, when theimage forming apparatus 10 determines that the password is being input by operating the determined key (YES in S105), an image indicating the determined key is displayed. is not changed, and when it is determined that the password has not been input by operating the determined key (NO in S105), the image indicating the determined key is changed. That is, in the second remote control mode, only when the password is being entered, the operated key is hidden, and when other than the password is being entered, the operated key is displayed in a different form. . As a result, in the second remote operation mode, when an input other than a password is performed, the image of the operated key is displayed on thedisplay unit 31 of theinformation processing device 30 instead of the display using the image piece KH. Since a display that changes in the same way as the display on thedisplay unit 11 of theimage forming apparatus 10 is displayed, the user feels as if he or she is directly operating theimage forming apparatus 10 when he or she is inputting information other than the password. Theimage forming apparatus 10 can be remotely operated from theinformation processing apparatus 30 without doing so.

但し、第２遠隔操作モードでは、パスワード入力が行われているか否かに拘わらず、画像形成装置１０においてＳ１１２～Ｓ１１４の処理を行い、情報処理装置３０において、これに対応する、Ｓ２０５，Ｓ２０６，Ｓ２０９，Ｓ２１０の処理を行うものとしてもよい。すなわち、この場合、画像形成装置１０ではＳ１０６～Ｓ１１１の処理は行わず、情報処理装置３０では、Ｓ１０６～Ｓ１１１の処理に対応する、Ｓ２０５～Ｓ２１０の処理は行わない。 However, in the second remote operation mode, theimage forming apparatus 10 performs the processes of S112 to S114 regardless of whether or not the password is entered, and theinformation processing apparatus 30 performs the corresponding steps S205, S206, The processing of S209 and S210 may be performed. That is, in this case, theimage forming apparatus 10 does not perform the processes of S106 to S111, and theinformation processing apparatus 30 does not perform the processes of S205 to S210 corresponding to the processes of S106 to S111.

なお、上記実施形態では、パスワードの入力を例示しているが、パスワード以外の個人情報（電話番号、住所）などの入力に際しても、第２遠隔操作モード時に、操作されているキーの画像が画像形成装置１０及び情報処理装置３０の表示部１１、３１の画面上の操作パネルで表示されないようしながらも、情報処理装置３０の表示部３１の画面上の操作パネルにのみその操作されたキーの位置に画像片を表示させる処理を行うようにしてもよい。 In the above embodiment, the input of a password is exemplified, but when inputting personal information other than the password (telephone number, address), etc., the image of the key being operated is displayed as an image in the second remote control mode. While not being displayed on the operation panels on the screens of thedisplay units 11 and 31 of the formingapparatus 10 and theinformation processing apparatus 30, the operated key is displayed only on the operation panel on the screen of thedisplay unit 31 of theinformation processing apparatus 30. A process of displaying an image piece at a position may be performed.

また、上記実施形態では、画像片として、キーと略同一サイズの不透明色の小さな画像を例示しているが、単なるマークを示す画像片、あるいは操作されているキーの状態を示す画像片を適用しても構わない。 In the above-described embodiment, a small opaque color image of approximately the same size as the key is exemplified as the image piece, but an image piece showing a simple mark or an image piece showing the state of the key being operated can be applied. I don't mind.

また、既知の人感センサーを画像形成装置１０に設けて、人感センサーにより画像形成装置１０の周辺に居る人を検出するようにしておき、画像形成装置１０の制御部２１が、人感センサーからの出力に基づいて、人感センサーにより人が検出されていないときに第１遠隔操作モードを選択し、また人感センサーにより人が検出されているときに第２遠隔操作モードを選択して、操作されているキーの画像が画像形成装置１０及び情報処理装置３０の表示部１１、３１の画面上の操作パネルで表示されないようしながらも、情報処理装置３０の表示部３１の画面上の操作パネルにのみその操作されたキーの位置に画像片を表示させてもよい。人感センサーとしては、人体から発せられる赤外線を検出する赤外線センサーなどを採用する。 Further, a known human sensor is provided in theimage forming apparatus 10 so that the human sensor detects a person in the vicinity of theimage forming apparatus 10, and thecontroller 21 of theimage forming apparatus 10 detects the human sensor. selects the first remote control mode when no human is detected by the motion sensor, and selects the second remote control mode when the human is detected by the motion sensor, based on the output from , while preventing the image of the operated key from being displayed on the operation panels on the screens of thedisplay units 11 and 31 of theimage forming apparatus 10 and theinformation processing apparatus 30, The image piece may be displayed only on the operation panel at the position of the operated key. As the motion sensor, an infrared sensor that detects infrared rays emitted from the human body is adopted.

更に、画像形成装置１０の制御部２１は、パスワードなどの入力画面に対する入力が行われていないか又は人感センサーにより人が検出されていないときに第１遠隔操作モードを選択し、また入力画面に対する入力が行われ、かつ、人感センサーにより人が検出されているときに、第２遠隔操作モードを選択するようにしてもよい。 Further, thecontrol unit 21 of theimage forming apparatus 10 selects the first remote operation mode when no input is made on the input screen for a password or the like, or when no person is detected by the motion sensor, and the input screen is displayed. and the human sensor detects a person, the second remote control mode may be selected.

また、上記実施形態では、本発明に係る電子機器の一実施形態として画像形成装置を用いて説明しているが、これは一例に過ぎず、本発明に係る電子機器は、他の電子機器、例えば、医療機器、カーナビゲーション、又は券売機等であってもよい。 Further, in the above embodiments, the image forming apparatus is used as an embodiment of the electronic device according to the present invention, but this is only an example, and the electronic device according to the present invention can be other electronic devices, For example, it may be medical equipment, car navigation, ticket vending machines, or the like.

また、図１乃至図６を用いて説明した上記実施形態の構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。 Also, the configuration and processing of the above embodiment described with reference to FIGS. 1 to 6 are merely one embodiment of the present invention, and are not intended to limit the present invention to the configuration and processing.

１０ 画像形成装置
１１ 表示部
１２ 操作部
１３ タッチパネル
１４ 通信部
１５ 画像読取部
１６ 画像形成部
１８ 記憶部
１９ 制御ユニット
２１ 制御部
３０ 情報処理装置
３１ 表示部
３２ 操作部
３４ 通信部
３８ 記憶部
３９ 制御ユニット
４１ 制御部
Ｓｙ 遠隔操作システム10Image forming apparatus 11Display unit 12Operation unit 13Touch panel 14Communication unit 15Image reading unit 16Image forming unit 18Storage unit 19Control unit 21Control unit 30Information processing device 31Display unit 32Operation unit 34Communication unit 38Storage unit 39Control Unit 41 Control unit Sy Remote control system

Claims (6)

Translated fromJapanese

電子機器及び情報処理装置を備え、ネットワークを通じて互いにデータ通信を行う遠隔操作システムであって、
前記電子機器は、
第１表示部と、
前記ネットワークを通じて前記情報処理装置との間でデータ通信を行う第１通信部と、
複数のキーを配列してなる操作パネルの画像を前記第１表示部に表示させると共に、前記操作パネルの画像を前記第１通信部から前記情報処理装置に送信させ、前記情報処理装置側で操作された前記操作パネルのキーの位置を前記情報処理装置から前記第１通信部で受信したときに、前記第１表示部に表示させている前記位置のキーの画像を変化させ、前記位置及び前記変化させたキーの画像を前記第１通信部から前記情報処理装置に送信させる第１遠隔操作モード、及び前記情報処理装置側で操作された前記操作パネルのキーの位置を前記情報処理装置から前記第１通信部で受信したときに、前記第１表示部に表示されている前記位置のキーの画像を変化させることなく、前記位置及び予め設定された画像片を前記第１通信部から前記情報処理装置に向けて送信させる第２遠隔操作モードのいずれかに切り替えて制御する第１制御部と、を備え、
前記情報処理装置は、
第２表示部と、
ユーザーにより操作される操作部と、
前記ネットワークを通じて前記電子機器との間でデータ通信を行う第２通信部と、
前記操作パネルの画像を前記電子機器から前記第２通信部で受信したとき、前記操作パネルの画像を前記第２表示部に表示させ、前記操作部の操作により前記操作パネルのいずれかのキーが操作されると、当該操作されたキーの位置を前記第２通信部から前記電子機器に向けて送信させ、前記第１遠隔操作モードにおいて前記位置及び前記変化したキーの画像が前記電子機器から前記第２通信部が受信した場合に、前記変化したキーの画像を前記位置の操作されたキーに代えて配置して前記第２表示部に表示させ、前記第２遠隔操作モードにおいて前記位置及び前記画像片を前記電子機器から前記第２通信部が受信した場合には、前記画像片を前記位置の操作されたキーに代えて配置して前記第２表示部に表示させる第２制御部と、を備える遠隔操作システム。A remote control system comprising an electronic device and an information processing device and performing data communication with each other through a network,
The electronic device
a first display unit;
a first communication unit that performs data communication with the information processing device through the network;
An image of an operation panel having a plurality of keys arranged therein is displayed on the first display unit, the image of the operation panel is transmitted from the first communication unit to the information processing device, and operated on the information processing device side. When the first communication unit receives the position of the key of the operation panel that has been displayed from the information processing device, the image of the key at the position displayed on the first display unit is changed to change the position and the a first remote operation mode in which a changed key image is transmitted from the first communication unit to the information processing device; When received by the first communication unit, the information is transmitted from the first communication unit at the position and the preset image piece without changing the image of the key at the position displayed on the first display unit. a first control unit that switches to and controls any of the second remote control modes for transmitting to the processing device;
The information processing device is
a second display unit;
an operation unit operated by a user;
a second communication unit that performs data communication with the electronic device through the network;
When the image of the operation panel is received by the second communication unit from the electronic device, the image of the operation panel is displayed on the second display unit, and any key of the operation panel is operated by operating the operation unit. When operated, the position of the operated key is transmitted from the second communication unit to the electronic device, and the position and the image of the changed key are transmitted from the electronic device in the first remote control mode. When the second communication unit receives the image, the image of the changed key is arranged in place of the operated key at the position and displayed on the second display unit, and the image of the changed key is displayed on the second display unit in the second remote control mode. a second control unit that, when the second communication unit receives an image piece from the electronic device, arranges the image piece in place of the operated key at the position and causes the second display unit to display the image piece; remote control system. 前記電子機器は、当該電子機器の周辺に位置する人を検出する人感センサーを備え、
前記電子機器の前記第１制御部は、前記人感センサーにより前記人が検出されていないときに、前記第１遠隔操作モードを選択し、前記人感センサーにより前記人が検出されているときに、前記第２遠隔操作モードを選択する請求項１に記載の遠隔操作システム。The electronic device includes a human sensor that detects a person located around the electronic device,
The first control unit of the electronic device selects the first remote control mode when the person is not detected by the human sensor, and selects the first remote operation mode when the person is detected by the human sensor. , to select the second remote control mode. 前記電子機器の前記第２表示部はタッチパネルを備え、
前記電子機器の第１制御部は、予め設定された入力画面を前記第１表示部に表示させているとき、前記入力画面に対する入力が前記タッチパネルを介して行われていない場合は、前記第１遠隔操作モードを選択し、前記入力画面に対する入力が前記タッチパネルを介して行われている場合には、前記第２遠隔操作モードを選択する請求項１に記載の遠隔操作システム。The second display unit of the electronic device includes a touch panel,
When an input screen set in advance is displayed on the first display unit, the first control unit of the electronic device controls the first 2. The remote control system according to claim 1, wherein when a remote control mode is selected and an input to said input screen is performed via said touch panel, said second remote control mode is selected. 前記電子機器の前記第２表示部はタッチパネルを備え、
前記電子機器は、当該電子機器の近傍の人を検出する人感センサーを備え、
前記電子機器の第１制御部は、予め設定された入力画面を前記第１表示部に表示させているとき、前記入力画面に対する入力が前記タッチパネルを介して行われていないか又は前記人感センサーにより前記人が検出されていない場合は、前記第１遠隔操作モードを選択し、前記入力画面に対する入力が前記タッチパネルを介して行われかつ前記人感センサーにより前記人が検出されている場合には、前記第２遠隔操作モードを選択する請求項１に記載の遠隔操作システム。The second display unit of the electronic device includes a touch panel,
The electronic device includes a human sensor that detects a person in the vicinity of the electronic device,
The first control unit of the electronic device, when displaying a preset input screen on the first display unit, determines whether an input to the input screen is performed via the touch panel or the human sensor. the first remote control mode is selected when the person is not detected by the remote operation mode, and when an input to the input screen is performed via the touch panel and the person is detected by the human sensor , to select the second remote control mode. 前記入力画面は、パスワードを入力するための入力画面である請求項３又は請求項４に記載の遠隔操作システム。 5. The remote control system according to claim 3, wherein said input screen is an input screen for inputting a password. 前記電子機器の第１制御部は、前記位置及び前記画像片を前記第１通信部から前記情報処理装置に対して送信させた時点から予め設定された一定時間後に、前記位置及び前記変化させなかったキーの画像を前記第１通信部から前記情報処理装置に送信させ、
前記情報処理装置の第２制御部は、前記位置及び前記変化させなかったキーの画像が前記第２通信部で受信されると、前記変化させなかったキーの画像を前記位置の画像片の代わりに配置して前記第２表示部に表示させる請求項１乃至請求項５のいずれか１つに記載の遠隔操作システム。The first control unit of the electronic device does not change the position and the image piece after a predetermined time has passed from the time when the position and the image piece are transmitted from the first communication unit to the information processing device. causing the image of the key to be transmitted from the first communication unit to the information processing device;
When the position and the unchanged key image are received by the second communication unit, the second control unit of the information processing device replaces the unchanged key image with the image piece at the position. 6. The remote control system according to any one of claims 1 to 5, wherein the remote control system is arranged on the second display unit and displayed on the second display unit.

Images