本発明の実施形態は、画面表示システム、画面表示方法および画面表示処理プログラムに関する。 Embodiments described herein relate generally to a screen display system, a screen display method, and a screen display processing program.
近年、撮像機能を備えたポータブル端末により撮影した画像を、Ｗｅｂ上の画像認識サーバに送信すると、当該サーバにあるデータベースの辞書画像に基づいて撮影した画像が認識され、認識結果に応じた情報が端末に返信されて得られる画像認識サービス（おもてなしサービス）が考えられている（例えば、非特許文献１参照。）。 In recent years, when an image photographed by a portable terminal having an imaging function is transmitted to an image recognition server on the Web, the photographed image is recognized based on a dictionary image in a database in the server, and information corresponding to the recognition result is obtained. An image recognition service (hospitality service) obtained by replying to a terminal is considered (for example, see Non-Patent Document 1).
図６は、従来の画面表示システムの構成例を示す機能ブロック図である。
この画面表示システムは、端末管理システム１１０、画像認識システム１３０、翻訳処理システム１４０を有する。FIG. 6 is a functional block diagram showing a configuration example of a conventional screen display system.
The screen display system includes a terminal management system 110, an image recognition system 130, and a translation processing system 140.
端末管理システム１１０は、端末通信部１１１、端末制御部１１２、画像問合部１１３を有する。画像認識システム１３０は、画像認識部１３１、辞書画像記憶部１３２を有する。ユーザが所持するポータブル端末１２０は、管理システム通信部１２１、カメラ(撮像部)１２２、ディスプレイ（表示部）１２３を備える。 The terminal management system 110 includes a terminal communication unit 111, a terminal control unit 112, and an image inquiry unit 113. The image recognition system 130 includes an image recognition unit 131 and a dictionary image storage unit 132. A portable terminal 120 possessed by a user includes a management system communication unit 121, a camera (imaging unit) 122, and a display (display unit) 123.
図７は、従来の画面表示システムの動作の一例を示すシーケンス図である。
端末管理システム１１０の端末通信部１１１が、ポータブル端末１２０のユーザ操作によりカメラ１２２で撮影した認識対象の画像データを受信すると（Ｔ１０１〜Ｔ１０４）、この画像データが端末制御部１１２に送られる（Ｔ１０５）。端末制御部１１２は、送られた画像データの認識要求を画像問合部１１３に出力する（Ｔ１０６）。FIG. 7 is a sequence diagram showing an example of the operation of the conventional screen display system.
When the terminal communication unit 111 of the terminal management system 110 receives image data to be recognized captured by the camera 122 by a user operation of the portable terminal 120 (T101 to T104), this image data is sent to the terminal control unit 112 (T105). ). The terminal control unit 112 outputs a recognition request for the transmitted image data to the image inquiry unit 113 (T106).
すると、画像問合部１１３は、認識対象の画像データを画像認識システム１３０の画像認識部１３１に送る（Ｔ１０７）。画像認識部１３１は、認識対象の画像データと辞書画像記憶部１３２に記憶されている多数の辞書画像データとの類似度を判定することで画像認識を行ない（Ｔ１０８）、この認識結果（端末管理システム１１０から送られた画像が文字列を含む画像である場合は、その文字列、端末管理システム１１０から送られた画像が文字列を含まない画像である場合は、この画像に含まれる物体（例えば花）の名称を示す文字列）を端末制御部１１２に応答する。（Ｔ１０９，Ｔ１１０）。
そして、端末制御部１１２は、認識結果で示される文字列の翻訳問い合わせを翻訳処理システム１４０に出力する（Ｔ１１１）。Then, the image inquiry unit 113 sends the image data to be recognized to the image recognition unit 131 of the image recognition system 130 (T107). The image recognition unit 131 performs image recognition by determining the similarity between the image data to be recognized and a large number of dictionary image data stored in the dictionary image storage unit 132 (T108), and this recognition result (terminal management) When the image sent from the system 110 is an image including a character string, the object included in the image (when the image sent from the terminal management system 110 is an image not including a character string) ( For example, a character string indicating the name of flower) is returned to terminal control unit 112. (T109, T110).
Then, the terminal control unit 112 outputs a translation query for the character string indicated by the recognition result to the translation processing system 140 (T111).
この翻訳問い合わせを受けて、翻訳処理システム１４０は、翻訳前文字列の翻訳処理を行ない、この翻訳処理結果（翻訳後文字列）を翻訳結果応答として端末制御部１１２に送る（Ｔ１１２）。 Upon receiving this translation inquiry, the translation processing system 140 performs a translation process on the pre-translation character string, and sends this translation process result (post-translation character string) to the terminal control unit 112 as a translation result response (T112).
端末制御部１１２は、この翻訳処理結果を取得すると、翻訳後文字列を含む端末画面データを生成し、当該生成した端末画面データと、この表示指示信号を端末通信部１１１を介してポータブル端末１２０に送信する（Ｔ１１３，Ｔ１１４）。 When acquiring the translation processing result, the terminal control unit 112 generates terminal screen data including the translated character string, and the generated terminal screen data and the display instruction signal are transmitted to the portable terminal 120 via the terminal communication unit 111. (T113, T114).
ポータブル端末１２０の管理システム通信部１２１は、翻訳後文字列を含む端末画面データをディスプレイ１２３に表示する。これにより、ユーザは当該表示された翻訳前文字列を確認する（Ｔ１１５，Ｔ１１６）。 The management system communication unit 121 of the portable terminal 120 displays terminal screen data including the translated character string on the display 123. Thereby, the user confirms the displayed pre-translation character string (T115, T116).
上記の画像認識サービスに関連し、画像の認識結果に含まれる文字列を、翻訳処理により例えば日本語から英語に翻訳して、この翻訳結果をポータブル端末に提示する技術があるが、この翻訳結果を提示する際に、ユーザが意図した元文字列とは別の文字列の翻訳結果がポータブル端末に表示されても、ユーザは、これに気付かない可能性がある。 In relation to the above image recognition service, there is a technology that translates character strings included in image recognition results from Japanese into English, for example, by translation processing, and presents the translation results to a portable terminal. When a translation result of a character string different from the original character string intended by the user is displayed on the portable terminal, the user may not notice this.
具体的には、例えば、案内板に「○○」との文字列（元文字列）が記載されている場合で、この「○○」との文字列をユーザが上記のように撮影して、この文字列を翻訳して「〜Park」という翻訳結果を得られるとする。 Specifically, for example, when a character string (original character string) “OO” is described on the information board, the user captures the character string “OO” as described above. Suppose that this character string is translated to obtain a translation result of “˜Park”.
しかし、ユーザが上記の元文字列を撮影して、この文字列の翻訳結果を得ることを意図していたとしても、上記の「○○」に例えば「＊＊」などの別の種類の文字列が案内板上で隣接しているなどの理由で、この別の文字列を誤って撮影して、この文字列の翻訳結果を得てしまう場合がある。この場合、ユーザは、この翻訳結果が上記の元文字列（「○○」）の翻訳結果であると誤認識してしまう場合がある。特に、上記の元文字列と別の種類の文字列が類似している場合は、上記の翻訳結果の誤認識の可能性が高くなる。 However, even if the user intends to capture the original character string and obtain the translation result of the character string, another type of character such as "**" Due to reasons such as the columns being adjacent to each other on the guide board, another character string may be mistakenly photographed to obtain a translation result of the character string. In this case, the user may misrecognize that the translation result is the translation result of the original character string (“OO”). In particular, when the original character string and another type of character string are similar, the possibility of erroneous recognition of the translation result increases.
本発明の目的は、画像認識に応じた翻訳結果の適切な確認を促すことができる画面表示システム、画面表示方法および画面表示処理プログラムを提供することである。 An object of the present invention is to provide a screen display system, a screen display method, and a screen display processing program that can prompt appropriate confirmation of a translation result according to image recognition.
上記目的を達成するために、この発明の実施形態における画面表示システムの第１の態様は、外部の端末により撮影された画像を受信する画像受信手段と、前記画像受信手段により受信された画像を認識対象画像として、画像を認識する画像認識部に画像認識を要求する画像認識要求手段と、前記画像認識要求手段による画像認識の要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が前記認識対象画像に含まれる文字列である場合に、この文字列を翻訳する翻訳処理手段と、前記翻訳処理手段による翻訳処理後の文字列および前記翻訳処理手段による翻訳処理前の文字列を含む端末画面を生成する端末画面生成手段と、前記端末画面生成手段により生成された端末画面を前記外部の端末に送信する端末画面送信手段とを有するシステムを提供する。 In order to achieve the above object, a first aspect of a screen display system according to an embodiment of the present invention includes an image receiving means for receiving an image taken by an external terminal, and an image received by the image receiving means. As the recognition target image, an image recognition requesting unit that requests image recognition to the image recognition unit that recognizes an image, and the recognition target image acquired from the image recognition unit in response to an image recognition request by the image recognition requesting unit When the recognition result is a character string included in the recognition target image, a translation processing means for translating the character string, a character string after the translation processing by the translation processing means, and a translation processing before the translation processing by the translation processing means Terminal screen generating means for generating a terminal screen including a character string, and terminal screen transmitting means for transmitting the terminal screen generated by the terminal screen generating means to the external terminal To provide a system with.
上記構成のシステムの第２の態様は、第１の態様において、前記端末画面生成手段は、前記翻訳処理手段による翻訳処理後の文字列を含む第１の端末画面、および、前記翻訳処理手段による翻訳処理前の文字列を含む第２の端末画面をそれぞれ生成し、前記端末画面送信手段は、前記生成した第１の端末画面、および前記第２の端末画面が前記外部の端末に順次表示されるように前記外部の端末に送信するシステムを提供する。 According to a second aspect of the system configured as described above, in the first aspect, the terminal screen generation unit includes a first terminal screen including a character string after translation processing by the translation processing unit, and the translation processing unit. Second terminal screens including character strings before translation processing are respectively generated, and the terminal screen transmission means sequentially displays the generated first terminal screen and the second terminal screen on the external terminal. A system for transmitting to the external terminal is provided.
上記構成のシステムの第３の態様は、第２の態様において、前記端末画面送信手段は、前記生成した第１の端末画面、および前記第２の端末画面が前記外部の端末に交互に繰り返し表示されるように前記外部の端末に送信するシステムを提供する。 According to a third aspect of the system configured as described above, in the second aspect, the terminal screen transmission unit repeatedly displays the generated first terminal screen and the second terminal screen alternately on the external terminal. And a system for transmitting to the external terminal.
本発明の実施形態における画面表示方法の第１の態様は、端末により撮影された画像を取得し、前記取得された画像を認識対象画像として、画像を認識する画像認識部に画像認識を要求し、前記画像認識の要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が前記認識対象画像に含まれる文字列である場合に、この文字列を翻訳し、前記翻訳した後の文字列および前記翻訳する前の文字列を含む端末画面を生成し、前記生成された端末画面を前記端末に送信する方法を提供する。 According to a first aspect of the screen display method in the embodiment of the present invention, an image captured by a terminal is acquired, and the acquired image is used as a recognition target image to request image recognition from an image recognition unit that recognizes the image. When the recognition result of the recognition target image acquired from the image recognition unit in response to the image recognition request is a character string included in the recognition target image, the character string is translated and the translated Provided is a method of generating a terminal screen including a subsequent character string and the character string before translation, and transmitting the generated terminal screen to the terminal.
上記の方法の第２の態様は、第１の態様において、前記翻訳した後の文字列を含む第１の端末画面、および、前記翻訳する前の文字列を含む第２の端末画面をそれぞれ生成し、前記生成した第１の端末画面、および前記第２の端末画面が前記端末に順次表示されるように前記端末に送信する方法を提供する。 According to a second aspect of the above method, in the first aspect, a first terminal screen including the character string after translation and a second terminal screen including the character string before translation are respectively generated. And providing a method for transmitting the generated first terminal screen and the second terminal screen to the terminal so that the first terminal screen and the second terminal screen are sequentially displayed on the terminal.
上記の方法の第３の態様は、第２の態様において、前記生成した第１の端末画面、および前記第２の端末画面が前記端末に交互に繰り返し表示されるように前記端末に送信する方法を提供する。 A third aspect of the above method is the method according to the second aspect, wherein the generated first terminal screen and the second terminal screen are transmitted to the terminal such that the second terminal screen is alternately and repeatedly displayed on the terminal. I will provide a.
本発明によれば、画像認識に応じた翻訳結果の適切な確認を促すことが可能になる。 According to the present invention, it is possible to prompt appropriate confirmation of a translation result according to image recognition.
以下図面により本発明の実施の形態について説明する。
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態における画面表示システムの構成例を示す機能ブロック図である。
この画面表示システムは、端末管理システム１０、画像認識システム３０、翻訳処理システム４０を有する。Embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
First, a first embodiment of the present invention will be described. FIG. 1 is a functional block diagram showing a configuration example of a screen display system according to the first embodiment of the present invention.
This screen display system includes a terminal management system 10, an image recognition system 30, and a translation processing system 40.
端末管理システム１０は、端末通信部１１、端末制御部１２、画像問合部１３を有する。画像認識システム３０は、画像認識部３１、辞書画像記憶部３２を有する。
端末管理システム１０、画像認識システム３０、翻訳処理システム４０は、インターネットなどの通信ネットワークに接続されたサーバ装置によって構成され、当該サーバ装置に内蔵されるＣＰＵがハードディスク等の記憶装置に予め記憶させたサーバ制御プログラム（画像認識システム３０については画像認識プログラムを含み、翻訳処理システム４０については翻訳処理プログラムを含む）を実行して電子回路各部の動作を制御することで、各部を機能させる。
なお、これらの端末管理システム１０、画像認識システム３０、翻訳処理システム４０の一部または全部は一体の装置であってもよい。The terminal management system 10 includes a terminal communication unit 11, a terminal control unit 12, and an image inquiry unit 13. The image recognition system 30 includes an image recognition unit 31 and a dictionary image storage unit 32.
The terminal management system 10, the image recognition system 30, and the translation processing system 40 are configured by a server device connected to a communication network such as the Internet, and a CPU built in the server device is stored in advance in a storage device such as a hard disk. The server control program (including the image recognition program for the image recognition system 30 and the translation processing program for the translation processing system 40) is executed to control the operation of each part of the electronic circuit, thereby causing each part to function.
Note that some or all of the terminal management system 10, the image recognition system 30, and the translation processing system 40 may be integrated devices.
端末通信部１１は、（１）通信ネットワークを介して接続されるポータブル端末２０により撮影された画像データを受信して端末制御部１２に送る機能、（２）当該端末制御部１２に送られた画像データの認識結果に応じて、当該端末制御部１２により生成された端末画面データを画面表示指示と共にポータブル端末２０に送信する機能等を有する。 The terminal communication unit 11 has (1) a function of receiving image data captured by the portable terminal 20 connected via the communication network and sending it to the terminal control unit 12, and (2) sent to the terminal control unit 12. A function of transmitting terminal screen data generated by the terminal control unit 12 to the portable terminal 20 together with a screen display instruction according to the recognition result of the image data is provided.
端末制御部１２は、（１）端末通信部１１から送られた画像データの認識を画像問合部１３に要求する機能、（２）画像認識システム３０から画像データの認識結果を取得する機能、（３）認識結果の種別が文字列である場合は、この文字列の翻訳を翻訳処理システム４０に問い合わせる機能、（４）翻訳処理結果を含む端末画面データを生成する機能、（５）端末画面データを端末通信部１１に送る機能等を有する。
画像問合部１３は、端末制御部１２からの画像データの認識要求に応じて当該画像データを画像認識システム３０に送る機能等を有する。The terminal control unit 12 includes (1) a function for requesting the image inquiry unit 13 to recognize image data sent from the terminal communication unit 11, and (2) a function for obtaining a recognition result of image data from the image recognition system 30. (3) When the type of the recognition result is a character string, a function for inquiring the translation processing system 40 for translation of this character string, (4) a function for generating terminal screen data including the translation processing result, and (5) a terminal screen A function of sending data to the terminal communication unit 11 is provided.
The image inquiry unit 13 has a function of sending the image data to the image recognition system 30 in response to the image data recognition request from the terminal control unit 12.
画像認識システム３０の画像認識部３１は、（１）画像問合部１３から送られた認識対象の画像データと辞書画像記憶部３２に記憶されている多数の辞書画像データとの類似度を判定して画像認識し、その認識結果を端末制御部１２に応答する機能を有する。
辞書画像記憶部３２は、例えば世の中に存在する多種多様な物事を撮影した多数の画像データを当該画像データの内容を示す（表す）情報と共に辞書画像として記憶する。The image recognition unit 31 of the image recognition system 30 determines (1) similarity between the image data to be recognized sent from the image inquiry unit 13 and a large number of dictionary image data stored in the dictionary image storage unit 32. Then, it has a function of recognizing the image and responding to the terminal control unit 12 with the recognition result.
The dictionary image storage unit 32 stores, for example, a large number of image data obtained by photographing a wide variety of things that exist in the world, together with information indicating (representing) the contents of the image data, as a dictionary image.
このように構成された端末管理システム１０、画像認識システム３０、翻訳処理システム４０は、ＣＰＵが制御プログラムに記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べるような、各種の機能を実現する。 In the terminal management system 10, the image recognition system 30, and the translation processing system 40 configured in this way, the CPU controls the operation of each part of the circuit according to the instructions described in the control program, and the software and hardware cooperate. As a result of the operation, various functions as described in the following description of the operation are realized.
なお、ポータブル端末２０は、管理システム通信部２１、カメラ(撮像部)２２、ディスプレイ（表示部）２３を備え、当該ポータブル端末２０も同端末２０に内蔵されるＣＰＵがフラッシュＲＯＭ等の記憶装置に予め記憶させた端末制御プログラムを実行して電子回路各部の動作を制御することで、管理システム通信部２１、カメラ２２、ディスプレイ２３の各部を機能させる。 The portable terminal 20 includes a management system communication unit 21, a camera (imaging unit) 22, and a display (display unit) 23. The CPU incorporated in the portable terminal 20 is a storage device such as a flash ROM. By executing a terminal control program stored in advance and controlling the operation of each part of the electronic circuit, each part of the management system communication unit 21, the camera 22, and the display 23 is caused to function.
管理システム通信部２１は、（１）ユーザの操作に応じてカメラ２２により撮影された画像データを通信ネットワーク上にあるサーバ装置の端末管理システム１０に送信する機能、（２）当該送信した画像データの認識結果に応じた情報を含む端末画面データを端末管理システム１０から受信してディスプレイ２３に表示させる機能等を有する。 The management system communication unit 21 has (1) a function of transmitting image data captured by the camera 22 in response to a user operation to the terminal management system 10 of the server device on the communication network, and (2) the transmitted image data. Terminal screen data including information corresponding to the recognition result is received from the terminal management system 10 and displayed on the display 23.
次に、上記構成の画面表示システムの動作について説明する。
図２は、本発明の第１の実施形態における画面表示システムの動作の第１の例を示すシーケンス図である。
端末管理システム１０の端末通信部１１が、ポータブル端末２０の利用開始後のユーザ操作により撮影した認識対象の画像データを受信すると（Ｔ１〜Ｔ４）、この画像データが端末制御部１２に送られる（Ｔ５）。端末制御部１２は、送られた画像データの認識要求を画像問合部１３に出力する（Ｔ６）。Next, the operation of the screen display system configured as described above will be described.
FIG. 2 is a sequence diagram showing a first example of the operation of the screen display system in the first embodiment of the present invention.
When the terminal communication unit 11 of the terminal management system 10 receives image data to be recognized, which is captured by a user operation after starting to use the portable terminal 20 (T1 to T4), this image data is sent to the terminal control unit 12 ( T5). The terminal control unit 12 outputs the sent image data recognition request to the image inquiry unit 13 (T6).
すると、画像問合部１３は、認識対象の画像データ（ここでは文字列「〜公園」を含む画像データ）を画像認識システムの画像認識部３１に送る（Ｔ７）。画像認識部３１は、認識対象の画像データと辞書画像記憶部３２に記憶されている多数の辞書画像データとの類似度を判定することで画像認識を行ない（Ｔ８）、この認識結果（ここでは、上記の文字列「〜公園」を含む画像の当該文字列「〜公園」）およびその種別（認識結果が画像に含まれる文字列であるか否かを示す情報、ここでは「文字列」、または「その他（名称）」）を端末制御部１２に応答する。（Ｔ９）。
本実施形態では、辞書画像データは、文字列の翻訳を意図した画像であるか否かを示す情報を含み、上記の画像認識において認識結果とされた辞書画像データが、文字列の翻訳を意図した画像であることを示す情報を含む場合は、認識結果とともに応答される上記の種別は、画像に含まれる文字列であることを示す情報（「文字列」）となる。また、上記の画像認識において認識結果とされた辞書画像データが、文字列の翻訳を意図しない画像であることを示す情報を含む場合は、認識結果とともに応答される上記の種別は、画像に含まれる文字列でなく、この画像に含まれる物体の名称を示す情報（「その他（名称）」）となる。Then, the image inquiry unit 13 sends the image data to be recognized (here, the image data including the character string “˜park”) to the image recognition unit 31 of the image recognition system (T7). The image recognition unit 31 performs image recognition by determining the similarity between the image data to be recognized and a large number of dictionary image data stored in the dictionary image storage unit 32 (T8). , The character string “˜park” of the image including the character string “˜park”) and its type (information indicating whether the recognition result is a character string included in the image, here “character string”, Or “other (name)”) to the terminal control unit 12. (T9).
In this embodiment, the dictionary image data includes information indicating whether or not the image is intended to translate a character string, and the dictionary image data obtained as a recognition result in the above image recognition is intended to translate a character string. In the case of including information indicating that the image is an image, the above-mentioned type that is returned together with the recognition result is information indicating that the character string is included in the image (“character string”). In addition, when the dictionary image data obtained as a recognition result in the image recognition includes information indicating that the image does not intend to translate a character string, the type that is returned together with the recognition result is included in the image. It is not a character string to be displayed, but information indicating the name of an object included in this image (“other (name)”).
そして、端末制御部１２は、認識結果の種別が「文字列」であることを確認すると（Ｔ１０）、認識結果で示される文字列（翻訳前文字列、ここでは「〜公園」）の翻訳問い合わせを翻訳処理システム４０に出力する（Ｔ１１）。 When the terminal control unit 12 confirms that the type of the recognition result is “character string” (T10), a translation query for the character string (pre-translation character string, here “˜park”) indicated by the recognition result. Is output to the translation processing system 40 (T11).
この翻訳問い合わせを受けて、翻訳処理システム４０は、翻訳前文字列の翻訳処理を行ない、この翻訳処理結果（翻訳後文字列、ここでは「〜park」）を翻訳結果応答として端末制御部１２に送る（Ｔ１２）。 Upon receiving this translation inquiry, the translation processing system 40 performs translation processing on the pre-translation character string, and sends the translation processing result (post-translation character string, here “˜park”) to the terminal control unit 12 as a translation result response. Send (T12).
端末制御部１２は、この翻訳処理結果を取得すると、先に得た翻訳前文字列、および翻訳後文字列を含む端末画面データを生成し、当該生成した端末画面データと、この表示指示信号を端末通信部１１を介してポータブル端末２０に送信する（Ｔ１３，Ｔ１４）。 When acquiring the translation processing result, the terminal control unit 12 generates terminal screen data including the pre-translation character string and the post-translation character string obtained previously, and generates the generated terminal screen data and the display instruction signal. The data is transmitted to the portable terminal 20 via the terminal communication unit 11 (T13, T14).
ポータブル端末２０の管理システム通信部２１は、ユーザ操作により撮影した画像データの認識による翻訳前文字列および翻訳後文字列を含む端末画面データをディスプレイ２３に表示する。これにより、ユーザは当該表示された翻訳後文字列に対応する翻訳前文字列を素早く簡単に得て、この翻訳前文字列を確認する、または翻訳前文字列と翻訳後文字列とを対比することができる（Ｔ１５，Ｔ１６）。 The management system communication unit 21 of the portable terminal 20 displays terminal screen data including a pre-translation character string and a post-translation character string by recognizing image data captured by a user operation on the display 23. As a result, the user can quickly and easily obtain the pre-translation character string corresponding to the displayed post-translation character string, and confirm the pre-translation character string, or compare the pre-translation character string with the post-translation character string. (T15, T16).
図３は、本発明の第１の実施形態における画面表示システムの動作の第２の例を示すシーケンス図である。
図３に示す第２の実施形態のシーケンス図において、図２で示した第１の実施形態のシーケンス図と同様の動作部分については、同じ符号Ｔ１〜Ｔ９を付してその説明を省略する。ただし、認識対象の画像データは、文字列を含まない画像データであるとする。FIG. 3 is a sequence diagram illustrating a second example of the operation of the screen display system according to the first embodiment of the present invention.
In the sequence diagram of the second embodiment shown in FIG. 3, the same operation parts as those in the sequence diagram of the first embodiment shown in FIG. However, it is assumed that the image data to be recognized is image data that does not include a character string.
Ｔ９の後、端末制御部１２は、認識結果の種別が「その他（名称）」、つまり、上記のように、認識対象の画像データが文字列を含まないことを確認すると（Ｔ１０ａ）、認識結果で示される文字列（文字列を含まない画像データに含まれる物体（ここでは薔薇の花）の名称としての翻訳前文字列、ここでは「薔薇」）の翻訳問い合わせを翻訳処理システム４０に出力する（Ｔ１１ａ）。 After T9, when the terminal control unit 12 confirms that the type of the recognition result is “other (name)”, that is, as described above, the image data to be recognized does not include a character string (T10a), the recognition result Is output to the translation processing system 40 as a translation query of a character string (a character string before translation as a name of an object (here, rose flower) included in image data not including the character string). (T11a).
この翻訳問い合わせを受けて、翻訳処理システム４０は、翻訳前文字列の翻訳処理を行ない、この翻訳処理結果（翻訳後文字列、ここでは「rose」）を翻訳結果応答として端末制御部１２に送る（Ｔ１２ａ）。 Upon receiving this translation inquiry, the translation processing system 40 performs translation processing on the pre-translation character string, and sends this translation processing result (post-translation character string, here “rose”) to the terminal control unit 12 as a translation result response. (T12a).
端末制御部１２は、この翻訳処理結果を取得すると、翻訳後文字列を含む端末画面データを生成し、当該生成した端末画面データと、この表示指示信号を端末通信部１１を介してポータブル端末２０に送信する（Ｔ１３ａ，Ｔ１４ａ）。
ポータブル端末２０の管理システム通信部２１は、翻訳後文字列を含む端末画面データをディスプレイ２３に表示する（Ｔ１５ａ，Ｔ１６ａ）。When acquiring the translation processing result, the terminal control unit 12 generates terminal screen data including the translated character string, and the generated terminal screen data and the display instruction signal are transmitted to the portable terminal 20 via the terminal communication unit 11. (T13a, T14a).
The management system communication unit 21 of the portable terminal 20 displays terminal screen data including the translated character string on the display 23 (T15a, T16a).
以上のように、本発明の第１の実施形態における画面表示システムによれば、ポータブル端末２０により撮影された、文字列（例えば、「〜公園」）を含む画像データを受信して辞書画像記憶部３２に記憶されている多数の辞書画像データに基づき画像認識処理した際に、この認識結果としての翻訳前文字列を翻訳して翻訳後文字列（例えば、「〜park」）を得て、これらの翻訳前文字列および翻訳後文字列をあわせてポータブル端末２０に同時に表示する。 As described above, according to the screen display system of the first embodiment of the present invention, image data including a character string (for example, “˜park”) captured by the portable terminal 20 is received and stored as a dictionary image. When the image recognition process is performed based on a large number of dictionary image data stored in the unit 32, the post-translation character string (for example, “˜park”) is obtained by translating the recognition result character string. These pre-translation character string and post-translation character string are displayed together on the portable terminal 20 at the same time.
これにより、ユーザが翻訳対象として意図していた文字列と異なる文字列を撮影してしまい、この文字列が翻訳前文字列として認識されたとしても、この翻訳前文字列を翻訳後文字列とを同時に確認できるので、ユーザが意図していた文字列の翻訳結果が得られているか否かを容易に確認することが可能になる。 As a result, even if the user captures a character string that is different from the character string that the user intended to translate, and this character string is recognized as a pre-translation character string, the pre-translation character string is regarded as a post-translation character string. Can be confirmed at the same time, it is possible to easily confirm whether or not the translation result of the character string intended by the user has been obtained.
この確認により、翻訳前文字列が、ユーザが意図した文字列と異なる場合、ユーザは、誤った対象物を撮影してしまったことなどに気付くことができ、正しい対象物の再度の撮影を促すことができる。 As a result of this confirmation, when the pre-translation character string is different from the character string intended by the user, the user can notice that the wrong object has been photographed, and prompt the user to re-shoot the correct object. be able to.
（第２の実施形態）
次に、第２の実施形態について説明する。図４は、本発明の第２の実施形態における画面表示システム動作を示すシーケンス図である。
図４に示す第２の実施形態のシーケンス図において、図２で示した第１の実施形態のシーケンス図と同じ動作部分については、同じ符号Ｔ１〜Ｔ２４を付してその説明を省略する。(Second Embodiment)
Next, a second embodiment will be described. FIG. 4 is a sequence diagram showing the operation of the screen display system in the second embodiment of the present invention.
In the sequence diagram of the second embodiment shown in FIG. 4, the same operation parts as those in the sequence diagram of the first embodiment shown in FIG.
ただし、Ｔ２４では、端末制御部１２は、この翻訳処理結果を取得すると、先に得た翻訳前文字列を含む第１の端末画面データ、および翻訳後文字列を含む第２の端末画面データをそれぞれ生成し、当該生成した端末画面データと、これらを例えば翻訳前文字列、翻訳後文字列の順、または逆の順で１種類ずつ順次表示させる指示である表示指示信号を端末通信部１１を介してポータブル端末２０に送信する。 However, at T24, when acquiring the translation processing result, the terminal control unit 12 obtains the first terminal screen data including the pre-translation character string and the second terminal screen data including the post-translation character string obtained previously. The terminal communication unit 11 generates a display instruction signal that is an instruction to generate each of the generated terminal screen data and display them one by one in the order of the pre-translation character string, the post-translation character string, or the reverse order, for example. Via the portable terminal 20.
ポータブル端末２０の管理システム通信部２１は、ユーザ操作により撮影した画像データの認識による第１および第２の端末画面データを、表示指示信号で指示された順序でディスプレイ２３に表示する。これにより、第１の実施形態と同様に、ユーザは当該表示された翻訳後文字列に対応する翻訳前文字列を素早く簡単に得て、この翻訳前文字列を確認する、または翻訳前文字列と翻訳後文字列とを対比することができる（Ｔ１５ａ，Ｔ１６ａ，Ｔ１５ｂ，Ｔ１６ｂ）。また、第１の実施形態と比較して、ユーザは、表示された翻訳前文字列と翻訳後文字列とを明確に区別できる。 The management system communication unit 21 of the portable terminal 20 displays the first and second terminal screen data based on the recognition of the image data captured by the user operation on the display 23 in the order instructed by the display instruction signal. Thereby, as in the first embodiment, the user can quickly and easily obtain the pre-translation character string corresponding to the displayed post-translation character string, and confirm the pre-translation character string, or the pre-translation character string. Can be compared with the translated character string (T15a, T16a, T15b, T16b). Further, as compared with the first embodiment, the user can clearly distinguish the displayed pre-translation character string and post-translation character string.
（第３の実施形態）
次に、第３の実施形態について説明する。図５は、本発明の第３の実施形態における画面表示システム動作を示すシーケンス図である。
図５に示す第３の実施形態のシーケンス図において、図２で示した第１の実施形態のシーケンス図と同じ動作部分については、同じ符号Ｔ１〜Ｔ２４を付してその説明を省略する。(Third embodiment)
Next, a third embodiment will be described. FIG. 5 is a sequence diagram showing the screen display system operation in the third embodiment of the present invention.
In the sequence diagram of the third embodiment shown in FIG. 5, the same operation parts as those in the sequence diagram of the first embodiment shown in FIG.
ただし、Ｔ２４では、端末制御部１２は、この翻訳処理結果を取得すると、先に得た翻訳前文字列を含む第１の端末画面データ、および翻訳後文字列を含む第２の端末画面データをそれぞれ生成し、当該生成した端末画面データと、これらを例えば翻訳前文字列、翻訳後文字列の順、または逆の順で１種類ずつ所定回数だけまたは所定時間にわたって繰り返し表示させる（例えば、翻訳前文字列→翻訳後文字列→翻訳前文字列→翻訳後文字列→…）指示である表示指示信号を端末通信部１１を介してポータブル端末２０に送信する。 However, at T24, when acquiring the translation processing result, the terminal control unit 12 obtains the first terminal screen data including the pre-translation character string and the second terminal screen data including the post-translation character string obtained previously. Each of the generated terminal screen data and the generated terminal screen data are repeatedly displayed for a predetermined number of times or for a predetermined time one by one in the order of the pre-translation character string, the post-translation character string, or the reverse order (for example, before translation) A display instruction signal which is an instruction of character string → post-translation character string → pre-translation character string → post-translation character string →...
ポータブル端末２０の管理システム通信部２１は、ユーザ操作により撮影した画像データの認識による第１および第２の端末画面データを、表示指示信号で指示された順序で所定回数だけ繰り返しディスプレイ２３に表示する。これにより、第１の実施形態と同様に、ユーザは当該表示された翻訳後文字列に対応する翻訳前文字列を素早く簡単に得て、この翻訳前文字列を確認する、または翻訳前文字列と翻訳後文字列とを対比することができる（Ｔ１５ｃ，Ｔ１６ｄ，Ｔ１５ｃ，Ｔ１６ｄ）。また、第１の実施形態と比較して、ユーザは、表示された翻訳前文字列と翻訳後文字列とを明確に繰り返し区別できる。 The management system communication unit 21 of the portable terminal 20 repeatedly displays the first and second terminal screen data based on the recognition of the image data taken by the user operation on the display 23 a predetermined number of times in the order instructed by the display instruction signal. . Thereby, as in the first embodiment, the user can quickly and easily obtain the pre-translation character string corresponding to the displayed post-translation character string, and confirm the pre-translation character string, or the pre-translation character string. Can be compared with the translated character string (T15c, T16d, T15c, T16d). Further, as compared with the first embodiment, the user can clearly distinguish the displayed pre-translation character string and post-translation character string repeatedly.
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
また、各実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）を計算機内に構成させる設定プログラムをも含む。本システムを実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。 In addition, the method described in each embodiment is, for example, a magnetic disk (floppy (registered trademark) disk, hard disk, etc.), optical disk (CD-ROM, etc.) as a program (software means) that can be executed by a computer (computer). It can be stored in a recording medium such as a DVD, MO, etc., semiconductor memory (ROM, RAM, flash memory, etc.), or transmitted and distributed by a communication medium. The program stored on the medium side includes a setting program that configures software means (including not only the execution program but also a table and data structure) in the computer. A computer that implements this system reads a program recorded on a recording medium, constructs software means by a setting program as the case may be, and executes the above-described processing by controlling the operation by this software means. The recording medium referred to in this specification is not limited to distribution, but includes a storage medium such as a magnetic disk or a semiconductor memory provided in a computer or a device connected via a network.
１０，１１０…端末管理システム、１１，１１１…端末通信部、１２，１１２…端末制御部、１３，１１３…画像問合部、２０，１２０…ポータブル端末、２１，１２１…管理システム通信部、２２，１２２…カメラ（撮像部）、２３，１２３…ディスプレイ（表示部）、３０，１３０…画像認識システム、３１，１３１…画像認識部、３２，１３２…辞書画像記憶部、４０，１４０…翻訳処理システム。 DESCRIPTION OF SYMBOLS 10,110 ... Terminal management system 11, 111 ... Terminal communication part, 12, 112 ... Terminal control part, 113, 113 ... Image inquiry part, 20, 120 ... Portable terminal, 21, 121 ... Management system communication part, 22 , 122 ... Camera (imaging part), 23, 123 ... Display (display part), 30, 130 ... Image recognition system, 31, 131 ... Image recognition part, 32, 132 ... Dictionary image storage part, 40, 140 ... Translation processing system.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016173623AJP2018041199A (en) | 2016-09-06 | 2016-09-06 | Screen display system, screen display method, and screen display processing program |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016173623AJP2018041199A (en) | 2016-09-06 | 2016-09-06 | Screen display system, screen display method, and screen display processing program |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020014484ADivisionJP6857757B2 (en) | 2020-01-31 | 2020-01-31 | Screen display system, screen display method and screen display processing program |
| Publication Number | Publication Date |
|---|---|
| JP2018041199Atrue JP2018041199A (en) | 2018-03-15 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016173623APendingJP2018041199A (en) | 2016-09-06 | 2016-09-06 | Screen display system, screen display method, and screen display processing program |
| Country | Link |
|---|---|
| JP (1) | JP2018041199A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021210660A1 (en)* | 2020-04-16 | 2021-10-21 | 株式会社クロスドリーム | Commodity/service ordering system, commodity/service ordering method, and program for same |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000023012A (en)* | 1998-07-06 | 2000-01-21 | Olympus Optical Co Ltd | Camera having translating function |
| US20030164819A1 (en)* | 2002-03-04 | 2003-09-04 | Alex Waibel | Portable object identification and translation system |
| US20050185060A1 (en)* | 2004-02-20 | 2005-08-25 | Neven Hartmut Sr. | Image base inquiry system for search engines for mobile telephones with integrated camera |
| US20080233980A1 (en)* | 2007-03-22 | 2008-09-25 | Sony Ericsson Mobile Communications Ab | Translation and display of text in picture |
| KR20120023964A (en)* | 2010-09-03 | 2012-03-14 | 엘지전자 주식회사 | Mobile terminal and control method therof |
| JP2014086040A (en)* | 2012-10-26 | 2014-05-12 | Canon Marketing Japan Inc | Information processing system, information processing method, and computer program |
| WO2015069737A2 (en)* | 2013-11-08 | 2015-05-14 | Google Inc. | Presenting translations of text depicted in images |
| JP2016058057A (en)* | 2014-09-09 | 2016-04-21 | 株式会社Ｔ．Ｊ．Ｐｒｏｍｏｔｉｏｎ | Translation system, translation method, computer program, and storage medium readable by computer |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000023012A (en)* | 1998-07-06 | 2000-01-21 | Olympus Optical Co Ltd | Camera having translating function |
| US20030164819A1 (en)* | 2002-03-04 | 2003-09-04 | Alex Waibel | Portable object identification and translation system |
| US20050185060A1 (en)* | 2004-02-20 | 2005-08-25 | Neven Hartmut Sr. | Image base inquiry system for search engines for mobile telephones with integrated camera |
| US20080233980A1 (en)* | 2007-03-22 | 2008-09-25 | Sony Ericsson Mobile Communications Ab | Translation and display of text in picture |
| KR20120023964A (en)* | 2010-09-03 | 2012-03-14 | 엘지전자 주식회사 | Mobile terminal and control method therof |
| JP2014086040A (en)* | 2012-10-26 | 2014-05-12 | Canon Marketing Japan Inc | Information processing system, information processing method, and computer program |
| WO2015069737A2 (en)* | 2013-11-08 | 2015-05-14 | Google Inc. | Presenting translations of text depicted in images |
| JP2016535335A (en)* | 2013-11-08 | 2016-11-10 | グーグル インコーポレイテッド | Presentation of translation of text drawn in the image |
| JP2016058057A (en)* | 2014-09-09 | 2016-04-21 | 株式会社Ｔ．Ｊ．Ｐｒｏｍｏｔｉｏｎ | Translation system, translation method, computer program, and storage medium readable by computer |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021210660A1 (en)* | 2020-04-16 | 2021-10-21 | 株式会社クロスドリーム | Commodity/service ordering system, commodity/service ordering method, and program for same |
| JP2021170251A (en)* | 2020-04-16 | 2021-10-28 | 株式会社クロスドリーム | Product / service ordering system, product / service ordering method and its program |
| Publication | Publication Date | Title |
|---|---|---|
| JP7605261B2 (en) | System, method and program | |
| CN108737242B (en) | A system that provides conversational content | |
| JP6986187B2 (en) | Person identification methods, devices, electronic devices, storage media, and programs | |
| JP6368033B2 (en) | Terminal, server, and terminal control method | |
| CN110727417B (en) | A data processing method and device | |
| WO2017166649A1 (en) | Voice signal processing method and device | |
| US20190213499A1 (en) | Information processing apparatus, artificial intelligence identification method, and program | |
| WO2020135334A1 (en) | Television application theme switching method, television, readable storage medium, and device | |
| WO2020134010A1 (en) | Training of image key point extraction model and image key point extraction | |
| US12050883B2 (en) | Interaction information processing method and apparatus, device, and medium | |
| WO2018145574A1 (en) | Information processing method and device, terminal, server and storage medium | |
| CN109582886B (en) | Page content extraction method, template generation method and device, medium and equipment | |
| CN119003039A (en) | Method, apparatus, device and storage medium for information processing | |
| JP2018041199A (en) | Screen display system, screen display method, and screen display processing program | |
| CN118964544A (en) | Digital anchor interaction method and device | |
| JP6857757B2 (en) | Screen display system, screen display method and screen display processing program | |
| CN111478982B (en) | Message processing method, device, system and electronic device | |
| CN114022300B (en) | Social dynamic information publishing method and device, storage medium and electronic equipment | |
| US20190171734A1 (en) | Information presentation device, information presentation system, and information presentation method | |
| JP2013238986A (en) | Processing apparatus, processing system, and output method and program | |
| JP2014164373A (en) | Authentication device and authentication method | |
| JP6664293B2 (en) | Device direction estimation method, image recognition device, and control program therefor | |
| CN114257862B (en) | Video generation method, device, equipment and storage medium | |
| EP4629084A1 (en) | Document processing method and apparatus, electronic device, and storage medium | |
| CN119030946A (en) | Method, device, equipment and storage medium for message processing |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20180830 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20190425 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20190507 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20190628 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20191203 | |
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:20200602 |