JP2023163002A - Method for reading, reader, reading system, and program - Google Patents

Abstract

Translated fromJapanese

【課題】指示器が示す指示値を精度よく読み取ることができる読取方法を提供する。
【解決手段】読取方法は、指示部の位置で指示値を示す指示器を撮影した撮影画像を取得するステップと、前記指示器を模擬した疑似画像における前記指示部の位置を移動するステップと、前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記疑似画像における前記指示部の移動量を特定するステップと、特定された前記移動量に基づいて前記指示器が示す指示値を推定するステップとを有する。
【選択図】図１

An object of the present invention is to provide a reading method that can accurately read the indicated value indicated by an indicator.
The reading method includes the steps of: acquiring a photographed image of an indicator indicating an instruction value at the position of the indicator; moving the position of the indicator in a pseudo image simulating the indicator; a step of specifying the amount of movement of the instruction section in the pseudo image when the position of the instruction section in the pseudo image approaches the position of the instruction section in the captured image; and based on the specified amount of movement. and estimating an instruction value indicated by the indicator.
[Selection diagram] Figure 1

Description

Translated fromJapanese

本開示は、読取方法、読取装置、読取システム及びプログラムに関する。 The present disclosure relates to a reading method, a reading device, a reading system, and a program.

指示針によって状態を示す指示器をカメラで撮像し、その撮像画像から指示針が示す指示値を読み取る方法が提案されている。例えば、特許文献１には、指示器を撮影した撮影画像と指示針が示す指示値が既知の状態で撮影された基準画像を比較して、撮影画像に写った指示針の回転角を求め、回転角と目盛情報から指示値を特定するメータ読取装置が開示されている。 A method has been proposed in which a camera captures an image of an indicator that indicates a state using an indicator needle, and reads an instruction value indicated by the indicator needle from the captured image. For example,Patent Document 1 discloses that a photographed image of an indicator is compared with a reference image photographed in a state where the indicated value indicated by the pointer is known, and the rotation angle of the pointer shown in the photographed image is determined. A meter reading device is disclosed that specifies an indicated value from rotation angle and scale information.

特開２０２０－１６６３３２号公報JP2020-166332A

撮像画像から指示器が示す指示値を読み取るためには、指示針が示す位置を精度よく特定する必要がある。 In order to read the instruction value indicated by the indicator from the captured image, it is necessary to accurately specify the position indicated by the indicator needle.

本開示は、上記課題を解決することができる読取方法、読取装置、読取システム及びプログラムを提供する。 The present disclosure provides a reading method, a reading device, a reading system, and a program that can solve the above problems.

本開示の読取方法は、指示部の位置で指示値を示す指示器を撮影した撮影画像を取得するステップと、前記指示器を模擬した疑似画像における前記指示部の位置を移動するステップと、前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記疑似画像における前記指示部の移動量を特定するステップと、特定された前記移動量に基づいて前記指示器が示す指示値を推定するステップと、を有する。 The reading method of the present disclosure includes the steps of: acquiring a photographed image of an indicator indicating an instruction value at a position of the indicator; moving the position of the indicator in a pseudo image simulating the indicator; specifying the amount of movement of the instruction section in the pseudo image when the position of the instruction section in the pseudo image approaches the position of the instruction section in the photographed image; estimating an indication value indicated by the indicator.

本開示の読取装置は、指示部の位置で指示値を示す指示器を撮影した撮影画像を取得する手段と、前記指示器を模擬した疑似画像における前記指示部の位置を移動する手段と、前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記疑似画像における前記指示部の移動量を特定する手段と、特定された前記移動量に基づいて前記指示器が示す指示値を推定する手段と、を備える。 The reading device of the present disclosure includes: means for acquiring a photographed image of an indicator indicating an instruction value at a position of the indicator; means for moving the position of the indicator in a pseudo image simulating the indicator; means for specifying the amount of movement of the instruction section in the pseudo image when the position of the instruction section in the pseudo image approaches the position of the instruction section in the photographed image; and means for estimating the indicated value indicated by the indicator.

本開示の読取システムは、指示部の位置で指示値を示す指示器と、前記指示器を撮影するカメラと、前記指示値を送信する手段をさらに備える上記の読取装置と、を備える。 The reading system of the present disclosure includes an indicator that indicates an instruction value at a position of an indicator, a camera that photographs the indicator, and the above-mentioned reading device further including means for transmitting the instruction value.

本開示のプログラムは、コンピュータに、指示部の位置で指示値を示す指示器を撮影した撮影画像を取得するステップと、前記指示器を模擬した疑似画像における前記指示部の位置を移動するステップと、前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記疑似画像における前記指示部の移動量を特定するステップと、特定された前記移動量に基づいて前記指示器が示す指示値を推定するステップと、を実行させる。 A program according to the present disclosure includes a step of causing a computer to acquire a photographed image of an indicator indicating an instruction value at a position of the indicator, and a step of moving the position of the indicator in a pseudo image simulating the indicator. , specifying the amount of movement of the instruction section in the pseudo image when the position of the instruction section in the pseudo image approaches the position of the instruction section in the photographed image, based on the specified amount of movement; and estimating an instruction value indicated by the indicator.

上述の読取方法、読取装置、読取システム及びプログラムによれば、指示器が示す指示値を精度よく読み取ることができる。 According to the reading method, reading device, reading system, and program described above, the indicated value indicated by the indicator can be read with high accuracy.

実施形態に係る指示値取得システムの一例を示す図である。FIG. 1 is a diagram showing an example of an instruction value acquisition system according to an embodiment.実施形態に係る指示器（計測器）の一例を説明する図である。FIG. 2 is a diagram illustrating an example of an indicator (measuring device) according to an embodiment.実施形態に係る指示器（スイッチ）の一例を示す図である。It is a figure showing an example of an indicator (switch) concerning an embodiment.実施形態に係る指示器における指示部の移動と指示値の推定について説明する図である。FIG. 3 is a diagram illustrating movement of an indicator and estimation of an indicator value in an indicator according to an embodiment.実施形態に係る重み係数について説明する図である。FIG. 3 is a diagram illustrating weighting coefficients according to the embodiment.実施形態に係る指示値の推定処理の一例を示すフローチャートである。It is a flow chart which shows an example of instruction value estimation processing concerning an embodiment.実施形態に係る指示値の推定処理を横型の計測器に適用した場合の処理の概要を説明する図である。FIG. 3 is a diagram illustrating an overview of processing when the instruction value estimation processing according to the embodiment is applied to a horizontal measuring instrument.実施形態に係る指示値の推定処理をトグルスイッチに適用した場合の処理の概要を説明する図である。FIG. 3 is a diagram illustrating an overview of processing when the instruction value estimation processing according to the embodiment is applied to a toggle switch.指示値の推定処理の従来例について説明する図である。FIG. 2 is a diagram illustrating a conventional example of instruction value estimation processing.実施形態に係る読取装置のハードウェア構成の一例を示す図である。FIG. 1 is a diagram illustrating an example of a hardware configuration of a reading device according to an embodiment.

以下、本開示の指示値取得システムについて、図１～図１０を参照して説明する。
＜実施形態＞
（システム構成）
図１は、実施形態に係る指示値取得システムの一例を示す図である。
指示値取得システム１００は、指示器１と、カメラ５と、読取装置１０と、端末装置２０と、他システム３０と、を含む。指示器１は、通信や伝送の手段を有さない計測器やスイッチである。指示器１の一例を図２（ａ）～（ｃ）に例示する。指示器１は、図２（ａ）に例示するような指示針が時計の針の移動方向に振れたり、左右両側に触れたりすることによって、監視対象の状態量（例えば、電流、電圧、温度、圧力、流量、回転数、振動数など）を示す丸型のアナログ計測器である。あるいは、指示器１は、図２（ｂ）に例示するような横型、図２（ｃ）に例示するような縦型のアナログ計測器である。これら計測器類の指示器１では、指示部２（指示針）によって計測値が指し示される。また、指示器１は、レバーやつまみ等の操作部によって操作するスイッチ類であってもよい。レバー式のスイッチ、つまみ式のスイッチ、スライド式のスイッチ、ダイヤル式のスイッチの例をそれぞれ図３（ａ）、図３（ｂ）、図３（ｃ）、図３（ｄ）に例示する。これらスイッチ類の指示器１では、指示部２（操作部）の指し示す位置によって設定値（ＯＮ又はＯＦＦ、低中高、１～４、明度・暗度など）が示される。これらの計測器が計測した計測値やスイッチが示す設定値は、指示器１が設置された場所まで行かなければ確認できない。指示値取得システム１００は、工場、プラント、商業施設などに設置された指示器１が表示する指示値を読み取り、読み取った内容をデジタルデータへ変換し、端末装置２０や他システム３０へ送信する。The instruction value acquisition system of the present disclosure will be described below with reference to FIGS. 1 to 10.
<Embodiment>
(System configuration)
FIG. 1 is a diagram illustrating an example of an instruction value acquisition system according to an embodiment.
The instructionvalue acquisition system 100 includes anindicator 1, acamera 5, areading device 10, aterminal device 20, and anothersystem 30. Theindicator 1 is a measuring instrument or a switch that does not have a means of communication or transmission. An example of theindicator 1 is illustrated in FIGS. 2(a) to 2(c). Theindicator 1 measures state quantities to be monitored (e.g., current, voltage, temperature) by swinging the indicator hand in the moving direction of the clock hands or touching both the left and right sides as shown in FIG. 2(a). It is a round analog measuring instrument that indicates pressure, flow rate, rotation speed, vibration frequency, etc. Alternatively, theindicator 1 is a horizontal analog measuring instrument as illustrated in FIG. 2(b) or a vertical analog measuring instrument as illustrated in FIG. 2(c). In theindicators 1 of these measuring instruments, a measurement value is indicated by an indicator 2 (pointer). Further, theindicator 1 may be a switch operated by an operation part such as a lever or a knob. Examples of a lever-type switch, a knob-type switch, a slide-type switch, and a dial-type switch are illustrated in FIGS. 3(a), 3(b), 3(c), and 3(d), respectively. In theindicators 1 of these switches, setting values (ON or OFF, low, middle, high, 1 to 4, brightness/darkness, etc.) are indicated by the position pointed by the indicator 2 (operation part). The measured values measured by these measuring instruments and the set values indicated by the switches cannot be confirmed unless the user goes to the location where theindicator 1 is installed. The instructionvalue acquisition system 100 reads the instruction values displayed byindicators 1 installed in factories, plants, commercial facilities, etc., converts the read contents into digital data, and transmits the digital data to theterminal device 20 andother systems 30.

カメラ５は、指示器１を撮影できる位置に設置され、指示器１が示す値を常時、又は、所定の時間間隔で継続的に撮影し続ける。カメラ５は、読取装置１０と通信可能に接続されており、撮影した画像を読取装置１０へ出力する。読取装置１０は、カメラ５の近傍に設置してもよいし、カメラ５から離れた場所に設置してもよい。読取装置１０は、カメラ５によって撮影された画像（撮影画像と称する。）を解析して、計測器類が示す計測値、スイッチ類が示す設定値などを読み取って、デジタルデータとして出力する。読取装置１０は、ネットワークＮＷを介して端末装置２０や他システム３０と通信可能に接続されており、計測値や設定値を含んだデジタルデータを端末装置２０や他システム３０へ送信する。端末装置２０は、例えば、ＰＣ（personal computer）２０ａ、スマートフォンやタブレット端末などの携帯端末２０ｂである。他システム３０とは、例えば、指示器１が示す計測値等を監視する監視システム、指示器１が示す計測値等を取得して動作するシステムである。指示値取得システム１００によれば、指示器１が表示する指示値を遠隔地にてオンラインで収集し、活用することができる。 Thecamera 5 is installed at a position where it can photograph theindicator 1, and continuously photographs the value indicated by theindicator 1 at all times or at predetermined time intervals. Thecamera 5 is communicably connected to thereading device 10 and outputs captured images to thereading device 10. Thereading device 10 may be installed near thecamera 5 or may be installed at a location away from thecamera 5. Thereading device 10 analyzes an image photographed by the camera 5 (referred to as a photographed image), reads measurement values indicated by measuring instruments, setting values indicated by switches, etc., and outputs them as digital data. Thereading device 10 is communicably connected to theterminal device 20 andother systems 30 via the network NW, and transmits digital data including measurement values and setting values to theterminal device 20 andother systems 30. Theterminal device 20 is, for example, a PC (personal computer) 20a, or amobile terminal 20b such as a smartphone or a tablet terminal. Theother system 30 is, for example, a monitoring system that monitors the measured value indicated by theindicator 1, or a system that operates by acquiring the measured value indicated by theindicator 1. According to the instructionvalue acquisition system 100, the instruction values displayed by theindicator 1 can be collected online at a remote location and utilized.

読取装置１０は、画像取得部１１と、画像処理部１２と、外乱除去部１３と、指示値推定部１４と、深層学習部１５と、設定受付部１６と、記憶部１７と、通信部１８と、を備える。
画像取得部１１は、カメラ５が撮影した撮影画像を取得する。
画像処理部１２は、撮影画像をリサイズしたり、指示値の読み取りに必要な領域だけ切出したりする画像処理を行う。
外乱除去部１３は、撮影画像から、影、ハレーションなどの外乱を除去する。外乱除去部１３は、ＤｎＣＮＮ（Denoising Convolutional Neural Network）を利用して構築された深層学習モデルを用いて、ノイズ等の外乱除去を行う。ＤｎＣＮＮは、公知の外乱除去用のＣＮＮであって、ＤｎＣＮＮに学習用画像を与えて学習させることで、精度よくノイズを除去する深層学習モデルを構築できる。Thereading device 10 includes animage acquisition section 11, animage processing section 12, adisturbance removal section 13, an instructionvalue estimation section 14, adeep learning section 15, asetting reception section 16, astorage section 17, and acommunication section 18. and.
Theimage acquisition unit 11 acquires a photographed image taken by thecamera 5.
Theimage processing unit 12 performs image processing such as resizing the photographed image and cutting out only the area necessary for reading the instruction value.
Thedisturbance removal unit 13 removes disturbances such as shadows and halation from the captured image. Thedisturbance removal unit 13 uses a deep learning model constructed using a DnCNN (Denoising Convolutional Neural Network) to remove disturbances such as noise. DnCNN is a well-known CNN for removing disturbances, and by giving training images to DnCNN and making it learn, it is possible to construct a deep learning model that accurately removes noise.

指示値推定部１４は、指示器１を模擬した画像（疑似画像と称する。）上で、指示針やレバー等を模擬した指示部（疑似針と称する。）を、指示針やレバー等の可動範囲内で移動させ、撮影画像に写った指示部との重なり具合を評価する。図４（ａ）に、丸型の計測器（指示器１）の撮影画像５０の一例を示す。撮影画像５０では、指示部５１が、指示値αを指している。図４（ｂ）に、図４（ａ）の撮影画像５０の疑似画像６０を示す。疑似画像６０では、指示部５１に対応する疑似針６１が移動可能（画像処理による移動）に構成されている。図４（ｂ）に示すｍｉｎ～ｍａｘは指示器1が備える指示部２の可動範囲に対応している。指示値推定部１４は、疑似画像６０において、所定の開始位置（例えば、ｍｉｎの位置）から所定の分解能で疑似針６１を時計回りに移動（回転）させる。分解能とは最小の移動量であり、この移動量がそのまま読み取り精度における分解能となる。例えば、疑似針６１の先端が１画素ずつ移動するような移動量を分解能とすることができる。指示値推定部１４は、撮影画像５０と疑似画像６０を重畳させて、指示部５１と疑似針６１の重なり具合を評価する。指示値推定部１４は、移動の都度、撮影画像５０の指示部５１との重なり具合を計算する。例えば、疑似針６１と指示部５１の重なり具合を示す信号強度を畳み込み積分によって計算してもよい。指示値推定部１４は、疑似針６１と指示部５１の重なり具合を示す信号強度が最大となるときの移動量（移動角度）θを特定する。図４（ｃ）に、疑似針６１と指示部５１の重なり具合を示す信号強度が最大となるとき（指示部５１の位置に疑似針６１の位置が最も近づくとき）の疑似画像６０および移動角度θを示す。指示器１における指示部２の移動量と指示値との関係は予め解析されており、移動量と指示値の対応関係を定めたテーブルが記憶部１７に記録されている。指示値推定部１４は、特定した移動量θと、移動量と指示値の対応関係を定めたテーブルから指示値αを推定する。 The indicatedvalue estimating section 14 moves an indicating section (referred to as a pseudo needle) that simulates an indicator needle, lever, etc. on an image (referred to as a pseudo image) that simulates theindicator 1 as a movable indicator needle, lever, etc. Move it within the range and evaluate the degree of overlap with the instruction part in the photographed image. FIG. 4A shows an example of a photographedimage 50 of a round measuring instrument (indicator 1). In the photographedimage 50, theinstruction section 51 indicates the instruction value α. FIG. 4(b) shows apseudo image 60 of the photographedimage 50 of FIG. 4(a). In thepseudo image 60, apseudo needle 61 corresponding to theinstruction section 51 is configured to be movable (moveable by image processing). min to max shown in FIG. 4(b) corresponds to the movable range of theindicator 2 included in theindicator 1. The instructionvalue estimation unit 14 moves (rotates) thepseudo needle 61 clockwise in thepseudo image 60 from a predetermined starting position (for example, the min position) at a predetermined resolution. Resolution is the minimum amount of movement, and this amount of movement directly becomes the resolution in reading accuracy. For example, the resolution can be defined as a movement amount such that the tip of thepseudo needle 61 moves one pixel at a time. The instructionvalue estimation unit 14 superimposes the capturedimage 50 and thepseudo image 60 and evaluates the degree of overlap between theinstruction unit 51 and thepseudo needle 61. The instructionvalue estimation unit 14 calculates the degree of overlap between the photographedimage 50 and theinstruction unit 51 each time the instructionvalue estimation unit 14 moves. For example, the signal strength indicating the degree of overlap between thepseudo needle 61 and theindicator 51 may be calculated by convolution integration. The instructionvalue estimation unit 14 specifies the amount of movement (movement angle) θ when the signal intensity indicating the degree of overlap between thepseudo needle 61 and theinstruction unit 51 becomes maximum. FIG. 4(c) shows thepseudo image 60 and the movement angle when the signal intensity indicating the degree of overlap between thepseudo needle 61 and the indicatingsection 51 is at its maximum (when the position of thepseudo needle 61 is closest to the position of the indicating section 51). Indicates θ. The relationship between the amount of movement of theindicator 2 in theindicator 1 and the instruction value has been analyzed in advance, and a table defining the correspondence between the amount of movement and the instruction value is recorded in thestorage section 17. The instructionvalue estimation unit 14 estimates the instruction value α from the specified movement amount θ and a table that defines the correspondence between the movement amount and the instruction value.

指示値推定部１４は、疑似針６１と指示部５１の重なり具合を示す信号強度を計算する際、指示部２の特徴に重み係数を大きく設定して、信号強度を計算してもよい。例えば、指示値推定部１４は、図５に例示する形状の指示部５１を領域５１ａ～５１ｃの３つの領域に分割し、各領域別に重なり具合の信号強度を計算する。そして、最も特徴的な形状をした領域５１ａに最も大きい重み係数を付与し、最も特徴が無い領域５１ｃに最も小さい重み係数を付与し、領域５１ｂには、中程度の重み係数を付与して疑似針６１と指示部５１の重なり具合を示す信号強度を計算する。例えば、領域５１ａ～５１ｃについて計算した信号強度をそれぞれＳａ～Ｓｃ、領域５１ａ～５１ｃの重み係数をそれぞれｋａ～ｋｃ（ｋａ＞ｋｂ＞ｋｃ）とすると、指示値推定部１４は、ｋａ・Ｓａ＋ｋｂ・Ｓｂ＋ｋｃ・Ｓｃによって、重なり具合を示す信号強度を計算する。なお、疑似針６１と指示部５１の重なり具合を示す信号強度の計算手法には、任意の手法を用いることができる。また、図５では撮影画像５０の指示部５１を用いて重み付けの説明を行ったが、疑似画像６０の疑似針６１について、重み付け係数を設定してもよい。 When calculating the signal intensity indicating the degree of overlap between thepseudo needle 61 and theinstruction section 51, the instructionvalue estimating section 14 may set a large weighting coefficient for the characteristics of theinstruction section 2 to calculate the signal intensity. For example, the instructionvalue estimating section 14 divides theinstruction section 51 having the shape illustrated in FIG. 5 into threeregions 51a to 51c, and calculates the signal strength of the degree of overlap for each region. Then, theregion 51a with the most characteristic shape is given the largest weighting coefficient, theregion 51c with the least feature is given the smallest weighting coefficient, and theregion 51b is given a medium weighting coefficient to create a pseudo A signal strength indicating the degree of overlap between theneedle 61 and theindicator 51 is calculated. For example, if the signal strengths calculated for theregions 51a to 51c are Sa to Sc, and the weighting coefficients for theregions 51a to 51c are ka to kc (ka>kb>kc), the instructionvalue estimation unit 14 calculates ka, Sa+kb, The signal strength indicating the degree of overlap is calculated from Sb+kc·Sc. Note that any method can be used to calculate the signal strength indicating the degree of overlap between thepseudo needle 61 and theindicator 51. Furthermore, although weighting has been explained using theinstruction section 51 of the photographedimage 50 in FIG. 5, a weighting coefficient may be set for thepseudo needle 61 of thepseudo image 60.

深層学習部１５は、ＤｎＣＮＮによって、外乱除去を行う深層学習モデルを作成する。例えば、様々な種類の指示器１について、様々な外乱が加わった画像（指示器１全体は必ずしも必要なく、目盛り領域と指示部２にノイズが加わった画像）と外乱が無い状態の画像を深層学習部１５に与える。深層学習部１５は、ＤｎＣＮＮに、それらの画像から外乱を検出して除去する方法を学習させ、ノイズ除去用の深層学習モデルを作成する。 Thedeep learning unit 15 uses DnCNN to create a deep learning model that performs disturbance removal. For example, for various types ofindicators 1, images with various disturbances added (not necessarily theentire indicator 1, but images with noise added to the scale area and indicator 2) and images with no disturbances are analyzed in a deep layer. The information is given to thelearning section 15. Thedeep learning unit 15 causes the DnCNN to learn how to detect and remove disturbances from these images, and creates a deep learning model for noise removal.

設定受付部１６は、キーボード、マウス、タッチパネル、ボタン等の入力装置を用いて構成され、ユーザがこれらの入力装置を用いて入力した指示値の読み取り処理に関する各種の設定を受け付ける。例えば、設定受付部１６は、分解能の設定、指示部２の移動を開始する位置、移動範囲、移動方向の設定、重み係数およびその重み係数を付与する領域などの設定を受け付ける。例えば、指示器１が０～１００℃まで計測できる温度計であって、計測値が４５～５０℃の範囲に収まることが分かっていれば、例えば、ユーザは、移動開始位置を４５℃の位置、移動範囲を４５～５０℃の範囲、移動方向を温度が上昇する方向、分解能を最小の分解能（例えば、１画素分の分解能、あるいは元の計測器の最小分解能に合わせて０．１℃とする等）と設定することができる。１℃単位の温度しか必要が無い場合であれば、分解能を１℃に対応する移動量（画素数等）に設定してもよい。また、ユーザは、移動開始位置を５０℃とし、移動方向を温度が低下する方向に設定してもよいし、移動開始位置を４７℃とし、最初の移動方向を温度が低下する方向に設定し、４５℃に至った後は、４７℃から５０℃へ向けて移動するように設定してもよい。また、指示器１が計測する値に大きな変動が無い場合、移動の開始位置を前回推定した指示値に対応する位置とし、その開始位置から変動の可能性がある範囲を移動範囲として設定してもよい。設定受付部１６は、ユーザが入力した設定を取得し、記憶部１７に記録する。 Thesetting reception unit 16 is configured using input devices such as a keyboard, a mouse, a touch panel, and buttons, and receives various settings related to reading processing of instruction values input by a user using these input devices. For example, thesetting accepting unit 16 accepts settings such as a resolution setting, a position at which theinstruction unit 2 starts moving, a moving range, a moving direction, a weighting coefficient, and an area to which the weighting coefficient is applied. For example, if theindicator 1 is a thermometer that can measure from 0 to 100 degrees Celsius, and it is known that the measured value falls within the range of 45 to 50 degrees Celsius, the user may set the movement start position to a position of 45 degrees Celsius. , the movement range is 45 to 50℃, the movement direction is the direction in which the temperature increases, and the resolution is the minimum resolution (for example, 1 pixel resolution, or 0.1℃ according to the minimum resolution of the original measuring instrument). etc.). If only the temperature in units of 1° C. is required, the resolution may be set to the amount of movement (number of pixels, etc.) corresponding to 1° C. Additionally, the user may set the movement start position to 50°C and set the movement direction in the direction in which the temperature decreases, or the movement start position may be set to 47°C and the initial movement direction in the direction in which the temperature decreases. , after reaching 45°C, it may be set to move from 47°C to 50°C. In addition, if there is no large variation in the value measured by theindicator 1, set the starting position of movement to the position corresponding to the previously estimated indicated value, and set the range where there is a possibility of variation from that starting position as the moving range. Good too. Thesetting reception unit 16 acquires settings input by the user and records them in thestorage unit 17.

記憶部１７は、ＨＤＤ（hard disk drive）やフラッシュメモリ等の記憶装置を用いて構成され、撮影画像、疑似画像、設定受付部１６が受け付けた設定、ノイズ除去用の深層学習モデルの構築に用いる学習用画像、学習後の深層学習モデル、移動量と指示値の対応関係を定めたテーブルなどを記憶する。 Thestorage unit 17 is configured using a storage device such as an HDD (hard disk drive) or a flash memory, and is used to store captured images, pseudo images, settings received by thesetting reception unit 16, and construction of a deep learning model for noise removal. It stores learning images, deep learning models after learning, tables that define the correspondence between movement amounts and instruction values, and the like.

通信部１８は、他装置との通信を行う。例えば、通信部１８は、指示値推定部１４によって推定された指示値を端末装置２０や他システム３０へ送信する。通信部１８は、指示値が推定される度に指示値を送信してもよいし、端末装置２０や他システム３０からの要求に応じて、指示値を送信してもよい。 Thecommunication unit 18 communicates with other devices. For example, thecommunication unit 18 transmits the instruction value estimated by the instructionvalue estimation unit 14 to theterminal device 20 orother system 30. Thecommunication unit 18 may transmit the instruction value each time the instruction value is estimated, or may transmit the instruction value in response to a request from theterminal device 20 orother system 30.

（動作）
次に図６を参照して、指示値取得システム１００の動作について説明する。
前提として、構築済みの外乱除去用の深層学習モデルと、設定受付部１６が受け付けた各種設定と、疑似針６１を任意に動かすことができる疑似画像６０と、移動量と指示値の対応関係を定めたテーブルは記憶部１７に予め記録されているとする。
画像取得部１１が、カメラ５によって撮影された指示器１の撮影画像５０を取得する（ステップＳ１）。画像取得部１１は、撮影画像５０を記憶部１７に記録する。
次に画像処理部１２が、撮影画像５０を画像処理する（ステップＳ２）。画像処理部１２は、撮影画像５０を所定の解像度（例えば、指示値の読み取りに必要な最低限の解像度）の画像にリサイズしたり、指示値の読み取りに必要な部分の画像だけを切出したりする。これらの処理は、処理負荷を軽減するために行われる。画像処理部１２は、画像処理後の撮影画像５０を記憶部１７に記録する。画像処理部１２は、画像処理後の撮影画像５０から所定の画像処理を施すことにより疑似画像を作成して、作成した疑似画像６０を記憶部１７に記録してもよい。(motion)
Next, the operation of the instructionvalue acquisition system 100 will be described with reference to FIG. 6.
As a prerequisite, a constructed deep learning model for removing disturbances, various settings received by thesetting reception unit 16, apseudo image 60 that allows thepseudo needle 61 to be moved arbitrarily, and a correspondence relationship between the amount of movement and the indicated value are established. It is assumed that the determined table is recorded in thestorage unit 17 in advance.
Theimage acquisition unit 11 acquires a photographedimage 50 of theindicator 1 photographed by the camera 5 (step S1). Theimage acquisition unit 11 records the capturedimage 50 in thestorage unit 17.
Next, theimage processing unit 12 performs image processing on the photographed image 50 (step S2). Theimage processing unit 12 resizes the capturedimage 50 to an image with a predetermined resolution (for example, the minimum resolution necessary for reading the indicated value), or cuts out only the portion of the image necessary for reading the indicated value. . These processes are performed to reduce the processing load. Theimage processing unit 12 records the photographedimage 50 after image processing in thestorage unit 17. Theimage processing unit 12 may create a pseudo image by performing predetermined image processing on the photographedimage 50 after image processing, and may record the createdpseudo image 60 in thestorage unit 17.

次に外乱除去部１３が、画像処理後の撮影画像５０を外乱除去用の深層学習モデルに与えて、撮影画像から影やハレーションなどの外乱を除去する（ステップＳ３）。外乱除去部１３は、外乱除去後の撮影画像５０を記憶部１７に記録する。 Next, thedisturbance removal unit 13 feeds the photographedimage 50 after image processing to a deep learning model for disturbance removal, and removes disturbances such as shadows and halation from the photographed image (step S3). Thedisturbance removal section 13 records the photographedimage 50 after disturbance removal in thestorage section 17.

なお、ステップＳ３とステップＳ２の順番は逆であってもよい。即ち、外乱除去部１３が、画像取得部１１によって取得された撮影画像５０から外乱を除去し（ステップＳ３）、その後、画像処理部１２が、外乱除去後の撮影画像５０を画像処理してもよい（ステップＳ２）。 Note that the order of step S3 and step S2 may be reversed. That is, thedisturbance removal section 13 removes the disturbance from the photographedimage 50 acquired by the image acquisition section 11 (step S3), and then theimage processing section 12 performs image processing on the photographedimage 50 after the disturbance has been removed. Good (step S2).

次に指示値推定部１４が、外乱除去後の撮影画像５０と疑似画像６０を使って指示器１の指示値を推定する。まず、指示値推定部１４は、図４（ａ）の撮影画像５０と図４（ｂ）の疑似画像６０が同じ大きさとなるように画像を調整する。そして、指示値推定部１４は、図４（ｂ）に例示する疑似画像６０において、疑似針６１を移動開始位置から所定の分解能ごとに移動（この例の場合、時計の針が動く方向に疑似針６１の先端を例えば１画素ごと動かす。）させ（ステップＳ４）、その都度、疑似針６１と図４（ｂ）に例示する指示部５１との重なり具合を示す信号強度を計算する。例えば、移動範囲が図４（ｂ）のｍｉｎ～ｍａｘまで設定されている場合、指示値推定部１４は、疑似針６１の先端がｍｉｎを指す位置から開始して、疑似針６１の先端がｍａｘを指す位置まで分解能の単位で移動させる。指示値推定部１４は、移動量（この例の場合、移動開始位置の疑似針６１と移動後の疑似針６１が成す角度）と信号強度を対応付けて記憶部１７に記録する。移動範囲の全域に亘って疑似針６１の移動が完了すると、指示値推定部１４は、撮影画像５０における指示部５１と、疑似画像６０における疑似針６１が最も近づいたとき（重なったとき）の移動量を特定する（ステップＳ５）。具体的には、指示値推定部１４は、移動のたびに計算した信号強度の中から値が最大のものを選び、選んだ信号強度と対応付けて記録された移動量を記憶部１７から読み出す。読み出された移動量が特定された移動量である。次に指示値推定部１４は、特定した移動量から指示値を推定する（ステップＳ６）。具体的には、指示値推定部１４は、記憶部１７が記憶する移動量と指示値の対応関係を定めたテーブルを参照して、信号強度が最大となる移動量に対応する指示値を読み出す。指示値推定部１４は、読み出した指示値を、指示器１の指示値として推定する。指示値推定部１４は、推定した指示値を記憶部１７に記録する。 Next, the instructionvalue estimation unit 14 estimates the instruction value of theindicator 1 using the capturedimage 50 and thepseudo image 60 after the disturbance has been removed. First, the instructionvalue estimation unit 14 adjusts the images so that the photographedimage 50 in FIG. 4(a) and thepseudo image 60 in FIG. 4(b) have the same size. Then, in thepseudo image 60 illustrated in FIG. The tip of theneedle 61 is moved, for example, one pixel at a time (step S4), and each time the signal strength indicating the degree of overlap between thepseudo needle 61 and theinstruction section 51 illustrated in FIG. 4(b) is calculated. For example, when the movement range is set from min to max in FIG. Move to the position indicated by the resolution unit. The instructionvalue estimating unit 14 records the movement amount (in this example, the angle formed by thepseudo needle 61 at the movement start position and thepseudo needle 61 after the movement) and the signal intensity in thestorage unit 17 in association with each other. When the movement of thepseudo needle 61 is completed over the entire movement range, the instructionvalue estimating unit 14 calculates the value when theinstruction unit 51 in the capturedimage 50 and thepseudo needle 61 in thepseudo image 60 are closest to each other (when they overlap). The amount of movement is specified (step S5). Specifically, the instructionvalue estimation unit 14 selects the one with the largest value from among the signal intensities calculated for each movement, and reads from thestorage unit 17 the movement amount recorded in association with the selected signal intensity. . The read movement amount is the specified movement amount. Next, the instructionvalue estimation unit 14 estimates an instruction value from the specified movement amount (step S6). Specifically, the instructionvalue estimating unit 14 refers to a table that defines the correspondence between the movement amount and the instruction value stored in thestorage unit 17, and reads out the instruction value corresponding to the movement amount that maximizes the signal strength. . The instructionvalue estimation unit 14 estimates the read instruction value as the instruction value of theindicator 1. The instructionvalue estimation unit 14 records the estimated instruction value in thestorage unit 17.

次に、通信部１８が、記憶部１７から推定された指示値を読み出して、端末装置２０や他システム３０へ送信する（ステップＳ７）。端末装置２０は、送信された指示値を表示する。端末装置２０のユーザは、指示器１が設けられた場所へ赴くことなく、指示器１が表示する指示値を確認することができる。他システム３０では、例えば、送信された指示値を閾値と比較して異常検知などを行う。これにより、通信手段を有しない計測器類（指示器１）が設けられた機器や設備についても、例えば、監視室などの遠隔地に居ながら、リアルタイムに計測値を取得し、監視を行うことができる。 Next, thecommunication unit 18 reads out the estimated instruction value from thestorage unit 17 and transmits it to theterminal device 20 and other systems 30 (step S7). Theterminal device 20 displays the transmitted instruction value. The user of theterminal device 20 can check the instruction value displayed by theindicator 1 without going to the location where theindicator 1 is installed. Theother system 30 performs abnormality detection by comparing the transmitted instruction value with a threshold value, for example. This makes it possible to acquire measured values in real time and monitor equipment and equipment equipped with measuring instruments (indicator 1) that do not have a means of communication, while being in a remote location such as a monitoring room. I can do it.

（適用例１）
次に図７を参照して、指示器１が横型のアナログ計測器の場合の指示値の推定処理について説明する。図７（ａ）に画像処理後（ステップＳ２）の撮影画像５０を例示する。撮影画像５０には、影などの外乱が写っている。外乱除去部１３は、撮影画像５０の外乱を除去し（ステップＳ３）、外乱を除去後の撮影画像５０´を出力する。（ステップＳ２とステップＳ３の処理順は逆でもよい。）撮影画像５０´を図７（ｂ）に示す。次に、指示値推定部１４が外乱除去後の撮影画像５０´と疑似画像６０（図示せず）を重畳させて、疑似針６１を移動させることにより、指示値推定を行う（ステップＳ６）。具体的には、疑似針６１を左右方向に移動させ、疑似針６１と指示部５１´の重なる面積が最も大きくなるときの移動量を特定して、その移動量に対応する位置を針位置として指示値を読み取る。この場合、左右方向の移動距離が移動量となる。また、図５で説明したように、指示部５１´や疑似針６１の先端部分に大きな重み付けを付与して重なり具合の信号強度を計算してもよい。図７で説明した処理と同様の処理を適用することによって、図２（ｃ）に例示する縦型のアナログ計測器から指示値を読み取ることができ、図３（ｃ）に例示するスライド式のスイッチから設定値１～４を読み取ることができる。また、図３（ｂ）に例示するつまみ式のスイッチや図３（ｄ）に例示するダイヤル式のスイッチに関しては、図４を用いて説明した丸型の計測器類と同様の処理によって、設定値（低中高や明度・暗度）を読み取ることができる。なお、疑似針６１の移動については、設定された分解能に応じて、スイープ（連続的に動かす。）させてもよいし、ステップ動作（離散的に動かす。）させてもよい。例えば、図３（ｂ）のスイッチの場合、指示値推定部１４は、疑似針６１を低、中、高の３ステップで移動させ、それぞれの位置における重なり具合を示す信号強度を算出し、その中から信号強度が最大となるときの移動量を特定してもよい。図３（ｃ）のスライド式のスイッチの場合にも同様である。(Application example 1)
Next, referring to FIG. 7, a description will be given of an instruction value estimation process when theindicator 1 is a horizontal analog measuring instrument. FIG. 7A illustrates a capturedimage 50 after image processing (step S2). The photographedimage 50 includes disturbances such as shadows. Thedisturbance removal unit 13 removes the disturbance from the photographed image 50 (step S3), and outputs the photographed image 50' after removing the disturbance. (The processing order of step S2 and step S3 may be reversed.) The photographed image 50' is shown in FIG. 7(b). Next, the instructionvalue estimation unit 14 superimposes the captured image 50' after disturbance removal and the pseudo image 60 (not shown) and moves thepseudo needle 61 to estimate the instruction value (step S6). Specifically, thepseudo needle 61 is moved in the left-right direction, the amount of movement when the overlapping area of thepseudo needle 61 and the indicator 51' becomes the largest is determined, and the position corresponding to the amount of movement is determined as the needle position. Read the indicated value. In this case, the moving distance in the left-right direction becomes the moving amount. Further, as explained in FIG. 5, the signal strength of the degree of overlap may be calculated by giving a large weight to the tip portions of the indicating portion 51' and thepseudo needle 61. By applying the same processing as that explained in FIG. 7, the indicated value can be read from the vertical analog measuring instrument illustrated in FIG. Settingvalues 1 to 4 can be read from the switch. Furthermore, regarding the knob-type switch illustrated in FIG. 3(b) and the dial-type switch illustrated in FIG. Values (low, medium and high, brightness and darkness) can be read. Thepseudo needle 61 may be moved in a sweep manner (moved continuously) or in steps (moved discretely) depending on the set resolution. For example, in the case of the switch shown in FIG. 3(b), the indicatedvalue estimating unit 14 moves thepseudo needle 61 in three steps of low, medium, and high, calculates the signal strength indicating the degree of overlap at each position, and calculates the signal intensity indicating the degree of overlap at each position. The amount of movement when the signal strength is maximum may be specified. The same applies to the sliding switch shown in FIG. 3(c).

（適用例２）
次に図８を参照して、指示器１がレバー式のスイッチ（トグルスイッチ）の場合の設定値の推定処理について説明する。図８（ａ）に斜め方向からトグルスイッチを撮影した撮影画像の一例を示す。撮影画像５０には、６個のトグルスイッチ（指示部５１）が写っている。図８（ａ）に例示する撮影画像５０を模擬した疑似画像を用意する。そして、指示値推定部１４は、疑似画像における疑似トグルスイッチ（疑似針６１に相当）の根元を固定したまま先端を移動させ、図８（ａ）の撮影画像５０と重畳させ、疑似トグルスイッチと指示部５１の重なり具合を評価して、各スイッチがＯＮを指示しているか、ＯＦＦを指示しているのかを推定する。(Application example 2)
Next, with reference to FIG. 8, a setting value estimation process when theindicator 1 is a lever type switch (toggle switch) will be described. FIG. 8(a) shows an example of a photographed image of a toggle switch taken from an oblique direction. The photographedimage 50 shows six toggle switches (instruction units 51). A pseudo image simulating the photographedimage 50 illustrated in FIG. 8(a) is prepared. Then, the instructionvalue estimating unit 14 moves the tip of the pseudo toggle switch (corresponding to the pseudo needle 61) in the pseudo image while keeping the base fixed, and superimposes it on the photographedimage 50 of FIG. 8(a). The degree of overlapping of theinstruction sections 51 is evaluated to estimate whether each switch is instructing ON or OFF.

図８（ｂ）に正面からトグルスイッチを撮影した撮影画像の一例を示す。この場合も同様にして、図８（ｂ）に例示する撮影画像５０を模擬した疑似画像を用意する。そして、指示値推定部１４は、疑似画像における疑似トグルスイッチを上下方向に移動させ、図８（ｂ）の撮影画像５０と重畳させ、疑似トグルスイッチと指示部５１の重なり具合を評価して、各スイッチがＯＮを指示しているか、ＯＦＦを指示しているのかを推定する。 FIG. 8(b) shows an example of a captured image of a toggle switch taken from the front. In this case as well, a pseudo image simulating the photographedimage 50 illustrated in FIG. 8(b) is prepared. Then, the instructionvalue estimating unit 14 moves the pseudo toggle switch in the pseudo image in the vertical direction, superimposes it on the capturedimage 50 of FIG. 8(b), evaluates the degree of overlap between the pseudo toggle switch and theinstruction unit 51, It is estimated whether each switch is instructing ON or OFF.

（従来方法との比較）
次に本実施形態との比較のため従来の読み取り方法の一例について説明する。この従来方法では以下のような処理を行う。まず、図９に例示するように指示器１の指示部２をｍｉｎ～ｍａｘの範囲で１°毎移動させつつ撮影した数百枚の画像を用意する。さらにそれぞれの画像に対して、影、ハレーションなどが発生した画像を用意する。そしてこれらの画像を用いて深層学習を行い、ＣＮＮモデルを構築する。評価対象の撮影画像をＣＮＮモデルにより評価すると、評価対象の撮影画像に最も近い画像が選択される。選択された画像における指示針の位置から指示値を推定する。(Comparison with conventional method)
Next, an example of a conventional reading method will be described for comparison with this embodiment. This conventional method performs the following processing. First, as illustrated in FIG. 9, several hundred images are prepared, which are taken while moving theindicator 2 of theindicator 1 in 1° increments within the range of min to max. Furthermore, for each image, an image in which shadows, halation, etc. have occurred is prepared. Deep learning is then performed using these images to construct a CNN model. When the photographed image to be evaluated is evaluated using the CNN model, the image closest to the photographed image to be evaluated is selected. The instruction value is estimated from the position of the indicator needle in the selected image.

この従来方法の場合、精度向上のためには膨大な学習用の画像が必要である。例えば、事前に用意する画像の移動間隔の１°が分解能となるが、この分解能では精度が不十分な場合、例えば０．１°単位で指示部２を動かしながら撮影した画像が必要になる等、処理コストが膨大になる。また、指示針の位置が一致する画像が選択できない場合、尤度が低下する。これに比べ、本実施形態では、画像処理によって疑似針６１を移動させるので、高い分解能であっても自由に設定することができ、分解能にかかわらず、比較的軽い負荷の処理で指示値を推定することができる。また、事前に多数の画像（教示データ）を用意する必要が無く、それらの画像を学習する処理が不要である。また、教示データに依存しない為、精度や尤度が低下することが無い。 In the case of this conventional method, a huge number of training images are required to improve accuracy. For example, the resolution is 1°, which is the movement interval of images prepared in advance, but if this resolution is insufficiently accurate, for example, images taken while moving theindicator 2 in 0.1° increments may be required. , the processing cost becomes enormous. Furthermore, if an image in which the pointer position matches cannot be selected, the likelihood decreases. In contrast, in this embodiment, thepseudo needle 61 is moved by image processing, so it can be set freely even at high resolution, and the indicated value can be estimated with relatively light processing load regardless of the resolution. can do. Furthermore, there is no need to prepare a large number of images (teaching data) in advance, and there is no need for processing to learn those images. Furthermore, since it does not depend on teaching data, accuracy and likelihood do not decrease.

また、読み取り精度向上のためには、外乱除去を確実に行う必要があるが、従来方法の場合、外乱除去の精度向上のためには、画像中の影やハレーションに関係する光源位置等を考慮した複数パターンの画像を準備し学習させる必要がある。つまり、指示部２の位置のパターンを数多く用意するだけではなく、さらに光源位置のパターンとの組み合わせの数だけの画像が必要であり、さらに膨大な教示データが必要である。これに比べ、本実施形態では、外乱除去と指示値推定を分離し、外乱除去には、ＤｎＣＮＮを利用する為、ＤｎＣＮＮを学習させるための画像は必要になるものの、指示針位置のパターンと外乱のパターンを組み合わせた数の教示データを用意したり、学習したりといった処理は不要となり、大幅に処理コストを低減することができる。また、従来方法の場合、カメラ５の設置後、実際に撮影された撮影画像から教示データを生成し、学習を行わなければ、実環境に応じたノイズを十分に除去できない可能性があり、充分な精度で指示値を読み取ることができるようになるまで時間を要す可能性がある。これに対し、本実施形態では、ＤｎＣＮＮを利用することで、事前の学習だけでも様々な実環境で生じるノイズの多くを除去する汎用的な深層学習モデルを構築することができるので、精度の確保が容易であり、実運用開始後に深層学習モデルを再構築するような手間を省くことができる。 In addition, in order to improve reading accuracy, it is necessary to reliably remove disturbances, but in the case of conventional methods, in order to improve the accuracy of disturbance removal, consideration must be given to the position of the light source related to shadows and halation in the image. It is necessary to prepare and train images of multiple patterns. In other words, it is necessary not only to prepare a large number of patterns for the position of theinstruction section 2, but also to have as many images as the number of combinations with the patterns for the light source position, and furthermore, a huge amount of teaching data is required. In contrast, in this embodiment, disturbance removal and indication value estimation are separated, and DnCNN is used for disturbance removal, so although images are required for training DnCNN, the pattern of the indicator needle position and the disturbance Processing such as preparing and learning teaching data for the number of combinations of patterns is no longer necessary, and processing costs can be significantly reduced. In addition, in the case of the conventional method, if the teaching data is not generated and learned from the images actually taken after thecamera 5 is installed, it may not be possible to sufficiently remove noise according to the actual environment. It may take some time to be able to read the indicated value with sufficient accuracy. In contrast, in this embodiment, by using DnCNN, it is possible to construct a general-purpose deep learning model that removes most of the noise that occurs in various real environments with just prior learning, ensuring accuracy. It is easy to do this, and the effort of rebuilding the deep learning model after starting actual operation can be saved.

（効果）
以上、説明したように、本実施形態によれば、現場でのみ確認可能なアナログ計測器類やスイッチなど指示器１が表示する指示値（測定値や設定値）の読み取りを精度よく行うことができる。また、指示値の読み取りのために教示データの用意、学習を行う必要が無く、比較的低い処理負荷で読み取りを実行することができる。また、分解能を細かくすることにより、読み取り精度を向上することができるので、（学習などを行う必要が無く）速やかに読み取り精度を向上することができる。また、分解能は、ユーザが、分解能の設定を行うだけで変更が可能である。(effect)
As described above, according to the present embodiment, it is possible to accurately read the indicated values (measured values and set values) displayed by theindicator 1 such as analog measuring instruments and switches that can only be confirmed on site. can. Further, there is no need to prepare teaching data or perform learning in order to read the instruction value, and reading can be performed with a relatively low processing load. In addition, since the reading accuracy can be improved by making the resolution finer, the reading accuracy can be quickly improved (without the need for learning or the like). Further, the resolution can be changed by the user simply by setting the resolution.

また、読取装置１０によれば、推定した指示値を端末装置２０や他システム３０へ送信することができる。指示値（デジタルデータ）のデータサイズは小さいため、通信上の制約も少なく、原子力プラントのような通信量に対して制限を設けるプラントを含む、多くのプラント、工場、施設などに適用することができる。これにより、例えば、現場の作業員が指示器１の指示値の確認を目視で行っているような作業を自動化し、業務効率を向上することができる。 Further, according to thereading device 10, the estimated instruction value can be transmitted to theterminal device 20 andother systems 30. Since the data size of the indicated value (digital data) is small, there are few communication restrictions, and it can be applied to many plants, factories, facilities, etc., including plants that have restrictions on communication volume, such as nuclear plants. can. As a result, it is possible to automate, for example, a work in which an on-site worker visually checks the indicated value of theindicator 1, thereby improving work efficiency.

図１０は、実施形態に係る読取装置のハードウェア構成の一例を示す図である。
コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、入出力インタフェース９０４、通信インタフェース９０５を備える。
上述の読取装置１０は、コンピュータ９００に実装される。そして、上述した各機能は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、記憶領域を主記憶装置９０２に確保する。また、ＣＰＵ９０１は、プログラムに従って、処理中のデータを記憶する記憶領域を補助記憶装置９０３に確保する。FIG. 10 is a diagram illustrating an example of the hardware configuration of the reading device according to the embodiment.
Thecomputer 900 includes aCPU 901, amain storage device 902, anauxiliary storage device 903, an input/output interface 904, and acommunication interface 905.
The above-describedreading device 10 is installed in acomputer 900. Each of the above-mentioned functions is stored in theauxiliary storage device 903 in the form of a program. TheCPU 901 reads the program from theauxiliary storage device 903, expands it to themain storage device 902, and executes the above processing according to the program. Further, theCPU 901 reserves a storage area in themain storage device 902 according to the program. Further, theCPU 901 secures a storage area in theauxiliary storage device 903 to store the data being processed according to the program.

なお、読取装置１０の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各機能部による処理を行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、ＣＤ、ＤＶＤ、ＵＳＢ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行しても良い。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。 Note that by recording a program for realizing all or part of the functions of thereading device 10 on a computer-readable recording medium, and having the computer system read and execute the program recorded on the recording medium, each Processing may be performed by a functional unit. The "computer system" here includes hardware such as an OS and peripheral devices. Furthermore, the term "computer system" includes the homepage providing environment (or display environment) if a WWW system is used. Furthermore, the term "computer-readable recording medium" refers to portable media such as CDs, DVDs, and USBs, and storage devices such as hard disks built into computer systems. Further, when this program is distributed to thecomputer 900 via a communication line, thecomputer 900 that received the distribution may develop the program in themain storage device 902 and execute the above processing. Further, the above program may be one for realizing a part of the above-mentioned functions, and further may be one that can realize the above-mentioned functions in combination with a program already recorded in the computer system. .

以上のとおり、本開示に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As described above, several embodiments according to the present disclosure have been described, but all these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. These embodiments and their modifications are included within the scope and gist of the invention as well as within the scope of the invention described in the claims and its equivalents.

＜付記＞
各実施形態に記載の読取方法、読取装置、読取システム及びプログラムは、例えば以下のように把握される。<Additional notes>
The reading method, reading device, reading system, and program described in each embodiment can be understood, for example, as follows.

（１）第１の態様に係る読取方法は、指示部２の位置で指示値を示す指示器１（アナログ計測器やスイッチ）を撮影した撮影画像５０を取得するステップと（Ｓ１）、前記指示器１を模擬した疑似画像６０における前記指示部の位置を移動するステップと（Ｓ４）、前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくとき（理想的には、完全に重なるとき）の前記疑似画像における前記指示部の移動量を特定するステップと（Ｓ５）、特定された前記移動量に基づいて前記機器が示す指示値を推定するステップと（Ｓ６）、を有する。
これにより、指示器の指示値を少ない処理負担で、精度よく、読み取ることができる。(1) The reading method according to the first aspect includes a step of acquiring a photographedimage 50 of the indicator 1 (analog measuring instrument or switch) that indicates an instruction value at the position of the indicator 2 (S1); a step of moving the position of the instruction section in thepseudo image 60 simulating the device 1 (S4), when the position of the instruction section in the pseudo image approaches the position of the instruction section in the photographed image (ideal); (S5); and (S6) estimating an instruction value indicated by the device based on the identified movement amount. ).
Thereby, the indicated value of the indicator can be read with high accuracy and with a small processing load.

（２）第２の態様に係る読取方法は、（１）の読取方法であって、前記撮影画像から外乱を除去するステップをさらに有する。
外乱を除去することによよって、さらに精度よく、指示値を読み取ることができる。(2) A reading method according to a second aspect is the reading method of (1), and further includes a step of removing disturbance from the photographed image.
By removing disturbances, the indicated value can be read with higher accuracy.

（３）第３の態様に係る読取方法は、（１）～（２）の読取方法であって、前記指示部の移動量を特定するステップでは、前記撮影画像における前記指示部の特徴に重み係数を大きく付与して、前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記移動量を算出する。
これにより、例えば、撮影画像が不鮮明であったり、ノイズ除去で処理しきれなかったノイズが含まれていたりして、疑似画像の疑似針と撮影画像の指示部の形状が一致せず、重なり具合の信号強度の信頼性が乏しい場合でも、特徴的な部分の重み付けを大きくして信号強度を算出することにより、疑似画像の疑似針と撮影画像の指示部が最も近づく位置を精度よく検出し、高精度な指示値の読み取りを行うことができる。(3) A reading method according to a third aspect is the reading method of (1) to (2), in which, in the step of specifying the amount of movement of the instruction section, a feature of the instruction section in the photographed image is weighted. A large coefficient is assigned to calculate the amount of movement when the position of the instruction section in the pseudo image approaches the position of the instruction section in the photographed image most.
As a result, for example, the captured image may be unclear or contain noise that could not be completely processed by noise removal, and the shape of the pseudo needle in the pseudo image and the indicator in the captured image may not match, resulting in an increase in the degree of overlap. Even if the reliability of the signal strength is low, by calculating the signal strength by increasing the weighting of the characteristic parts, it is possible to accurately detect the position where the pseudo needle in the pseudo image and the indicator in the photographed image are closest. Highly accurate reading of indicated values is possible.

（４）第４の態様に係る読取方法は、（１）～（３）の読取方法であって、前記移動に関し、単位移動量が変更可能である。
設定により、単位移動量（分解能）を変更することができることにより、細かな単位移動量（分解能）を設定することで、例えば、細かな分解能を適用して撮影した指示器の画像を多数用意して学習するような時間や手間を要せず、画像処理における単位移動量の変更だけで読取精度を向上することができる。(4) The reading method according to the fourth aspect is the reading method of (1) to (3), in which the unit movement amount can be changed regarding the movement.
The unit movement amount (resolution) can be changed by setting, so by setting a fine unit movement amount (resolution), for example, you can prepare a large number of images of the indicator taken with fine resolution applied. It is possible to improve reading accuracy simply by changing the unit movement amount in image processing, without requiring the time and effort of learning.

（５）第５の態様に係る読取方法は、（１）～（４）の読取方法であって、前記移動の開始位置を所定の基準値（例えば、計測値が４５～５０℃の範囲に収まることが分かっている場合の移動開始位置４５℃、４７℃、５０℃など）にする。
指示値のおおよその値が分かっている場合、移動の開始位置を基準値とすることで、移動の範囲を限定することができ、処理コストを低減することができる。(5) The reading method according to the fifth aspect is the reading method of (1) to (4), in which the start position of the movement is set to a predetermined reference value (for example, when the measured value is in the range of 45 to 50 degrees Celsius). If you know that the temperature will fit within the range, set the movement start position to 45°C, 47°C, 50°C, etc.).
When the approximate value of the instruction value is known, by using the start position of movement as the reference value, the range of movement can be limited and processing costs can be reduced.

（６）第６の態様に係る読取方法は、（１）～（５）の読取方法であって、前記移動の開始位置、移動方向および移動範囲の何れかを設定できる。
指示値の特性に応じて、前記移動の開始位置、移動方向および移動範囲の何れかを設定することにより、処理を効率化することができる。(6) The reading method according to the sixth aspect is the reading method of (1) to (5), in which any one of the movement start position, movement direction, and movement range can be set.
Processing can be made more efficient by setting any of the movement start position, movement direction, and movement range according to the characteristics of the instruction value.

（７）第７の態様に係る読取方法は、（１）～（６）の読取方法であって、前記指示部は指示針、前記指示器は、前記指示針の位置で計測値を指示する計測器（図２（ａ）～図２（ｃ）に例示する計測器）であって、前記推定するステップでは、特定された前記指示針の移動量に基づいて前記計測値を推定する。
これにより、計測器が設けられた現場へ赴かなければ確認できない計測値を、撮影画像を取得することにより、遠隔でも確認することができる。(7) A reading method according to a seventh aspect is the reading method of (1) to (6), wherein the indicating section is an indicator needle, and the indicator indicates a measured value at the position of the indicator needle. In the measuring device (the measuring device illustrated in FIGS. 2(a) to 2(c)), in the estimating step, the measured value is estimated based on the specified movement amount of the indicator needle.
As a result, measurement values that cannot be confirmed without going to the site where the measuring device is installed can be confirmed remotely by acquiring captured images.

（８）第８の態様に係る読取方法は、（１）～（７）の読取方法であって、前記指示器がスイッチ、前記指示部は前記スイッチの操作部であって、前記推定するステップでは、特定された前記操作部の移動量に基づいて前記スイッチにおける設定値を推定する。
これにより、スイッチが設けられた現場へ赴かなければ確認できないスイッチの設定値を、撮影画像を取得することにより、遠隔でも確認することができる。(8) A reading method according to an eighth aspect is the reading method of (1) to (7), wherein the indicator is a switch, the indicator is an operating part of the switch, and the estimating step is Then, the set value of the switch is estimated based on the specified movement amount of the operating section.
As a result, the switch setting values, which cannot be confirmed without going to the site where the switch is installed, can be confirmed remotely by acquiring a photographed image.

（９）第９の態様に係る読取装置１０は、指示部の位置で指示値を示す指示器を撮影した撮影画像を取得する手段と、前記指示器を模擬した疑似画像における前記指示部の位置を移動する手段と、前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記疑似画像における前記指示部の移動量を特定する手段と、特定された前記移動量に基づいて前記指示器が示す指示値を推定する手段とを備える。(9) Thereading device 10 according to the ninth aspect includes means for acquiring a photographed image of an indicator indicating an indication value at the position of the indicator, and a position of the indicator in a pseudo image simulating the indicator. and means for specifying the amount of movement of the instruction section in the pseudo image when the position of the instruction section in the pseudo image approaches the position of the instruction section in the photographed image. and means for estimating an instruction value indicated by the indicator based on the movement amount.

（１０）第１０の態様に係る読取システム（指示値取得システム１００）は、指示部の位置で指示値を示す指示器と、前記指示器を撮影するカメラと、前記指示値を送信する手段をさらに備える（９）に記載の読取装置と、を備える。
これにより、非接触にて、指示値を読み取り、他の装置へ送信することができる。非接触により指示値を読み取ることができるため、例えば、カメラ５および読取装置１０（読取装置１０をカメラ５から離れた場所に設置する場合、カメラ５だけでもよい。）の設置だけでプラント等への工事を行うことなく、遠隔に居ながら指示値を取得することができる。(10) The reading system (instruction value acquisition system 100) according to the tenth aspect includes an indicator that indicates an indicator value at the position of the indicator, a camera that photographs the indicator, and means for transmitting the indicator value. Furthermore, the reading device according to (9) is provided.
Thereby, the instruction value can be read and transmitted to other devices without contact. Since the indicated value can be read without contact, for example, it is possible to go to a plant, etc. by simply installing thecamera 5 and the reading device 10 (if thereading device 10 is installed at a location away from thecamera 5, only thecamera 5 is required). It is possible to obtain indicated values from a remote location without having to perform any construction work.

（１１）第１１の態様に係るプログラムは、コンピュータに、指示部の位置で指示値を示す指示器を撮影した撮影画像を取得するステップと、前記指示器を模擬した疑似画像における前記指示部の位置を移動するステップと、前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記疑似画像における前記指示部の移動量を特定するステップと、特定された前記移動量に基づいて前記指示器が示す指示値を推定するステップと、を実行させる。(11) The program according to the eleventh aspect includes the steps of: acquiring a photographed image of an indicator showing an indication value at a position of the indicator; a step of moving the position, and a step of specifying the amount of movement of the instruction part in the pseudo image when the position of the instruction part in the pseudo image approaches the position of the instruction part in the captured image; estimating an instruction value indicated by the indicator based on the movement amount determined by the indicator.

１・・・指示器
５・・・カメラ
１０・・・読取装置
１１・・・画像取得部
１２・・・画像処理部
１３・・・外乱除去部
１４・・・指示値推定部
１５・・・深層学習部
１６・・・設定受付部
１７・・・記憶部
１８・・・通信部
２０・・・端末装置
２０ａ・・・ＰＣ（personal computer）
２０ｂ・・・携帯端末
３０・・・他システム
１００・・・指示値取得システム
９００・・・コンピュータ
９０１・・・ＣＰＵ
９０２・・・主記憶装置
９０３・・・補助記憶装置
９０４・・・入出力インタフェース
９０５・・・通信インタフェース1...Indicator 5...Camera 10...Reading device 11...Image acquisition section 12...Image processing section 13...Disturbance removal section 14...Indicationvalue estimation section 15...Deep learning section 16...settingreception section 17...storage section 18...communication section 20...terminal device 20a...PC (personal computer)
20b...Mobile terminal 30...Other systems 100...Indicationvalue acquisition system 900...Computer 901...CPU
902...Main storage device 903...Auxiliary storage device 904... Input/output interface 905... Communication interface

Claims (11)

Translated fromJapanese

指示部の位置で指示値を示す指示器を撮影した撮影画像を取得するステップと、
前記指示器を模擬した疑似画像における前記指示部の位置を移動するステップと、
前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記疑似画像における前記指示部の移動量を特定するステップと、
特定された前記移動量に基づいて前記指示器が示す指示値を推定するステップと、
を有する読取方法。acquiring a photographed image of the indicator indicating the indicated value at the position of the indicator;
moving the position of the indicator in a pseudo image simulating the indicator;
specifying the amount of movement of the instruction section in the pseudo image when the position of the instruction section in the pseudo image approaches the position of the instruction section in the photographed image;
estimating an instruction value indicated by the indicator based on the specified movement amount;
A reading method having 前記撮影画像から外乱を除去するステップをさらに有する、
請求項１に記載の読取方法。further comprising the step of removing disturbances from the captured image;
The reading method according to claim 1. 前記指示部の移動量を特定するステップでは、前記撮影画像における前記指示部の特徴に重み係数を大きく付与して、前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記移動量を算出する、
請求項１又は請求項２に記載の読取方法。In the step of specifying the amount of movement of the instruction section, a large weighting coefficient is assigned to the feature of the instruction section in the captured image, so that the position of the instruction section in the pseudo image is adjusted to the position of the instruction section in the captured image. calculating the amount of movement when closest to
The reading method according to claim 1 or claim 2. 前記移動に関し、単位移動量が変更可能である、
請求項１又は請求項２に記載の読取方法。Regarding the movement, the unit movement amount can be changed;
The reading method according to claim 1 or claim 2. 前記移動の開始位置を所定の基準値にする、
請求項１又は請求項２に記載の読取方法。setting the start position of the movement to a predetermined reference value;
The reading method according to claim 1 or claim 2. 前記移動の開始位置、移動方向および移動範囲の何れかを設定できる、
請求項１又は請求項２に記載の読取方法。Any one of the start position, movement direction, and movement range of the movement can be set;
The reading method according to claim 1 or claim 2. 前記指示部は指示針、前記指示器は、前記指示針の位置で計測値を指示する計測器であって、
前記推定するステップでは、特定された前記指示針の移動量に基づいて前記計測値を推定する、
請求項１又は請求項２に記載の読取方法。The indicator unit is an indicator needle, and the indicator is a measuring device that indicates a measurement value at the position of the indicator needle,
In the estimating step, the measured value is estimated based on the specified movement amount of the indicator needle.
The reading method according to claim 1 or claim 2. 前記指示器がスイッチ、前記指示部は前記スイッチの操作部であって、
前記推定するステップでは、特定された前記操作部の移動量に基づいて前記スイッチにおける設定値を推定する、
請求項１又は請求項２に記載の読取方法。The indicator is a switch, the indicator is an operating part of the switch,
In the estimating step, a setting value of the switch is estimated based on the specified movement amount of the operating unit.
The reading method according to claim 1 or claim 2. 指示部の位置で指示値を示す指示器を撮影した撮影画像を取得する手段と、
前記指示器を模擬した疑似画像における前記指示部の位置を移動する手段と、
前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記疑似画像における前記指示部の移動量を特定する手段と、
特定された前記移動量に基づいて前記指示器が示す指示値を推定する手段と、
を備える読取装置。means for acquiring a photographed image of the indicator indicating the indicated value at the position of the indicator;
means for moving the position of the indicator in a pseudo image simulating the indicator;
means for specifying the amount of movement of the instruction section in the pseudo image when the position of the instruction section in the pseudo image approaches the position of the instruction section in the photographed image;
means for estimating an indication value indicated by the indicator based on the specified movement amount;
A reading device comprising: 指示部の位置で指示値を示す指示器と
前記指示器を撮影するカメラと、
前記指示値を送信する手段をさらに備える請求項９に記載の読取装置と、
を備える読取システム。an indicator that indicates a command value at the position of the indicator; a camera that photographs the indicator;
The reading device according to claim 9, further comprising means for transmitting the instruction value.
A reading system equipped with コンピュータに、
指示部の位置で指示値を示す指示器を撮影した撮影画像を取得するステップと、
前記指示器を模擬した疑似画像における前記指示部の位置を移動するステップと、
前記疑似画像における前記指示部の位置が、前記撮影画像における前記指示部の位置に最も近づくときの前記疑似画像における前記指示部の移動量を特定するステップと、
特定された前記移動量に基づいて前記指示器が示す指示値を推定するステップと、
を実行させるプログラム。to the computer,
acquiring a photographed image of the indicator indicating the indicated value at the position of the indicator;
moving the position of the indicator in a pseudo image simulating the indicator;
specifying the amount of movement of the instruction section in the pseudo image when the position of the instruction section in the pseudo image approaches the position of the instruction section in the photographed image;
estimating an instruction value indicated by the indicator based on the specified movement amount;
A program to run.

Images