JP7652526B2 - IMAGE PROCESSING APPARATUS, TRAINED MODEL, IMAGE PROCESSING METHOD, AND PROGRAM - Google Patents
IMAGE PROCESSING APPARATUS, TRAINED MODEL, IMAGE PROCESSING METHOD, AND PROGRAMDownload PDFInfo
- Publication number
- JP7652526B2 JP7652526B2JP2018191936AJP2018191936AJP7652526B2JP 7652526 B2JP7652526 B2JP 7652526B2JP 2018191936 AJP2018191936 AJP 2018191936AJP 2018191936 AJP2018191936 AJP 2018191936AJP 7652526 B2JP7652526 B2JP 7652526B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- data
- eye
- subject
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
Description
Translated fromJapanese本発明は、画像処理装置、学習済モデル、画像処理方法およびプログラムに関する。The present invention relates to an image processing device, a trained model, an image processing method, and a program.
光干渉断層計（ＯＣＴ；Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）を用いた装置（ＯＣＴ装置）等の眼部の断層画像撮影装置は、網膜層内部の状態を三次元的に観察することが可能である。この断層画像撮影装置は、疾病の診断をより的確に行うのに有用であることから近年注目を集めている。Tomographic imaging devices for the eye, such as devices using optical coherence tomography (OCT devices), are capable of observing the state of the inside of the retina in three dimensions. These tomographic imaging devices have been attracting attention in recent years because they are useful for more accurate diagnosis of diseases.
ＯＣＴの形態として、例えば、広帯域な光源とマイケルソン干渉計を組み合わせたＴＤ－ＯＣＴ（Ｔｉｍｅ ｄｏｍａｉｎ ＯＣＴ）がある。これは、参照アームの遅延を走査することで、信号アームの後方散乱光との干渉光を計測し、深さ方向の情報を得るように構成されている。しかし、このようなＴＤ－ＯＣＴでは高速な画像取得は難しい。One form of OCT is TD-OCT (Time Domain OCT), which combines a broadband light source with a Michelson interferometer. This is configured to obtain information in the depth direction by scanning the delay of the reference arm to measure the interference light with the backscattered light of the signal arm. However, it is difficult to obtain images at high speed with this type of TD-OCT.
これに対し、より高速に画像を取得する方法として、広帯域光源を用い、分光器でインターフェログラムを取得する手法によるＳＤ－ＯＣＴ（Ｓｐｅｃｔｒａｌ ｄｏｍａｉｎ ＯＣＴ）が知られている。また、光源として、高速波長掃引光源を用い、単一チャネル光検出器でスペクトル干渉を計測する手法によるＳＳ－ＯＣＴ（Ｓｗｅｐｔ Ｓｏｕｒｃｅ ＯＣＴ）が知られている。In response to this, a method for acquiring images at higher speeds is known called SD-OCT (Spectral domain OCT), which uses a broadband light source and acquires an interferogram with a spectrometer. Also known is SS-OCT (Swept Source OCT), which uses a high-speed wavelength swept light source as the light source and measures the spectral interference with a single channel photodetector.
ＯＣＴで撮影された断層画像を用い、神経線維層の厚みを計測することで、緑内障等の疾病の進行度や治療後の回復具合を定量的に診断することができる。眼底の断層画像より得られた膜厚等の解析値の時系列グラフを作成する眼科解析装置が、特許文献１に開示されている。この眼科解析装置では、時系列グラフから得た回帰直線から将来的な解析値を予測している。By using tomographic images taken by OCT to measure the thickness of the nerve fiber layer, it is possible to quantitatively diagnose the progression of diseases such as glaucoma and the state of recovery after treatment.
しかしながら、眼に生じる病変や異常の態様によっては、眼には単一の特徴ではなく複合的な特徴が表れることがあり、特定の解析値からの予測では十分な診断補助を果たし得ない可能性がある。However, depending on the type of lesion or abnormality that occurs in the eye, the eye may display a combination of characteristics rather than a single characteristic, and predictions based on specific analytical values may not be sufficient to aid in diagnosis.
本発明の目的の一つは、上記課題に鑑みてなされたものであり、検者による眼の診断を補助する際に、従来よりも適した情報を提供する。One of the objectives of the present invention is to provide more suitable information than ever before when assisting examiners in eye diagnosis.
上記の目的を達成するための、本発明の一態様による画像処理装置は、
被検眼の複数種類の解析値を含む断層に関し、撮影部位を含む撮影条件が関連付けられているデータであって、第一の時間に関連付いた前記被検眼の第一の断層に関するデータと、前記第一の時間より後の第二の時間に関連付いた前記被検眼の第二の断層に関するデータと、を取得する取得手段と、
被検眼の断層に関するデータを取得するための複数の撮影条件のそれぞれに対応する学習済モデルのうち、前記複数の撮影条件の少なくとも前記撮影部位が同じである前記取得された第一の断層に関するデータおよび前記取得された第二の断層に関するデータの撮影条件に対応する学習済モデルを選択する選択手段と、
前記選択された学習済モデルを用いて、前記取得された第一の断層に関するデータと前記取得された第二の断層に関するデータとから、前記第二の時間より後の第三の時間における前記被検眼の複数種類の解析値の少なくとも一つを生成する生成手段と、
を備えることを特徴とする。 In order to achieve the above object, an image processing device according to one aspect of the present invention comprises:
an acquisition means for acquiring datarelating to a slice including a plurality of types of analysis values of a subject's eye and associated with imaging conditions including an imaging site , the data including a first slice of the subject's eye associated with a first time and a second slice of the subject's eye associated with a second time after the first time;
A selection means for selecting a trained model corresponding to animaging conditionof the acquired first tomographic data and the acquired second tomographic data,in which at least the imaging site of the plurality of imaging conditions is the same , from among trained models corresponding to each of a plurality ofimaging conditions for acquiring data on a tomographic section of the subject's eye;
A generation means for generating at least one of a plurality of types of analysis values of the subject's eye at a third time after the second time from the acquired data on the first cross-section and the acquired data on the second cross-section by using the selected trained model;
The present invention is characterized by comprising:
本発明の一つによれば、検者による眼の診断を補助する際に、従来よりも適した情報を提供することができる。One aspect of the present invention is that it is possible to provide more appropriate information than ever before when assisting examiners in eye diagnosis.
以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、および構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。Below, exemplary embodiments for carrying out the present invention will be described in detail with reference to the drawings. However, the dimensions, materials, shapes, and relative positions of components described in the following embodiments are arbitrary and can be changed according to the configuration of the device to which the present invention is applied or various conditions. In addition, the same reference numerals are used between the drawings to indicate elements that are identical or functionally similar.
（実施例１）
以下、図１乃至７を参照して、本発明の実施例１に係る、被検眼の診断補助となる情報を提示する画像処理システムについて説明する。本実施例では、機械学習モデルに関する学習済モデルを用いて、対象となる被検眼の将来的な解析値を生成する。具体的には、被検眼の断層画像から得られた複数種類の解析値を用いた学習により得た学習済モデルを用いて、将来の解析値を予測し、その結果を提示する。Example 1
Hereinafter, an image processing system for presenting information that aids in diagnosis of a subject's eye according to a first embodiment of the present invention will be described with reference to Figs. 1 to 7. In this embodiment, a trained model related to a machine learning model is used to generate a future analysis value of the subject's eye. Specifically, a trained model obtained by learning using multiple types of analysis values obtained from a tomographic image of the subject's eye is used to predict a future analysis value and present the result.
ここで、機械学習モデルとは、ディープラーニング等の機械学習アルゴリズムによる学習モデルをいう。また、学習済モデルとは、任意の機械学習アルゴリズムによる機械学習モデルに対して、事前に適切な学習データを用いてトレーニングすることで得られた（学習を行った）モデルである。ただし、学習済モデルは事前に適切な学習データを用いて得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできる。Here, a machine learning model refers to a learning model based on a machine learning algorithm such as deep learning. Also, a trained model is a model that has been obtained (learned) by training a machine learning model based on an arbitrary machine learning algorithm using appropriate learning data in advance. However, although a trained model has been obtained in advance using appropriate learning data, this does not mean that no further learning is performed, and additional learning can also be performed.
図１は、本実施に係る画像処理装置３００を備える画像処理システム１の概略的な構成の一例を示す。図１に示すように、画像処理システム１には、断層画像撮影装置の一例としてのＯＣＴ装置（以下ＯＣＴ装置２００）、画像処理装置３００、眼底画像撮影装置４００、外部記憶装置５００、表示部６００、および入力部７００が設けられている。Figure 1 shows an example of a schematic configuration of an
ＯＣＴ装置２００は、被検眼の断層画像を撮影する装置として用いられる。ＯＣＴ装置としては、任意の種類のものを用いることができ、例えばＳＤ－ＯＣＴやＳＳ－ＯＣＴを用いることができる。The
画像処理装置３００は、インタフェースを介してＯＣＴ装置２００、眼底画像撮影装置４００、外部記憶装置５００、表示部６００、および入力部７００と接続されており、これらを制御することができる。画像処理装置３００は、ＯＣＴ装置２００、眼底画像撮影装置４００、および外部記憶装置５００から取得する各種信号に基づいて、被検眼の断層画像やＥｎ－Ｆａｃｅ画像（正面画像）等の各種画像を生成することができる。また、画像処理装置３００は、これら画像について画像処理を施すことができる。なお、画像処理装置３００は、汎用のコンピュータによって構成されてもよいし、画像処理システム１専用のコンピュータによって構成されてもよい。The
眼底画像撮影装置４００は、被検眼の眼底画像を撮影するための装置であり、当該装置としては、例えば、眼底カメラやＳＬＯ（Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｏｔｈａｌｍｏｓｃｏｐｅ）等を用いることができる。なお、ＯＣＴ装置２００と眼底画像撮影装置４００の装置構成は、一体型でもよいし別体型でもよい。The fundus image capturing
外部記憶装置５００は、被検眼に関する情報（患者の氏名、年齢、性別等）と、撮影した各種画像データ、撮影パラメータ、画像解析パラメータ、およびユーザによって設定されたパラメータをそれぞれ関連付けて保持している。外部記憶装置５００は、任意の記憶装置によって構成されてよく、例えば、光学ディスクやメモリ等の記憶媒体によって構成されてよい。The
表示部６００は、任意のディスプレイによって構成され、画像処理装置３００による制御に従い、被検眼に関する情報や各種画像を表示することができる。The
入力部７００は、例えば、マウス、キーボード、又はタッチ操作画面などで構成される。ユーザは、入力部７００を介して、画像処理装置３００やＯＣＴ装置２００、眼底画像撮影装置４００への指示を画像処理装置３００に入力することができる。なお、入力部７００をタッチ操作画面とする場合には、入力部７００を表示部６００と一体として構成することができる。The
なお、これら構成要素は、図１では別体として示されているが、これら構成要素の一部又は全部を一体として構成してもよい。Although these components are shown as separate entities in FIG. 1, some or all of these components may be configured as an integrated unit.
次にＯＣＴ装置２００について説明する。ＯＣＴ装置２００には、ガルバノミラー２０１、駆動制御部２０２、フォーカスレンズステージ２０３、内部固視灯２０４、コヒーレンスゲートステージ２０５、光源２０６、およびディテクタ２０７が設けられている。なお、ＯＣＴ装置２００は既知の装置であるため詳細な説明は省略し、ここでは、画像処理装置３００からの指示により行われる断層画像の撮影について説明を行う。Next, the
画像処理装置３００から撮影の指示が伝えられると、光源２０６が光を出射する。光源２０６からの光は不図示の分割部を用いて測定光と参照光に分割される。ＯＣＴ装置２００では、測定光を被検眼に照射し、被検体からの戻り光と、参照光との干渉光を検出することで、被検眼の断層情報を含む干渉信号を生成することができる。When an instruction to capture an image is transmitted from the
ガルバノミラー２０１は、測定光を被検眼の眼底において走査するために用いられ、ガルバノミラー２０１による測定光の走査範囲により、断層画像撮影時の眼底の撮影範囲を規定することができる。画像処理装置３００は、ガルバノミラー２０１の駆動範囲および速度を制御することで、眼底における平面方向の撮影範囲および走査線数（平面方向の走査速度）を規定することができる。図１では、説明を簡略化するため、ガルバノミラー２０１を１つのユニットとして示したが、ガルバノミラー２０１は、実際にはＸスキャン用のミラーとＹスキャン用の２枚のミラーで構成され、眼底上における所望の範囲を測定光で走査できる。なお、測定光を走査するための走査部の構成はガルバノミラーに限られず、他の任意の偏向ミラーを用いることができる。また、走査部として、例えば、ＭＥＭＳミラー等の１枚で二次元方向に測定光を走査することができる偏向ミラーを用いてもよい。The
フォーカスレンズステージ２０３には不図示のフォーカスレンズが設けられている。フォーカスレンズステージ２０３を移動させることで、フォーカスレンズを測定光の光軸に沿って移動させることができる。このため、フォーカスレンズによって、被検眼の前眼部を介し、眼底の網膜層に測定光をフォーカスすることができる。眼底を照射した測定光は各網膜層で反射・散乱して戻り光として、光路を戻る。The
コヒーレンスゲートステージ２０５は、被検眼の眼軸長の相違等に対応するため、参照光又は測定光の光路の長さを調整するために用いられる。本実施例では、コヒーレンスゲートステージ２０５は、ミラーが設けられたステージによって構成され、参照光の光路において光軸方向に移動することで参照光の光路長を測定光の光路長に対応させることができる。ここで、コヒーレンスゲートは、ＯＣＴにおける測定光と参照光の光学距離が等しい位置を表す。コヒーレンスゲートステージ２０５は、画像処理装置３００により制御されることができる。画像処理装置３００は、コヒーレンスゲートステージ２０５によりコヒーレンスゲートの位置を制御することによって、被検眼の深さ方向の撮影範囲を制御することができ、網膜層側の撮影、又は網膜層より深部側の撮影等を制御することができる。The
ディテクタ２０７は、不図示の干渉部において生じた、被検眼からの測定光の戻り光と参照光との干渉光を検出し、干渉信号を生成する。画像処理装置３００は、ディテクタ２０７からの干渉信号を取得し、干渉信号に対してフーリエ変換等を行うことで被検眼の断層画像を生成することができる。The
内部固視灯２０４には、表示部２４１、およびレンズ２４２が設けられている。本実施例では、表示部２４１の一例として複数の発光ダイオード（ＬＤ）がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、画像処理装置３００の制御により撮影したい部位に応じて変更される。表示部２４１からの光は、レンズ２４２を介し、被検眼に導かれる。表示部２４１から出射される光は、例えば５２０ｎｍの波長を有し、画像処理装置３００による制御により所望のパターンで表示される。The
駆動制御部２０２は、上述したガルバノミラー２０１、フォーカスレンズステージ２０３、内部固視灯２０４、コヒーレンスゲートステージ２０５、光源２０６、およびディテクタ２０７と接続される。駆動制御部２０２は、後述する指示部３０４を介した画像処理装置３００による制御に基づいて、これら各構成要素の駆動を制御する。なお、この駆動制御部２０２を設けず、画像処理装置３００が指示部３０４を用いて直接これら構成要素の駆動を制御することとしてもよい。The
次に、図２（ａ）乃至（ｃ）を参照して、画像処理システム１で取得する眼の構造と画像について説明する。図２（ａ）は眼球の模式図である。図２（ａ）には、角膜Ｃ、水晶体ＣＬ、硝子体Ｖ、黄斑部Ｍ（黄斑の中心部は中心窩を表す）、および視神経乳頭部Ｄが表されている。本実施例では、主に、硝子体Ｖ、黄斑部Ｍ、視神経乳頭部Ｄを含む網膜の後極部を撮影する場合について説明を行う。なお、以下では説明をしないが、ＯＣＴ装置２００は、角膜や水晶体等の前眼部を撮影することも可能である。Next, the structure of the eye and the images acquired by the
図２（ｂ）は、ＯＣＴ装置２００を用いて網膜を撮影することで取得した断層画像の一例を示す。図２（ｂ）において、ＡＳは一回のＡスキャンにより取得される画像単位を示す。ここで、Ａスキャンとは、ＯＣＴ装置２００の一連の動作により、被検眼の一点における深さ方向の断層情報を取得することをいう。また、Ａスキャンを任意の横断方向（主走査方向）において複数回行うことで被検眼の当該横断方向と深さ方向の二次元の断層情報を取得することをＢスキャンという。Ａスキャンによって取得されたＡスキャン画像を複数集めることで、１つのＢスキャン画像を構成することができる。以下、このＢスキャン画像のことを、断層画像と呼ぶ。Figure 2(b) shows an example of a tomographic image obtained by photographing the retina using the
図２（ｂ）には、硝子体Ｖ、黄斑部Ｍ、視神経乳頭部Ｄ、および篩状板Ｌａが表されている。また、境界線Ｌ１は内境界膜（ＩＬＭ）と神経線維層（ＮＦＬ）との境界、境界線Ｌ２は神経線維層と神経節細胞層（ＧＣＬ）との境界、境界線Ｌ３は視細胞内節外節接合部（ＩＳＯＳ）を表す。さらに、境界線Ｌ４は網膜色素上皮層（ＲＰＥ）、境界線Ｌ５はブルッフ膜（ＢＭ）、境界線Ｌ６は脈絡膜を表す。断層画像において、横軸（ＯＣＴの主走査方向）をｘ軸とし、縦軸（深さ方向）をｚ軸とする。Figure 2(b) shows the vitreous body V, macula M, optic disc D, and lamina cribrosa La. Boundary L1 represents the boundary between the internal limiting membrane (ILM) and nerve fiber layer (NFL), boundary L2 represents the boundary between the nerve fiber layer and ganglion cell layer (GCL), and boundary L3 represents the photoreceptor inner-outer segment junction (ISOS). Boundary L4 represents the retinal pigment epithelium layer (RPE), boundary L5 represents Bruch's membrane (BM), and boundary L6 represents the choroid. In the tomographic image, the horizontal axis (main scanning direction of OCT) is the x-axis, and the vertical axis (depth direction) is the z-axis.
図２（ｃ）は、眼底画像撮影装置４００を用いて被検眼の眼底を撮影することで取得した眼底画像の一例を示す。図２（ｃ）には、黄斑部Ｍ、視神経乳頭部Ｄが表されており、網膜の血管が太い曲線で表されている。眼底画像において、横軸（ＯＣＴ装置の主走査方向）をｘ軸とし、縦軸（ＯＣＴ装置の副走査方向）をｙ軸とする。Figure 2(c) shows an example of a fundus image acquired by photographing the fundus of the test eye using the fundus
次に、画像処理装置３００について説明する。画像処理装置３００には、取得部３０１、記憶部３０２、処理部３０３、指示部３０４、および表示制御部３０５が設けられている。Next, the
取得部３０１は、ＯＣＴ装置２００から被検眼の干渉信号のデータを取得することができる。なお、取得部３０１が取得する干渉信号のデータは、アナログ信号でもデジタル信号でもよい。取得部３０１がアナログ信号を取得する場合には、画像処理装置３００でアナログ信号をデジタル信号に変換することができる。また、取得部３０１は断層画像生成部３１１を有し、該断層画像生成部３１１で生成された断層データや断層画像およびＥｎ－Ｆａｃｅ画像等の各種画像を取得することができる。ここで、断層データとは、被検体の断層に関する情報を含むデータであり、ＯＣＴによる干渉信号に基づくデータ、およびこれに高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）や任意の信号処理を行ったデータを含むものをいう。The
断層画像生成部３１１は、取得部３０１で取得された干渉信号に対してフーリエ変換等の処理を施して断層データを生成し、断層データに基づいて断層画像を生成することができる。なお、断層画像の生成方法としては既知の任意の方法を採用してよく、詳細な説明は省略する。The tomographic
さらに、取得部３０１は、画像処理すべき断層画像の撮影条件群（例えば、撮影日時、撮影部位名、撮影領域、撮影画角、撮影方式、画像の解像度や階調、画像の画素サイズ、画像フィルタ、および画像のデータ形式に関する情報など）を取得する。なお、撮影条件群については、例示したものに限られない。また、撮影条件群は、例示したもの全てを含む必要はなく、これらのうちの一部を含んでもよい。Furthermore, the
また、取得部３０１は、眼底画像撮影装置４００で取得した眼底情報を含むデータ等を取得することができる。さらに、取得部３０１は、被検者識別番号等の被検眼を同定するための情報を入力部７００等から取得することができる。取得部３０１は、取得した各種データや画像を記憶部３０２に記憶させることができる。The
次に、処理部３０３について説明する。処理部３０３には、画像処理部３３１、演算処理部３２２、撮影条件取得部３３３、および選択部３３４が設けられている。Next, the
画像処理部３３１は、取得部３０１で取得されたデータや記憶部３０２に記憶されたデータから、断層画像やＥｎ－Ｆａｃｅ画像等を生成し、生成又は取得した画像から、後述する被検眼に関する複数種類の解析値を算出する。なお、複数種類の解析値は、予め算出されて記憶部３０２あるいは外部記憶装置５００に記憶されていたものを取得してもよい。The image processing unit 331 generates tomographic images, En-Face images, and the like from the data acquired by the
演算処理部３３２は、ディープラーニング等の任意の機械学習モデルに対して学習データを与えて学習させることで作成された学習済モデルを含む。具体的な学習の内容に関しては後述する。演算処理部３３２は、この学習済モデルを用いて、例えば、第一の時間に被検眼を撮影することで得た断層データと、第一の時間の後の第二の時間に被検眼を撮影することで得た断層データとから、第二の時間より後の第三の時間で撮影される断層画像を生成する。生成された断層画像に対しては、画像処理部３３１において解析処理が行われ、該断層画像における複数種類の解析値が算出される。なお、この複数種類の解析値の算出は演算処理部３３２で行ってもよく、算出ではなく学習済モデルを用いて２つの断層データから直接的に生成することとしてもよい。The arithmetic processing unit 332 includes a trained model created by providing training data to an arbitrary machine learning model such as deep learning and having it train. The specific contents of the training will be described later. Using this trained model, the arithmetic processing unit 332 generates a tomographic image captured at a third time after the second time from, for example, tomographic data obtained by photographing the subject's eye at a first time and tomographic data obtained by photographing the subject's eye at a second time after the first time. The generated tomographic image is subjected to an analysis process in the image processing unit 331, and multiple types of analytical values for the tomographic image are calculated. The calculation of the multiple types of analytical values may be performed by the arithmetic processing unit 332, or may be generated directly from two types of tomographic data using the trained model instead of calculation.
撮影条件取得部３３３は、画像処理対象となる断層画像を撮影した際の撮影条件を、記憶部３０２から取得する。なお、取得対象となる撮影条件は、断層画像撮影時に取得部３０１で取得された上述した撮影条件であってもよく、以前に撮影された断層画像と関連付けられて記憶部３０２等に記憶された撮影条件であってもよい。The imaging condition acquisition unit 333 acquires the imaging conditions when the tomographic image to be subjected to image processing was captured from the
選択部３３４は、撮影条件取得部３３３が取得した撮影条件、あるいは前述した条件に加え例えば前眼部、後眼部等の撮影部位に応じて、適当な学習済モデルを選択する。学習済モデルは撮影条件に応じて予め複数生成されて記憶部３０２に記憶されており、演算処理部３３２は撮影条件に応じて選択部３３４が選択した学習済モデルを用いて断層画像やその解析値の生成を行う。The
指示部３０４は、ＯＣＴ装置２００や眼底画像撮影装置４００の各構成要素の駆動を制御することができる。記憶部３０２は、取得部３０１で取得された断層データ、および処理部３０３で生成・処理された断層画像等の各種画像やデータ等を記憶することができる。また、記憶部３０２は、プロセッサーによって実行されることで画像処理装置３００の各構成要素の機能を果たすためのプログラム等を記憶することもできる。The
表示制御部３０５は、取得部３０１で取得された各種情報や処理部３０３で生成・処理された断層画像、およびユーザによって入力された情報等の表示部６００における表示を制御することができる。The
画像処理装置３００の記憶部３０２以外の各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ＡＳＩＣ等の特定の機能を果たす回路等によって構成されてもよい。記憶部３０２は、例えば、光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。Each component of the
次に、図３を参照して本実施例に係る一連の処理について説明する。図３は、本実施例に係る一連の処理のフローチャートである。本実施例に係る一連の処理が開始される、処理はステップＳ３０１に移行する。Next, a series of processes according to this embodiment will be described with reference to FIG. 3. FIG. 3 is a flowchart of a series of processes according to this embodiment. The series of processes according to this embodiment starts, and the process proceeds to step S301.
ステップＳ３０１では、取得部３０１が、被検眼を同定する情報の一例である被検者識別番号を、入力部７００等により画像処理装置３００の外部から取得する。取得部３０１は、被検者識別番号に基づいて、外部記憶装置５００が保持している当該被検眼に関する情報を取得して記憶部３０２に記憶する。In step S301, the
ステップＳ３０２では、駆動制御部２０２がＯＣＴ装置２００を制御して被検眼を測定光で走査することで撮影を行い、取得部３０１がＯＣＴ装置２００から被検眼の断層情報を含む干渉信号を取得する。測定光による走査は、ユーザによる走査開始の指示に応じて、指示部３０４がＯＣＴ装置２００を制御し、光源２０６やガルバノミラー２０１等を動作させることで行われる。In step S302, the
ガルバノミラー２０１は、水平方向用のＸスキャナと垂直方向用のＹスキャナを含む。駆動制御部２０２は、これらのスキャナの向きをそれぞれ変更すると、装置座標系における水平方向（Ｘ）および垂直方向（Ｙ）それぞれの方向に測定光を走査することができる。なお、駆動制御部２０２は、これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向にも測定光を走査することができる。そのため、駆動制御部２０２は、眼底平面上の任意の方向に測定光を走査することができる。The
駆動制御部２０２は、撮影を行うにあたり各種撮影パラメータの調整を行う。具体的には、駆動制御部２０２は、内部固視灯２０４で表示するパターンの位置、ガルバノミラー２０１によるスキャン範囲やスキャンパターン、コヒーレンスゲート位置、およびフォーカスレンズ位置を少なくとも設定する。The
駆動制御部２０２は、表示部２４１の発光ダイオードを制御して、例えば被検眼の黄斑部中心や視神経乳頭に撮影を行うように内部固視灯２０４で表示するパターンの位置を制御する。また、駆動制御部２０２は、ガルバノミラー２０１による走査パターンとして、三次元ボリュームを撮影するラスタスキャンや放射状スキャン、クロススキャン等の走査パターンを設定する。なお、どの走査パターンを選択したとしても、一つのライン上で走査が複数回繰り返され、複数回の（繰り返し回数は２枚以上）撮影が行われる。本実施例においては、走査パターンはクロススキャンとし、同一箇所を１５０枚繰り返し撮影する。これら撮影パラメータの調整終了後、ユーザによる撮影開始の指示に応じて、指示部３０４がＯＣＴ装置２００を制御して被検眼の撮影を行う。The
なお、本開示においては説明を省略するが、ＯＣＴ装置２００は、加算平均用に同じ箇所を撮影するために、被検眼のトラッキングを行うことができる。これにより、ＯＣＴ装置２００は、固視微動の影響を少なくして被検眼のスキャンを行うことができる。Although not described in this disclosure, the
ステップＳ３０３では、断層画像生成部３１１が、取得部３０１によって取得された干渉信号に基づいて断層画像の生成を行う。断層画像生成部３１１は、それぞれの干渉信号に対して一般的な再構成処理を行うことで、断層画像を生成することができる。In step S303, the tomographic
まず、断層画像生成部３１１は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は、取得した複数のＡスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。その後、断層画像生成部３１１は、有限区間でフーリエ変換した場合にトレードオフの関係となる深さ分解能とダイナミックレンジを最適化するために、所望の窓関数処理を行う。断層画像生成部３１１は、窓関数処理を行った干渉信号に対して高速フーリエ変換（ＦＦＴ）処理を行うことによって断層データを生成する。First, the tomographic
断層画像生成部３１１は、生成した断層データに基づいて断層画像の各画素値を求め、断層画像を生成する。なお、断層画像の生成方法はこれに限られず、既知の任意の方法で行われてよい。The tomographic
本実施例では、断層画像生成部３１１は、干渉光の強度に基づく所謂強度画像と称される断層画像を生成している。しかし、断層画像生成部３１１が生成する画像は強度画像に限られず、例えばモーションコントラスト画像であってもよい。モーションコントラスト画像あるいはこれを生成する際に用いるモーションコントラストデータも、上述した断層データの一態様に含まれる。また、モーションコントラストデータからは、血管径、血管密度等の血管に関する情報も得られるが、これら情報については本実施例における後述する断層に関するデータに含まれる。In this embodiment, the tomographic
被検眼において極短時間に干渉光の強度等に揺らぎを生じさせる対象物として、血管内を流れる血球等が存在する。このような血球等の動きに基づくモーションコントラストデータを得ることにより、造影剤を用いることなく、血管の造影を行うことができる。被検眼の深さ情報に基づいて取得される三次元のモーションコントラストデータを深度方向に統合し、二次元平面上に投影することでＯＣＴＡ画像と称される正面血管画像が生成できる。In the subject's eye, blood cells flowing through blood vessels are objects that cause fluctuations in the intensity of interference light for an extremely short period of time. By obtaining motion contrast data based on the movement of such blood cells, it is possible to image the blood vessels without using contrast agents. By integrating three-dimensional motion contrast data obtained based on the depth information of the subject's eye in the depth direction and projecting it onto a two-dimensional plane, a frontal blood vessel image called an OCTA image can be generated.
ここで、例えば断層画像生成部３１１でモーションコントラストデータを生成する場合に具体例について述べる。撮影時刻が互いに連続する略同一箇所を撮影して得た複数の断層画像であって、位置合わせが行われた複数の断層画像を取得する。なお、位置合わせは、種々の公知の方法を使用することができる。例えば、複数の断層画像のうちの１つを基準画像として選択し、基準画像の位置および角度を変更しながら、その他の断層画像との類似度が算出され、各断層画像の基準画像との位置ずれ量が算出される。算出結果に基づいて各断層画像を補正することで、複数の断層画像の位置合わせが行われる。なお、位置合わせの方法はこれに限られず、既知の任意の手法により行われてよい。Here, a specific example will be described in which motion contrast data is generated by the tomographic
断層画像生成部３１１は、位置合わせが行われた複数の断層画像のうち撮影時刻が互いに連続する２枚の断層画像ずつについて、以下の数式１により脱相関値を算出する。
ここで、Ａ（ｘ，ｚ）は断層画像Ａの位置（ｘ，ｚ）における振幅、Ｂ（ｘ，ｚ）は断層画像Ｂの同一位置（ｘ，ｚ）における振幅を示している。結果として得られる脱相関値Ｍ（ｘ，ｚ）は０から１までの値を取り、二つの振幅値の差異が大きいほど１に近い値となる。なお、本実施例では、ＸＺ平面の二次元の断層画像を用いる場合について述べたが、例えばＹＺ平面等の二次元断層画像を用いてもよい。この場合には、位置（ｘ、ｚ）を位置（ｙ、ｚ）等に置き換えてよい。なお、脱相関値は、断層画像の輝度値に基づいて求められてもよいし、断層画像に対応する断層信号の値に基づいて求められてもよい。Here, A(x,z) indicates the amplitude at position (x,z) of tomographic image A, and B(x,z) indicates the amplitude at the same position (x,z) of tomographic image B. The resulting decorrelation value M(x,z) ranges from 0 to 1, and the greater the difference between the two amplitude values, the closer the value is to 1. Note that in this embodiment, a two-dimensional tomographic image in the XZ plane is used, but a two-dimensional tomographic image in the YZ plane, for example, may also be used. In this case, the position (x,z) may be replaced with the position (y,z), etc. Note that the decorrelation value may be found based on the luminance value of the tomographic image, or may be found based on the value of the tomographic signal corresponding to the tomographic image.
断層画像生成部３１１は、各位置（画素位置）での脱相関値Ｍ（ｘ、ｚ）に基づいて、モーションコントラスト画像の画素値を決定し、モーションコントラスト画像を生成する。なお、本実施例では、断層画像生成部３１１は、撮影時刻が互いに連続する断層画像について脱相関値を算出したが、モーションコントラストデータの算出方法はこれに限定されない。脱相関値Ｍを求める２つの断層画像は、互いに対応する各断層画像に関する撮影時間が所定の時間間隔以内であればよく、撮影時間が連続していなくてもよい。そのため、例えば、時間的変化が少ない対象物の抽出を目的として、取得した複数の断層画像から撮影間隔が通常の規定時間より長くなるような２つの断層画像を抽出して脱相関値を算出してもよい。また、脱相関値に代えて、分散値や、最大値を最小値で割った値（最大値／最小値）等を求めてもよい。The tomographic
なお、モーションコントラスト画像の生成方法は、上述の方法に限られず、公知の他の任意の方法を用いてもよい。上述したように、モーションコントラストデータは、例えば略同一箇所を繰り返して撮影することで得られた複数の断層画像間における複素ＯＣＴ信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関等から計算することによって得られる。この場合、略同一箇所とは、モーションコントラストデータを生成するのに許容できる程度に同一である位置をいい、厳密に同一である箇所から僅かにずれた箇所も含むものをいう。The method of generating a motion contrast image is not limited to the above-mentioned method, and any other known method may be used. As described above, the motion contrast data is obtained by calculating the difference, ratio, correlation, or the like of the phase, vector, and temporal change in intensity of a complex OCT signal between multiple tomographic images obtained by repeatedly capturing images of, for example, approximately the same location. In this case, approximately the same location refers to a position that is the same to an extent that is acceptable for generating motion contrast data, and also includes a location that is slightly shifted from the strictly same location.
ステップＳ３０４では、画像処理部３３１が網膜層の検出を行うと共に、網膜層の厚さ、体積、曲率、形状に例示される複数の解析値を求める。初めに、網膜層の検出について説明をする。画像処理部３３１は、ＯＣＴ装置２００が撮影した複数の断層画像において網膜層の境界を検出する。In step S304, the image processing unit 331 detects the retinal layer and obtains multiple analytical values, such as the thickness, volume, curvature, and shape of the retinal layer. First, the detection of the retinal layer will be described. The image processing unit 331 detects the boundaries of the retinal layer in multiple tomographic images captured by the
ここで、網膜層を検出する処理の詳細について説明する。画像処理部３３１は、処理の対象とする断層画像に対して、ノイズ除去とエッジ強調処理を行う。ノイズ除去処理としては、例えばメディアンフィルタやガウシアンフィルタを適用する。エッジ強調処理としては、ＳｏｂｅｌフィルタやＨｅｓｓｉａｎフィルタを適用する。Here, the details of the process for detecting the retinal layers will be described. The image processing unit 331 performs noise removal and edge enhancement processing on the tomographic image to be processed. For example, a median filter or a Gaussian filter is applied as the noise removal processing. For edge enhancement processing, a Sobel filter or a Hessian filter is applied.
二次元のＨｅｓｓｉａｎフィルタを用いた、二次元断層画像に対するエッジ強調処理について説明する。Ｈｅｓｓｉａｎフィルタは、ヘッセ行列の２つの固有値（λ１、λ２）の関係に基づいて、二次元濃淡分布の二次局所構造を強調することができる。ヘッセ行列の固有値と固有ベクトル（ｅ１、ｅ２）の関係を用いて、二次元の線構造を強調する。被検眼についての二次元断層画像における線構造は網膜層に相当するため、当該Ｈｅｓｓｉａｎフィルタの適用により、網膜層の構造を強調することができる。 The edge enhancement process for a two-dimensional tomographic image using a two-dimensional Hessian filter will be described. The Hessian filter can enhance the secondary local structure of a two-dimensional gray distribution based on the relationship between two eigenvalues (λ1 , λ2 ) of a Hessian matrix. The two-dimensional line structure is enhanced using the relationship between the eigenvalues and eigenvectors (e1 , e2 ) of the Hessian matrix. Since the line structure in the two-dimensional tomographic image of the subject's eye corresponds to the retinal layer, the structure of the retinal layer can be enhanced by applying the Hessian filter.
なお、厚みの異なる網膜層を検出するには、ヘッセ行列を計算する際に行うガウス関数による平滑化の解像度を変更すればよい。また、二次元のＨｅｓｓｉａｎフィルタを適用する際には、画像のＸＺの物理サイズを合わせるようにデータを変形した後に適用することができる。一般的なＯＣＴの場合、ＸＹ方向とＺ方向の物理サイズが異なる。そのため、画素毎の網膜層の物理サイズを合わせてフィルタを適用する。なお、ＸＹ方向とＺ方向の物理サイズは、ＯＣＴ装置２００の設計／構成から把握できるため、当該物理サイズに基づいて、断層画像のデータを変形させることができる。また、物理サイズを正規化しない場合には、ガウス関数による平滑化の解像度を変更することでも近似的に対応できる。To detect retinal layers of different thicknesses, the resolution of the smoothing using the Gaussian function performed when calculating the Hessian matrix can be changed. When applying a two-dimensional Hessian filter, the data can be transformed to match the physical sizes of the X and Z images. In the case of general OCT, the physical sizes in the X, Y, and Z directions are different. Therefore, the filter is applied by matching the physical size of the retinal layer for each pixel. The physical sizes in the X, Y, and Z directions can be determined from the design/configuration of the
上記では、二次元断層画像での処理について説明したが、Ｈｅｓｓｉａｎフィルタを適用する対象はこれに限らない。断層画像を撮影した際のデータ構造がラスタスキャンによる三次元断層画像である場合、三次元のＨｅｓｓｉａｎフィルタを適用することも可能である。この場合、画像処理部３３１によって、隣接する断層画像間において、ＸＺ方向の位置合わせ処理を行った後に、ヘッセ行列の３つの固有値（λ１、λ２、λ３）の関係に基づいて、三次元濃淡分布の二次局所構造を強調することができる。そのため、ヘッセ行列の固有値と固有ベクトル（ｅ１、ｅ２、ｅ３）の関係を用いて三次元の層構造を強調することで、三次元的にエッジを強調することも可能である。なお、ここでは、Ｈｅｓｓｉａｎフィルタを用いてエッジ強調処理を行う構成について説明したが、エッジ強調処理の処理方法はこれに限られず、既存の任意の方法によって行われてよい。 Although the processing of a two-dimensional tomographic image has been described above, the subject to which the Hessian filter is applied is not limited to this. When the data structure when the tomographic image is captured is a three-dimensional tomographic image by raster scanning, a three-dimensional Hessian filter can also be applied. In this case, the image processing unit 331 performs alignment processing in the XZ direction between adjacent tomographic images, and then the secondary local structure of the three-dimensional gray distribution can be emphasized based on the relationship between the three eigenvalues (λ1 , λ2 , λ3 ) of the Hessian matrix. Therefore, it is also possible to emphasize edges three-dimensionally by emphasizing the three-dimensional layer structure using the relationship between the eigenvalues and eigenvectors (e1 , e2 , e3 ) of the Hessian matrix. Note that, although the configuration for performing edge enhancement processing using a Hessian filter has been described here, the processing method for edge enhancement processing is not limited to this, and may be performed by any existing method.
画像処理部３３１は、エッジ強調処理をした断層画像からエッジ強調された境界を検出する。本実施例では、ＩＬＭとＮＦＬとの境界、ＲＰＥ、ＩＳＯＳ、ＮＦＬとＧＣＬ境界を検出する。なお、図示しないが、その他の境界として、外網状層（ＯＰＬ）と外顆粒層（ＯＮＬ）との境界、内網状層（ＩＰＬ）と内顆粒層（ＩＮＬ）との境界、ＩＮＬとＯＰＬとの境界、ＧＣＬとＩＰＬとの境界等も検出できる。The image processing unit 331 detects edge-enhanced boundaries from the tomographic image that has been subjected to edge enhancement processing. In this embodiment, the boundaries between the ILM and NFL, and the boundaries between the RPE, ISOS, NFL, and GCL are detected. Although not shown, other boundaries can also be detected, such as the boundary between the outer plexiform layer (OPL) and the outer nuclear layer (ONL), the boundary between the inner plexiform layer (IPL) and the inner nuclear layer (INL), the boundary between the INL and OPL, and the boundary between the GCL and IPL.
境界の検出方法としては、各Ａスキャンにおいてエッジ強度が強い箇所を境界候補として複数検出し、隣接するＡスキャンにおいて境界候補同士の連続性を基に、点（エッジ強度画強い箇所）を線としてつなげる処理を行う。また、画像処理部３３１は、点を線としてつなげた場合に、線の滑らかさを評価することで、深さ方向に位置がずれている外れ値を除去することができる。より具体的には、例えば、つなげた点同士のＺ方向の位置を比較し、所定の閾値よりもＺ方向の位置の差が大きい場合には、新しくつなげられた点を外れ値として判断し、つなげる処理から除外することができる。また、外れ値を除去した場合、除外した点のＡスキャン位置に隣接するＡスキャンにおける境界候補を線としてつなげてもよい。なお、外れ値の除去方法はこれに限られず、既存の任意の方法によって行われてよい。As a method of detecting the boundary, multiple points with strong edge strength are detected as boundary candidates in each A-scan, and points (points with strong edge strength) are connected as lines based on the continuity between the boundary candidates in adjacent A-scans. In addition, when points are connected as a line, the image processing unit 331 can remove outliers whose positions are shifted in the depth direction by evaluating the smoothness of the line. More specifically, for example, the Z-direction positions of the connected points are compared, and if the difference in the Z-direction positions is greater than a predetermined threshold, the newly connected point can be determined to be an outlier and excluded from the connecting process. In addition, when the outlier is removed, boundary candidates in the A-scan adjacent to the A-scan position of the excluded point may be connected as lines. Note that the method of removing outliers is not limited to this, and any existing method may be used.
画像処理部３３１は、点をつなげて形成した各線について、網膜層の境界のＺ方向の上下の距離や位置関係に基づいて、対応する境界を決定する。なお、各Ａスキャンにおいて外れ値を除去した結果として検出された境界がない場合には、周囲の境界から補間でこれを求めてもよい。また、周囲の境界からエッジを頼りに水平方向（Ｘ又はＹ方向）に境界候補を探索していき、周囲の境界から探索した境界候補を基にして再度、境界を決定するようにしてもよい。For each line formed by connecting the points, the image processing unit 331 determines the corresponding boundary based on the distance above and below the retinal layer boundary in the Z direction and the positional relationship. Note that if no boundary is detected as a result of removing outliers in each A-scan, it may be found by interpolation from surrounding boundaries. Alternatively, it may search for boundary candidates in the horizontal direction (X or Y direction) using edges from the surrounding boundaries, and the boundary may be determined again based on the boundary candidates found from the surrounding boundaries.
その後、画像処理部３３１は、検出した境界に対して、境界の形状を滑らかに補正する処理を実行する。例えば、ＳｎａｋｅｓやＬｅｖｅｌ Ｓｅｔ法等の動的輪郭モデル等により、画像特徴と形状特徴とを用いて境界の形状を滑らかにしてもよい。また、境界形状の座標値を信号による時系列データとみなして、Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙフィルタや、単純移動平均、加重移動平均、指数移動平均等の平滑化処理で形状を滑らかにしてもよい。The image processing unit 331 then performs a process to smoothly correct the shape of the detected boundary. For example, the boundary shape may be smoothed using image features and shape features with an active contour model such as the Snakes or Level Set method. In addition, the coordinate values of the boundary shape may be treated as time-series data based on a signal, and the shape may be smoothed using a smoothing process such as a Savitzky-Golay filter, simple moving average, weighted moving average, or exponential moving average.
なお、網膜層の検出に関しても専用の学習済モデルを用いて行うようにしてもよい。その場合、事前に教師データとして作成したラベル画像と入力画像としてラベル画像の生成に用いた断層画像とをペアで学習した層検出用の学習済モデルを生成しておく。なお、ラベル画像とは、断層画像における画素毎に、当該画素に現れている（撮影されている）像に関するラベルが与えられた画像をいう。例えば網膜よりも浅層側（硝子体側）のラベル、網膜内層のラベル、および網膜よりも深層側（脈絡膜側）のラベルが、与えられるラベルとして例示できる。Note that detection of retinal layers may also be performed using a dedicated trained model. In this case, a trained model for layer detection is generated by training a pair of label images created in advance as training data and the tomographic image used to generate the label image as an input image. Note that a labeled image is an image in which a label is assigned to each pixel in the tomographic image, relating to the image appearing (captured) at that pixel. For example, labels that may be assigned include a label for the layer superficial to the retina (vitreous side), a label for the inner retina, and a label for the layer deeper to the retina (choroid side).
次に、画像処理部３３１は、複数の解析値を得るための計測処理を行う。解析値の例としては、境界検出で求めた任意の２本の境界で定義される網膜の厚みがある。例えば、緑内障においては網膜が菲薄化し、上下で層厚が非対称となる傾向がある。また、網膜静脈分子閉塞症等のように出血を伴う異常を被検眼が有する場合、出血により網膜全体が厚くなる。そのため、網膜の厚みを計測してその解析値を得ることで、病気によって現れる層厚変化の特徴を知ることができる。Next, the image processing unit 331 performs measurement processing to obtain multiple analytical values. An example of an analytical value is the thickness of the retina defined by any two boundaries obtained by boundary detection. For example, in glaucoma, the retina tends to thin and the layer thickness becomes asymmetric between the top and bottom. In addition, if the subject's eye has an abnormality accompanied by bleeding, such as retinal vein molecular occlusion, the entire retina thickens due to the bleeding. Therefore, by measuring the thickness of the retina and obtaining its analytical value, it is possible to know the characteristics of the layer thickness change that appears due to the disease.
また、網膜における層厚は、計測部位が黄斑部なのか、視神経乳頭部なのかによっても厚みの基準が異なる。このため、計測部位の位置情報と共に厚みを計測しておくとよい。また、撮影部位が視神経乳頭部の場合、ＣｕｐとＤｉｓｃの比であるＣ／Ｄ比も計測するとよい。その他に、境界検出で求めた任意の境界の形状特徴を計測するようにしてもよい。例えば、強度近視眼においては網膜が後方（下方向）に引き伸ばされたような形に変形する。また、加齢黄斑変性では、ＲＰＥが上に突出したような形に変形する。そのため、形の特徴として、ＲＰＥやブルッフ膜等の境界を用いて局所的な曲率を解析値として計測するとよい。このような解析値からは、病気によって現れる形の特徴を把握することができる。In addition, the standard thickness of the retina layer differs depending on whether the measurement site is the macula or the optic disc. For this reason, it is advisable to measure the thickness along with the position information of the measurement site. Furthermore, when the imaging site is the optic disc, it is advisable to also measure the C/D ratio, which is the ratio of Cup to Disc. In addition, it is possible to measure the shape characteristics of any boundary obtained by boundary detection. For example, in severe myopia, the retina is deformed into a shape that is stretched backward (downward). Furthermore, in age-related macular degeneration, the RPE is deformed into a shape that protrudes upward. Therefore, it is advisable to measure the local curvature as an analytical value using the boundaries of the RPE, Bruch's membrane, etc. as a shape characteristic. From such analytical values, it is possible to grasp the shape characteristics that appear due to the disease.
上述したように、病気によって層厚や網膜の形に特徴が表れる。さらに、一つの眼において、これらの特徴が一つ現れるだけではなく、複数の特徴が表れることがある。例えば、ある疾病によって特定の層の菲薄化が進行することに合わせて湾極度等の形状の変化も進行し、病状の進行によってある時点で湾曲の影響も加わって菲薄化が急激となることも起こり得る。このような場合、菲薄化の進行のみを解析値から想定していた場合には、急激な変化は想定し得ない。そのため、計測しておく解析値は、層厚や湾極度等の想定される複数種類ものを得ておくとよい。As mentioned above, different diseases have different characteristics in the layer thickness and shape of the retina. Furthermore, in one eye, not just one of these characteristics may appear, but multiple characteristics may appear. For example, as a certain disease causes the thinning of a specific layer to progress, changes in shape such as the curvature also progress, and as the disease progresses, the thinning may become rapid at some point due to the influence of the curvature. In such cases, if the analysis value only predicts the progression of thinning, it is not possible to predict a sudden change. For this reason, it is a good idea to measure multiple types of expected analysis values such as layer thickness and curvature.
また、上述したように、画像処理部３３１がモーションコントラストデータを生成することとしてもよい。この場合、画像処理部３３１は、モーションコントラストデータを平均値投影する（ＡＩＰ）、あるいは最大値投影（ＭＩＰ）することで得られるモーションコントラスト画像の正面画像であるＯＣＴＡ画像を用いて解析値を得てもよい。例えば、ＯＣＴＡ画像を２値化、あるいは２値化画像を細線化した画像から、血管に相当する箇所の密度や血管の形状（長さや形）等特徴を求めてもよい。これら特徴も解析値として用いることができる。As described above, the image processing unit 331 may generate motion contrast data. In this case, the image processing unit 331 may obtain analytical values using an OCTA image, which is a front image of a motion contrast image obtained by performing average value projection (AIP) or maximum value projection (MIP) on the motion contrast data. For example, the OCTA image may be binarized, or the binarized image may be thinned to obtain characteristics such as the density of areas corresponding to blood vessels and the shape (length and shape) of blood vessels. These characteristics can also be used as analytical values.
ステップＳ３０４において、画像処理部３３１による解析値の計測処理が行われると、処理はステップＳ３０５に移行する。ステップＳ３０５では、検出した境界と断層画像とを表示部６００に表示する。ここで、表示部６００に画面を表示する際の処理について、図３（ｂ）、および図４乃至図６を用いて説明をする。なお、図３（ｂ）は、ステップＳ３０５の表示処理において実行される一連の処理のフローチャートである。本実施例に係る表示処理が開始されると、処理はステップＳ３５１に移行する。In step S304, when the image processing unit 331 performs the measurement process of the analytical values, the process proceeds to step S305. In step S305, the detected boundary and the tomographic image are displayed on the
ステップＳ３５１では、撮影条件取得部３３３が、ステップＳ３０２で干渉信号を取得した際の撮影条件を記憶部３０２から取得する。また、撮影条件取得部３３３は、ステップＳ３０１で取得した被検眼情報も記憶部３０２から併せて取得する。In step S351, the imaging condition acquisition unit 333 acquires the imaging conditions used when the interference signal was acquired in step S302 from the
ステップＳ３５２では、ステップＳ３５１で取得した情報から、記憶部３０２又は外部記憶装置５００が同一の被検眼において過去に同じ走査パターンで撮影して得た情報を記憶しているか否かが、選択部３３４により判定される。過去に同じ走査パターンで撮影されたデータがある場合には、処理はステップＳ３５３に移行する。また、このようなデータがない場合には、処理はステップＳ３５６に移行する。In step S352, the
なお、撮影されたデータの有無だけではなく、過去検査数に応じてフローを分けてもよい。例えば、過去に撮影されたデータ数が１だけの場合、現在のデータと合わせても２データ分しかないため、後述する学習済モデルを用いるには情報が少ない。そのため、過去検査数として閾値Ｔｈ（例えば、Ｔｈ＞２）を設定し、過去検査数が一定数以上ある場合に、処理がステップＳ３５３に移行するようにしてもよい。The flow may be divided not only according to whether or not photographed data exists, but also according to the number of past examinations. For example, if only one piece of photographed data has been taken in the past, there will only be two pieces of data including the current data, and there will be insufficient information to use the trained model described below. For this reason, a threshold value Th (e.g., Th>2) may be set as the number of past examinations, and if there is a certain number or more of past examinations, the process may proceed to step S353.
ステップＳ３５３では、撮影条件取得部３３３が取得した撮影条件に基づいて、選択部３３４が使用する学習済モデルの選択を行う。撮影部位に関連した撮影条件としては、例えば撮影部位が被検眼の前眼部か後眼部かがある。前眼部と後眼部とでは、画像データから出力される解析値が異なるため、それぞれ別々の学習済モデルを得ておく。なお、本実施例では、前眼部と後眼部との何れを撮影するかによって用いる学習済モデルを選択する例について説明をした。しかし、参照する撮影部位はこれに限られず、後眼部においても、さらに黄斑部か視神経乳頭部かに応じて学習済モデルを選択するようにしてもよい。In step S353, the
なお、例えば後眼部の学習済モデルがあり、前眼部の学習済モデルが存在しない場合において、入力するデータが前眼部の画像の場合、ステップＳ３５２の時点において、フローがステップＳ３５６に移行するようにしてもよい。このような処理により、初期は学習済モデルが対応していなくても、ソフトウェアのアップデートにより対応可能な学習済モデルを追加して、前眼部を撮影した場合にも対応することができるようになる。For example, if there is a trained model for the posterior segment but no trained model for the anterior segment, and the input data is an image of the anterior segment, the flow may proceed to step S356 at the time of step S352. With this type of processing, even if the trained model is not compatible initially, a trained model that can be compatible can be added by updating the software, making it possible to handle cases where the anterior segment is photographed.
ステップＳ３５４では、演算処理部３３２が、学習済モデルを用いて、将来的に当該被検眼を同じ撮影条件で撮影した場合に得られる可能性が高い断層画像を生成する。また、画像処理部３３１は、生成された断層画像を用いて、上述した複数種類の解析値を算出する。なお、本実施例では、演算処理部３３２が、学習済モデルを用いて断層画像を生成することとしている。しかし、演算処理部３３２は、上述した画像処理部３３１により求められた複数種類の解析値から、将来的に得られる可能性の高い各々の解析値を直接生成することとしてもよい。In step S354, the arithmetic processing unit 332 uses the learned model to generate a tomographic image that is likely to be obtained when the subject's eye is photographed under the same photographing conditions in the future. The image processing unit 331 also uses the generated tomographic image to calculate the above-mentioned multiple types of analytical values. Note that in this embodiment, the arithmetic processing unit 332 generates a tomographic image using the learned model. However, the arithmetic processing unit 332 may directly generate each analytical value that is likely to be obtained in the future from the multiple types of analytical values calculated by the image processing unit 331 described above.
なお、上述したように、本発明の説明における学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデル対して、事前に適切な学習データを用いてトレーニングしたモデルである。ここで、本実施例に係る学習済モデルを得る際のトレーニングに用いる学習データについて説明する。学習データは、実際に学習済モデルに入力されるデータに対応する入力データと、学習済モデルによって生成されるデータに対応する教師データとのペアからなる。本発明では、入力データとして、第一の時間と該第一の時間より後の第二の時間の少なくとも二つの時間に、同一被検眼を同じ撮影条件で撮影して得た二つの断層画像、あるいは該断層画像から得た複数種類の解析値からなる二つの検査結果を用いる。また、教師データとして、第二の時間よりもさらに後の第三の時間に、同一被検眼を同じ撮影条件で撮影して得た断層画像あるいは該断層画像から得た複数種類の解析値からなる検査結果を用いる。As described above, the trained model in the description of the present invention is a model trained in advance using appropriate training data for a machine learning model according to an arbitrary machine learning algorithm such as deep learning. Here, the training data used in training when obtaining the trained model of this embodiment will be described. The training data consists of a pair of input data corresponding to data actually input to the trained model and teacher data corresponding to data generated by the trained model. In the present invention, as input data, two tomographic images obtained by photographing the same test eye under the same shooting conditions at at least two times, a first time and a second time after the first time, or two test results consisting of multiple types of analysis values obtained from the tomographic images are used. In addition, as teacher data, tomographic images obtained by photographing the same test eye under the same shooting conditions at a third time further after the second time, or test results consisting of multiple types of analysis values obtained from the tomographic images are used.
学習済モデルを得る際には、ここで述べたように、過去の少なくとも三つの時点で予め得られている断層画像や検査結果を学習データに用いて学習を行う。そして、この学習済モデルを用いる際には、学習済モデルの生成時に用いた入力データに対応する過去の第一の時間と第二の時間との時間間隔と同じ時間間隔で得られている二つの検査結果を入力する。教師データは、学習済モデルから生成される解析値等と対応する。すなわち、学習済モデルを用いることで、上述した第二の時間と第三の時間との時間間隔と対応する数か月から数年先において、この被検眼から得られる可能性の高い解析値を得ることができる。When obtaining a trained model, as described here, training is performed using tomographic images and test results obtained in advance at least three points in time in the past as training data. Then, when using this trained model, two test results obtained at the same time interval as the first and second times in the past that correspond to the input data used when generating the trained model are input. The teacher data corresponds to the analysis values, etc. generated from the trained model. In other words, by using the trained model, it is possible to obtain analysis values that are likely to be obtained from the subject's eye several months to several years in the future that correspond to the time interval between the second and third times described above.
次に、複数種類の解析値を用いた場合の機械学習アルゴリズムについて図４を用いて説明をする。ここで、学習済モデルを得る際のトレーニングに用いる学習データについて説明する。上述したように、学習データは、過去の異なる時間において撮影した同じ被検眼から得られている、例えば複数種類の解析値からなる数値データを含む。学習データの一例を図４に示す。図４では、Ｎ個の計測パラメータ（Ｐａｒａｍｓ１～ＰａｒａｍｓＮ）の時系列上（日時Ｔ）の解析値（数値）の例を示している。ここで複数種類の解析値には、例えば撮影部位が後眼部画像の場合には、網膜全体の厚み、任意の層間の厚み、脈絡膜の厚み、網膜の形状特徴（例えばＲＰＥやブルッフ膜等の曲率）等が含まれる。また、撮影部位が視神経乳頭部の場合には、網膜の厚みの他にＣｕｐとＤｉｓｃの比であるＣ／Ｄ比等が複数種類の解析値に含まれる。なお、Ｃ／Ｄ比は断層画像からではなく、眼底画像撮影装置４００から取得した眼底写真やＳＬＯ等の平面画像から求めてもよい。また、撮影部位が前眼部の場合には、角膜厚、角膜曲率、前房深度、水晶体全面曲率、水晶体後面曲率等が複数種類の解析値に含まれる。Next, the machine learning algorithm when multiple types of analytical values are used will be described with reference to FIG. 4. Here, the learning data used for training when obtaining a trained model will be described. As described above, the learning data includes, for example, numerical data consisting of multiple types of analytical values obtained from the same subject's eye photographed at different times in the past. An example of the learning data is shown in FIG. 4. FIG. 4 shows an example of analytical values (numerical values) on a time series (date and time T) of N measurement parameters (Params1 to ParamsN). Here, the multiple types of analytical values include, for example, the thickness of the entire retina, the thickness between any layers, the thickness of the choroid, and the shape characteristics of the retina (for example, the curvature of the RPE, Bruch's membrane, etc.) when the photographed part is the optic disc, in addition to the thickness of the retina, the C/D ratio, which is the ratio of Cup to Disc, etc., is included in the multiple types of analytical values. Note that the C/D ratio may be obtained not from a tomographic image but from a planar image such as a fundus photograph or SLO obtained from the fundus
図４は、撮影を行った日時を示す時間軸Ｔからなる横軸と、特定の計測パラメータの解析値からなる縦軸とからなる時系列グラフである。なお学習データとして、解析値の数値をそのまま用いてもよい。しかし、扱いやすくするために、前の時間の解析値との差分を求め、これを学習データとして用いてもよい。なお、上述した学習済モデルの生成時に用いる入力データとして時系列上の２つのデータを用い、学習済モデルに入力されるデータもこれに対応して２つのデータを用いる例について上では述べている。しかし、入力データおよび入力されるデータの数は２つに限られず、より多くのデータ数であってもよい。学習済モデルの生成時に時系列上の多くのデータを用いることで学習に要する時間が長くなる。しかし、入力データの間隔をこの時系列上の任意のデータの間隔とあわせることが可能となり、汎用性が高められる可能性が生まれる。Figure 4 is a time series graph consisting of a horizontal axis consisting of a time axis T indicating the date and time when the image was taken, and a vertical axis consisting of the analysis value of a specific measurement parameter. The numerical value of the analysis value may be used as is as the learning data. However, to make it easier to handle, the difference from the analysis value at the previous time may be calculated and used as the learning data. Note that the above describes an example in which two pieces of data on the time series are used as input data used when generating the above-mentioned trained model, and two pieces of data are also used correspondingly as data input to the trained model. However, the number of input data and input data is not limited to two, and may be a larger number of data. Using a large amount of data on the time series when generating the trained model increases the time required for learning. However, it becomes possible to match the interval of the input data to the interval of any data on this time series, which creates the possibility of improving versatility.
さらに、学習時にはこれら複数の解析値からなるデータをトータルして病気の進行が進んだか、進行していないか、止まったかという病気の進行度に関する情報を評価値として学習データに加えてもよい。この場合、病気の進行度は数値として定義しておく。例えば、医師等が解析値の時系列データや、断層画像を参照して病状を判断し、病気の進行が進んでいる場合は評価値１００、変わっていない場合は評価値５０、改善した場合は評価値０等とする。なお、この数値はあくまでも一例であり、この値に限るものではなく、病気の種類や判断対象とする項目に応じて、評価値は適宜定められる。なお、ここでは評価値を数値として扱う場合を例として説明しているが、例えば病気の進行状態や、眼の状態について良否をランク付けすることとしてもよい。即ち、ここで述べた評価値は、目の状態を医師等が評価して定め、データとして入力する評価情報の一例となる。Furthermore, during learning, the data consisting of these multiple analysis values may be added together to the learning data as an evaluation value, and information on the degree of progression of the disease, such as whether the disease has progressed, has not progressed, or has stopped. In this case, the degree of progression of the disease is defined as a numerical value. For example, a doctor or the like may judge the condition of the disease by referring to the time series data of the analysis values and tomographic images, and if the disease has progressed, the evaluation value may be 100, if there is no change, the evaluation value may be 50, and if there has been an improvement, the evaluation value may be 0, etc. Note that this numerical value is merely an example, and is not limited to this value, and the evaluation value may be appropriately determined depending on the type of disease and the item to be judged. Note that, although the evaluation value is treated as a numerical value here as an example, for example, the progress of the disease or the condition of the eyes may be ranked as good or bad. In other words, the evaluation value described here is an example of evaluation information that a doctor or the like evaluates the condition of the eyes and determines it, and enters it as data.
次に、本実施例に係る機械学習モデルの一例として、時系列情報を扱うニューラルネットワークであるＲｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（以下、ＲＮＮ）に関して、図５を参照して説明する。また、ＲＮＮの一種であって、演算処理部３３２が用いるＬｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ（以下、ＬＳＴＭ）に関して、図６を参照して説明する。Next, as an example of a machine learning model according to the present embodiment, a recurrent neural network (hereinafter, RNN), which is a neural network that handles time-series information, will be described with reference to FIG. 5. In addition, a long short-term memory (hereinafter, LSTM), which is a type of RNN and is used by the calculation processing unit 332, will be described with reference to FIG. 6.
図５（ａ）は、演算処理部３３２における機械学習モデルであるＲＮＮの構造を示す。図５に示すＲＮＮ５２０は、ネットワークにループ構造を持ち、時刻ｔにおいてデータｘｔ５１０を入力し、データｈｔ５３０を出力する。ＲＮＮ５２０はネットワークにループ機能を持つため、現時刻の状態を次の状態に引き継ぐことが可能であるため、時系列情報を扱うことができる。図５（ｂ）には時刻ｔにおけるパラメータベクトルの入出力の一例を示す。データｘｔ５１０にはＮ個（Ｐａｒａｍｓ１～ＰａｒａｍｓＮ）の計測パラメータに関する解析値が含まれ。また、ＲＮＮ５２０より出力されるデータｈｔ５３０には入力データに対応するＮ個（Ｐａｒａｍｓ１～ＰａｒａｍｓＮ）の解析値が含まれる。 FIG. 5(a) shows the structure of an RNN, which is a machine learning model in the arithmetic processing unit 332. The
しかし、ＲＮＮでは誤差逆伝搬時に長期時間の情報を扱うことができない。そのため、本実施例ではＬＳＴＭを用いることとする。ＬＳＴＭは、忘却ゲート、入力ゲート、出力ゲートを備えることで長期時間の情報を学習することができる。ここで、図６（ａ）にＬＳＴＭの構造を示す。ＬＳＴＭ６２０において、ネットワークが次の時刻ｔに引き継ぐ情報は、セルと呼ばれるネットワークの内部状態ｃｔ－１と出力データｈｔ－１である。なお、図の小文字（ｃ、ｈ、ｘ）はベクトルを表している。本実施例において、このベクトルは、図４で示した解析値で構成される。 However, RNN cannot handle long-term information during error backpropagation. Therefore, in this embodiment, LSTM is used. LSTM can learn long-term information by providing a forget gate, an input gate, and an output gate. Here, FIG. 6(a) shows the structure of LSTM. In
次に、図６（ｂ）にＬＳＴＭ６２０の詳細を示す。図６（ｂ）において、ＦＧは忘却ゲートネットワーク、ＩＧは入力ゲートネットワーク、ＯＧは出力ゲートネットワークを示し、それぞれはシグモイド層である。そのため、各要素が０から１の値となるベクトルを出力する。忘却ゲートネットワークＦＧは過去の情報をどれだけ保持するかを決め、入力ゲートネットワークＩＧはどの値を更新するかを判定するものである。ＣＵは、セル更新候補ネットワークであり、活性化関数ｔａｎｈ層である。これは、セルに加えられる新たな候補値のベクトルを作成する。出力ゲートネットワークＯＧは、セル候補の要素を選択し次の時刻にどの程度の情報を伝えるか選択する。Next, the details of
なお、上述したＬＳＴＭのモデルは基本形であるため、ここで示したネットワークに限らない。ネットワーク間の結合を変更してもよい。ＬＳＴＭではなく、ＱＲＮＮ（Ｑｕａｓｉ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてもよい。さらに、機械学習モデルはニューラルネットワークに限定されるものではなく、ブースティングやサポートベクターマシン等の機械学習モデルを用いてもよい。また、ここに例示したＲＮＮやＬＳＴＭではデータとして解析値に例示される数値を入力する場合について述べている。しかし、上述したように、断層画像等の断層データを入力し、断層データを出力するようにＲＮＮやＬＳＴＭを構成してもよい。Note that the above-mentioned LSTM model is a basic form, and is not limited to the network shown here. The connections between networks may be changed. A QRNN (Quasi Recurrent Neural Network) may be used instead of an LSTM. Furthermore, the machine learning model is not limited to a neural network, and machine learning models such as boosting and support vector machines may be used. In addition, the RNN and LSTM exemplified here describe a case where a numerical value exemplified as an analysis value is input as data. However, as described above, the RNN and LSTM may be configured to input tomographic data such as a tomographic image and output tomographic data.
学習済モデルにデータを入力すると、学習済モデルの設計に従ったデータが出力される。例えば、学習データからトレーニングされた傾向に従って入力データに対応する可能性の高い出力データが出力される。例えば、上述した学習データによってトレーニングされた学習済モデルにＯＣＴによって撮影された断層画像を入力すると、将来の撮影される可能性が高いと予測される断層画像が出力される。また、断層画像ではなく解析値を用いる学習済モデルを用いた場合であれば、該学習済モデルにＯＣＴによって撮影された断層画像から得られた解析値を入力すると、将来撮影された断層画像から計測される可能性が高いと予測される解析値が出力される。When data is input into the trained model, data according to the design of the trained model is output. For example, output data that is likely to correspond to the input data according to the trained tendency from the training data is output. For example, when a tomographic image taken by OCT is input into a trained model trained by the above-mentioned training data, a tomographic image predicted to be likely to be taken in the future is output. In addition, when a trained model that uses analytical values instead of tomographic images is used, when analytical values obtained from a tomographic image taken by OCT are input into the trained model, analytical values predicted to be likely to be measured from a tomographic image taken in the future are output.
本実施例に係る演算処理部３３２の学習済モデルでは、データｘｔ５１０として断層画像が入力されると、学習データを用いて学習した傾向に従って、データｈｔ５３０として断層画像が出力される。また、データｘｔ５１０として複数の計測パラメータの解析値が入力されると、学習データを用いて学習した傾向に従って、データｈｔ５３０として対応する計測パラメータの解析値が複数出力される。 In the learned model of the arithmetic processing unit 332 according to this embodiment, when a tomographic image is input as data xt 510, a tomographic image is output as
ステップＳ３５５あるいはＳ３５６では、表示制御部３０５からの指示に応じて、表示部６００が解析結果を表示する。なお、ステップＳ３５５とステップＳ３５６では、演算処理部３３２により生成された結果の表示を行うか、ステップＳ３５１で取得した解析値等がそのまま表示されるかが異なるだけで、それ以外の表示情報は同じである。よって、表示部６００に表示される画面については、以降でまとめて説明する。In step S355 or S356, the
図７に表示部６００に表示する画面の一例を示す。表示画面７１０には、患者タブ７０１、撮影タブ７０２、レポートタブ７０３、および設定タブ７０４が表示される。また、表示画面の左側には、過去に同一被検眼を撮影して得た断層画像群が、サムネイル画像７０５として表示される。なお、図ではレポートタブ７０３に斜線が加えられているが、この斜線はレポート画面がアクティブ状態であることを表している。以下、本実施例において、レポート画面を表示する場合について説明をする。なお、ここではアクティブ状態を示すために斜線を用いたが、例えば表示領域の着色は表示文字の色変更等によりアクティブ状態を示すこともできる。Figure 7 shows an example of a screen displayed on the
レポート画面には、被検眼を水平方向に走査して得られる断層画像７１１と、垂直方向に走査して得られる断層画像７１２とが示される。また、レポート画面には、眼底の正面像であるＳＬＯ画像７１３が表示される。この、ＳＬＯ画像７１３には、例えば網膜の厚みを表現するカラーマップ７１４が重畳されている。また、ＳＬＯ画像７１３に重畳表示されたセクターの各領域の網膜厚を表示するＥＴＤＲＳグリッド７１５と、ＥＴＤＲＳグリッド内の網膜厚を表わす表７１６も併せて表示される。The report screen displays a
グラフ７２０は、断層画像７１１，７１２から求められる網膜の厚みについて、これを時系列で配置することで得られている。演算処理部３３２より生成された網膜の厚みについての予想解析値がある場合には、ここに表示をする。セレクタ７２１は、グラフ７２０に示している解析値を得ている計測パラメータを選択するために用いられる。ここでは網膜の厚さを計測パラメータとするＰａｒａｍｓ１が選択されている。
グラフ７２０において、複数の黒丸７２２は過去に撮影された断層画像から得た網膜厚の時系列の解析値を、白丸７２３は最新の解析値を示している。さらに、星印７２４は、演算処理部３３２が生成した将来の網膜厚の予測値を示している。確率７２５は、前述した医師等によって入力された評価値に対応する。過去の解析値に併せて評価値が入力されている場合には、演算処理部３３２はこの評価値を生成し、レポート画面にはこれが確率７２５として表示される。In
なお、本実施例では、複数の計測パラメータの解析値を入力し、これらから演算処理部３３２が対応する進行予測値を解析値として出力し、その結果がグラフ７２０として表示される。そのため、グラフ７２０に表示される時系列の解析値は、セレクタ７２１で表示する計測パラメータを選択することによって変わり、これに応じて星印７２４で示される将来の予測値も変更される。しかし、確率７２５は、全体のパラメータを用いて医師等により総合的に入力された評価値に基づいて生成されるため、セレクタ７２１で表示する計測パラメータを変更しても結果は変わらない。In this embodiment, the analytical values of multiple measurement parameters are input, and the calculation processing unit 332 outputs the corresponding progress prediction value as the analytical value, and the result is displayed as
また、ここでは確率７２５の進行予測値を単に数値表示する例を示している。しかし、他の表示例として、症状が改善する場合には青字や緑字、あまり変化がない場合は黒字、症状が悪化する可能性が高い場合には橙字や赤字など、視覚的に分かりやすいように数値の色を変えて表示するようにしてもよい。また、確率７５２として表示するのではなく、グラフ７２０に表示される各点について、これを上述した色表示することで検者に症状の進行状態を示すこととしてもよい。更に、ここでは医師等が被検眼を評価し、その評価結果を確率として数値化して入力することとしているが、評価結果は数値に限定されず、例えばランク付けすることで行ってもよい。即ち、ここで表示される対象は、医師等が被検眼の状態を評価することで得た評価情報であればよい。Here, an example is shown in which the predicted value of the
ステップＳ３５５では、演算処理部３３２により生成された結果を含めたグラフ７２０と、確率７２５とを含めたレポート画面が表示画面７１０に表示される。表示後、フローはステップＳ３０６に移行する。ステップＳ３５６では、演算処理部３３２が解析値等を生成できないため、ステップＳ３５１で得られた結果がそのまま表示部６００に表示される。この場合、グラフ７２０には星印７２４が表示されず、確率７２５も表示されない、あるいは空欄として表示される。表示後、フローはステップＳ３０６に移行する。なお、ステップＳ３３６における表示において、確率７２５として、入力部７００を介して医師等が評価値を入力することもできる。In step S355, a report screen including the
上述したように、本実施例では、レポート画面の表示を行う処理において演算処理部３３２により将来の断層画像や解析値を生成する形態について説明している。しかし、演算処理部３３２が将来の断層画像や解析値を生成するタイミングはこれに限られない。ステップＳ３０４における計測処理が終了した段階で、過去の検査がある場合に断層画像あるいは解析値の生成を行って外部記憶装置５００にこれを保存することとしてもよい。この場合、ステップＳ３０５の表示処理においては、保存されている断層画像あるいは解析値を読みだして表示するようにしてもよい。As described above, in this embodiment, the arithmetic processing unit 332 generates future tomographic images and analytical values in the process of displaying the report screen. However, the timing at which the arithmetic processing unit 332 generates future tomographic images and analytical values is not limited to this. When the measurement process in step S304 is completed, if there is a past examination, a tomographic image or analytical value may be generated and stored in the
ステップＳ３０６では、取得部３０１は、画像処理システム１による断層画像の撮影に係る一連の処理を終了するか否かの指示を外部から取得する。この指示は、入力部７００を用いて、ユーザによって入力されることができる。処理を終了する指示を取得した場合には、画像処理システム１は本実施例に係る一連の処理を終了する。一方、取得部３０１が処理を終了しない指示を取得した場合には、フローをステップＳ３０２に戻して撮影を続行する。In step S306, the
上述したように、本実施例に係る画像処理装置３００は、取得手段（取得部３０１）と、生成手段（演算処理部３３２）とを備える。取得手段は、第一の時間に関連付いた被検眼の第一の断層に関するデータと、第一の時間より後の第二の時間に関連付いた被検眼の第二の断層に関するデータと、を取得する。第一の断層に関するデータは、第一の時間に被検眼を撮影して得た断層画像と、該断層画像から得られる複数種類の解析値（第一の解析値）とのうち少なくとも一つを含む。また、第二の断層に関するデータは、第二の時間に被検眼を撮影して得た断層画像と、該断層画像から得られる複数種類の解析値（第二の解析値）とのうち少なくとも一つを含む。As described above, the
演算処理部３３２は、学習済モデルを用いて、取得部３０１により取得された第一の断層に関するデータと第二の断層に関するデータとから、第二の時間より後の第三の時間における被検眼の複数種類の解析値の少なくとも一つを生成する。このとき、断層に関するデータには、複数種類の解析値が含まれる。なお、断層に関するデータには、複数種類の解析値を１つのデータセットとして取り扱った場合だけでなく、複数種類の解析値それぞれのデータを別々に取り扱う場合も含まれる。また、少なくとも一つの解析値は、学習済モデルを用いて生成された被検眼の断層画像（第三の断層に関するデータ）から演算・生成されることもできる。即ち、断層に関するデータは、断層画像或いは断層データであってもよい。この場合、上述した第一の時間に関連付いた断層画像と、第二の時間に関連付いた断層画像とを取得し、学習済モデルを用いてこれら断層画像から断層画像を生成し、生成された断層画像から特定の解析値を得ることとなる。なお、異なる時間における同一被検眼の断層画像を比較した場合、例えば病気の進行によって、特性の層が菲薄化すると同時に、当該層或いは周囲の層において曲率も変化している場合がある。即ち、学習済モデルに入力するデータとして同一被検眼から異なる時間に取得した断層画像そのものを用いることで、被検眼についての複数種類の解析値の変化がまとめて勘案されたような将来の断層画像を得ることとなる。上述したように、本発明は目の複合的な特徴を用いた診断補助の提供を目的とし、被検眼の複数種類の解析値を含む断層に関するデータであって、異なる時間に関連付いた２つのデータから学習済モデルを用いて特定の解析値を得ることとしている。従って、異なる時間に被検眼を撮影して得た２つの断層画像から学習済モデルを用いて生成される断層画像を解析することにより特定の解析値を得ることは、上述した異なる時間に関連付いた２つの断層に関するデータから特定の解析値を得ることと、同様の効果を得ることができる。なお、ここでは、第一の時間に関連付いた断層画像と、第二の時間に関連付いた断層画像とを取得し、学習済モデルを用いてこれら断層画像から断層画像を生成し、生成された断層画像から特定の解析値を得る例について述べた。しかし、２つの断層画像から断層画像を生成する学習モデルを用いるのではなく、２つの断層画像から直接的に解析値を生成する学習済モデルを用いてもよい。この場合、第一の時間に関連付いた断層画像と、第二の時間に関連付いた断層画像とを取得し、学習済モデルを用いてこれら断層画像から直接的に特定の解析値を得ることとなる。The calculation processing unit 332 uses the learned model to generate at least one of the multiple types of analysis values of the test eye at a third time after the second time from the data on the first tomography and the data on the second tomography acquired by the
本実施例に係る学習済モデルは、入力データと教師データとからなる学習データを用いて得られる。入力データには、例えば第一の時間より前の第四の時間に被検眼を撮影して得た断層画像と、第一の時間より前で且つ該第四の時間より後の第五の時間に被検眼を撮影して得た断層画像とを用いる。また、教師データには、第一の時間より前で且つ第五の時間より後の第六の時間に被検眼を撮影して得た断層画像を用いる。The trained model according to this embodiment is obtained using training data consisting of input data and teacher data. For the input data, for example, a tomographic image obtained by photographing the subject's eye at a fourth time before the first time, and a tomographic image obtained by photographing the subject's eye at a fifth time before the first time and after the fourth time are used. For the teacher data, a tomographic image obtained by photographing the subject's eye at a sixth time before the first time and after the fifth time is used.
なお、演算処理部３３２において、学習済モデルに入力されるデータは、断層画像ではなく、被検眼の断層画像から得られる複数種類の解析値の各々であってもよい。この場合、学習済モデルにおける入力データの一つは、第一の時間より前の第四の時間に被検眼を撮影して得た断層画像から得られる複数種類の第四の解析値となる。また、もう一つの入力データは、第一の時間より前で且つ該第四の時間より後の第五の時間に被検眼を撮影して得た断層画像から得られる複数種類の第五の解析値となる。そして、教師データは、第一の時間より前で且つ第五の時間より後の第六の時間に被検眼を撮影して得た断層画像から得られる複数種類の第六の解析値となる。これら入力データおよび教師データを用いて学習すること、上述した学習済モデルが得られる。In addition, in the arithmetic processing unit 332, the data input to the trained model may not be a tomographic image, but each of multiple types of analytical values obtained from a tomographic image of the test eye. In this case, one of the input data in the trained model is multiple types of fourth analytical values obtained from a tomographic image obtained by photographing the test eye at a fourth time before the first time. In addition, the other input data is multiple types of fifth analytical values obtained from a tomographic image obtained by photographing the test eye at a fifth time before the first time and after the fourth time. And the teacher data is multiple types of sixth analytical values obtained from a tomographic image obtained by photographing the test eye at a sixth time before the first time and after the fifth time. By learning using these input data and teacher data, the trained model described above is obtained.
なお、上述した学習済モデルに入力されるデータと、学習済モデルを得るために用いる入力データとにおいて、第二の時間と第三の時間との間の経過時間と、第五の時間と第六の時間との間の経過時間とは略等しい。この場合、厳密に経過時間が同じである必要は無いが、例えば被検眼において注目する病状あるいは異常に応じて、ユーザが許容される相違量を適宜定めることができる。Note that, in the data input to the trained model described above and the input data used to obtain the trained model, the elapsed time between the second time and the third time, and the elapsed time between the fifth time and the sixth time are approximately equal. In this case, the elapsed times do not need to be exactly the same, but the user can appropriately determine the amount of difference that is acceptable depending on, for example, the pathology or abnormality of interest in the test eye.
また、本実施例に係る画像処理装置３００の取得部３０１は、第一の時間および第二の時間における被検眼の状態に関する、上述した評価情報を取得できる。この場合、演算処理部３３２は、第三の時間における前記複数種類の解析値の少なくとも一つに併せて、第三の時間における評価情報を生成することができる。また、表示制御手段（表示制御部３０５）は、生成された評価情報を表示部６００に表示させることができる。The
ここで、第一の断層に関するデータおよび第二の断層に関するデータが断層画像（断層データ）であった場合を考える。この場合、これら断層に関するデータからは、各々第一の時間に関連付いた第一の解析値および第二の時間に関連付いた第二の解析値が得られる。表示制御部３０５は、第三の時間における少なくとも一つの解析値と同じ種類の第一および第二の解析値、並びに前記第三の時間における少なくとも一つの解析値を用いてグラフ７２０を生成する。表示制御部３０５は、生成されたグラフ７２０を表示部６００に表示させる。Now consider a case where the data on the first fault and the data on the second fault are tomographic images (tomographic data). In this case, a first analytic value associated with a first time and a second analytic value associated with a second time are obtained from the data on these faults. The
また、本実施例に係る画像処理装置３００は、被検眼から第一の断層に関するデータおよび第二の断層に関するデータを取得する撮影条件に基づいて学習済モデルを選択する選択手段（選択部３３４）をさらに備える。この場合、撮影条件には、例えば撮影日時、撮影部位名、撮影領域、撮影画角、撮影方式の少なくともいずれかが含まれる。 The
本実施例によれば、被検眼を、少なくとも二つの異なる時間に撮影することで得た断層データや該断層データから得た解析値から、学習済モデルを用いてこの被検眼を将来に撮影した場合に得られる可能性の高い断層データあるいは解析値を得ることができる。従って、この被検眼の診断に際して、経過観察や治療方針等に対して診断補助に有効な情報を提示することができる。According to this embodiment, the tomographic data obtained by photographing the subject's eye at least at two different times and the analytical values obtained from the tomographic data can be used to obtain tomographic data or analytical values that are likely to be obtained when the subject's eye is photographed in the future using a trained model. Therefore, when diagnosing the subject's eye, information that is effective in assisting diagnosis for follow-up observation, treatment plans, etc. can be presented.
（実施例２）
実施例１においては、被検眼の断層画像や、該断層画像や眼底平面画像から求めた様々な解析値を用いて、被検眼の計測パラメータ各々についての複数の解析値を生成する例について示した。しかし、被検眼を検査する際に用いる被検眼に関する数値は、上述した断層画像から計測される解析値等に限られない。また、これら以外に被検眼で計測される計測値によっても被検眼の病状等、状態の推移を知ることができる。実施例２においては、他の検査（例えば、眼軸長や眼圧など）結果も含めて入力できる、学習済モデルを用いることとし、これにより各種解析値や計測値、さらには上述した評価値を生成する。Example 2
In the first embodiment, an example is shown in which a plurality of analytical values for each measurement parameter of the test eye is generated using a tomographic image of the test eye and various analytical values obtained from the tomographic image and the planar image of the fundus of the eye. However, the numerical values related to the test eye used when testing the test eye are not limited to the analytical values measured from the tomographic image described above. In addition, the progress of the condition of the test eye, such as the pathology of the test eye, can also be known from the measurement values measured on the test eye. In the second embodiment, a trained model is used that can also input the results of other tests (e.g., axial length, intraocular pressure, etc.), thereby generating various analytical values, measurement values, and the above-mentioned evaluation value.
以下、図８を参照して、本実施例に係る画像処理システム８について説明する。以下の説明においては、実施例１に係る画像処理システム１との違いを中心として説明する。なお、実施例１に係る画像処理システム１の構成および処理と同様である本実施例に係る画像処理システムの構成および処理については、同一の参照符号を用いて示し、ここでの説明を省略する。The
図８は、本実施例に係る画像処理システム８の概略的な構成の一例を示す。本実施例に係る画像処理システム８では、画像処理装置８００の処理部８０３において、演算処理部３３２に変えた本実施例に係る演算処理部８３２と、新たに設けられた計測値取得部８３５とが配される。Figure 8 shows an example of a schematic configuration of an
計測値取得部８３５は、被検眼に関する他の検査情報を取得する。具体的には、計測値取得部８３５は、例えばユーザーインターフェイスにより、ユーザが入力した計測値を取得するよい。また、ネットワークを介して電子カルテシステムと連携し、電子カルテシステムに登録された数値データを取得してもよい。あるいは、バーコードリーダーやＲＦＩＤリーダー等、外部リーダーから情報を取得してもよい。The measurement value acquisition unit 835 acquires other examination information related to the subject's eye. Specifically, the measurement value acquisition unit 835 may acquire measurement values input by the user, for example, via a user interface. It may also link with an electronic medical record system via a network to acquire numerical data registered in the electronic medical record system. Alternatively, it may acquire information from an external reader, such as a barcode reader or an RFID reader.
本実施例においては、実施例１の図５および図６で示した入出力のパラメータベクトル（ｃ、ｈ、ｘ）の中身が異なる。すなわち、演算処理部８３２に入出力されるデータが異なる。実施例１では、学習や解析値生成時に用いたベクトルの中身では、断層画像あるいは該断層画像から得られた解析値をＰａｒａｍｓとして用いていた。これに対し、本実施例では、断層画像あるいは該断層画像から得られた解析値だけではなく、眼軸長検査や眼圧検査等、画像を用いない眼部に関する検査データを入出力のパラメータベクトルに追加をして解析値等の生成を行う。In this embodiment, the contents of the input/output parameter vectors (c, h, x) shown in Figures 5 and 6 of the first embodiment are different. That is, the data input and output to the calculation processing unit 832 is different. In the first embodiment, the contents of the vectors used during learning and analysis value generation used tomographic images or analysis values obtained from the tomographic images as Params. In contrast, in this embodiment, not only tomographic images or analysis values obtained from the tomographic images, but also test data related to the eye that does not use images, such as axial length tests and intraocular pressure tests, are added to the input/output parameter vectors to generate analysis values, etc.
例えば、実施例１ではＰａｒａｍｓ１～ＰａｒａｍｓＮとして、Ｎ個の解析値を用いた例を示した。これに対し、本実施例では、計測値取得部８３５が取得する計測値がＭ個だとすると、Ｐａｒａｍｓ１～ＰａｒａｍｓＮの解析値とＰａｒａｍｓ１’～ＰａｒａｍｓＭの計測値とを用いて学習を行うこととなる。演算処理部８３２は、これらＮ個の解析値と、Ｍ個の計測値とから学習データを取得し、これら学習データを用いて得られた学習済モデルを用いる。For example, in the first embodiment, an example was shown in which N analytical values were used as Params1 to ParamsN. In contrast, in this embodiment, if the measurement value acquisition unit 835 acquires M measurement values, learning is performed using the analytical values of Params1 to ParamsN and the measurement values of Params1' to ParamsM. The calculation processing unit 832 acquires learning data from these N analytical values and M measurement values, and uses the trained model obtained using this learning data.
本実施例に係る演算処理部８３２は、ディープラーニング等の任意の機械学習モデルに対して学習データを与えて作成された学習済モデルを含む。演算処理部８３２は、この学習済モデルに対して、第一の時間に被検眼を撮影することで得た断層データおよび計測値と、第一の時間の後の第二の時間に被検眼を撮影することで得た断層データおよび計測値とを入力する。演算処理部８３２は、これら断層データおよび計測値から、学習済モデルを用いて断層画像および計測値を生成する。生成された断層画像に対しては、画像処理部３３１において解析処理が行われ、該断層画像における複数種類の解析値が算出される。なお、この複数種類の解析値の算出は上述したエッジ強調処理等を用いて演算処理部８３２で行ってもよく、算出ではなく学習モデル済みを用いて解析値から直接生成することとしてもよい。The arithmetic processing unit 832 according to this embodiment includes a learned model created by providing learning data to an arbitrary machine learning model such as deep learning. The arithmetic processing unit 832 inputs tomographic data and measurement values obtained by photographing the subject's eye at a first time, and tomographic data and measurement values obtained by photographing the subject's eye at a second time after the first time, to this learned model. The arithmetic processing unit 832 generates a tomographic image and measurement values from the tomographic data and measurement values using the learned model. The generated tomographic image is subjected to analysis processing in the image processing unit 331, and multiple types of analysis values in the tomographic image are calculated. The calculation of the multiple types of analysis values may be performed by the arithmetic processing unit 832 using the above-mentioned edge enhancement processing, or may be generated directly from the analysis values using the learned model instead of calculation.
ここで、本実施例における学習済モデルを得る際のトレーニングに用いる学習データについて説明する。学習データは、実際に学習済モデルに入力されるデータに対応する入力データと、学習済モデルによって生成されるデータに対応する教師データとからなる。実施例１では、入力データとして、第一の時間と該第一の時間より後の第二の時間の少なくとも二つの時間に、同一被検眼を同じ撮影条件で撮影して得た二つの断層画像、あるいは該断層画像から得た複数種類の解析値からなる二つの検査結果を用いる。本実施例では、さらに第一の時間に同一被検眼が計測されて得た計測値と、第二の時間に計測されて得た計測値とを、併せて入力データとする。また、教師データとして、第二の時間よりもさらに後の第三の時間に、同一被検眼を同じ撮影条件で撮影して得た断層画像あるいは該断層画像から得た複数種類の解析値からなる検査結果と、第三の時間に計測されて得た第三の計測値とを用いる。Here, the learning data used for training when obtaining the learned model in this embodiment will be described. The learning data consists of input data corresponding to the data actually input to the learned model and teacher data corresponding to the data generated by the learned model. In the first embodiment, as the input data, two tomographic images obtained by photographing the same test eye under the same shooting conditions at at least two times, a first time and a second time after the first time, or two test results consisting of multiple types of analysis values obtained from the tomographic images are used. In this embodiment, the input data includes a measurement value obtained by measuring the same test eye at the first time and a measurement value obtained by measuring the same test eye at the second time. In addition, as the teacher data, a tomographic image obtained by photographing the same test eye under the same shooting conditions at a third time after the second time, or a test result consisting of multiple types of analysis values obtained from the tomographic image, and a third measurement value obtained by measuring the same test eye at the third time are used.
学習済モデルを得る際には、ここで述べたように、過去の少なくとも三つの時点で予め得られている検査結果および計測結果を学習データに用いて学習を行う。そして、この学習済モデルを用いる際には、学習済モデルの生成時に用いた入力データに対応する過去の第一の時間と第二の時間との時間間隔で得られている二つの検査結果および計測結果を入力する。教師データは、学習済モデルから生成される解析値等および計測結果と対応する。すなわち、学習済モデルを用いることで、上述した第二の時間と第三の時間との時間間隔に対応する数か月から数年先において、この被検眼から得られる可能性の高い解析値と計測値とを得ることができる。When obtaining a trained model, as described here, test results and measurement results previously obtained at at least three points in time in the past are used as training data for training. Then, when using this trained model, two test results and measurement results obtained at a time interval between a first time and a second time in the past that correspond to the input data used when generating the trained model are input. The teacher data corresponds to the analysis values, etc. and measurement results generated from the trained model. In other words, by using the trained model, it is possible to obtain analysis values and measurement values that are likely to be obtained from the subject's eye several months to several years in the future, corresponding to the time interval between the second time and the third time described above.
なお、ここでは断層画像の取得時と計測値の取得時は例えば第一の時間で同じと称している。しかし、例えば緑内障等、病変が緩やかに進行する被検眼が対象となる場合であれば、断層画像と計測値との取得とは、厳密に同じ時間で無くともよい。例えば、数日の間隔があっても、病状の推移に鑑みて許容できる場合がある。Note that here, the time when the tomographic image is acquired and the time when the measurement value is acquired are said to be the same, for example, at the first time. However, when the subject's eye is one in which a lesion such as glaucoma progresses slowly, the tomographic image and the measurement value do not need to be acquired at exactly the same time. For example, an interval of several days may be acceptable in consideration of the progression of the disease condition.
例えば、緑内障についての検査では、断層画像からの解析値で得られる情報に加え、眼圧値や強度近視眼での眼軸長等が有効である。本実施例によれば、断層画像から得られる解析値だけではなく、被検眼に関する他の種類の計測パラメータについての計測値を用いて、将来的な被検眼についての解析値や計測値を生成することができる。また、医師等はこれら計測値も参照した上で上述した評価値を定め、演算処理部８３２は学習済モデルを用いて将来想定される評価値を生成する。従って、緑内障を例とした場合、その症状をより適切に判断できる計測値も参照することで、医師等の診断に際して、より確度の高い診断補助データを提供することができる。For example, in an examination for glaucoma, in addition to information obtained from analytical values from a tomographic image, intraocular pressure values and axial length in severe myopia are effective. According to this embodiment, future analytical values and measurement values for the test eye can be generated using not only analytical values obtained from a tomographic image, but also measurement values for other types of measurement parameters related to the test eye. In addition, a doctor or the like can determine the above-mentioned evaluation value by referring to these measurement values, and the calculation processing unit 832 generates an expected future evaluation value using the trained model. Therefore, in the case of glaucoma as an example, by referring to measurement values that can more appropriately judge the symptoms, more accurate diagnostic auxiliary data can be provided when a doctor or the like makes a diagnosis.
なお、計測値として、ここでは眼軸長や眼圧を例示した。しかし、本実施例において用いる計測値を得る計測パラメータはこれらに限らず、視野データや視力データ等を用いることもできる。また、ここでは、断層画像から得られた解析値と断層画像を解析する以外の手段によって得られた計測値との両方を入力データとする例について述べた。しかし、入力データあるいは入力されるデータはこれに限られない。例えば、演算処理部８３２が、断層画像から得た解析値を用いずに、計測値だけを用いて将来的に計測され得る計測値を生成することとしてもよい。Here, axial length and intraocular pressure are given as examples of measurement values. However, the measurement parameters for obtaining the measurement values used in this embodiment are not limited to these, and visual field data, visual acuity data, etc. can also be used. Also, here, an example has been described in which both analytical values obtained from a tomographic image and measurement values obtained by a means other than analyzing the tomographic image are used as input data. However, the input data or data to be input is not limited to these. For example, the calculation processing unit 832 may generate measurement values that can be measured in the future using only the measurement values, without using analytical values obtained from a tomographic image.
上述したように、本実施例に係る取得部３０１は、実施例１で述べた解析値等に加え、第一の時間に関連付いた被検眼の第一の計測値と、第二の時間に関連付いた被検眼の第二の計測値とをさらに取得する。演算処理部８３２は、第一の断層に関するデータと、第一の計測値と、第二の断層に関するデータと、第二の計測値とから、第三の時間における複数種類の解析値の少なくとも一つを生成する。なお、演算処理部８３２が少なくとも一つの計測値を生成することとしてもよい。また、実施例１と同様に、学習済モデルに入力するデータに評価情報を加え、演算処理部８３２が評価情報も併せて生成することとしてもよい。この場合、評価情報のみを生成、表示することもできる。As described above, the
あるいは、本実施例に係る取得部３０１は、第一の時間に関連付いた被検眼の第一の計測値と、第二の時間に関連付いた被検眼の第二の計測値とを取得する態様とすることもできる。この場合、演算処理部８３２は、計測値のみを用いた学習済モデルを予め得ておき、これに第一の計測値および第二の計測値を入力することで、第三の時間における複数種類の計測値の少なくとも一つを生成することもできる。この場合、さらに、入力するデータおよび生成されるデータとして評価情報を含めることもできる。また、ここでは入力するデータや学習済モデル生成のための入力データとして断層データ（断層画像）を用いる場合について述べているが、複数の解析値を用いることもできる。Alternatively, the
本実施例によれば、実施例１で用いた断層データやその解析値だけなく、眼軸長や眼圧等の被検眼のその他の計測値も用いて、学習済モデルにより被検眼から将来に得られる可能性の高い断層データ、その解析値、および計測値を得ることができる。従って、この被検眼の診断に際して、経過観察や治療方針等にたいして診断補助にさらに有効な情報を提示することができる。According to this embodiment, not only the tomographic data and its analysis values used in
（実施例３）
実施例１および実施例２においては、被検眼を撮影することで得た断層画像、該断層画像から得た解析値、および被検眼を計測して得た計測値を用いて、被検眼の診断の補助となる情報を提示する例について示した。しかし、実際に被検眼に病変や異常が存在する場合、医師等がこれをそのまま放置して経過を観察することはまれであり、状況に応じて投薬、手術等の治療を被検眼に施す。実施例３においては、治療の有無も含めて、学習済モデルを用いることとし、治療も参照して各種解析値を生成する。また、例えば治療の効果を確認する目的で、将来的な被検眼の病状等の状態に関する評価値を生成する。Example 3
In the first and second embodiments, examples were shown in which information that aids in the diagnosis of the test eye is presented using a tomographic image obtained by photographing the test eye, an analysis value obtained from the tomographic image, and a measurement value obtained by measuring the test eye. However, when a lesion or abnormality actually exists in the test eye, it is rare for a doctor or the like to leave it as it is and observe the progress, and the test eye is treated with medication, surgery, or the like depending on the situation. In the third embodiment, a trained model is used, including the presence or absence of treatment, and various analysis values are generated with reference to the treatment. In addition, an evaluation value regarding the future condition of the test eye, such as the condition of the disease, is generated, for example, for the purpose of confirming the effect of the treatment.
以下、図９および図１０を参照して、本実施例に係る画像処理システム９、および表示部に表示されるレポート画面について説明する。以下の説明においては、実施例１および実施例２に係る画像処理システムとの違いを中心として説明する。なお、実施例１および実施例２に係る画像処理システム１および８の構成および処理と同様である本実施例に係る画像処理システム９の構成および処理については、同一の参照符号を用いて示し、ここでの説明を省略する。The
図９に、本実施例に係る画像処理システム９の概略的な構成の一例を示す。本実施例に係る画像処理システム９では、画像処理装置９００の処理部９０３において、演算処理部３３２に変えた本実施例に係る演算処理部９３２と、新たに設けられた治療情報取得部９３５とが配される。Figure 9 shows an example of a schematic configuration of an
治療情報取得部９３５は、被検眼の治療に関する情報を取得する。具体的には、治療情報取得部９３５は、例えばユーザーインターフェイスにより、ユーザが入力した計測値を取得するとよい。また、ネットワークを介して電子カルテシステムと連携し、電子カルテシステムに登録された数値データを取得してもよい。あるいは、バーコードリーダーやＲＦＩＤリーダー等、外部リーダーから情報を取得してもよい。The treatment information acquisition unit 935 acquires information related to the treatment of the subject eye. Specifically, the treatment information acquisition unit 935 may acquire measurement values input by the user via a user interface, for example. It may also link with an electronic medical record system via a network to acquire numerical data registered in the electronic medical record system. Alternatively, it may acquire information from an external reader, such as a barcode reader or an RFID reader.
本実施例においては、実施例１の図５および図６で示した入出力のパラメータベクトル（ｃ、ｈ、ｘ）の中身が異なる。すなわち、演算処理部９３２に入出力されるデータが異なる。実施例１では、学習や解析値生成時に用いたベクトルの中身では、断層画像あるいは該断層画像から得られた解析値をＰａｒａｍｓとして用いていた。これに対し、本実施例では、断層画像あるいは該断層画像から得られた解析値だけではなく、医師等が規定した被検眼の状態に関する評価値、および治療方法を入出力のパラメータベクトルに追加をして解析値の生成を行う。In this embodiment, the contents of the input/output parameter vectors (c, h, x) shown in Figures 5 and 6 of Example 1 are different. That is, the data input/output to the calculation processing unit 932 is different. In Example 1, the contents of the vectors used during learning and analysis value generation used the tomographic image or the analysis value obtained from the tomographic image as Params. In contrast, in this embodiment, not only the tomographic image or the analysis value obtained from the tomographic image, but also an evaluation value regarding the condition of the subject's eye specified by a doctor or the like and a treatment method are added to the input/output parameter vector to generate the analysis value.
例えば、実施例１ではＰａｒａｍｓ１～ＰａｒａｍｓＮとして、Ｎ個の解析値を用いた例を示した。これに対し、本実施例では、治療情報取得部９３５が取得する情報が、手術の手法や、投薬の種類等の治療の内容に関する情報Ｓだとすると、Ｐａｒａｍｓ１～ＰａｒａｍｓＮの解析値とＰａｒａｍｓＳとを用いて学習を行うこととなる。演算処理部９３２は、これらＮ個の解析値と、治療に関する情報Ｓとから学習データを取得し、これら学習データを用いて得られた学習済モデルを用いる。For example, in the first embodiment, an example was shown in which N analytical values were used as Params1 to ParamsN. In contrast, in this embodiment, if the information acquired by the treatment information acquisition unit 935 is information S on the contents of treatment, such as the surgical technique and the type of medication, learning is performed using the analytical values of Params1 to ParamsN and ParamsS. The calculation processing unit 932 acquires learning data from these N analytical values and the treatment-related information S, and uses the trained model obtained using this learning data.
次に図１０を参照して、本実施例に係る表示部６００に表示する画面の一例を示す。本実施例において、表示画面１０１０には、第二のセレクタ１０２１がセレクタ７２１に併せて表示される。ここでは、Ｐａｒａｍｓ１についての時系列のグラフ１０２０において、現時点で第二のセレクタ１０２１によって選択された治療１が被検眼に実施された場合の例を示している。グラフ７２０には、白丸１０２３に示される時点において治療１が被検眼に施された場合、将来の網膜厚の予測値は星印１０２４となることが示される。Next, referring to FIG. 10, an example of a screen displayed on the
本実施例において、例えば、被検眼に対してある治療（例えば投薬）を実施する場合、撮影によって得られた解析値に基づいて、選択している計測パラメータの将来的な解析値を得ることができる。さらに、第二のセレクタ１０２１を切り替えることで治療の種類が選択でき、選択した治療に応じて、星印１０２４として得られる解析値や進行予測値である確率１０２５が変化する。In this embodiment, for example, when a certain treatment (e.g., medication) is performed on the subject's eye, the future analysis value of the selected measurement parameter can be obtained based on the analysis value obtained by photographing. Furthermore, the type of treatment can be selected by switching the
本実施例において、演算処理部は、学習済モデルを用いて、第一の時間に被検眼を撮影することで得た断層データと、第一の時間の後の第二の時間に被検眼を撮影することで得た断層データとから、第二の時間より後の第三の時間で撮影される断層画像を生成する。その際、第一の時間および第二の時間の少なくともいずれかにおいて被検眼に治療が施された場合、断層データに併せてこの治療に関しても学習済モデルに入力される。生成された断層画像に対しては、画像処理部３３１において解析処理が行われ、該断層画像における複数種類の解析値が算出される。なお、この複数種類の解析値の算出は演算処理部３３２で行ってもよく、算出ではなく学習済モデルを用いて生成することとしてもよい。In this embodiment, the arithmetic processing unit uses the learned model to generate a tomographic image captured at a third time after the second time from tomographic data obtained by photographing the test eye at a first time and tomographic data obtained by photographing the test eye at a second time after the first time. In this case, if treatment is administered to the test eye at least at either the first time or the second time, this treatment is also input to the learned model together with the tomographic data. The image processing unit 331 performs an analysis process on the generated tomographic image, and multiple types of analytical values for the tomographic image are calculated. Note that the calculation of the multiple types of analytical values may be performed by the arithmetic processing unit 332, or the values may be generated using the learned model rather than calculated.
さらに、第一の時間および第二の時間の少なくともいずれかにおける被検眼の評価値も学習済モデルに入力されるとよい。これにより、被検眼に施した治療がどのような効果を発現させるかが、生成された評価値により数値的に把握することができる。なお、治療の有無を表すデータは、例えば、治療していない時は０、治療をした時には１等として学習済モデルに入力するとよい。さらにこの場合、治療をしたかしないかというだけではなく、治療の種類（例えば、投薬治療、手術等）に応じて、入力値を２や３とするようにしてもよい。Furthermore, the evaluation value of the subject's eye at at least one of the first time and the second time may also be input to the trained model. This allows the effect of the treatment administered to the subject's eye to be numerically understood from the generated evaluation value. Note that data indicating the presence or absence of treatment may be input to the trained model as, for example, 0 when no treatment was administered and 1 when treatment was administered. Furthermore, in this case, the input value may be set to 2 or 3 depending on the type of treatment (e.g., drug treatment, surgery, etc.) rather than just whether treatment was administered or not.
ここで、本実施例における学習済モデルを得る際のトレーニングに用いる学習データについて説明する。実施例１では、入力データとして、第一の時間と該第一の時間より後の第二の時間の少なくとも二つの時間に、同一被検眼を同じ撮影条件で撮影して得た二つの断層画像およびその評価情報を用いることができる。あるいは、二つの断層画像に変えて、該断層画像から得た複数種類の解析値からなる二つの検査結果およびその評価情報を用いることもできる。本実施例では、さらに第一の時間および第二の時間の少なくともいずれかにおいて被検眼に施された治療の内容を、併せて入力データとする。また、教師データとして、第二の時間よりもさらに後の第三の時間に、同一被検眼を同じ撮影条件で撮影して得た断層画像あるいは該断層画像から得た複数種類の解析値からなる検査結果と、第三の時間における被検眼の評価情報とを用いる。Here, the learning data used for training when obtaining the trained model in this embodiment will be described. In the first embodiment, as input data, two tomographic images obtained by photographing the same test eye under the same shooting conditions at at least two times, a first time and a second time after the first time, and their evaluation information can be used. Alternatively, instead of the two tomographic images, two test results consisting of multiple types of analysis values obtained from the tomographic images and their evaluation information can be used. In this embodiment, the contents of the treatment administered to the test eye at at least one of the first time and the second time are also used as input data. In addition, as teacher data, a tomographic image obtained by photographing the same test eye under the same shooting conditions at a third time after the second time, or an test result consisting of multiple types of analysis values obtained from the tomographic image, and the evaluation information of the test eye at the third time are used.
学習済モデルを得る際には、ここで述べたように、過去の少なくとも三つの時点で予め得られている検査結果およびその評価情報を学習データに用いて学習を行う。そして、この学習済モデルを用いる際には、学習済モデルの生成時に用いた入力データに対応する過去の第一の時間と第二の時間とで得られている二つの検査結果、およびいずれかの時間での被検眼の評価情報、および治療に関する情報を入力する。教師データは、学習済モデルから生成される解析値等および評価情報と対応する。すなわち、学習済モデルを用いることで、上述した第二の時間と第三の時間との時間間隔に対応する数か月から数年先において、この被検眼から得られる可能性の高い解析値とその際の被検眼の評価情報とを得ることができる。When obtaining a trained model, as described here, training is performed using test results and their evaluation information previously obtained at at least three points in time in the past as training data. When using this trained model, two test results obtained at a first time and a second time in the past corresponding to the input data used when generating the trained model, evaluation information of the test eye at either time, and information regarding treatment are input. The teacher data corresponds to the analysis values, etc. and evaluation information generated from the trained model. In other words, by using the trained model, it is possible to obtain analysis values that are likely to be obtained from the test eye several months to several years in the future corresponding to the time interval between the second time and the third time described above, and evaluation information of the test eye at that time.
より具体的には、例えば、上述した第一の時間にて緑内障を有する被検眼に対して特定の薬が与えられた場合、入力されるデータの一つはその際の被検眼の断層画像から得られる解析値と、その際の被検眼の評価情報と、投薬を示すフラグとなる。また、第二の時間では投薬がされなかった場合、入力されるデータのもう一つは、その際の被検眼の断層画像から得られる解析値と、その際の被検眼の評価情報となる。これに対し、学習済モデルを用いた結果、同一被検眼において、第二の時間の後の第三の時間に撮影された断層画像の解析値と、その際の被検眼の評価情報とが生成される。More specifically, for example, if a specific medication is administered to a subject eye with glaucoma at the first time described above, one piece of input data will be the analysis value obtained from the tomographic image of the subject eye at that time, evaluation information of the subject eye at that time, and a flag indicating medication. If medication is not administered at the second time, another piece of input data will be the analysis value obtained from the tomographic image of the subject eye at that time, and evaluation information of the subject eye at that time. In contrast, as a result of using the trained model, for the same subject eye, the analysis value of the tomographic image taken at a third time after the second time and the evaluation information of the subject eye at that time are generated.
この場合の学習済モデルの生成に用いる学習データには、上述した特定の薬が与えられたことがあり、且つ予め時系列の解析値が得られている被検眼についてのデータが用いられる。実際の入力データとしては、投薬時の解析値と評価情報が入力データの一つとなる。また入力データのもう一つには、投薬から、第一の時間と第二の時間との時間間隔と略等しい時間間隔を隔てて被検眼を撮影して得られた解析値、およびその際の評価情報となる。さらに、教師データには、第二の時間と第三の時間との時間間隔と略等しい時間間隔を隔てて被検眼を撮影して得られた解析値、およびその際の評価情報となる。なお、この時間間隔は厳密に一致する必要は無く、例えば病気の進行速度等に応じて、数日から数週間程度の誤差が有っても許容される場合がある。In this case, the learning data used to generate the trained model is data on the subject's eye that has been administered the specific drug described above and for which time-series analysis values have been obtained in advance. One of the actual input data is the analysis value and evaluation information at the time of drug administration. Another input data is the analysis value obtained by photographing the subject's eye at a time interval approximately equal to the time interval between the first time and the second time after drug administration, and the evaluation information at that time. Furthermore, the teacher data is the analysis value obtained by photographing the subject's eye at a time interval approximately equal to the time interval between the second time and the third time, and the evaluation information at that time. Note that this time interval does not need to be exactly the same, and an error of several days to several weeks may be acceptable depending on, for example, the progression rate of the disease.
なお、ここでは第一の時間において投薬が行われた場合を例として本実施例に係る学習済モデルを得る際に用いた学習データ、および該学習済モデルに入力するデータと生成される結果について述べた。しかし、投薬等、治療のタイミングはここで述べた例に限られず、第二の時間に行われてもよく、第一の時間および第二の時間の両方で行われてもよい。この場合、対応する学習済モデルを予め得ておくことにより、治療の結果得られる可能性の高い解析値と評価情報とを得ることができる。Here, the learning data used to obtain the trained model of this embodiment, the data input to the trained model, and the generated results are described using an example in which medication is administered at the first time. However, the timing of treatment, such as medication, is not limited to the example described here, and may be administered at the second time, or at both the first time and the second time. In this case, by obtaining the corresponding trained model in advance, it is possible to obtain analysis values and evaluation information that are likely to result from treatment.
上述したように、本実施例に治療情報取得部９３５は、被検眼に対して第一の時間および第二の時間の少なくともいずれかで行われた治療に関する情報を取得する。この場合の治療は、第一の断層に関するデータおよび第二の断層に関するデータの少なくともいずれかと関連付けられている。本実施例において、演算処理部９３２は、第一の断層に関するデータと、第二の断層に関するデータと、少なくともこれらデータのいずれかと関連付けられた治療に関する情報とから、第三の時間における複数種類の解析値の少なくとも一つを生成する。なお、ここで述べた断層に関するデータは、断層画像から得た上述した複数の解析値であってもよく、断層データ（断層画像）であってもよい。As described above, in this embodiment, the treatment information acquisition unit 935 acquires information regarding the treatment performed on the subject's eye at least at the first time and at least at the second time. In this case, the treatment is associated with at least one of the data regarding the first tomography and the data regarding the second tomography. In this embodiment, the calculation processing unit 932 generates at least one of the multiple types of analysis values at the third time from the data regarding the first tomography, the data regarding the second tomography, and information regarding the treatment associated with at least one of these data. Note that the data regarding the tomography described here may be the above-mentioned multiple analysis values obtained from a tomography image, or may be tomography data (tomography image).
なお、本実施例に係る画像処理装置９００は、実施例１で述べた断層画像およびその解析値、並びに実施例２で述べた計測値を演算処理部に入力する態様に限られない。例えば、被検眼についての評価情報と、被検眼の状態を示す少なくとも一つの被検眼情報と、被検眼の治療に関する情報とを演算処理部９３２に入力する態様としてもよい。The
この場合、評価対象は、第一の時間および第一の時間よりも後の第二の時間の少なくともいずれかにおいて治療が施された被検眼となる。治療情報取得部９３５は、この治療に関する情報を取得する。演算処理部９３２は、第一の時間に関連付いた被検眼の第一の計測データと、第二の時間に関連付いた被検眼の第二の計測データと、を例えば断層画像から演算する。なお、ここでは、実施例１述べた被検眼の断層画像等の画像解析により得た解析値と、実施例２で述べた被検眼を計測することにより得た計測値とを含み、実際に被検眼から得たデータを計測データとする。演算処理部９３２は、第一の時間および第二の時間の少なくともいずれかに関連づいた評価情報を、これら第一および第二の計測データと、治療に関する情報とを、学習済モデルに入力する。学習済モデルは、これら入力された計測データ及び情報を用いて、被検眼の、第二の時間より後の第三の時間の評価情報を生成することもできる。In this case, the subject of evaluation is an eye treated at least at the first time and at a second time after the first time. The treatment information acquisition unit 935 acquires information related to this treatment. The calculation processing unit 932 calculates the first measurement data of the eye associated with the first time and the second measurement data of the eye associated with the second time, for example, from a tomographic image. Note that here, the measurement data includes the analysis value obtained by image analysis of the tomographic image of the eye described in Example 1 and the measurement value obtained by measuring the eye described in Example 2, and the data actually obtained from the eye is considered to be measurement data. The calculation processing unit 932 inputs the evaluation information associated with at least the first time and the second time, the first and second measurement data, and information related to the treatment, into the trained model. The trained model can also generate evaluation information of the eye at a third time after the second time using the input measurement data and information.
なお、この場合、表示制御部３０５は、演算処理部９３２は、学習済モデルを用いて生成した被検眼の第三の時間に得られるであろうと予測される計測データである、第三の時間における第三の計測データを生成する。表示制御部３０５は、この生成された第三の計測データと、第一の計測データおよび前記第二の計測データと、を用いてグラフ１０２０を生成する。表示制御部３０５はこのグラフ１０２０を表示部６００における表示画面１０１０に表示させることができる。また、その際、表示制御部３０５は、この表示画面１０１０に生成された第三の時間の評価情報（確率１０２５）と、治療の種類（第二のセレクタ１０２１）と、を併せて表示させることができる。その際、治療の種類としては、手術および投薬の少なくともいずれかを含むことができる。また、被検眼の状態に関する評価情報は、断層画像、その解析値、上述した計測値、或いはその他の観察画像等に基づいて、医師等のユーザが被検眼の診断結果として提示する情報であって、ユーザによって入力される。In this case, the
本実施例によれば、実施例１で用いた断層データやその解析値だけでなく、被検眼に施した治療の有無も用いて、学習済モデルにより被検眼から将来に得られる可能性の高い断層データ、その解析値、および被検眼の状態を示す評価情報を得ることができる。従って、この被検眼の診断に際し、治療によって被検眼の状態がどのように推移するかについての可能性を医師等に提示できることとなり、経過観察や治療方針等に対して診断補助にさらに有効な情報を提示することができる。According to this embodiment, not only the tomographic data and its analysis values used in Example 1, but also the presence or absence of treatment performed on the test eye can be used to obtain, using a trained model, tomographic data that is likely to be obtained from the test eye in the future, its analysis values, and evaluation information indicating the condition of the test eye. Therefore, when diagnosing this test eye, it is possible to present to a doctor or the like the possibility of how the condition of the test eye will progress due to treatment, and it is possible to present information that is even more useful for assisting diagnosis in follow-up observation, treatment plans, etc.
（変形例１）
実施例１乃至３では、取得部３０１がＯＣＴ装置２００で被検眼を撮影することで得た断層データを取得し、画像処理装置はこの断層データを用いて上述した解析値等の生成を行っている。しかし、取得部３０１がこれら断層データを取得する構成はこれに限られない。例えば、既に撮影がされており、外部記憶装置５００等、画像処理装置とＬＡＮ、ＷＡＮ、又はインターネット等を介して接続されるサーバに記憶されている断層データを取得部３０１が取得し、該断層データ用いて上述した一連の処理を行ってもよい。その場合、撮影に関する処理を省略し、その代わりに撮影済みの断層画像を取得する。そして、ステップＳ３０４で網膜層の検出と網膜厚の計測等を行う。これにより、撮影時に処理をしなくても、必要な時に網膜層の検出を実行することができ、撮影時には撮影だけに集中することができる。(Variation 1)
In the first to third embodiments, the
（変形例２）
実施例１では、断層データあるいは該断層データから得られた解析値、さらには被検眼の評価情報を学習済モデルに入力することにより、将来得られる可能性の高い解析値および評価情報を得る画像処理装置について述べた。また、実施例２では、断層データあるいは該断層データから得られた解析値に併せて被検眼の計測値を学習済モデルに入力することにより、将来得られる可能性の高い解析値および計測値を得る画像処理装置について述べた。しかし、本発明の態様はこれら実施例に限定されず、例えば被検眼の計測値と該計測値を参照して得られた評価情報を学習済モデルに入力することにより、将来得られる可能性の高い計測値および評価情報を得ることとしてもよい。(Variation 2)
In the first embodiment, an image processing device was described that obtains an analysis value and evaluation information that are likely to be obtained in the future by inputting tomographic data or an analysis value obtained from the tomographic data, and further, evaluation information of the subject's eye into a trained model. In the second embodiment, an image processing device was described that obtains an analysis value and measurement value that are likely to be obtained in the future by inputting tomographic data or a measurement value of the subject's eye together with the analysis value obtained from the tomographic data into a trained model. However, the aspects of the present invention are not limited to these embodiments, and for example, a measurement value of the subject's eye and evaluation information obtained by referring to the measurement value may be input into a trained model to obtain a measurement value and evaluation information that are likely to be obtained in the future.
さらに、実施例３において、治療に関するフラグと被検眼の計測値のみを学習済モデルに入力することにより、将来得られる可能性の高い計測値を得ることとしてもよい。また、さらに評価情報を併せて入力することにより、将来得られる可能性の高い評価情報を併せて得ることとしてもよい。また、上述した実施例では、入力するデータを第一の時間に関連付いたものと第二の時間に関連付いたものの２つの時間に得られたデータとし、これらデータから第三の時間に得られる可能性の高いデータ等を生成することとしている。しかし、入力するデータ、或いは学習済モデルの生成に際して用いる入力データの数は例示した２つに限られず、更に多くすることができる。入力するデータ及び入力データを増やすことにより、得られるであろうと予測するデータ（出力データ）の精度を高めることができる。また、学習済モデルの生成に際して用いた入力データの数より実際に入力するデータが少ない場合、例えば欠損するデータを適当な方法により補完することで、適切な出力データを得ることもできる。例えば実施例２において、時系列的に並ぶ５つの解析値及び計測値を入力データとして用いて得た学習済モデルを用いる場合、解析値が３つ或いは４つの場合であっても、足りない解析値を補完することで、データを出力することが可能となる。例えば、足りない解析値の前後の少なくとも２つの解析値を用いて足りない解析値を推定することが考えられる。このとき、少なくとも２つの解析値から求められる平均値や中央値等を足りない解析値として推定しても良い。また、少なくとも２つの解析値から求められる近似直線や近似曲線等を用いて足りない解析値を推定しても良い。また、第一の時間に関連付けられた複数種類の解析値と、第二の時間に関連付けられた複数種類の解析値とは、全く同じ種類である必要はなく、一部異なる種類があっても良いし、足りない種類があっても良い。また、上述した内容は、学習時においても、矛盾しない範囲で同様に適用することが可能である。Furthermore, in Example 3, only the flag related to treatment and the measurement value of the subject eye may be input into the trained model to obtain a measurement value that is likely to be obtained in the future. Furthermore, by further inputting evaluation information, evaluation information that is likely to be obtained in the future may also be obtained. Furthermore, in the above-mentioned embodiment, the input data is data obtained at two times, one associated with the first time and the other associated with the second time, and data that is likely to be obtained at the third time is generated from these data. However, the number of input data to be input or input data used in generating the trained model is not limited to the two exemplified, and can be further increased. By increasing the input data and input data, the accuracy of the data (output data) that is predicted to be obtained can be improved. Furthermore, when the number of data actually input is less than the number of input data used in generating the trained model, for example, appropriate output data can be obtained by complementing the missing data using an appropriate method. For example, in Example 2, when a trained model obtained by using five analysis values and measurement values arranged in a chronological order as input data is used, even if there are three or four analysis values, it is possible to output data by complementing the missing analysis values. For example, it is possible to estimate the missing analytic value using at least two analytic values before and after the missing analytic value. In this case, the missing analytic value may be estimated as an average value, median value, or the like obtained from at least two analytic values. The missing analytic value may also be estimated using an approximate line or an approximate curve obtained from at least two analytic values. Furthermore, the multiple types of analytic values associated with the first time and the multiple types of analytic values associated with the second time do not need to be exactly the same type, and some types may be different, or there may be missing types. Furthermore, the above content can be similarly applied during learning as long as there is no contradiction.
なお、学習済モデルは、上述したように、演算処理部３３２，８３２に設けられることができる。この場合、学習済モデルは、例えば、ＣＰＵ等のプロセッサーによって実行されるソフトウェアモジュール等で構成されることができる。また、学習済モデルは、画像処理装置３００，８００と接続される別のサーバ等に設けられてもよい。この場合には、演算処理部３３２，８３２に接続できる、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバに接続することで、この学習済モデルを用いて解析値、計測値、評価情報等の生成を行うことができる。The trained model can be provided in the arithmetic processing unit 332, 832 as described above. In this case, the trained model can be configured, for example, as a software module executed by a processor such as a CPU. The trained model may also be provided in another server connected to the
（その他の実施形態）
上述したそれぞれの実施例は、本発明を画像処理装置として実現したものである。しかしながら、本発明の実施例は画像処理装置或いは、実施例において述べた画像処理方法のみに限定されるものではない。本発明をコンピュータ上で動作するソフトウェアとして実現することも可能である。また、画像処理装置のＣＰＵは、ＲＡＭやＲＯＭに格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置の各部に対応するソフトウェアの実行を制御して、各部の機能を実現し、画像処理時に行われる各工程を実行することもできる。また、ボタン等のユーザーインターフェイスや表示のレイアウトは上述した態様に限定されるものではない。Other Embodiments
Each of the above-mentioned embodiments is an embodiment of the present invention realized as an image processing device. However, the embodiments of the present invention are not limited to the image processing device or the image processing method described in the embodiments. The present invention can also be realized as software that runs on a computer. The CPU of the image processing device controls the entire computer using computer programs and data stored in the RAM and ROM. It can also control the execution of software corresponding to each part of the image processing device to realize the function of each part and execute each process performed during image processing. The user interface such as buttons and the display layout are not limited to the above-mentioned aspects.
さらに、本発明は、上述した実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、システム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。Furthermore, the present invention can also be realized by supplying a program that realizes one or more of the functions of the above-mentioned embodiments to a system or device via a network or storage medium, and having one or more processors in a computer of the system or device read and execute the program. It can also be realized by a circuit (e.g., an ASIC) that realizes one or more functions.
以上、実施例および変形例を参照して本発明について説明したが、本発明は上記実施例および変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、および本発明と均等な発明も本発明に含まれる。また、上述の各実施例および変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。The present invention has been described above with reference to examples and modifications, but the present invention is not limited to the above examples and modifications. The present invention also includes inventions that have been modified without going against the spirit of the present invention, and inventions that are equivalent to the present invention. In addition, the above-mentioned examples and modifications can be combined as appropriate without going against the spirit of the present invention.
１、８：画像処理システム、２００：断層画像撮影装置、３００、８００：画像処理装置、３０１：画像取得部、３０３：処理部、３０５：表示制御部、３１１：断層画像生成部、３３２、８３２：演算処理部、３３３：撮影条件取得部、３３４：選択部、８３５：計測値取得部1, 8: Image processing system, 200: Tomographic imaging device, 300, 800: Image processing device, 301: Image acquisition unit, 303: Processing unit, 305: Display control unit, 311: Tomographic image generation unit, 332, 832: Calculation processing unit, 333: Shooting condition acquisition unit, 334: Selection unit, 835: Measurement value acquisition unit
Claims (23)
Translated fromJapanese被検眼の断層に関するデータを取得するための複数の撮影条件のそれぞれに対応する学習済モデルのうち、前記複数の撮影条件の少なくとも前記撮影部位が同じである前記取得された第一の断層に関するデータおよび前記取得された第二の断層に関するデータの撮影条件に対応する学習済モデルを選択する選択手段と、
前記選択された学習済モデルを用いて、前記取得された第一の断層に関するデータと前記取得された第二の断層に関するデータとから、前記第二の時間より後の第三の時間における前記被検眼の複数種類の解析値の少なくとも一つを生成する生成手段と、
を備えることを特徴とする画像処理装置。 an acquisition means for acquiring data relating to a slice including a plurality of types of analysis values of a subject's eye and associated with imaging conditions including an imaging site, the data including a first slice of the subject's eye associated with a first time and a second slice of the subject's eye associated with a second time after the first time;
A selection means for selecting a trained model corresponding to an imaging condition of the acquired first tomographic data and the acquired second tomographic data, in which at least the imaging site of the plurality of imaging conditions is the same, from among trained models corresponding to each of a plurality of imaging conditions for acquiring data on a tomographic section of the subject's eye;
A generation means for generating at least one of a plurality of types of analysis values of the subject's eye at a third time after the second time from the acquired data on the first cross-section and the acquired data on the second cross-section by using the selected trained model;
An image processing device comprising:
前記第二の断層に関するデータは、前記第二の時間に撮影して得た断層画像を解析して得た複数種類の解析値であることを特徴とする請求項１に記載の画像処理装置。 the data on the first tomography is a plurality of types of analysis values obtained by analyzing the tomography image captured at the first time,
2. The image processing apparatus according to claim 1, wherein the data relating to the second tomography is a plurality of types of analysis values obtained by analyzing the tomography image captured at the second time.
被検眼の断層に関するデータを取得するための複数の撮影条件それぞれに対応する学習済モデルのうち、前記複数の撮影条件の少なくとも前記撮影部位が同じである前記取得された第一の断層に関するデータおよび前記取得された第二の断層に関するデータの撮影条件に対応する学習済モデルを選択する選択手段と、
前記選択された学習済モデルを用いて、前記取得された第一の断層に関するデータと前記取得された第二の断層に関するデータとから、前記第二の時間より後の第三の時間における前記被検眼の複数種類の解析値の少なくとも一つを生成する生成手段と、
を備えることを特徴とする画像処理装置。 an acquisition means for acquiring data relating to a section including a tomographic image obtained by photographing a subject's eye, the data being associated with photographing conditions including an imaging site, the data relating to a first section of the subject's eye associated with a first time, and data relating to a second section of the subject's eye associated with a second time after the first time;
A selection means for selecting a trained model corresponding to an imaging condition of the acquired first tomographic data and the acquired second tomographic data, in which at least the imaging site of the plurality of imaging conditions is the same, from among trained models corresponding to each of a plurality of imaging conditions for acquiring data on a tomographic section of the subject's eye;
A generation means for generating at least one of a plurality of types of analysis values of the subject's eye at a third time after the second time from the acquired data on the first cross-section and the acquired data on the second cross-section by using the selected trained model;
An image processing device comprising:
前記生成手段は、前記第一の断層に関するデータと、前記第一の計測値と、前記第二の断層に関するデータと、前記第二の計測値とから、前記第三の時間における前記複数種類の解析値の少なくとも一つを生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。 The acquiring means further acquires a first measurement value of the subject's eye associated with the first time and a second measurement value of the subject's eye associated with the second time,
The image processing device according to any one of claims 1 to 7, characterized in that the generation means generates at least one of the multiple types of analysis values at the third time from data regarding the first fault, the first measurement value, data regarding the second fault, and the second measurement value.
前記生成手段は、前記第一の断層に関するデータと、前記第二の断層に関するデータと、前記治療に関する情報とから、前記第三の時間における前記複数種類の解析値の少なくとも一つを生成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。 the acquiring means acquires information on a treatment associated with at least one of the data on the first cross-section and the data on the second cross-section, the treatment being performed on the subject's eye at the first time or the second time;
9. The image processing device according to claim 1, wherein the generating means generates at least one of the plurality of types of analysis values at the third time from data relating to the first slice, data relating to the second slice, and information relating to thetreatment .
前記生成手段は、前記第三の時間における前記複数種類の解析値の少なくとも一つに併せて、前記第三の時間における評価情報を生成することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。 the acquiring means acquires evaluation information regarding a state of the subject's eye at the first time and the second time,
10. The image processing apparatus according to claim 1, wherein the generating means generates evaluation information at the third time in addition to at least one of the plurality of types of analysis values at the third time.
被検眼の計測データを取得するための複数の撮影条件それぞれに対応する学習済モデルのうち、前記撮影条件の少なくとも撮影部位が同じである前記取得された第一の計測データおよび前記取得された第二の計測データの前記撮影条件に対応する学習済モデルを選択する選択手段と、
前記選択された学習済モデルを用いて、前記治療に関する情報、前記第一の計測データ、前記第二の計測データ、および前記評価情報から、前記第二の時間より後の第三の時間における前記被検眼の前記撮影部位の状態に関する評価情報を生成する生成手段と、
を備えることを特徴とする画像処理装置。 an acquisition means for acquiring data including an imaging site of a subject's eye that has been treated at least at a first time and/or a second time subsequent to the first time, the acquisition means acquiring first measurement data of the imaging site of the subject's eye associated with the first time, second measurement data of the imaging site of the subject's eye associated with the second time, and evaluation information on a state of the imaging site of the subject's eye associated with at least one of the first time and the second time;
A selection means for selecting a trained model corresponding to the imaging conditions of the acquired first measurement data and the acquired second measurement data, in which at least the imaging site of the imaging conditions is the same, from among trained models corresponding to each of a plurality of imaging conditions for acquiring measurement data of the subject's eye;
a generating means for generating evaluation information regarding a state of the imaging site of the subject's eye at a third time after the second time from information regarding the treatment, the first measurement data, the second measurement data, and the evaluation information by using the selected trained model; and
An image processing device comprising:
前記生成された第三の計測データ、前記第一の計測データおよび前記第二の計測データを用いて得られたグラフと、前記生成された第三の時間における評価情報と、前記治療の種類と、を表示部に表示させる表示制御手段をさらに備えることを特徴とする請求項１５に記載の画像処理装置。 The generating means generates third measurement data of the imaging site of the subject's eye at the third time by using the selected trained model,
The image processing device described in claim 15, further comprising a display control means for causing a display unit to display the generated third measurement data, a graph obtained using the first measurement data and the second measurement data, the generated evaluation information at the third time, and the type of treatment.
前記第二の計測データは、前記第二の時間に前記被検眼を撮影して得た断層画像から得られることを特徴とする請求項１５乃至１８のいずれか１項に記載の画像処理装置。 the first measurement data is obtained from a tomographic image obtained by photographing the subject's eye at the first time,
19. The image processing apparatus according to claim 15, wherein the second measurement data is obtained from a tomographic image obtained by photographing the subject's eye at the second time.
前記被検眼の複数の断層に関するデータそれぞれの解析値を用いて学習された学習済モデルから、前記第一の断層に関するデータおよび前記第二の断層に関するデータの撮影時の撮影条件に含まれる撮影部位に対応する学習済モデルを選択する選択工程と、
前記選択された学習済モデルを用いて、前記取得された第一の断層に関するデータと前記取得された第二の断層に関するデータとから、前記第二の時間より後の第三の時間における前記被検眼の前記撮影部位の複数種類の解析値の少なくとも一つを生成する生成工程と、
を含むことを特徴とする画像処理方法。 an acquiring step of acquiring data relating to a slice including a plurality of types of analysis values of the subject's eye and associated with imaging conditions including an imaging site, the data including a first slice of the imaging site of the subject's eye associated with a first time and a second slice of the imaging site of the subject's eye associated with a second time after the first time;
A selection step of selecting a trained model corresponding to an imaging site included in imaging conditions at the time of imaging the data on the first tomography and the data on the second tomography from trained models trained using respective analysis values of the data on the multiple tomography of the subject's eye;
A generation process of generating at least one of a plurality of types of analysis values of the imaging site of the subject's eye at a third time after the second time from the acquired data on the first tomography and the acquired data on the second tomography using the selected trained model;
13. An image processing method comprising:
前記被検眼の断層に関するデータを取得するための複数の撮影条件それぞれに対応する学習済モデルのうち、前記第一の断層に関するデータおよび前記第二の断層に関するデータの撮影時の撮影条件に含まれる撮影部位に対応する学習済モデルを選択する選択工程と、
前記選択された学習済モデルを用いて、前記取得された第一の断層に関するデータと前記取得された第二の断層に関するデータとから、前記第二の時間より後の第三の時間における前記被検眼の前記撮影部位の複数種類の解析値の少なくとも一つを生成する生成工程と、
を含むことを特徴とする画像処理方法。 an acquiring step of acquiring data relating to a section including a tomographic image obtained by photographing a subject's eye, the data being associated with photographing conditions including a photographing site, the data relating to a first section of the photographing site of the subject's eye associated with a first time, and data relating to a second section of the photographing site of the subject's eye associated with a second time after the first time;
A selection step of selecting a trained model corresponding to an imaging site included in the imaging conditions at the time of imaging the first tomographic data and the second tomographic data from among trained models corresponding to each of a plurality of imaging conditions for acquiring data related to a tomography of the subject's eye;
A generation process of generating at least one of a plurality of types of analysis values of the imaging site of the subject's eye at a third time after the second time from the acquired data on the first tomography and the acquired data on the second tomography using the selected trained model;
13. An image processing method comprising:
第一の時間および前記第一の時間よりも後の第二の時間の少なくともいずれかにおいて治療が施された被検眼であって、前記第一の時間に関連付いた前記被検眼の撮影部位の第一の計測データと、前記第二の時間に関連付いた前記被検眼の前記撮影部位の第二の計測データと、前記第一の時間および前記第二の時間の少なくともいずれかと関連付けられた、前記被検眼の前記撮影部位の状態に関する評価情報と、を前記画像処理装置が取得する工程と、
被検眼の計測データを取得するための複数の撮影条件のそれぞれに対応する学習済モデルのうち、前記取得された第一の計測データおよび前記取得された第二の計測データの撮影条件に含まれる撮影部位に対応する学習済モデルを前記画像処理装置が選択する工程と、
前記選択された学習済モデルを用いて、前記治療に関する情報、前記第一の計測データ、前記第二の計測データ、および前記評価情報から、前記第二の時間より後の第三の時間における前記被検眼の前記撮影部位の状態に関する評価情報を前記画像処理装置が生成する工程と、
を含むことを特徴とする画像処理装置の作動方法。1. A method of operating an image processing device, comprising:
A step of acquiring, by the image processing device, first measurement data of an imaging site of the test eye associated with the first time, second measurement data of the imaging site of the test eye associated with the second time, and evaluation information on a state of the imaging site of the test eye associated with at least one of the first time and the second time, for a test eye that has been treated at at least one of a first time anda second time after the first time ;
A step in which the image processing device selects, from among trained models corresponding to each of a plurality of shooting conditions for acquiring measurement data of the subject's eye, a trained model corresponding to an imaging site included in the shooting conditions of the acquiredfirst measurement data and the acquired second measurement data ;
A step of generating evaluation information regarding a state of the imaging site of the subject's eye at a third time after the second time from information regarding the treatment, the first measurement data, the second measurement data, and the evaluation informationby the image processing device using the selected trained model;
13. A methodfor operating an image processing device , comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018191936AJP7652526B2 (en) | 2018-10-10 | 2018-10-10 | IMAGE PROCESSING APPARATUS, TRAINED MODEL, IMAGE PROCESSING METHOD, AND PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018191936AJP7652526B2 (en) | 2018-10-10 | 2018-10-10 | IMAGE PROCESSING APPARATUS, TRAINED MODEL, IMAGE PROCESSING METHOD, AND PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020058615A JP2020058615A (en) | 2020-04-16 |
| JP7652526B2true JP7652526B2 (en) | 2025-03-27 |
Family
ID=70219748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018191936AActiveJP7652526B2 (en) | 2018-10-10 | 2018-10-10 | IMAGE PROCESSING APPARATUS, TRAINED MODEL, IMAGE PROCESSING METHOD, AND PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7652526B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7570208B2 (en)* | 2020-10-28 | 2024-10-21 | ライオン株式会社 | Apparatus for inspecting tear fluid, cornea and conjunctiva condition, method for inspecting tear fluid, cornea and conjunctiva condition, and program |
| EP4241652A4 (en)* | 2020-11-04 | 2024-10-16 | Topcon Corporation | DEVICE FOR PROCESSING OPHTHALMIC INFORMATION, OPHTHALMIC DEVICE, METHOD FOR PROCESSING OPHTHALMIC INFORMATION AND PROGRAM |
| CN116403717B (en)* | 2023-06-08 | 2023-09-05 | 广州视景医疗软件有限公司 | Myopia prediction method and device based on deep learning, terminal equipment and medium |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180132725A1 (en) | 2015-05-05 | 2018-05-17 | Medizinische Universität Wien | Computerized Device and Method for Processing Image Data |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006302222A (en)* | 2005-04-15 | 2006-11-02 | Toshihiro Handa | Cancer onset risk prediction system and method, and cancer derivative method |
| JP5842436B2 (en)* | 2011-07-26 | 2016-01-13 | 株式会社ニデック | Retina treatment schedule creation device, retinal treatment schedule creation program |
| JP6695171B2 (en)* | 2016-03-04 | 2020-05-20 | 株式会社トプコン | Eye drop container monitoring system |
| DE202017104953U1 (en)* | 2016-08-18 | 2017-12-04 | Google Inc. | Processing fundus images using machine learning models |
| JP6569701B2 (en)* | 2017-06-12 | 2019-09-04 | 株式会社ニデック | Ophthalmic analysis apparatus and ophthalmic analysis program |
- 2018
- 2018-10-10JPJP2018191936Apatent/JP7652526B2/enactiveActive
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180132725A1 (en) | 2015-05-05 | 2018-05-17 | Medizinische Universität Wien | Computerized Device and Method for Processing Image Data |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020058615A (en) | 2020-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11935241B2 (en) | Image processing apparatus, image processing method and computer-readable medium for improving image quality | |
| US12094082B2 (en) | Image processing apparatus, image processing method and computer-readable medium | |
| JP7579372B2 (en) | Medical image processing device, medical image processing system, medical image processing method and program | |
| US12039704B2 (en) | Image processing apparatus, image processing method and computer-readable medium | |
| US12040079B2 (en) | Medical image processing apparatus, medical image processing method and computer-readable medium | |
| JP7269413B2 (en) | MEDICAL IMAGE PROCESSING APPARATUS, MEDICAL IMAGE PROCESSING SYSTEM, MEDICAL IMAGE PROCESSING METHOD AND PROGRAM | |
| US11922601B2 (en) | Medical image processing apparatus, medical image processing method and computer-readable medium | |
| US11887288B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP7362403B2 (en) | Image processing device and image processing method | |
| JP7332463B2 (en) | Control device, optical coherence tomography device, control method for optical coherence tomography device, and program | |
| JP2023076615A (en) | Image processing device, method of operating image processing device, and program | |
| JP7652526B2 (en) | IMAGE PROCESSING APPARATUS, TRAINED MODEL, IMAGE PROCESSING METHOD, AND PROGRAM | |
| WO2020138128A1 (en) | Image processing device, image processing method, and program | |
| JP7111874B2 (en) | ophthalmic imaging equipment | |
| JP2022121202A (en) | Image processing device and image processing method | |
| JP2024075911A (en) | Ophthalmological image processing device, ophthalmological image processing method, and program | |
| JP2019198383A (en) | Image processing system, image processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20210908 | |
| RD01 | Notification of change of attorney | Free format text:JAPANESE INTERMEDIATE CODE: A7421 Effective date:20220630 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20220831 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20221004 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20221202 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20230323 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20230519 | |
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:20230817 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20231117 | |
| A911 | Transfer to examiner for re-examination before appeal (zenchi) | Free format text:JAPANESE INTERMEDIATE CODE: A911 Effective date:20231127 | |
| A912 | Re-examination (zenchi) completed and case transferred to appeal board | Free format text:JAPANESE INTERMEDIATE CODE: A912 Effective date:20240202 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20241206 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20250314 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:7652526 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 |