JP2005065728A - Similar image retrieval system - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a similar image retrieval system capable of retrieving images similar to the image of a subject for a diagnosis out of a plurality of images more precisely. <P>SOLUTION: An extracting means 40 extracts texture information as well as shape information on a subject in a ROI on the basis of image data P' of the ROI set in an input image P. A degree of similarity calculating means 50 calculates the degree of similarity between the ROI image P' and each image in a database 30 for cases of diseases on the basis of the shape information and the texture information. A retrieving means 60 reads in by retrieving similar image data similar to the ROI image P' and diagnostic data relating to the similar image data from the database 30 for cases of diseases on the basis of the calculated degree of the similarity. An output means 70 outputs the information on the result of the retrieval. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

Translated fromJapanese

【０００１】
【発明の属する技術分野】
本発明は、処理対象の画像と類似している画像を検索する類似画像検索装置に関するものである。
【０００２】
【従来の技術】
従来より、開業医や病院等の医療施設において、種々の医療画像、すなわち、Ｘ線画像、ＣＴ画像、ＭＲ画像等が撮影され利用されている。このような医療画像は、患者の病状の診断や経過観察、治癒または進行状態の把握などのために用いられ、通常、医師等の読影者が画像を見ながら診断を行い治療方針の決定などを行っている。
【０００３】
医療施設では、従来、診断の際に使用したこのような医療画像をハードコピーの状態で保管していることが多かったが、日々増加し続ける医療画像の管理を簡易にするために、また保管スペースの削減のために、医療画像等の画像からデジタル画像を生成し、画像データの形で光ディスク、磁気ディスク等の記録媒体に記録して保存する画像ファイリング装置が提案されている。
【０００４】
この装置を活用すれば、医療画像の保管スペースの削減が実現できるだけでなく、画像を画像データの形で管理することができるので、画像を種々の目的のために利用することが可能になる。
【０００５】
ところで、上述したように、画像診断を行う際には、医師等の読影者が画像を見ながら診断を行っているが、読影者の経験が浅い場合や、或いは経験があっても診断の対象となる画像が珍しい症例であったり、得意分野以外のものであったりしたときなどには、医師が疾患名を適正に判断することが難しい場合がある。このようなときには、他の医師の意見を聞いたり、過去の類似している症例や診断結果を参照したりして、診断や治療方針の決定を行うことがあったが、診断対象の画像と類似している症例を、ハードコピーの状態で保管されている多数の過去の画像の中から的確に探すことは非常に困難であり、また、例えば開業医等の小規模な医療施設においては、過去の症例が少ないため、所望の類似症例を探すことができるとは限らない。そこで、多数の症例の中から、診断対象の画像に類似している症例を的確に探索できるようにすることが望まれている。
【０００６】
この要望に応えるための一つの技術として、過去の症例の中から診断対象の画像に類似した画像を検索して出力する類似画像検索手法が各種提案されているが、これらの検索手法によれば、検索対象となる画像のテクスチャ情報（濃淡パターンを表す情報）に基づいて、過去の症例の画像と診断対象の画像との類似度を算出し、その類似度に基づいて類似性の高い画像を診断対象の画像に類似した類似画像として検索している。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述のように、テクスチャ情報のみに基づいて画像の類似性を観る手法では、画像中の被写体形状がわずかに異なっていたり、背景にノイズや非被写体部分、いわゆる「すぬけ」が混入していたりする場合には、別の種類の画像と認識され、類似性が低いと判定されてしまうおそれがある。
【０００８】
本発明は、上記事情に鑑み、多数の画像の中から診断対象の画像と類似した画像をより的確に検索することを可能にした類似画像検索装置を提供することを目的とするものである。
【０００９】
【課題を解決するための手段】
本発明による類似画像検索装置は、被写体画像を表す画像データとして、多数の被写体の形状情報およびテクスチャ情報が保存されている画像データベースと、検索対象となる被写体画像を表す画像データを入力する画像データ入力手段と、画像データ入力手段により入力された画像データに基づいて、入力された画像データが表す被写体画像に含まれる被写体の形状情報およびテクスチャ情報を抽出する抽出手段と、画像データベースに保存されている画像データが表す被写体画像に含まれる被写体の形状情報およびテクスチャ情報と、入力された画像データが表す被写体画像に含まれる被写体の形状情報およびテクスチャ情報とを比較することにより、両被写体画像の類似度を算出する類似度算出手段と、類似度に基づいて、画像データベースに保存されている画像データの中から、入力された画像データが表す被写体画像と類似した被写体画像を表す類似画像データを検索する検索手段と、検索手段による検索結果を表す検索結果情報を出力する出力手段とを備えたことを特徴とするものである。
【００１０】
なお、形状情報およびテクスチャ情報としては、被写体の形状およびテクスチャの固有成分を表すものとしてもよい。
【００１１】
固有成分とは、被写体の形状及びテクスチャを表現することができる、複数の固有成分軸で構成された多次元空間において、被写体の形状およびテクスチャの各固有成分軸への投影値（各固有成分軸での大きさ）を意味するものである。固有成分軸は、多数の被写体画像を標本として、被写体の形状およびテクスチャに対してそれぞれ主成分分析を行うことにより算出される複数の固有形状および複数の固有テクスチャに対応する軸であり、個々の被写体は、その形状を固有形状の線形和、すなわち固有形状を表す固有成分の組み合わせとして、また、そのテクスチャを固有テクスチャの線形和、すなわち固有テクスチャを表す固有成分の組み合わせとして表現することができる。
【００１２】
出力手段により出力される検索結果情報とは、検索された類似画像データを意味するものとしてもよいが、入力された画像データが表す被写体画像と類似した被写体画像を表す類似画像データが画像データベースの中から見つからなかった場合には、見つからなかった旨を示す「類似画像が存在しません」等のメッセージを検索結果情報としてもよい。
【００１３】
また、本発明の類似画像検索装置を、画像データベースに保存されている画像データに関連する診断データを保存している診断データベースをさらに備え、検索手段が、検索された類似画像データに関連する診断データを診断データベースの中から検索し、出力手段が、検索された診断データを、関連する類似画像データとともに検索結果情報として出力するものとすることもできる。
【００１４】
なお、診断データとは、診断に関連する種々の情報を意味するものであり、例えば、疾患名、治療方針、所見、患者名、担当医師名、撮影日時、経過観察情報などが挙げられる。
【００１５】
また、本発明の類似画像検索装置は、抽出手段により抽出された形状情報およびテクスチャ情報を、入力された画像データとともに画像データベースに登録する登録手段をさらに備えたものとすることができる。
【００１６】
【発明の効果】
上記のように構成された本発明の類似画像検索装置によれば、被写体画像を表す画像データを多数保存している画像データベースの中から、入力された画像データが表す被写体画像と類似した被写体画像を表す類似画像データを、テクスチャ情報だけでなく形状情報およびテクスチャ情報の双方に基づいて検索し、検索結果を出力することができるので、被写体の形状の違いや「すぬけ」の混入による類似判定への影響を抑え、より的確に類似画像を検索することができる。
【００１７】
なお、類似画像データとともに、その画像データに関連する診断データを出力するものとすれば、医師等が画像の読影時に診断に迷ったときに有効な診断支援情報を提供することができる。
【００１８】
また、入力された画像データから抽出された被写体の形状情報およびテクスチャ情報を、その入力された画像データとともに画像データベースに登録する登録手段を設ければ、類似画像データを蓄積して保存することができ、より多数の症例を備えることができるので、さらに診断に有効なものとすることができる。
【００１９】
【発明の実施の形態】
以下、本発明の類似画像検索装置の実施の形態を図面に基づいて説明する。図１は本発明における類似画像検索装置を含む類似画像検索システムの構成図である。
【００２０】
本実施形態による類似画像検索システムは、読み取った医用画像Ｐ中の病変部を公知の画像解析処理により検出し、病変部を中心に病変部上に関心領域（ＲＯＩ）を設定して、その設定したＲＯＩ画像データＰ′を出力するＣＡＤ（計算機支援画像診断装置）１０と、ＣＡＤ１０から送られるＲＯＩ画像データＰ′を入力する画像データ入力手段２０と、病変部の画像を表す画像データとしての病変部の形状情報およびテクスチャ情報や診断に関連する診断データを保存している症例データベース３０と、画像データ入力手段２０により入力されたＲＯＩ画像データＰ′に基づいて、ＲＯＩ画像データＰ′が表す病変部の形状情報およびテクスチャ情報を抽出する抽出手段４０と、症例データベース３０に保存されている画像データが表す病変部の形状情報およびテクスチャ情報と、ＲＯＩ画像データＰ′が表す病変部の形状情報およびテクスチャ情報とを比較することにより、両病変部の類似度Ｒを算出する類似度算出手段５０と、類似度Ｒに基づいてＲＯＩ画像データＰ′が表す病変部と類似した類似画像データとその類似画像データに関連する診断データを症例データベース３０から検索して読み込む検索手段６０と、検索手段５０による検索結果を表す検索結果情報（読み込まれた類似画像データおよび診断データ）を後述の表示手段８０に出力する出力手段７０と、出力手段７０により出力された検索結果情報をモニタ画面上に表示させる表示手段８０と、抽出手段４０により抽出されたＲＯＩ画像データＰ′が表す病変部の形状情報、テクスチャ情報およびその病変部の診断結果を症例データベース３０に登録する登録手段９０とにより構成されている。
【００２１】
症例データベース３０は、病変部画像を表す画像データとしての病変部の形状情報およびテクスチャ情報を多数保存している画像データベース３０ａと、各画像データに関連する診断データを保存している診断データベース３０ｂとにより構成されている。画像データベース３０ａには、過去に診断された種々の病変部の多数の画像データが保存されており、また、診断データベース３０ｂには、画像データベース３０ａに保存されている各画像データに関連する診断データが、各画像データと関連付けられた状態で保存されている。また、診断データとしては、疾患名、治療方針、所見、担当医師名、撮影日時、経過観察情報など、診断に関する種々のデータが記録されている。
【００２２】
登録手段９０は、抽出手段４０により抽出されたＲＯＩ画像データＰ′が表す病変部の形状情報およびテクスチャ情報をＲＯＩ画像データＰ′とともに画像データベース３０ａに登録し、また、ＲＯＩ画像データＰ′が表す病変部の診断結果を画像データＰ′と関連付けて診断データベース３０ｂに登録する。
【００２３】
次に、以上のように構成された本実施形態の類似画像検索システムの作用について説明する。
【００２４】
図２（１）に示すような病変部（腫瘤）を含んだ胸部画像を表す画像データＰがＣＡＤ１０により読み込まれ、胸部画像Ｐ（簡単のため、画像データとその画像データが担持する画像に同じ符号を付して説明する）がモニタ画面上に表示される。胸部画像Ｐの右肺部分には病変部（腫瘤）と疑われる円形の陰影が表れている。この胸部画像Ｐに対し、オペレータが、病変部の位置および範囲を検出すべく、病変部の検出を指示すると、ＣＡＤ１０は、病変部としての特徴的な形状（例えば、孤立した円形の陰影）、あるいは濃淡パターン（例えば、全体的に輝度が高い）を有する領域を画像解析処理により自動的に検出し、その領域をＲＯＩとして設定する。図２（１）中のＰ′は、その胸部画像Ｐ中のＲＯＩを示すＲＯＩ画像Ｐ′を示したものである。このように設定されたＲＯＩの画像データＰ′が画像データ入力手段２０により入力される。なお、ＲＯＩ画像は、胸部画像Ｐの画像診断を行う医師等の読影者により指定され抽出された画像であってもよく、この場合は、ＲＯＩ画像の指定は図示しないマウス等の位置指示手段を用いて行われる。
【００２５】
画像データ入力手段２０によりＲＯＩ画像データＰ′が入力されると、抽出手段４０は、まず、入力されたＲＯＩ画像データＰ′が表すＲＯＩ画像Ｐ′に対し、エッジ検出を行って、病変部の大まかな輪郭形状を抽出する。例えば、ＲＯＩの中心から周辺に向けて放射線状に画素値の急峻な変化（エッジ）を探索して、病変部の輪郭形状を抽出する。このとき、病変部を図３（１）に示すような典型的な形状パターン（例えば４つのパターン）に分類し、ＲＯＩ画像Ｐ′中の病変部がどの形状パターンに当てはまるか判別する。例えば、ＲＯＩ画像Ｐ′中の病変部の輪郭形状を図４に示すように極座標変換して曲線Ｖを作成し、図３（２）に示すような、それぞれの典型的な形状パターンを極座標変換した場合の曲線Ｖ１〜Ｖ４と、θ方向にシフトさせながらマッチングを行い、最も差分の少ないものをこの病変部の形状パターンとして選択する。このように病変部を典型的な形状パターンに分類することで、より正確な被写体の形状情報及びテクスチャ情報の抽出や、検索範囲の絞り込みができるため、より的確で効率的な類似画像検索が可能となる。
【００２６】
続いて、ＲＯＩ画像Ｐ′が表す病変部の形状情報およびテクスチャ情報を抽出する。病変部の形状情報およびテクスチャ情報を抽出する手法としては、マンチェスター大学のＣｏｏｔｅｓらが提案している“Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ（ＡＡＭ）”［Ｔ．Ｆ． Ｃｏｏｔｅｓ， ａｎｄ Ｃ．Ｊ． Ｔａｙｌｏｒ， Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ， Ｐｒｏｃ． Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｖｏｌ．２， ｐｐ．４８４−４９８， Ｓｐｒｉｎｇｅｒ， １９９８］を応用する。このＡＡＭの手法に基づく形状変化モデルおよびテクスチャ変化モデルを利用することにより、病変部の形状およびテクスチャを複数の固有形状および固有テクスチャと呼ばれるベクトルの線形和でそれぞれ表現することができる。
【００２７】
これら複数の固有形状および固有テクスチャのそれぞれに対応する形状固有成分軸およびテクスチャ固有成分軸（総称して固有成分軸という）を設定すれば、個々の病変部の形状およびテクスチャは各固有成分軸上の大きさである固有成分の組み合わせとして表すことができ、すなわち、これらの固有成分軸からなる多次元空間におけるベクトルとして表現することができる。本実施形態においては、病変部の形状情報およびテクスチャ情報を、この固有成分の組み合わせ、あるいは多次元空間内のベクトルとして表す。
【００２８】
以下に、形状変化モデルおよびテクスチャ変化モデルの作成手順と、それを利用して、入力されたＲＯＩ画像Ｐ′が表す病変部の形状情報およびテクスチャ情報を抽出する手順について説明する。なお、これらの変化モデルは、形状パターンで分類した画像データベース３０ａ中の画像データに基づいて、形状パターン毎に作成しておき、入力されたＲＯＩ画像Ｐ′が表す病変部の形状パターンに応じて、これに対応する同種の形状パターンの変化モデルを使うものとする。
【００２９】
（平均形状・平均テクスチャの作成）◎
まず、画像データベース３０ａ中の各画像データが表す病変部画像から病変部の輪郭形状を複数の点（ランドマーク）として抽出する。図５は、その例として、画像データベース３０ａ中の形状パターンａに分類された病変部画像Ｐ１，Ｐ２，Ｐ３に対して病変部の外縁にランドマークを付した状態を示した図であり、同図中の記号Ｍで表した複数の点がランドマークである。これらランドマークとして抽出された各病変部画像が表す病変部の形状から病変部の平均形状を作成する。図５は、病変部の平均形状Ｋａを示す図である。なお、各画像の病変部の形状をランドマークとして抽出する際には、平行成分について予め正規化しておくとよい。例えば、病変部の重心を画像の中心に揃える。
【００３０】
次に、画像データベース３０ａ中の画像データが表す各病変部画像を、作成された平均形状にワーピングするために、各病変部画像中のランドマーク各点の平均形状へのシフト量を算出する。図７は、病変部の外縁に付されたランドマーク各点が、平均形状Ｋａへワーピングされる状態を示した図である。そして、ランドマーク各点のシフト量を、２次元５次多項式を用いて近似する。多項式近似の数式を下記に示す。
【００３１】
【数１】

ここで、ｘ，ｙは各画像中のランドマーク各点の座標、ｘ′，ｙ′はワーピングされる平均形状上の座標、Δｘ，Δｙは平均形状へのシフト量、ｎは次数、ａｉｊ，ｂｉｊは係数である。なお、多項式近似の係数は最小自乗法を用いて求める。
【００３２】
上式を用いて、各画像について画素毎の平均形状へのシフト量を算出し、各画像を画素毎に平均形状へワーピングする。このとき、ワープ後の座標が整数ではなく小数点以下を含む位置に移動する画素については、４近傍から１次近似で画素値を求める。つまり、ワープ後の座標を囲む４つの画素に対して、ワープ後の座標から各画像の座標までの距離に比例して画素値をそれぞれ分配するようにする。そして、平均形状へワーピングされた各画像、平均テクスチャが得られる。
【００３３】
（形状変化モデルの作成）◎
画像データベース３０ａ中の画像データが表す各病変部画像の形状と平均形状を用いて、病変部の形状に対して主成分分析を行い、固有形状を算出する。固有成分は文献［Ｍａｔｔｈｅｗ Ｔｕｒｋ， Ａｌｅｘ Ｐｅｎｔｌａｎｄ， Ｅｉｇｅｎｆａｃｅｓ ｆｏｒ Ｒｅｃｏｇｎｉｔｉｏｎ， Ｊｏｕｒｎａｌ ｏｆ Ｃｏｇｎｉｔｉｖｅ Ｎｅｕｒｏｓｃｉｅｎｃｅ， ｖｏｌ．３， ｎｕｍ１， １９９１］に示す手法を用いて求める。画像データベース３０ａ中の画像データが表す各病変部画像は、この固有形状の線形和を用いて次式のように近似できる。
【００３４】
【数２】

ここで、ｘは形状ベクトル（ｘ１，ｙ１，・・・，ｘｉ，ｙｉ，・・・ｘｎ，ｙｎ）、ｘａｖｅは平均形状ベクトル、Ｐｓは形状の固有ベクトル、ｂｓは形状係数のセット（組み合わせ）である。図８は、固有形状の例として、互いに異なる固有形状Ｋ１，Ｋ２，Ｋ３をランドマークＭで表したものである。なお、図中、実線のＫａは平均形状である。
【００３５】
（テクスチャ変化モデルの作成）◎
平均形状へワーピングされた各病変部画像のテクスチャと平均テクスチャを用いて、病変部のテクスチャに対して主成分分析を行い、固有テクスチャを算出する。
【００３６】
【数３】

ここで、ｇはグレイレベル（テクスチャの画素値）のベクトル（ｇ１１，ｇ２１，・・・，ｇｉｊ，・・・ｇｎｎ）、ｇａｖｅは平均グレイレベルのベクトル、Ｐｇはグレイレベルの固有ベクトル、ｂｇはグレイレベル係数のセットである。図９は、固有テクスチャの例として、互いに異なる固有テクスチャＴ１，Ｔ２，Ｔ３を示したものである。
【００３７】
（形状情報およびテクスチャ情報の抽出）
ＲＯＩ画像Ｐ′が表す病変部の形状をランドマークとして抽出し、この病変部の形状を表す形状ベクトルｘｒｏｉを得る。そして、式（７）で記述されるような比較用の形状ベクトルｘｒｅｓを設定し、ｘｒｅｓの形状係数ｂｓｒｅｓの組み合わせを調整して、比較用形状ベクトルｘｒｅｓと病変部の形状ベクトルｘｒｏｉとの差分が最小となる形状係数ｂｓｒｅｓの組み合わせを探索する。このとき求められた形状係数ｂｓｒｅｓの組み合わせが、病変部の形状情報としての形状固有成分となる。
【００３８】
【数４】

次に、ＲＯＩ画像Ｐ′が表す病変部のテクスチャを平均形状へワーピングし、ワープ後のテクスチャを表すグレイレベルのベクトルｇｒｏｉを得る。そして、式（８）で記述されるような比較用のグレイレベルのベクトルｇｒｅｓを設定し、ｇｒｅｓのグレイレベル係数ｂｇｒｅｓの組み合わせを調整して、比較用のグレイレベルのベクトルｇｒｅｓと病変部のグレイレベルのベクトルｇｒｏｉとの差分が最小となるグレイレベル係数ｂｇｒｅｓの組み合わせを探索する。このとき求められたグレイレベル係数ｂｇｒｅｓの組み合わせが、病変部のテクスチャ情報としてのテクスチャ固有成分となる。
【００３９】
【数５】

類似度算出手段５０は、類似度算出の対象範囲を、画像データベース３０ａに保存されている画像データのうち、上記の選択された形状パターンに分類されている画像データに絞り込み、それらの画像データが表す病変部画像と入力されたＲＯＩ画像Ｐ′との類似度Ｒを算出する。類似度Ｒは、式（９）で定義されたものを用いる。
【００４０】
【数６】

ここで、ｚｒｏｉは、ＲＯＩ画像Ｐ′が表す病変部の形状固有成分およびテクスチャ固有成分で表現される、多次元空間におけるベクトルを表し、ｚｄｂは、画像データベース３０ａ中の画像データが表す病変部の形状固有成分およびテクスチャ固有成分で表現される、多次元空間におけるベクトルを表している。式（９）の分子は両ベクトルの内積、分母は各ベクトルの大きさ（スカラー成分）を掛けたものである。病変部の形状およびテクスチャは、その固有成分に基づいて上述の多次元空間におけるベクトルで表現できるが、このベクトルの向きがその病変部の形状およびテクスチャの特徴を表していると考えることができるので、比較対象となる両画像に対応する２つのベクトルが成す角度が小さいほど、すなわち、この類似度が１に近いほど、その比較対象となる両画像は類似していると判断することができる。
【００４１】
検索手段６０は、症例データベース３０から、最も類似度の高い類似画像データとその類似画像データに関連付けされた診断データを読み込み、出力手段７０が、表示手段８０の画面上にこれらの検索結果情報を表示する。
【００４２】
検索手段６０により検索された類似画像データは出力手段７０により表示手段８０に出力され、表示手段８０においてモニタ画面上に表示される。図２（２）は、ＲＯＩ画像データＰ′に基づいて検索された類似画像データの表示例を示したものである。図示のように、類似画像は円形の病変部を有する画像であり、その診断結果（疾患名：早期肺がん、対応：ＣＴによる精密検査要）がともに表示されている。このように入力された画像データと類似している症例の画像を診断結果とともに表示すれば、診断に迷ったときなどに診断支援となり得る情報を提供することができる。
【００４３】
そして、登録手段９０は、オペレータからの指示により、抽出手段４０にて抽出されたＲＯＩ画像Ｐ′が表す病変部の形状情報およびテクスチャ情報をそのＲＯＩ画像データＰ′とともに画像データベース３０ａに登録保存し、また、オペレータが、このＲＯＩ画像Ｐ′が表す病変部に対する診断結果を入力したときは、その診断結果を画像データＰ′と関連付けて診断データベースに登録保存することもできる。このように画像データおよび診断データを症例データベース３０に蓄積保存すれば、より多数の症例を備えることができるので、さらに診断に有効なものとすることができる。
【００４４】
なお、上記実施形態においては、検索手段６０により検索される類似画像を１画像のみとしたが、本発明の類似画像検索装置において検索可能な類似画像は１つに限られるものではなく、例えば、類似の度合いが高いものから順に所望の複数画像（３画像、或いは２０画像など）を表示させる形態でもよいし、一定の基準以上（数値で表せる場合には類似度８０％以上など）のものを表示させる形態でもよい。こうすれば、医師等はいくつかの類似画像の中から診断対象の症例により合ったものを選択することができる。つまり、多くの経験を積んだ医師であっても見落としを完全に防ぐことは難しいため、いくつかの症例を挙げて診断を支援することによりさらに確実な診断が可能になる。
【００４５】
また、上記実施形態における表示手段８０の表示例としては、上記の他、例えば、類似画像とともに類似度を表示する形態や、類似画像と入力されたＲＯＩ画像Ｐ′との差分を表すサブトラクション画像を合わせて表示する形態、データをカテゴリ分類して各カテゴリの中から最も類似している症例を１つずつ表示する形態など種々の形態が可能である。また、類似度が所定の基準以下（例えば、２０％以下など）の類似画像は表示しない形態としてもよい。また、類似画像データがなかったときには、「類似症例が存在しません」等のメッセージを表示することができる。また、類似画像データのカテゴリ分類としては、例えば、画像中に存在している異常陰影の性状（悪性、良性、正常の別）による分類などが考えられる。すなわち、カテゴリ分類せずに類似画像を検索すると悪性の症例しか表示されないこともあるが、正常の症例と悪性の症例からそれぞれ１つ以上の症例を表示させれば、診断結果が異なる症例を比較することができるため、より正確な診断が可能になる。
【００４６】
なお、本実施形態においては、胸部画像中の病変部を被写体として扱ったが、これに限らず、乳房画像中の乳癌の病変部など、形状およびテクスチャがある程度定まるものであれば、いかなるものでも扱うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態による類似画像検索システムの構成図
【図２】検索対象画像および検索結果の表示例を示す図
【図３】病変部の形状パターンと各パターンの極座標表現された曲線を示す図
【図４】病変部の輪郭形状を極座標変換する様子を示す図
【図５】画像データベース３０ａ中の画像データが表す病変部画像の病変部の外縁にランドマークを付した状態を示す図
【図６】画像データベース３０ａ中の画像データが表す病変部画像の病変部の平均形状を示す図
【図７】病変部の形状を平均形状へワーピングする様子を示す図
【図８】病変部の固有形状の例を示す図
【図９】病変部の固有テクスチャの例を示す図
【符号の説明】
１ 類似画像検索システム
１０ ＣＡＤ
２０ 画像データ入力手段
３０ 症例データベース
３０ａ 画像データベース
３０ｂ 診断データベース
４０ 抽出手段
５０ 類似度算出手段
６０ 検索手段
７０ 出力手段
８０ 表示手段
９０ 登録手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a similar image retrieval apparatus that retrieves an image similar to an image to be processed.
[0002]
[Prior art]
Conventionally, various medical images, that is, X-ray images, CT images, MR images, and the like have been taken and used in medical facilities such as practitioners and hospitals. Such medical images are used for diagnosing the patient's medical condition, observing follow-up, grasping the healing or progress status, etc., and usually a doctor or other interpreter makes a diagnosis while observing the image to determine the treatment policy. Is going.
[0003]
Traditionally, medical facilities used to store such medical images used for diagnosis in hard copies. However, in order to simplify the management of medical images, which are increasing daily, they are stored again. In order to save space, an image filing device has been proposed in which a digital image is generated from an image such as a medical image, and is recorded and stored in a recording medium such as an optical disk or a magnetic disk in the form of image data.
[0004]
By utilizing this apparatus, not only can the storage space for medical images be reduced, but the images can be managed in the form of image data, so that the images can be used for various purposes.
[0005]
By the way, as described above, when performing image diagnosis, an interpreter such as a doctor makes a diagnosis while looking at the image. However, if the image reader has little experience or has experience, the object of diagnosis When the image to become is a rare case or something other than the specialty field, it may be difficult for the doctor to properly determine the disease name. In such cases, the diagnosis and treatment policy may be determined by listening to the opinions of other doctors or referring to similar cases and diagnosis results in the past. It is very difficult to accurately search for similar cases from a large number of past images stored in hard copy, and in a small medical facility such as a practitioner, the past Because there are few cases, it is not always possible to find a desired similar case. Therefore, it is desired to be able to accurately search for cases similar to the diagnosis target image from a large number of cases.
[0006]
As a technique to meet this demand, various similar image search methods for searching and outputting images similar to the images to be diagnosed from past cases have been proposed. According to these search methods, Based on the texture information of the image to be searched (information representing the shading pattern), the similarity between the image of the past case and the image to be diagnosed is calculated, and an image with high similarity is calculated based on the similarity. The search is performed as a similar image similar to the image to be diagnosed.
[0007]
[Problems to be solved by the invention]
However, as described above, in the method of viewing the similarity of images based only on texture information, the shape of the subject in the image is slightly different, or noise or a non-subject portion, so-called “sunsuke” is mixed in the background. If it is, the image may be recognized as another type of image and determined to be low in similarity.
[0008]
SUMMARY OF THE INVENTION In view of the above circumstances, an object of the present invention is to provide a similar image search device that can more accurately search an image similar to an image to be diagnosed from a large number of images.
[0009]
[Means for Solving the Problems]
The similar image search apparatus according to the present invention receives, as image data representing a subject image, an image database in which shape information and texture information of a large number of subjects are stored, and image data that inputs image data representing the subject image to be searched An input means, an extraction means for extracting shape information and texture information of a subject included in the subject image represented by the input image data based on the image data input by the image data input means, and an image database By comparing the shape information and texture information of the subject included in the subject image represented by the existing image data with the shape information and texture information of the subject included in the subject image represented by the input image data, the similarity between the two subject images Similarity calculation means for calculating the degree of image data based on the degree of similarity Search means for searching for similar image data representing a subject image similar to the subject image represented by the input image data, and search result information representing a search result by the search means. Output means for outputting.
[0010]
Note that the shape information and texture information may represent the shape of the subject and the unique component of the texture.
[0011]
The eigencomponent is a projection value (each eigencomponent axis) of the shape and texture of the subject on each eigencomponent axis in a multidimensional space composed of a plurality of eigencomponent axes that can express the shape and texture of the subject. Means the size of The eigen component axis is an axis corresponding to a plurality of eigen shapes and a plurality of eigen textures calculated by performing principal component analysis on the shape and texture of an object using a large number of object images as samples. The subject can express its shape as a linear sum of eigen shapes, i.e., a combination of eigen components representing eigen shapes, and its texture as a linear sum of eigen textures, i.e., a combination of eigen components representing eigen textures.
[0012]
The search result information output by the output means may mean the searched similar image data, but similar image data representing a subject image similar to the subject image represented by the input image data is stored in the image database. If not found, a message such as “no similar image exists” indicating that it was not found may be used as search result information.
[0013]
The similar image retrieval apparatus of the present invention further includes a diagnostic database that stores diagnostic data related to the image data stored in the image database, and the search means performs a diagnosis related to the searched similar image data. Data can be searched from the diagnostic database, and the output means can output the searched diagnostic data as search result information together with related similar image data.
[0014]
The diagnostic data means various information related to the diagnosis, and examples thereof include disease name, treatment policy, findings, patient name, doctor name in charge, photographing date and time, follow-up information, and the like.
[0015]
Further, the similar image retrieval apparatus of the present invention may further include a registration unit that registers the shape information and texture information extracted by the extraction unit together with the input image data in the image database.
[0016]
【The invention's effect】
According to the similar image retrieval apparatus of the present invention configured as described above, a subject image similar to the subject image represented by the input image data from the image database storing a large number of image data representing the subject image. Can be searched based on both shape information and texture information as well as texture information, and the search result can be output. It is possible to search for similar images more accurately.
[0017]
If diagnosis data related to the image data is output together with the similar image data, it is possible to provide effective diagnosis support information when a doctor or the like is at a loss in diagnosis at the time of image interpretation.
[0018]
Further, if registration means for registering subject shape information and texture information extracted from input image data together with the input image data in an image database is provided, similar image data can be accumulated and stored. Since more cases can be provided, it can be further effective for diagnosis.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of a similar image search device of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram of a similar image search system including a similar image search device according to the present invention.
[0020]
The similar image search system according to the present embodiment detects a lesion part in the read medical image P by a known image analysis process, sets a region of interest (ROI) on the lesion part around the lesion part, and sets the setting CAD (computer-aided image diagnostic apparatus) 10 for outputting the ROI image data P ′, image data input means 20 for inputting the ROI image data P ′ sent from the CAD 10, and lesion as image data representing the image of the lesion Lesion data represented by the ROI image data P ′ based on the case database 30 storing the shape information and texture information of the part and diagnostic data related to the diagnosis and the ROI image data P ′ input by the image data input means 20 Means 40 for extracting the shape information and texture information of the part, and the disease represented by the image data stored in the case database 30 A similarity calculation means 50 for calculating the similarity R of both lesions by comparing the shape information and texture information of the lesions with the shape information and texture information of the lesions represented by the ROI image data P ′; Based on R, similar image data similar to the lesion represented by the ROI image data P ′ and the diagnostic data related to the similar image data are retrieved from the case database 30 and read, and the retrieval result by the retrieval unit 50 is obtained. Output means 70 for outputting search result information (read similar image data and diagnostic data) to be displayed to display means 80 to be described later, and display means 80 for displaying the search result information output by output means 70 on the monitor screen; , Shape information and texture information of a lesion represented by the ROI image data P ′ extracted by the extraction means 40 and the lesion It is constituted by a registration means 90 for registering the diagnosis result to thecase database 30.
[0021]
Thecase database 30 includes animage database 30a storing a large number of lesion shape information and texture information as image data representing a lesion image, and adiagnosis database 30b storing diagnostic data related to each image data. It is comprised by. Theimage database 30a stores a large number of image data of various lesions diagnosed in the past, and thediagnosis database 30b stores diagnostic data related to each image data stored in theimage database 30a. Are stored in a state associated with each image data. As diagnosis data, various data relating to diagnosis such as disease name, treatment policy, findings, doctor name in charge, photographing date and time, follow-up information, etc. are recorded.
[0022]
The registration means 90 registers the shape information and texture information of the lesion part represented by the ROI image data P ′ extracted by the extraction means 40 in theimage database 30a together with the ROI image data P ′, and also represents the ROI image data P ′. The diagnosis result of the lesioned part is registered in thediagnosis database 30b in association with the image data P ′.
[0023]
Next, the operation of the similar image search system of the present embodiment configured as described above will be described.
[0024]
Image data P representing a chest image including a lesion (tumor) as shown in FIG. 2 (1) is read by theCAD 10, and the chest image P (for simplicity, the same as the image data and the image carried by the image data) Is displayed on the monitor screen. In the right lung portion of the chest image P, a circular shadow that appears to be a lesion (tumor) appears. When the operator instructs the chest image P to detect a lesion part in order to detect the position and range of the lesion part, theCAD 10 has a characteristic shape as an affected part (for example, an isolated circular shadow), Alternatively, a region having a shading pattern (for example, overall high brightness) is automatically detected by image analysis processing, and the region is set as an ROI. P ′ in FIG. 2 (1) shows an ROI image P ′ showing the ROI in the chest image P. The ROI image data P ′ set in this way is input by the image data input means 20. The ROI image may be an image designated and extracted by a radiographer such as a doctor who performs image diagnosis of the chest image P. In this case, the ROI image is designated by a position instruction means such as a mouse (not shown). Done with.
[0025]
When the ROI image data P ′ is input by the image data input means 20, the extraction means 40 first performs edge detection on the ROI image P ′ represented by the input ROI image data P ′, thereby Rough outline shape is extracted. For example, a sharp change (edge) in the pixel value is searched for radially from the center of the ROI to the periphery, and the contour shape of the lesion is extracted. At this time, the lesioned part is classified into typical shape patterns (for example, four patterns) as shown in FIG. 3A, and it is determined to which shape pattern the lesioned part in the ROI image P ′ corresponds. For example, the contour shape of the lesion in the ROI image P ′ is converted to a polar coordinate as shown in FIG. 4 to create a curve V, and each typical shape pattern as shown in FIG. Matching is performed with the curves V1 to V4 in this case while shifting in the θ direction, and the pattern with the smallest difference is selected as the shape pattern of this lesion. By classifying lesions into typical shape patterns in this way, more accurate object shape information and texture information can be extracted and the search range can be narrowed down, enabling more accurate and efficient similar image search. It becomes.
[0026]
Subsequently, the shape information and texture information of the lesion part represented by the ROI image P ′ are extracted. As a method for extracting the shape information and texture information of the lesion, “Active Appearance Model (AAM)” [T. F. Coutes, and C.C. J. et al. Taylor, Active Appearance Models, Proc. European Conference on Computer Vision, Vol. 2, pp. 484-498, Springer, 1998]. By using the shape change model and the texture change model based on the AAM method, the shape and texture of the lesioned part can be expressed by linear sums of a plurality of unique shapes and vectors called unique textures.
[0027]
By setting the shape eigencomponent axis and texture eigencomponent axis (collectively referred to as eigencomponent axes) corresponding to each of these multiple eigenshapes and eigentextures, the shape and texture of each lesion will be on each eigencomponent axis. Can be expressed as a vector in a multidimensional space composed of these eigencomponent axes. In the present embodiment, the shape information and texture information of a lesioned part are expressed as a combination of these unique components or a vector in a multidimensional space.
[0028]
A procedure for creating a shape change model and a texture change model and a procedure for extracting shape information and texture information of a lesion represented by an input ROI image P ′ using the shape change model and the texture change model will be described below. Note that these change models are created for each shape pattern based on the image data in theimage database 30a classified by the shape pattern, and according to the shape pattern of the lesion part represented by the input ROI image P ′. Assume that the same type of shape pattern change model corresponding to this is used.
[0029]
(Making average shape and average texture)
First, the contour shape of a lesioned part is extracted as a plurality of points (landmarks) from the lesioned part image represented by each image data in theimage database 30a. FIG. 5 is a diagram showing, as an example, a state in which landmarks are attached to the outer edges of the lesioned part on the lesioned part images P1, P2, and P3 classified into the shape pattern a in theimage database 30a. A plurality of points represented by symbol M in the figure are landmarks. The average shape of the lesion is created from the shape of the lesion represented by each lesion image extracted as the landmark. FIG. 5 is a diagram showing an average shape Ka of a lesioned part. In addition, when extracting the shape of the lesion part of each image as a landmark, it is good to normalize about a parallel component previously. For example, the center of gravity of the lesion is aligned with the center of the image.
[0030]
Next, in order to warp each lesion area image represented by the image data in theimage database 30a to the created average shape, the shift amount of each landmark point in each lesion area image to the average shape is calculated. FIG. 7 is a diagram showing a state in which each landmark point attached to the outer edge of the lesion is warped to the average shape Ka. Then, the shift amount of each landmark point is approximated using a two-dimensional quintic polynomial. A mathematical expression of polynomial approximation is shown below.
[0031]
[Expression 1]

Here, x and y are the coordinates of each landmark point in each image, x ′ and y ′ are the coordinates on the average shape to be warped, Δx and Δy are shift amounts to the average shape, n is the order, aij, bij is a coefficient. Note that the coefficient of polynomial approximation is obtained using the method of least squares.
[0032]
Using the above equation, the shift amount to the average shape for each pixel is calculated for each image, and each image is warped to the average shape for each pixel. At this time, for a pixel whose coordinates after warping are not integers but move to a position including the decimal point, a pixel value is obtained by first-order approximation from four neighborhoods. That is, pixel values are distributed in proportion to the distance from the warped coordinates to the coordinates of each image for the four pixels surrounding the warped coordinates. Then, each image and average texture warped to the average shape are obtained.
[0033]
(Create shape change model)
Using the shape and average shape of each lesion image represented by the image data in theimage database 30a, principal component analysis is performed on the shape of the lesion site to calculate a unique shape. Intrinsic components can be found in the literature [Mattew Turk, Alex Pentland, Eigenfaces for Recognition, Journal of Cognitive Neuroscience, vol. 3, num1, 1991]. Each lesion image represented by the image data in theimage database 30a can be approximated by the following equation using the linear sum of the inherent shapes.
[0034]
[Expression 2]

Here, x is a shape vector (x1, y1,..., Xi, yi,... Xn, yn), xave is an average shape vector, Ps is a shape eigenvector, and bs is a set (combination) of shape coefficients. is there. FIG. 8 shows different unique shapes K1, K2, and K3 as landmarks M as examples of the unique shapes. In the figure, the solid line Ka is the average shape.
[0035]
(Create texture change model)
Using the texture and average texture of each lesion image warped to the average shape, a principal component analysis is performed on the texture of the lesion site, and a unique texture is calculated.
[0036]
[Equation 3]

Here, g is a gray level (texture pixel value) vector (g11, g21,..., Gij,... Gnn), gave is an average gray level vector, Pg is a gray level eigenvector, and bg is gray. A set of level coefficients. FIG. 9 shows different unique textures T1, T2, and T3 as examples of the unique texture.
[0037]
(Extraction of shape information and texture information)
The shape of the lesioned part represented by the ROI image P ′ is extracted as a landmark, and a shape vector xroi representing the shape of the lesioned part is obtained. Then, a comparison shape vector xres as described in Equation (7) is set, and the combination of the xres shape coefficient bress is adjusted, so that the difference between the comparison shape vector xres and the lesion shape vector xroi is The combination of the shape factor bresres that is the minimum is searched. The combination of the shape factor bsres obtained at this time becomes a shape-specific component as shape information of the lesion.
[0038]
[Expression 4]

Next, the texture of the lesioned part represented by the ROI image P ′ is warped to an average shape, and a gray level vector groi representing the warped texture is obtained. Then, a comparison gray level vector gres as described in the equation (8) is set, and a combination of the greys gray level coefficient b gres is adjusted so that the comparison gray level vector gres and the lesion gray A combination of gray level coefficients bgres that minimizes the difference between the level and the vector groi is searched. The combination of the gray level coefficients bgres obtained at this time becomes a texture specific component as texture information of the lesioned part.
[0039]
[Equation 5]

The similarity calculation means 50 narrows down the similarity calculation target range to the image data classified into the selected shape pattern among the image data stored in theimage database 30a, and the image data is The similarity R between the lesion image to be represented and the input ROI image P ′ is calculated. The similarity R is defined by the equation (9).
[0040]
[Formula 6]

Here, zroi represents a vector in a multidimensional space represented by the shape-specific component and texture-specific component of the lesion represented by the ROI image P ′, and zdb represents the lesion represented by the image data in theimage database 30a. It represents a vector in a multidimensional space expressed by a shape-specific component and a texture-specific component. The numerator of equation (9) is the inner product of both vectors, and the denominator is multiplied by the magnitude (scalar component) of each vector. The shape and texture of the lesion can be expressed as a vector in the above-described multidimensional space based on its eigencomponent, but it can be considered that the orientation of this vector represents the shape and texture of the lesion. The smaller the angle formed by the two vectors corresponding to both images to be compared, that is, the closer the similarity is to 1, it can be determined that both images to be compared are similar.
[0041]
The search means 60 reads the similar image data having the highest similarity and the diagnostic data associated with the similar image data from thecase database 30, and the output means 70 displays these search result information on the screen of the display means 80. indicate.
[0042]
The similar image data searched by the search means 60 is output to the display means 80 by the output means 70 and displayed on the monitor screen by the display means 80. FIG. 2B shows a display example of similar image data searched based on the ROI image data P ′. As shown in the figure, the similar image is an image having a circular lesion, and the diagnosis result (disease name: early lung cancer, response: close examination required by CT) is displayed together. Displaying an image of a case similar to the input image data together with the diagnosis result in this way can provide information that can be used as a diagnosis support when he / she is lost in diagnosis.
[0043]
Then, the registration means 90 registers and stores the shape information and texture information of the lesioned part represented by the ROI image P ′ extracted by the extraction means 40 together with the ROI image data P ′ in theimage database 30a in accordance with an instruction from the operator. When the operator inputs a diagnosis result for the lesion represented by the ROI image P ′, the diagnosis result can be associated with the image data P ′ and stored in the diagnosis database. If image data and diagnosis data are accumulated and stored in thecase database 30 in this way, a larger number of cases can be provided, and therefore, it can be further effective for diagnosis.
[0044]
In the above embodiment, only one similar image is searched for by the search means 60. However, the number of similar images that can be searched for in the similar image search device of the present invention is not limited to one. For example, The desired multiple images (3 images, 20 images, etc.) may be displayed in order from the one with the highest degree of similarity, or those above a certain standard (such as 80% similarity if numerical values can be expressed) It may be displayed. In this way, a doctor or the like can select an image more suitable for the case to be diagnosed from several similar images. In other words, even a doctor who has a lot of experience is difficult to completely prevent oversight, so more reliable diagnosis can be made by supporting diagnosis with several cases.
[0045]
Moreover, as a display example of the display means 80 in the above-described embodiment, in addition to the above, for example, a form for displaying similarity with a similar image, or a subtraction image representing a difference between the similar image and the input ROI image P ′ Various forms are possible, such as a form in which data is displayed together, a form in which data is classified into categories, and cases that are most similar from each category are displayed one by one. Moreover, it is good also as a form which does not display the similar image whose similarity is below a predetermined standard (for example, 20% or less). When there is no similar image data, a message such as “No similar case exists” can be displayed. In addition, as the category classification of the similar image data, for example, classification based on the characteristics of abnormal shadows (malignant, benign, normal) existing in the image can be considered. In other words, if similar images are searched without categorization, only malignant cases may be displayed, but if one or more cases are displayed from normal cases and malignant cases, cases with different diagnosis results are compared. More accurate diagnosis is possible.
[0046]
In the present embodiment, the lesion in the chest image is treated as a subject. However, the present invention is not limited to this, and any lesion may be used as long as the shape and texture are determined to some extent, such as a breast cancer lesion in a breast image. Can be handled.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a similar image search system according to an embodiment of the present invention.
FIG. 2 is a diagram showing a display example of search target images and search results.
FIG. 3 is a diagram showing a shape pattern of a lesion and a curve expressed in polar coordinates of each pattern
FIG. 4 is a diagram showing a state where a contour shape of a lesion is subjected to polar coordinate conversion
FIG. 5 is a diagram showing a state where a landmark is attached to the outer edge of a lesion part of a lesion image represented by image data in theimage database 30a.
FIG. 6 is a diagram showing an average shape of a lesioned part of a lesioned part image represented by image data in theimage database 30a
FIG. 7 is a diagram showing a state of warping the shape of a lesion to an average shape
FIG. 8 is a diagram showing an example of a unique shape of a lesion part
FIG. 9 is a diagram showing an example of a unique texture of a lesion part
[Explanation of symbols]
1 Similar image search system
10 CAD
20 Image data input means
30 case database
30a image database
30b diagnostic database
40 Extraction means
50 Similarity calculation means
60 Search means
70 Output means
80 Display means
90 Registration means

Claims (5)

Translated fromJapanese

被写体画像を表す画像データとして、多数の被写体の形状情報およびテクスチャ情報が保存されている画像データベースと、
検索対象となる被写体画像を表す画像データを入力する画像データ入力手段と、
該画像データ入力手段により入力された画像データに基づいて、該画像データが表す被写体画像に含まれる被写体の形状情報およびテクスチャ情報を抽出する抽出手段と、
前記画像データベースに保存されている画像データが表す被写体画像に含まれる被写体の形状情報およびテクスチャ情報と、前記入力された画像データが表す被写体画像に含まれる被写体の形状情報およびテクスチャ情報とを比較することにより、両被写体画像の類似度を算出する類似度算出手段と、
前記類似度に基づいて、前記画像データベースに保存されている画像データの中から、前記入力された画像データが表す被写体画像と類似した被写体画像を表す類似画像データを検索する検索手段と、
前記検索手段による検索結果を表す検索結果情報を出力する出力手段とを備えたことを特徴とする類似画像検索装置。As image data representing a subject image, an image database in which shape information and texture information of a large number of subjects are stored;
Image data input means for inputting image data representing a subject image to be searched;
Extraction means for extracting shape information and texture information of the subject included in the subject image represented by the image data based on the image data input by the image data input means;
The subject shape information and texture information included in the subject image represented by the image data stored in the image database is compared with the subject shape information and texture information included in the subject image represented by the input image data. A similarity calculation means for calculating the similarity of both subject images,
Search means for searching for similar image data representing a subject image similar to the subject image represented by the input image data from image data stored in the image database based on the similarity;
A similar image search apparatus comprising: output means for outputting search result information representing a search result by the search means.前記形状情報および前記テクスチャ情報が、前記被写体の形状およびテクスチャの固有成分を表すものであることを特徴とする請求項１記載の類似画像検索装置。The similar image search apparatus according to claim 1, wherein the shape information and the texture information represent specific components of the shape and texture of the subject.前記画像データベースに保存されている画像データに関連する診断データを保存している診断データベースをさらに備え、
前記検索手段が、前記検索された類似画像データに関連する前記診断データを前記診断データベースの中から検索し、前記出力手段が、該検索された診断データを、関連する前記類似画像データとともに前記検索結果情報として出力するものであることを特徴とする請求項１または２記載の類似画像検索装置。A diagnostic database storing diagnostic data related to the image data stored in the image database;
The retrieval means retrieves the diagnostic data related to the retrieved similar image data from the diagnostic database, and the output means retrieves the retrieved diagnostic data together with the related similar image data. 3. The similar image retrieval apparatus according to claim 1, wherein the similar image retrieval apparatus outputs the result information.前記診断データが、疾患名、治療方針、所見、患者名、担当医師名、撮影日時、経過観察情報のうち、いずれか１つ以上であることを特徴とする請求項１、２または３記載の類似画像検索装置。4. The diagnosis data according to claim 1, 2 or 3, wherein the diagnosis data is any one or more of disease name, treatment policy, findings, patient name, doctor name in charge, photographing date and time, follow-up information. Similar image search device.前記抽出手段により抽出された形状情報およびテクスチャ情報を、前記入力された画像データとともに前記画像データベースに登録する登録手段をさらに備えたことを特徴とする請求項１から４いずれか記載の類似画像検索装置。5. The similar image search according to claim 1, further comprising registration means for registering the shape information and texture information extracted by the extraction means in the image database together with the input image data. apparatus.

Images