【０００１】[0001]
【発明の属する技術分野】本発明は、ドットマトリクス
状の画素からなる画像データを補間する画像データ補間
装置、画像データ補間方法および画像データ補間プログ
ラムを記録した媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image data interpolation device, an image data interpolation method, and a medium on which an image data interpolation program is interpolated, for interpolating image data composed of dot matrix pixels.
【０００２】[0002]
【従来の技術】コンピュータなどで画像を扱う際には、
画像をドットマトリクス状の画素で表現し、各画素を階
調値で表している。例えば、コンピュータの画面で水平
方向に６４０ドット、垂直方向に４８０ドットの画素で
写真やコンピュータグラフィックスを表示することが多
い。2. Description of the Related Art When handling images on a computer or the like,
An image is represented by pixels in a dot matrix, and each pixel is represented by a gradation value. For example, photographs and computer graphics are often displayed on a computer screen with 640 dots in the horizontal direction and 480 dots in the vertical direction.
【０００３】一方、カラープリンタの性能向上がめざま
しく、そのドット密度は７２０ｄｐｉ（ｄｏｔ／ｉｎｃ
ｈ）というように極めて高精度となっている。すると、
６４０×４８０ドットの画像をドット単位で対応させて
印刷させようとすると極めて小さくなってしまう。この
場合、階調値も異なる上、解像度の意味合い自体が異な
るのであるから、ドット間を補間して印刷用のデータに
変換しなければならない。On the other hand, the performance of a color printer has been remarkably improved, and its dot density is 720 dpi (dot / inc.).
h), the accuracy is extremely high. Then
If an attempt is made to print an image of 640 × 480 dots corresponding to each dot, the size of the image becomes extremely small. In this case, since the tone value is different and the meaning of the resolution itself is different, it is necessary to interpolate between dots and convert the data into printing data.
【０００４】従来、このような場合にドットを補間する
手法として、最近隣内挿法（ニアリストネイバ補間：以
下、ニアリスト法と呼ぶ）や、３次たたみ込み内挿法
（キュービックコンボリューション補間：以下、キュー
ビック法と呼ぶ）などの手法が知られている。また、特
開平６−２２５１４０号公報にはドットを補間したとき
の縁部のスムージングを行うにあたり、予め縁部がスム
ーズとなるような拡大形態となるようにドットパターン
を用意しておく技術が開示されている。Conventionally, as a method of interpolating dots in such a case, a nearest neighbor interpolation method (hereinafter, referred to as a nearest neighbor method) or a cubic convolution interpolation method (a cubic convolution interpolation method) has been proposed. : Hereinafter referred to as the cubic method). Also, Japanese Patent Application Laid-Open No. 6-225140 discloses a technique of preparing a dot pattern in advance so as to have an enlarged form in which the edge is smoothed when smoothing the edge when the dots are interpolated. Have been.
【０００５】[0005]
【発明が解決しようとする課題】上述した従来の補間技
術においては、次のような課題があった。The conventional interpolation technique described above has the following problems.
【０００６】ニアリスト法においては処理量が少ない反
面、補間倍率が大きくなると画像によっては画質の荒さ
が目立つようになるのが通常である。しかしながら、画
像によってはたとえニアリスト法であったとしても画質
の荒さが殆ど気にならないこともある。例えば、空のよ
うに画像に変化のないようなものであれば殆ど気になら
ない。In the near-list method, the processing amount is small, but when the interpolation magnification is large, the image quality is usually noticeable depending on the image. However, depending on the image, even if the near-list method is used, the roughness of the image quality is hardly noticeable. For example, if the image does not change, such as the sky, there is almost no concern.
【０００７】一方、キュービック法は補間する画素をな
だらかに変化させるため、補間倍率が大きくなったとし
てもさほど画質は悪化しない。しかしながら、多次演算
を行う関係上、演算量は極めて多大となるし、もともと
画像に変化が少ない部分では殆ど意味のないこともあ
る。On the other hand, in the cubic method, since the pixel to be interpolated changes smoothly, the image quality does not deteriorate much even if the interpolation magnification is increased. However, the amount of calculation becomes extremely large due to the multi-order calculation, and there may be little meaning in a portion where the image originally has little change.
【０００８】このように、ニアリスト法やキュービック
法などの各種の手法にはそれぞれに得失があるが、利用
者がそれを選択するのは難しい。また、一つの画像の中
でも部分的に優劣が変化することもある。As described above, various methods such as the near-list method and the cubic method have advantages and disadvantages, but it is difficult for the user to select the method. In addition, the superiority may change partially in one image.
【０００９】なお、特開平６−２２５１４０号公報に開
示された発明においては、予めパターンを要しておくこ
とから補間倍率が固定的にならざるを得ないし、カラー
の画像を前提とするとパターンの数が膨大となって予め
用意しておくこと自体が困難である。In the invention disclosed in Japanese Patent Application Laid-Open No. 6-225140, the interpolation magnification must be fixed because a pattern is required in advance. The number is huge and it is difficult to prepare in advance.
【００１０】本発明は、上記課題にかんがみてなされた
もので、効率よく補間処理することが可能な画像データ
補間装置、画像データ補間方法および画像データ補間プ
ログラムを記録した媒体の提供を目的とする。SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and has as its object to provide an image data interpolation apparatus, an image data interpolation method, and a medium on which an image data interpolation program can be efficiently processed. .
【００１１】[0011]
【課題を解決するための手段】上記目的を達成するた
め、請求項１にかかる発明は、画像をドットマトリクス
状の画素で表現した画像データを取得する画像データ取
得手段と、上記画像データに基づいて画素の変化度合い
を評価する画素変化度合評価手段と、上記画像データに
おける構成画素数を増やす補間処理を行うにあたり画素
の変化度合いに対応する複数の補間処理の中から選択し
て実行可能な画素補間手段と、上記画素変化度合評価手
段によって評価された画素の変化度合に基づいてその変
化度合いに対応して最適な補間結果を得ることが可能な
補間処理を選択して上記画素補間手段に実行させる補間
処理選択手段とを具備する構成としてある。According to a first aspect of the present invention, there is provided an image data acquiring means for acquiring image data in which an image is represented by pixels in a dot matrix, and an image data acquiring means for acquiring the image data based on the image data. A pixel change degree estimating means for evaluating the degree of change of the pixel by performing the interpolation process for increasing the number of constituent pixels in the image data, and selecting and executing a pixel selected from a plurality of interpolation processes corresponding to the degree of change of the pixel. An interpolation unit and an interpolation process capable of obtaining an optimum interpolation result corresponding to the degree of change based on the degree of change of the pixel evaluated by the pixel degree of change evaluation unit, and executing the pixel interpolation unit. And an interpolation process selecting means for performing the interpolation process.
【００１２】上記のように構成した請求項１にかかる発
明においては、画像をドットマトリクス状の画素で表現
した画像データの構成画素数を増やす補間処理を行うに
あたり、画素補間手段は複数の補間処理の中からいずれ
かを選択して実行可能となっており、画像データ取得手
段が対象となる画像データを取得すると、上記画素変化
度合評価手段は同画像データに基づいて画素の変化度合
いを評価する。そして、上記補間処理選択手段はこの画
素変化度合評価手段によって評価された画素の変化度合
に基づき、その変化度合いに対応して最適な補間結果を
得ることが可能な補間処理を選択して上記画素補間手段
に実行させる。In the invention according to claim 1 configured as described above, when performing the interpolation processing for increasing the number of constituent pixels of the image data in which the image is represented by the pixels of the dot matrix, the pixel interpolation means includes a plurality of interpolation processing. Can be selected and executed. When the image data acquisition unit acquires the target image data, the pixel change degree evaluation unit evaluates the pixel change degree based on the image data. . The interpolation processing selecting means selects an interpolation processing capable of obtaining an optimal interpolation result corresponding to the degree of change based on the degree of change of the pixel evaluated by the degree of pixel change evaluation, and Cause the interpolation means to execute.
【００１３】すなわち、画素の変化度合は補間処理の具
体的手法に密接に関連するので、同画素の変化度合を評
価して積極的に補間処理を変更することにより、無駄の
ない補間処理を実現する。That is, since the degree of change of a pixel is closely related to a specific method of the interpolation processing, a wasteful interpolation processing is realized by evaluating the degree of change of the pixel and actively changing the interpolation processing. I do.
【００１４】ここで、画像データは画像をドットマトリ
クス状の画素で表現したものであり、各画素についてデ
ータで表したものであればよく、カラー画像であっても
良いし、モノクログレースケール画像であってもよい。Here, the image data is an image represented by pixels in a dot matrix. The image data may be represented by data for each pixel, and may be a color image or a monochrome gray scale image. There may be.
【００１５】画像データ取得手段は、かかる画像データ
を取得するものであり、上記画素補間手段が構成画素を
増やすための補間処理を行うにあたり、対象となる画像
データを保持するようなものであればよい。従って、そ
の取得手法は特に限定されるものではなく、各種のもの
を採用可能である。例えば、インターフェイスを介して
外部機器から取得するものであってもよいし、撮像手段
を備えて画像を撮像するものであっても良い。また、コ
ンピュータグラフィックアプリケーションを実行してマ
ウスやキーボードから入力するものであってもよい。The image data acquisition means is for acquiring such image data. If the pixel interpolation means performs the interpolation processing for increasing the number of constituent pixels, the image data acquisition means should hold the target image data. Good. Therefore, the acquisition method is not particularly limited, and various methods can be adopted. For example, the information may be obtained from an external device via an interface, or may be an image capturing device provided with an image capturing unit. Alternatively, a computer graphic application may be executed to perform input from a mouse or a keyboard.
【００１６】画素変化度合評価手段は、画素の変化度合
を評価するものであり、評価の手法や結果は特に限定さ
れるものではない。また、補間処理選択手段での同評価
結果の利用態様に応じて相対的に変更可能なものであ
る。例えば、具体的な変化度合いを数値として要するの
であれば数値を出力すればよいし、単に変化度合いが大
きいか否かといったものでよければ、それに合わせて出
力すればよい。The pixel change degree evaluation means evaluates the degree of change of pixels, and the evaluation method and result are not particularly limited. Further, it can be relatively changed in accordance with the manner of use of the evaluation result in the interpolation processing selecting means. For example, if a specific degree of change is required as a numerical value, a numerical value may be output, and if it is only necessary to determine whether the degree of change is large, it may be output in accordance with the numerical value.
【００１７】また、画素の変化自体をどのようにして把
握するかも適宜変更可能であり、その一例として、請求
項２にかかる発明は、請求項１に記載の画像データ補間
装置において、上記画素変化度合評価手段は、各画素の
明るさのパラメータを求めるとともに周囲の画素のパラ
メータとの比較で上記変化度合いを算出する構成として
ある。Also, how to grasp the change of the pixel itself can be changed as appropriate. As an example, the invention according to claim 2 is the image data interpolation apparatus according to claim 1, The degree evaluation means is configured to calculate a brightness parameter of each pixel and calculate the degree of change by comparing with a parameter of surrounding pixels.
【００１８】上記のように構成した請求項２にかかる発
明においては、画素の評価の基準として当該画素の明る
さを利用するものとし、上記画素変化度合評価手段は各
画素の明るさのパラメータを求め、当該画素とその周囲
の画素とで同パラメータを比較し、比較結果を上記変化
度合いとして算出する。In the invention according to claim 2 configured as described above, the brightness of the pixel is used as a criterion for evaluation of the pixel, and the pixel change degree evaluating means calculates a parameter of the brightness of each pixel. Then, the same parameter is compared between the pixel concerned and its surrounding pixels, and the comparison result is calculated as the degree of change.
【００１９】むろん、これ以外にも画素の変化度合いを
把握することは可能であるが、多要素のパラメータで表
される画素を一律に把握するにあたって明るさのパラメ
ータは比較的容易である。Of course, other than this, it is possible to grasp the degree of change of the pixel, but the brightness parameter is relatively easy to uniformly grasp the pixel represented by the multi-element parameters.
【００２０】一方、補間処理の処理内容にも画素の変化
度合いが影響を及ぼす範囲が異なってくると言える。例
えば、補間処理を実行するにあたって必要とする画素の
数が一つであるものもあれば、複数の画素に基づいて補
間処理するものもある。特に、後者の例であれば、一つ
でも変化度合いが大きい画素があると補間処理を変える
のか、あるいは一つでも変化度合が小さい画素があると
補間処理を変えるのかといったことが問題となる。On the other hand, it can be said that the range in which the degree of change of the pixel affects the processing contents of the interpolation processing also differs. For example, in some cases, the number of pixels required for executing the interpolation process is one, and in others, the interpolation process is performed based on a plurality of pixels. In particular, in the latter case, the question is whether to change the interpolation processing if there is at least one pixel having a large degree of change, or whether to change the interpolation processing if at least one pixel has a small degree of change.
【００２１】このような状況に対する一例として、請求
項３にかかる発明は、請求項１または請求項２のいずれ
かに記載の画像データ補間装置において、上記画素変化
度合評価手段は、各画素ごとに求めた上記変化度合いを
周囲の画素の変化度合の評価についても利用する構成と
してある。As one example of such a situation, the invention according to claim 3 is an image data interpolating device according to claim 1 or 2, wherein the pixel change degree estimating means is provided for each pixel. The obtained degree of change is also used to evaluate the degree of change of surrounding pixels.
【００２２】補間処理で要する画素が複数であり、その
うちの一つでも変化度合いが大きいときには、二つの態
様が考えられる。すなわち、補間処理で対象とする範囲
の残り画素については評価する必要が無くなるし、逆に
既に評価した画素について変化度合いが小さかったとし
ても当該評価は不要となる。When a plurality of pixels are required in the interpolation processing, and one of them has a large degree of change, two modes are conceivable. That is, it is not necessary to evaluate the remaining pixels in the target range in the interpolation processing, and conversely, even if the degree of change is small for the already evaluated pixels, the evaluation is unnecessary.
【００２３】このような二方向の意味で、上記のように
構成した請求項３にかかる発明においては、各画素ごと
に求めた上記変化度合いを周囲の画素の変化度合の評価
についても利用することになる。According to the third aspect of the present invention having the above-described structure in two directions, the degree of change obtained for each pixel is also used for evaluating the degree of change of surrounding pixels. become.
【００２４】画素補間手段では、画素の変化度合いに関
連する複数の補間処理を実行可能であればよく、補間処
理自体としては各種の処理が可能である。その一例とし
て、請求項４にかかる発明は、請求項１〜請求項３のい
ずれかに記載の画像データ補間装置において、上記画素
補間手段は、変化度合の小さい領域で適用して好適な補
間処理として、補間処理前の最近隣画素の画像データを
新たな構成画素の画像データに利用する補間処理を実行
可能な構成としてある。The pixel interpolation means only needs to be able to execute a plurality of interpolation processes relating to the degree of change of pixels, and various processes can be performed as the interpolation process itself. As an example, the invention according to claim 4 is an image data interpolation apparatus according to any one of claims 1 to 3, wherein the pixel interpolating means is adapted to be applied to an area having a small change degree. In this configuration, an interpolation process using the image data of the nearest neighbor pixel before the interpolation process as the image data of a new constituent pixel can be executed.
【００２５】上記のように構成した請求項４にかかる発
明においては、一つの補間処理として補間処理前の最近
隣画素の画像データを新たな構成画素の画像データに利
用するが、同じ画素のデータが増えるとしても変化度合
の小さい領域であれば何ら問題なく、処理量が少ない点
で好適である。In the invention according to claim 4 configured as described above, the image data of the nearest neighbor pixel before interpolation processing is used as image data of a new constituent pixel as one interpolation processing. Even if the area increases, it is suitable for an area having a small degree of change without any problem and a small amount of processing.
【００２６】また、他の一例として、請求項５にかかる
発明は、請求項１〜請求項４のいずれかに記載の画像デ
ータ補間装置において、上記画素補間手段は、変化度合
の大きい領域で適用して好適な補間処理として補間する
画素の画像データがなだらかに変化するように周囲の画
素の画像データから演算処理で補間画素の画像データを
算出する補間処理を実行可能な構成としてある。As another example, the invention according to claim 5 is the image data interpolation device according to any one of claims 1 to 4, wherein the pixel interpolation means is applied to an area having a large degree of change. As a preferred interpolation process, an interpolation process of calculating the image data of the interpolated pixel from the image data of the surrounding pixels by an arithmetic process so that the image data of the pixel to be interpolated changes smoothly can be executed.
【００２７】上記のように構成した請求項５にかかる発
明においては、周囲の画素の画像データを利用して演算
処理することにより、補間する画素の画像データはなだ
らかに変化する。このように、なだらかに変化させる
と、変化度合いの大きい画素の並びがあったとして、こ
の間を補間したとしても段差が目立たない。In the invention according to claim 5 configured as described above, the image data of the pixel to be interpolated changes smoothly by performing arithmetic processing using the image data of the surrounding pixels. As described above, if the change is made gently, it is assumed that there is a row of pixels having a large change degree, and even if interpolation is performed between the pixels, the step is not conspicuous.
【００２８】補間する画素の画像データがなだらかに変
化する演算手法は各種のものを採用可能であるが、その
変化態様は画質に影響を与える。従って、ある意味では
演算手法を変えることによって画質を調整可能となると
もいえる。画質を調整可能な一例として、請求項６にか
かる発明は、請求項５に記載の画像データ補間装置にお
いて、上記画素補間手段は、変化度合いの大きい画素間
で補間画素の画像データを算出するにあたり、画像デー
タの変化態様を略Ｓ字型としつつその傾斜を調整すると
ともに、両端部位では低い側にアンダーシュートを発生
させつつ高い側にオーバーシュートを発生させて高低差
を形成してその高低差を調整することにより、画像の変
化度合いを最適なものとするように調整する構成として
ある。Various calculation methods for smoothly changing the image data of the pixel to be interpolated can be adopted, but the manner of change affects the image quality. Therefore, in a sense, the image quality can be adjusted by changing the calculation method. As an example in which the image quality can be adjusted, the invention according to claim 6 is the image data interpolation apparatus according to claim 5, wherein the pixel interpolating means calculates image data of an interpolated pixel between pixels having a large degree of change. In addition, the inclination of the image data is changed while the change mode of the image data is substantially S-shaped, and an undershoot is generated on the lower side and an overshoot is generated on the higher side at both ends to form a height difference. Is adjusted so that the degree of change of the image is optimized.
【００２９】上記のように構成した請求項６にかかる発
明においては、補間する画素の画像データをなだらかに
変化させるにあたり、変化度合いの大きい画素間で画像
データの変化態様を略Ｓ字型とする。従って、なだらか
には変化するもののその変化態様は単に直線的に結ぶ勾
配よりは急峻とさせることができ、その傾斜を調整して
画像の変化度合いを最適なものとすることが可能とな
る。また、両端部位で低い側にアンダーシュートを発生
させつつ高い側にオーバーシュートを発生させると高低
差は大きくなり、かつ、その高低差を調整することによ
っても見かけ上の画像の変化度合いを最適なものとする
ことが可能となる。このような演算処理の一例として
は、多次演算処理の３次たたみ込み内挿法などを使用可
能であるし、かかる調整を可能とする演算処理はこれに
限られず、他の演算手法を採用することもできる。According to the sixth aspect of the present invention, when the image data of the pixel to be interpolated is gently changed, the image data is changed in a substantially S-shaped manner between pixels having a large change degree. . Therefore, although the change is gradual, the change mode can be made steeper than a gradient that is merely linearly connected, and the gradient can be adjusted to optimize the degree of change of the image. In addition, if an overshoot is generated on the high side while an undershoot is generated on the low side at both ends, the height difference becomes large, and by adjusting the height difference, the degree of change of the apparent image is optimized. It becomes possible. As an example of such arithmetic processing, a cubic convolution interpolation method of multi-dimensional arithmetic processing can be used, and the arithmetic processing that enables such adjustment is not limited to this, and another arithmetic technique is adopted. You can also.
【００３０】画素の変化度合いが画像全体にわたって一
定であることはないため、補間処理選択手段は、適宜、
補間処理を選択して切り換えなければならない。そし
て、かかる切り換えの頻度も特に限定されるものでな
く、各種の手法を採用可能である。その一例として、請
求項７にかかる発明は、請求項１〜請求項６のいずれか
に記載の画像データ補間装置において、上記補間処理選
択手段は、上記画素変化度合評価手段によって評価され
た画素の変化度合に基づいて画素単位で上記補間処理を
選択して実行させる構成としてある。Since the degree of change of the pixel is not constant over the entire image, the interpolation processing selecting means appropriately selects
The interpolation process must be selected and switched. The frequency of such switching is not particularly limited, and various methods can be adopted. As an example thereof, the invention according to claim 7 is the image data interpolation device according to any one of claims 1 to 6, wherein the interpolation processing selecting means is configured to determine whether or not the pixel evaluated by the pixel change degree estimating means. The configuration is such that the above-described interpolation processing is selected and executed for each pixel based on the degree of change.
【００３１】上記のように構成した請求項７にかかる発
明においては、上記画素変化度合評価手段によって評価
された画素の変化度合に基づき、上記補間処理選択手段
が画素単位で上記補間処理を選択して実行させる。すな
わち、変化度合いが画素単位で評価される以上、これに
対応して補間処理も変更する。In the invention according to claim 7, the interpolation processing selecting means selects the interpolation processing on a pixel-by-pixel basis based on the pixel change degree evaluated by the pixel change degree evaluating means. And let it run. That is, since the degree of change is evaluated for each pixel, the interpolation processing is changed correspondingly.
【００３２】また、他の一例として、請求項８にかかる
発明は、請求項１〜請求項６のいずれかに記載の画像デ
ータ補間装置において、上記補間処理選択手段は、上記
画素変化度合評価手段によって評価された画素の変化度
合に基づいて複数画素からなる所定の小領域毎に上記補
間処理を選択して実行させる構成としてある。As another example, the invention according to claim 8 is the image data interpolation apparatus according to any one of claims 1 to 6, wherein the interpolation processing selecting means is provided with the pixel change degree evaluating means. The above-described interpolation processing is selected and executed for each predetermined small area composed of a plurality of pixels based on the degree of change of the pixel evaluated by the above.
【００３３】上記のように構成した請求項８にかかる発
明においては、上記画素変化度合評価手段によって評価
された画素の変化度合に基づき、上記補間処理選択手段
が複数画素からなる所定の小領域毎に上記補間処理を選
択して実行させる。[0033] In the invention according to claim 8 configured as described above, based on the degree of pixel change evaluated by the pixel change degree estimating means, the interpolation processing selecting means determines a predetermined small area consisting of a plurality of pixels. Selects and executes the above interpolation processing.
【００３４】このように、画像の変化度合いに応じて補
間処理を選択する手法は必ずしも実体のある装置に限ら
れる必要はなく、その方法としても機能することは容易
に理解できる。このため、請求項９にかかる発明は、画
像をドットマトリクス状の画素で表現した画像データに
ついてその構成画素数を増やす補間処理方法であって、
上記画像データを取得する工程と、上記画像データに基
づいて画素の変化度合いを評価する工程と、評価された
画素の変化度合に基づいてその変化度合いに対応して最
適な補間結果を得ることが可能な補間処理を選択する工
程と、選択された補間処理で上記画像データにおける構
成画素数を増やす工程とを具備する構成としてある。As described above, the method of selecting the interpolation processing according to the degree of change of the image is not necessarily limited to a substantial device, and it can be easily understood that the method functions as the method. Therefore, the invention according to claim 9 is an interpolation processing method for increasing the number of constituent pixels of image data in which an image is represented by pixels in a dot matrix,
Obtaining the image data, evaluating the degree of change of the pixel based on the image data, and obtaining an optimal interpolation result corresponding to the degree of change based on the degree of change of the evaluated pixel. The configuration includes a step of selecting a possible interpolation process and a step of increasing the number of constituent pixels in the image data by the selected interpolation process.
【００３５】すなわち、必ずしも実体のある装置に限ら
ず、その方法としても有効であることに相違はない。That is, there is no difference that the present invention is not necessarily limited to a substantial device and is also effective as a method.
【００３６】ところで、このような画像データ補間装置
は単独で存在する場合もあるし、ある機器に組み込まれ
た状態で利用されることもあるなど、発明の思想として
はこれに限らず、各種の態様を含むものである。従っ
て、ソフトウェアであったりハードウェアであったりす
るなど、適宜、変更可能である。By the way, such an image data interpolation device may exist alone or may be used in a state of being incorporated in a certain device. It includes embodiments. Therefore, it can be changed as appropriate, such as software or hardware.
【００３７】発明の思想の具現化例として画像データ補
間装置のソフトウェアとなる場合には、かかるソフトウ
ェアを記録した記録媒体上においても当然に存在し、利
用されるといわざるをえない。When the software of the image data interpolating device is realized as an example of realizing the idea of the present invention, the software naturally exists on a recording medium on which such software is recorded, and it must be said that the software is used.
【００３８】その一例として、請求項１０にかかる発明
は、画像をドットマトリクス状の画素で表現した画像デ
ータについてその構成画素数を増やすようにコンピュー
タにて補間処理を実行する補間処理プログラムを記録し
た媒体であって、上記画像データを取得するステップ
と、上記画像データに基づいて画素の変化度合いを評価
するステップと、評価された画素の変化度合に基づいて
その変化度合いに対応して最適な補間結果を得ることが
可能な補間処理を選択するステップと、選択された補間
処理で上記画像データにおける構成画素数を増やすステ
ップとを具備する構成としてある。As one example, the invention according to claim 10 records an interpolation processing program for executing an interpolation processing by a computer so as to increase the number of constituent pixels of image data in which an image is represented by dot matrix pixels. A medium, obtaining the image data, evaluating a degree of change of a pixel based on the image data, and optimal interpolation corresponding to the degree of change based on the degree of change of the evaluated pixel. The configuration includes a step of selecting an interpolation process capable of obtaining a result and a step of increasing the number of constituent pixels in the image data by the selected interpolation process.
【００３９】むろん、その記録媒体は、磁気記録媒体で
あってもよいし光磁気記録媒体であってもよいし、今後
開発されるいかなる記録媒体においても全く同様に考え
ることができる。また、一次複製品、二次複製品などの
複製段階については全く問う余地無く同等である。その
他、供給方法として通信回線を利用して行なう場合でも
本発明が利用されていることにはかわりない。Of course, the recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium to be developed in the future. Also, the duplication stages of the primary duplicated product, the secondary duplicated product, and the like are equivalent without any question. In addition, the present invention is not limited to the case where the present invention is used even when the supply is performed using a communication line.
【００４０】さらに、一部がソフトウェアであって、一
部がハードウェアで実現されている場合においても発明
の思想において全く異なるものはなく、一部を記録媒体
上に記憶しておいて必要に応じて適宜読み込まれるよう
な形態のものとしてあってもよい。Further, even when a part is implemented by software and a part is implemented by hardware, there is no difference in the concept of the invention, and it is necessary to store a part on a recording medium. It may be in a form that is appropriately read in accordance with it.
【００４１】また、本画像データ補間装置全体を組み入
れる対象の一つには画像出力装置なども当然に上げられ
る。例えば、ディジタルスチルカメラであるとかビデオ
カメラなどでは光学ズームに加えてディジタルズームも
利用されているが、このようなカメラに組み込んでズー
ムをする際に利用してもよい。また、高機能なテレビジ
ョンにおいても画面をズームすることが可能となってい
るものもあるが、このような場合にも画像の変化度合い
に応じた補間処理でズームするようにしても良い。すな
わち、アニメーションなどのように一定の範囲では同じ
色が塗られる場合においてはがその変化度合は低く、主
に境界部分でのみ変化度合いが大きくなるため、それぞ
れに応じた補間処理を適宜選択して実施すればよい。One of the objects to which the entire image data interpolation device is incorporated is an image output device. For example, a digital still camera or a video camera uses a digital zoom in addition to an optical zoom. However, the digital zoom may be incorporated in such a camera and used for zooming. In addition, although there are some high-performance televisions that can zoom the screen, in such a case, the zoom may be performed by interpolation processing according to the degree of change in the image. That is, in the case where the same color is painted in a certain range such as an animation, the degree of change is low, and the degree of change is large mainly at the boundary portion. Therefore, an interpolation process corresponding to each is appropriately selected. What is necessary is just to implement.
【００４２】[0042]
【発明の効果】以上説明したように本発明は、画像の変
化度合いに応じて補間処理を変更することにより極めて
簡易に最適な補間結果を得ることが可能な画像データ補
間装置を提供することができる。As described above, the present invention provides an image data interpolating apparatus capable of obtaining an optimal interpolation result extremely easily by changing the interpolation processing according to the degree of change of the image. it can.
【００４３】また、請求項２にかかる発明によれば、画
像の変化度合いを明るさのパラメータに基づいて判断す
るため、比較的容易に同変化度合いを求めることができ
る。According to the second aspect of the present invention, since the degree of change of the image is determined based on the brightness parameter, the degree of change can be obtained relatively easily.
【００４４】さらに、請求項３にかかる発明によれば、
一の画素の変化度合いを周囲の画素においても利用する
ことにより、演算量を低減できるし、補間処理の影響を
受ける適当な範囲で共有することにより、最適な補間結
果を得ることができる。Further, according to the invention of claim 3,
The amount of calculation can be reduced by using the degree of change of one pixel also in surrounding pixels, and an optimal interpolation result can be obtained by sharing in an appropriate range affected by the interpolation processing.
【００４５】さらに、請求項４にかかる発明によれば、
変化度合の小さい領域では画質に影響することなく処理
量を減らすことができる。Further, according to the invention of claim 4,
In an area where the degree of change is small, the processing amount can be reduced without affecting the image quality.
【００４６】さらに、請求項５にかかる発明によれば、
変化度合いの大きい画素の並びについてこの間を補間し
たとしても段差が目立たたず画質の劣化を防止すること
ができる。Further, according to the fifth aspect of the present invention,
Even if a pixel sequence having a large degree of change is interpolated between them, a step is not conspicuous and deterioration in image quality can be prevented.
【００４７】さらに、請求項６にかかる発明によれば、
Ｓ字カーブの傾斜と、アンダーシュートとオーバーシュ
ートによる高低差とにより、画質の調整を比較的容易に
実現できる。Further, according to the invention of claim 6,
The image quality can be adjusted relatively easily by the inclination of the S-shaped curve and the height difference due to the undershoot and the overshoot.
【００４８】さらに、請求項７にかかる発明によれば、
画素単位で補間処理を選択するのできめ細かに補間結果
を向上させることができる。Further, according to the invention of claim 7,
Interpolation processing can be selected on a pixel-by-pixel basis, and the interpolation result can be improved finely.
【００４９】さらに、請求項８にかかる発明によれば、
小領域毎に補間処理を選択するので処理を簡易化するこ
とができる。Further, according to the invention of claim 8,
Since the interpolation processing is selected for each small area, the processing can be simplified.
【００５０】さらに、請求項９にかかる発明によれば、
同様の効果を奏することが可能な画像データ補間方法を
提供することができ、請求項１０にかかる発明によれ
ば、画像データ補間プログラムを記録した媒体を提供す
ることができる。Further, according to the ninth aspect of the present invention,
According to the tenth aspect, it is possible to provide a medium in which an image data interpolation program is recorded.
【００５１】[0051]
【発明の実施の形態】以下、図面にもとづいて本発明の
実施形態を説明する。Embodiments of the present invention will be described below with reference to the drawings.
【００５２】図１は、本発明の画像データ補間装置を表
すクレーム対応図である。FIG. 1 is a claim correspondence diagram showing the image data interpolation device of the present invention.
【００５３】ディジタル処理を前提とすると、画像はド
ットマトリクス状の画素で表現することになり、各画素
を表すデータの集まりで画像データが構成される。そし
て、画素単位で処理する系においては、画像の拡大縮小
は画素単位で実施することになる。本画像データ補間装
置はこのような画素単位での拡大処理を実施するもので
あり、画像データ取得手段Ｃ１は、このような画像デー
タを取得し、画素補間手段Ｃ２はこの画像データにおけ
る構成画素数を増やす補間処理を行う。ここで、画素補
間手段Ｃ２は補間処理として画素の変化度合いに応じた
複数の補間処理を実行可能となっており、画素変化度合
評価手段Ｃ３が上記画像データに基づいて画素ごとの変
化度合いを評価する。すると、補間処理選択手段Ｃ４は
そのようにして評価された画素の変化度合いに対応して
最適な補間結果を得ることが可能な補間処理を選択し、
上記画素補間手段Ｃ２に実行させる。Assuming digital processing, an image is represented by pixels in a dot matrix, and image data is composed of a group of data representing each pixel. In a system that performs processing in units of pixels, the image is scaled up or down in units of pixels. The present image data interpolating apparatus performs such an enlarging process in pixel units. The image data acquiring unit C1 acquires such image data, and the pixel interpolating unit C2 determines the number of constituent pixels in the image data. Is performed. Here, the pixel interpolation means C2 can execute a plurality of interpolation processes according to the degree of change of pixels as the interpolation processing, and the pixel change degree evaluation means C3 evaluates the degree of change for each pixel based on the image data. I do. Then, the interpolation processing selecting means C4 selects an interpolation processing capable of obtaining an optimal interpolation result in accordance with the degree of change of the pixel evaluated in this way,
The above-mentioned pixel interpolation means C2 is executed.
【００５４】本実施形態においてはこのような画像デー
タ補間装置を実現するハードウェアの一例としてコンピ
ュータシステム１０を採用している。In the present embodiment, the computer system 10 is employed as an example of hardware for realizing such an image data interpolation device.
【００５５】図２は、同コンピュータシステム１０をブ
ロック図により示している。FIG. 2 is a block diagram showing the computer system 10.
【００５６】本コンピュータシステム１０は、画像入力
デバイスとして、スキャナ１１ａとデジタルスチルカメ
ラ１１ｂとビデオカメラ１１ｃとを備えており、コンピ
ュータ本体１２に接続されている。それぞれの入力デバ
イスは画像をドットマトリクス状の画素で表現した画像
データを生成してコンピュータ本体１２に出力可能とな
っており、ここで同画像データはＲＧＢの三原色におい
てそれぞれ２５６階調表示することにより、約１６７０
万色を表現可能となっている。The computer system 10 includes a scanner 11a, a digital still camera 11b, and a video camera 11c as image input devices, and is connected to the computer body 12. Each input device is capable of generating image data expressing an image by dot matrix pixels and outputting the image data to the computer main unit 12. Here, the image data is displayed in 256 gradations in three primary colors of RGB. , About 1670
All colors can be expressed.
【００５７】コンピュータ本体１２には、外部補助記憶
装置としてのフロッピーディスクドライブ１３ａとハー
ドディスク１３ｂとＣＤ−ＲＯＭドライブ１３ｃとが接
続されており、ハードディスク１３ｂにはシステム関連
の主要プログラムが記録されており、フロッピーディス
クやＣＤ−ＲＯＭなどから適宜必要なプログラムなどを
読み込み可能となっている。The computer main body 12 is connected to a floppy disk drive 13a, a hard disk 13b, and a CD-ROM drive 13c as external auxiliary storage devices, and the hard disk 13b stores main system-related programs. Necessary programs and the like can be read from a floppy disk or a CD-ROM as needed.
【００５８】また、コンピュータ本体１２を外部のネッ
トワークなどに接続するための通信デバイスとしてモデ
ム１４ａが接続されており、外部のネットワークに同公
衆通信回線を介して接続し、ソフトウェアやデータをダ
ウンロードして導入可能となっている。この例ではモデ
ム１４ａにて電話回線を介して外部にアクセスするよう
にしているが、ＬＡＮアダプタを介してネットワークに
対してアクセスする構成とすることも可能である。この
他、コンピュータ本体１２の操作用にキーボード１５ａ
やマウス１５ｂも接続されている。A modem 14a is connected as a communication device for connecting the computer main body 12 to an external network or the like. The modem 14a is connected to the external network via the same public communication line to download software and data. It can be introduced. In this example, the modem 14a accesses the outside through a telephone line. However, a configuration in which a network is accessed through a LAN adapter is also possible. In addition, a keyboard 15a for operating the computer body 12 is provided.
And the mouse 15b are also connected.
【００５９】さらに、画像出力デバイスとして、ディス
プレイ１７ａとカラープリンタ１７ｂとを備えている。
ディスプレイ１７ａについては水平方向に８００画素と
垂直方向に６００画素の表示エリアを備えており、各画
素毎に上述した１６７０万色の表示が可能となってい
る。むろん、この解像度は一例に過ぎず、６４０×４８
０画素であったり、１０２４×７２０画素であるなど、
適宜、変更可能である。Further, a display 17a and a color printer 17b are provided as image output devices.
The display 17a has a display area of 800 pixels in the horizontal direction and 600 pixels in the vertical direction, and each pixel can display the above-described 16.7 million colors. Of course, this resolution is only an example, 640x48
0 pixels, 1024 × 720 pixels, etc.
It can be changed as appropriate.
【００６０】また、カラープリンタ１７ｂはインクジェ
ットプリンタであり、ＣＭＹＫの四色の色インクを用い
て記録媒体たる印刷用紙上にドットを付して画像を印刷
可能となっている。画像密度は３６０×３６０ｄｐｉや
７２０×７２０ｄｐｉといった高密度印刷が可能となっ
ているが、階調表限については色インクを付すか否かと
いった２階調表現となっている。The color printer 17b is an ink jet printer, and is capable of printing an image with dots on printing paper as a recording medium using four color inks of CMYK. The image density can be printed at a high density such as 360 × 360 dpi or 720 × 720 dpi, but the gradation table is expressed in two gradations such as whether or not to apply color ink.
【００６１】一方、このような画像入力デバイスを使用
して画像を入力しつつ、画像出力デバイスに表示あるい
は出力するため、コンピュータ本体１２内では所定のプ
ログラムが実行されることになる。そのうち、基本プロ
グラムとして稼働しているのはオペレーティングシステ
ム（ＯＳ）１２ａであり、このオペレーティングシステ
ム１２ａにはディスプレイ１７ａでの表示を行わせるデ
ィスプレイドライバ（ＤＳＰ ＤＲＶ）１２ｂとカラー
プリンタ１７ｂに印刷出力を行わせるプリンタドライバ
（ＰＲＴ ＤＲＶ）１２ｃが組み込まれている。これら
のドライバ１２ｂ，１２ｃの類はディスプレイ１７ａや
カラープリンタ１７ｂの機種に依存しており、それぞれ
の機種に応じてオペレーティングシステム１２ａに対し
て追加変更可能である。また、機種に依存して標準処理
以上の付加機能を実現することもできるようになってい
る。すなわち、オペレーティングシステム１２ａという
標準システム上で共通化した処理体系を維持しつつ、許
容される範囲内での各種の追加的処理を実現できる。On the other hand, a predetermined program is executed in the computer main body 12 in order to display or output the image on the image output device while inputting the image using such an image input device. Of these, an operating system (OS) 12a is operating as a basic program, and the operating system 12a performs printing output to a display driver (DSP DRV) 12b for displaying on a display 17a and a color printer 17b. The printer driver (PRT DRV) 12c to be installed is incorporated. These drivers 12b and 12c depend on the model of the display 17a and the color printer 17b, and can be additionally changed to the operating system 12a according to each model. Further, depending on the model, additional functions beyond the standard processing can be realized. That is, it is possible to realize various additional processes within an allowable range while maintaining a common processing system on the standard system of the operating system 12a.
【００６２】この基本プログラムとしてのオペレーティ
ングシステム１２ａ上でアプリケーション１２ｄが実行
される。アプリケーション１２ｄの処理内容は様々であ
り、操作デバイスとしてのキーボード１５ａやマウス１
５ｂの操作を監視し、操作された場合には各種の外部機
器を適切に制御して対応する演算処理などを実行し、さ
らには、処理結果をディスプレイ１７ａに表示したり、
カラープリンタ１７ｂに出力したりすることになる。The application 12d is executed on the operating system 12a as the basic program. The processing contents of the application 12d are various, and include a keyboard 15a and a mouse 1 as operation devices.
5b is monitored, and when it is operated, various external devices are appropriately controlled to execute corresponding arithmetic processing and the like. Further, the processing result is displayed on the display 17a,
For example, the data is output to the color printer 17b.
【００６３】かかるコンピュータシステム１０では、画
像入力デバイスであるスキャナ１１ａなどで画像データ
を取得し、アプリケーション１２ｄによる所定の画像処
理を実行した後、画像出力デバイスとしてのディスプレ
イ１７ａやカラープリンタ１７ｂに表示出力することが
可能である。この場合、単に画素同士の対応に着目する
と、カラープリンタ１７ｂにおける画素密度とスキャナ
１１ａの画素密度が一致する場合にはスキャンした元画
像の大きさと印刷される画像の大きさとが一致するが、
両者にずれがあれば画像の大きさが異なることになる。
スキャナ１１ａの場合はカラープリンタ１７ｂの画素密
度と近似するものも多いが、高画質化のために画素密度
の向上が図られているカラープリンタ１７ｂの画素密度
の方が一般的な画像入力デバイスにおける画素密度より
も高密度であることが多い。特に、ディスプレイ１７ａ
の表示密度と比較すると各段に高密度であり、ディスプ
レイ１７ａ上での表示を画素単位で一致させて印刷させ
るとなると極めて小さな画像になりかねない。In the computer system 10, image data is acquired by a scanner 11a or the like which is an image input device, a predetermined image processing is executed by an application 12d, and then displayed on a display 17a or a color printer 17b as an image output device. It is possible to In this case, focusing on the correspondence between pixels, if the pixel density of the color printer 17b and the pixel density of the scanner 11a match, the size of the scanned original image matches the size of the printed image.
If there is a difference between the two, the size of the image will be different.
In many cases, the pixel density of the scanner 11a is similar to the pixel density of the color printer 17b. However, the pixel density of the color printer 17b whose pixel density is improved for higher image quality is higher than that of a general image input device. It is often higher than the pixel density. In particular, the display 17a
The display density is higher in each stage as compared with the display density described above, and if the display on the display 17a is made to correspond to each pixel and printed, an extremely small image may result.
【００６４】このため、オペレーティングシステム１２
ａで基準となる画素密度を決定しつつ実際のデバイスご
との画素密度の相違を解消するために解像度変換が実施
される。例えば、ディスプレイ１７ａの解像度が７２ｄ
ｐｉであるとするときに、オペレーティングシステム１
２ａで３６０ｄｐｉを基準とするならば、ディスプレイ
ドライバ１２ｂが両者の間の解像度変換を実施する。ま
た、同様の状況でカラープリンタ１７ｂの解像度が７２
０ｄｐｉであればプリンタドライバ１２ｃが解像度変換
を実施する。For this reason, the operating system 12
Resolution conversion is performed in order to eliminate the difference in the actual pixel density of each device while determining the reference pixel density in a. For example, if the resolution of the display 17a is 72d
pi, the operating system 1
If 2 dpi is based on 360 dpi, the display driver 12b performs resolution conversion between the two. In a similar situation, the resolution of the color printer 17b is 72
If it is 0 dpi, the printer driver 12c performs resolution conversion.
【００６５】解像度変換は画像データにおける構成画素
数を増やす処理にあたるので補間処理に該当し、これら
のディスプレイドライバ１２ｂやプリンタドライバ１２
ｃがその機能の一つとして補間処理を実施する。ここに
おいて、ディスプレイドライバ１２ｂやプリンタドライ
バ１２ｃは上述した画素補間手段Ｃ２はもとより、以下
に述べるように画素変化度合評価手段Ｃ３や補間処理選
択手段Ｃ４を実行し、解像度変換において最もバランス
の良い補間結果を得ることができるようにしている。な
お、かかるディスプレイドライバ１２ｂやプリンタドラ
イバ１２ｃは、ハードディスク１３ｂに記憶されてお
り、起動時にコンピュータ本体１２にて読み込まれて稼
働する。また、導入時にはＣＤ−ＲＯＭであるとかフロ
ッピーディスクなどの媒体に記録されてインストールさ
れる。従って、これらの媒体は画像データ補間プログラ
ムを記録した媒体を構成する。Since the resolution conversion corresponds to a process for increasing the number of constituent pixels in the image data, it corresponds to an interpolation process.
c implements interpolation as one of its functions. Here, the display driver 12b and the printer driver 12c execute not only the above-described pixel interpolating means C2 but also the pixel change degree evaluating means C3 and the interpolation processing selecting means C4, as described below, to obtain the most balanced interpolation result in the resolution conversion. So that you can get it. The display driver 12b and the printer driver 12c are stored in the hard disk 13b, and are read and operated by the computer main body 12 at the time of startup. At the time of introduction, the program is recorded on a medium such as a CD-ROM or a floppy disk and installed. Therefore, these media constitute a medium on which the image data interpolation program is recorded.
【００６６】本実施形態においては、画像データ補間装
置をコンピュータシステム１０として実現しているが、
必ずしもかかるコンピュータシステムを必要とするわけ
ではなく、同様の画像データに対して補間処理が必要な
システムであればよい。例えば、図３に示すようにデジ
タルスチルカメラ１１ｂ１内に補間処理する画像データ
補間装置を組み込み、補間処理した画像データを用いて
ディスプレイ１７ａ１に表示させたりカラープリンタ１
７ｂ１に印字させるようなシステムであっても良い。ま
た、図４に示すように、コンピュータシステムを介する
ことなく画像データを入力して印刷するカラープリンタ
１７ｂ２においては、スキャナ１１ａ２やデジタルスチ
ルカメラ１１ｂ２あるいはモデム１４ａ２等を介して入
力される画像データについて自動的に解像度変換を行っ
て印刷処理するように構成することも可能である。In this embodiment, the image data interpolation device is realized as the computer system 10,
Such a computer system is not necessarily required, and any system that requires interpolation processing for similar image data may be used. For example, as shown in FIG. 3, a digital still camera 11b1 incorporates an image data interpolating device for performing interpolation processing, and displays the image data on the display 17a1 using the interpolated image data.
A system for printing on 7b1 may be used. As shown in FIG. 4, in a color printer 17b2 that inputs and prints image data without going through a computer system, image data input via a scanner 11a2, a digital still camera 11b2, a modem 14a2, or the like is automatically processed. It is also possible to adopt a configuration in which resolution conversion is performed and print processing is performed.
【００６７】この他、図５に示すようなカラーファクシ
ミリ装置１８ａや図６に示すようなカラーコピー装置１
８ｂといった画像データを扱う各種の装置においても当
然に適用可能である。In addition, a color facsimile machine 18a as shown in FIG. 5 and a color copier 1 as shown in FIG.
It is naturally applicable to various devices that handle image data such as 8b.
【００６８】図７は、上述したプリンタドライバ１２ｃ
が実行する解像度変換に関連するソフトウェアフローを
示している。FIG. 7 shows the printer driver 12c described above.
2 shows a software flow related to resolution conversion executed by the software.
【００６９】ステップＳＴ１０２は元画像データを入力
する。アプリケーション１２ｄにてスキャナ１１ａから
画像を読み込み、所定の画像処理を行った後で印刷処理
すると、所定の解像度の印刷データがオペレーティング
システム１２ａを介してプリンタドライバ１２ｃに引き
渡されるため、この引渡の段階が該当する。むろん、ス
キャナ１１ａにて画像を読み込むものであってもよく、
いずれにしても当該処理が画像データ取得手段Ｃ１に該
当する。In step ST102, original image data is input. When an image is read from the scanner 11a by the application 12d and subjected to predetermined image processing and then subjected to print processing, print data of a predetermined resolution is transferred to the printer driver 12c via the operating system 12a. Applicable. Of course, the image may be read by the scanner 11a,
In any case, this processing corresponds to the image data acquisition unit C1.
【００７０】ステップＳＴ１０４〜ＳＴ１０８は、読み
込んだ画像データにおける画素の変化度合いを評価する
処理である。Steps ST104 to ST108 are processes for evaluating the degree of pixel change in the read image data.
【００７１】画像データはＲＧＢ２５６階調で表され、
各要素色毎の変化をとるにしても三色分の変化度合いが
生じてしまうことになり、このままでは変化度合いを評
価するのは困難である。そこで、本実施形態において
は、輝度にのみ着目し、輝度勾配をもって変化度合いと
判断することとする。The image data is represented by RGB 256 gradations.
Even if a change is made for each element color, a change degree for three colors will occur, and it is difficult to evaluate the change degree as it is. Therefore, in the present embodiment, attention is paid only to the luminance, and the degree of change is determined based on the luminance gradient.
【００７２】ここで、画像データがその成分要素として
輝度を持っていればその輝度値を用いて輝度勾配を算出
することが可能であるが、上述したようにＲＧＢの各要
素色毎に階調表示する本画像データでは直接の成分値と
はなっていない。しかしながら、輝度値が直接の成分値
となっていない画像データの場合でも、間接的には輝度
を表す成分値を備えており、輝度値が直接の成分値とな
っていない表色空間から輝度値が直接の成分値となって
いる表色空間への変換を行えば輝度値を得ることができ
る。Here, if the image data has luminance as its component element, the luminance gradient can be calculated using the luminance value. However, as described above, the gradation is calculated for each of the RGB element colors. The main image data to be displayed is not a direct component value. However, even in the case of image data whose luminance value is not a direct component value, the image data has an indirect component value representing the luminance, and the luminance value is calculated from the color space in which the luminance value is not a direct component value. By performing conversion to a color space in which is a direct component value, a luminance value can be obtained.
【００７３】異なる表色空間の間での色変換は変換式に
よって一義的に定まるものではなく、それぞれの成分値
を座標とする色空間について相互に対応関係を求めてお
き、この対応関係を記憶した色変換テーブルを参照して
逐次変換する必要がある。すると、厳密には１６７０万
個の要素の色変換テーブルを持たなければならない。効
率的な記憶資源の利用を考えた結果、すべての座標値に
ついての対応関係を用意しておくのではなく、通常は適
当なとびとびの格子点について対応関係を用意してお
き、補間演算を併用することが多い。しかし、かかる補
間演算はいくつかの乗算や加算を経て可能となるもので
あるため、演算処理量は膨大となってくる。The color conversion between different color spaces is not uniquely determined by the conversion formula. Mutual correspondences are obtained for the color spaces whose coordinates are the respective component values, and this correspondence is stored. It is necessary to sequentially perform conversion with reference to the color conversion table obtained. Then, strictly speaking, it is necessary to have a color conversion table of 16.7 million elements. As a result of considering efficient use of storage resources, instead of preparing correspondences for all coordinate values, usually prepare correspondences for appropriate discrete grid points and use interpolation together Often do. However, since such an interpolation operation can be performed through several multiplications and additions, the amount of operation processing becomes enormous.
【００７４】すなわち、フルサイズの色変換テーブルを
使用するのであれば処理量としては少なくなるもののテ
ーブルサイズが非現実的な問題となり、テーブルサイズ
を現実的なサイズにすれば演算処理量が非現実的となる
ことが多い。That is, if a full-size color conversion table is used, the processing amount is reduced, but the table size becomes an unrealistic problem. If the table size is made to be a realistic size, the calculation processing amount becomes unrealistic. Often becomes the target.
【００７５】このような状況に鑑み、本実施形態におい
ては、テレビジョンなどの場合に利用されているよう
に、ＲＧＢの三原色から輝度を求める次式の変換式を採
用している。すなわち、Ｐ点での輝度ｙp についてはＲ
ＧＢの成分値（Ｒp,Ｇp,Ｂp ）から、 ｙp＝０．３０Ｒp＋０．５９Ｇp＋０．１１Ｂp とする。このようにすれば、三回の乗算と二回の加算だ
けで輝度値を求めることができるようになる。In view of such a situation, the present embodiment employs the following conversion formula for obtaining luminance from the three primary colors of RGB as used in a television or the like. That is, the luminance yp at the point P is R
From the GB component values (Rp, Gp, Bp), yp = 0.30Rp + 0.59Gp + 0.11Bp. In this way, a luminance value can be obtained only by three multiplications and two additions.
【００７６】本実施形態においては、ＲＧＢの画像デー
タを対象としている結果、このような変換式を採用して
いるが、その背景には各成分値が色の明るさを示してい
るので、それぞれの成分値を単独で見た場合に輝度に線
形に対応しているという性質がある。従って、よりおお
ざっぱに言えばそれぞれの加算割合を考慮することなく
単に ｙp＝（Ｒp＋Ｇp＋Ｂp）／３ というように簡略化することも不可能ではない。In the present embodiment, such a conversion formula is adopted as a result of targeting RGB image data. However, since each component value indicates the brightness of the color in the background, Has a property that when viewed alone, the component value linearly corresponds to the luminance. Therefore, more simply, it is not impossible to simply simplify to yp = (Rp + Gp + Bp) / 3 without considering each addition ratio.
【００７７】このようにして輝度を求めることとした上
で、図８と図９は、輝度勾配を算出するためのエッジ検
出フィルタを示している。画像データはドットマトリク
ス状の画素から構成されているので、注目画素を中心と
する近隣の八画素との間で画像の変化度合いを評価すべ
きである。そういった意味では図９に示すように、注目
画素に８倍の重み付けを与えつつ周囲の画素を均等に評
価してそれを合算することでフィルタを掛けることが好
ましい。しかしながら、経験的には必ずしも周囲の八画
素を評価しなくても図８に示すように注目画素と周囲の
四画素だけから評価可能である。むろん、四画素を利用
するか八画素を利用するかでは演算量の差が大きく、こ
のようにして評価対象を少なくすると処理時間を減らす
ことができる。FIGS. 8 and 9 show an edge detection filter for calculating a luminance gradient after the luminance is obtained in this manner. Since the image data is composed of pixels in the form of a dot matrix, the degree of change of the image should be evaluated between the pixel of interest and eight neighboring pixels centered on the pixel of interest. In this sense, as shown in FIG. 9, it is preferable to apply a filter by equally evaluating surrounding pixels while adding eight times the weight to the pixel of interest and summing them. However, empirically, it is possible to evaluate only the target pixel and the four surrounding pixels as shown in FIG. 8 without necessarily evaluating the eight surrounding pixels. Of course, there is a large difference in the amount of calculation between using four pixels and eight pixels, and thus reducing the number of evaluation targets can reduce the processing time.
【００７８】図８や図９に示すエッジ検出フィルタを利
用した結果を各画素のエッジ量Ｅと呼ぶと、その分布は
図１０に示すように正規分布的となることが予想され、
画像の変化度合いが大きいエッジ部分であるか否かはし
きい値ｔｈと比較することによって判定できる。図８と
図９に示すエッジ検出フィルタはそれぞれしきい値とし
てｔｈ＝３２およびｔｈ＝６４というエッジ量のしきい
値が妥当する。従って、エッジの画素か否かは次式から
評価する。If the result of using the edge detection filters shown in FIGS. 8 and 9 is called an edge amount E of each pixel, its distribution is expected to be a normal distribution as shown in FIG.
Whether or not the edge portion has a large degree of change in the image can be determined by comparing with the threshold value th. In the edge detection filters shown in FIGS. 8 and 9, threshold values of th = 32 and th = 64 are appropriate as threshold values, respectively. Therefore, whether or not the pixel is an edge pixel is evaluated from the following equation.
【００７９】（Ｅ＜−ｔｈ） ｏｒ （ｔｈ＞Ｅ） この評価をドットマトリクス状の画素の全てに実施する
のがステップＳＴ１０６の処理であり、各画素単位でエ
ッジの画素のように画像の変化度合いが大きい画素であ
るか否かを評価する。(E <-th) or (th> E) It is the process of step ST106 that this evaluation is performed on all the pixels in the dot matrix, and the change of the image is performed like a pixel at the edge for each pixel. It is evaluated whether or not the pixel has a high degree.
【００８０】ところで、各画素単位で画像の変化度合い
が大きいか否かを判定するとしても、補間処理は一定の
領域毎に画素を生成する処理であるから、その領域単位
で画像の変化度合いが大きいか否かを判定する必要があ
る。各領域ごとにこの変化度合いを判定するのは煩雑で
あるから、ステップＳＴ１０８であらかじめエッジ画素
であるか否かを判定してフラグを設定する。この場合、
図１１に示すように、エッジ画素を取り囲む全ての画素
において画像の変化度合いが大きいものと判断する。よ
り具体的には、各画素の変化度合いが図１２（ａ）に示
すようになっているとするときに、しきい値が「３２」
であれば、しきい値を越える画素はｘｙ座標で示すとこ
ろの（０，０）（３，０）（４，０）（１，１）（２，
１）であるとしても、エッジ画素の隣接画素にはフラグ
を設定することになる。すると、同図（ｂ）に示すよう
にｙ＝０，１の全画素と、（４，２）を除くｙ＝２の画
素についてはフラグが設定されることになる。この結
果、後の工程で各画素単位で注目ブロックを移動させて
いくときにフラグだけを参照して補間処理を適宜選択で
きるようになる。By the way, even if it is determined whether or not the degree of change of the image is large in each pixel unit, the interpolation process is a process of generating pixels for each fixed area. It is necessary to determine whether it is large. Since it is complicated to determine the degree of change for each area, a flag is set in advance in step ST108 by determining whether or not the pixel is an edge pixel. in this case,
As shown in FIG. 11, it is determined that the degree of change in the image is large in all pixels surrounding the edge pixels. More specifically, when it is assumed that the degree of change of each pixel is as shown in FIG.
, Pixels exceeding the threshold value are represented by (0,0) (3,0) (4,0) (1,1) (2,
Even if it is 1), a flag is set for a pixel adjacent to the edge pixel. Then, flags are set for all pixels at y = 0, 1 and pixels at y = 2 except (4, 2), as shown in FIG. As a result, the interpolation process can be appropriately selected by referring to only the flag when moving the target block in each pixel unit in a later step.
【００８１】むろん、本実施形態においては、これらの
ステップＳＴ１０４〜ＳＴ１０８の処理が画素変化度合
評価手段Ｃ３を構成することになる。Of course, in the present embodiment, the processing of these steps ST104 to ST108 constitutes the pixel change degree evaluation means C3.
【００８２】以上のように設定したフラグに基づき、ス
テップＳＴ１１０以下ではループ処理で補間画素を生成
していく。図１３は既存の画素に対して補間して生成さ
れる画素の配置を概略的に示している。既存の画素につ
いて仮に座標を（Ｘ，Ｙ）として表示し、補間で生成さ
れる画素の座標を＜Ｘ，Ｙ＞として表示している。On the basis of the flags set as described above, in step ST110 and subsequent steps, interpolation pixels are generated by loop processing. FIG. 13 schematically shows the arrangement of pixels generated by interpolating existing pixels. The coordinates of the existing pixels are temporarily displayed as (X, Y), and the coordinates of the pixels generated by the interpolation are displayed as <X, Y>.
【００８３】既存の四つの画素で囲まれる一つの領域を
ブロックと呼び、各ブロックごとに補間する画素の補間
処理を選択する。ステップＳＴ１０８では各画素ごとに
周囲の画素の変化度合も考慮してフラグを設定している
ので、各ブロックでは四つの画素（０，０）（１，０）
（０，１）（１，１）についていずれについてもフラグ
が設定されていれば変化度合の大きい場合の補間処理を
選択することになり、どれか一つでもフラグが設定され
ていなければ変化度合の小さい場合の補間処理を選択す
ることになる。ステップＳＴ１１０では、この条件に基
づいて当該ブロック内部に適用する補間処理を判断し、
変化度合いが小さい場合にはステップＳＴ１１２にてニ
アリスト法による補間処理で補間を実行するし、変化度
合いが大きい場合にはステップＳＴ１１４にてキュービ
ック法による補間処理で補間を実行する。また、一つの
ブロックを補間処理した後、ステップＳＴ１１６とステ
ップＳＴ１１８にて処理対象となるブロックを移動さ
せ、全てのブロックが終了すればステップＳＴ１２０に
て補間された画像データを出力する。One area surrounded by the existing four pixels is called a block, and an interpolation process of a pixel to be interpolated is selected for each block. In step ST108, a flag is set for each pixel in consideration of the degree of change of surrounding pixels, and therefore, in each block, four pixels (0, 0) (1, 0)
If the flag is set for any of (0, 1) and (1, 1), the interpolation processing in the case where the degree of change is large is selected. If none of the flags is set, the degree of change is selected. Is to be selected when the value of is small. In step ST110, an interpolation process to be applied inside the block is determined based on this condition,
If the degree of change is small, interpolation is performed by an interpolation process using a near-list method in step ST112. If the degree of change is large, interpolation is performed by an interpolation process using a cubic method in step ST114. After one block is interpolated, the block to be processed is moved in steps ST116 and ST118, and when all blocks are completed, the interpolated image data is output in step ST120.
【００８４】なお、図中にはステップＳＴ１１８の終了
後にステップＳＴ１１０に戻るような流れを実線で示し
ているが、破線で示すようにブロック毎にエッジ画素を
集計する処理を繰り返すようにしても良い。Although the flow of returning to step ST110 after the end of step ST118 is shown by a solid line in the figure, the process of totalizing the edge pixels for each block may be repeated as shown by the broken line. .
【００８５】むろん、このような意味でステップＳＴ１
１０の処理を中心としてステップＳＴ１１６，ＳＴ１１
８の処理を含めて補間処理選択手段Ｃ４を構成すること
になる。なお、プリンタドライバ１２ｃの場合、解像度
変換だけで印刷データが得られるわけではなく、色変換
であるとか、ハーフトーン処理が必要になる。従って、
ここで画像データを出力するというのは、次の段階への
データの受け渡しを意味することになる。Of course, in this sense, step ST1
Steps ST116 and ST11 centering on the processing of Step 10
Thus, the interpolation processing selecting means C4 includes the processing of FIG. In the case of the printer driver 12c, print data cannot be obtained only by resolution conversion, but requires color conversion or halftone processing. Therefore,
Here, outputting image data means transferring data to the next stage.
【００８６】本実施形態の場合は、四つの画素に囲まれ
る領域をブロックと呼んで補間処理を選択しているが、
補間処理を変更する基準は演算能力や補間処理などに応
じて適宜変更可能である。例えば、図１４に示すよう
に、注目画素を中心とする領域を基準として補間処理す
る場合もある。このような場合は、かかる注目画素を矢
印のように走査させて移動させながら補間処理を適宜実
施していけばよい。In the case of the present embodiment, an interpolation process is selected by calling an area surrounded by four pixels a block.
The criterion for changing the interpolation processing can be changed as appropriate according to the computing capacity, the interpolation processing, and the like. For example, as shown in FIG. 14, interpolation processing may be performed with reference to an area centered on a target pixel. In such a case, the interpolation process may be appropriately performed while scanning and moving the target pixel as indicated by an arrow.
【００８７】ここで、注目画素を移動させていきながら
補間処理を選択する手法について説明する。上述した例
ではブロック毎に変化度合いが大きいか否かを判定する
にあたり、当該領域に含まれる全てのフラグが「１」と
なっている場合にだけ画像の変化度合いが大きい領域と
判断している。しかしながら、必ずしもこのように全て
のフラグが「１」になっている必要もないともいえる。Here, a method of selecting the interpolation processing while moving the pixel of interest will be described. In the above-described example, when determining whether the degree of change is large for each block, it is determined that the image has a large degree of change only when all the flags included in the area are “1”. . However, it can be said that not all the flags need to be "1".
【００８８】例えば、図１５（ａ）に示すように４画素
で囲まれる領域に補間処理で画素を生成するものとす
る。この場合、図１１でエッジ画素の隣接画素にフラグ
を立てる関係上、本来であれば上述したように４画素全
てにフラグが立っている場合だけが変化度合いの大きい
領域と判定することになりえる。しかしながら、このよ
うに判断するとブロックを１画素分だ横に移動させた場
合には縦の辺が共通する関係で縦の二画素について毎回
判断が重複するし、縦方向に移動させれば横の辺が共通
する関係で横の二画素について毎回判断が重複する。こ
のような重複状況は演算処理において無駄である。For example, as shown in FIG. 15A, it is assumed that pixels are generated by interpolation processing in a region surrounded by four pixels. In this case, since a flag is set to a pixel adjacent to an edge pixel in FIG. 11, only a case where flags are set to all four pixels as described above may be determined to be a region with a large degree of change. . However, when judging in this way, when the block is moved horizontally by one pixel, the judgment is duplicated each time for two vertical pixels because of the common vertical side, and when the block is moved in the vertical direction, the horizontal The judgment is duplicated each time for two horizontal pixels because of the common side. Such an overlapping situation is useless in the arithmetic processing.
【００８９】一方、同図（ｂ）に示すように領域の隣接
状況を考慮すれば、１領域ごとに左上の１画素を代表さ
せて関連づけることが可能であるし、少なくともエッジ
画素に同視しうる画素の近辺で変化度合いが大きいと判
断しても対して支障はないといえる。また、隣接画素同
士に囲まれる領域というのは実際には極めて微少な領域
であることを鑑みても十分であるといえる。そして、こ
のようにして１画素に１領域を対応させれば、ブロック
を移動させる際に注目画素を移動させていき、その注目
画素のエッジ量だけで領域の変化度合いを判定すること
が可能となるし、判定に要する演算処理量も低減する。On the other hand, as shown in FIG. 9B, when the adjacent state of the regions is considered, it is possible to associate one region with one pixel at the upper left as a representative, and at least it can be regarded as an edge pixel. It can be said that there is no problem even if it is determined that the degree of change is large near the pixel. In addition, it can be said that an area surrounded by adjacent pixels is sufficient in view of the fact that it is actually an extremely small area. If one region corresponds to one pixel in this way, the target pixel is moved when the block is moved, and the degree of change of the region can be determined only by the edge amount of the target pixel. That is, the amount of arithmetic processing required for the determination is also reduced.
【００９０】また、補間する画素の側でブロックを形成
するようにすることも可能である。図１６はこの例を示
しており、図中、□の格子点が補間する画素を示し、○
の格子点が既存の画素を示している。いま、補間する画
素について５×５のブロックを一つとし、その中に含ま
れる既存の画素のエッジ量に基づいて当該領域が画像の
変化度合いの大きいものであるか否かを判断する。この
場合、一つのブロックを決めて当該ブロックに含まれる
既存の画素を抽出し、そのエッジ量の積算値を求め、当
該ブロック内では同一の補間処理で画素を生成すればよ
い。It is also possible to form a block on the pixel side to be interpolated. FIG. 16 shows this example. In the figure, the grid points indicated by □ indicate the pixels to be interpolated.
Grid points indicate existing pixels. Now, it is assumed that one 5 × 5 block is used for the pixel to be interpolated, and it is determined whether or not the area has a large degree of change in the image based on the edge amount of the existing pixel included therein. In this case, one block is determined, existing pixels included in the block are extracted, the integrated value of the edge amount is obtained, and the pixel is generated by the same interpolation processing in the block.
【００９１】むろん、以上の場合においてより大きな領
域毎にブロックを設定して補間処理を選択しても良く、
例えば、１０×１０画素毎をブロックとすることも可能
である。また、ブロックを設定せずに補間する画素毎に
それを取り囲む既存の画素についてのエッジ量を判断し
て補間処理を選択することも可能である。図１６の例で
言えば内側に配列される３×３の□の格子点は、いずれ
も○で示す四つの既存の格子点の中に含まれ、それぞれ
の□の格子点を生成する際にこれを取り囲む○で示す四
つの既存の格子点についてのエッジ量に基づいて補間処
理を選択するということである。むろん、演算処理上、
このような処理の方が都合よい場合に実現すればよい。
すなわち、先に補間処理するブロックを特定して補間処
理を決めてからその内部に画素を補間するという手法で
あっても良いし、補間する画素毎にブロックの状況を判
定して補間処理を選択しても良い。Of course, in the above case, an interpolation process may be selected by setting a block for each larger area.
For example, every 10 × 10 pixels can be a block. Further, it is also possible to determine the edge amount of the existing pixels surrounding each pixel to be interpolated without setting a block, and to select the interpolation processing. In the example of FIG. 16, the 3 × 3 □ grid points arranged inside are all included in the four existing grid points indicated by ○, and when generating each □ grid point, This means that the interpolation processing is selected based on the edge amounts of the four existing grid points indicated by the circles surrounding this. Of course,
What is necessary is just to implement | achieve when such a process is more convenient.
In other words, a method may be used in which a block to be subjected to interpolation processing is specified first and interpolation processing is determined, and then pixels are interpolated therein. You may.
【００９２】さらに、上述したフローではステップＳＴ
１０８にて予めエッジ画素に隣接する画素にフラグを設
定しておき、ブロック毎に同フラグを参照するようにし
ている。しかしながら、図７にて破線で示すようにブロ
ックを移動させるフローとすることも可能であり、この
場合には敢えてフラグを設定する必要もなく、当該ブロ
ックの周囲の画素のエッジ量を判断して補間処理を選択
するようにすれば良い。Further, in the flow described above, step ST
At 108, a flag is set in advance for a pixel adjacent to the edge pixel, and the flag is referred to for each block. However, it is also possible to adopt a flow of moving a block as shown by a broken line in FIG. 7, and in this case, there is no need to set a flag, and the edge amount of pixels around the block is determined. What is necessary is just to select an interpolation process.
【００９３】上述したように別々の補間処理を備えてい
るステップＳＴ１１２，ＳＴ１１４の処理は画素補間手
段Ｃ２を構成することになる。ここで、それぞれの補間
処理について詳述する。As described above, the processing of steps ST112 and ST114 having separate interpolation processing constitutes the pixel interpolation means C2. Here, each interpolation process will be described in detail.
【００９４】画像の変化度合いが小さい場合に適すると
ともに演算処理量が極めて少ない補間処理として、ニア
リスト法の補間処理がある。ニアリスト法は図１７に示
すように、周囲の四つの格子点Ｐｉｊ，Ｐｉ＋１ｊ，Ｐ
ｉｊ＋１，Ｐｉ＋１ｊ＋１と内挿したい点Ｐｕｖとの距
離を求め、もっとも近い格子点のデータをそのまま移行
させる。これを一般式で表すと、 Ｐｕｖ＝Ｐｉｊ ここで、ｉ＝［ｕ＋０．５］、ｊ＝［ｖ＋０．５］であ
る。なお、［］はガウス記号で整数部分を取ることを示
している。As an interpolation process suitable for a case where the degree of change of an image is small and having a very small amount of computation, there is an interpolation process of a near-list method. In the near-list method, as shown in FIG. 17, four surrounding grid points Pij, Pi + 1j, P
The distance between ij + 1, Pi + 1j + 1 and the point Puv to be interpolated is obtained, and the data of the closest lattice point is transferred as it is. When this is represented by a general formula, Puv = Pij where i = [u + 0.5] and j = [v + 0.5]. [] Indicates that a Gaussian symbol takes an integer part.
【００９５】図１８は、ニアリスト法で画素数を縦横３
倍ずつに補間する状況を示している。補間される画素は
最初の四隅の画素のうちもっとも近い画素のデータをそ
のまま移行させることになる。従って、図１９に示すよ
うに白い画素を背景として黒い画素が斜めに配置される
元画像は、図２０に示すように黒の画素が縦横に３倍に
拡大されつつ斜め方向に配置される関係が保持される。FIG. 18 shows that the number of pixels is set to 3
This shows a situation where interpolation is performed twice at a time. As the pixel to be interpolated, data of the closest pixel among the first four corner pixels is transferred as it is. Therefore, the original image in which black pixels are arranged obliquely with white pixels as the background as shown in FIG. 19 has a relationship in which black pixels are arranged in the oblique direction while being enlarged three times vertically and horizontally as shown in FIG. Is held.
【００９６】ニアリスト法においては、画像のエッジが
そのまま保持される特徴を有する。それ故に隣接する画
素の差が大きい場合には、拡大するとジャギーが目立つ
ことになる。しかし、背景の空のような部分では隣接す
る画素の並びにおいて両者の間にさほど変化がなく、拡
大しても殆どジャギーは目立たない。また、それ以上に
演算量の少なさは処理時間を短縮するうえで極めて効果
が大きい。従って、画像の変化度合いが小さい部分で積
極的にニアリスト法を選択するメリットは大きい。The near-list method has a feature that the edge of an image is held as it is. Therefore, when the difference between adjacent pixels is large, jaggies become noticeable when enlarged. However, in a portion such as the sky in the background, there is not much change in the arrangement of the adjacent pixels between them, and even when the image is enlarged, the jaggy is hardly noticeable. Further, if the amount of calculation is smaller than that, the effect is extremely large in reducing the processing time. Therefore, the merit of actively selecting the near-list method in a portion where the degree of change of the image is small is great.
【００９７】一方、写真のような自然画に適する一方で
演算処理量が大きい補間処理として、キュービック法の
補間処理がある。キュービック法は図２１に示すよう
に、内挿したい点Ｐｕｖを取り囲む四つの格子点のみな
らず、その一周り外周の格子点を含む計１６の格子点の
データを利用する。３次たたみ込み関数を用いた一般式
は次式のようになる。On the other hand, there is a cubic interpolation process as an interpolation process which is suitable for a natural image such as a photograph while having a large amount of calculation processing. As shown in FIG. 21, the cubic method uses data of a total of 16 grid points including not only four grid points surrounding a point Puv to be interpolated but also grid points around one point. A general expression using a cubic convolution function is as follows.
【００９８】[0098]
【数１】(Equation 1)
【００９９】となる。これをＰについて展開すると、## EQU10 ## Expanding this on P,
【０１００】[0100]
【数２】(Equation 2)
【０１０１】となる。なお、Is obtained. In addition,
【０１０２】[0102]
【数３】(Equation 3)
【０１０３】と置換可能である。Can be replaced with
【０１０４】このキュービック法では一方の格子点から
他方の格子点へと近づくにつれて徐々に変化していき、
その変化具合がいわゆる３次関数的になるという特徴を
有している。In this cubic method, as the distance from one grid point to the other grid point approaches, it gradually changes.
The characteristic is that the degree of the change becomes a so-called cubic function.
【０１０５】図２２と図２３はキュービック法にて補間
される際の具体例を示している。理解を容易にするた
め、垂直方向についてのデータの変化はなく、水平方向
についてエッジが生じているモデルについて説明する。
また、補間する画素を３点とする。FIG. 22 and FIG. 23 show specific examples when interpolation is performed by the cubic method. For ease of understanding, a model in which there is no change in data in the vertical direction and an edge occurs in the horizontal direction will be described.
The number of pixels to be interpolated is three.
【０１０６】まず、図２３の具体的数値について説明す
る。補間前の画素の階調値を左列に「Ｏｒｉｇｉｎａ
ｌ」として示しており、階調値「６４」の画素（Ｐ０、
Ｐ１、Ｐ２、Ｐ３）が４点並び、階調値「１２８」の画
素（Ｐ４）を１点挟み、階調値「１９２」の画素（Ｐ
５、Ｐ６、Ｐ７、Ｐ８、Ｐ９）が５点並んでいる。この
場合、エッジは階調値「１２８」の画素の部分である。First, specific numerical values in FIG. 23 will be described. The gradation value of the pixel before interpolation is displayed in the left column as “Origina”.
l ”, and pixels (P0, P0,
P1, P2, and P3) are arranged at four points, and a pixel (P4) having a gradation value of “128” is interposed therebetween, and a pixel (P
5, P6, P7, P8, P9). In this case, the edge is a portion of the pixel having the gradation value “128”.
【０１０７】ここで各画素間に３点の画素（Ｐｎ１、Ｐ
ｎ２、Ｐｎ３）を内挿することになると、内挿される画
素間の距離は「０．２５」となり、上述したｘ１〜ｘ４
は内挿点毎に表の中程の列の数値となる。ｘ１〜ｘ４に
対応してｆ（ｘ１）〜ｆ（ｘ４）も一義的に計算される
ことになり、例えば、ｘ１，ｘ２，ｘ３，ｘ４が、それ
ぞれ「１．２５」、「０．２５」、「０．７５」、
「１．７５」となる場合、それに対するｆ（ｔ）につい
ては、概略「−０．１４」、「０．８９」、「０．３
０」、「−０．０５」となる。また、ｘ１，ｘ２，ｘ
３，ｘ４が、それぞれ「１．５０」、「０．５０」、
「０．５０」、「１．５０」となる場合、それに対する
ｆ（ｔ）については、「−０．１２５」、「０．６２
５」、「０．６２５」、「−０．１２５」となる。ま
た、ｘ１，ｘ２，ｘ３，ｘ４が、それぞれ「１．７
５」、「０．７５」、「０．２５」、「１．２５」とな
る場合、それに対するｆ（ｔ）については、概略「−
０．０５」、「０．３０」、「０．８９」、「−０．１
４」となる。以上の結果を用いて内挿点の階調値を演算
した結果を表の右列に示しているとともに、図２２にお
いてグラフで示している。なお、このグラフの意味する
ところについて後に詳述する。Here, three pixels (Pn1, Pn1) are located between each pixel.
n2, Pn3), the distance between the interpolated pixels is “0.25”, and the above-described x1 to x4
Is the value in the middle column of the table for each interpolation point. f (x1) to f (x4) are also uniquely calculated corresponding to x1 to x4. For example, x1, x2, x3, and x4 are "1.25" and "0.25", respectively. , "0.75",
When “1.75” is obtained, f (t) corresponding thereto is approximately “−0.14”, “0.89”, “0.3”
0 "and" -0.05 ". X1, x2, x
3, x4 are “1.50”, “0.50”,
When “0.50” and “1.50” are obtained, f (t) corresponding thereto is “−0.125” and “0.62”.
5 "," 0.625 ", and" -0.125 ". In addition, x1, x2, x3, and x4 are each "1.7.
5 "," 0.75 "," 0.25 ", and" 1.25 ", f (t) corresponding thereto is roughly expressed as"-
0.05 "," 0.30 "," 0.89 "," -0.1
4 ". The result of calculating the gradation value of the interpolation point using the above result is shown in the right column of the table, and is shown graphically in FIG. The meaning of this graph will be described later in detail.
【０１０８】キュービック法によれば３次関数的に表せ
る以上、そのカーブの形状を調整することによって補間
結果の品質を左右することができる。According to the cubic method, since it can be expressed as a cubic function, the quality of the interpolation result can be influenced by adjusting the shape of the curve.
【０１０９】その調整の一例として、 0<t<0.5 f(t) = -(8/7)t**3-(4/7)t**2+1 0.5<t<1 f(t) = (1-t)(10/7) 1<t<1.5 f(t) = (8/7)(t-1)**3+(4/7)(t-1)**2-(t-1) 1.5<t<2 f(t) = (3/7)(t-2) としたものをハイブリッドバイキュービック法と呼ぶこ
とにする。As one example of the adjustment, 0 <t <0.5 f (t) = − (8/7) t ** 3- (4/7) t ** 2 + 1 0.5 <t <1 f (t) = (1-t) (10/7) 1 <t <1.5 f (t) = (8/7) (t-1) ** 3+ (4/7) (t-1) ** 2- ( t-1) 1.5 <t <2 f (t) = (3/7) (t-2) is called a hybrid bicubic method.
【０１１０】図２４はハイブリッドバイキュービック法
にて補間される際の具体例を示しており、キュービック
法の場合と同じ仮定のモデルについて補間した結果を示
している。また、図２２にもハイブリッドバイキュービ
ック法による補間処理結果を示しており、この例では３
次関数的なカーブがわずかに急峻となり、画像全体のイ
メージがシャープとなる。FIG. 24 shows a specific example when interpolation is performed by the hybrid bi-cubic method, and shows a result of interpolation for a model on the same assumption as in the case of the cubic method. FIG. 22 also shows the result of the interpolation processing by the hybrid bicubic method.
The quadratic curve becomes slightly steep, and the entire image becomes sharper.
【０１１１】上述したニアリスト法やキュービック法や
ハイブリッドバイキュービック法の特性の理解のために
他の補間手法である共１次内挿法（バイリニア補間：以
下、バイリニア法と呼ぶ）についても説明する。In order to understand the characteristics of the above-described near-list method, cubic method and hybrid bi-cubic method, a bi-linear interpolation method (bilinear interpolation) will be described. .
【０１１２】バイリニア法は、図２５に示すように、一
方の格子点から他方の格子点へと近づくにつれて徐々に
変化していく点でキュービック法に近いが、その変化が
両側の格子点のデータだけに依存する一次関数的である
点で異なる。すなわち、内挿したい点Ｐｕｖを取り囲む
四つの格子点Ｐｉｊ，Ｐｉ＋１ｊ，Ｐｉｊ＋１，Ｐｉ＋
１ｊ＋１で区画される領域を当該内挿点Ｐｕｖで四つの
区画に分割し、その面積比で対角位置のデータに重み付
けする。これを式で表すと、 Ｐ＝｛（ｉ＋１）−ｕ｝｛（ｊ＋１）−ｖ｝Ｐｉｊ＋
｛（ｉ＋１）−ｕ｝｛ｖ−ｊ｝Ｐｉｊ＋１＋｛ｕ−ｉ
｝｛（ｊ＋１）−ｖ｝Ｐｉ＋１ｊ＋｛ｕ−ｉ
｝｛ｖ−ｊ｝Ｐｉ＋１ｊ＋１ となる。なお、ｉ＝［ｕ］、ｊ＝［ｖ］である。As shown in FIG. 25, the bilinear method is similar to the cubic method in that it gradually changes as one grid point approaches the other grid point, but the change is the data of the grid points on both sides. In that it is linear in that it only depends on That is, four lattice points Pij, Pi + 1j, Pij + 1, Pi + surrounding the point Puv to be interpolated
The area defined by 1j + 1 is divided into four sections by the interpolation point Puv, and the data at the diagonal positions is weighted by the area ratio. When this is expressed by an equation, P = {(i + 1) -u} (j + 1) -v {Pij +
｛(I + 1) -u｝ ｛v-j｝ Pij + 1 + ｛u-i
｝ ｛(J + 1) -v｝ Pi + 1j + ｛u-i
｝ ｛V−j｝ Pi + 1j + 1. Note that i = [u] and j = [v].
【０１１３】二つのキュービック法とバイリニア法は一
方の格子点から他方の格子点へと近づくにつれて徐々に
変化していく点で共通するが、その変化状況が３次関数
的であるか１次関数的であるかが異なり、画像としてみ
たときの差異は大きい。図２６はニアリスト法とキュー
ビック法とハイブリッドバイキュービック法とバイリニ
ア法における補間結果の相違を理解しやすくするために
二次元的に表した図である。同図において、横軸に位置
を示し、縦軸に補間関数を示している。ｔ＝０、ｔ＝
１、ｔ＝２の位置に格子点が存在し、内挿点はｔ＝０〜
１の位置となる。The two cubic methods and the bilinear method are common in that they gradually change as one grid point approaches the other grid point, and the change state is a cubic function or a linear function. The difference is large when viewed as an image. FIG. 26 is a diagram two-dimensionally showing the difference between the interpolation results in the near-list method, the cubic method, the hybrid bicubic method, and the bilinear method in order to facilitate understanding. In the figure, the horizontal axis indicates the position, and the vertical axis indicates the interpolation function. t = 0, t =
1, a lattice point exists at the position of t = 2, and the interpolation point is t = 0 to t = 0.
1 position.
【０１１４】バイリニア法の場合、隣接する二点間（ｔ
＝０〜１）で直線的に変化するだけであるので境界をス
ムージングすることになり、画面の印象はぼやけてしま
う。すなわち、角部のスムージングと異なり、境界がス
ムージングされると、本来あるべき輪郭がなくなってし
まい、シャープさが劣化する。In the case of the bilinear method, between two adjacent points (t
= 0 to 1), the boundary is smoothed because it changes only linearly, and the impression of the screen is blurred. That is, unlike the smoothing of the corner, when the boundary is smoothed, the contour which should be originally disappears, and the sharpness is deteriorated.
【０１１５】一方、キュービックにおいては、隣接する
二点間（ｔ＝０〜１）においては山形の凸を描いて徐々
に近接するのみならず、さらに同二点間の外側（ｔ＝１
〜２）において下方に押し下げる効果をもつ。すなわ
ち、エッジ部分は段差が生じない程度に大きな高低差を
有するように変化され、写真においてはシャープさを増
しつつ段差が生じないという好適な影響を及ぼす。ま
た、ハイブリッドバイキュービックではよりシャープさ
を増す影響を及ぼす。なお、キュービック法は演算処理
量が大きく、補間倍率が大きくなって補間すべき画素数
が大きくなれば多大な演算処理量を要することになる。On the other hand, in the cubic, between two adjacent points (t = 0 to 1), not only gradually approaching by drawing a mountain-shaped convex, but also outside the two points (t = 1).
2) has an effect of pushing down. That is, the edge portion is changed so as to have a large difference in height so that no step is formed, and in a photograph, there is a favorable effect that no step is formed while increasing sharpness. In addition, the hybrid bicubic has an effect of increasing sharpness. Note that the cubic method requires a large amount of arithmetic processing if the interpolation magnification is large and the number of pixels to be interpolated is large.
【０１１６】画質の面を重視すれば、キュービック法の
ような三次関数を選びそうであるが、コンピュータの処
理では速度と画質のバランスも大きい。すなわち、画質
の向上程度に応じて処理速度の低下具合の許容度が大き
くなるが、画質の向上が微量あるいは多少画質が向上落
ちるとしても処理速度が高速である方を好むという場合
もある。If emphasis is placed on the image quality, a cubic function like the cubic method is likely to be selected, but in computer processing, the balance between speed and image quality is large. That is, although the degree of reduction in the processing speed increases with the degree of improvement in the image quality, there is a case where the higher processing speed is preferred even if the image quality is slightly or slightly reduced.
【０１１７】一方、以上のような補間関数の比較ととも
に具体的な数値を示す図２２、図２３、図２４を参照す
るとより理解しやすい。図２２の例を参照し、もともと
のエッジ部分である階調値「６４」の画素（Ｐ３）と、
階調値「１２８」の画素（Ｐ４）と、階調値「１９２」
の画素（Ｐ５）という三点に注目してみると、単純に直
線的に連結する手法はバイリニア法に相当し、これに対
してキュービック法では具体的なＳ字カーブが形成され
ているし、ハイブリッドバイキュービック法ではそのＳ
字カーブがより急峻となっている。むろん、Ｓ字カーブ
の方向は画素の階調値変化を急峻とするものであり、エ
ッジが強調されている。また、このエッジ画素に隣接す
る領域（Ｐ２〜Ｐ３、Ｐ５〜Ｐ６）ではいわゆるアンダ
ーシュートとオーバーシュートが生じており、低い側に
生じるアンダーシュートと高い側に生じるオーバーシュ
ートにより、エッジ画素を挟む両側の高低差が大きくな
る。従って、これらの二つの要因によってエッジが強調
されることが理解できる。On the other hand, it is easier to understand by referring to FIGS. 22, 23 and 24 showing specific numerical values along with the comparison of the interpolation functions as described above. Referring to the example of FIG. 22, a pixel (P3) having a tone value of “64” which is an original edge portion,
The pixel (P4) with the gradation value “128” and the gradation value “192”
Paying attention to the three points of the pixel (P5), the simple linear connection method corresponds to the bilinear method, whereas the cubic method forms a specific S-shaped curve. In the hybrid bicubic method,
The curve is steeper. Needless to say, the direction of the S-shaped curve makes the gradation value change of the pixel sharp, and the edge is emphasized. Further, in the regions (P2 to P3, P5 to P6) adjacent to the edge pixels, so-called undershoots and overshoots occur, and the undershoots occurring on the low side and the overshoots occurring on the high side cause both sides sandwiching the edge pixels. The height difference becomes larger. Therefore, it can be understood that the edge is emphasized by these two factors.
【０１１８】画像がシャープに見えるか否かはこのＳ字
カーブにおける中央部分の傾斜角度が影響を与えること
は容易に理解できる。また、エッジの両側のアンダーシ
ュートとオーバーシュートによって生じる高低差も同様
に影響を与えるものといえる。It can be easily understood that whether or not an image looks sharp depends on the inclination angle of the central portion of the S-shaped curve. In addition, it can be said that the height difference caused by the undershoot and the overshoot on both sides of the edge also has an effect.
【０１１９】一方、このような関係は図２６に示す補間
関数においてｔ＝０〜１の区間において傾斜が急となり
つつ、ｔ＝１〜２の区間において増加した重み分を打ち
消すように負の側へ引き寄せるカーブとなっている場合
に生じる。On the other hand, in the interpolation function shown in FIG. 26, the slope becomes steep in the section from t = 0 to 1 and the negative side is increased so as to cancel out the increased weight in the section from t = 1 to 2. Occurs when the curve is drawn toward
【０１２０】従って、シャープさを調整しようとする場
合には、補間関数においてシャープさの基準となる理
想的な傾斜を決定し、ｔ＝０〜１の区間において上記
傾斜を発生させるカーブを決定し、ｔ＝１〜２の区間
においてこのカーブによって増える重み付けを相殺する
ように負の側に引き寄せつつ、オーバーシュートとアン
ダーシュートが生じやすいカーブを決定することによっ
て実現できる。むろん、この後の作業では特定されるカ
ーブとなるように多次演算関数のパラメータを決定する
が、かかるパラメータの決定方法は極めて多様であるか
ら、実質的な意味でＳ字カーブにおける中央部分の傾斜
角度とアンダーシュート及びオーバーシュートを調整す
ることに他ならない。Therefore, when the sharpness is to be adjusted, an ideal slope serving as a reference for the sharpness in the interpolation function is determined, and a curve for generating the above-described slope is determined in the interval of t = 0 to 1. , T = 1 to 2, it can be realized by determining a curve in which overshoot and undershoot are likely to occur while drawing to the negative side so as to offset the weighting increased by this curve. Of course, in the subsequent work, the parameters of the multi-order operation function are determined so as to obtain the specified curve. However, since the determination methods of such parameters are extremely various, in a practical sense, the central portion of the S-shaped curve is determined. It is nothing less than adjusting the tilt angle and the undershoot and overshoot.
【０１２１】各補間処理には以上のような特性の違いが
あり、ステップＳＴ１１０にて画像の変化度合いが小さ
いと判断されたブロックでは、ステップＳＴ１１２にて
ニアリスト法の補間処理を実行するし、逆に変化度合い
が大きいと判断されたブロックでは、キュービック法や
ハイブリッドバイキュービック法の補間処理を実行す
る。キュービック法で補間処理をする場合には演算時間
が多大となってしまうものの、画像の変化度合いが小さ
いような部分ではニアリスト法に切り替えるため、全体
としての処理時間は極めて低減する。特に、コンピュー
タグラフィックスのように同色で一定領域を塗りつぶし
てあるような場合には一律にニアリスト法を実行しても
全く問題ないので、処理時間は低減する。また、自然画
であっても拡大したときにジャギーが目立ちやすい部分
というのは面積比でいってもそれほど大きくないのが普
通であるから、このように画像の変化度合いを逐次切り
替えることによって画質を劣化させることなく処理量を
低減させることができる。Each of the interpolation processes has the above-described difference in characteristics. In the block in which it is determined in step ST110 that the degree of change in the image is small, the near-list interpolation process is executed in step ST112. Conversely, for a block determined to have a large degree of change, interpolation processing of the cubic method or the hybrid bi-cubic method is executed. When the interpolation process is performed by the cubic method, the calculation time is long. However, since the switching to the near-list method is performed in a portion where the degree of change of the image is small, the processing time as a whole is extremely reduced. In particular, when a certain area is painted in the same color as in computer graphics, there is no problem even if the near-list method is executed uniformly, so that the processing time is reduced. Also, even if it is a natural image, the area where the jaggy is conspicuous when enlarged is usually not so large even in terms of the area ratio, and thus the image quality is changed by sequentially switching the degree of change of the image in this way. The processing amount can be reduced without deterioration.
【０１２２】本実施形態においては、フラグによって二
種類ある補間処理のいずれかを実行するようにしている
が、画素の変化度合いに対して段階的に対応する複数の
補間処理を実行するようにしても良い。また、図２７に
示すように、二つの補間処理を重ねて実行することとし
てその拡大倍率を画像の変化度合いに対応させるように
しても良い。例えば、補間倍率が５倍であるとして画像
の変化度合いが小さめであればニアリスト法で５倍に補
間処理するし、画像の変化度合いが大きめであればキュ
ービック法で５倍の補間処理する。これらの場合は上述
した実施形態と同様であるが、画像の変化度合いが中間
的な値である場合にはキュービック法で２倍に補間処理
し、残りの２．５倍をニアリスト法で補間処理する。こ
のようにして二つの補間処理でありながら実質的には画
像の変化度合いに応じた複数の補間処理を選択できるこ
とになる。In the present embodiment, one of the two types of interpolation processing is executed according to the flag. However, a plurality of interpolation processings corresponding to the degree of change of pixels are executed stepwise. Is also good. Also, as shown in FIG. 27, two interpolation processes may be performed in a superimposed manner so that the enlargement factor corresponds to the degree of change in the image. For example, assuming that the interpolation magnification is five times, if the degree of change of the image is small, the interpolation processing is performed five times by the nearlist method. If the degree of change of the image is large, the interpolation processing is performed five times by the cubic method. In these cases, it is the same as the above-described embodiment, but when the degree of change of the image is an intermediate value, the interpolation processing is performed twice by the cubic method, and the remaining 2.5 times is interpolated by the near-list method. To process. In this way, although two interpolation processes are performed, a plurality of interpolation processes can be substantially selected according to the degree of change of the image.
【０１２３】なお、キュービック法のように補間処理の
演算量が大きいものについては、あえて補間倍率を２倍
というような整数倍とするメリットがある。In the case of a cubic method requiring a large amount of interpolation processing, there is a merit that the interpolation magnification is arbitrarily set to an integral multiple such as twice.
【０１２４】図２８は水平方向と垂直方向に２倍に補間
する処理例を示している。予め、補間後の画像データに
ついての変数領域を確保するとして、整数倍の補間処理
であれば元画像の画像データは整数倍した座標値に対応
する画素の画像データとなる。図に示す例で言えば、旧
座標値（０，０）は新座標値（０，０）に対応し、旧座
標値（１，０）は新座標値（２，０）に対応し、旧座標
値（０，１）は新座標値（０，２）に対応し、旧座標値
（１，１）は新座標値（２，２）に対応するということ
である。FIG. 28 shows an example of processing for interpolating twice in the horizontal and vertical directions. Assuming that a variable area for the interpolated image data is secured in advance, if the interpolation processing is an integer multiple, the image data of the original image is the image data of the pixel corresponding to the integer multiple of the coordinate value. In the example shown in the figure, the old coordinate value (0,0) corresponds to the new coordinate value (0,0), the old coordinate value (1,0) corresponds to the new coordinate value (2,0), The old coordinate value (0, 1) corresponds to the new coordinate value (0, 2), and the old coordinate value (1, 1) corresponds to the new coordinate value (2, 2).
【０１２５】すなわち、補間処理自体は任意の倍率で実
行可能であるにしても、整数倍の補間処理をだけを実行
するようにすると、補間すべき画素が減り、処理の高速
化を図ることができる。That is, even if the interpolation process itself can be executed at an arbitrary magnification, if only the integral multiple interpolation process is executed, the number of pixels to be interpolated is reduced, and the speed of the process can be increased. it can.
【０１２６】このように、画像入力デバイスを有すると
ともに画像出力デバイスを有するコンピュータシステム
１０において、プリンタドライバ１２ｃはステップＳＴ
１０２にて元画像データを入力した後、ステップＳＴ１
０４〜１０８にて画像の変化度合いを検出してフラグを
設定しておき、ステップＳＴ１１０にて同フラグを参照
することにより、画像の変化度合いの小さいブロックで
はステップＳＴ１１２にてニアリスト法による補間処理
を実行するし、画像の変化度合いの大きいブロックでは
ステップＳＴ１１４にてキュービック法による補間処理
を実行するようにしたため、画質を劣化させない範囲で
できる限りニアリスト法を実行するように制御され、自
動的に最適な補間処理を選択しつつ演算処理量を低減さ
せる。As described above, in the computer system 10 having the image input device and the image output device, the printer driver 12 c
After inputting the original image data at 102, step ST1
04 to 108, the degree of change of the image is detected and a flag is set. By referring to the flag in step ST110, in the block having a small degree of change in the image, the interpolation process by the near-list method is performed in step ST112. Is performed, and the interpolation process by the cubic method is performed in step ST114 for the block with a large degree of change in the image. Therefore, the control is performed so as to execute the near-list method as far as possible without deteriorating the image quality. The amount of calculation processing is reduced while selecting the most suitable interpolation processing.
【図１】本発明の一実施形態にかかる画像データ補間装
置のクレーム対応図である。FIG. 1 is a diagram corresponding to a claim of an image data interpolation device according to an embodiment of the present invention.
【図２】同画像データ補間装置の具体的ハードウェアの
ブロック図である。FIG. 2 is a block diagram of specific hardware of the image data interpolation device.
【図３】本発明の画像データ補間装置の他の適用例を示
す概略ブロック図である。FIG. 3 is a schematic block diagram showing another application example of the image data interpolation device of the present invention.
【図４】本発明の画像データ補間装置の他の適用例を示
す概略ブロック図である。FIG. 4 is a schematic block diagram showing another application example of the image data interpolation device of the present invention.
【図５】本発明の画像データ補間装置の他の適用例を示
す概略ブロック図である。FIG. 5 is a schematic block diagram showing another application example of the image data interpolation device of the present invention.
【図６】本発明の画像データ補間装置の他の適用例を示
す概略ブロック図である。FIG. 6 is a schematic block diagram showing another application example of the image data interpolation device of the present invention.
【図７】本発明の画像データ補間装置におけるフローチ
ャートである。FIG. 7 is a flowchart in the image data interpolation device of the present invention.
【図８】エッジ検出フィルタの一例を示す図である。FIG. 8 is a diagram illustrating an example of an edge detection filter.
【図９】エッジ検出フィルタの他の一例を示す図であ
る。FIG. 9 is a diagram illustrating another example of the edge detection filter.
【図１０】エッジ量の分布としきい値との関係を示す図
である。FIG. 10 is a diagram illustrating a relationship between a distribution of an edge amount and a threshold.
【図１１】注目画素とフラグの設定判断で対象とする画
素の関係を示す図である。FIG. 11 is a diagram illustrating a relationship between a pixel of interest and a pixel targeted for flag setting determination.
【図１２】エッジ量とフラグの設定状況を示す図であ
る。FIG. 12 is a diagram illustrating a setting state of an edge amount and a flag.
【図１３】既存の画素で形成されるブロックと補間する
画素との関係を示す図である。FIG. 13 is a diagram illustrating a relationship between blocks formed by existing pixels and pixels to be interpolated.
【図１４】注目画素を基準としてブロックを形成する場
合を示す図である。FIG. 14 is a diagram illustrating a case where a block is formed based on a target pixel.
【図１５】フラグの状況と領域の対応を示す図である。FIG. 15 is a diagram showing a correspondence between a flag status and an area.
【図１６】補間する画素でブロックを形成する場合を示
す図である。FIG. 16 is a diagram illustrating a case where a block is formed by pixels to be interpolated.
【図１７】ニアリスト法の概念図である。FIG. 17 is a conceptual diagram of a near-list method.
【図１８】ニアリスト法で各格子点のデータが移行され
る状況を示す図である。FIG. 18 is a diagram showing a situation in which data of each grid point is transferred by the near list method.
【図１９】ニアリスト法の補間前の状況を示す概略図で
ある。FIG. 19 is a schematic diagram showing a situation before interpolation in a near-list method.
【図２０】ニアリスト法の補間後の状況を示す概略図で
ある。FIG. 20 is a schematic diagram showing a situation after interpolation in the near-list method.
【図２１】キュービック法の概念図である。FIG. 21 is a conceptual diagram of the cubic method.
【図２２】キュービック法の具体的適用時におけるデー
タの変化状況を示す図である。FIG. 22 is a diagram showing a data change situation when the cubic method is specifically applied.
【図２３】キュービック法の具体的適用例を示す図であ
る。FIG. 23 is a diagram showing a specific application example of the cubic method.
【図２４】ハイブリッドバイキュービック法の具体的適
用例を示す図である。FIG. 24 is a diagram showing a specific application example of the hybrid bicubic method.
【図２５】バイリニア法の概念図である。FIG. 25 is a conceptual diagram of the bilinear method.
【図２６】補間関数の変化状況を示す図である。FIG. 26 is a diagram illustrating a change situation of an interpolation function.
【図２７】画像の変化度合いに応じて複数の補間処理の
補間倍率を分配する関係を示す図である。FIG. 27 is a diagram illustrating a relationship in which interpolation magnifications of a plurality of interpolation processes are distributed according to a degree of change in an image.
【図２８】整数倍の補間処理を示す概略図である。FIG. 28 is a schematic diagram showing an interpolation process of an integral multiple.
１０…コンピュータシステム １１ａ…スキャナ １１ａ２…スキャナ １１ｂ…デジタルスチルカメラ １１ｂ１…デジタルスチルカメラ １１ｂ２…デジタルスチルカメラ １１ｃ…ビデオカメラ １２…コンピュータ本体 １２ａ…オペレーティングシステム １２ｂ…ディスプレイドライバ １２ｂ…ドライバ １２ｃ…プリンタドライバ １２ｄ…アプリケーション １３ａ…フロッピーディスクドライブ １３ｂ…ハードディスク １３ｃ…ＣＤ−ＲＯＭドライブ １４ａ…モデム １４ａ２…モデム １５ａ…キーボード １５ｂ…マウス １７ａ…ディスプレイ １７ａ１…ディスプレイ １７ｂ…カラープリンタ １７ｂ１…カラープリンタ １７ｂ２…カラープリンタ １８ａ…カラーファクシミリ装置 １８ｂ…カラーコピー装置 10 Computer system 11a Scanner 11a2 Scanner 11b Digital still camera 11b1 Digital still camera 11b2 Digital still camera 11c Video camera 12 Computer body 12a Operating system 12b Display driver 12b Driver 12c Printer driver 12d Application 13a Floppy disk drive 13b Hard disk 13c CD-ROM drive 14a Modem 14a2 Modem 15a Keyboard 15b Mouse 17a Display 17a1 Display 17b Color printer 17b1 Color printer 17b2 Color printer 18a Color facsimile machine 18b: color copy machine
【手続補正書】[Procedure amendment]
【提出日】平成１１年４月６日[Submission date] April 6, 1999
【手続補正１】[Procedure amendment 1]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】特許請求の範囲[Correction target item name] Claims
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【特許請求の範囲】[Claims]
【手続補正２】[Procedure amendment 2]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００１１[Correction target item name] 0011
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００１１】[0011]
【課題を解決するための手段】上記目的を達成するた
め、請求項１にかかる発明は、画像をドットマトリクス
状の画素で表現した画像データを取得する画像データ取
得手段と、上記画像データに基づいて画素の変化度合い
を評価する画素変化度合評価手段と、上記画像データに
おける構成画素数を増やす補間処理を行うにあたり複数
の補間処理の中から選択して実行可能な画素補間手段
と、上記画素変化度合評価手段によって評価された画素
の変化度合に基づいてその変化度合いに対応して最適な
補間結果を得ることが可能な補間処理を選択して上記画
素補間手段に実行させる補間処理選択手段とを具備する
構成としてある。According to a first aspect of the present invention, there is provided an image data acquiring means for acquiring image data in which an image is represented by pixels in a dot matrix, and an image data acquiring means for acquiring the image data based on the image data. Pixel change degree evaluation means for evaluating the degree of change of pixels, pixel interpolation means which can be selected and executed from a plurality of interpolation processing in performing interpolation processing for increasing the number of constituent pixels in the image data, An interpolation process selecting means for selecting an interpolation process capable of obtaining an optimal interpolation result corresponding to the degree of change based on the degree of change of the pixel evaluated by the degree evaluation means, and causing the pixel interpolation means to execute the interpolation process. There is a configuration to have.
【手続補正３】[Procedure amendment 3]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００３４[Correction target item name] 0034
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００３４】このように、画像の変化度合いに応じて補
間処理を選択する手法は必ずしも実体のある装置に限ら
れる必要はなく、その方法としても機能することは容易
に理解できる。このため、請求項９〜請求項１６にかか
る発明は、上記画像データ補間装置が実施する補間方法
に対応した構成としてある。As described above, the method of selecting the interpolation processing according to the degree of change of the image is not necessarily limited to a substantial device, and it can be easily understood that the method functions as the method. Therefore, the invention according to claims 9 to 16 has a configuration corresponding to the interpolation method performed by the image data interpolation device.
【手続補正４】[Procedure amendment 4]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００３８[Correction target item name] 0038
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００３８】その意味で、請求項１７〜請求項２４にか
かる発明は、上記画像データ補間装置をコンピュータで
実施させる各ステップに対応した構成としてある。In this sense, the invention according to claims 17 to 24 has a configuration corresponding to each step of causing the computer to execute the image data interpolation apparatus.
【手続補正５】[Procedure amendment 5]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００４１[Correction target item name] 0041
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００４１】また、本画像データ補間装置全体を組み入
れる対象の一つには画像出力装置なども当然に上げられ
る。例えば、ディジタルスチルカメラであるとかビデオ
カメラなどでは光学ズームに加えてディジタルズームも
利用されているが、このようなカメラに組み込んでズー
ムをする際に利用してもよい。また、高機能なテレビジ
ョンにおいても画面をズームすることが可能となってい
るものもあるが、このような場合にも画像の変化度合い
に応じた補間処理でズームするようにしても良い。すな
わち、アニメーションなどのように一定の範囲では同じ
色が塗られる場合においてはその変化度合は低く、主に
境界部分でのみ変化度合いが大きくなるため、それぞれ
に応じた補間処理を適宜選択して実施すればよい。One of the objects to which the entire image data interpolation device is incorporated is an image output device. For example, a digital still camera or a video camera uses a digital zoom in addition to an optical zoom. However, the digital zoom may be incorporated in such a camera and used for zooming. In addition, although there are some high-performance televisions that can zoom the screen, in such a case, the zoom may be performed by interpolation processing according to the degree of change in the image. That is, the degree of change is low when the same color is painted in a certain range, such as animation, and the degree of change is large mainly at the boundary portion. do it.
【手続補正６】[Procedure amendment 6]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００４２[Correction target item name] 0042
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００４２】[0042]
【発明の効果】以上説明したように本発明は、画像の変
化度合いに応じて補間処理を変更することにより極めて
簡易に最適な補間結果を得ることが可能な画像データ補
間装置、画像データ補間方法および画像データ補間プロ
グラムを記録した媒体を提供することができる。As described above, the present invention provides an image data interpolating apparatus and an image data interpolating method capable of extremely easily obtaining an optimal interpolation result by changing an interpolation process according to a degree of change of an image. And a medium recording an image data interpolation program.
【手続補正７】[Procedure amendment 7]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００４３[Correction target item name] 0043
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００４３】また、請求項２、請求項１０、請求項１８
にかかる発明によれば、画像の変化度合いを明るさのパ
ラメータに基づいて判断するため、比較的容易に同変化
度合いを求めることができる。[0043] Further, claim 2, claim 10, claim 18
According to the invention, since the degree of change of the image is determined based on the brightness parameter, the degree of change can be obtained relatively easily.
【手続補正８】[Procedure amendment 8]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００４４[Correction target item name] 0044
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００４４】さらに、請求項３、請求項１１、請求項１
９にかかる発明によれば、一の画素の変化度合いを周囲
の画素においても利用することにより、演算量を低減で
きるし、補間処理の影響を受ける適当な範囲で共有する
ことにより、最適な補間結果を得ることができる。Furthermore, claim 3, claim 11, and claim 1
According to the invention of the ninth aspect, the degree of change of one pixel is also used for surrounding pixels, so that the amount of calculation can be reduced. The result can be obtained.
【手続補正９】[Procedure amendment 9]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００４５[Correction target item name] 0045
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００４５】さらに、請求項４、請求項１２、請求項２
０にかかる発明によれば、変化度合の小さい領域では画
質に影響することなく処理量を減らすことができる。Further, claim 4, claim 12, and claim 2
According to the aspect of the present invention, the processing amount can be reduced without affecting the image quality in an area where the degree of change is small.
【手続補正１０】[Procedure amendment 10]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００４６[Correction target item name] 0046
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００４６】さらに、請求項５、請求項１３、請求項２
１にかかる発明によれば、変化度合いの大きい画素の並
びについてこの間を補間したとしても段差が目立たたず
画質の劣化を防止することができる。Further, claim 5, claim 13, and claim 2
According to the first aspect of the present invention, it is possible to prevent a step from being conspicuous and prevent image quality from deteriorating even if a pixel array having a large change degree is interpolated between them.
【手続補正１１】[Procedure amendment 11]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００４７[Correction target item name] 0047
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００４７】さらに、請求項６、請求項１４、請求項２
２にかかる発明によれば、Ｓ字カーブの傾斜と、アンダ
ーシュートとオーバーシュートによる高低差とにより、
画質の調整を比較的容易に実現できる。Further, claim 6, claim 14, claim 2
According to the second aspect of the present invention, the slope of the S-shaped curve and the height difference due to undershoot and overshoot cause
Adjustment of image quality can be realized relatively easily.
【手続補正１２】[Procedure amendment 12]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００４８[Correction target item name] 0048
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００４８】さらに、請求項７、請求項１５、請求項２
３にかかる発明によれば、画素単位で補間処理を選択す
るのできめ細かに補間結果を向上させることができる。Further, claim 7, claim 15, and claim 2
According to the third aspect of the invention, the interpolation result can be finely improved by selecting the interpolation processing on a pixel-by-pixel basis.
【手続補正１３】[Procedure amendment 13]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００４９[Correction target item name] 0049
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００４９】さらに、請求項８、請求項１６、請求項２
４にかかる発明によれば、小領域毎に補間処理を選択す
るので処理を簡易化することができる。Further, claim 8, claim 16, and claim 2
According to the fourth aspect, the interpolation processing is selected for each small area, so that the processing can be simplified.
【手続補正１４】[Procedure amendment 14]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００５０[Correction target item name] 0050
【補正方法】削除[Correction method] Deleted
【手続補正１５】[Procedure amendment 15]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００５３[Correction target item name] 0053
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００５３】ディジタル処理を前提とすると、画像はド
ットマトリクス状の画素で表現することになり、各画素
を表すデータの集まりで画像データが構成される。そし
て、画素単位で処理する系においては、画像の拡大縮小
は画素単位で実施することになる。本画像データ補間装
置はこのような画素単位での拡大処理を実施するもので
あり、画像データ取得手段Ｃ１は、このような画像デー
タを取得し、画素補間手段Ｃ２はこの画像データにおけ
る構成画素数を増やす補間処理を行う。ここで、画素補
間手段Ｃ２は補間処理として画素の変化度合いに対応す
る複数の補間処理を実行可能となっており、画素変化度
合評価手段Ｃ３が上記画像データに基づいて画素ごとの
変化度合いを評価する。すると、補間処理選択手段Ｃ４
はそのようにして評価された画素の変化度合いに対応し
て最適な補間結果を得ることが可能な補間処理を選択
し、上記画素補間手段Ｃ２に実行させる。Assuming digital processing, an image is represented by pixels in a dot matrix, and image data is composed of a group of data representing each pixel. In a system that performs processing in units of pixels, the image is scaled up or down in units of pixels. The present image data interpolating apparatus performs such an enlarging process in pixel units. The image data acquiring unit C1 acquires such image data, and the pixel interpolating unit C2 determines the number of constituent pixels in the image data. Is performed. Here, the pixel interpolation means C2 can execute a plurality of interpolation processes corresponding to the degree of pixel change as the interpolation processing, and the pixel change degree evaluation means C3 evaluates the degree of change for each pixel based on the image data. I do. Then, the interpolation processing selecting means C4
Selects an interpolation process capable of obtaining an optimal interpolation result according to the degree of change of the pixel evaluated in this way, and causes the pixel interpolation means C2 to execute the interpolation process.
【手続補正１６】[Procedure amendment 16]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００９３[Correction target item name] 0093
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００９３】上述したように別々の補間処理を備えてい
るステップＳＴ１１２，ＳＴ１１４の処理は画素補間手
段Ｃ２を構成することになる。この場合、画素補間手段
Ｃ２はソフトウェアで実現されているが、その構成にオ
ペレーティングシステムは必須ではない。すなわち、オ
ペレーティングシステムの関数などを呼び出して所定の
機能を実施するようにもできるし、オペレーティングシ
ステムを呼び出すことなく所定の機能を実施するように
もできる。そして、媒体にプログラムが記録されて供給
される過程においても、単独で本発明を構成することは
いうまでもない。むろん、ソフトウェアで実現する他の
構成要素についても全く同様である。ここで、それぞれ
の補間処理について詳述する。As described above, the processing of steps ST112 and ST114 having separate interpolation processing constitutes the pixel interpolation means C2. In this case, the pixel interpolation means C2 is realized by software, but an operating system is not indispensable for its configuration. That is, a predetermined function can be performed by calling a function of the operating system, or a predetermined function can be performed without calling the operating system. It goes without saying that the present invention is constituted alone in the process of recording and supplying the program to the medium. Of course, the same applies to other components realized by software. Here, each interpolation process will be described in detail.
【手続補正１７】[Procedure amendment 17]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００９８[Correction target item name] 0098
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００９８】[0098]
【数１】(Equation 1)
【手続補正１８】[Procedure amendment 18]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００９９[Correction target item name]
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００９９】また、ここで距離に応じた影響度合いを３
次たたみ込み関数で表すとすると、 f(t) = {sin(πt)}/πt となる。なお、上述した各距離ｘ１〜ｘ４，ｙ１〜ｙ４
は格子点Ｐｕｖの座標値（ｕ，ｖ）について絶対値を利
用して次のように算出することになる。 x1 = 1+(u-|u|) y1 = 1+(v-|v|) x2 = (u-|u|) y2 = (v-|v|) x3 = 1-(u-|u|) y3 = 1-(v-|v|) x4 = 2-(u-|u|) y4 = 2-(v-|v|)Here, the degree of influence according to the distance is 3
Expressed by the convolution function, f (t) = {sin (πt)} / πt. Note that the above-described distances x1 to x4, y1 to y4
Is calculated as follows using the absolute value of the coordinate value (u, v) of the grid point Puv. x1 = 1+ (u- | u |) y1 = 1+ (v- | v |) x2 = (u- | u |) y2 = (v- | v |) x3 = 1- (u- | u | ) y3 = 1- (v- | v |) x4 = 2- (u- | u |) y4 = 2- (v- | v |)
【手続補正１９】[Procedure amendment 19]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０１００[Correction target item name] 0100
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【０１００】以上の前提のもとでＰについて展開する
と、Expanding on P under the above assumptions,
【手続補正２０】[Procedure amendment 20]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０１０１[Correction target item name] 0101
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【０１０１】[0101]
【数２】(Equation 2)
【手続補正２１】[Procedure amendment 21]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０１０２[Correction target item name] 0102
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【０１０２】となる。なお、３次たたみ込み関数と呼ば
れるように距離に応じた影響度合いｆ（ｔ）は次のよう
な三次式で近似される。Is obtained. The degree of influence f (t) according to the distance, which is called a third-order convolution function, is approximated by the following cubic expression.
【手続補正２２】[Procedure amendment 22]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０１０３[Correction target item name] 0103
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【０１０３】[0103]
【数３】(Equation 3)
【手続補正２３】[Procedure amendment 23]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０１０８[Correction target item name] 0108
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【０１０８】垂直方向についてのデータの変化がないも
のとみなすと、演算は簡略化され、水平方向に並ぶ四つ
の格子点のデータ（P1,P2,P3,P4 ）だけを参照しつつ、
内挿点から各格子点までの距離に応じた影響度合いｆ
（ｔ）を利用して次のように算出できる。 P=P1・f(x1)+P21f(x2)+P3・f(x3)+P4・f(x4) 従って、内挿点Ｐ２１について算出する場合には、 P21=64*f(1.25)+64*f(0.25)+64*f(0.75)+128*f(1.75) =64*(-0.14063)+64*(0.890625)+64*(0.296875)+128*(-0.04688) =61 となる。キュービック法によれば３次関数的に表せる以
上、そのカーブの形状を調整することによって補間結果
の品質を左右することができる。Assuming that there is no change in the data in the vertical direction, the operation is simplified, and only the data (P1, P2, P3, P4) of the four grid points arranged in the horizontal direction are referred to.
Influence degree f according to distance from interpolation point to each grid point
Using (t), it can be calculated as follows. P = P1 ・ f (x1) + P21f (x2) + P3 ・ f (x3) + P4 ・ f (x4) Therefore, when calculating for the interpolation point P21, P21 = 64 * f (1.25) +64 * f (0.25) + 64 * f (0.75) + 128 * f (1.75) = 64 * (-0.14063) + 64 * (0.890625) + 64 * (0.296875) +128 * (-0.04688) = 61 According to the cubic method, the quality of the interpolation result can be influenced by adjusting the shape of the curve as long as it can be expressed as a cubic function.
【手続補正２４】[Procedure amendment 24]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０１０９[Correction target item name]
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【０１０９】その調整の一例として、 0＜t＜0.5 f(t) = -(8/7)t**3-(4/7)t**2+1 0.5＜t＜1 f(t) = (1-t)(10/7) 1＜t＜1.5 f(t) = (8/7)(t-1)**3+(4/7)(t-1)**2-(t-1) 1.5＜t＜2 f(t) = (3/7)(t-2) としたものをＭキュービック法と呼ぶことにする。As an example of the adjustment, 0 <t <0.5 f (t) =-(8/7) t ** 3- (4/7) t ** 2 + 1 0.5 <t <1 f (t) = (1-t) (10/7) 1 <t <1.5 f (t) = (8/7) (t-1) ** 3+ (4/7) (t-1) ** 2- ( t-1) 1.5 <t <2 f (t) = (3/7) (t-2) is called an M cubic method.
【手続補正２５】[Procedure amendment 25]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０１１０[Correction target item name] 0110
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【０１１０】図２４はＭキュービック法にて補間される
際の具体例を示しており、キュービック法の場合と同じ
仮定のモデルについて補間した結果を示している。ま
た、図２２にもＭキュービック法による補間処理結果を
示しており、この例では３次関数的なカーブがわずかに
急峻となり、画像全体のイメージがシャープとなる。FIG. 24 shows a specific example when the interpolation is performed by the M cubic method, and shows the result of the interpolation performed on the same hypothetical model as in the case of the cubic method. FIG. 22 also shows the result of the interpolation processing by the M cubic method. In this example, the cubic function curve becomes slightly steep, and the entire image becomes sharp.
【手続補正２６】[Procedure amendment 26]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０１１１[Correction target item name] 0111
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【０１１１】上述したニアリスト法やキュービック法や
Ｍキュービック法の特性の理解のために他の補間手法で
ある共１次内挿法（バイリニア補間：以下、バイリニア
法と呼ぶ）について説明する。In order to understand the characteristics of the above-described near-list method, cubic method, and M-cubic method, another interpolation method, ie, a bilinear interpolation method (bilinear interpolation, hereinafter referred to as a bilinear method) will be described.
【手続補正２７】[Procedure amendment 27]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０１１３[Correction target item name]
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【０１１３】二つのキュービック法とバイリニア法は一
方の格子点から他方の格子点へと近づくにつれて徐々に
変化していく点で共通するが、その変化状況が３次関数
的であるか１次関数的であるかが異なり、画像としてみ
たときの差異は大きい。図２６はニアリスト法とキュー
ビック法とＭキュービック法とバイリニア法における補
間結果の相違を理解しやすくするために二次元的に表し
た図である。同図において、横軸に位置を示し、縦軸に
補間関数を示している。むろん、この補間関数は上述し
た距離に応じた影響度合いに該当する。ｔ＝０、ｔ＝
１、ｔ＝２の位置に格子点が存在し、内挿点はｔ＝０〜
１の位置となる。The two cubic methods and the bilinear method are common in that they gradually change as one grid point approaches the other grid point, and the change state is a cubic function or a linear function. The difference is large when viewed as an image. FIG. 26 is a diagram represented two-dimensionally to make it easier to understand the difference between the interpolation results in the near-list method, the cubic method, the M-cubic method, and the bilinear method. In the figure, the horizontal axis indicates the position, and the vertical axis indicates the interpolation function. Of course, this interpolation function corresponds to the degree of influence according to the distance described above. t = 0, t =
1, a lattice point exists at the position of t = 2, and the interpolation point is t = 0 to t = 0.
1 position.
【手続補正２８】[Procedure amendment 28]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０１１５[Correction target item name]
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【０１１５】一方、キュービックにおいては、隣接する
二点間（ｔ＝０〜１）においては山形の凸を描いて徐々
に近接するのみならず、さらに同二点間の外側（ｔ＝１
〜２）において下方に押し下げる効果をもつ。すなわ
ち、エッジ部分は段差が生じない程度に大きな高低差を
有するように変化され、写真においてはシャープさを増
しつつ段差が生じないという好適な影響を及ぼす。ま
た、Ｍキュービックではよりシャープさを増す影響を及
ぼす。なお、キュービック法は演算処理量が大きく、補
間倍率が大きくなって補間すべき画素数が大きくなれば
多大な演算処理量を要することになる。On the other hand, in the cubic, between two adjacent points (t = 0 to 1), not only gradually approaching by drawing a mountain-shaped convex, but also outside the two points (t = 1).
2) has an effect of pushing down. That is, the edge portion is changed so as to have a large difference in height so that no step is formed, and in a photograph, there is a favorable effect that no step is formed while increasing sharpness. In addition, M cubic has an effect of increasing sharpness. Note that the cubic method requires a large amount of arithmetic processing if the interpolation magnification is large and the number of pixels to be interpolated is large.
【手続補正２９】[Procedure amendment 29]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０１１７[Correction target item name] 0117
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【０１１７】一方、以上のような補間関数の比較ととも
に具体的な数値を示す図２２、図２３、図２４を参照す
るとより理解しやすい。図２２の例を参照し、もともと
のエッジ部分である階調値「６４」の画素（Ｐ３）と、
階調値「１２８」の画素（Ｐ４）と、階調値「１９２」
の画素（Ｐ５）という三点に注目してみると、単純に直
線的に連結する手法はバイリニア法に相当し、これに対
してキュービック法では具体的なＳ字カーブが形成され
ているし、Ｍキュービック法ではそのＳ字カーブがより
急峻となっている。むろん、Ｓ字カーブの方向は画素の
階調値変化を急峻とするものであり、エッジが強調され
ている。また、このエッジ画素に隣接する領域（Ｐ２〜
Ｐ３、Ｐ５〜Ｐ６）ではいわゆるアンダーシュートとオ
ーバーシュートが生じており、低い側に生じるアンダー
シュートと高い側に生じるオーバーシュートにより、エ
ッジ画素を挟む両側の高低差が大きくなる。従って、こ
れらの二つの要因によってエッジが強調されることが理
解できる。On the other hand, it is easier to understand by referring to FIGS. 22, 23 and 24 showing specific numerical values along with the comparison of the interpolation functions as described above. Referring to the example of FIG. 22, a pixel (P3) having a tone value of “64” which is an original edge portion,
The pixel (P4) with the gradation value “128” and the gradation value “192”
Paying attention to the three points of the pixel (P5), the simple linear connection method corresponds to the bilinear method, whereas the cubic method forms a specific S-shaped curve. In the M cubic method, the S-shaped curve is steeper. Needless to say, the direction of the S-shaped curve makes the gradation value change of the pixel sharp, and the edge is emphasized. Further, a region (P2 to P2) adjacent to the edge pixel
In P3, P5 to P6), so-called undershoots and overshoots occur, and due to the undershoots occurring on the lower side and the overshoots occurring on the higher side, the height difference between both sides sandwiching the edge pixel increases. Therefore, it can be understood that the edge is emphasized by these two factors.
【手続補正３０】[Procedure amendment 30]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０１１９[Correction target item name] 0119
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【０１１９】すなわち、高次関数を利用して画像データ
の変化態様を略Ｓ字型とし、画像データの低い側から高
い側に移行するときに一旦は最低値よりも減少してから
上昇して最高値を超して再び減少させている。そして、
その際のアンダーシュートと傾斜度合いとオーバーシュ
ートとを上記高次関数のパラメータで調整して画像の変
化度合いを最適なものとさせている。一方、このような
関係は図２６に示す補間関数においてｔ＝０〜１の区間
において傾斜が急となりつつ、ｔ＝１〜２の区間におい
て増加した重み分を打ち消すように負の側へ引き寄せる
カーブとなっている場合に生じる。That is, the change mode of the image data is made substantially S-shaped by using a higher-order function, and when the image data shifts from a lower side to a higher side, the image data once decreases below the minimum value and then increases. Exceeding the maximum, it is decreasing again. And
At this time, the degree of change of the image is optimized by adjusting the undershoot, the degree of inclination, and the overshoot with the parameters of the higher-order function. On the other hand, such a relationship is a curve in which the slope becomes steep in the section of t = 0 to 1 in the interpolation function shown in FIG. 26, but is drawn to the negative side so as to cancel the increased weight in the section of t = 1 to 2. Occurs when
【手続補正３１】[Procedure amendment 31]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０１２１[Correction target item name] 0121
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【０１２１】各補間処理には以上のような特性の違いが
あり、ステップＳＴ１１０にて画像の変化度合いが小さ
いと判断されたブロックでは、ステップＳＴ１１２にて
ニアリスト法の補間処理を実行するし、逆に変化度合い
が大きいと判断されたブロックでは、キュービック法や
Ｍキュービック法の補間処理を実行する。キュービック
法で補間処理をする場合には演算時間が多大となってし
まうものの、画像の変化度合いが小さいような部分では
ニアリスト法に切り替えるため、全体としての処理時間
は極めて低減する。特に、コンピュータグラフィックス
のように同色で一定領域を塗りつぶしてあるような場合
には一律にニアリスト法を実行しても全く問題ないの
で、処理時間は低減する。また、自然画であっても拡大
したときにジャギーが目立ちやすい部分というのは面積
比でいってもそれほど大きくないのが普通であるから、
このように画像の変化度合いを逐次切り替えることによ
って画質を劣化させることなく処理量を低減させること
ができる。Each of the interpolation processes has the above-described difference in characteristics. In the block in which it is determined in step ST110 that the degree of change in the image is small, the near-list interpolation process is executed in step ST112. Conversely, for a block determined to have a large degree of change, interpolation processing of the cubic method or the M cubic method is executed. When the interpolation process is performed by the cubic method, the calculation time is long. However, since the switching to the near-list method is performed in a portion where the degree of change of the image is small, the processing time as a whole is extremely reduced. In particular, when a certain area is painted in the same color as in computer graphics, there is no problem even if the near-list method is executed uniformly, so that the processing time is reduced. Also, even if it is a natural image, the part where the jaggy is conspicuous when enlarged is usually not so large even if it is the area ratio,
Thus, by sequentially switching the degree of change of the image, the processing amount can be reduced without deteriorating the image quality.
【手続補正３２】[Procedure amendment 32]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】図面の簡単な説明[Correction target item name] Brief description of drawings
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【図面の簡単な説明】[Brief description of the drawings]
【図１】本発明の一実施形態にかかる画像データ補間装
置のクレーム対応図である。FIG. 1 is a diagram corresponding to a claim of an image data interpolation device according to an embodiment of the present invention.
【図２】同画像データ補間装置の具体的ハードウェアの
ブロック図である。FIG. 2 is a block diagram of specific hardware of the image data interpolation device.
【図３】本発明の画像データ補間装置の他の適用例を示
す概略図である。FIG. 3 is a schematic diagram showing another application example of the image data interpolation device of the present invention.
【図４】本発明の画像データ補間装置の他の適用例を示
す概略図である。FIG. 4 is a schematic diagram showing another application example of the image data interpolation device of the present invention.
【図５】本発明の画像データ補間装置の他の適用例を示
す概略図である。FIG. 5 is a schematic diagram showing another application example of the image data interpolation device of the present invention.
【図６】本発明の画像データ補間装置の他の適用例を示
す概略図である。FIG. 6 is a schematic diagram showing another application example of the image data interpolation device of the present invention.
【図７】本発明の画像データ補間装置におけるフローチ
ャートである。FIG. 7 is a flowchart in the image data interpolation device of the present invention.
【図８】エッジ検出フィルタの一例を示す図である。FIG. 8 is a diagram illustrating an example of an edge detection filter.
【図９】エッジ検出フィルタの他の一例を示す図であ
る。FIG. 9 is a diagram illustrating another example of the edge detection filter.
【図１０】エッジ量の分布としきい値との関係を示す図
である。FIG. 10 is a diagram illustrating a relationship between a distribution of an edge amount and a threshold.
【図１１】注目画素とフラグの設定判断で対象とする画
素の関係を示す図である。FIG. 11 is a diagram illustrating a relationship between a pixel of interest and a pixel targeted for flag setting determination.
【図１２】エッジ量とフラグの設定状況を示す図であ
る。FIG. 12 is a diagram illustrating a setting state of an edge amount and a flag.
【図１３】既存の画素で形成されるブロックと補間する
画素との関係を示す図である。FIG. 13 is a diagram illustrating a relationship between blocks formed by existing pixels and pixels to be interpolated.
【図１４】注目画素を基準としてブロックを形成する場
合を示す図である。FIG. 14 is a diagram illustrating a case where a block is formed based on a target pixel.
【図１５】フラグの状況と領域の対応を示す図である。FIG. 15 is a diagram showing a correspondence between a flag status and an area.
【図１６】補間する画素でブロックを形成する場合を示
す図である。FIG. 16 is a diagram illustrating a case where a block is formed by pixels to be interpolated.
【図１７】ニアリスト法の概念図である。FIG. 17 is a conceptual diagram of a near-list method.
【図１８】ニアリスト法で各格子点のデータが移行され
る状況を示す図である。FIG. 18 is a diagram showing a situation in which data of each grid point is transferred by the near list method.
【図１９】ニアリスト法の補間前の状況を示す概略図で
ある。FIG. 19 is a schematic diagram showing a situation before interpolation in a near-list method.
【図２０】ニアリスト法の補間後の状況を示す概略図で
ある。FIG. 20 is a schematic diagram showing a situation after interpolation in the near-list method.
【図２１】キュービック法の概念図である。FIG. 21 is a conceptual diagram of the cubic method.
【図２２】キュービック法の具体的適用時におけるデー
タの変化状況を示す図である。FIG. 22 is a diagram showing a data change situation when the cubic method is specifically applied.
【図２３】キュービック法の具体的適用例を示す図であ
る。FIG. 23 is a diagram showing a specific application example of the cubic method.
【図２４】Ｍキュービック法の具体的適用例を示す図で
ある。FIG. 24 is a diagram showing a specific application example of the M cubic method.
【図２５】バイリニア法の概念図である。FIG. 25 is a conceptual diagram of the bilinear method.
【図２６】補間関数の変化状況を示す図である。FIG. 26 is a diagram illustrating a change situation of an interpolation function.
【図２７】画像の変化度合いに応じて複数の補間処理の
補間倍率を分配する関係を示す図である。FIG. 27 is a diagram illustrating a relationship in which interpolation magnifications of a plurality of interpolation processes are distributed according to a degree of change in an image.
【図２８】整数倍の補間処理を示す概略図である。FIG. 28 is a schematic diagram showing an interpolation process of an integral multiple.
【符号の説明】 １０…コンピュータシステム １１ａ…スキャナ １１ａ２…スキャナ １１ｂ…デジタルスチルカメラ １１ｂ１…デジタルスチルカメラ １１ｂ２…デジタルスチルカメラ １１ｃ…ビデオカメラ １２…コンピュータ本体 １２ａ…オペレーティングシステム １２ｂ…ディスプレイドライバ １２ｂ…ドライバ １２ｃ…プリンタドライバ １２ｄ…アプリケーション １３ａ…フロッピーディスクドライブ １３ｂ…ハードディスク １３ｃ…ＣＤ−ＲＯＭドライブ １４ａ…モデム １４ａ２…モデム １５ａ…キーボード １５ｂ…マウス １７ａ…ディスプレイ １７ａ１…ディスプレイ １７ｂ…カラープリンタ １７ｂ１…カラープリンタ １７ｂ２…カラープリンタ １８ａ…カラーファクシミリ装置 １８ｂ…カラーコピー装置[Description of Signs] 10 Computer system 11a Scanner 11a2 Scanner 11b Digital still camera 11b1 Digital still camera 11b2 Digital still camera 11c Video camera 12 Computer body 12a Operating system 12b Display driver 12b Driver 12c ... Printer driver 12d ... Application 13a ... Floppy disk drive 13b ... Hard disk 13c ... CD-ROM drive 14a ... Modem 14a2 ... Modem 15a ... Keyboard 15b ... Mouse 17a ... Display 17a1 ... Display 17b ... Color printer 17b1 ... Color printer 17b2 ... Color printer 18a: color facsimile machine 18b: color copy machine
【手続補正３３】[Procedure amendment 33]
【補正対象書類名】図面[Document name to be amended] Drawing
【補正対象項目名】図２２[Correction target item name] FIG.
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【図２２】FIG.
【手続補正３４】[Procedure amendment 34]
【補正対象書類名】図面[Document name to be amended] Drawing
【補正対象項目名】図２４[Correction target item name] FIG.
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【図２４】FIG. 24
【手続補正３５】[Procedure amendment 35]
【補正対象書類名】図面[Document name to be amended] Drawing
【補正対象項目名】図２６[Correction target item name] FIG. 26
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【図２６】FIG. 26
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10093741AJP3045134B2 (en) | 1998-04-06 | 1998-04-06 | Image data interpolation apparatus, image data interpolation method, and medium recording image data interpolation program |
| US09/280,704US6760489B1 (en) | 1998-04-06 | 1999-03-30 | Apparatus and method for image data interpolation and medium on which image data interpolation program is recorded |
| EP03077727AEP1369818A1 (en) | 1998-04-06 | 1999-04-06 | Apparatus and method for image data interpolation |
| DE69920791TDE69920791T2 (en) | 1998-04-06 | 1999-04-06 | Apparatus and method for interpolating image data |
| EP99302675AEP0949585B1 (en) | 1998-04-06 | 1999-04-06 | Apparatus and method for image data interpolation |
| AT99302675TATE278994T1 (en) | 1998-04-06 | 1999-04-06 | DEVICE AND METHOD FOR INTERPOLATION OF IMAGE DATA |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10093741AJP3045134B2 (en) | 1998-04-06 | 1998-04-06 | Image data interpolation apparatus, image data interpolation method, and medium recording image data interpolation program |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000010232ADivisionJP4009805B2 (en) | 1998-04-06 | 2000-01-14 | Image data interpolation apparatus, image data interpolation method, and medium on which image data interpolation program is recorded |
| Publication Number | Publication Date |
|---|---|
| JPH11298721Atrue JPH11298721A (en) | 1999-10-29 |
| JP3045134B2 JP3045134B2 (en) | 2000-05-29 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10093741AExpired - Fee RelatedJP3045134B2 (en) | 1998-04-06 | 1998-04-06 | Image data interpolation apparatus, image data interpolation method, and medium recording image data interpolation program |
| Country | Link |
|---|---|
| JP (1) | JP3045134B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005149488A (en)* | 2003-10-22 | 2005-06-09 | Sony Corp | Data processing unit, data processing method, program and recording medium |
| CN100454375C (en)* | 2001-09-07 | 2009-01-21 | 株式会社半导体能源研究所 | Light emitting device and driving method thereof |
| WO2011007395A1 (en)* | 2009-07-17 | 2011-01-20 | 三菱電機株式会社 | Image processing device |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4407801B2 (en) | 2003-12-16 | 2010-02-03 | セイコーエプソン株式会社 | Edge generation apparatus, edge generation method, and edge generation program |
| US7826686B2 (en) | 2005-03-18 | 2010-11-02 | Seiko Epson Corporation | Pixel interpolation apparatus and pixel interpolation program product |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100454375C (en)* | 2001-09-07 | 2009-01-21 | 株式会社半导体能源研究所 | Light emitting device and driving method thereof |
| JP2005149488A (en)* | 2003-10-22 | 2005-06-09 | Sony Corp | Data processing unit, data processing method, program and recording medium |
| WO2011007395A1 (en)* | 2009-07-17 | 2011-01-20 | 三菱電機株式会社 | Image processing device |
| JP5014514B2 (en)* | 2009-07-17 | 2012-08-29 | 三菱電機株式会社 | Image processing device |
| Publication number | Publication date |
|---|---|
| JP3045134B2 (en) | 2000-05-29 |
| Publication | Publication Date | Title |
|---|---|---|
| EP0949585B1 (en) | Apparatus and method for image data interpolation | |
| JP3882651B2 (en) | Image processing apparatus and program | |
| JP3075269B2 (en) | Image data interpolation method, image data interpolation device, and medium recording image data interpolation program | |
| JP4058583B2 (en) | PRINT CONTROL DEVICE, PRINT CONTROL METHOD, AND MEDIUM RECORDING PRINT CONTROL PROGRAM | |
| JP3045134B2 (en) | Image data interpolation apparatus, image data interpolation method, and medium recording image data interpolation program | |
| JP2001169098A (en) | A medium recording an output image data modification program, an output image data modification method, an output image data modification apparatus, a medium recording an image data reduction program, an image data reduction method, an image data reduction apparatus, and recording an image data modification program. Medium, image data retouching method and image data retouching device | |
| JP3201338B2 (en) | Image data interpolation apparatus, image data interpolation method, and medium recording image data interpolation program | |
| JP3173496B2 (en) | Image data interpolation apparatus, computer for image data interpolation processing, image data interpolation method, and medium recording image data interpolation program | |
| JP4009805B2 (en) | Image data interpolation apparatus, image data interpolation method, and medium on which image data interpolation program is recorded | |
| JP4450250B2 (en) | Image data interpolation apparatus, computer for image data interpolation processing, image data interpolation method, and medium on which image data interpolation program is recorded | |
| JP4171902B2 (en) | Object pixel extraction device, object pixel extraction method, medium on which object pixel extraction program is recorded, and object pixel extraction program | |
| JP3478498B2 (en) | Object pixel determination device, object pixel determination method, medium recording object pixel determination program, and object pixel determination program | |
| JP3063754B2 (en) | Image data interpolation device, image data interpolation method, medium recording image data interpolation program | |
| JP4265363B2 (en) | Image processing device | |
| JP2962310B1 (en) | Image processing apparatus, image processing method, and medium recording image processing program | |
| JP2000076430A (en) | Image data interpolation device, image data interpolation method, and medium recording image data interpolation program | |
| JP4115073B2 (en) | Image processing apparatus and image processing method | |
| JP2000076430A5 (en) | ||
| JP3815514B2 (en) | High-speed pixel interpolation method and image processing apparatus for enlarged image | |
| JP4081628B2 (en) | Image data interpolation method, image data interpolation device, and computer readable recording medium recording image data interpolation program | |
| JP3054299B2 (en) | Image processing apparatus and method | |
| JP3741183B2 (en) | Image data interpolation apparatus, image data interpolation method, and medium on which image data interpolation program is recorded | |
| JP2000209435A (en) | Medium recording print control program, print control device, and print control method | |
| JP2008017526A (en) | Interpolation of image data | |
| JP2004254334A (en) | Image data interpolation program, image data interpolation method and image data interpolation device |
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20000215 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20080317 Year of fee payment:8 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20090317 Year of fee payment:9 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20090317 Year of fee payment:9 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20100317 Year of fee payment:10 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20100317 Year of fee payment:10 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20110317 Year of fee payment:11 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20120317 Year of fee payment:12 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20120317 Year of fee payment:12 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20130317 Year of fee payment:13 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20140317 Year of fee payment:14 | |
| S531 | Written request for registration of change of domicile | Free format text:JAPANESE INTERMEDIATE CODE: R313531 | |
| R350 | Written notification of registration of transfer | Free format text:JAPANESE INTERMEDIATE CODE: R350 | |
| LAPS | Cancellation because of no payment of annual fees |