본 발명은 비월주사 방식의 형상정보 해상도 및 형상정보 보간에 관한 것으로서, 좀더 자세하게는 비월주사 방식의 형상정보 해상도 가변 방법 및 형상정보 보간의 참조블록 선택방법에 관한 것이다.The present invention relates to shape information resolution and shape information interpolation of interlaced scanning, and more particularly, to a method of changing shape information resolution of interlaced scanning and reference block selection method of shape information interpolation.
일반적으로 형상정보(shape information)를 코딩함에 있어서 해상도(resolution)를 가변하여 저해상도에서 부호화처리를 한다. 그리고 상기 부호화된 형상정보를 복호화하기 위해서는 이를 다시 고해상도로 변환하여야 한다. 이를 위해 화소 보간(image interpolation)을 수행하는데, 이 때 참조하는 주변화소(neighbor pixel)들의 선택은 화질에 있어 중요한 요소이다. 즉, 참조하는 화소가 블록 내에 있을 경우에는 문제가 되지 않으나 블럭의 경계(border)에 있는 화소를 보간할 경우에는 현재블럭과 인접한 블럭의 화소들을 참조해야 하는데, 이 때 참조할 화소들을 잘 선택해야 보간된 형상정보의 왜곡을 최대한 줄일 수 있다.In general, in encoding shape information, a resolution is changed and encoding is performed at a low resolution. In order to decode the encoded shape information, it must be converted to high resolution again. For this purpose, image interpolation is performed. The selection of neighbor pixels referred to here is an important factor in image quality. That is, it does not matter if the reference pixel is in the block, but when interpolating the pixel at the border of the block, the pixels of the block adjacent to the current block should be referred to. Distortion of interpolated shape information can be minimized.
일반적으로 형상정보를 구성하는 신호는 두 가지로 분류할 수 있다. 하나는 상단부터 하단까지 매 라인(line)을 하나씩 주사하여 얻어지는 순차주사(progressive scaned)로 만들어진 신호이고, 다른 하나는 상단부터 하단까지 한 라인씩 건너면서 주사하여 만들어 지는 비월주사(interlace scaned signal) 신호이다. 이때 순차주사된 형상정보의 화소 보간을 위한 참조화소의 선택은 통상적인 방법을 사용하여도 별 무리가 없다. 그러나 비월주사된 형상정보의 화소보간을 위한 참조화소의 선택은 주변 블럭과의 다양한 관계를 고려하여 최적의 참조화소가 선택이 되도록 하여야 화질을 향상시킬 수 있다.In general, the signals constituting the shape information can be classified into two types. One is a signal made by progressive scan, which is obtained by scanning every line from the top to the bottom, and the other is an interlace scaned signal, which is made by scanning one line from the top to the bottom. It is a signal. At this time, the selection of the reference pixel for pixel interpolation of the sequentially scanned shape information is easy even using a conventional method. However, the selection of reference pixels for interpolation of interlaced shape information pixel can be improved by selecting an optimal reference pixel in consideration of various relationships with neighboring blocks.
현재까지 개발된 다양한 화소보간 기술은 순차주사 신호를 대상으로 하고 있다. 특히 "0”과 "1”값과 같은 두 가지 값으로 이루어진 형상정보의 화소보간을 위해서 제안된 것의 대표적인 방법으로 MPEG-4의 형상부호화 방식을 들 수 있다. MPEG-4는 최근 41차 회합(1997년 11월 스위스 프리보그)에서 완성된 위원회 초안(Committee Draft)에 형상정보의 화소보간법을 소개하고 있다. ISO/IEC JTC1/SC29/WG11(MPEG), Information Technology - Coding of Audio-visual Objects: Visual, ISO/IEC 14496-2, Committee Draft, Oct. 30 1997의 7.4.2.5.3 절에 자세한 형상정보의 화소 보간 기술이 소개되고 있으나 이것은 순차주사 신호에 대한 것만을 취급하고 있다. 따라서 이를 비월주사 방식의 화소보간에 사용할 경우에는 화질의 열화를 가져오는 문제점이 있다.Various pixel interpolation techniques developed up to now target sequential scanning signals. In particular, the typical method of the proposed method for pixel interpolation of shape information consisting of two values such as "0" and "1" value is the MPEG-4 shape encoding method. MPEG-4 introduces pixel interpolation of shape information in the Committee Draft, which was recently completed at the 41st meeting (Freeborg, Switzerland, November 1997). ISO / IEC JTC1 / SC29 / WG11 (MPEG), Information Technology-Coding of Audio-visual Objects: Visual, ISO / IEC 14496-2, Committee Draft, Oct. 30 Section 7.4.2.5.3 of 1997 introduces the pixel interpolation technique of detailed shape information, but it deals only with sequential scanning signals. Therefore, when it is used for interpolation pixel interpolation, there is a problem of deterioration of image quality.
한편 형상정보를 해상도 변화시킬 때 순차주사된 영상에서는 필드 구분이 없으므로 프레임 단위로 해상도를 변화시킨다. 그러나 비월주사된 형상정보를 해상도 변화시킬 때 상기 순차주사 방식으로 프레임 단위로 해상도를 변화시키면, 인접한 필드 영상간에 화질 열화를 가져올 수 있다.On the other hand, when the shape information is changed in resolution, since the field is not distinguished in the sequentially scanned image, the resolution is changed in units of frames. However, when the interlaced shape information is changed in resolution, changing the resolution in units of frames by the sequential scanning method may cause deterioration of image quality between adjacent field images.
본 발명이 이루고자하는 기술적 과제는, 비월주사로 된 형상정보를 화소보간 할 경우에 대한 참조블럭을 선택함에 있어서 참조화소를 포함하는 블럭의 형태에 따라 참조블록의 화소를 다양하게 선택할 수 있도록 하는 형상정보 보간의 참조블록 선택방법을 제공하는 것이다.The technical problem to be achieved by the present invention, in selecting a reference block for the case of interpolation of the shape information of interlaced scanning, the shape so that the pixel of the reference block can be variously selected according to the shape of the block including the reference pixel It is to provide a reference block selection method of information interpolation.
본 발명이 이루고자하는 다른 기술적 과제는, 인접한 필드 영상간에 발생할 수 있는 화질 열화를 줄여 화질을 향상시킬 수 있도록 하기 위해, 비월주사된 형상정보를 해상도 변화시킬 때 순차주사된 영상과는 달리 필드영상별로 해상도를 변화시키는, 비월주사 방식의 형상정보 해상도 가변 방법을 제공하는 것이다.Another technical problem to be solved by the present invention is to reduce image quality deterioration that may occur between adjacent field images, thereby improving image quality. An interlaced scanning method for varying the resolution of a shape information resolution is provided.
도 1은 주어진 화상으로 부터의 해상도 변화의 과정을 나타내는 블록도이다.1 is a block diagram illustrating a process of resolution change from a given image.
도 2는 필드모드의 영상 블록으로부터 해상도 변화의 과정을 나타내는 블록도이다.2 is a block diagram illustrating a process of changing a resolution from an image block in a field mode.
도 3은 해상도 변화시의 화소들간의 상관 관계를 나타내는 도면이다.3 is a diagram illustrating a correlation between pixels when a resolution is changed.
도 4는 현재블럭의 화소보간을 위해 참조하는 경계블럭들의 관계를 보여주는 도면이다.4 is a diagram illustrating a relationship between boundary blocks referenced for pixel interpolation of a current block.
도 5는 순차주사와 격주사의 차이를 보여주는 도면이다.5 is a view showing the difference between sequential scan and bi-weekly scan.
도 6은 프레임 모드에서의 참조블럭 선택과정을 보여주는 도면이다.6 is a diagram illustrating a reference block selection process in frame mode.
도 7은 필드모드에서 참조블럭이 프레임 모드일때의 선택과정을 보여주는 도면이다.7 is a diagram illustrating a selection process when the reference block is in the frame mode in the field mode.
도 8은 필드모드에서 참조블럭이 필드 모드일때의 선택과정을 보여주는 도면이다.8 is a diagram illustrating a selection process when a reference block is in field mode in field mode.
도 9는 현재블럭과 상단블럭의 화소 배열 관계를 보여주는 도면이다.9 is a diagram illustrating a pixel array relationship between a current block and an upper block.
상기 기술적 과제를 해결하기 위한 본 발명에 의한, 형상정보 화소 보간시의 참조블럭 선택 방법은, 비월주사로 만들어진 형상정보에 대해 현재블럭의 경계화소를 보간할 경우 참조화소를 선택하는 방법에 있어서, 보간하고자하는 현재블럭의 화소와 상기 현재블럭과 인접한 상단블럭 및 좌측블럭에 속해 있는 화소들과의 오차를 구하는 단계; 및 상기 오차가 가장 적은 화소들을 참조화소로 선택함을 특징으로 한다.According to the present invention for solving the above technical problem, the reference block selection method for interpolation of shape information pixels, in the method for selecting a reference pixel when interpolating a boundary pixel of the current block with respect to shape information produced by interlaced scanning, Obtaining an error between a pixel of a current block to be interpolated and pixels belonging to an upper block and a left block adjacent to the current block; And selecting the pixels having the least error as reference pixels.
상기 현재블럭은 그 형태에 따라 프레임 모드(Frame mode)와 필드 모드(field mode)로 분류되며, 각각의 참조블럭들도 프레임 모드와 필드모드로 나누어서 연산을 실시함을 특징으로 한다.The current block is classified into a frame mode and a field mode according to its shape, and each reference block is also divided into a frame mode and a field mode to perform an operation.
상기 현재 블럭이 프레임 모드일 경우 현재블록의 상단 블럭으로부터 Top border를 구성할 경우 상단블럭을 프레임 모드와 필드 모드로 분류하여 각각의 연산의 결과 가장 최적인 블럭의 참조화소를 선택하는 것을 특징으로 한다.When the current block is in frame mode, when the top border is configured from the top block of the current block, the top block is classified into a frame mode and a field mode, and the reference pixel of the most optimal block is selected as a result of each operation. .
현재 블럭이 필드 모드일 경우 참조하는 좌측 블럭이 프레임 모드일 경우는 상,하 반씩 나누어 참조 화소로 사용하고, 상기 좌측블럭이 필드 모드일 경우에는 Top 필드는 Top 필드끼리 Bottom 필드는 Bottom 필드끼리 참조화소를 구성하는 것을 특징으로 한다.When the current block is in field mode, the left block is used as a reference pixel when it is in frame mode.When the left block is in field mode, the top field is referred to the top field and the bottom field is referred to the bottom field. It is characterized by constituting the pixel.
현재 블럭이 필드 모드일 경우 참조하는 상단 블럭이 프레임 모드이면 현재블럭이 Top 필드이거나 Bottom 필드 모두에 대해 같이 상단 블럭의 아래쪽 라인들을 참조화소로 선택하는 것을 특징으로 한다.When the current block is in the field mode, when the upper block to be referred to as the frame mode is selected, the lower lines of the upper block are selected as reference pixels for the current block or the top field.
현재 블럭과 참조 블럭이 모두 필드 모드일 경우 각각의 field에 대해 참조하는 상단의 블럭을 Top 필드와 Bottom 필드로 나누어, 현재 블럭이 Top 필드일 경우, 참조 블럭의 각 필드의 하단 임의의 k개의 라인과 현재블럭의 상단 임의의 k라인과의 차이의 절대치의 합을 구해 그 값이 적은 필드의 아래쪽 라인들을 참조화소로 선택하며, Bottom 필드에 대해서는 현재 블럭의 Top 필드의 하단 임의의 k라인과 현재의 Bottom field 블럭의 상단 k개의 라인과의 차이의 절대치의 합 중에서 가장 최소값을 갖는 필드를 선택하는 것을 특징으로 한다.If both the current block and the reference block are in field mode, the upper block referenced for each field is divided into a Top field and a Bottom field. If the current block is a Top field, any k lines at the bottom of each field of the reference block are present. Sum the absolute value of the difference between the top k of the current block and the top line of the current block, and select the bottom lines of the field with the smallest value as the reference pixel.For the Bottom field, the bottom k of the top field of the current block and the current line The field having the lowest value is selected from the sum of the absolute values of the differences with the top k lines of the bottom field block.
현재 블럭과 참조 블럭이 모두 필드 모드일 경우 각각의 필드에 대해 참조하는 상단의 블럭을 Top 필드와 Bottom 필드로 나누어, 현재 블럭이 Top 필드일 경우 참조 블럭의 Top 필드의 하단 라인을 참조화소로 선택하며, Bottom 필드일 경우 참조 블럭의 Bottom 필드의 하단 라인을 참조화소로 선택하는 것을 특징으로 한다.If both the current block and the reference block are in field mode, the top block referenced for each field is divided into a Top field and a Bottom field. If the current block is a Top field, the bottom line of the Top field of the reference block is selected as the reference pixel. In the case of the Bottom field, the bottom line of the Bottom field of the reference block is selected as the reference pixel.
상기 연산은 상단블럭의 아래쪽 화소들과 현재블럭의 위쪽 화소들을 서로 뺄셈 연산을 한 다음 절대치를 취해서 합하는 것을 특징으로 한다.The operation may be performed by subtracting the pixels on the lower side of the upper block and the pixels on the upper side of the current block and then adding the absolute values.
현재블록과 현재블록의 바로 위의 상단 참조블록이 모두 필드모드이고, 상단 좌측이나 상단 우측 참조블록도 상단 참조블록과 같은 블록모드인 필드모드로 구성될 경우 참조하는 상단의 블록을 Top 필드와 Bottom 필드로 나누어, Top 필드의 하단 라인을 참조화소로 선택할 경우, 상단 좌측과 우측 참조블록 모두 연산량을 줄이기 위해 Top 필드의 하단 라인을 참조화소로 선택하며, 반대로 Bottom 필드의 하단 라인을 참조할 경우 상단 좌측과 우측도 Bottom 필드의 하단 라인을 참조함을 특징으로 한다.If both the current block and the top reference block immediately above the current block are in field mode, and the top left or top right reference block is also configured in the field mode with the same block mode as the top reference block, the top block and the bottom block refer to the top field and bottom. When the bottom line of the Top field is selected as the reference pixel by dividing the field, both the top left and right reference blocks select the bottom line of the Top field as the reference pixel to reduce the amount of computation. The left and right sides also refer to the bottom line of the Bottom field.
현재블록이 필드모드이고 현재블록의 바로 위 상단 참조블럭이 프레임모드이고, 상단좌측이나 상단 우측 참조블록 중 임의의 한 블록이라도 상단 참조블록과 다른 블록모드인 필드모드로 구성될 경우, 상단 참조블록과 같은 블록모드를 갖는 참조블록은 참조블록의 하단 라인을 참조화소로 선택하고, 다른 참조블록모드를 갖는 참조블록은 참조블록을 Top 필드와 bottom 필드로 나누어 가장 최적의 참조화소를 결정하게 함을 특징으로 한다.If the current block is in field mode and the upper reference block immediately above the current block is in frame mode, and any one of the upper left and upper right reference blocks is configured in the field mode in which the block is different from the upper reference block, the upper reference block A reference block with a block mode such as, selects the bottom line of the reference block as a reference pixel, and a reference block with another reference block mode divides the reference block into a top field and a bottom field to determine the most optimal reference pixel. It features.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 의한, 비월주사시 필드영상 해상도 가변 방법은 비월주사로 만들어진 형상정보를 제한된 전송로나 저장매체를 위해 영상블록을 순차주사로 만들어진 형상정보의 해상도를 가변하는 방법과는 달리 필드블록으로 분류한 영상블록을 각각을 하나의 독립된 필드 영상블록 단위로 구성해 각기 해상도를 가변시키므로써 복호화기에서 복원된 영상의 화질열화를 줄여주는 것을 특징으로 한다.According to the present invention for solving the above technical problem, the method for changing the interlaced field image resolution is to change the resolution of the shape information made by sequential scanning of the image block for the transmission path or storage medium limited shape information made by interlaced scanning Unlike the method, the image blocks classified into field blocks are configured in units of one independent field image block, and the resolution is varied, thereby reducing image quality deterioration of the image reconstructed by the decoder.
이하에서 첨부된 도면을 참조하여 본 발명의 바람직한 일실시예를 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 주어진 화상으로 부터의 해상도 변화의 과정을 나타내는 블록도이다. 도 1에 도시된 바와 같이, 임의의 M x N 크기를 갖는 블록(1a)에 대해 이를 수평과수직으로 일정 비율 축소하여 M/P x N/Q 크기로 줄여진 블럭(2a)으로 축소(sub-sampling)한다. 그리고 나서 이를 압축하거나 다른 목적으로 처리(3a)하여 저장하거나 다른 곳으로 전송한 후 이 신호를 다시 재현하게 되면, 그 크기는 M/P x N/Q가 되는데, 원래의 해상도로 재현하기 위해서는 M x N 크기로 늘려야 한다. 이러한 과정을 화소보간(image interpolation)이라 한다. 이때 도 3의 예에서 보는 것처럼 8 x 8의 블럭(그림에서 4각형 격자)에 대해 축소처리를 하여 4 x 4로 블럭(9)으로 만든다. 여기서 고려할 사항은 도 2에 도시한 것 처럼 비월주사 방식에 있어서는 M x N/2 크기의 각 필드 영상블록별로 축소처리방법을 적용해 해상도를 변화시켜야 한다는 것이다. 이 때 둥근 원형으로 구성되는 4 x 4블럭의 각 화소(P)들은 8 x 8의 주변화소(A,B,C,D)들의 조합에 의해 만들어 지는데 통상적인 방법은 이 네 화소들의 평균값을 P값으로 대치하는 방법을 사용하고 있다. 이 때 보간에 사용되는 화소들이 블럭의 내부일 경우에는 문제가 발생하지 않지만, 블럭(10)에서 검게 표시된 것처럼 외부 화소들의 보간에는 인접한 좌측블럭의 최우측 화소들(11)과 상단블럭의 아래쪽 화소들(12,13,14)을 참조하여 보간을 행해야만 한다. 따라서 화소보간에서는 도 3에 도시한 것 처럼 총 4개의 참조블록(11,12,13,14)이 사용된다.1 is a block diagram illustrating a process of resolution change from a given image. As shown in Fig. 1, for a block 1a having an arbitrary M x N size, it is reduced by a certain ratio horizontally and vertically to a block 2a reduced to an M / P x N / Q size (sub -sampling) If you then compress it, process it for another purpose (3a), store it, or send it somewhere else, then reproduce this signal again, the size is M / P x N / Q. You must increase it to size x N. This process is called image interpolation. At this time, as shown in the example of FIG. 3, the block 9 is reduced to 4 x 4 by reducing the 8 x 8 block (the square grid in the figure). In the interlaced scanning method as shown in FIG. 2, the resolution must be changed by applying a reduction processing method for each field image block of M × N / 2 size. In this case, each pixel P of 4 x 4 blocks composed of rounded circles is formed by a combination of 8 x 8 peripheral pixels A, B, C, and D. The conventional method uses the average of these four pixels as P. We are using a substitution method by value. In this case, no problem occurs when the pixels used for interpolation are inside the block, but as shown in black in block 10, the rightmost pixels 11 of the adjacent left block and the bottom pixel of the upper block are interpolated in the interpolation of the external pixels. The interpolation must be performed with reference to the fields 12, 13 and 14. Therefore, a total of four reference blocks 11, 12, 13, and 14 are used in pixel interpolation as shown in FIG.
한편, 도 4에 도시된 바와같이 현재 블록(20)으로부터 경계부분의 화소보간을 위해서는 좌측블록(21)의 가장 오른쪽에 있는 몇 개의 라인(22)과 상단블록(23)의 가장 아래쪽에 있는 몇 개의 라인(24)들, 그리고 상단 좌측블록(24a)과 상단 우측블록(24b)을 참조블록으로 사용하게 되는데, 이들을 각각 Left_border(Lb,31),Top_border(Tb,32), Right_border(Rb, 33), Bottom_border(Bb, 34)라고 정의한다. 여기서 Right_border(Rb, 33)는 현재블럭인 CurMB(30)의 가장 우측라인을 반복해서 복사하여 만든다. Bottom_boder(34)는 CurMB(30)의 가장 아래 라인을 반복해서 복사하여 만들어 사용한다. 또한 Top_border(32)는 k x k 화소크기로 구성된 상단좌측블록(24a)와 상단 우측블록(24b)를 포함하고 있다. 이렇게 만들어지는 참조화소들은 현재 블럭(30)이 순차주사인 경우와 비월주사인 경우에 따라 그에 적절한 인접블럭들을 선택하여 가장 알맞은 화소들로부터 구성되게 된다.On the other hand, as shown in Figure 4 for the pixel interpolation of the boundary portion from the current block 20, several lines 22 at the rightmost side of the left block 21 and some at the bottom of the upper block 23 Lines 24 and the upper left block 24a and the upper right block 24b are used as reference blocks, which are Left_border (Lb, 31), Top_border (Tb, 32) and Right_border (Rb, 33). ), Bottom_border (Bb, 34). Here, Right_border (Rb, 33) is made by repeatedly copying the rightmost line of CurMB (30) which is the current block. Bottom_boder (34) is used by repeatedly copying the bottom line of CurMB (30). In addition, Top_border 32 includes an upper left block 24a and an upper right block 24b composed of k × k pixel sizes. The reference pixels thus made are composed of the most suitable pixels by selecting appropriate adjacent blocks according to the case where the current block 30 is a sequential scan and an interlaced scan.
도 5 내지 도 8을 참조하여 본 발명의 동작원리를 설명한다. 도 5에 도시된 것처럼 선택된 현재 블록의 크기가 8 x 8 이라고 할 때, 위에서부터 순차적으로 8라인을 스캔(scan)하여 처리하는 순차주사 블럭(40)은 전체를 하나의 블럭으로 처리할 수 있다. 그리고 하나씩 건너서 스캔하여 얻어지는 비월주사 블럭(41)은 블럭의 조건에 따라, 하나로 처리하는 프레임모드(Frame mode)와, Top_field(Tf, 42)및 Bottom_field (Bf, 43)의 둘로 나누어 처리하는 필드모드(field mode)를 선택하게 된다.The operation principle of the present invention will be described with reference to FIGS. When the size of the selected current block is 8 × 8 as shown in FIG. 5, the sequential scan block 40, which sequentially processes 8 lines from above, may process the whole as one block. . The interlaced scanning block 41 obtained by scanning one by one is divided into two modes, a frame mode for processing as one and a field mode for processing into Top_field (Tf, 42) and Bottom_field (Bf, 43) according to the condition of the block. (field mode) is selected.
필드모드일 경우, 각각의 Tf(42)와 Bf(43)는 그들에 맞는 Lb(44, 47)와 Tb(45, 48)를 선택하며, 46a와 46b는 45에서 선택된 형태와 동일한 형태로, 49a와 49b는 48에서 선택된 형태로 동일한 형태로 선택되어진다. 단, 이와같은 선택은 46a와 46b의 블록모드 각각이 45와 같은 모드일 경우에만 한하며, 서로 모드가 다를 경우엔 각 블록모드에 맞는 참조화소를 선택할 수 있게 한다.In field mode, each Tf 42 and Bf 43 selects the Lb 44, 47 and Tb 45, 48 that are appropriate for them, and 46a and 46b are the same as the selected form in 45, 49a and 49b are selected in the same form as selected in 48. However, this selection is limited to the case where the block modes of 46a and 46b are the same as the mode of 45, respectively, and when the modes are different from each other, a reference pixel suitable for each block mode can be selected.
모든 경우에 Rb(33)와 Bb(34)는 똑같은 형태로 만들어져서 사용되기 때문에본 발명의 요소에는 포함되지 않는다. 본 발명은 Lb(31)와 Tb(32)의 선정 방법만을 핵심요소로 한다. 순차주사 방식인 경우는 도 4에서 보는 것처럼 CurMB의 좌측블럭 맨 오른쪽 부분(31)과 상단블럭의 아래부분(32)을 참조화소로 선택하고, CurMB의 맨 우측과 아래측을 복사하여 참조화소(33, 34)를 만들어낸다. 이것은 이미 MPEG-4에서 화소보간을 할 경우에 사용하고 있는 방법이다.In all cases, Rb 33 and Bb 34 are not included in the elements of the present invention because they are made and used in the same form. In the present invention, only the method for selecting Lb 31 and Tb 32 is a key element. In the case of the sequential scanning method, as shown in Fig. 4, the rightmost part 31 of the left side block of CurMB and the bottom part 32 of the top block are selected as reference pixels, and the rightmost and bottom side of CurMB are copied to the reference pixel ( 33, 34). This is the method already used for pixel interpolation in MPEG-4.
비월주사인 경우에는 네 가지로 나누어 볼 수 있다. 첫째는 현재블럭이 프레임 모드이고 상단블록이 프레임모드일때, 둘째는 현재블럭이 프레임모드이고 상단블럭이 필드모드일 때, 셋째는 현재블럭이 필드모드이고 상단 블럭이 프레임모드일 때, 그리고 넷째는 현재블록이 필드모드이고 상단블록이 필드모드일 때로 나눌 수 있다. 먼저 도 6에 도시된 바와 같이 현재블럭(51)이 프레임 모드일 때, Lb(52)는 모든 경우에 동일하게 좌측블럭의 맨 오른쪽에 있는 K개의 열(column) 라인을 참조화소로 선택한다. Tb는 그 형태에 따라 상단블럭이 프레임 모드로 처리 되었으면 Tb(53)도 상단블럭의 가장 아래부분의 K개 라인을 선택한다. 그런데 만약 상단블럭이 필드모드로 처리되었을 경우에는 현재블럭의 상단 K개 행(row) 라인과 상단블록 Tf의 하단 K개 행 라인간 차이의 절대치의 합(SUM(Tf))을 구하고, 마찬가지로 현재블럭의 상단 K개 행 라인과 상단블록 Bf의 하단 K개 행 라인을 차이의 절대치의 합(SUM(Bf))을 구하여, SUM(Tf)가 SUM(Bf)보다 적을 경우에는 상단 블럭의 Tf의 하단 K개 행 라인을 선택하여 이를 참조번호 55가 가리키는 곳에 복사하고, 그 반대의 경우 즉 SUM(Bf)가 SUM(Tf)보다 적을 경우에는 상단 블럭의 Bf의 하단 K개 행 라인을 선택하고, 이를 참조번호 55가 가리키는 곳에 복사하고, 상기선택된 것을 참조번호 57이 가리키는 곳에 복사하는 방식을 취한다.In case of interlaced injection, it can be divided into four types. The first is when the current block is in frame mode and the top block is in frame mode. The second is when the current block is in frame mode and the top block is in field mode. The third is when the current block is in field mode and the top block is in frame mode. It can be divided when the current block is in field mode and the top block is in field mode. First, as shown in FIG. 6, when the current block 51 is in the frame mode, the Lb 52 selects the K column lines at the far right of the left block as reference pixels in all cases. Tb selects the K lines at the bottom of the top block if the top block is processed in frame mode according to its shape. However, if the upper block is processed in field mode, the sum (SUM (Tf)) of the difference between the upper K row lines of the current block and the lower K row lines of the upper block Tf is obtained. The sum of the absolute value of the difference (SUM (Bf)) is obtained from the upper K row lines of the block and the lower K row lines of the upper block Bf. When SUM (Tf) is less than SUM (Bf), the Tf of the upper block is calculated. Select the bottom K row lines and copy them where indicated by 55, and vice versa, if SUM (Bf) is less than SUM (Tf), select the bottom K row lines of Bf in the top block, Copy this to the place indicated by reference numeral 55, and copy the selected one to the place indicated by reference numeral 57.
아울러, 현재블록의 좌측 상단 참조화소 블록인 (56a, 56b)와 (58a, 58b)은 상단블록(53)의 블록모드를 기준으로 상단좌측블록(54a)의 블록모드, 상단우측블록(54b)의 블록모드에 따라 참조화소 선택방법을 달리한다. 예를 들어, 54a와 53의 블록모드가 모두 필드모드로 같은 경우는 연산량을 줄이기 위해 56a 참조블록에는 55에서 참조한 필드와 같은 필드로 54a에서 보간화소를 참조하도록 구성하며, 54a가 필드모드이고 53은 프레임모드일 경우와 같이 블록모드가 서로 다를 경우는 55에서 참조하는 형태와는 독립적으로 상기에서 정의된 필드모드에서 참조화소를 결정하는 방법을 54a에 적용해 선택된 필드의 화소를 56a에 복사하는 형태의 선택방법을 수행한다.In addition, the upper left reference pixel blocks 56a, 56b and 58a, 58b of the current block are the block mode of the upper left block 54a and the upper right block 54b based on the block mode of the upper block 53. The reference pixel selection method is different depending on the block mode of. For example, if the block modes of 54a and 53 are the same as the field mode, in order to reduce the amount of computation, the 56a reference block is configured to refer to the interpolation pixel at 54a with the same field as the field referenced at 55, and 54a is the field mode. When the block modes are different from each other, such as in the case of the frame mode, the method of determining the reference pixel in the field mode defined above is applied to 54a to copy pixels of the selected field to 56a independently of the form referred to in 55. Perform the form selection method.
다음으로 현재블럭이 필드모드 (61)과 (62)처럼 구성된 필드모드이고, 상단부의 블록이 프레임 모드(65)일 경우이다. 이 경우에는 도 7에 도시된 것처럼 상단블록(65)의 맨 아래쪽 K 개의 라인을 선택해서 이것을 Tb(66)로 두게되며 상단좌측블록(67a)과 상단 우측블록(67b)는 상기에 정의된 방법에 따라 구성한다. 이때 좌측블럭의 상태에 따라 Lb를 특별히 선택하여야 하는데, 좌측블럭이 프레임 모드이면 좌측블럭의 맨 오른쪽 K개 라인을 취해서 현재 블럭의 Tf(61)를 위한 Lb로는 K개 라인의 상단에서 반(63)을 취하고, Bf(62)를 위한 Lb로는 나머지 하단의 반(64)을 취한다. 마찬가지로 좌측블럭이 필드 모드이면 현재 블럭의 Tf(61)를 위한 Lb로는 좌측 블럭의 Tf에서 맨 오른쪽 K/2개의 라인을 취하고(68), 현재 블럭의 Bf(62)를 위한 Lb로는 좌측 블럭의 Bf에서 맨 오른쪽 K/2개의 라인을 취한다(69).Next, the current block is a field mode configured like the field modes 61 and 62, and the block at the upper end is the frame mode 65. In this case, as shown in Fig. 7, the bottom K lines of the upper block 65 are selected and placed as Tb 66, and the upper left block 67a and the upper right block 67b are defined above. Configure according to. At this time, Lb should be specially selected according to the state of the left block. If the left block is in frame mode, the rightmost K lines of the left block are taken, and Lb for the Tf 61 of the current block is half (63) from the top of the K lines. ), And take the lower half (64) as Lb for Bf (62). Similarly, if the left block is in field mode, the rightmost K / 2 lines are taken from Tf of the left block as Tb of the current block (68), and Lb for Bf (62) of the current block is taken from the left block. Take the rightmost K / 2 lines in Bf (69).
세번째는 도 8에 도시된 것처럼 현재블럭(70)과 상단블럭(75)이 모두 필드 모드일 경우로 이때에도 Lb는 두번째 경우와 동일하게 처리한다. 다만 Tb는 상황에 따라서 6가지의 경우로 나누어 처리된다. 먼저 현재 블럭의 Top field(71, Tf)를 처리하기 위해서는 Tf(71)의 윗부분 K개의 라인과 상단블럭의 Tf(76)의 아래쪽 K개 라인과의 차이의 절대치의 합(SUM(Tf))을 구하고, 마찬가지로 Tf(71)의 윗부분 K개의 라인과 상단블럭의 Bf(77)의 하단 K개라인을 차이의 절대치의 합(SUM(Bf))을 구하여 SUM(Tf)가 SUM(Bf)보다 적을 경우에는 도 8의 (b)와 같이 상단 블록의 Tf(76)의 하단 K개 라인을 선택하고(78) 상단좌측(80a) 및 우측(80b) 블록은 79a 블록이 75블록과 같은 블록모드인가를 판단해 상기의 방법으로 처리하고, 80b 블록도 마찬가지 방법으로 처리한다.Thirdly, as shown in FIG. 8, both the current block 70 and the upper block 75 are in the field mode, and Lb is processed in the same manner as in the second case. However, Tb is divided into six cases depending on the situation. First, in order to process the top field (71, Tf) of the current block, the sum of the absolute values of the difference between the upper K lines of the Tf 71 and the lower K lines of the Tf 76 of the upper block (SUM (Tf)). Similarly, the sum of the upper K lines of the Tf (71) and the lower K lines of the Bf (77) of the upper block (SUM (Bf)) is obtained, and SUM (Tf) is greater than the SUM (Bf). If it is small, as shown in (b) of FIG. 8, the lower K lines of the Tf 76 of the upper block are selected (78), and the upper left 80a and right 80b blocks have a block mode in which 79a blocks are 75 blocks. The authorization is determined and processed in the above manner, and the 80b block is also processed in the same manner.
그 반대의 경우에는 Bf(77)의 하단 K 개의 라인을 선택한 80 블록을 정의하고, 81a와 81b 블록을 마찬가지 방법으로 메우는 방식을 취한다. 또한 현재 블록의 Bottom field (72,Bf)를 처리하기 위해서는 도 8의(c)와 같이 Bf(72)의 윗부분 K개의 라인과 상단블록의 Tf(76)의 아래쪽 K개 라인과의 차이의 절대치의 합(SUM(Tf))을 구하고 마찬가지로 Bf(72)의 윗부분 K개의 라인과 상단블록의 Bf(77)의 하단 K개 라인의 차이의 절대치 합(SUM(Bf))을 구하며, 현재 블록의 Tf(71)의 윗쪽 K 개의 라인과 현재블록의 Bf(72)의 윗쪽 K개 라인의 차이의 절대치의 합(SUM(CUR))을 구해서 이중에 가장 최소값을 갖는 필드의 아래 혹은 윗쪽 K개 라인을 취한다.In the opposite case, the 80 blocks in which the lower K lines of the Bf 77 are selected are defined, and the 81a and 81b blocks are filled in the same manner. In addition, in order to process the bottom field (72, Bf) of the current block, as shown in (c) of FIG. 8, the absolute value of the difference between the upper K lines of the Bf 72 and the lower K lines of the Tf 76 of the upper block. The sum (SUM (Tf)) is calculated, and the absolute value sum (SUM (Bf)) of the difference between the upper K lines of Bf (72) and the lower K lines of Bf (77) of the upper block is obtained. Calculate the sum (SUM (CUR)) of the difference between the upper K lines of Tf (71) and the upper K lines of Bf (72) of the current block, and the lower or upper K lines of the field with the lowest minimum among them. Take
즉, SUM(Tf)가 최소이면 상단 블럭의 Tf(76)의 하단 K개 라인을선택하고(78), SUM(Bf)가 최소이면 Bf(77)의 하단 K개 라인을 선택하여(80) 메우는 방식을 취하며, SUM(CUR)이 최소이면 현재블럭의 Tf(71)의 상단 K개 라인을 선택하는(82) 방식을 취하게 된다.That is, if SUM (Tf) is minimum, the bottom K lines of Tf 76 of the upper block are selected (78). If SUM (Bf) is minimum, the bottom K lines of Bf 77 are selected (80). If the SUM (CUR) is the minimum, the top K lines of the Tf 71 of the current block are selected (82).
이 때 상기한 것에서 언급한 차이의 절대치의 합으로 표시되는 SUM(K)은 도 9에서 보여주는 것처럼 현재블럭의 K개 라인(91)과 참조화소를 선택하기 위한 블럭의 K개 라인(92)에 대한 차이값의 절대치의 합으로 다음과 같은 방법으로 구한다.At this time, SUM (K), which is expressed as the sum of the absolute values of the differences mentioned in the above, is shown in K lines 91 of the current block and K lines 92 of the block for selecting the reference pixel as shown in FIG. The sum of the absolute values of the difference values is obtained by the following method.
여기서, N은 주어진 블럭의 수평방향으로의 화소의 개수를 의미한다.Here, N means the number of pixels in the horizontal direction of a given block.
한편 비월주사시 필드영상 해상도 가변 방법은 비월주사로 만들어진 형상정보를 제한된 전송로나 저장매체를 위해, 영상블록을 순차주사로 만들어진 형상정보의 해상도를 가변하는 방법과는 달리 도 2에 도시된 바와 같이 필드블록으로 분류한 영상블록을 각각을 하나의 독립된 필드 영상블록 단위로 구성한다. 그리고 나서 독립된 필드영상블록단위에 대해 각기 해상도를 가변시킨다. 이렇게 하므로써 복호화기에서 복원된 영상의 화질열화를 줄이게 된다.On the other hand, the method of changing the interlaced field image resolution is different from the method of varying the resolution of the shape information formed by sequential scanning of an image block for a limited transmission path or storage medium. Each video block classified into field blocks is configured as one independent field video block unit. Then, the resolution is changed for each independent field image block unit. This reduces the deterioration of the image quality of the image reconstructed by the decoder.
본 발명에 의하면, 형상정보의 해상도를 가변하여(예를들면, 저해상도로 변환하여) 필요한 처리를 수행한 후 원래의 해상도로 복원하기 위해서는 화소보간 방법을 사용하게 되는데 이때 입력화상의 형태에 따라 경계화소를 보간할 경우에 참조하는 주변화소를 그에 맞도록 해 줌으로써 보다 왜곡이 적은 형상정보를 재현할수 있는 장점을 제공해 준다. 이로써, 동일한 비트량을 이용하여 형상정보를 묘사할 경우에 보다 좋은 화질을 재형함으로써 압축의 효율을 높일 수 있게 된다.According to the present invention, the pixel interpolation method is used to restore the original resolution after performing the necessary processing by varying the resolution of the shape information (for example, by converting it to a low resolution). When interpolating pixels, the peripheral pixels referred to are matched to provide the advantage of reproducing shape information with less distortion. As a result, when the shape information is described using the same bit amount, it is possible to improve the compression efficiency by reforming a better image quality.
그리고 도 2에 도시한 것처럼 비월주사시 순차주사때와는 달리 영상 블록의 해상도를 가변시키므로써 두 개의 필드간(top_field와 bottom field) 경계 위치에서의 화질 열화발생을 줄여 화질 향상을 꾀할 수 있는 장점이 있다.Unlike the sequential scanning during interlaced scanning, as shown in FIG. 2, the resolution of the image block is varied so that the image quality can be improved by reducing the deterioration of image quality at the boundary position between the two fields (top_field and bottom field). There is this.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019980002408AKR100355374B1 (en) | 1998-01-26 | 1998-01-26 | Reference block selection method in image interpolation and down-sampling method for shape information |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019980002408AKR100355374B1 (en) | 1998-01-26 | 1998-01-26 | Reference block selection method in image interpolation and down-sampling method for shape information |
| Publication Number | Publication Date |
|---|---|
| KR19990066469A KR19990066469A (en) | 1999-08-16 |
| KR100355374B1true KR100355374B1 (en) | 2002-11-18 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019980002408AExpired - Fee RelatedKR100355374B1 (en) | 1998-01-26 | 1998-01-26 | Reference block selection method in image interpolation and down-sampling method for shape information |
| Country | Link |
|---|---|
| KR (1) | KR100355374B1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100347013B1 (en)* | 2000-02-16 | 2002-08-03 | 한국과학기술원 | An image scaling method and scaler using the continuous domain filtering and interpolation methods |
| KR100463551B1 (en)* | 2003-01-16 | 2004-12-29 | 엘지전자 주식회사 | System for scaling digital image |
| KR100657919B1 (en)* | 2004-12-13 | 2006-12-14 | 삼성전자주식회사 | Spatial prediction device and method for image data, encoding device and method using same, Spatial prediction compensation device and method for image data, and decoding device and method using same |
| KR100745765B1 (en)* | 2006-04-13 | 2007-08-02 | 삼성전자주식회사 | Spatial prediction device and method for image data, encoding device and method using same, Spatial prediction compensation device and method for image data, and decoding device and method using same |
| KR101228020B1 (en)* | 2007-12-05 | 2013-01-30 | 삼성전자주식회사 | Video coding method and apparatus using side matching, and video decoding method and appartus thereof |
| WO2011021912A2 (en)* | 2009-08-21 | 2011-02-24 | 에스케이텔레콤 주식회사 | Method and apparatus for interpolating reference picture and method and apparatus for encoding/decoding image using same |
| KR101678968B1 (en) | 2009-08-21 | 2016-11-25 | 에스케이텔레콤 주식회사 | Reference Picture Interpolation Method and Apparatus and Video Coding Method and Apparatus Using Same |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR970019652A (en)* | 1995-09-08 | 1997-04-30 | 이데이 노브유끼 | Interpolation Method of Pixel Using Correlation of Wide Vector and Its Apparatus |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR970019652A (en)* | 1995-09-08 | 1997-04-30 | 이데이 노브유끼 | Interpolation Method of Pixel Using Correlation of Wide Vector and Its Apparatus |
| Publication number | Publication date |
|---|---|
| KR19990066469A (en) | 1999-08-16 |
| Publication | Publication Date | Title |
|---|---|---|
| KR100283343B1 (en) | Image signal encoding method and decoding method, image signal encoding apparatus and decoding apparatus | |
| US6157676A (en) | Digital video signal inter-block interpolative predictive encoding/decoding apparatus and method providing high efficiency of encoding | |
| KR101033398B1 (en) | Macroblock Level Adaptive Frame / Field Coding for Digital Video Content | |
| KR100286443B1 (en) | Picture coding apparatus and picture decoding apparatus | |
| US6356589B1 (en) | Sharing reference data between multiple encoders parallel encoding a sequence of video frames | |
| KR950011200B1 (en) | Compression device for interlaced video signal | |
| US20060233259A1 (en) | Switching decode resolution during video decoding | |
| JP4126709B2 (en) | Image processing apparatus and image processing method | |
| US5134478A (en) | Method and apparatus for compressing and decompressing a digital video signal using predicted and error images | |
| US5561532A (en) | Image reproducing apparatus | |
| US20070047651A1 (en) | Video prediction apparatus and method for multi-format codec and video encoding/decoding apparatus and method using the video prediction apparatus and method | |
| EP1442603A1 (en) | Spatial scalable compression scheme using spatial sharpness enhancement techniques | |
| KR100260475B1 (en) | Image data encoding method and apparatus, image data decoding method and apparatus and image recording medium | |
| US4951157A (en) | Symmetrical image block scanning method for reducing block effect | |
| US20060233252A1 (en) | Reduced resolution video decode | |
| KR100355374B1 (en) | Reference block selection method in image interpolation and down-sampling method for shape information | |
| EP0890921A2 (en) | Interpolation method for binary image | |
| US6018601A (en) | Interpolation method for binary image | |
| EP1021043A2 (en) | Object-based coding and decoding apparatuses and methods for image signals | |
| JP3120010B2 (en) | Image decoding method and image decoding device | |
| NL1008938C2 (en) | Scan interleaving method. | |
| US7426311B1 (en) | Object-based coding and decoding apparatuses and methods for image signals | |
| JP3924052B2 (en) | Binary shape signal restoration method | |
| US6553149B1 (en) | Shape information coding and decoding apparatus for adaptively bordering and method therefor | |
| JP2894334B2 (en) | Image signal error correction circuit |
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | St.27 status event code:A-0-1-A10-A12-nap-PA0109 | |
| R17-X000 | Change to representative recorded | St.27 status event code:A-3-3-R10-R17-oth-X000 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-3-3-R10-R18-oth-X000 | |
| P11-X000 | Amendment of application requested | St.27 status event code:A-2-2-P10-P11-nap-X000 | |
| P13-X000 | Application amended | St.27 status event code:A-2-2-P10-P13-nap-X000 | |
| PN2301 | Change of applicant | St.27 status event code:A-3-3-R10-R13-asn-PN2301 St.27 status event code:A-3-3-R10-R11-asn-PN2301 | |
| PG1501 | Laying open of application | St.27 status event code:A-1-1-Q10-Q12-nap-PG1501 | |
| PN2301 | Change of applicant | St.27 status event code:A-3-3-R10-R13-asn-PN2301 St.27 status event code:A-3-3-R10-R11-asn-PN2301 | |
| A201 | Request for examination | ||
| PA0201 | Request for examination | St.27 status event code:A-1-2-D10-D11-exm-PA0201 | |
| R17-X000 | Change to representative recorded | St.27 status event code:A-3-3-R10-R17-oth-X000 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-3-3-R10-R18-oth-X000 | |
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection | St.27 status event code:A-1-2-D10-D21-exm-PE0902 | |
| P11-X000 | Amendment of application requested | St.27 status event code:A-2-2-P10-P11-nap-X000 | |
| P13-X000 | Application amended | St.27 status event code:A-2-2-P10-P13-nap-X000 | |
| PN2301 | Change of applicant | St.27 status event code:A-3-3-R10-R13-asn-PN2301 St.27 status event code:A-3-3-R10-R11-asn-PN2301 | |
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration | St.27 status event code:A-1-2-D10-D22-exm-PE0701 | |
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment | St.27 status event code:A-2-4-F10-F11-exm-PR0701 | |
| PR1002 | Payment of registration fee | St.27 status event code:A-2-2-U10-U11-oth-PR1002 Fee payment year number:1 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-5-5-R10-R18-oth-X000 | |
| PG1601 | Publication of registration | St.27 status event code:A-4-4-Q10-Q13-nap-PG1601 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-5-5-R10-R18-oth-X000 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-5-5-R10-R18-oth-X000 | |
| PR1001 | Payment of annual fee | St.27 status event code:A-4-4-U10-U11-oth-PR1001 Fee payment year number:4 | |
| PN2301 | Change of applicant | St.27 status event code:A-5-5-R10-R13-asn-PN2301 St.27 status event code:A-5-5-R10-R11-asn-PN2301 | |
| PN2301 | Change of applicant | St.27 status event code:A-5-5-R10-R13-asn-PN2301 St.27 status event code:A-5-5-R10-R11-asn-PN2301 | |
| PR1001 | Payment of annual fee | St.27 status event code:A-4-4-U10-U11-oth-PR1001 Fee payment year number:5 | |
| PR1001 | Payment of annual fee | St.27 status event code:A-4-4-U10-U11-oth-PR1001 Fee payment year number:6 | |
| FPAY | Annual fee payment | Payment date:20080829 Year of fee payment:7 | |
| PR1001 | Payment of annual fee | St.27 status event code:A-4-4-U10-U11-oth-PR1001 Fee payment year number:7 | |
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee | St.27 status event code:A-4-4-U10-U13-oth-PC1903 Not in force date:20090924 Payment event data comment text:Termination Category : DEFAULT_OF_REGISTRATION_FEE | |
| PC1903 | Unpaid annual fee | St.27 status event code:N-4-6-H10-H13-oth-PC1903 Ip right cessation event data comment text:Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date:20090924 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-5-5-R10-R18-oth-X000 | |
| P22-X000 | Classification modified | St.27 status event code:A-4-4-P10-P22-nap-X000 |