본 발명은 멀티미디어 객체의 검색을 위한 메타 데이터를 생성하고 이를 이용하여 멀티미디어 객체를 검색하는 방법에 관한 것이다.The present invention relates to a method for generating metadata for retrieving a multimedia object and using the same to retrieve the multimedia object.
멀티미디어 객체 검색 기능의 가장 기본적이고 많이 사용되는 것은 텍스트(text)를 이용한 검색이다. 키워드 등의 텍스트 정보가 각 객체에 부여되어 있고, 검색 시 사용자가 키워드를 입력하면 해당 키워드가 포함된 객체들을 검색하는 것이다.The most basic and popular use of the multimedia object search function is text search. Text information such as keywords is assigned to each object, and when a user inputs a keyword in a search, objects including the corresponding keyword are searched.
이러한 텍스트 기반의 검색은 여러 가지 제한점이 있다. 그 중 하나는 텍스트로는 같은 내용을 다양하게 표현할 수 있기 때문에 사용자마다 조금씩 다른 표현으로 텍스트 질의를 할 경우 원하는 객체가 있더라도 정확하게 검색되지 않을 수 있다는 점이다. 이러한 점을 해결하려면 각 객체는 다양한 표현의 텍스트 정보를 포함하고 있어야 하는데 텍스트 정보는 일반적으로 사람이 수동으로 입력하기 때문에 다양한 텍스트 정보를 모두 입력하기란 쉽지 않다. 이러한 문제점을 해결하고자 비슷한 키워드 간의 연결 정보가 있는 테이블을 포함하고 그 연결의 가중치를 학습하게 함으로써 같은 의미의 서로 다른 표현을 연결하려는 시도를 하였다. 비슷한 방법으로 현재 많은 키워드 검색 엔진에서는 유사어 테이블을 포함하여 위와 같은 문제를 조금이라도 해결하려는 시도를 하고 있다.This text-based search has several limitations. One of them is that text can express the same contents in various ways, so if a user queries a text with a slightly different expression for each user, the desired object may not be searched correctly. In order to solve this problem, each object must contain various kinds of text information. Since text information is generally entered manually by a human, it is not easy to input all the various text information. In order to solve this problem, an attempt was made to link different expressions of the same meaning by including a table with connection information between similar keywords and learning the weight of the connection. In a similar way, many keyword search engines are currently attempting to solve some of these problems, including tables of similar words.
이러한 노력에도 불구하고 텍스트 기반의 검색 기술은 정보 자체의 한계점으로 인하여 내용 기반 검색을 통해 그 한계를 극복하고자 하는 연구가 많이 이루어지고 있다.Despite these efforts, text-based retrieval technology has been studied to overcome the limitation through content-based retrieval due to the limitation of information itself.
내용 기반 멀티미디어 검색이란 키워드와 같은 텍스트 정보 이외에, 칼라(color), 텍스쳐(texture)와 같은 내용상에 표현되는 정보를 사용한 검색을 의미한다. 이러한 기술은 최근 들어 키워드 검색의 제한성을 극복하고 사람에게 자연스런 검색 방법을 제공한다는 측면에서 매우 중요시 되고 많은 연구가 보고되고 있다.Content-based multimedia search refers to a search using information expressed on content such as color and texture, in addition to text information such as keywords. Recently, these techniques are very important in terms of overcoming the limitations of keyword search and providing a natural search method to humans, and many studies have been reported.
특히, 이미지 검색은 인터넷 사용이 증가하면서 매우 중요해졌으며 특히 디지털 라이브러리 등에서 매우 유용하게 사용되고 있다. 내용 기반 이미지 검색이란 칼라나 텍스쳐 등과 같은 이미지 특성 정보를 분석하여 사람의 눈으로 봤을 때 비슷한 이미지들을 찾아 주는 것을 의미하는 것으로서 보다 좋은 성능을 위해 다양한 특징 정보들이 연구 보고되고 있다.In particular, image retrieval has become very important as the use of the Internet increases, and is particularly useful in digital libraries. Content-based image retrieval means the analysis of image feature information such as color and texture to find similar images when viewed with human eyes. Various feature information has been researched and reported for better performance.
대부분 이러한 이미지 검색엔진들은 상기 기술한 것과 같이 칼라, 텍스쳐, 모양 정보 등을 사용한다. 각 정보를 표현하는 방법은 다양한데, 예를 들어 칼라의 경우 전체 칼라 분포를 나타내는 칼라 히스토그램이나, 주로 나타나는 칼라를 대표적으로 표현하는 대표 칼라, 각 부분 영역별로 대표 칼라를 표현하는 칼라 레이아웃 등이 칼라를 표현하는 정보로서 사용될 수 있다.Most of these image search engines use color, texture, shape information and the like as described above. There are various ways of expressing each information. For example, a color histogram representing the overall color distribution, a representative color representatively representing a color that appears mainly, and a color layout representing a representative color for each subregion are represented. Can be used as information to express.
이러한 정보는 바로 검색 성능과 관련되는 것으로서 대부분 연구들은 검색 결과를 높게 하기 위한 특징 기술 정보(description)의 개발에 많은 노력을 기울이고 있다. 검색을 위해서는 각 이미지가 포함하고 있는 특징 기술 정보를 서로 비교하여 유사한 이미지를 결과로 지정함으로써 이루어진다. 이러한 특징 기술 정보는 사전에 추출되어 저장되며, 비교시 보다 빠른 검색을 위하여 인덱스 정보를 구성하여 가지고 있다. 이와 같이 내용 기반 검색에 사용되는 특징 기술 정보는 텍스트가 표현하지 못하는 시각적인 면을 해결하고 있으나 정확성이 높지 못하고 초기 적절한 질의를 선택하기 어렵다는 문제가 있다. 때문에 경우에 따라서는 텍스트를 이용한 검색을 더 선호하기도 한다This information is directly related to the search performance, and most of the studies are focused on the development of feature description to improve the search results. The search is performed by comparing the feature description information included in each image with each other and specifying similar images as a result. Such feature description information is extracted and stored in advance, and has index information for faster searching. As described above, the feature description information used for the content-based retrieval solves a visual aspect that text cannot express, but has a problem that it is difficult to select an appropriate query at an early stage. In some cases, textual search is preferred.
질의 방법에는 예(example)에 의한 질의, 사용자 스케치에 의한 질의, 그리고 텍스트에 의한 질의가 있다. 예에 의한 질의는 사용자가 질의로서 찾고자 하는 객체와 유사한 객체를 질의로 제시하고, 검색 시스템은 찾고자 하는 객체를 질의로 하여, 제시된 객체가 포함한 특징 기술 정보와 가장 유사한 특징 기술 정보를 포함한 객체들을 검색하게 된다. 이 경우 질의 예가 기존에 특징 기술 정보를 이미 추출한 객체일 경우 데이터 베이스에서 해당 객체의 특징 기술 정보를 찾아 이와 유사한 특징 기술 정보를 갖는 객체를 검색하게 된다. 만일 기존에 특징 기술 정보를 추출하지 않은 새로운 객체일 경우에는 주어진 객체의 특징 기술 정보를 추출 엔진을 사용하여 추출한 후 데이터 베이스에서 유사한 특징 기술 정보를 갖는 객체를 검색하게 된다. 사용자 스케치에 의한 검색은 사용자가 찾고자 하는 객체를 잘 표현하도록 직접 질의 이미지를 제작하는 것을 의미한다. 이 경우 사용자가 제작한 질의 이미지의 특징 정보를 검색 시에 추출 엔진이 추출하게 된다.Query methods include query by example, query by user sketch, and query by text. In the example, the query presents an object similar to the object that the user wants to find as a query, and the search system searches the object containing the feature description information most similar to the feature description information included in the presented object. Done. In this case, if the query example is an object from which feature description information has been previously extracted, the feature description information of the corresponding object is searched in the database to search for an object having similar feature description information. In the case of a new object that has not extracted feature description information, the feature description information of a given object is extracted using an extraction engine, and then an object having similar feature description information is searched in a database. Searching by a user sketch means creating a query image directly so that the user expresses an object to be searched for. In this case, the extraction engine extracts the feature information of the query image produced by the user.
최근 들어 이동 통신을 이용한 멀티미디어 서비스가 활발해 지면서 이동 통신 단말기를 이용한 이미지 및 동영상 디스플레이가 중요한 서비스로 부각되고 있다. 이동 통신 단말기는 일반적으로 화면이 작고 키보드가 없는 등 인터페이스가 제한적이어서 검색을 위한 방법도 PC에서의 그것과 다르다. 예를 들면 PC에서는 검색 결과를 나열하고 사용자가 쉽게 훑어볼 수 있으나 이동 통신 단말기에서는 한 화면에 적은 수만의 이미지를 볼 수 있으므로, 그러한 검색 방법은 좋지 못하다. 게다가 텍스트 등의 정보를 입력할 경우에도 키보드가 없기 때문에 매우 불편하다. 대신에 일반 PC에서는 잘 사용하지 않는 전자펜을 일반적으로 PDA등에서는 사용하고 있다. 이와 같이 PC와 상이한 환경의 이동 통신 단말기를 이용한 검색 및 디스플레이를 위해서는 이에 맞는 메타데이터 생성 방법과 검색 방법이 제공되어야 한다.Recently, as multimedia services using mobile communication have become more active, image and video display using mobile communication terminals have emerged as important services. Mobile terminals generally have a limited interface, such as a small screen and no keyboard, so the method for searching is different from that on a PC. For example, such a search method is not good because the PC lists the search results and the user can easily browse them, but the mobile communication terminal can see only a few images on one screen. In addition, even when inputting information such as text, there is no keyboard, which is very inconvenient. Instead, electronic pens that are not used well in ordinary PCs are generally used in PDAs. As such, in order to search and display using a mobile communication terminal having a different environment from that of a PC, a metadata generating method and a searching method must be provided.
본 발명은 멀티미디어 객체의 특징 기술정보를 자동으로 생성하는 방법을 제공함을 목적으로 한다. 특히 본 발명은 이동 단말기에서 취득한 멀티미디어 객체의 검색을 위한 메타 데이터를 효율적으로 생성하는 방법을 제공함을 목적으로 한다.An object of the present invention is to provide a method for automatically generating feature description information of a multimedia object. In particular, an object of the present invention is to provide a method for efficiently generating metadata for searching for a multimedia object acquired by a mobile terminal.
상기 목적을 달성하기 위하여 본 발명은 멀티미디어 객체의 메타 데이터 생성시, 기 취득한 객체의 특징 기술정보를 현재 취득한 객체의 특징 기술정보 생성에 반영하여 현재 취득한 객체의 특징 기술정보를 생성하여 지정하는 것을 특징으로 한다.In order to achieve the above object, the present invention generates and specifies the feature description information of the currently acquired object by reflecting the feature description information of the previously acquired object in the feature description information generation of the currently acquired object when generating the metadata of the multimedia object. It is done.
또한 상기 목적을 달성하기 위하여 본 발명은, 질의 객체와 유사한 객체들이 갖는 특징 기술정보를 해당 질의 객체의 특징 기술정보로 생성하여 지정해 주는 것을 특징으로 한다. 또한 여기서 특징 기술정보로 질의 객체와 유사한 객체들이 갖는 키워드를 해당 질의 객체의 키워드로 지정하는 것을 특징으로 한다.In addition, in order to achieve the above object, the present invention is characterized by generating and specifying the feature description information of objects similar to the query object as the feature description information of the query object. In addition, the feature description information is characterized by designating keywords having objects similar to the query object as keywords of the corresponding query object.
또한 상기 목적을 달성하기 위하여 본 발명은, 기 취득된 객체들이 포함하고 있는 특징 기술정보들을 사용하여 생성된 특징 기술정보 리스트를 제시하고, 사용자가 이 특징 기술정보 리스트 중에서 현재 취득한 객체의 특징 기술정보를 선택하여 지정함을 특징으로 한다. 또한 여기서 특징 기술정보 리스트로 키워드 사전을 제시하고 이 키워드 사전에서 선택한 키워드를 현재 취득한 객체의 키워드로 지정하는 것을 특징으로 한다.In order to achieve the above object, the present invention provides a feature description information list generated by using feature description information included in previously acquired objects, and the feature description information of the object currently acquired by the user from the list of feature description information. It is characterized by selecting and specifying. Here, the keyword dictionary is presented as a feature description information list, and the keyword selected from the keyword dictionary is designated as the keyword of the currently acquired object.
또한 상기 목적을 달성하기 위하여 본 발명은, 상기 현재 취득한 객체에 상기한 특징 기술정보를 자동으로 생성하여 지정할 때, 사용자가 객체에서 중요영역을 지정하는 단계를 더 포함하고, 이 중요 영역을 반영하여 상기 특징 기술정보를 생성하는 것을 특징으로 한다.In order to achieve the above object, the present invention may further include a step of a user designating an important area in the object when automatically generating and specifying the feature description information in the currently acquired object. And generating the feature description information.
본 발명에서 특징 기술정보는 넓은 의미로 볼 때 메타 데이터의 한 종류이므로 이후 두 용어를 혼용하여 사용하지만 같은 의미이다.In the present invention, since the feature description information is a kind of metadata in a broad sense, the following two terms are used interchangeably, but have the same meaning.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
초기에 사용자가 이미지 등의 객체를 취득하면 키워드 등의 텍스트 정보를 직접 입력하게 된다. 하지만 계속 이러한 입력 작업이 일어나야 할 경우 이동 통신 환경에서는 매우 불편할 수 있다. 왜냐하면 이동 통신 단말기에서는 키보드와 같은 용이한 텍스트 입력 수단이 제공되지 않기 때문이다. 이러한 문제점을 해결하기 위하여, 이미 취득된 객체의 키워드 들 중에서 현재 취득된 객체에 적합한 키워드가 있는지를 자동으로 판단하여 후보로 제시함으로써 사용자는 단지 키워드 후보 중에서 원하는 것을 선택하여 입력할 수 있는 방법을 제공한다. 적합한 키워드의 검색은 먼저 취득된 객체를 질의로 하여 기존에 취득된 객체들을 대상으로 내용 기반 검색을 수행한다. 상기 내용 기반 검색이란 칼라, 질감, 텍스트 이외의 낮은 레벨 특징정보를 사용한 검색을 의미한다. 내용상으로 유사한 객체는 입력될 키워드들도 유사할 것이므로 검색 결과로 유사하다고 판단된 객체들이 이미 포함한키워드들을 후보로 제시하는 것이다.Initially, when a user acquires an object such as an image, the user directly inputs text information such as a keyword. However, if such input work must be continued, it can be very inconvenient in a mobile communication environment. This is because the mobile communication terminal does not provide easy text input means such as a keyboard. In order to solve this problem, by automatically determining whether there is a keyword suitable for the currently acquired object among the keywords of the already acquired object and presenting it as a candidate, the user can simply select and input a desired one among the keyword candidate. do. In order to search for a suitable keyword, a content-based search is performed on previously acquired objects by using the obtained object as a query. The content-based search means a search using low level feature information other than color, texture, and text. Similarly, since similar objects will have similar keywords, the search results suggestkeywords that are already included in the objects determined to be similar.
도1은 이러한 키워드 생성 방법에 대한 플로우차트이다. 먼저 객체를 취득하고(S11), 객체가 취득되면 객체에서 내용기반 검색을 위한 특징 기술 정보를 추출한다(S12). 다음 단계(S13)에서는 기 취득된 객체들의 특징 기술 정보들과 상기 취득한 객체에 대하여 추출한 특징 기술정보를 비교 검색한다. 다음 단계(S14)에서는 상기 검색 결과로부터 유사하다고 검색된 결과 객체에 포함된 키워드들을 추출하고, 추출된 키워드들의 우선 순위를 계산하여 우선 순위 순서로 상기 추출된 키워드를 사용자에게 제시한다(S15,S16).1 is a flowchart of this keyword generation method. First, the object is acquired (S11), and when the object is acquired, feature description information for content-based retrieval is extracted from the object (S12). In the next step S13, the feature description information of the acquired objects is compared with the feature description information extracted for the acquired object. In a next step S14, keywords included in a result object found to be similar from the search result are extracted, the priority of the extracted keywords is calculated, and the extracted keywords are presented to the user in order of priority (S15, S16). .
즉, 기 취득된 객체와 현재 취득한 객체의 특징 기술정보를 기반으로 하여 유사도를 비교함으로써 검색을 수행하고, 검색 결과 일정 임계치 이상 유사하다고 판단된 객체들을 선택한 후 그 객체들이 기 포함한 키워드들을 사용자에게 후보로서 제시하는 것이다. 사용자는 후보들 중 올바른 키워드를 선택함으로써 키워드를 입력할 수 있다. 즉, 상기 제시된 키워드 후보들을 보고 사용자가 원하는 키워드를 선택하면 그 선택된 키워드를 현재 취득한 객체의 특징 기술정보 즉, 키워드로 등록하여 저장하는 것이다(S17,S18).That is, a search is performed by comparing similarities based on previously acquired objects and feature description information of the currently acquired objects, selecting objects that are determined to be similar to a predetermined threshold or more as a result of the search, and then selecting keywords included in the objects to the user. To present as. The user can enter a keyword by selecting the correct keyword from the candidates. That is, when the user selects a desired keyword based on the presented keyword candidates, the selected keyword is registered and stored as feature description information of the currently acquired object, that is, a keyword (S17, S18).
물론 사용자가 후보에 없는 키워드를 추가로 입력하고 싶을 경우에는 기존과 같이 수동으로 추가할 수도 있다. 앞서 후보 키워드들을 사용자에게 제시할 때에는 후보 점수(score)가 높은 순서로 나열하여 제시할 수 있는데, 후보 점수는 유사한 객체들이 공통으로 많이 포함할수록 점수가 높고, 또 해당 객체의 유사도가 높을수록 점수가 높도록 한다. 이러한 관계는 다음과 같이 표현할 수 있다.Of course, if the user wants to enter additional keywords that are not in the candidate, they can be added manually as before. When presenting the candidate keywords to the user, the candidate scores may be listed in the order of high candidate scores. The candidate scores have a higher score when the similar objects are included in common, and the higher the similarity of the corresponding objects, the higher the score. Make it high. This relationship can be expressed as follows.
[키워드 후보점수 계산방법][Calculation of Keyword Candidate Score]
score(KW(i)) = Similarity(Obj(KW(i))·α+ frequency(KW(i))·βscore (KW (i)) = Similarity (Obj (KW (i)) · α + frequency (KW (i))
여기서, KW(i)는 키워드 i, score(KW(i))는 키워드 i의 후보 점수, Obj(KW(i))는 키워드 i를 포함하고 있는 객체, similarity(Obj(KW(i)))는 키워드 i를 포함하고 있는 객체의 유사도, frequency(KW(i))는 키워드 i가 객체에 포함된 빈도수, α,β는 상수(coefficiency) 이다.Where KW (i) is a keyword i, score (KW (i)) is a candidate score of keyword i, Obj (KW (i)) is an object containing keyword i, similarity (Obj (KW (i))) Is the similarity of the object containing the keyword i, frequency (KW (i)) is the frequency of the keyword i is included in the object, α, β is a constant (coefficiency).
상기 기술한 과정에서 특징 기술 정보를 이용한 1차 검색 결과를 바로 키워드 후보 생성에 이용하는 대신 사용자로 하여금, 검색 결과를 확인시키는 과정을 추가할 수 있다. 즉, 검색 결과 객체들 중에서 사용자가 확인하여 사용자 관점에서 유사하다고 생각되는 객체들만 선택하게 함으로써 유사한 객체에 대한 신뢰도를 높일 수 있다. 이와 같은 사용자의 확인 행위를 사용자 피드백(relevant feedback)이라고 한다. 상기 과정에서 사용자 피드백을 이용하면 후보로 제시되는 키워드들은 그만큼 사용자가 선택할 확률이 높아지는 효과가 있다. 이와 같이 사용자 피드백 과정이 추가된 경우의 객체 특징기술 정보 생성 및 검색방법이 도2에 나타나 있다.In the above-described process, instead of directly using the primary search result using the feature description information to generate keyword candidates, a process of allowing a user to confirm the search result may be added. That is, the reliability of the similar object can be increased by allowing the user to check and select only objects that are considered similar from the user's point of view. Such confirmation of the user is referred to as user feedback. If the user feedback is used in the above process, the keywords presented as candidates have an effect of increasing the probability of selection by the user. As shown in FIG. 2, the method for generating and retrieving object feature description information when the user feedback process is added as described above is illustrated.
먼저 객체를 취득하고(S21), 객체가 취득되면 객체에서 내용기반 검색을 위한 특징 기술 정보를 추출한다(S22). 다음 단계(S23)에서는 기 취득된 객체들의 특징 기술 정보들과 상기 취득한 객체에 대하여 추출한 특징 기술정보를 비교 검색한다. 다음 단계(S24)에서는 검색 결과 중에서 사용자가 유사하다고 선택하는 객체(유사 이미지)에 대한 피드백을 받는다. 시스템은 상기 사용자로부터 피드백 받은 이미지만을 유사 이미지로 지정하고(S25), 다음 단계(S26)에서는 상기 피드백 결과로부터 유사하다고 선택된 결과 객체에 포함된 키워드들을 추출하고, 추출된 키워드들의 우선 순위를 계산하여 우선 순위 순서로 상기 추출된 키워드를 사용자에게 제시한다(S27,S28).First, the object is acquired (S21), and when the object is acquired, feature description information for content-based retrieval is extracted from the object (S22). In the next step S23, the feature description information of the acquired objects is compared with the feature description information extracted with respect to the acquired object. In a next step S24, feedback is received for an object (similar image) selected by the user from the search results as similar. The system designates only the image fed back from the user as a similar image (S25), and in the next step S26, keywords included in the result object selected as similar from the feedback result are extracted, and the priority of the extracted keywords is calculated. The extracted keywords are presented to the user in order of priority (S27, S28).
즉, 기 취득된 객체와 현재 취득한 객체의 특징 기술정보를 기반으로 하여 유사도를 비교함으로써 검색을 수행하고, 검색 결과에 대해서 다시 한번 사용자 피드백을 받아 사용자가 유사하다고 피드백을 준 검색 결과 객체들이 기 포함한 키워드들을 사용자에게 후보로서 제시하는 것이다. 이와 같이 제시된 키워드 후보들을 보고 사용자가 원하는 키워드를 선택하면 그 선택된 키워드를 현재 취득한 객체의 특징 기술정보 즉, 키워드로 등록하여 저장하는 것이다(S29,S30).That is, the search is performed by comparing the similarity based on the previously acquired object and the feature description information of the currently acquired object, and the search result objects that have received the user feedback on the search result and gave the feedback that the user is similar are included. Keywords are presented to the user as candidates. When the keyword candidates are selected based on the keyword candidates presented as described above, the selected keyword is registered and stored as the feature description information of the currently acquired object, that is, the keyword (S29 and S30).
지금까지 설명한 내용 기반 검색에 사용되는 특징 기술 정보는 여러 가지 종류가 동시에 사용된다. 예를 들어 칼라 히스토그램, 에지 히스토그램, 칼라 레이아웃 등에 동시에 사용되어 각 특징 기술 정보를 기준으로 유사도를 계산한 후 이들의 총 합을 사용하여 유사도 총점을 계산하게 된다. 하지만 각 특징 기술 정보가 의미하는 바가 다르므로 검색에 사용되는 객체마다 중요한 특징 기술 정보가 다를 수 있다.Several types of feature description information used in the content-based retrieval described so far are used simultaneously. For example, color histograms, edge histograms, and color layouts are used at the same time to calculate similarity based on each feature description information, and then use the sum of these to calculate the total similarity score. However, since each feature description information means different things, important feature description information may be different for each object used for searching.
예를 들어 풍경 이미지는 일반적으로 칼라 히스토그램이 유용하지만, 특정 물체를 크로즈 업(close-up)하여 취득한 사진의 경우 칼라 레이아웃이 더 유용하다. 여기서 칼라 히스토그램과 에지 히스토그램은 각각 칼라와 에지의 분포를 표현하는 정보이고 칼라 레이아웃은 이미지를 N*M으로 영역을 분리한 후 각 부분 영역별로 대표 칼라 값을 지정하여 표현하는 정보이다.For example, landscape histories are generally useful for color histograms, but color layout is more useful for photographs acquired by close-ups of certain objects. Here, the color histogram and the edge histogram are information representing the color and edge distribution, respectively, and the color layout is information representing the color value of each sub-area after the image is divided into N * M regions.
이와 같이 각 객체마다 사용되는 특징 정보의 중요도가 다르므로 객체마다 그 객체에 적합한 중요도 정보를 기술하면 보다 좋은 검색 결과를 기대할 수 있다.As described above, since the importance of feature information used for each object is different, describing the importance information suitable for each object can provide better search results.
이와 같은 중요도 정보는 앞서 기술한 사용자 피드백을 사용하여 자동으로 계산할 수 있다. 사용자 피드백을 사용하여 중요도를 계산하는 방법은 MPEG-7에서 채택된 중요도 표현 기술인 'MatchingHint'(MatchingHint에 대한 자세한 기술은 국제 표준 문서인ISO/IEC 15938-5에 기술되어 있다)를 계산하는 방법을 사용할 수 있으며, 이는 다음과 같이 표현된다.Such importance information can be automatically calculated using the user feedback described above. The method of calculating importance using user feedback is to calculate the importance expression technique 'MatchingHint' adopted in MPEG-7 (the detailed description of MatchingHint is described in the international standard documentISO / IEC 15938-5 ). You can use it, which is expressed as:
[MatchingHint 계산방법][Calculation method of MatchingHint]
피드백 이미지 FI(feedback image)가 렐러번트 이미지(relevant image)이면 Wk = αSimk(RI,FI), 피드백 이미지 FI가 렐러번트 이미지가 아니면(irrelevant image) Wk = αDistk(RI,FI).Feedback image FI (feedback image) is relreo bunt image (relevant image) isW k = αSim k (RI, FI), the feedback image FI is not a relreo bunt image(irrelevant image) W k = αDist k (RI, FI) .
여기서, Wk는 특징 기술자 k(descriptor k)의 매칭 힌트, α는 정규화 상수(normalization coefficient), Sim(RI,FI)는 참조 이미지 RI(reference image)(질의 이미지임)와 피드백 이미지 FI 사이의 유사도, Dist(RI,FI)는 참조 이미지 RI와 피드백 이미지 FI 사이의 차(비유사도)이다.Where Wk is a matching hint of feature descriptor k, α is a normalization coefficient, and Sim (RI, FI) is a reference image between the reference image RI (the query image) and the feedback image FI. Similarity, Dist (RI, FI) is the difference (similarity) between the reference image RI and the feedback image FI.
상기 매칭 힌트 계산방법에서 알 수 있듯이 현재 주어진 피드백 결과와 질의 이미지간의 유사도를 각 특징 기술 정보(descriptor k)를 사용하여 계산한 후, 만일 유사도가 높으면 해당 특징 기술 정보의 가중치도 상대적으로 높게 된다. 검색 결과 중에서 피드백 받지 못한 결과는 유사하지 않다는 피드백을 받은 것과 마찬가지이므로 비유사도가 낮을수록 해당 특징 기술 정보의 가중치가 높게 된다.As can be seen from the matching hint calculation method, the similarity between the currently given feedback result and the query image is calculated using each feature description information (descriptor k), and if the similarity is high, the weight of the feature description information is also relatively high. Among the search results, the result of not receiving feedback is the same as the feedback of dissimilarity, so the lower the dissimilarity, the higher the weight of the corresponding feature description information.
도3은 상기 기술한 것과 같이 사용자의 피드백을 이용하여 키워드를 생성할 뿐 아니라 가중치 정보까지 생성하여 특징 기술 정보로 포함하는 방법을 기술하고 있다.As described above, FIG. 3 illustrates a method of generating not only a keyword using user feedback but also generating weight information and including it as feature description information.
먼저 객체를 취득하고(S31), 취득한 객체로부터 특징 기술정보를 추출하고(S32), 기 취득된 객체를 대상으로 하여 검색을 실행한다(S33). 상기 검색 결과 중에서 유사 이미지에 대한 피드백을 사용자로부터 받고(S34), 상기 피드백을 받은 이미지를 사용하여 특징 기술정보의 가중치를 결정한다(S35). 이렇게 결정된 가중치를 해당 객체의 특징 정보로 저장한다(S36).First, an object is acquired (S31), feature description information is extracted from the acquired object (S32), and a search is performed for the previously acquired object (S33). In step S34, the feedback of the similar image is received from the user from the search results, and the weight of the feature description information is determined using the received image. The weight thus determined is stored as feature information of the corresponding object (S36).
앞서 기술한 칼라 레이아웃 정보는 상기 기술하였듯이 주어진 영상을 N*M의 부분 영역으로 나누어 칼라 정보를 표시하는 기술 정보이다. 이러한 특성으로 인해 칼라 레이아웃은 공간적인 정보를 표현할 수 있어서 영상의 공간적인 칼라 분포를 표현할 수 있다. 이 정보를 사용하면 이동 단말기에 유용한 질의를 수행할 수 있다. 이동 단말기는 화면이 적으므로 객체들을 나열하여 원하는 질의 객체를 사용자가 선택하는 방법을 사용하기가 어렵다. 그 대신 전자펜 등을 이용하여 사용자가 제작한 질의를 수행할 수 있는데 이를 사용자 스케치 질의라고 한다. 이러한 사용자 스케치 질의의 예를 도4와 도5에 나타내었다.The color layout information described above is technical information for displaying color information by dividing a given image into partial regions of N * M as described above. Due to this characteristic, the color layout can express spatial information, thereby expressing spatial color distribution of an image. This information can be used to perform useful queries on the mobile terminal. Since the mobile terminal has a small screen, it is difficult to use a method in which a user selects a desired query object by listing the objects. Instead, the user-created query can be executed using an electronic pen, etc. This is called a user sketch query. Examples of such user sketch queries are shown in FIGS. 4 and 5.
도4는 칼라 레이아웃과 같이 이미지를 N*M으로 나누어진 틀에 사용자가 색을 입힘으로써 자연스럽게 대략적인 질의 이미지를 구성할 수 있다. 또 도5는 스케치와 같이 전자펜으로 특정 색을 지닌 단순한 물체를 묘사할 수 있다. 이와 같은 편리성으로 인하여 칼라 레이아웃 정보는 이동 단말기에서 매우 중요한 특징 기술 정보가 될 수 있는데, 상기 기술한 가중치 정보를 칼라 레이아웃 정보의 공간적인 중요도 표현에 사용할 수 있다. 즉 사용자가 이미지를 취득하면 이 이미지는 어떤 영역이 중요하다고 하는 것을 전자펜 등으로 간단히 표시하게 되면 칼라 레이아웃 정보가 추출되면서 칼라 레이아웃 정보 요소들 중에서 해당 영역에 속하는 요소가 보다 높은 중요도를 갖게 되는 것이다.4, the user can compose a rough query image naturally by coloring the image in a frame divided into N * M like the color layout. 5 may depict a simple object having a specific color with an electronic pen, such as a sketch. Due to such convenience, the color layout information may be very important feature description information in the mobile terminal. The above-described weight information may be used to express spatial importance of the color layout information. In other words, if the user acquires an image and simply displays an area that an area is important with an electronic pen or the like, the color layout information is extracted and the elements belonging to the area among the color layout information elements have higher importance. .
이와 같이 칼라 레이아웃 정보의 공간적인 중요도 정보를 객체 취득 시 사용자의 간단한 피드백으로 결정하는 방법을 도6에 나타내었다.As described above, a method of determining spatial importance information of color layout information by simple feedback of a user when acquiring an object is illustrated in FIG. 6.
먼저 객체를 취득하고(S61), 취득한 객체에 대해서 중요 영역을 사용자가 표기한다(S62). 다음 부분 영역별 특징을 기술하는 정보를 추출하고(S63), 상기 사용자가 표기한 중요 영역에 대한 가중치를 다른 영역보다 더 높게 지정하고(S64), 지정된 가중치와 특징 기술정보를 해당 객체에 대한 특징 기술정보로 저장한다(S65).First, an object is acquired (S61), and the user marks an important area with respect to the acquired object (S62). Extract information describing a feature of each sub-area (S63), specify a weight for the important region indicated by the user higher than other regions (S64), and specify the specified weight and feature description information for the object. Save as technical information (S65).
이와 같이 도6에서는 각 부분 영역별로 특징 정보를 표기하는 칼라 레이아웃과 같은 특징 기술 정보의 각 요소에 대한 가중치를 표기된 중요 영역을 사용하여 지정하는 것을 기술하고 있다. 즉, 주요 영역으로 지정된 곳에 대한 정보 요소는 보다 높은 가중치를 갖게 된다. 하지만 이외에 처음부터 중요 영역에 해당하는 요소만을 유효한 추출된 값을 지정하고 다른 부분은 의미 없는 값(Null 값)을 지정할 수도 있다. 이 경우 단지 중요 영역만을 대상으로 검색을 수행하게 된다.As described above, in FIG. 6, the weighting of each element of the feature description information such as the color layout indicating the feature information for each partial region is specified using the marked important region. In other words, the information element for the area designated as the main area has a higher weight. However, you can also specify valid extracted values only for elements that are important areas from the beginning, and specify non-significant values (null values) for others. In this case, the search is performed only on the important areas.
중요 영역을 사용자가 표기하는 또 다른 방법으로는 질의 이미지를 N*M으로 가상으로 분할하여 분할된 화면을 사용자에게 제시하고, 사용자가 그 분할된 영역 중에서 중요하다고 간주하는 영역을 선택하는 방법을 사용할 수 있다. 예를 들면 질의 이미지를 4*3=12개의 화면으로 가상 분할하고, 이 분할된 12개의 화면(부분 영역) 중에서 사용자가 이동 단말기 키를 이용하여 선택하는 영역에 해당하는 특징 기술정보를 더 중요한 것으로 간주하는 것이다. 또한, 분할된 12개의 부분 영역의 선택 순서에 따라 중요도를 부여하는 방법을 사용할 수도 있다.Another way to mark the important areas is to divide the query image into N * M virtually to present the divided screen to the user, and to select the area that the user considers important from the divided areas. Can be. For example, the query image is virtually divided into 4 * 3 = 12 screens, and feature description information corresponding to an area selected by the user using a mobile terminal key is more important among the divided 12 screens (partial areas). To consider. In addition, a method of assigning importance in accordance with the selection order of the 12 divided partial regions may be used.
상기 도1 및 도2에서는 기존에 취득된 객체의 텍스트 정보를 사용하여 키워드 후보를 생성하는 방법을 제시하였다. 이와 같이 텍스트 정보를 복잡한 조작 없이 입력하고자 하는 것은 키보드가 없는 이동 단말기의 특성 때문이다. 앞서 기술한 텍스트의 자동 생성 이외에, 이미 취득된 객체에 포함된 키워드들을 자동으로 리스트화하여 키워드 사전을 생성할 수도 있다.1 and 2 illustrate a method of generating keyword candidates using text information of an existing object. The reason for inputting text information without complicated manipulation is because of the characteristics of a mobile terminal without a keyboard. In addition to the automatic generation of the text described above, a keyword dictionary may be generated by automatically listing keywords included in an already acquired object.
이 경우 키워드 생성은 기 취득된 객체에 포함된 키워드들을 모두 합하여 생성하되 빈도수 등을 고려하여 우선 순위를 지정하고, 사용자에게 제시할 수 있도록 한다. 이와 같이 키워드 사전을 사용함으로써 사용자는 텍스트 직접 입력의 불편함을 최대한 줄이게 된다.In this case, the keyword generation generates all the keywords included in the acquired object, but assigns the priority in consideration of the frequency and the like, and presents them to the user. By using the keyword dictionary in this way, the user can minimize the inconvenience of direct text input.
이와 같이 키워드 사전을 포함한 특징 기술정보 생성과 검색 방법을 도7에 나타내었다. 먼저, 기 취득된 객체에 포함된 키워드를 대상으로 하여 키워드 사전을 생성한다(S71). 다음 단계(S72)에서는 객체에 포함된 빈도수에 근거하여 상기 키워드의 우선 순위를 생성해 둔다. 다음 객체의 취득이 이루어지면 상기 우선 순위별로 키워드 사전 내의 키워드를 사용자에게 제시한다(S73,S74). 이 키워드 사전으로 보고 사용자가 원하는 키워드를 선택한다(S75). 이렇게 키워드 선택이 이루어지면 선택된 키워드를 해당 객체에 대한 특징 기술정보에 포함시켜 저장한다(S76,S77). 그러나 제시된 키워드 사전에 사용자가 원하는 키워드가 없는 경우는 사용자가 새로운 키워드를 입력하고(S78), 입력된 키워드를 해당 객체에 대한 특징 기술정보로 저장하며(S79), 상기 새로 입력된 키워드를 상기 키워드 사전에 반영한다(S79,S80).As described above, a method of generating and searching for feature description information including a keyword dictionary is illustrated in FIG. 7. First, a keyword dictionary is generated for a keyword included in a previously acquired object (S71). In the next step S72, the priority of the keyword is generated based on the frequency included in the object. When the next object is acquired, the keywords in the keyword dictionary are presented to the user for each of the priorities (S73 and S74). The keyword dictionary is selected by the user, and the user selects a desired keyword (S75). When the keyword selection is made as described above, the selected keyword is included in the feature description information of the corresponding object and stored (S76, S77). However, if there is no keyword desired by the user in the presented keyword dictionary, the user inputs a new keyword (S78), stores the input keyword as feature description information about the object (S79), and stores the newly entered keyword as the keyword. Reflect in advance (S79, S80).
도7과 같이 키워드 사전을 이용한 특징 기술정보 생성 및 검색의 경우 이동 단말기에는 객체를 포함한 데이터베이스와 각 객체를 기술하는 텍스트 기술 정보가 있다. 키워드 사전 생성기는 주기적, 또는 사용자가 원할 때 키워드 사전을 텍스트 기술 정보를 사용하여 생성한다. 생성된 키워드 사전을 사용하여 키워드 후보 디스플레이장치는 사용자에게 키워드를 선택할 수 있도록 키워드 후보들을 제시한다.In the case of generating and retrieving feature description information using a keyword dictionary as shown in FIG. 7, the mobile terminal includes a database including objects and text description information describing each object. The keyword dictionary generator generates a keyword dictionary using text description information periodically or as desired by the user. Using the generated keyword dictionary, the keyword candidate display device presents keyword candidates to the user to select a keyword.
본 발명은 이동 단말기를 이용한 멀티미디어 객체의 검색을 편리하게 하고, 이러한 검색을 위해 적절한 특징 기술 정보를 효과적으로 생성할 수 있는 방법을 제시하고 있다. 본 발명은 작은 화면 크기에 키보드가 없는 제한적인 인터페이스의 한계를 극복하는 대신, 전자 펜 등 이동 통신 단말기에서 제공하는 인터페이스를 활용하여 효과적으로 메타데이터를 생성할 수 있도록 하였다. 특히 현실적으로 한번에 원하는 객체를 찾기가 불가능한 점을 인정하는 대신 가장 작은 횟수의 사용자 상호 작용에 의해, 빠르게 원하는 객체를 검색할 수 있도록 하여 사용자가 실제로 느끼는 검색 성능이 매우 높도록 하였다.The present invention provides a method for facilitating the retrieval of a multimedia object using a mobile terminal and effectively generating appropriate feature description information for such retrieval. Instead of overcoming the limitation of the limited interface without a keyboard and having a small screen size, the present invention can effectively generate metadata by utilizing an interface provided by a mobile communication terminal such as an electronic pen. In particular, instead of acknowledging that it is impossible to find the desired object at once, the search performance felt by the user is very high by allowing the user to search the desired object quickly by the smallest number of user interactions.
도1은 본 발명의 멀티미디어 객체의 특징 기술정보 생성방법의 제1실시예를 나타낸 플로우차트1 is a flowchart showing a first embodiment of a method for generating feature description information of a multimedia object of the present invention;
도2는 본 발명의 멀티미디어 객체의 특징 기술정보 생성방법의 제2실시예를 나타낸 플로우차트2 is a flowchart showing a second embodiment of a method for generating feature description information of a multimedia object of the present invention;
도3은 본 발명의 멀티미디어 객체의 특징 기술정보 생성방법의 제3실시예를 나타낸 플로우차트3 is a flowchart showing a third embodiment of a method for generating feature description information of a multimedia object of the present invention;
도4 및 도5는 본 발명에서 사용자가 중요 영역을 스케치로 표기하기 위한 인터페이스의 예를 나타낸 도면4 and 5 illustrate examples of an interface for a user to mark important areas by sketch in the present invention.
도6은 본 발명의 멀티미디어 객체의 특징 기술정보 생성방법의 제4실시예를 나타낸 플로우차트6 is a flowchart of a fourth embodiment of a method for generating feature description information of a multimedia object of the present invention;
도7은 본 발명의 멀티미디어 객체의 특징 기술정보 생성방법의 제5실시예를 나타낸 플로우차트7 is a flowchart showing a fifth embodiment of a method for generating feature description information of a multimedia object of the present invention;
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0002841AKR100512275B1 (en) | 2002-01-17 | 2002-01-17 | Multimedia data description of content-based image retrieval |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0002841AKR100512275B1 (en) | 2002-01-17 | 2002-01-17 | Multimedia data description of content-based image retrieval |
| Publication Number | Publication Date |
|---|---|
| KR20030062585A KR20030062585A (en) | 2003-07-28 |
| KR100512275B1true KR100512275B1 (en) | 2005-09-02 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2002-0002841AExpired - Fee RelatedKR100512275B1 (en) | 2002-01-17 | 2002-01-17 | Multimedia data description of content-based image retrieval |
| Country | Link |
|---|---|
| KR (1) | KR100512275B1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100782047B1 (en) | 2006-04-27 | 2007-12-04 | 인하대학교 산학협력단 | Automatic Generation of Initial Query Sets for Mobile Web-based Image Retrieval |
| KR20140073834A (en)* | 2012-12-07 | 2014-06-17 | 주식회사 케이티 | Apparatus for recognizing contents and method thereof |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100854755B1 (en)* | 2006-05-08 | 2008-08-27 | 에스케이 텔레콤주식회사 | Method and system for providing image retrieval service by comparing object and partial image |
| KR101268987B1 (en) | 2007-09-11 | 2013-05-29 | 삼성전자주식회사 | Method and apparatus for recording multimedia data by automatically generating/updating metadata |
| KR101100830B1 (en)* | 2009-10-27 | 2012-01-02 | 주식회사 버즈니 | Object Retrieval using the Internet and Hybrid-based Opinion Analysis System and Method therefor |
| KR101137491B1 (en)* | 2010-05-18 | 2012-04-20 | 서울시립대학교 산학협력단 | System and Method for Utilizing Personalized Tag Recommendation Model in Web Page Search |
| WO2011146275A2 (en) | 2010-05-19 | 2011-11-24 | Google Inc. | Managing lifecycles of television gadgets and applications |
| WO2011146276A2 (en) | 2010-05-19 | 2011-11-24 | Google Inc. | Television related searching |
| KR101713988B1 (en)* | 2011-06-21 | 2017-03-22 | 네이버 주식회사 | Method and apparatus for providing content sending metadata extracted from content |
| KR101326083B1 (en)* | 2011-11-28 | 2013-11-07 | 건국대학교 산학협력단 | Preprocessing apparatus for query image and searching image in content based image retrieval using sketch query and methof therefor |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000112975A (en)* | 1998-10-05 | 2000-04-21 | Matsushita Electric Ind Co Ltd | Multimedia content search method |
| KR20000037782A (en)* | 1998-12-02 | 2000-07-05 | 정선종 | Content-based Video Query Generation Method Using Middle Language |
| KR20020040976A (en)* | 2000-11-25 | 2002-05-31 | 구자홍 | Multimedia query and retrieval system using multi-weighted feature |
| KR100346262B1 (en)* | 1999-08-27 | 2002-07-26 | 엘지전자주식회사 | Method of multimedia data keyword self formation |
| KR100350785B1 (en)* | 1999-08-27 | 2002-08-28 | 엘지전자 주식회사 | Method for generating of multimedia feature description scheme |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000112975A (en)* | 1998-10-05 | 2000-04-21 | Matsushita Electric Ind Co Ltd | Multimedia content search method |
| KR20000037782A (en)* | 1998-12-02 | 2000-07-05 | 정선종 | Content-based Video Query Generation Method Using Middle Language |
| KR100346262B1 (en)* | 1999-08-27 | 2002-07-26 | 엘지전자주식회사 | Method of multimedia data keyword self formation |
| KR100350785B1 (en)* | 1999-08-27 | 2002-08-28 | 엘지전자 주식회사 | Method for generating of multimedia feature description scheme |
| KR20020040976A (en)* | 2000-11-25 | 2002-05-31 | 구자홍 | Multimedia query and retrieval system using multi-weighted feature |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100782047B1 (en) | 2006-04-27 | 2007-12-04 | 인하대학교 산학협력단 | Automatic Generation of Initial Query Sets for Mobile Web-based Image Retrieval |
| KR20140073834A (en)* | 2012-12-07 | 2014-06-17 | 주식회사 케이티 | Apparatus for recognizing contents and method thereof |
| KR101966925B1 (en)* | 2012-12-07 | 2019-04-08 | 주식회사 케이티 | Apparatus for recognizing contents and method thereof |
| Publication number | Publication date |
|---|---|
| KR20030062585A (en) | 2003-07-28 |
| Publication | Publication Date | Title |
|---|---|---|
| US9189554B1 (en) | Providing images of named resources in response to a search query | |
| Clinchant et al. | Semantic combination of textual and visual information in multimedia retrieval | |
| US7499916B2 (en) | Image retrieval systems and methods with semantic and feature based relevance feedback | |
| JP5309155B2 (en) | Interactive concept learning in image retrieval | |
| US7548936B2 (en) | Systems and methods to present web image search results for effective image browsing | |
| US8392430B2 (en) | Concept-structured image search | |
| JP4587512B2 (en) | Document data inquiry device | |
| US20090070321A1 (en) | User search interface | |
| US20080005105A1 (en) | Visual and multi-dimensional search | |
| JP2004178605A (en) | Information retrieval device and its method | |
| US20030195901A1 (en) | Database building method for multimedia contents | |
| US20120036139A1 (en) | Content recommendation device, method of recommending content, and computer program product | |
| KR20020075600A (en) | Image search system and method | |
| US20080215548A1 (en) | Information search method and system | |
| JPH11328228A (en) | Retrieved result fining method and device | |
| JP2004126840A (en) | Document search method, program and system | |
| KR20110007179A (en) | Method and apparatus for searching a plurality of stored digital images | |
| US9639633B2 (en) | Providing information services related to multimodal inputs | |
| JP2004178604A (en) | Information retrieval system and its method | |
| Tekli | An overview of cluster-based image search result organization: background, techniques, and ongoing challenges | |
| US20050120114A1 (en) | Content synchronization system and method of similar web pages | |
| KR100512275B1 (en) | Multimedia data description of content-based image retrieval | |
| US20020087577A1 (en) | Database building method for multimedia contents | |
| CN111831884B (en) | Matching system and method based on information search | |
| JP2005258910A (en) | Hierarchical keyword extraction apparatus, method, and program |
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application | St.27 status event code:A-0-1-A10-A12-nap-PA0109 | |
| PA0201 | Request for examination | St.27 status event code:A-1-2-D10-D11-exm-PA0201 | |
| N231 | Notification of change of applicant | ||
| PN2301 | Change of applicant | St.27 status event code:A-3-3-R10-R13-asn-PN2301 St.27 status event code:A-3-3-R10-R11-asn-PN2301 | |
| R17-X000 | Change to representative recorded | St.27 status event code:A-3-3-R10-R17-oth-X000 | |
| PG1501 | Laying open of application | St.27 status event code:A-1-1-Q10-Q12-nap-PG1501 | |
| D13-X000 | Search requested | St.27 status event code:A-1-2-D10-D13-srh-X000 | |
| D14-X000 | Search report completed | St.27 status event code:A-1-2-D10-D14-srh-X000 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-3-3-R10-R18-oth-X000 | |
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection | St.27 status event code:A-1-2-D10-D21-exm-PE0902 | |
| T11-X000 | Administrative time limit extension requested | St.27 status event code:U-3-3-T10-T11-oth-X000 | |
| T11-X000 | Administrative time limit extension requested | St.27 status event code:U-3-3-T10-T11-oth-X000 | |
| T11-X000 | Administrative time limit extension requested | St.27 status event code:U-3-3-T10-T11-oth-X000 | |
| P11-X000 | Amendment of application requested | St.27 status event code:A-2-2-P10-P11-nap-X000 | |
| P13-X000 | Application amended | St.27 status event code:A-2-2-P10-P13-nap-X000 | |
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration | St.27 status event code:A-1-2-D10-D22-exm-PE0701 | |
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment | St.27 status event code:A-2-4-F10-F11-exm-PR0701 | |
| PR1002 | Payment of registration fee | St.27 status event code:A-2-2-U10-U11-oth-PR1002 Fee payment year number:1 | |
| PG1601 | Publication of registration | St.27 status event code:A-4-4-Q10-Q13-nap-PG1601 | |
| FPAY | Annual fee payment | Payment date:20080618 Year of fee payment:4 | |
| PR1001 | Payment of annual fee | St.27 status event code:A-4-4-U10-U11-oth-PR1001 Fee payment year number:4 | |
| PN2301 | Change of applicant | St.27 status event code:A-5-5-R10-R13-asn-PN2301 St.27 status event code:A-5-5-R10-R11-asn-PN2301 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-5-5-R10-R18-oth-X000 | |
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee | St.27 status event code:A-4-4-U10-U13-oth-PC1903 Not in force date:20090827 Payment event data comment text:Termination Category : DEFAULT_OF_REGISTRATION_FEE | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-5-5-R10-R18-oth-X000 | |
| PC1903 | Unpaid annual fee | St.27 status event code:N-4-6-H10-H13-oth-PC1903 Ip right cessation event data comment text:Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date:20090827 | |
| PN2301 | Change of applicant | St.27 status event code:A-5-5-R10-R13-asn-PN2301 St.27 status event code:A-5-5-R10-R11-asn-PN2301 | |
| P22-X000 | Classification modified | St.27 status event code:A-4-4-P10-P22-nap-X000 | |
| P22-X000 | Classification modified | St.27 status event code:A-4-4-P10-P22-nap-X000 | |
| PN2301 | Change of applicant | St.27 status event code:A-5-5-R10-R13-asn-PN2301 St.27 status event code:A-5-5-R10-R11-asn-PN2301 |