KR100451004B1 - 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및방법과 그에 따른 내용기반 검색/탐색 방법 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

본 발명은 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및 방법과 그에 따른 내용기반 검색/탐색 방법에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

본 발명은, 폐쇄자막 뉴스 문서의 구조화, 색인어 및 이의 부가정보 추출을 통한 용어사전 구축, 폐쇄자막 문자열과 오디오트랙의 음성정보와의 시간적인 정합 등을 주요 기능 요소로 하여 뉴스 문자열 및 이와 동기를 이룬 뉴스 비디오를 검색하기 위한 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및 방법과 그에 따른 내용기반 검색/탐색 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.

3. 발명의 해결방법의 요지

본 발명은, 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 있어서, 폐쇄자막 문서를 의미있는 단위로 계층적 분할하기 위하여, 구조화된 폐쇄자막 문서에 삽입된 화자정보를 이용하여 문서를 분할하는 자막문서 구조화수단; 상기 자막문서 구조화수단을 통해 의미있는 단위로 계층적 분할된 폐쇄자막 문서로부터 색인어와 부가정보를 추출하여 용어사전을 구축하기 위한 색인어 및 부가정보 추출수단; 및 상기 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오내 오디오트랙 음성정보와의 동기를 맞추기 위한 오디오 자막 동기수단을 포함함.

4. 발명의 중요한 용도

본 발명은 인터넷 서비스 등에 이용됨.

Description

폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및 방법과 그에 따른 내용기반 검색/탐색 방법{Apparatus and Method for Database Construction of News Video based on Closed Caption and Method of Content-based Retrieval/Serching It}

본 발명은 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및 방법과 그에 따른 내용기반 검색/탐색 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 특히 뉴스 비디오와 폐쇄자막(Closed caption)을 대상으로 데이터베이스를 구축하고 이를 이용하여 뉴스의 자막 문자열과 비디오를 검색하기 위한 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및 방법과 그에 따른 내용기반 검색/탐색 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

뉴스 비디오 검색방법의 종래 기술을 살펴보면 다음과 같다.

먼저, "M. Bertini" 등이 제안한 "Content Based Annotation and Retrieval of News Videos"(ICME2000 : IEEE International Conference on Multimedia and Expo 2000)에서는 비디오 분할 및 분류, 텍스트 인식, 문자 인식 등을 사용하여 내용기반 뉴스 비디오 검색에 관한 방법을 제안하였다.

상기의 방법은 먼저 비디오를 샷(shot)단위로 분할하고, 분할된 샷이 앵커가 등장하는 앵커 샷(anchor shot)과 그 이외의 서비스 샷(service shot)으로 분류하여, 종국적으로는 샷 단위의 뉴스 비디오 검색 기능을 제공한다.

이에 따라, 어의적인(semantic) 주석을 달기 위하여 비디오 내에 자막(caption)이 존재하는 프레임을 검출하여 텍스트와 배경을 분리해 내고, 분리된 텍스트를 인식하여 해당하는 샷에 대한 기술자(textual shot descriptor)로 사용하였다. 또한, 앵커 샷을 대상으로 음성인식을 통해 인식된 단어를 기술자로 사용하였다.

종래의 이러한 방법은 기술(description) 및 검색 단위가 어의적인 단위가 아닌 물리적인 단위의 샷으로 이루어졌다는 문제점과 앵커 샷만을 대상으로 하고, 게다가 음성인식을 통해 인식된 단어만을 기술함으로써, 뉴스 비디오에서 발생한 모든 단어를 데이터베이스로 사용하지 못한다는 문제점이 있다.

한편, "H. Kuwano" 외 5인이 공동으로 발표한 "Telop-on-demand : Video structuring and retrieval based on text recognition"(ICME2000)에서는 뉴스 비디오 자막(Embedded text)과 그것의 크기, 폰트, 위치 등의 정보를 이용하여 비디오를 구조화하고, 자막을 추출하고 인식하여 데이터베이스를 구축하는 방법을 제안하였다.

상기 방법은 뉴스의 중요한 의미가 자막 편집자에 의해 자막에 나타나므로 자막의 크기, 폰트, 위치 등의 부가정보까지 이용하여 구조화에 사용하였다. 또한, 본 논문의 방법에서는 텍스트가 포함된 비디오 프레임으로 요약 비디오를 구성하여 전체 비디오를 짧은 시간에 개괄적으로 볼 수 있는 기능도 제공한다.

그러나, 상기 방법은 뉴스 비디오에 존재하는 자막만을 이용하므로, 뉴스에서 사용된 음성정보 등 그 이외의 많은 정보들을 사용하지 않기 때문에 데이터베이스를 구축하는데 있어서 상당히 제한적인 단점이 있으며, 방송국마다 뉴스의 헤드라인 텍스트 등의 자막을 편집하는 스타일이 다양하므로 단지 자막의 크기 등만을 이용한다는 것은 정확성이 떨어질 수 있는 문제점이 있다.

본 발명은, 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 폐쇄자막 뉴스 문서의 구조화, 색인어 및 이의 부가정보 추출을 통한 용어사전 구축, 폐쇄자막 문자열과 오디오트랙의 음성정보와의 시간적인 정합 등을 주요 기능 요소로 하여 뉴스 문자열 및 이와 동기를 이룬 뉴스 비디오를 검색하기 위한 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치 및 방법과 그에 따른 내용기반 검색/탐색 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.

도 1 은 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치의 일실시예 전체 시스템 구성도.

도 2 는 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 포함된 디지털 뉴스 비디오 정보 가공부의 일실시예 상세 구성도.

도 3 은 본 발명에 따른 구조화된 폐쇄자막 문서의 예시도.

도 4 는 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 검색 방법의 일실시예 흐름도.

도 5 는 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 탐색 방법의 일실시예 흐름도.

* 도면의 주요 부분에 대한 부호의 설명

101 : 디지털 뉴스 비디오 데이터베이스 생성부

102 : 디지털 뉴스 비디오 검색부

103 : 디지털 뉴스 비디오 정보 취득부

104 : 디지털 뉴스 비디오 정보 가공부

105 : 뉴스 방송 프로그램

106 : 디지털 뉴스 비디오 데이터베이스

상기 목적을 달성하기 위한 본 발명의 장치는, 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 있어서, 폐쇄자막 문서를 의미있는 단위로 계층적 분할하기 위하여, 구조화된 폐쇄자막 문서에 삽입된 화자정보를 이용하여 문서를 분할하는 자막문서 구조화수단; 상기 자막문서 구조화수단을 통해 의미있는 단위로 계층적 분할된 폐쇄자막 문서로부터 색인어와 부가정보를 추출하여 용어사전을 구축하기 위한 색인어 및 부가정보 추출수단; 및 상기 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오내 오디오트랙 음성정보와의 동기를 맞추기 위한 오디오 자막 동기수단을 포함하여 이루어진 것을 특징으로 한다.

그리고, 본 발명은, 상기 자막문서 구조화수단을 통해 의미있는 단위로 계층적 분할된 폐쇄자막 문서로부터 단위 기사의 제목을 추출하기 위한 분할단위 제목 추출수단; 및 디지털 형태의 상기 폐쇄자막 문서와 상기 디지털 뉴스 비디오를 취득하기 위한 디지털 뉴스 비디오 정보 취득수단을 더 포함하여 이루어진 것을 특징으로 한다.

또한, 본 발명의 방법은, 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 적용되는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 방법에 있어서, 폐쇄자막 문서를 의미있는 단위로 계층적 분할을 하여 구조화된 폐쇄자막 문서 정보를 생성하는 문서정보 생성단계; 상기 문서정보 생성단계를 통해 생성된 구조화된 폐쇄자막 문서 정보로부터 색인어와 부가정보를 추출하여 용어사전 정보를 생성하는 용어사전 정보 생성단계; 상기 문서정보 생성단계에서 생성된 구조화된 폐쇄자막 문서 정보로부터 단위 기사의 제목 정보를 생성하는 제목 정보 생성단계; 상기 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오내 오디오트랙 음성정보와의 동기를 맞추어 동기화된 시간코드 정보를 생성하는 시간코드 정보 생성단계; 및 상기 생성된 정보들과 디지털 뉴스 비디오를 바탕으로, 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오를 연계하는 데이터베이스를 생성하는 데이터베이스 생성단계를 포함하여 이루어진 것을 특징으로 한다.

또한, 본 발명의 방법은, 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 의해 생성된 뉴스 비디오 데이터베이스에 대한 내용기반 검색 방법에 있어서, 폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하는 데이터베이스 생성단계; 사용자의 텍스트 질의에 따라, 상기 데이터베이스 생성단계에서 생성된 뉴스 비디오 데이터베이스를 검색하는 데이터베이스 검색단계; 상기 데이터베이스 검색단계의 검색 결과에 따라 우선순위를 부여하여 출력하는 제1 출력단계; 및 상기 우선순위 출력단계의 출력 결과에 대한 사용자의 선택에 따라, 폐쇄자막 문자열과 해당 뉴스 비디오를 같이 출력하는 제2 출력단계를 포함하여 이루어진 것을 특징으로 한다.

또한, 본 발명의 방법은, 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 의해 생성된 뉴스 비디오 데이터베이스에 대한 내용기반 탐색 방법에 있어서, 폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하는 데이터베이스 생성단계; 및 사용자의 기사 탐색기를 통한 선택에 따라, 해당 폐쇄자막 문자열과 해당 뉴스 비디오를 같이 출력하는 출력단계를 포함하여 이루어진 것을 특징으로 한다.

한편, 본 발명은, 프로세서를 구비한 데이터베이스 생성 장치에, 폐쇄자막 문서를 의미있는 단위로 계층적 분할을 하여 구조화된 폐쇄자막 문서 정보를 생성하는 문서정보 생성기능; 상기 문서정보 생성기능을 통해 생성된 구조화된 폐쇄자막 문서 정보로부터 색인어와 부가정보를 추출하여 용어사전 정보를 생성하는 용어사전 정보 생성기능; 상기 문서정보 생성기능에서 생성된 구조화된 폐쇄자막 문서 정보로부터 단위 기사의 제목 정보를 생성하는 제목 정보 생성기능; 상기 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오내 오디오트랙 음성정보와의 동기를 맞추어 동기화된 시간코드 정보를 생성하는 시간코드 정보 생성기능; 및 상기 생성된 정보들과 디지털 뉴스 비디오를 바탕으로, 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오를 연계하는 데이터베이스를 생성하는 데이터베이스 생성기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

또한, 본 발명은, 프로세서를 구비한 검색장치에, 폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하는 데이터베이스 생성기능; 사용자의 텍스트 질의에 따라, 상기 데이터베이스 생성기능에서 생성된 뉴스 비디오 데이터베이스를 검색하는 데이터베이스 검색기능; 상기 데이터베이스 검색기능의 검색 결과에 따라 우선순위를 부여하여 출력하는 제1 출력기능; 및 상기 우선순위 출력기능의 출력 결과에 대한 사용자의 선택에 따라, 폐쇄자막 문자열과 해당 뉴스 비디오를 같이 출력하는 제2 출력기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

또한, 본 발명은, 프로세서를 구비한 탐색장치에, 폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하는 데이터베이스 생성기능; 및 사용자의 기사 탐색기를 통한 선택에 따라, 해당 폐쇄자막 문자열과 해당 뉴스 비디오를 같이 출력하는 출력기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.따라서, 본 발명은, 폐쇄자막 문서를 구조화하고, 폐쇄자막 문서를 대상으로 하여 주요 단어 및 이의 부가정보를 추출하여 용어 사전을 구축하고, 분할된 단위의 기사 제목을 추출하고, 폐쇄자막 문자열과 뉴스 비디오와의 동기를 통하여 결과적으로 텍스트 질의 또는 기사탐색기를 통하여 뉴스의 자막문자열과 이에 해당하는 동기화된 비디오를 정확하게 제공하는 특징이 있다.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

도 1 은 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치의 일실시예 전체 시스템 구성도이다.

도 1 에 도시된 바와 같이, 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치는, 디지털 뉴스 비디오 데이터베이스를 구축하는 디지털 뉴스 비디오 데이터베이스 생성부(101)와 이를 이용하여 검색하는 디지털 뉴스 비디오 검색부(102)를 구비한다.

각 부분을 좀 더 상세히 살펴보면, 디지털 뉴스 비디오 데이터베이스 생성부(101)는 디지털 형태의 폐쇄자막 문서와 뉴스 비디오를 취득하는 디지털 뉴스 비디오 정보 취득부(103) 및 상기 취득한 디지털 뉴스 비디오 정보를 가공하여 검색에 적합한 형태로 가공하는 디지털 뉴스 비디오 정보 가공부(104)를 포함한다.

여기서, 디지털 뉴스 비디오 정보 취득부(103)는 입력신호가 아날로그인 경우에 디지털 형태의 뉴스 비디오와 폐쇄자막 문서를 얻는 기능을 수행하고, 동영상 부호화기를 사용하여 뉴스방송 프로그램(105)으로부터 디지털 뉴스 비디오를 얻는다. 입력신호가 디지털 신호인 경우에는 디지털 뉴스 비디오 정보 취득부(103)는 생략된다.

여기서, 폐쇄자막(closed caption) 문서는 자막 복호기를 통하여 볼 수 있는 문자열로써 비디오내에 표시되는 자막(embedded text)과 구분된다. 자막 복호기를 통해서 나온 데이터는 화자에 의해 발음된 음성의 문자열 정보와 "앵커", "인터뷰", "기자" 등의 화자에 관한 정보, 그 외 구두점과 같은 부가정보가 포함된 속기사에 의해 기록된 문서이다. 또한, 이 문서에는 자막이 나타나는 시간에 대한 정보가 어절 단위로 포함되어 있다.

또한, 디지털 뉴스 비디오 정보 가공부(104)에서는 취득한 디지털 형태의 폐쇄자막 문서와 뉴스 비디오를 대상으로 효과적인 멀티 모달 검색에 적합한 형태의 데이터로 가공하는 기능을 수행한다. 이에 대한 상세한 설명은 후술되는 도 2를 통해 상세히 설명하기로 한다.

한편, 디지털 뉴스 비디오 검색부(102)는 사용자의 선택에 의해, 디지털 뉴스 비디오 데이터베이스 생성부(101)를 통해 생성된 디지털 뉴스 비디오 데이터베이스(106)를 문자열 등을 이용하여 검색하고, 그 검색 결과를 상기 검색 결과에 동기화된 뉴스 비디오 영상과 함께 출력한다.

도 2 는 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 포함된 디지털 뉴스 비디오 정보 가공부의 일실시예 상세 구성도이다.

도 2 에 도시된 바와 같이, 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 포함된 디지털 뉴스 비디오 정보 가공부는, 폐쇄자막 문서(201)를 의미있는 단위로 계층적 분할(segmentation)하기 위하여, 구조화된 폐쇄자막 문서에 삽입된 화자정보를 이용하여 문서를 분할하는 자막문서 구조화기(structuring)(203)와, 자막문서 구조화기(203)에서 의미있는 단위로 계층적으로 분할된 폐쇄자막 문서(201)로부터 색인어와 부가정보를 추출하여 용어사전을 구축하기 위한 색인어 및 부가정보 추출기(204)와, 자막문서 구조화기(203)에서 의미있는 단위로 계층적으로 분할된 폐쇄자막 문서(201)로부터 단위 기사의 제목을 추출하기 위한 분할단위 제목 추출기(205) 및 폐쇄자막 문서(201)의 문자열과 디지털 뉴스 비디오(202)내 오디오트랙 음성정보와의 동기를 맞추기 위한 오디오 자막 동기기(206)를 구비한다.여기서, 색인어 및 부가정보 추출기(204)는 용어사전 구축을 통해 추출된 단어가 사전식(알파벳순)으로 재배열되는 것으로, 색인된 비디오를 순차적으로 모두 탐색할 필요없이 사전에서 단어를 찾는 식으로 접근 가능하며, 재배열된 용어에 부가정보로 그 단어가 속한 비디오의 위치, 빈도수를 포함하고, 상기 비디오 위치 정보에 따라 사전식으로 접근해서 찾은 용어에 해당하는 비디오 구간을 바로 찾아가도록 하며, 빈도수 정보를 근거로 중요도를 계산하여 우선 순위가 높은 순서대로 검색 결과를 출력한다.

각각의 구성부분을 좀 더 상세히 살펴보면, 자막문서 구조화기(203)는 디지털 뉴스 정보 취득부(103)로부터 전달된 폐쇄자막 문서(201)를 의미있는 단위로 계층적인 분할(segmentation)을 수행하여 구조화된 자막문서(208)를 추출한다.

여기서, 폐쇄자막 문서(201)에 대한 의미있는 단위로의 계층적인 분할은 뉴스 검색의 단위(하나의 뉴스 기사(즉, 하나의 동일한 주제를 방영하는 단위)로 사용하기 위해서 필요한데, 일반적으로 검색은 기사 단위로 이루어지기 때문에 기사 단위로 분할하는 것이 일반적이지만, 좀 더 세분화하여 검색하기 위해 더 작은 단위로 분할하여 검색하는데 이용되도록 할 수도 있다.

좀 더 자세히 설명하면, 일반적으로 뉴스 비디오에서 하나의 기사는 앵커, 기자, 인터뷰 등의 다수의 화자에 의해 구성되는데, 1회 방송 분량의 뉴스 비디오의 폐쇄자막 문서는 기사 단위 또는 기사 내의 각각의 화자 단위로 계층적 형태의 분할을 할 수 있다. 기사 내의 각각의 화자 단위로 계층적 형태의 분할을 하는 경우, 화자에 대한 분할 정보는 일반적으로 폐쇄자막 복호기에 의해 제공된다. 따라서, 폐쇄자막 복호기에 의해 제공되는 분할 정보에 따라 분할한다.

또한, 기사에 대한 분할은 몇몇 유형의 화자의 전환패턴을 도식화하여 그에 따라 분할하는 방법 등을 이용할 수 있다.

또한, 분할된 단위로 데이터 베이스를 관리하기 위하여 분할 단위의 고유한식별 번호를 할당한다.

그리고, 자막문서 구조화기(203)로부터 의미있는 단위로 계층적 분할된 폐쇄자막 문서를 전달받은 색인어 및 부가정보 추출기(204)는 상기 계층적 분할된 폐쇄자막 문서로부터 색인어와 부가정보를 추출하여 용어사전(207)을 생성한다.

여기서, 색인어란 검색하는 관점에서 볼 때 유용하리라고 판단되는 명사형의 단어를 의미하며, 일반적인 형태소 분석기 방법, 명사추출기 등의 임의적인 방법을 사용하여 추출해 낼 수 있다.

또한, 이에 대한 부가정보로는 용어가 발생한 문서의 빈도수, 용어가 속한 문서의 고유번호(ID), 용어가 발생한 분할 단위의 빈도수, 용어가 발생한 분할 단위의 고유번호(ID), 분할 단위 내 발생한 용어의 빈도수 등이 있다. 이 중에서 빈도수와 관련된 정보는 검색과정에서 순위를 갖는 검색결과를 보여줄 때 가중치로 사용된다. 즉, 용어가 나온 문서의 빈도수가 낮으면서 해당 문서에 그 용어의 빈도수가 높을수록 많은 가중치를 부여한다.

상기 부가 정보에 포함된 빈도수와 관련된 정보들은 검색의 단위에 따라 각각 관련된 빈도수 정보가 틀리게 사용된다. 예를 들어, 기사 단위의 검색을 하는 경우에는 색인어가 나온 기사의 빈도수를 사용한다.

용어의 화자에 대한 정보는 용어가 속한 화자에 관한 정보로, 검색의 범위를 화자 중심으로 앵커, 기자, 리포터 등으로 제한할 때 사용된다.

색인어와 이의 부가정보는 저장 및 검색의 관점에서 효율적으로 이용하기 위하여 임의의 구조화된 형태로 저장할 수 있다.

그리고, 분할단위 제목 추출기(205)는 자막문서 구조화기(203)에 의해서 계층적으로 분할된 폐쇄자막 문서로부터 분할된 단위 기사의 제목을 추출한다. 여기서, 분할된 단위 기사라는 것은 자막문서 구조화기(203)에서 계층적 분할의 단위가 되는 기사 또는 기사 내 화자 단위를 의미한다.

여기서, 제목은 사람이 수동으로 부여할 수도 있으며 자동적으로 결정할 수도 있는데, 자동인 경우에는 해당하는 기사 또는 기사내 화자 단위에서 추출한 색인어의 일부를 선정하여 제목으로 결정한다. 이와 같이, 색인어의 일부를 선정하여 제목을 결정하는 방식은 색인어가 추출된 순서 또는 색인어의 가중치 등을 이용하여 이루어진다. 이와 같이 추출된 각각의 제목은 텍스트 질의를 통한 검색 결과를 제공할 때 사용된다.

그리고, 오디오-자막 동기기(206)는 폐쇄자막 문서(201)의 폐쇄자막 문자열과 디지털 뉴스 비디오(202)의 오디오 신호 구간과의 동기를 맞춘다.

디지털 뉴스 비디오(202)에서 비디오 데이터와 음성 데이터는 원칙적으로 동기가 이루어져 있으나, 폐쇄자막 문서(201)의 폐쇄자막 문자열과 이에 대한 시간 정보는 비디오 프로그램에서 화자가 발생시키는 오디오 트랙의 음성 정보와 정확한 동기가 이루어져 있지 못하다.

일반적으로, 폐쇄자막 문서(201)의 폐쇄자막 문자열에 포함된 시간 코드는 비디오 프로그램에서 해당 음성이 발생한 시간의 2~7초 후의 시간 정보가 저장되어 있다. 따라서, 폐쇄자막 문서(201)를 내용기반으로 분할하고 이를 이용해서 해당하는 비디오를 정확하게 분할하기 위해서는 음성인식 기술을 사용해서 자막 문서에 있는 시간코드와 비디오 프로그램의 비디오/오디오 신호 구간의 동기를 맞추는 과정이 필요하다.

이에 따라, 폐쇄자막 정보를 이용한 어의적인(semantic) 분할이 곧, 이와 동기를 이룬 해당하는 비디오를 내용기반으로 분할하는 효과를 가져온다.

즉, 오디오-자막 동기기(206)는 폐쇄자막 문서(201)의 폐쇄자막 문자열과 폐쇄자막 문서(201)의 폐쇄자막 문자열이 디지털 뉴스 비디오에 표시되는 시간정보, 그리고 디지털 뉴스 비디오(202)에서 추출한 오디오 정보를 입력으로 사용하여, 입력된 자막 문자열의 시간정보를 실제 발음된 시간정보인 동기화된 시간코드(210)로 갱신시키는 기능을 수행한다.

이때, 음성인식 과정에서는 입력으로 들어온 시간정보를 참조로 하여 일정 구간만을 탐색 범위로 선정하여 계산량을 줄일 수 있다. 여기서, 음성인식 과정은, 폐쇄자막 문서의 분할 결과를 비디오의 분할로 활용하는 결과에서 오차를 보정하기 위한 것으로, 이 오차를 보정함으로써 폐쇄자막의 분할(화자의 전환 패턴을 이용해서 분할하는 것)이 정확하게 그에 해당하는 비디오 구간의 분할로 활용되도록 한다.

그리고, 디지털 뉴스 비디오 정보 가공부(104)에 의해 생성되는 디지털 뉴스 비디오 데이터베이스(106)는 자막문서 구조화기(203)에 의해 구조화된 폐쇄자막 문서(208), 색인어 및 부가정보 추출기(204)에 의해 생성된 용어사전(207), 분할단위 제목 추출기(205)에 의해 생성된 분할단위 제목(209), 오디오-자막 동기기(206)에 의한 폐쇄자막 문자열과 음성신호와의 동기화된 시간코드(210) 및 디지털 뉴스 비디오(202)를 포함한다.

도 3 은 본 발명에 따른 구조화된 폐쇄자막 문서의 예시도로서, 구조화된 폐쇄자막 문서(208)는 화자 등에 대한 정보, 분할 단위로 할당된 고유 식별번호, 분할정보 및 동기화된 시간정보로 구성된다.

도 3에 도시된 바와 같이, <EVENT>, <ANCHOR> 등으로 표시된 것이 분할정보(303)에 해당된다. 분할정보(303) 이외에도 화자 등에 대한 정보(301)와 분할 단위별로 할당된 고유 식별번호(302) 등을 삽입한다.

도 3에서 화자에 대한 정보(301)로써 앵커인 경우에 "1", 리포트는 "2", 인터뷰에는 "3"을 고유하게 할당하였다. 화자에 대한 번호할당은 사용자가 임의로 할 수 있으며, 용어사전을 구성하는 과정에서 색인어의 부가정보중의 하나로 화자에 대한 정보(301)가 사용된다. 이는 검색과정에서 검색의 범위를 선정하는데 사용될 수 있다. 예를 들어, 검색범위를 앵커로 제한하는 경우에 용어사전 중에서 화자에 대한 부가정보가 앵커(1)인 경우만을 검색한다. 분할 단위별로 할당되는 고유식별 번호는 분할 단위별로 중복된 번호없이 고유하게 사용자가 할당할 수 있다. 할당하는 규칙은 사용자가 임의로 정하여 사용할 수 있다. 그 이외에 문장 단위로 문자열과 디지털 비디오 음성신호와 동기화된 시간정보(304)등을 포함한다.

도 4 는 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 검색 방법의 일실시예 흐름도이다.

도 4 에 도시된 바와 같이, 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 검색 방법은, 사용자의 텍스트 질의를 입력으로 하여 용어사전을 대상으로 검색을 실시하여 해당하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스의 뉴스 비디오와 폐쇄자막 문서를 제공하는 과정을 보여 주고 있다.

우선, 폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하고(401), 사용자가 텍스트 질의를 하면(402), 뉴스 비디오 데이터베이스 내의 용어사전을 대상으로검색을 실시하여(403), 순위가 부여된 검색 결과를 출력한다(404).

여기서, 검색 결과에 대한 순위 부여는 색인어 빈도수와, 검색 문서 전체의 개수에 대한 질의어가 포함된 문서 개수의 비에 관한 정보인 역문헌 빈도수를 이용하여 산출한 가중치를 기반으로 한다.

또한, 사용자의 텍스트 질의에 의한 검색 단위로는 일자, 기사, 기사 내 화자 단위 등으로 지정할 수 있으며, 검색 단위의 빈도수 관련 정보를 이용하여 순위를 결정한다. 또한, 용어 사전에는 용어가 속한 화자에 관한 정보가 있으므로 이를 이용하여 검색의 범위를 전체, 앵커, 기자, 인터뷰 등으로 제한하여 검색할 수 있다.

상기와 같이 검색된 결과는 사용자에게 우선, 검색된 뉴스의 날짜, 제목 등을 출력한다(404). 이 결과 중에서 사용자가 선택을 하면(405), 선택된 기사의 폐쇄자막 문자열과 뉴스 비디오를 추출하여 사용자에게 제공한다(406). 이와 같은 동작은 사용자의 질의가 끝날때까지 반복한다(407).

이때, 폐쇄자막 문자열 및 뉴스 비디오 추출의 내부적인 동작은 검색기의 결과로 검색된 용어의 문서 번호와 문서내 분할 단위의 고유번호를 이용하여 구조화된 폐쇄자막 문서내의 해당 문자열과 비디오를 억세스하여 사용자에게 디스플레이 하는 방법에 의한다.

상기의 구조화된 폐쇄자막 문서에는 분할 단위별로 분할 태그가 삽입되어 있으며, 분할 단위의 고유번호가 삽입되어 있어 해당하는 문자열의 범위를 정확히 추출할 수 있다.

그리고, 폐쇄자막 문자열과 동기화된 뉴스 비디오를 출력하는 것은 오디오-자막 동기기의 동기화 수행 결과로써 디지털 뉴스 데이터베이스내에 존재하는 동기화된 시간코드를 이용하여 분할된 단위로 매칭된 비디오 구간에 관한 정보를 이용한다.

도 5 는 본 발명에 따른 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 탐색 방법의 일실시예 흐름도이다.

우선, 폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하고(501), 사용자가 기사 탐색기를 통해서 탐색을 하다가 원하는 기사를 선택하면(502) 이에 대한 폐쇄자막 문자열과 뉴스 비디오를 제공한다(503). 이와 같은 동작은 사용자의 질의가 끝날때까지 반복한다(504).

여기서, 기사 탐색기는 기사의 제목 목차와 이것을 사용자에 요구에 따라 계층적으로 보여주는 기능이 포함되어 있어서 사용자가 효과적으로 기사를 탐색할 수 있도록 도와준다.

제목 목차는 분할단위 제목 추출기에서 추출한 각각의 제목에 이에 해당하는 자막 문자열과 비디오 구간 정보를 연결시켜 전체적으로 모아서 만든 것을 의미한다. 년/월/일/기사/화자 등의 계층적인 목차(Table of Contents)가 구성될 수 있으며, 사용자는 이를 이용하여 원하는 뉴스를 탐색할 수 있다.

예를 들어, 사용자가 특정 일을 선택하면 그 일에 해당하는 기사 제목을 볼 수 있으며, 이중에서 특정 기사를 선택하면 그 기사의 화자별 제목을 볼 수 있다.이러한 제목을 참조로 하여 사용자가 보기 원하는 기사를 최종적으로 선택하면 문자열 및 비디오 검출기에서 해당하는 뉴스의 문자열과 비디오를 제공해주는 기능을 수행한다.

본 발명에서 본 도 5 의 탐색 방법의 "탐색" 이라는 단어는 도 4 의 검색 방법의 "검색"이라는 단어와 구별되어 사용하였으며, 디지털 뉴스 검색부에서 "검색"의 의미는 텍스트 질의에 의한 용어사전 검색을 통한 방법과 기사탐색기를 통한 뉴스 탐색 방법 모두를 포함하는 광의의 의미로 사용하였다.

양호하게는, 상기의 디지털 뉴스 비디오 데이터베이스 및 검색기는 서버에 위치하며, 텍스트 질의기 및 기사 탐색기는 클라이언트에 위치하여 원격 서비스가 가능한 서버/클라이언트 구조의 뉴스 문자열 및 동기화된 뉴스 비디오 검색 시스템을 구성할 수 있다.

이때, 서버에는 뉴스 비디오를 스트리밍하기 위한 기능이 추가적으로 필요하며, 클라이언트에서는 웹 브라우저를 사용할 수 있다.한편, 본 발명에서와 같이, 자막문서의 구조화를 통해 개념적인 단위의 비디오 분할이 가능해지는 이유는 기본적으로 폐쇄자막 문서에 삽입된 화자정보를 이용하여 문서를 분할하고, 이 분할된 결과를 비디오 분할에 활용하기 때문이다. 화자 정보는 방송사 속기사에 의해 직접 삽입되는 정보로 "앵커", "리포터", "기자" 등과 같은 태그 정보이다(이러한 정보는 캡션 디코더를 통해 취득한다). 일반적으로 하나의 뉴스(예를 들면, 9시 뉴스)는 다수의 기사로 구성되고, 다시 하나의 기사는 여러 사람의 화자를 통해서 보도가 된다.이에 대해 보다 상세히 설명해보면, 화자의 구성이나 순서가 어떤 패턴을 갖고 있음을 알 수 있다. 예를 들면 앵커가 간단하게 사건에 대한 개요를 설명한 후, 리포터가 현지에서 취재를 통해 부가 설명을 하고, 현장의 사람들과 인터뷰하는 장면으로 그 기사를 마무리한다면, 이러한 경우는 하나의 뉴스 기사가 앵커-리포터-기사 등으로 구성된 경우이다. 본 발명은 이러한 화자의 변환 패턴을 모델링하여 하나의 의미있는 단위의 기사 단위로 분할한 것이다. 효과적인 측면에서 비교해보면 종래에는 검색의 단위가 장면의 전환점을 찾아 구분되는 뉴스 덩어리인 반면, 본 발명은 개념적인 기사단위가 되는 것이다. 따라서, 뉴스 쟝르의 특성상 소비자는 개념적인 기사 단위로 검색을 보고자하기 때문에 본 발명에 따른 기술이 보다 효과적임을 알 수 있다. 이를 위해 접근 방식으로는 오디오/비디오 신호와 같은 물리적인 특성을 이용하여 장면의 전환점을 찾아 물리적인 단위로 분할하는 종래의 기술과는 달리 화자의 천이 패턴을 모델링하여 개념적인 단위의 분할이 가능하도록 한다.또한, 본 발명에서와 같이 음성인식 과정을 수행하는 이유는 폐쇄자막 문서의 분할 결과를 비디오의 분할로 활용하는 결과에서 오차를 보정하기 위한 것이다. 이에 대해 자세히 살펴보면, 방송국에서 삽입하는 폐쇄자막은 속기사가 앵커 등이 하는 얘기를 직접 들으면서 손으로 타이핑하여 생성하게 된다. 이때, 속기사가 타이핑하는 단어에 시간 값(time code)이 같이 생성되어 방송신호에 삽입된다. 이때, 삽입된 시간 값은, 속기사가 앵커 등이 얘기하는 것을 들은 다음에 타이핑하기 때문에 앵커가 실제로 얘기한 시간과 약 2~7초 정도의 차이가 발생한다. 이 차이를 없애는 것이 본원 발명에 따른 음성인식을 수행하기 위한 목적인 것이다. 따라서, 이 차이를 없애기 위해서는 폐쇄자막 문서의 분할(상기의 화자의 전환패턴을 이용해서 분할)이 정확하게 그에 해당하는 비디오 구간의 분할로 활용되도록 해야 한다.따라서, 본 발명에서 제시된 음성인식 방법을 통해 뉴스 기사의 정확한 분할 시점을 찾을 수 있고, 또한 용어 사전을 통한 검색 방법을 통해 사전식 검색을 통한 검색 속도를 향상시킬 수 있다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

상기한 바와 같은 본 발명은, 뉴스 비디오의 폐쇄자막 문서를 내용기반으로 구조화하고, 폐쇄자막 문서로부터 용어사전을 구축하며, 자막 문자열과 디지털 비디오의 오디오 트랙과의 시간적인 정합을 수행하여 문서의 구조화가 곧 내용기반 비디오의 구조화 효과를 유도하고, 분할 단위로 제목을 추출하여 텍스트 검색기, 기사 탐색기 등을 통하여 해당 뉴스 기사의 문자열과 비디오를 동시에 검색할 수 있는 효과가 있다.

Claims (18)

1. 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 있어서,

   폐쇄자막 문서를 의미있는 단위로 계층적 분할하기 위하여, 구조화된 폐쇄자막 문서에 삽입된 화자정보를 이용하여 문서를 분할하는 자막문서 구조화수단;

   상기 자막문서 구조화수단을 통해 의미있는 단위로 계층적 분할된 폐쇄자막 문서로부터 색인어와 부가정보를 추출하여 용어사전을 구축하기 위한 색인어 및 부가정보 추출수단; 및

   상기 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오내 오디오트랙 음성정보와의 동기를 맞추기 위한 오디오 자막 동기수단

   을 포함하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치.
2. 제 1 항에 있어서,

   상기 자막문서 구조화수단을 통해 의미있는 단위로 계층적 분할된 폐쇄자막 문서로부터 단위 기사의 제목을 추출하기 위한 분할단위 제목 추출수단; 및

   디지털 형태의 상기 폐쇄자막 문서와 상기 디지털 뉴스 비디오를 취득하기 위한 디지털 뉴스 비디오 정보 취득수단

   을 더 포함하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치.
3. 제 2 항에 있어서,

   상기 분할단위 제목 추출수단은,

   사용자에 의해 제목을 부여하는 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치.
4. 제 2 항에 있어서,

   상기 분할단위 제목 추출수단은,

   상기 분할된 단위 기사의 색인어의 일부를 선정하여 제목을 부여하는 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

   상기 의미있는 단위는,

   하나의 뉴스 기사(하나의 주제를 방영) 단위이거나 기사 내의 화자 단위인 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치.
6. 제 5 항에 있어서,

   상기 용어사전 구축 과정은,

   상기 용어사전 구축을 통해 추출된 단어가 사전식(알파벳순)으로 재배열되는 것으로, 색인된 비디오를 순차적으로 모두 탐색할 필요없이 사전에서 단어를 찾는 식으로 접근 가능하며, 재배열된 용어에 부가정보로 그 단어가 속한 비디오의 위치, 빈도수를 포함하고, 상기 비디오 위치 정보에 따라 사전식으로 접근해서 찾은 용어에 해당하는 비디오 구간을 바로 찾아가도록 하며, 빈도수 정보를 근거로 중요도를 계산하여 우선 순위가 높은 순서대로 검색 결과를 출력하는 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치.
7. 제 6 항에 있어서,

   상기 오디오 자막 동기수단은,

   음성인식 방법을 사용해서 상기 폐쇄자막 문서의 문자열과 상기 폐쇄자막 문서의 문자열이 디지털 뉴스 비디오에 표시되는 시간정보와 상기 디지털 뉴스 비디오에서 추출한 오디오 정보를 입력으로 사용하여, 입력된 상기 폐쇄자막 문서의 문자열의 시간정보를 실제 발음된 시간 정보인 동기화된 시간코드로 갱신하되,

   상기 음성인식 방법은, 폐쇄자막 문서의 분할 결과를 비디오의 분할로 활용하는 결과에서 오차를 보정하기 위한 것으로, 이 오차를 보정함으로써 폐쇄자막의 분할(화자의 전환 패턴을 이용해서 분할하는 것)이 정확하게 그에 해당하는 비디오 구간의 분할로 활용되도록 하는 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치.
8. 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 적용되는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 방법에 있어서,

   폐쇄자막 문서를 의미있는 단위로 계층적 분할을 하여 구조화된 폐쇄자막 문서 정보를 생성하는 문서정보 생성단계;

   상기 문서정보 생성단계를 통해 생성된 구조화된 폐쇄자막 문서 정보로부터 색인어와 부가정보를 추출하여 용어사전 정보를 생성하는 용어사전 정보 생성단계;

   상기 문서정보 생성단계에서 생성된 구조화된 폐쇄자막 문서 정보로부터 단위 기사의 제목 정보를 생성하는 제목 정보 생성단계;

   상기 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오내 오디오트랙 음성정보와의 동기를 맞추어 동기화된 시간코드 정보를 생성하는 시간코드 정보 생성단계; 및

   상기 생성된 정보들과 디지털 뉴스 비디오를 바탕으로, 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오를 연계하는 데이터베이스를 생성하는 데이터베이스 생성단계

   를 포함하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 방법.
9. 제 8 항에 있어서,

   상기 구조화된 폐쇄자막 문서 정보는,

   화자에 대한 정보, 분할 단위로 할당된 고유 식별번호, 분할정보 및 동기화된 시간정보를 포함하고,

   상기 부가정보는,

   상기 문서정보 생성단계를 통해 생성된 구조화된 폐쇄자막 문서 정보에서 해당 용어가 발생한 문서의 빈도수, 해당 용어가 속한 문서의 고유번호(ID), 해당 용어가 발생한 분할 단위의 빈도수, 해당 용어가 발생한 분할 단위의 고유번호(ID), 분할 단위 내 발생한 해당 용어의 빈도수를 포함하는 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 방법.
10. 제 8 항 또는 제 9 항에 있어서,

    상기 용어사전 정보 생성단계는,

    상기 용어사전 구축을 통해 추출된 단어가 사전식(알파벳순)으로 재배열되는 것으로, 색인된 비디오를 순차적으로 모두 탐색할 필요없이 사전에서 단어를 찾는 식으로 접근 가능하며, 재배열된 용어에 부가정보로 그 단어가 속한 비디오의 위치, 빈도수를 포함하고, 상기 비디오 위치 정보에 따라 사전식으로 접근해서 찾은 용어에 해당하는 비디오 구간을 바로 찾아가도록 하며, 빈도수 정보를 근거로 중요도를 계산하여 우선 순위가 높은 순서대로 검색 결과를 출력하는 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 방법.
11. 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 의해 생성된 뉴스 비디오 데이터베이스에 대한 내용기반 검색 방법에 있어서,

    폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하는 데이터베이스 생성단계;

    사용자의 텍스트 질의에 따라, 상기 데이터베이스 생성단계에서 생성된 뉴스 비디오 데이터베이스를 검색하는 데이터베이스 검색단계;

    상기 데이터베이스 검색단계의 검색 결과에 따라 우선순위를 부여하여 출력하는 제1 출력단계; 및

    상기 우선순위 출력단계의 출력 결과에 대한 사용자의 선택에 따라, 폐쇄자막 문자열과 해당 뉴스 비디오를 같이 출력하는 제2 출력단계

    를 포함하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 검색 방법.
12. 제 11 항에 있어서,

    상기 제1 출력단계는,

    상기 우선순위 부여를 위하여, 색인어 빈도수와, 검색 문서 전체의 개수에 대한 질의어가 포함된 문서 개수의 비에 관한 정보인 역문헌 빈도수를 이용하여 산출한 가중치를 기반으로 하는 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 검색 방법.
13. 폐쇄자막 기반의 뉴스 비디오 데이터베이스 생성 장치에 의해 생성된 뉴스 비디오 데이터베이스에 대한 내용기반 탐색 방법에 있어서,

    폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하는 데이터베이스 생성단계; 및

    사용자의 기사 탐색기를 통한 선택에 따라, 해당 폐쇄자막 문자열과 해당 뉴스 비디오를 같이 출력하는 출력단계

    를 포함하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 탐색 방법.
14. 제 13 항에 있어서,

    상기 기사 탐색기는,

    기사의 제목 목차와 상기 제목 목차를 사용자의 요구에 따라 계층적으로 보여주는 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 탐색 방법.
15. 제 14 항에 있어서,

    상기 제목 목차는,

    년, 월, 일, 기사, 화자를 포함하는 목차인 것을 특징으로 하는 폐쇄자막 기반의 뉴스 비디오 데이터베이스에 대한 내용기반 탐색 방법.
16. 프로세서를 구비한 데이터베이스 생성 장치에,

    폐쇄자막 문서를 의미있는 단위로 계층적 분할을 하여 구조화된 폐쇄자막 문서 정보를 생성하는 문서정보 생성기능;

    상기 문서정보 생성기능을 통해 생성된 구조화된 폐쇄자막 문서 정보로부터 색인어와 부가정보를 추출하여 용어사전 정보를 생성하는 용어사전 정보 생성기능;

    상기 문서정보 생성기능에서 생성된 구조화된 폐쇄자막 문서 정보로부터 단위 기사의 제목 정보를 생성하는 제목 정보 생성기능;

    상기 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오내 오디오트랙 음성정보와의 동기를 맞추어 동기화된 시간코드 정보를 생성하는 시간코드 정보 생성기능; 및

    상기 생성된 정보들과 디지털 뉴스 비디오를 바탕으로, 폐쇄자막 문서의 문자열과 디지털 뉴스 비디오를 연계하는 데이터베이스를 생성하는 데이터베이스 생성기능

    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
17. 프로세서를 구비한 검색장치에,

    폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하는 데이터베이스 생성기능;

    사용자의 텍스트 질의에 따라, 상기 데이터베이스 생성기능에서 생성된 뉴스 비디오 데이터베이스를 검색하는 데이터베이스 검색기능;

    상기 데이터베이스 검색기능의 검색 결과에 따라 우선순위를 부여하여 출력하는 제1 출력기능; 및

    상기 우선순위 출력기능의 출력 결과에 대한 사용자의 선택에 따라, 폐쇄자막 문자열과 해당 뉴스 비디오를 같이 출력하는 제2 출력기능

    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
18. 프로세서를 구비한 탐색장치에,

    폐쇄자막 기반의 뉴스 비디오 데이터베이스를 생성하는 데이터베이스 생성기능; 및

    사용자의 기사 탐색기를 통한 선택에 따라, 해당 폐쇄자막 문자열과 해당 뉴스 비디오를 같이 출력하는 출력기능

    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.