KR20000054561A - 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오검색 시스템 및 그 운영방법 - Google Patents

Abstract

개시된 본 발명은 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템 및 그 운영방법에 관한 것으로서, 본 발명은 인터넷을 통해 방송되는 모든 프로그램에 대해 장면별 또는 내용별 검색 정보를 별도로 생성하여 사용자에게 제공하고, 사용자는 이러한 장면별 또는 내용별 검색 정보를 이용하여 소정의 인터넷 방송 프로그램 전체에 대해 사용자 자신이 관심 있는 장면만을 선택하여 볼 수 있다.

Description

비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템 및 그 운영방법{A NETWORK-BASED VIDEO DATA RETRIEVING SYSTEM USING A VIDEO INDEXING FORMULA AND OPERATING METHOD THEREOF}

본 발명은 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템 및 그 운영방법에 관한 것이다.

보다 상세하게는 인터넷을 통해 방송되는 모든 프로그램의 동영상에 대응하는 장면별 또는 내용별 검색 정보들을 별도로 생성하여 사용자가 인터넷 방송의 모든 프로그램에 대해 사용자 자신이 관심 있는 장면만을 선택하여 볼 수 있게 하는 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템 및 그 운영방법에 관한 것이다.

기존의 MBC, KBS, SBS 등과 같은 공중파 방송국들이 인터넷에서 제공하고 있는 동영상 정보 서비스는 각 방송국의 프로그램 단위로 서비스되고 있다. 즉, 종래의 인터넷 방송 시청자는 소정 한 프로그램 중 자기가 시청하기를 원하는 내용의 장면을 선택하여 보기 위해서는 순차적으로 탐색을 하여야 하기 때문에 많은 시간이 필요하고 힘이 든다는 문제점이 있었다.

특히, 스포츠나 뉴스 혹은 연속극과 같은 프로그램은 이미 방영되어 그 전체의 내용을 알고 있기 때문에 전체 프로그램을 보기보다는 관심 있는 뉴스의 내용이나 스포츠의 하이라이트 부분 혹은 연속극의 어떤 부분만을 보기 원하는 경우가 일반적이다.

이에 따라 인터넷 방송 시스템 시청자에게 프로그램의 내용을 장면별로 구분하여 각 장면에 대한 내용 색인을 대표 영상으로 제공하고자 하는 필요성이 요구되었다.

본 발명의 목적은 전술한 문제점을 해결할 수 있도록 인터넷을 통해 방송되는 모든 프로그램의 동영상에 대응하는 장면별 또는 내용별 검색 정보들을 별도로 생성하고, 인터넷을 통해 방송 프로그램을 시청하는 사용자의 선택에 따라 장면별 또는 내용별 검색 정보들을 대표영상으로 갖는 웹 페이지를 인터넷을 통해 방송되고 있거나, 방송되었던 동영상 정보를 볼 수 있는 웹 페이지와는 별도로 제공하여 인터넷 방송의 모든 프로그램에 대해 사용자 자신이 관심 있는 장면만을 선택하여 볼 수 있게 하는 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템 및 그 운영방법을 제공함에 있다.

도 1은 본 발명에 따른 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 장면별 검색 시스템의 구성을 설명하기 위한 블록도,

도 2는 도 1에 적용된 비디오 정보 검색 서비스 서버의 구성을 도시한 블록도,

도 3은 본 발명에 따른 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템의 운영방법을 설명하기 위한 동작 흐름도,

도 4는 본 발명에 적용된 비디오 장면(shot) 자동 분할 방법을 설명하기 위한 블록 다이어그램 도면,

도 5는 본 발명에 적용된 비디오 장면 자동 분할 방법을 설명하기 위한 동작 흐름도,

도 6 내지 도 9는 도 5에 적용된 서브루틴을 좀더 상세하게 설명하기 위한 동작 흐름도,

도 10은 본 발명에 적용된 자막 분석 방법을 설명하기 위한 동작 흐름도,

도 11은 본 발명에 적용된 장면 분할방법을 좀 더 구체적인 실시예로 설명하기 위한 동작 흐름도,

도 12 내지 도 17은 도 11에 적용된 서브루틴을 좀더 상세하게 기술하기 위한 동작 흐름도,

도 18은 도 3에 적용된 서브루틴을 설명하기 위한 동작 흐름도,

도 19는 사용자의 편의를 위한 사용자 인터페이스용 웹 페이지를 설명하기 위한 도면,

도 20 내지 도 23은 본 발명에 의해 생성된 뉴스 검색용 웹 페이지의 일 실시예를 설명하기 위한 화면도이다.

*도면의 주요부분에 대한 부호설명*

100 : 네트워크 통신망 200 : 사용자 단말기

300 : 비디오 정보 검색 서비스 서버

310 : 비디오 입력부 320 : 비디오 분석부

330 : 서비스부

이와 같은 목적을 달성하기 위한 본 발명의 시스템은, 네트워크를 통해 외부로 전송될 동영상 정보를 그 분야별로 미리 설정된 기준에 따라 자동으로 장면을 검출, 분할 시켜 검색 정보를 생성하고, 네트워크 통신망을 통해 통신 접속 요청이 입력되는 경우 메인 웹 페이지를 전송하고, 메인 웹 페이지를 통해 입력되는 사용자의 요구신호에 응하여 동영상 출력용 웹 페이지 또는 동영상 검색 정보를 갖는 웹 페이지를 사용자에게 제공하여 사용자가 동영상을 보거나, 방송된 동영상 중 원하는 장면을 발췌해서 볼 수 있도록 하는 비디오 정보 검색 서비스 서버와, 네트워크 통신망을 통해 상기 비디오 정보 검색 서비스 서버에 통신 접속을 수행하고, 통신 접속을 이룬 비디오 정보 검색 서비스 서버에서 제공하는 메인 웹 페이지를 화면상에 출력하고, 메인 웹 페이지를 통해 입력하는 사용자의 요구신호에 따라 비디오 정보 검색 서비스 서버로부터 공급되는 동영상 정보 출력용 웹 페이지 또는 동영상 검색 정보를 갖는 웹 페이지를 수신 받아 화면상에 출력하는 사용자 단말기를 포함한다.

또한 상술한 목적을 달성하기 위한 본 발명의 방법은, (1) 비디오 정보 검색 서비스 서버는 네트워크 통신망을 통해 사용자 단말기로 전송될 동영상 정보의 분야를 체크하고, 체크된 분야에 대응하여 미리 설정된 조건에 따라 동영상 정보의 장면을 분할시켜 검색 정보를 생성하는 과정과, (2) 사용자 단말기는 사용자의 조작에 따라 통신 프로그램을 실행시켜 비디오 정보 검색 서비스 서버에 통신 접속을 이루는 과정과, (3) 비디오 정보 검색 서비스 서버는 사용자의 통신 접속 요청에 따라 동영상 정보 또는 검색 정보를 제공받을 수 있는 메인 웹 페이지를 사용자 단말기로 전송하고, 사용자는 사용자 단말기를 통해 전송 받은 메인 웹 페이지를 통해 소정의 동영상 정보 또는 검색 정보만을 갖는 웹 페이지를 전송 받는 과정을 더 포함하여 이루어진다.

이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예를 상세히 기술하기로 한다.

도 1은 본 발명에 따른 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템의 구성을 설명하기 위한 블록도이고, 도 2는 도 1에 적용된 비디오 정보 검색 서비스 서버의 구성을 도시한 블록도이다.

첨부 도면 도 1에 도시된 바와 같이, 네트워크 통신망(100)은 유무선 통신망을 포함하며, 불특정 다수의 사용자가 인터넷을 통해 방송되는 방송신호를 소정 키워드로 이루어진 검색 정보를 이용하여 보고 싶은 장면만 선택적으로 볼 수 있도록 하는 비디오 정보 검색 서비스 서버(300)로 통신 접속이 이루어질 수 있도록 한다.

비디오 정보 검색 서비스 서버(300)는 네트워크 통신망(100)을 통해 외부로 전송될 동영상 정보를 그 분야별로 미리 설정된 기준에 따라 자동으로 장면을 검출, 분할 시켜 대표 정지 영상의 검색 정보를 생성하고, 네트워크 통신망(100)을 통해 통신 접속 요청이 입력되는 경우 사용자 단말기(200)로 메인 웹 페이지를 전송하고, 상술한 메인 웹 페이지를 통해 입력되는 사용자의 요구신호에 응하여 동영상 출력용 웹 페이지 또는 동영상 검색 정보를 갖는 웹 페이지를 사용자에게 제공하여 사용자가 동영상을 보거나, 방송된 동영상 중 원하는 장면을 발췌해서 볼 수 있도록 한다.

사용자 단말기(200)는 네트워크 통신망(100)을 통해 상술한 비디오 정보 검색 서비스 서버(300)에 통신 접속을 수행하고, 통신 접속을 이룬 비디오 정보 검색 서비스 서버(300)에서 제공하는 메인 웹 페이지를 화면상에 출력하고, 메인 웹 페이지를 통해 입력하는 사용자의 요구신호에 따라 비디오 정보 검색 서비스 서버(300)로부터 공급되는 동영상 정보 출력용 웹 페이지 또는 동영상 검색 정보를 갖는 웹 페이지를 수신 받아 화면상에 출력한다.

상술한 비디오 정보 검색 서비스 서버(300)는 첨부 도면 도 2에 도시된 바와 같은 세부 구성요소로 이루어져 있는데, 이에 대해 좀 더 상세히 기술하면 다음과 같다.

비디오 입력부(310)는 서버운영자의 의도에 따라 외부로부터 입력되는 디지털 방송 데이터에 포함되어 폐쇄 자막 정보를 추출하는 자막 복호기(311)와, 서버운영자의 의도에 따라 외부로부터 입력되는 아날로그 방송 데이터를 MPEG 데이터로 변환하는 MPEG 부호기(312)와, 외부로부터 입력되는 방송 데이터를 체크하여 자막 정보 검출 또는 MPEG 데이터 변환용 제어신호를 출력하는 제어기(313)로 이루어져 서버운영자에 의해 예약되어 별도로 제작된 아날로그 방송 신호 또는 디지털 방송신호를 입력받거나, 기존의 방송국에 의해 제작된 아날로그 방송 신호 또는 디지털 방송신호를 입력받는다.

비디오 분석부(320)는, 자막 복호기(311)를 통해 출력되는 자막 정보에 시스템 시계를 이용하여 생성된 시간 태그를 첨가시키고, 시간 태그가 첨가된 자막 정보를 명사 단위로 하는 색인 영상 자료를 제작하여 출력하는 자막 분석기(322)와, MPEG 부호기(312)를 통해 출력되는 신호와 아날로그 방송신호를 입력받아 분할된 비디오 정보를 자동으로 생성하는 장면 분할기(321)와, 상기 자막 분석기(322) 또는 상기 장면 분할기(321)를 통해 생성된 색인 영상 자료 및 서버운영자의 조작에 따라 부가정보를 생성하고, 이를 사용자에게 제공하는 부가정보 입력기(323)와, 디지털 방송 신호 및 MPEG 부호기를 통해 출력되는 동영상 방송 신호를 네트워크 통신망(100)을 통해 제공할 수 있도록 스트림 파일로 제작하는 스트림 파일 제작기(324)로 이루어진다.

서비스부(330)는, 동영상 검색 정보를 갖는 웹 페이지를 생성하는 서비스 인터페이스부(331)와, 서비스 인터페이스부(331)를 통해 생성된 동영상 검색 정보를 갖는 웹 페이지를 네트워크 통신망(100)을 통해 사용자에게 전송하는 웹 서버(332)와, 스트림 파일 제작기(324)에 의해 제작된 스트림 파일을 네트워크 통신망(100)을 통해 사용자에게 전송하는 복수의 스트림 서버(333(1)∼333(N))로 이루어진다.

비디오 분석부(320)의 장면 분할기(321)는, MPEG 비트 스트림 데이터를 입력받아 비디오 정보와 오디오 정보로 분할하고, 분할 시 생성되는 타임 스탬프를 테이블로 제작하는 역다중화 및 동기화 모듈(110)과, 역다중화 및 동기화 모듈(110)에 의해 분리된 비디오 영상을 이용하여 각각의 정지영상 간의 프레임별 차이 값을 계산하고, 이 차이 값을 중간값 필터에 적용시키고, 신경망 회로에 입력시켜 장면 전환 지점을 검출하여 장면간을 분리시키는 비디오 분할 모듈(120)과, 역다중화 및 동기화 모듈에 의해 분리된 오디오 데이터 중 묵음 구간을 계산하여 일정기간 묵음 구간을 임계값으로 결정하고, 오디오 데이터의 묵음 구간이 상기 임계값을 초과하는 경우 새로운 프레임의 시작임을 인지하는 오디오 분할 모듈(130)과, 비디오 분할 모듈(120)에서 이루어진 결과와 오디오 분할 모듈(130)에서 이루어진 결과를 조건부 확률에 적용시켜 장면이 변하는 시점을 결정하는 정보융합모듈(140)로 이루어진다.

이와 같이 구성된 본 발명에 따른 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템의 동작을 첨부한 도면을 참조하여 좀 더 구체적으로 설명한다.

우선, 비디오 정보 검색 서비스 서버(300)는 네트워크 통신망(300)을 통해 사용자 단말기(200)로 전송될 동영상 정보의 분야를 체크하고, 체크된 분야에 대응하여 미리 설정된 조건에 따라 동영상 정보의 장면을 분할시켜 검색 정보를 생성하는 루틴을 수행한다(S100).

먼저, 상술한 검색 정보를 생성하기 위해서는 입력되는 디지털 동영상 데이터를 분할하는 검색 정보 생성 프로세서를 수행하여야 하는데, 그 분할 과정에 대해서 첨부 도면 도 4내지 도 19도를 참조하여 좀더 상세히 기술하면 다음과 같다.

첨부 도면 도 4 및 도 5에 도시된 바와 같이 동영상 데이터의 장면을 분할하는 방법은, 역다중화 및 동기화 모듈(110)을 통해 엠펙(MPEG) 스트림 데이터를 비디오 스트림 데이터 및 오디오 스트림 데이터로 분할하고(S110), 상술한 S110에서 분할된 비디오 스트림 데이터를 이용하여 비디오 분할 모듈(120)은 비디오 화면에 영상의 특성을 파악하여 장면의 변화지점을 검출하고(S120), 상기 S110에서 분할된 오디오 스트림 데이터를 이용하여 오디오 분할 모듈(130)은 미리 설정된 임계값과 비교하여 묵음구간을 검출하고, 이를 장면의 변환점으로 인식한다(S130).

상술한 S120 과정에서 분할된 비디오 스트림 데이터와 상술한 S130 과정에서 분할된 오디오 스트림 데이터를 이용하여 데이터 융합모듈(140)은 최종적인 장면 전환점을 검출하여 데이터화한다(S140).

한편, 상술한 S110 과정의 역다중화 및 동기화 과정은 첨부 도면 도 6에 도시된 바와 같이, MPEG 비트 스트림을 입력받아(S111), MPEG 비트 데이터를 비디오 스트림 데이터 및 오디오 스트림 데이터로 분할시킨 후(S112), 분할된 비디오 스트림 데이터 및 오디오 스트림 데이터에 타임 스탬프 정보를 부가시켜 테이블을 제작한다(S113).

상술한 S120 과정의 비디오 분할 과정에서 장면 변화지점을 찾는 방법은, 첨부 도면 도 7에 도시된 바와 같이, 상술한 과정(S112)을 통해 분할되어 비디오 분할 모듈(120)로 입력된 비디오 스트림 데이터가 마지막 프레임인지를 판단한다(S121).

상술한 S121 과정의 판단 결과, 입력된 비디오 스트림 데이터가 마지막 프레임이 아닌 경우 비디오 스트림 데이터 중 I 픽쳐 영역만을 추출하고(S122), 상술한 추출된 I 픽쳐 중 DC 이미지를 추출한다(S123).

상술한 S123 과정에서 추출된 DC 이미지만을 갖는 비디오 스트림 데이터를 입력받아 선행 정지영상과 다음 정지영상간의 프레임별 차이 값을 산출한다(S124). 이때 분류 기준은 연속된 영상의 막대 그래프(histogram) 차이와 픽셀간의 차이 값을 가지고 계산한다.

이렇게 산출된 프레임별 차이 값을 중간값 필터를 통해 필터링하고(S125), 상술한 중간값 필터에 의해 필터링된 프레임별 차이 값은 3×5×2 크기인 신경망 회로로 입력되어 학습과정을 수행한다(S126).

상술한 바와 같이 학습과정을 통해 출력된 값이 미리 설정된 값 이상이면 새로운 장면의 시작으로 등록하고(S128), 그렇지 않은 경우 상술한 S121 과정부터 재 수행한다(S127).

또한, 오디오 분할 모듈(130)에 의해 이루어지는 오디오 분할 루틴은 첨부 도면 도 8에 도시된 바와 같이 상술한 S112 과정에서 분할된 오디오 스트림 데이터를 입력받아 마지막 프레임인지를 판단한다(S131).

상술한 S131 과정의 판단 결과, 마지막 프레임이 아닌 경우 묵음 구간을 계산하고(S132), 계산된 묵음 구간이 미리 설정된 일정 기간을 초과하는지를 판단한다(S133). 판단 결과, 계산된 묵음 구간이 미리 설정된 일정 기간을 초과하는 경우 새로운 장면의 시작으로 등록시킨다(S134).

상술한 바와 같이 비디오 스트림 데이터 및 오디오 스트림 데이터에 의해 소정 장면에 대한 정보가 생성되면, 정보 융합 모듈(140)은 상술한 정보를 입력받아 최종적인 장면 전환 시점을 검출하여 검색 정보를 생성하게 되는데, 이를 첨부 도면 도 9를 참조하여 좀더 상세히 기술하면, S120 과정의 비디오 스트림 데이터 분석 결과와 S130 과정의 오디오 스트림 데이터 분석 결과를 입력받아(S141)(S142), 마지막 장면 전환 지점인지를 판단한다(S143).

상술한 S143 과정의 판단 결과 마지막 전환지점이 아닌 경우, 비디오 스트림 데이터 및 오디오 스트림 데이터의 분석 결과를 합성시키고, 합성된 데이터를 통계적인 모델로 인식한(S144) 후, 장면 전환지점인지를 판단하여 장면 전환지점인 경우 최종적인 장면 전환 지점을 찾아서 데이터화시킨다(S145)(S146).

한편, 자막 복호기(311)는 첨부 도면 도 10에 도시된 바와 같이, 자막이 방송되는 방송 컨텐츠를 입력받아 순수 글자 데이터만을 추출한다(S410). 이렇게 순수 글자 데이터만 추출한 후 컴퓨터 시스템에 존재하는 시스템 시계를 기준으로 하여 시간 태그를 추가되고, 추가하는 시간 태그는 자막 복호기(311)에서 입력으로 들어오는 데이터의 단위로 첨가된다(S420).

즉, 자막 복호기(311)로 입력되는 데이터가 문장 단위로 들어오는 경우 문장 단위로 시간 태그를 붙인다. 이렇게 얻어진 자막 정보는 일반적으로 영상신호와 정확히 동기가 맞질 않게 되므로, 자막 분석기(322)를 통해 폐쇄 자막 정보를 분석하고, 분석된 자막정보와 함께 영상 신호를 참조하여 동기를 맞추게 되고, 자막에 들어 있는 특수 문자를 이용하여 부가정보를 추출한다.

이렇게 얻어진 자막 정보는 이후 검색을 위해서 자막의 형태소 분석을 분석하여 명사단위의 색인 자료를 제작하고(S430), 시간 태그가 추가된 자막 정보 명사 색인 정보를 부가 정보 입력기(323)로 출력한다(S440).

이렇게 얻어진 텍스트 색인 정보는 뉴스 서비스에서 검색할 때 사용된다.

상술한 바와 같이 장면 분할기(321)에 의해 장면별로 분할되어 서비스 인터페이스부(331)로 입력되는 동영상 데이터는 의미있는 장면 별로 분할되어야 한다.

이때, 분할하는 방법은 첨부 도면 도 11에 도시된 바와 같이, 사용자의 요구에 맞는 서비스를 제공하기 위해서 비디오의 내용물에 따라 다른 분석 방법을 적용시키게 되는데, 이에 대해 첨부 도면 도 12 내지 도 18을 참조하여 설명하면 다음과 같다.

첫째, 첨부 도면 도 12에 도시된 바와 같이, 비디오 내용물이 뉴스 비디오에 먼저 설명하면 다음과 같다.

먼저 뉴스 비디오는 비디오 기본 단위인 뉴스 덩어리로 구분된다. 여기서, 뉴스 덩어리란 앵커가 나타나고 이후에 기자가 나타나는 비디오 단위를 말한다. 이를 자동으로 분리하기 위해서는 뉴스의 비디오 영상과 동시에 입력되는 자막 정보를 이용한다. 즉, 뉴스 비디오 영상과 동시에 입력되는 폐쇄 자막 정보가 입력되는지를 판단하고(S11), 폐쇄 자막 정보가 입력되는 경우 '앵커', '기자'와 같은 단어의 위치를 추출한다(S12).

상술한 S12 과정에서 '앵커', '기자'와 같은 단어의 위치를 추출한 후(S13), 다음 장면의 시작 위치를 체크하여 마지막 위치인지를 판단하는(S14) 한편, 뉴스 비디오 정보가 입력되는지를 판단하여 뉴스에 존재하는 앵커 얼굴을 자동으로 추출하고, 이 시점의 시간을 추출한다(S17)(S18).

한편, 상술한 S12 과정에서 '앵커', '기자'와 같은 단어의 위치를 추출한 후 다음 장면의 시작 위치를 검출하여 마지막 위치인지를 판단한다(S14).

상술한 S14 과정의 판단 결과, 마지막 위치가 아니거나, 상술한 S18 과정을 통해 앵커 얼굴이 추출된 시점의 기준 시간이 추출된 경우 영상의 기준과 자막 동기를 설정하여(S15), 자막과 비디오 영상을 정확하게 구분하여 뉴스 비디오 정보를 덩어리 단위로 분리하고, 분리된 뉴스 덩어리를 검색할 수 있는 검색 정보를 생성한다(S16).

한편, 상술한 동영상 데이터가 뉴스이면서 뉴스 덩어리를 대표하는 화면을 추출하는 방법을 첨부 도면 도 13을 참조하여 설명하면, 앵커가 나오는 화면의 밝기값 분포를 계산하고(S21), 정지 화면이 좌우 대칭인지를 판단한다(S22).

상술한 S22 과정의 판단 결과, 정지 화면이 좌우 대칭이 아닌 경우 뉴스 아이콘이 존재하는지를 체크하여 존재하는 경우, 화면 4등분 중 오른쪽 위에서 대표 이미지를 추출하여, 즉 뉴스 아이콘을 이용하여 장면을 분할시키고(S23)(S24), 다음 뉴스 정보를 읽어들여 마지막인지를 판단(S28)한다. 판단 결과, 마지막인 경우, 종료하고, 마지막이 아닌 경우 상술한 S21 과정부터 반복 수행하여 장면 분할 정보를 생성한다.

한편, 정지 화면이 좌우 대칭이면서 뉴스 아이콘이 존재하지 않는 경우, 기자 화면의 첫 번째 영상을 대표 영상으로 선택한 후 다음 뉴스 정보를 읽어들여 마지막인지를 판단(S28)한다. 판단 결과, 마지막인 경우, 종료하고, 마지막이 아닌 경우 상술한 S21과정부터 반복 수행하여 장면 분할 정보를 생성한다.

마지막으로 뉴스 비디오를 주제별로 분류하여 검색 정보를 생성하고자 하는 경우, 첨부 도면 도 14에 도시된 바와 같이, 현재 뉴스 자막에 들어 있는 키워드의 빈도수를 계산한다(S31).

상술한 S31 과정에서 키워드의 빈도수를 계산한 결과, 많은 빈도수를 발생하는 키워드별로 분류하고(S32), 다음 뉴스 정보를 읽어들여 마지막인지를 판단하고, 판단 결과 마지막인 경우 종료하고, 마지막이 아닌 경우 상술한 S31부터 반복 수행한다.

둘째, 장면 분할기(321)로 입력된 동영상 데이터가 영화/비디오(드라마)인 경우, 첨부 도면 도 15에 도시된 바와 같이, 장면 분할기(321)는 추후 사용자에게 인물별 검색을 할 수 있도록 하기 위해 얼굴인식에 따라 얼굴이 존재하는 위치를 검출한다(S40).

그리고, 배우별 음성 패턴을 이용하여 위치를 검출하고(S42), 상술한 얼굴 인식과 음성 패턴을 이용하여 결과를 합성시켜 후보 위치를 검출한 후 다음 후보 데이터를 읽어들여, 현재 검출된 후보 위치가 마지막 위치인지를 판단한다(S44)(S45).

상술한 S45 과정의 판단 결과, 마지막 위치가 아닌 경우, 후보 데이터와 유사한 데이터를 데이터 베이스로부터 검출하여 배우별 위치 추출 정보를 저장하는 과정을 수행한 후 마지막 위치가 될 때까지 상술한 S44 과정부터 반복 수행하여 영화/비디오(드라마)용 검색 정보를 생성한다.

셋째, 장면 분할기(321)로 입력되는 동영상 데이터가 스포츠인 경우, 첨부 도면 도 16에 도시된 바와 같이, 입력되는 동영상 데이터를 영상 데이터 및 음성 데이터로 분할시킨다(S43-1). 상술한 S43-1 과정에서 분할된 영상 데이터를 종목별 영상 처리를 수행하여 영상 정보를 추출하는(S43-2) 한편, 이렇게 분할된 음성 데이터 중 관심 단어 음성 패턴을 추출하고, 음성 에너지를 계산하여 높은 데이터만을 추출한다(S43-3)(S43-4).

상술한 S43-2 과정과 S43-4 과정을 통해 추출된 영상과 음성정보를 합성시켜 후보의 위치를 추출하고(S43-5), 다음 후보 데이터를 읽어들여 상술한 후보의 위치가 마지막 위치를 판단한다(S43-6)(S43-8).

상술한 S43-8 과정의 판단 결과, 후보의 위치가 마지막 위치가 아닌 경우 후보 데이터의 전후 소정 분량 가량의 영상을 추출하여 스포츠 하이라이트 검색 정보를 생성한다(S43-9).

즉, 스포츠 분석은 경기 전체를 요약하는 것으로서, 축구나 야구를 예를 들어 설명할 때, 축구는 슛장면이 일어나는 시점을 기준하여 전후로 2-3 분 가량의 영상을 제작한다. 이때 슛이 발생하는 시점의 추출방법은 관중의 함성소리와 아나운서의 '슛' 이라는 음성 신호와 화면상에 나타나는 축구 골대를 기준으로 위치를 추출한다.

야구는 아나운서의 '안타', '홈런', 혹은 '홈인' 등과 같은 음성신호와 점수가 발생하는 시점을 기준으로 전후 2-3분 가량의 영상을 제작하는 한편, 점수가 발생하는 상황은 화면에 나타나는 오픈(open) 자막을 이용하여 야구 경기의 점수 발생시에 해당하는 점수가 항상 나타나는 점을 감안하여 추출한다.

넷째, 상술한 장면 분할기(321)로 입력되는 동영상 데이터가 쇼프로그램인 경우, 첨부 도면 도 17에 도시된 바와 같이, 얼굴인식에 의한 얼굴의 위치를 추출하고(S51), 배우별 음성패턴을 이용한 위치를 추출하며(S52), 사회자 멘트부분과 떨어진 노래의 패턴 구간 즉, 시작점과 끝점을 추출한다(S53).

상술한 S51 과정 및 S52 과정을 통해 추출된 얼굴의 위치 및 배우별 음성 패턴을 합성시켜 후보의 위치를 추출하고(S54), 다음 후보 데이터를 읽어들여 상술한 후보의 위치가 마지막 위치인지를 판단한다(S55)(S56).

상술한 S56 과정의 판단 결과, 후보의 위치가 마지막 위치가 아닌 경우, 후보 데이터가 데이터 베이스에 저장되어 있는지를 판단하여 유사한 데이터가 존재하는 경우 유사한 데이터를 검출하여 가수별 위치를 추출, 저장하여 쇼프로그램용 검색 정보를 생성한다(S57)(S58).

상술한 바와 같이 모든 비디오 내용에 따라 검색 정보를 생성하게 된 비디오 정보 검색 서비스 서버(300)로 사용자가 사용자 단말기(200)에 설치된 통신 프로그램을 실행시켜 통신 접속을 이루게 되면(S201), 먼저 비디오 정보 검색 서비스 서버(300)는 첨부 도면 도 18에 도시된 바와 같이, 통신 접속을 이룬 사용자 단말기(200)로 메인 웹 페이지를 전송하여 화면상에 출력되도록 한다(S202).

사용자가 상술한 메인 웹 페이지를 통해 사용자 ID와 패스워드로 이루어진 사용자 식별 정보를 입력한(S203) 후, 로그인 버튼을 선택하게 되는 경우, 비디오 정보 검색 서비스 서버(300)는 이를 판단하여(S204), 입력되는 사용자 식별정보를 회원 DB에 저장되어 있는 회원정보와 비교하여 일치하는 정보가 있는지를 판단한다.

판단 결과, 일치하는 정보가 있는 경우 등록된 회원임을 인지하여(S205), 상술한 메인 웹 페이지를 통해 비디오 정보를 감상하기 위한 메뉴항목 또는 비디오 정보를 검색하기 위한 메뉴항목 중 원하는 메뉴 항목을 선택하게 된다(도 19의 S310).

만약, 사용자가 상술한 바와 같이 비디오 정보를 감상하기 위한 메뉴항목을 선택하는 경우 해당되는 동영상 정보를 화면상으로 출력하는 웹 페이지를 사용자 단말기(200)로 전송한다(도 19의 S320).

한편, 사용자가 상술한 바와 같이 비디오 정보를 검색하기 위한 메뉴항목을 선택하는 경우 첨부 도면 도 21과 같은 검색 정보를 갖는 웹 페이지를 사용자 단말기(200)로 전송하여 사용자가 원하는 비디오 그룹의 검색 정보를 선택하여 원하는 장면을 볼 수 있도록 한다.

도 20의 검색 정보를 갖는 웹 페이지는 뉴스의 경우, 뉴스 전체 정보와 분류별 뉴스 정보, 뉴스 검색 및 뉴스 덩어리 동영상 제공 등의 메뉴 항목이 있으며, 스포츠의 경우에는 기본적으로 하이라이트 정지영상의 대표 화면 집합을 제공하고, 주요 장면 탐색기, 선수별 검색, 경기 규칙 검색, 하이라이트에 대한 부분 동영상 제공에 대한 메뉴 항목이 있으며, 영화/비디오(드라마)의 경우에는 대표 화면으로 드라마를 요약하는 부분을 기본 화면으로 하고, 배우별 검색창과 대표 화면에 대한 드라마 동영상을 제공하는 메뉴 항목이 있으며, 부가 정보 입력의 경우에는 스포츠 부가 정보 입력과 드라마 부가정보 입력에 대한 메뉴 항목이 있으며, 쇼프로그램의 경우에는 쇼프로그램의 가수리스트, 가수별 검색, 및 각 가수별 동영상 제공 메뉴 항목 등이 있으며, 교육 방송의 경우에는 교육 방송 컨텐츠 요약, 카테고리 검색, 교육 방송 컨텐츠 부분 동영상 서비스 제공 메뉴 항목 등이 구비되어 있다.

도 21은 사용자 단말기(200)로 전송되는 메인 웹 페이지에서 뉴스 비디오를 선택하는 경우, 사용자 단말기로 전송되는 뉴스 전체 정보에 대한 웹 페이지를 도시한 도면으로서, 뉴스를 대표하는 하나의 정지화면(511-1-5)과 이를 대표하는 대표문장(511-1-6)으로 구성되어 있고, 이를 나열하는 방식을 취한다. 맨 위에는 뉴스의 종류(511-1-1)를 선택할 수 있는 메뉴가 있고, 이때 뉴스는 정치, 경제, 사회, 문화, 국제, 기타로 구분(511-1-4)되어 사용자의 선택으로 쉽게 이동이 가능하며, 원하는 단어를 이용하여 뉴스를 검색(511-1-3)하는 메뉴 항목과 날짜 별(511-1-2)로 뉴스를 볼 수 있는 메뉴 항목을 제공하여 사용자가 원하는 뉴스만을 찾아 볼 수 있도록 한다.

어떤 분류에 해당되는 뉴스의 대표 화면(511-2-1)과 그에 해당되는 간단한 정보(511-2-2)를 포함한다.

화면에 나와 있는 하나 하나의 뉴스 대표 화면은 마우스로 클릭 함으로써 선택된 뉴스에 대한 동영상 화면이 나타나게 된다

도 22는 뉴스 비디오 정보 중 사용자가 분류별 뉴스를 보고자 검색 정보 메뉴 항목 중 분류별 뉴스 정보 메뉴 항목(도 20 참조)을 선택하는 경우, 사용자 단말기(200)로 전송되는 웹 페이지를 도시한 도면으로서, 기본적으로 동영상을 보여주는 부분(511-4-3)이 있고, 그 위에는 그 다음 뉴스를 순차적으로 나열함(511-4-1)으로서 사용자가 그 뉴스를 보고, 그 다음 뉴스들에 대해서 보기를 원할 경우 그 부분에 대한 대표 화면집합(511-4-2)과 그 뉴스에 대한 폐쇄 자막 정보(511-4-4)를 보여줌으로써 굳이 동영상을 다 보지 않아도 뉴스를 이해할 수 있다.

도 23은 사용자가 첨부 도면 도 20의 메뉴 항목 중 뉴스 덩어리 동영상 정보 메뉴 항목을 선택하였을 경우 사용자 단말기(200)로 전송되는 화면을 도시한 도면이다.

다른 메뉴 항목에 대한 화면도 또한 상술한 화면도와 유사하게 제작되어 운영되므로 그 상세한 설명은 생략하기로 한다.

이렇게 검색 정보 생성 프로세서가 완료되면, 사용자 단말기로 수신되어 동영상 정보 관리 프로세서에 의해 관리되고 있는 동영상 정보 중 사용자는 원하는 장면만을 화면상으로 출력시켜 볼 수 있다.

즉, 사용자가 이미 방송된 동영상 정보 중 일부 장면만 보고자 하는 경우 상술한 검색 정보 생성 프로세서에 의해 생성된 검색 정보 또는 동영상 검색 정보 중 해당 검색 정보를 선택하면, 동영상 정보 출력 프로세서는 동영상 정보 관리 프로세서에 의해 관리되고 있는 해당 동영상 정보 중 상기 검색 정보 프로세서에 의해 생성된 검색 정보에 해당되는 장면만을 추출하여 화면상에 각 장면의 대표 영상을 출력하게 되고, 사용자는 원하는 장면만을 볼 수 있다.

이에 따라서 상술한 바와 같이 본 발명은 뉴스, 드라마, 스포츠, 쇼 등 프로그램 장르별 자동 분석 시스템을 이용하여 색인 정보를 자동으로 만들어 주기 때문에 인터넷을 이용하여 원하는 동영상을 장면별로 쉽고 편리하게 제공받을 수 있는 시스템을 제공한다는 효과가 있다.

또한 본 발명은 비디오 데이터의 특성상 전체를 재생하기 전에는 원하는 부분을 검색하기 힘들다는 문제점을 해결하여 사용자의 간단한 대표 화면의 선택만으로 원하는 영상을 찾을 수 있다는 효과가 있다.

또한, 본 발명은 사용자의 요구가 컨텐츠의 종류에 따라 다양할 수 있는 점을 고려하여 컨텐츠의 특성에 맞게 뉴스, 드라마, 스포츠, 쇼 등 프로그램 장르별로 분석하는 방법을 달리하였으며, 이에 뉴스는 앵커와 기자로 이루어진 뉴스 단위 정보를 자동으로 구성하여 기사별 검색이 가능하며, 드라마는 인물별 정보를 구축하여 인물별 검색이 가능하도록 하였으며, 스포츠는 중요 장면별 요약 정보를 자동으로 구축하여 장시간의 경기를 보지 않고도 하이라이트를 감상할 수 있다는 효과가 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경할 수 있음을 이해할 수 있을 것이다.

Claims (21)

1. 네트워크 통신망을 통해 외부로 전송될 동영상 정보를 그 분야별로 미리 설정된 기준에 따라 자동으로 장면을 검출, 분할 시켜 대표 화면으로 검색 정보를 생성하고, 네트워크 통신망을 통해 통신 접속 요청이 입력되는 경우 메인 웹 페이지를 전송하고, 상기 메인 웹 페이지를 통해 입력되는 사용자의 요구신호에 응하여 동영상 출력용 웹 페이지 또는 동영상 검색 정보를 갖는 웹 페이지를 사용자에게 제공하여 사용자가 동영상을 보거나, 방송된 동영상 중 원하는 장면을 발췌해서 볼 수 있도록 하는 비디오 정보 검색 서비스 서버; 및

   네트워크 통신망을 통해 상기 비디오 정보 검색 서비스 서버에 통신 접속을 수행하고, 상기 통신 접속을 이룬 비디오 정보 검색 서비스 서버에서 제공하는 메인 웹 페이지를 화면상에 출력하고, 상기 메인 웹 페이지를 통해 입력하는 사용자의 요구신호에 따라 비디오 정보 검색 서비스 서버로부터 공급되는 동영상 정보 출력용 웹 페이지 또는 동영상 검색 정보를 갖는 웹 페이지를 수신 받아 화면상에 각 장면의 대표영상을 출력하는 사용자 단말기를 포함하여 구성된 것을 특징으로 하는 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템.
2. 제 1 항에 있어서, 상기비디오 정보 검색 서비스 서버는 영상신호를 입력받는 비디오 입력부와, 입력된 동영상 데이터를 분석하는 비디오 분석부와, 분석된 데이터를 처리하는 서비스부로 구성되는 것을 특징으로 하는 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템.
3. 제 2항에 있어서, 상기 비디오 입력부는,

   서버운영자의 의도에 따라 외부로부터 입력되는 디지털 방송 데이터에 포함되어 폐쇄 자막 정보를 추출하는 자막 복호기와, 서버운영자의 의도에 따라 외부로부터 입력되는 아날로그 방송 데이터를 MPEG 데이터로 변환하는 MPEG 부호기와, 외부로부터 입력되는 방송 데이터를 체크하여 자막 정보 검출 또는 MPEG 데이터 변환용 제어신호를 출력하는 제어기로 이루어지는 것을 특징으로 하는 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템.
4. 제 2항에 있어서, 상기 비디오 분석부는,

   상기 자막 복호기를 통해 출력되는 자막 정보에 시스템 시계를 이용하여 생성된 시간 태그를 첨가시키고, 시간 태그가 첨가된 자막 정보를 명사 단위로 하는 색인 자료를 제작하여 출력하는 자막 분석기와, 상기 MPEG 부호기를 통해 출력되는 신호와 아날로그 방송신호를 입력받아 분할된 비디오 정보를 자동으로 생성하는 장면 분할기와, 상기 자막 분석기 및 장면 분할기를 통해 이루어지는 색인 영상 자료 및 서버운영자의 조작에 따라 부가정보를 생성하고, 이를 사용자에게 제공하는 부가정보 입력기와, 상기 MPEG 부호기를 통해 출력되는 MPEG 데이터 또는 디지털 방송 데이터를 장면으로 분할된 비디오 정보를 자동으로 생성하는 장면 분할기와 동영상 방송 프로그램을 상기 네트워크 통신망을 통해 제공할 수 있도록 스트림 파일로 제작하는 스트림 파일 제작기로 이루어지는 것을 특징으로 하는 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템.
5. 제 2항에 있어서, 상기 서비스부는,

   동영상 검색 정보를 갖는 웹 페이지를 생성하는 서비스 인터페이스부와, 상기 서비스 인터페이스부를 통해 생성된 동영상 검색 정보를 갖는 웹 페이지를 네트워크 통신망을 통해 사용자에게 전송하는 웹 서버와, 상기 스트림 파일 제작기에 의해 제작된 스트림 파일을 상기 네트워크 통신망을 통해 사용자에게 전송하는 복수의 스트림 서버로 이루어짐을 특징으로 하는 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템.
6. 제 2 항에 있어서, 상기 비디오 분석부의 장면 분할기는,

   MPEG 비트 스트림 데이터를 입력받아 비디오 정보와 오디오 정보로 분할하고, 분할 시 생성되는 타임 스탬프를 테이블로 제작하는 역다중화 및 동기화 모듈;

   상기 역다중화 및 동기화 모듈에 의해 분리된 비디오 영상을 이용하여 각각의 정지영상 간의 프레임별 차이 값을 계산하고, 이 차이 값을 중간값 필터에 적용시키고, 신경망 회로에 입력시켜 장면 전환 지점을 검출하여 장면간을 분리시키는 비디오 분할 모듈;

   상기 역다중화 및 동기화 모듈에 의해 분리된 오디오 데이터 중 묵음 구간을 계산하여 일정기간 묵음 구간을 임계값으로 결정하고, 오디오 데이터의 묵음 구간이 상기 임계값을 초과하는 경우 새로운 프레임의 시작임을 인지하는 오디오 분할 모듈; 및

   상기 비디오 분할 모듈에서 이루어진 결과와 오디오 분할 모듈에서 이루어진 결과를 조건부 확률에 적용시켜 장면이 변하는 시점을 결정하는 정보융합모듈을 더 포함하여 구성되는 것을 특징으로 하는 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템.
7. 제 2 항에 있어서, 상기 비디오 분석부의 장면 분할기는,

   입력되는 동영상 정보의 종류가 뉴스인 경우, 상기 폐쇄 자막 정보가 존재하는 경우에는 소정의 단어의 위치와 다음 장면의 위치를 체크하고, 뉴스 비디오를 이용하는 경우 앵커의 얼굴 기준의 시간을 체크하여 마지막 위치가 아닌 경우 영상의 기준과 자막 동기를 설정하여 뉴스 덩어리 단위로 분리된 뉴스 데이터를 생성하는 것을 특징으로 하는 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템.
8. 제 2 항에 있어서, 상기 비디오 분석부의 장면 분할기는,

   입력되는 동영상 정보의 종류가 드라마인 경우, 얼굴인식에 의한 얼굴이 존재하는 위치 및 배우별 음성 패턴을 이용한 위치를 추출하고, 얼굴 인식 또는 음성패턴을 이용한 결과를 합성시켜 후보 데이터를 추출하며, 후보 데이터를 데이터 베이스로부터 검출하여 배우별 위치를 추출, 저장하여 장면을 분할시켜 검색 정보를 생성하며, 상기 데이터 베이스는 복수의 배우별 얼굴 데이터 및 음성 패턴을 저장하고 있음을 특징으로 하는 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템.
9. 제 2 항에 있어서, 상기 비디오 분석부의 장면 분할기는,

   입력되는 동영상 정보의 종류가 스포츠일 경우 영상과 음성을 분할시키고, 종목별로 영상 정보를 추출하는 한편, 아나운서의 음성 패턴 중 특정 단어를 인식하고, 음성 에너지가 큰 데이터만을 이용하여 후보 데이터를 추출하고, 추출된 후보 데이터의 전후 소정 분량의 영상을 추출하여 하이라이트 장면을 생성하여 검색 정보로 제공하는 것을 특징으로 하는 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템.
10. 제 2 항에 있어서, 상기 비디오 분석부의 장면 분할기는,

    입력되는 동영상 정보의 종류가 쇼프로그램인 경우 얼굴 데이터, 배우별 음성패턴 및 사회자의 멘트와 노래의 패턴 구간을 이용하여 후보 위치를 추출하고, 상기 얼굴 데이터 및 배우의 음성패턴을 합성시켜 후보 데이터를 검출하며, 상기 후보 데이터가 데이터 베이스에 존재하는지를 체크하여 인식된 가수별 위치를 이용하여 장면을 분할시켜 검색 정보로 생성하는 것을 특징으로 하는 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템.
11. (1) 비디오 정보 검색 서비스 서버는 네트워크 통신망을 통해 사용자 단말기로 전송될 동영상 정보의 분야를 체크하고, 체크된 분야에 대응하여 미리 설정된 조건에 따라 동영상 정보의 장면을 분할시켜 검색 정보를 생성하는 과정;

    (2) 사용자 단말기는 사용자의 조작에 따라 통신 프로그램을 실행시켜 상기 비디오 정보 검색 서비스 서버에 통신 접속을 이루는 과정; 및

    (3) 비디오 정보 검색 서비스 서버는 사용자의 통신 접속 요청에 따라 동영상 정보 또는 검색 정보를 제공받을 수 있는 메인 웹 페이지를 사용자 단말기로 전송하고, 사용자는 사용자 단말기를 통해 전송 받은 메인 웹 페이지를 통해 소정의 동영상 정보 또는 검색 정보만을 갖는 웹 페이지를 전송 받는 과정을 더 포함하여 이루어짐을 특징으로 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템의 운영방법.
12. 제 11 항에 있어서, 상기 과정(1)의 동영상 데이터의 장면을 분할하는 과정은,

    (1-1) 엠펙(MPEG) 스트림 데이터를 비디오 스트림 데이터 및 오디오 스트림 데이터로 분할하는 역다중화 및 동기화 과정;

    (1-2) 상기 과정(1-1)에서 분할된 비디오 스트림 데이터를 입력받아 비디오 화면에 영상의 특성을 파악하여 장면의 변화지점을 검출하는 비디오 분할 과정;

    (1-3) 상기 과정(1-1)에서 분할된 오디오 스트림 데이터를 입력받아 미리 설정된 임계값과 비교하여 묵음구간을 검출하고, 이를 장면의 변환점으로 인식하는 오디오 분할 과정; 및

    (1-4) 상기 과정(1-2)에서 분할된 비디오 스트림 데이터와 과정(1-3)에서 분할된 오디오 스트림 데이터를 이용하여 최종적인 장면 전환점을 검출하여 데이터화하는 데이터 융합과정을 더 포함하여 이루어짐을 특징으로 하는 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템의 운영방법.
13. 제 12 항에 있어서, 상기 과정(1-1)의 역다중화 및 동기화 과정은,

    각 분할된 비디오 스트림 데이터 및 오디오 스트림 데이터에 타임 스탬프 정보를 부가시킴을 특징으로 하는 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템의 운영방법.
14. 제 12 항에 있어서, 상기 과정(1-2)의 비디오 분할 과정에서 장면 변화지점을 찾는 방법은,

    (1-2-1) 입력된 비디오 스트림 데이터가 마지막 프레임인지를 판단하는 과정;

    (1-2-2) 입력된 비디오 스트림 데이터가 마지막 프레임이 아닌 경우 비디오 스트림 데이터 중 I 픽쳐 영역만을 추출하는 과정;

    (1-2-3) 상기 추출된 I 픽쳐 중 DC 이미지를 추출하는 과정;

    (1-2-4) 상기 추출된 DC 이미지만을 갖는 비디오 스트림 데이터를 입력받아 선행 정지영상과 다음 정지영상간의 프레임별 차이 값을 산출하는 과정;

    (1-2-5) 상기 산출된 프레임별 차이 값을 중간값 필터를 통해 필터링하는 과정;

    (1-2-6) 상기 중간값 필터에 의해 필터링된 프레임별 차이 값은 신경망 회로로 입력되어 학습과정을 수행하는 과정; 및

    (1-2-7) 상기 학습과정을 통해 출력된 값이 미리 설정된 값 이상이면 새로운 장면의 시작으로 등록하고, 그렇지 않은 경우 상기 과정(1-2-1)부터 재 수행하는 과정을 더 포함하여 이루어짐을 특징으로 하는 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템의 운영방법.
15. 제 11 항에 있어서, 상기 과정(1)에서 동영상 데이터가 뉴스인 경우,

    (1-ⅰ) 외부로부터 폐쇄 자막 정보가 입력되는지를 판단하고, 폐쇄 자막 정보가 입력되는 경우 소정 단어의 위치를 추출하는 과정;

    (1-ⅱ) 소정 단어의 위치를 추출한 후 다음 장면의 시작 위치를 체크하여 마지막 위치인지를 판단하는 과정;

    (1-ⅲ) 외부로부터 뉴스 비디오 정보가 입력되는지를 판단하여 앵커의 얼굴이 나타나는 시간을 추출하는 과정; 및

    (1-ⅳ) 상기 (1-ⅱ) 과정의 판단 결과 마지막 위치가 아니거나, 상기 (1-ⅲ) 과정에서 앵커의 얼굴이 나타난 시간이 추출된 경우 영상의 기준과 자막 동기를 설정하여 뉴스 정보를 덩어리 단위로 분리하고, 분리된 뉴스 덩어리를 검색할 수 있는 검색 정보를 생성하는 과정을 더 포함하여 이루어진 것을 특징으로 하는 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템의 운영방법.
16. 제 11 항에 있어서, 동영상 데이터가 뉴스이면서 대표 영상 추출 방법을 이용하여 검색정보를 생성하는 경우,

    (1-ⅰ1) 앵커 화면의 밝기 값 분포를 계산하는 과정;

    (1-ⅱ1) 정지 화면이 좌우 대칭인지를 판단하는 과정;

    (1-ⅲ1) 정지 화면이 좌우 대칭이 아닌 경우 뉴스 아이콘이 존재하는 경우, 화면 4등분 중 오른쪽 위에서 대표 이미지를 추출하는 과정; 및

    (1-ⅳ1) 정지 화면이 좌우 대칭이면서 뉴스 아이콘이 존재하지 않는 경우, 기자 화면의 첫 번째 영상을 대표 영상으로 선택한 후 다음 뉴스를 입력받아 장면 분할 정보를 생성하는 과정을 더 포함하여 이루어진 것을 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템의 운영방법.
17. 제 11 항에 있어서, 상기 과정(1)에서 동영상 데이터가 뉴스이면서 주제별로 분류하여 검색 정보를 생성하고자 하는 경우,

    (1-ⅰ2) 현재 뉴스 자막에 들어 있는 키워드의 빈도수를 계산하는 과정; 및

    (1-ⅱ2) 키워드의 빈도수를 계산한 결과, 많은 빈도수를 발생하는 키워드별로 분류하는 과정을 더 포함하는 것을 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템의 운영방법.
18. 제 11 항에 있어서, 상기 과정(1)에서 동영상 데이터가 영화/비디오(드라마)인 경우,

    (1-A) 얼굴인식에 따라 얼굴이 존재하는 위치를 검출하는 과정;

    (1-B) 배우별 음성 패턴을 이용하여 위치를 검출하는 과정;

    (1-C) 상기 얼굴 인식과 음성 패턴을 이용하여 결과를 합성시켜 후보 위치를 검출한 후 다음 후보 데이터를 체크하고, 현재 검출된 후보 위치가 마지막 위치인지를 판단하는 과정;

    (1-D) 판단 결과, 마지막 위치가 아닌 경우, 후보 데이터와 유사한 데이터를 데이터 베이스로부터 검출하여 배우별 위치 추출 정보를 저장하는 과정을 수행한 후 마지막 위치가 될 때까지 상기 과정(1-C)부터 반복 수행하여 드라마/영화용 검색 정보를 생성하는 것을 특징으로 하는 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템의 운영방법.
19. 제 11 항에 있어서, 상기 과정(1)에서 동영상 데이터가 스포츠인 경우,

    (1-a) 입력되는 동영상 데이터를 영상 데이터 및 음성 데이터로 분할시키는 과정;

    (1-b) 분할된 영상 데이터를 종목별 영상 처리를 수행하여 영상 정보를 추출하는 과정;

    (1-c) 분할된 음성 데이터 중 관심 단어 음성 패턴을 추출하고, 음성 에너지를 계산하여 높은 데이터만을 추출하는 과정;

    (1-d) 상기 (1-b)와 (1-c) 과정을 통해 추출된 영상과 음성정보를 합성시켜 후보의 위치를 추출하는 과정;

    (1-e) 다음 후보 데이터를 읽어들여 상기(1-d)과정의 후보 위치가 마지막 위치인지를 판단하는 과정; 및

    (1-f) 후보의 위치가 마지막 위치가 아닌 경우 후보 데이터의 전후 소정 분량 가량의 영상을 추출하여 스포츠 하이라이트 검색 정보를 생성하는 과정을 더 포함하여 이루어진 것을 특징으로 하는 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템의 운영방법.
20. 제 11 항에 있어서, 상기 과정(1)에서 동영상 데이터가 쇼프로그램인 경우,

    (1-Ⅰ) 얼굴인식에 의한 얼굴의 위치를 추출하는 과정;

    (1-Ⅱ) 배우별 음성패턴을 이용한 위치를 추출하는 과정;

    (1-Ⅲ) 사회자 멘트와 노래의 패턴 구간을 추출하는 과정;

    (1-Ⅳ) 상기 추출된 얼굴의 위치 및 배우별 음성 패턴을 합성시켜 후보의 위치를 추출하는 과정;

    (1-Ⅴ) 다음 후보 데이터를 읽어들여 상기 후보의 위치가 마지막 위치인지를 판단하는 과정; 및

    (1-Ⅵ) 상기 후보의 위치가 마지막 위치가 아닌 경우, 후보 데이터가 데이터 베이스에 저장되어 있는지를 판단하여 유사한 데이터가 존재하는 경우 유사한 데이터를 검출하여 가수별 위치를 추출, 저장하여 쇼프로그램용 검색 정보를 생성하는 과정을 더 포함하여 이루어진 것을 특징으로 하는 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오 검색 시스템의 운영방법.
21. 네트워크 통신망을 통해 사용자 단말기로 수신되는 동영상 정보의 분야를 체크하고, 체크된 분야에 따라 폐쇄 자막을 이용하여 검색 정보를 생성하는 한편, 동영상 정보의 장면을 분할시켜 동영상 검색 정보를 생성하여 수신되는 동영상 정보와 함께 저장, 관리하는 검색 정보 생성 프로세서 및 동영상 정보 관리 프로세서; 및

    사용자가 상기 검색 정보 생성 프로세서에 의해 생성된 검색 정보 또는 동영상 검색 정보 중 원하는 검색 정보 또는 동영상 검색 정보를 선택하는 경우 소정 동영상 정보 중 해당 장면만을 추출하여 출력시키는 동영상 정보 출력 프로세서를 포함하는 비디오 인덱싱 방식을 이용한 비디오 검색 프로그램을 컴퓨터가 읽을 수 있도록 부호화시켜 저장한 것을 특징으로 하는 컴퓨터 판독 가능한 기록매체.