KR20170072782A - 초고화질을 지원하는 지능형 영상 회의 제공 방법 - Google Patents

Abstract

본 발명의 실시 예들은 영상 회의 제공 방법에 관한 것으로, 본 발명의 일 실시 예에 따른 지능형 영상 회의 제공 방법, 방청자 그룹에 속하는 방청자로부터 발표자로 전환하여 줄 것이 요청되는 경우, 발표자 그룹의 제한 수가 초과되는지 여부를 확인하는 단계; 발표자 그룹의 제한 수가 초과되는 경우, 발표자들로부터 수신된 영상을 분석하여 부재 중인 발표자가 있는 경우 해당 발표자를 발표자 그룹에서 제외시키고 상기 방청자를 발표자 그룹에 포함시키는 단계; 및 부재 중인 발표자가 없는 경우, 발표자들로부터 수신된 음성을 분석하여 회의 참여도가 가장 낮은 발표자를 발표자 그룹에서 제외시키고 상기 방청자를 발표자 그룹에 포함시키는 단계를 포함한다. 본 발명의 실시 예들에 따르면, 발표자와 방청자 간의 전환이 용이하게 이루어질 수 있다.

Description

초고화질을 지원하는 지능형 영상 회의 제공 방법{Intelligent video conference providing method supporting high resolution}

본 발명의 실시 예들은, 영상 회의 제공 방법에 관한 것이다.

일반적인 영상 회의 서비스에서는 영상 회의 클라이언트를 발표자(패널) 그룹과 방청자 그룹으로 분류하고, 다지점 영상 회의 제어 장치의 믹싱 성능만큼 발표자 그룹에 참여 할 있는 클라이언트의 수를 지정한다. 영상 회의 서비스에 참가하는 영상 회의 클라이언트는, 발표 권한이 있는 발표자 그룹 및 방청 권한만 있는 방청자 그룹 중 어느 하나에 속할 수 있다. 만약, 방청자 그룹에 속하는 영상 회의 클라이언트(방청자)가 발표자 그룹으로 전환하고자 하는 경우에는 의장의 허락이 있어야 한다. 이는, 방청자 그룹에 속하는 영상 회의 클라이언트의 자유로운 회의 참여를 제한한다. 또한, 발표자 그룹에 속하는 영상 회의 클라이언트(발표자) 중 영상 회의 화면에 존재하지 않거나 회의 참여도가 낮은 발표자는 방청자 그룹으로 전환하고 회의 집중도가 높은 방청자를 새로운 발표자로 선택해야 할 필요가 있는 데, 종래 방법에 의할 때 이러한 전환이 실시간으로 이루어지지 않는 문제가 있다.

미국 등록 특허 US 6,473,114호 (Method and system for indicating change of speaker in a videoconference application)

본 발명의 실시 예들은, 영상 회의 서비스에 참가하는 발표자와 방청자 간의 전환이 용이하게 수행될 수 있도록 하는 방안을 제공한다.

본 발명의 일 실시 예에 따른 지능형 영상 회의 제공 방법, 방청자 그룹에 속하는 방청자로부터 발표자로 전환하여 줄 것이 요청되는 경우, 발표자 그룹의 제한 수가 초과되는지 여부를 확인하는 단계; 발표자 그룹의 제한 수가 초과되는 경우, 발표자들로부터 수신된 영상을 분석하여 부재 중인 발표자가 있는 경우 해당 발표자를 발표자 그룹에서 제외시키고 상기 방청자를 발표자 그룹에 포함시키는 단계; 및 부재 중인 발표자가 없는 경우, 발표자들로부터 수신된 음성을 분석하여 회의 참여도가 가장 낮은 발표자를 발표자 그룹에서 제외시키고 상기 방청자를 발표자 그룹에 포함시키는 단계를 포함한다.

본 발명의 실시 예들에 따르면, 방청자의 자유로운 회의 참여를 유도할 수 있다.

도 1은 본 발명의 실시 예들이 적용되는 지능형 영상 회의 시스템을 설명하기 위한 예시도,
도 2는 본 발명의 일 실시 예에 따른 영상 회의 화면을 설명하기 위한 예시도,
도 3은 본 발명의 일 실시 예에 따른 발표자와 방청자 간 전환을 설명하기 위한 흐름도,
도 4는 본 발명의 일 실시 예에 따른 회의 참여도 계산 방법을 설명하기 위함 흐름도,
도 5는 본 발명의 일 실시 예에 따른 발표자 부재 여부 확인 방법을 설명하기 위한 흐름도,
도 6은 본 발명의 일 실시 예에 따른 영상 회의 제어 장치를 설명하기 위한 블록도.

이하에서, 본 발명의 실시 예들을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

이하, 첨부되는 도면을 참조하여 본 발명의 실시 예들을 설명한다.

도 1은 본 발명의 실시 예들이 적용되는 지능형 영상 회의 시스템을 설명하기 위한 예시도이다.

지능형 영상 회의 시스템은, 발표자 그룹(100), 방청자 그룹(200) 및 영상 회의 제어 장치(300)를 포함한다. 발표자 그룹(100)과 방청자 그룹(200) 각각은 적어도 하나의 영상 회의 클라이언트를 포함할 수 있으며, 영상 회의 제어 장치(300)를 통하여 영상 회의 서비스를 제공받을 수 있다.

영상 회의 제어 장치(300)는, 발표자 그룹(100) 및 방청자 그룹(200)에 속하는 영상 회의 클라이언트와 비디오 패킷 및 오디오 패킷을 송수신할 수 있다. 여기서, 영상 회의 제어 장치(300)는, 발표자 그룹(100)에 속하는 영상 회의 클라이언트의 환경에 따라 저해상도 비디오 패킷을 수신하거나 고해상도 비디오 패킷을 수신할 수 있다. 영상 회의 제어 장치(300)는, 발표자 그룹(100)으로부터 수신된 비디오 패킷을 믹싱하여 회의 영상을 생성하고, 생성된 회의 영상을 발표자 그룹(100) 및 방청자 그룹(200)에 속하는 영상 회의 클라이언트에게 전송할 수 있다. 또한, 영상 회의 제어 장치(300)는, 발표자 그룹(100)으로부터 수신된 오디오 패킷을 믹싱하여 회의 음성을 생성하고, 생성된 회의 음성을 발표자 그룹(100) 및 방청자 그룹(200)에 속하는 영상 회의 클라이언트에게 전송할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 영상 회의 화면을 설명하기 위한 예시도이다.

영상 회의 화면(210)은, 영상 회의 제어 장치에 의하여 생성되어, 발표자 그룹에 속하는 영상 회의 클라이언트 및 방청자 그룹에 속하는 영상 회의 클라이언트에게 제공될 수 있다.

영상 회의 화면(210)은, 발표자 그룹 리스트(230)와 방청자 그룹 리스트(220)를 포함할 수 있다. 발표자 그룹 리스트(230)에는 발표자들의 영상이 포함될 수 있으며, 방청자 그룹 리스트(220)에는 방청자들의 아이디가 포함될 수 있다.

영상 회의 화면(210)은, 발표자로의 전환을 위한 GUI(240)를 포함할 수 있다. 따라서, 방청자는 자신에게 제공되는 영상 회의 화면(210)의 GUI(240)를 이용하여 영상 회의 제어 장치에게 자신을 발표자로 전환하여 줄 것을 요청할 수 있다. 도 2에는 방청자(client 1)가 GUI(240)를 이용하여 발표자로의 전환을 요청한 경우의 예를 도시하였다. 이러한 경우, 영상 회의 제어 장치는, 발표자 그룹에 속하는 어느 하나의 발표자를 방청자로 전환하고, 방청자(client 1)를 발표자로 전환할 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 발표자(client 6)가 부재중이거나 발표자(client 6)의 회의 참여도가 아주 낮은 경우에는 발표자(client 6)를 방청자로 전환하고, 방청자(client 1)를 발표자로 전환할 수 있다.

도 3은 본 발명의 일 실시 예에 따른 발표자와 방청자 간 전환을 설명하기 위한 흐름도이다.

단계(301)에서, 영상 회의 제어 장치는, 방청자 그룹에 속하는 방청자로부터 해당 방청자를 발표자로 전환하여 줄 것을 요청 받을 수 있다.

단계(303)에서, 영상 회의 제어 장치는, 발표자로 전환하여 줄 것을 요청한 방청자를 발표자로 전환할 경우, 발표자 그룹의 제한 수를 초과하는지 여부를 확인할 수 있다. 만약, 발표자 그룹의 제한 수를 초과하는 경우에는 단계(305)로 진행하고, 발표자 그룹의 제한 수를 초과하지 않는다면 단계(311)로 진행하여 해당 방청자를 발표자로 전환함으로써 발표자 그룹에 추가할 수 있다.

단계(305)에서, 영상 회의 제어 장치는, 현재 영상 회의 화면에 부재중인 발표자가 존재하는지 여부를 확인할 수 있다. 만약, 현재 영상 회의 화면에 부재중인 발표자가 존재하지 않는 경우에는 단계(307)로 진행하고, 현재 영상 회의 화면에 부재중인 발표자가 존재하는 경우에는 단계(313)로 진행하여 현재 영상 회의 화면에 부재중인 발표자를 발표자 그룹에서 제외시키고 발표자로 전환하여 줄 것을 요청한 방청자를 발표자로 전환할 수 있다.

단계(307)에서, 영상 회의 제어 장치는, 발표자들의 회의 참여도를 계산할 수 있다. 회의 참여도는, 발표자들의 음성 분석 결과로부터 계산될 수 있다. 이와 관련하여서는, 도 4를 참조하여 좀 더 상세히 설명한다.

단계(309)에서, 영상 회의 제어 장치는, 발표자들 중 회의 참여도가 가장 낮은 발표자를 발표자 그룹에서 제외시키고 방청자로 전환할 수 있다.

단계(311)에서, 영상 회의 제어 장치는, 발표자로 전환하여 줄 것을 요청한 방청자를 발표자로 전환함으로써 발표자 그룹에 추가할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 회의 참여도 계산 방법을 설명하기 위함 흐름도이다.

단계(401)에서, 영상 회의 제어 장치는, 각 발표자들의 음성을 분석하여 음성 활성 구간을 검출할 수 있다.

단계(403)에서, 영상 회의 제어 장치는, 음성 활성 구간이 검출된 발표자에 대응하는 카운터의 카운터 값을 1만큼 증가시킬 수 있다.

단계(405)에서, 영상 회의 제어 장치는, 카운터 값이 소정의 임계 값을 초과하는 카운터가 있는지 여부를 확인할 수 있다. 만약, 카운터 값이 소정의 임계 값을 초과하는 카운터가 없다면 단계(401)로 진행하여 음성 분석을 계속 수행하고, 카운터 값이 소정의 임계 값을 초과하는 카운터가 있다면 단계(407)로 진행할 수 있다.

단계(407)에서, 영상 회의 제어 장치는, 카운터 값이 임계 값을 초과하는 발표자의 음성 활성 시간을 업데이트할 수 있다.

단계(409)에서, 영상 회의 제어 장치는, 업데이트된 음성 활성 시간을 회의 참여도 정보 리스트에 반영할 수 있다. 회의 참여도 정보 리스트는, 발표자들의 음성 활성 시간이 반영된 리스트일 수 있다. 음성 활성 시간을 회의 참여도 정보 리스트에 반영할 때, 가장 최근에 발언을 수행한 발표자(즉, 카운터 값이 가장 최근이 임계 값을 초과한 발표자)를 회의 참여도 정보 리스트의 맨 마지막에 저장할 수 있다. 따라서, 회의 참여도 정보 리스트에 저장된 발표자들 중 가장 맨 앞에 저장된 발표자는 발언을 수행한지가 가장 오래된 발표자가 되고, 해당 발표자는 회의 참여도가 가장 낮은 발표자라 할 수 있다. 따라서, 도 3을 참조하여 설명한 단계(309)에서, 회의 참여도 정보 리스트의 맨 마지막에 저장된 발표자가 발표자 그룹에서 제외된다.

도 5는 본 발명의 일 실시 예에 따른 발표자 부재 여부 확인 방법을 설명하기 위한 흐름도이다.

단계(501)에서, 영상 회의 제어 장치는, 각 발표자들로부터 수신되는 영상을 분석하고, 해당 영상에 얼굴 인식 알고리즘 등의 인식 알고리즘을 적용하여 발표자를 검출할 수 있다.

단계(503)에서, 영상 회의 제어 장치는, 발표자들로부터 수신된 영상 중 발표자가 검출되지 않은 영상이 있는지 확인할 수 있다. 만약, 발표자가 검출되지 않은 영상이 있는 경우 단계(505)로 진행할 수 있다.

단계(505)에서, 영상 회의 제어 장치는, 발표자가 검출되지 않은 영상에 대응하는 발표자를 부재중인 발표자로 결정할 수 있다. 따라서, 도 3을 참조하여 설명한 단계(305)에서, 부재중인 발표자가 발표자 그룹에서 제외되어 방청자로 전환될 수 있다.

도 6은 본 발명의 일 실시 예에 따른 영상 회의 제어 장치를 설명하기 위한 블록도이다.

도 6을 참조하면, 본 발명의 일 실시 예에 따른 영상 회의 제어 장치는, 제어부(310), 영상 기반 회의 참여도 처리부(320), 음성 기반 회의 참여도 처리부(330), 미디어 처리부(340) 및 통신부(350)를 포함한다.

제어부(310)는, 방청자 그룹에 속하는 방청자로부터 해당 방청자를 발표자로 전환하여 줄 것을 요청받으면, 발표자 그룹의 제한 수를 초과하는지 여부를 확인할 수 있다. 만약, 발표자 그룹의 제한 수를 초과하지 않는다면 해당 방청자를 발표자로 전환함으로써 발표자 그룹에 추가할 수 있다. 만약, 발표자 그룹의 제한 수를 초과하는 경우에는 영상 기반 회의 참여도 처리부(320)에게 부재중인 발표자가 있는지 확인하고, 부재중인 발표자가 있다면 해당 발표자를 발표자 그룹에서 제외하고, 발표자로의 전환을 요청한 방청자를 발표자로 전환할 수 있다. 만약, 부재중인 발표자가 없는 경우에는 음성 기반 회의 참여도 처리부(330)에게 참여도가 가장 낮은 발표자를 확인하고, 해당 발표자를 발표자 그룹에서 제외하고, 발표자로의 전환을 요청한 방청자를 발표자로 전환할 수 있다.

영상 기반 회의 참여도 처리부(320)는, 발표자들로부터 수신된 영상을 분석하여 발표자가 검출되지 않는 영상이 있는지 확인하고, 발표자가 검출되지 않은 영상에 대응하는 발표자를 제어부(310)에게 알릴 수 있다.

음성 기반 회의 참여도 처리부(330)는, 발표자들로부터 수신된 음성을 분석하여 음성 활성 구간을 검출하고, 검출된 음성 활성 구간이 소정의 임계 값을 초과하는 발표자를 회의 참여도 정보 리스트의 맨 마지막에 저장할 수 있다. 음성 기반 회의 참여도 처리부(330)는, 제어부(310)로부터 요청 시에 회의 참여도 정보 리스트의 맨 처음에 위치하는 발표자를 제어부(310)에게 알려줄 수 있다.

미디어 처리부(340)는, 발표자 및 방청자로부터 수신된 또는 발표자 및 방청자에게 송신할 영상 및 음성을 믹싱하거나 디믹싱할 수 있다.

통신부(350)는, 영상 회의에 참여하는 발표자 및 방청자와 영상 및 음성을 송수신할 수 있다. 통신부(350)는, SIP/SDP와 같은 프로토콜을 이용하여 발표자 및 방청자와 통신을 수행할 수 있다.

이상에서 설명된 본 발명의 실시 예들은 임의의 다양한 방법으로 구현될 수 있다. 예를 들어, 본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 그 조합을 이용하여 구현될 수 있다. 소프트웨어로 구현되는 경우에, 다양한 운영 체제 또는 플랫폼을 이용하는 하나 이상의 프로세서 상에서 실행되는 소프트웨어로서 구현될 수 있다. 추가적으로, 그러한 소프트웨어는 다수의 적합한 프로그래밍 언어들 중에서 임의의 것을 사용하여 작성될 수 있고, 또한 프레임워크 또는 가상 머신에서 실행 가능한 기계어 코드 또는 중간 코드로 컴파일 될 수 있다.

또한, 본 발명의 실시 예들이 하나 이상의 프로세서 상에서 실행되는 경우 이상에서 논의된 본 발명의 다양한 실시 예들을 구현하는 방법을 수행하기 위한 하나 이상의 프로그램이 기록된 프로세서 판독 가능 매체(예를 들어, 메모리, 플로피 디스크, 하드 디스크, 콤팩트 디스크, 광학 디스크 또는 자기 테이프 등)로 구현될 수 있다.

Claims (1)

1. 방청자 그룹에 속하는 방청자로부터 발표자로 전환하여 줄 것이 요청되는 경우, 발표자 그룹의 제한 수가 초과되는지 여부를 확인하는 단계;
   발표자 그룹의 제한 수가 초과되는 경우, 발표자들로부터 수신된 영상을 분석하여 부재 중인 발표자가 있는 경우 해당 발표자를 발표자 그룹에서 제외시키고 상기 방청자를 발표자 그룹에 포함시키는 단계; 및
   부재 중인 발표자가 없는 경우, 발표자들로부터 수신된 음성을 분석하여 회의 참여도가 가장 낮은 발표자를 발표자 그룹에서 제외시키고 상기 방청자를 발표자 그룹에 포함시키는 단계
   를 포함하는 지능형 영상 회의 제공 방법.

Images