KR20110130190A

Movatterモバイル変換

Info

Publication number: KR20110130190A
Application number: KR1020100049712A
Authority: KR
Inventors: 박부식; 정한균; 신대교; 정용무; 최종찬
Original assignee: 전자부품연구원
Priority date: 2010-05-27
Filing date: 2010-05-27
Publication date: 2011-12-05

Abstract

Translated fromKorean

디스플레이 장치의 화면 영상 회전 장치는 사용자의 영상으로부터 사용자의 포즈 정보를 추출하고, 추출한 사용자의 포즈 정보를 이용하여 디스플레이 장치의 화면 영상을 회전시켜 출력한다.The screen image rotating apparatus of the display apparatus extracts the user's pose information from the user's image, and rotates and outputs the screen image of the display apparatus using the extracted user's pose information.

Description

Translated fromKorean

디스플레이 장치의 화면 영상 회전 장치 및 방법{APPARATUS AND METHOD FOR ROTATING SCREEN IMAGE OF DISPLAY}Apparatus and method for rotating screen image of display device {APPARATUS AND METHOD FOR ROTATING SCREEN IMAGE OF DISPLAY}

본 발명은 디스플레이 장치의 화면 영상 회전 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and a method for rotating a screen image of a display device.

최근 들어, 휴대폰에 다양한 기능을 접목하여 휴대폰을 통해 사용자에게 다양한 서비스를 제공하고 있다.Recently, various functions are combined with mobile phones to provide various services to users through mobile phones.

그 중 하나로, 휴대폰에 방향을 인식하는 자이로 센서를 적용하여 휴대폰의 회전 방향에 따라 화면 영상의 위치를 바꾸어 주는 서비스가 있다. 즉, 휴대폰을 가로로 회전시키면 휴대폰의 화면 영상이 가로로 이동하고, 휴대폰을 세로로 회전시키면 휴대폰의 화면 영상이 세로로 이동한다. 이러한 서비스는 휴대폰의 절대적인 위치를 인식하고, 이를 기반으로 화면 영상을 회전시키는 것이다.One of them is a service that changes the position of the screen image according to the rotation direction of the mobile phone by applying a gyro sensor to recognize the direction of the mobile phone. That is, when the mobile phone is rotated horizontally, the screen image of the mobile phone moves horizontally, and when the mobile phone is rotated vertically, the screen image of the mobile phone moves vertically. Such a service recognizes the absolute position of the mobile phone and rotates the screen image based on it.

그런데, 자이로 센서가 적용된 휴대폰은 사용자가 휴대폰과 함께 동일한 방향으로 이동한 경우에도 화면 영상을 변경한다. 즉, 자이로 센서가 적용된 휴대폰은 휴대폰의 사용자의 자세를 고려하지 않고 휴대폰의 절대적인 위치 데이터만을 고려하기 때문에 사용자가 보는 시선과 휴대폰의 화면 영상 출력 방향이 다르게 놓이는 상황이 발생한다.However, the mobile phone to which the gyro sensor is applied changes the screen image even when the user moves in the same direction with the mobile phone. That is, the mobile phone to which the gyro sensor is applied does not consider the user's posture of the mobile phone but only the absolute location data of the mobile phone.

이러한 문제점을 해결하고자, 자이로 센서에 의해 휴대폰의 회전이 감지될 때 사용자에게 회전 여부를 선택하도록 하는 기술이 제안되었다. 그러나, 이러한 기술은 사용자의 자세에 맞게 사용자가 일일이 회전 여부를 선택해야 하는 번거로움이 있다.In order to solve this problem, a technique for allowing a user to select whether to rotate when a rotation of a mobile phone is detected by a gyro sensor has been proposed. However, such a technique is cumbersome that the user has to choose whether to rotate in accordance with the user's posture.

본 발명이 해결하고자 하는 기술적 과제는 사용자의 선택 없이 사용자의 자세를 고려하여 화면 영상을 회전시킬 수 있는 디스플레이 장치의 화면 영상 회전 장치 및 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made in an effort to provide a screen image rotating apparatus and method for a display device capable of rotating a screen image in consideration of a user's posture without user selection.

본 발명의 실시 예에 따르면, 디스플레이 장치의 화면 영상 회전 장치에서 화면 영상의 회전 방법이 제공된다. 화면 영상 회전 방법은, 상기 디스플레이 장치의 회전 정보를 추출하는 단계, 상기 사용자의 포즈 정보를 추출하는 단계, 상기 디스플레이 장치의 회전 정보와 상기 사용자의 포즈 정보를 이용하여 상기 화면 영상의 회전 여부를 결정하는 단계, 그리고 상기 회전 여부에 따라 상기 화면 영상을 회전시키거나 상기 영상 화면을 그대로 출력하는 단계를 포함한다.According to an embodiment of the present disclosure, a method of rotating a screen image in a screen image rotating apparatus of a display device is provided. The screen image rotating method may include extracting rotation information of the display device, extracting pose information of the user, and determining whether to rotate the screen image by using rotation information of the display device and pose information of the user. And rotating the screen image or outputting the image screen as it is depending on whether or not the rotation is performed.

본 발명의 다른 실시 예에 따르면, 디스플레이 장치의 화면 영상 회전 장치에서 화면 영상의 회전 방법이 제공된다. 화면 영상 회전 방법은, 사용자의 영상을 촬영하는 단계, 상기 사용자의 영상으로부터 상기 사용자의 포즈 정보를 추출하는 단계, 상기 포즈 정보를 이용하여 상기 화면 영상의 회전 여부를 결정하는 단계, 그리고 상기 회전 여부에 따라 상기 화면 영상을 회전시키거나 상기 영상 화면을 그대로 출력하는 단계를 포함한다.According to another embodiment of the present invention, a method for rotating a screen image in a screen image rotating apparatus of a display device is provided. The screen image rotation method may include: capturing an image of a user, extracting pose information of the user from the image of the user, determining whether to rotate the screen image using the pose information, and whether or not the rotation is performed And rotating the screen image or outputting the image screen as it is.

본 발명의 또 다른 실시 예에 따르면, 디스플레이 장치에서 화면 영상을 회전시키는 장치가 제공된다. 화면 영상 회전 장치는, 촬영부, 사용자 포즈 추출부, 그리고 영상 회전 변환부를 포함한다. 촬영부는 사용자의 영상을 촬영한다. 사용자 포즈 추출부는 상기 사용자의 영상으로부터 상기 사용자의 포즈 정보를 추출하고, 상기 포즈 정보에 대한 유효성 정보를 생성한다. 영상 회전 변환부는 상기 유효성 정보에 따라 유효한 상기 포즈 정보를 이용하여 상기 화면 영상의 회전 여부를 결정하고, 상기 회전 여부에 따라 상기 화면 영상을 회전시켜 출력하거나 상기 화면 영상을 그대로 출력한다.According to another embodiment of the present invention, an apparatus for rotating a screen image in a display device is provided. The screen image rotating apparatus includes a photographing unit, a user pose extracting unit, and an image rotation converting unit. The photographing unit captures an image of the user. The user pose extracting unit extracts pose information of the user from the image of the user and generates validity information of the pose information. The image rotation converter determines whether to rotate the screen image using the valid pose information according to the validity information, and rotates or outputs the screen image or outputs the screen image as it is.

본 발명의 실시 예에 의하면, 사용자의 자세를 고려하여 디스플레이 장치의 화면 영상을 회전시키므로, 사용자가 영상을 보는 시선과 디스플레이 장치의 화면 영상 출력 방향이 동일해져 디스플레이 장치를 사용하는 사용자의 편의를 도모할 수 있다.According to an embodiment of the present invention, since the screen image of the display device is rotated in consideration of the user's posture, the gaze at which the user views the image and the output direction of the screen image of the display device are the same, for the convenience of the user using the display device. can do.

도 1은 본 발명의 제1 실시 예에 따른 디스플레이 장치의 화면 영상 회전 장치를 나타낸 도면이고,
도 2는 본 발명의 제1 실시 예에 따른 화면 영상 회전 방법을 나타낸 흐름도이고,
도 3 및 도 4는 각각 얼굴의 회전각을 추출하는 일 예를 나타낸 도면이고,
도 5는 본 발명의 제2 실시 예에 따른 디스플레이 장치의 화면 영상 회전 장치를 나타낸 도면이고,
도 6은 본 발명의 제2 실시 예에 따른 디스플레이 장치의 화면 영상 회전 방법을 나타낸 흐름도이다.1 is a diagram illustrating a screen image rotating apparatus of a display apparatus according to a first embodiment of the present invention.
2 is a flowchart illustrating a screen image rotating method according to a first embodiment of the present invention;
3 and 4 are views showing an example of extracting the rotation angle of the face, respectively,
5 is a diagram illustrating a screen image rotating device of a display device according to a second embodiment of the present invention.
6 is a flowchart illustrating a screen image rotating method of a display apparatus according to a second embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification and claims, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise.

이제 본 발명의 실시 예에 따른 디스플레이 장치의 화면 영상 회전 장치 및 방법에 대하여 도면을 참고로 하여 상세하게 설명한다.An apparatus and method for rotating a screen image of a display device according to an exemplary embodiment of the present invention will now be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 제1 실시 예에 따른 디스플레이 장치의 화면 영상 회전 장치를 나타낸 도면이고, 도 2는 본 발명의 제1 실시 예에 따른 화면 영상 회전 방법을 나타낸 흐름도이다. 또한, 도 3 및 도 4는 각각 얼굴의 회전각을 추출하는 일 예를 나타낸 도면이다.1 is a diagram illustrating a screen image rotating apparatus of a display apparatus according to a first embodiment of the present invention, and FIG. 2 is a flowchart illustrating a screen image rotating method according to a first embodiment of the present invention. 3 and 4 are diagrams illustrating an example of extracting a rotation angle of a face, respectively.

도 1을 참조하면, 디스플레이 장치의 화면 영상 회전 장치(100)는 촬영부(110), 사용자 포즈 추출부(120) 및 영상 회전 변환부(130)를 포함한다.Referring to FIG. 1, the screenimage rotating apparatus 100 of the display apparatus includes a photographingunit 110, a userpose extracting unit 120, and an imagerotation converting unit 130.

도 2를 보면, 촬영부(110)는 사용자의 영상을 촬영한다(S210). 이러한 촬영부(110)로는 카메라 등이 사용될 수 있으며, 디스플레이 장치로는 TV나 모바일 단말기 등이 사용될 수 있다. 이때, 촬영부(110)는 디스플레이 장치의 화면 영상 출력 방향과 영상을 획득하는 영역이 동일한 방향이 되도록 디스플레이 장치에 장착될 수 있다. 예를 들면, 디스플레이 장치가 사용자 정면에 위치할 때 촬영부(110) 또한 사용자 정면에 위치하도록 디스플레이 장치에 장착될 수 있다.2, the photographingunit 110 captures an image of a user in operation S210. A camera or the like may be used as the photographingunit 110, and a TV or a mobile terminal may be used as the display device. In this case, the photographingunit 110 may be mounted on the display apparatus such that the screen image output direction of the display apparatus and the region for acquiring the image are in the same direction. For example, when the display device is located in front of the user, the photographingunit 110 may also be mounted on the display device to be located in front of the user.

사용자 포즈 추출부(120)는 촬영부(110)에 의해 촬영된 사용자의 영상으로부터 사용자의 포즈 정보를 추출하고(S220), 이를 영상 회전 변환부(130)로 전달한다. 여기서, 포즈 정보는 사용자의 자세에 대한 회전각을 의미할 수 있다.The user pose extractingunit 120 extracts the user's pose information from the image of the user photographed by the photographing unit 110 (S220), and transmits it to theimage rotation converter 130. Here, the pose information may mean a rotation angle with respect to the posture of the user.

또한, 사용자 포즈 추출부(120)는 사용자의 포즈 정보에 대한 유효성 정보를 생성하고(S230), 이를 사용자의 포즈 정보와 함께 영상 회전 변환부(130)로 전달한다. 여기서, 유효성 정보는 포즈 정보가 유효한지 무효한지를 나타내는 정보로서, "무효" 및 "유효" 정보를 포함할 수 있다. "무효"는 사용자의 영상 정보가 수신되지 않았거나 오류가 나서 사용할 수 없는 정보임을 알리는 정보로서 사용되고, "유효"는 사용자의 포즈 정보가 유효한 정보임을 알리는 정보로서 사용된다.In addition, theuser pose extractor 120 generates validity information on the pose information of the user (S230), and transmits the validity information to theimage rotation converter 130 along with the pose information of the user. Here, the validity information is information indicating whether the pause information is valid or invalid and may include "invalid" and "valid" information. "Invalid" is used as information indicating that the user's video information is not received because of an error or error, and "valid" is used as information indicating that the user's pose information is valid information.

이러한 사용자 포즈 추출부(120)는 사용자의 영상으로부터 얼굴 영상을 추출한 후 얼굴 영상을 이용하여 사용자의 포즈 정보를 추출할 수 있다.Theuser pose extractor 120 may extract the face image from the user's image and then extract the user's pose information using the face image.

사용자의 포즈 정보를 추출하는 일 예로서, 도 3을 참고하면, 사용자 포즈 추출부(120)는 사용자의 피부색을 이용하여 히스토그램을 생성하고(S310), 사용자의 영상에서 그와 유사한 히스토그램을 갖는 영역을 동일한 라벨로 라벨링한다(S320). 그 이후, 사용자 포즈 추출부(120)는 동일한 라벨로 라벨링된 영역을 타원 추출 알고리즘(Ellipse Fitting Algorithm)을 이용하여 타원을 추출하고(S330), 타원으로부터 최외각을 추출하며(S340), 무게 중심을 이용하여 포즈 정보에 해당하는 얼굴의 회전각을 추출한다(S350).As an example of extracting user pose information, referring to FIG. 3, theuser pose extractor 120 generates a histogram using a user's skin color (S310) and an area having a similar histogram in an image of the user. Label with the same label (S320). Thereafter, the userpose extracting unit 120 extracts an ellipse from the region labeled with the same label using an ellipse fitting algorithm (S330), extracts the outermost angle from the ellipse (S340), and the center of gravity. The rotation angle of the face corresponding to the pose information is extracted using S350.

또한, 사용자의 포즈 정보를 추출하는 다른 일 예로서, 사용자 포즈 추출부(120)는 사용자의 얼굴 영상에서 두 눈의 후보 영역을 검출하고, 두 눈의 후보 영역의 위치 정보를 이용하여 포즈 정보에 해당하는 얼굴의 회전각을 측정할 수 있다. 즉, 도 4에 도시한 바와 같이, 사용자 포즈 추출부(120)는 두 눈의 위치[(X1, Y1), (X2, Y2)]를 이용하여 얼굴의 회전각을 측정할 수 있다. 이때, 회전각(

)은 다음과 같이 계산될 수 있다.In addition, as another example of extracting pose information of the user, theuser pose extractor 120 detects candidate regions of two eyes from a face image of the user and uses the position information of the candidate regions of both eyes to extract pose information. The rotation angle of the corresponding face can be measured. That is, as shown in FIG. 4, theuser pose extractor 120 may measure the rotation angle of the face using the positions of the two eyes [(X1, Y1), (X2, Y2)]. At this time, the rotation angle (

) Can be calculated as

[수학식 1][ Equation 1]

=tan^-1{(Y2-Y1)/(X2-X1)}

= tan^-1 {(Y2-Y1) / (X2-X1)}

또한, 사용자 포즈 추출부(120)는 얼굴 영상에서 입술 영역을 검출하고, 입술 영역의 횡축 기울기로 얼굴의 회전각을 측정함으로써, 사용자의 포즈 정보를 추출할 수 있다.In addition, the user pose extractingunit 120 may detect the lip region in the face image and extract the pose information of the user by measuring the rotation angle of the face by the horizontal axis inclination of the lip region.

이러한 방법 외에도 사용자의 얼굴 영상을 이용하여 사용자의 포즈 정보 즉, 얼굴의 회전각을 계산할 수 있는 다양한 방법이 본 발명의 실시 예에 적용될 수 있다.In addition to these methods, various methods for calculating the pose information of the user, that is, the rotation angle of the face using the user's face image may be applied to the exemplary embodiment of the present invention.

다시, 도 1 및 도 2를 보면, 영상 회전 변환부(130)는 사용자의 포즈 정보와 사용자의 포즈 정보의 유효성 정보를 토대로 화면 영상의 회전 여부를 결정한다(S240). 이때, 영상 회전 변환부(130)는 사용자의 포즈 정보가 0도이거나, 사용자의 포즈 정보의 유효성 정보가 "무효"인 경우, 화면 영상을 회전시키지 않는 것으로 결정한다. 반면, 영상 회전 변환부(130)는 사용자의 포즈 정보가 유효하고, 사용자의 포즈 정보가 0도가 아닌 경우에는 화면 영상을 회전시키는 것으로 결정한다.1 and 2, theimage rotation converter 130 determines whether to rotate the screen image based on the user's pose information and the validity information of the user's pose information (S240). In this case, when the user's pose information is 0 degrees or the validity information of the user's pose information is "invalid", theimage rotation converter 130 determines not to rotate the screen image. On the other hand, when the pose information of the user is valid and the pose information of the user is not 0 degrees, theimage rotation converter 130 determines to rotate the screen image.

화면 영상을 회전시키지 않는 것으로 결정된 경우, 영상 회전 변환부(130)는 화면 영상 상태를 유지하여 화면 영상을 그대로 출력한다(S250). 반면, 화면 영상을 회전시키는 것으로 결정된 경우, 영상 회전 변환부(130)는 사용자의 포즈 정보에 해당하는 회전각만큼 화면 영상을 회전시켜 출력한다(S260).When it is determined not to rotate the screen image, theimage rotation converter 130 maintains the screen image state and outputs the screen image as it is (S250). On the other hand, when it is determined to rotate the screen image, theimage rotation converter 130 rotates the screen image by the rotation angle corresponding to the user's pose information and outputs it (S260).

이렇게 출력된 화면 영상은 디스플레이 장치의 표시 화면을 통해 출력될 수 있다.The screen image thus output may be output through the display screen of the display device.

예를 들어, 사용자가 휴대폰을 세로 방향으로 세운 상태에서 휴대폰을 들고 누운 경우 즉, 사용자 및 휴대폰이 동시에 90도 회전 이동한 경우, 사용자 포즈 추출부(120)는 사용자의 포즈 정보로 0도의 회전각을 추출할 수 있다. 사용자의 회전각이 0도이므로, 영상 회전 변환부(130)는 화면 영상을 회전하지 않는 것으로 결정하고 화면 영상을 그대로 출력한다. 그 결과, 화면 영상은 휴대폰의 표시 화면에서 그대로 세로 방향으로 출력된다.For example, when the user holds the mobile phone in the vertical direction while holding the mobile phone, that is, when the user and the mobile phone are rotated by 90 degrees at the same time, theuser pose extractor 120 rotates the rotation angle of 0 degrees as the pose information of the user. Can be extracted. Since the rotation angle of the user is 0 degrees, theimage rotation converter 130 determines not to rotate the screen image and outputs the screen image as it is. As a result, the screen image is output in the vertical direction as it is on the display screen of the cellular phone.

반면, 사용자만이 90도를 회전 이동하게 되면, 사용자 포즈 추출부(120)는 사용자의 포즈 정보로 90도의 회전각을 추출할 수 있다. 사용자의 회전각이 90도이므로, 영상 회전 변환부(130)는 화면 영상을 회전시키기로 결정하고, 화면 영상을 90도 회전시켜 출력한다. 그 결과, 화면 영상은 휴대폰의 표시 화면에서 가로 방향으로 출력된다.On the other hand, if only the user rotates 90 degrees, the user poseextractor 120 may extract a 90 degree rotation angle as the pose information of the user. Since the rotation angle of the user is 90 degrees, theimage rotation converter 130 determines to rotate the screen image, and rotates the screen image by 90 degrees to output the same. As a result, the screen image is output in the horizontal direction on the display screen of the mobile phone.

즉, 사용자 및 디스플레이 장치가 동시에 90도 회전 이동한 경우, 사용자의 자세를 고려하지 않는 디스플레이 장치는 디스플레이 장치의 회전만을 감지하여 화면 영상을 90도 회전시킴으로써, 사용자가 영상을 바라보는 방향과 디스플레이 장치의 화면 영상 출력 방향이 달라진다. 그러나, 본 발명의 실시 예에 따른 화면 영상 회전 장치(100)는 디스플레이 장치와 이를 사용하는 사용자의 포즈 정보 즉, 사용자의 회전각을 고려하여 화면 영상을 회전시킴으로써, 사용자가 영상을 보는 방향과 디스플레이 장치의 화면 영상 출력 방향을 동일하게 할 수 있다.That is, when the user and the display device are rotated by 90 degrees at the same time, the display device which does not consider the user's posture detects only the rotation of the display device and rotates the screen image by 90 degrees, so that the direction in which the user views the image and the display device. The screen image output direction is different. However, the screenimage rotating apparatus 100 according to an embodiment of the present invention rotates the screen image in consideration of the display device and the pose information of the user using the same, that is, the rotation angle of the user, thereby displaying the direction and display of the user. The screen image output direction of the device may be the same.

도 5는 본 발명의 제2 실시 예에 따른 디스플레이 장치의 화면 영상 회전 장치를 나타낸 도면이고, 도 6은 본 발명의 제2 실시 예에 따른 디스플레이 장치의 화면 영상 회전 방법을 나타낸 흐름도이다.5 is a diagram illustrating a screen image rotating apparatus of a display apparatus according to a second embodiment of the present invention, and FIG. 6 is a flowchart illustrating a screen image rotating method of the display apparatus according to a second embodiment of the present invention.

도 5를 참고하면, 화면 영상 회전 장치(100')는 제1 실시 예에 따른 화면 영상 회전 장치(100)에 비해 회전 감지부(140)를 더 포함할 수 있다.Referring to FIG. 5, the screenimage rotating apparatus 100 ′ may further include arotation detecting unit 140 as compared to the screenimage rotating apparatus 100 according to the first embodiment.

도 6을 보면, 회전 감지부(140)는 디스플레이 장치의 기울기 또는 회전을 감지하고(S610), 감지한 기울기 또는 회전에 대한 회전 정보를 생성하여 영상 회전 변환부(130')로 전달한다.Referring to FIG. 6, therotation detector 140 detects the tilt or rotation of the display device (S610), generates rotation information on the detected tilt or rotation, and transmits the rotation information to theimage rotation converter 130 ′.

또한, 회전 감지부(140)는 디스플레이 장치의 회전 정보에 대한 유효성 정보를 생성하고(S620), 이를 디스플레이 장치의 회전 정보와 함께 영상 회전 변환부(130')로 전달한다. 여기서, 회전 정보는 0도, 90도, 180도 및 270도 중 하나의 각도를 포함할 수 있다.In addition, therotation detector 140 generates validity information on the rotation information of the display apparatus (S620), and transmits the validity information to theimage rotation converter 130 ′ along with the rotation information of the display apparatus. Here, the rotation information may include one of 0 degrees, 90 degrees, 180 degrees, and 270 degrees.

회전 감지부(140)는 디스플레이 장치의 절대적인 위치를 토대로 기울기나 회전을 감지할 수 있다. 이러한 회전 감지부(160)로는 자이로 센서가 사용될 수 있다.Therotation detector 140 may detect tilt or rotation based on an absolute position of the display device. A gyro sensor may be used as the rotation detecting unit 160.

또한, 도 2에서 설명한 단계(S210-S230)들을 통해 영상 회전 변환부(130')로 사용자의 포즈 정보와 사용자의 포즈 정보의 유효성 정보가 전달될 수 있다(S630-S650).In addition, through the steps S210-S230 described with reference to FIG. 2, the user's pose information and the validity information of the user's pose information may be transmitted to theimage rotation converter 130 ′ (S630-S650).

영상 회전 변환부(130')는 디스플레이 장치의 회전 정보와 사용자의 포즈 정보 및 디스플레이 장치의 회전 정보와 사용자 포즈 정보에 대한 유효성 정보를 이용하여 화면 영상의 회전 여부를 결정한다(S660). 이러한 영상 회전 변환부(130')는 표 1과 같은 방법으로 화면 영상의 회전 여부를 결정할 수 있다.Theimage rotation converter 130 ′ determines whether the screen image is rotated using the rotation information of the display device, the pose information of the user, and the validity information about the rotation information of the display device and the user pose information (S660). Theimage rotation converter 130 ′ may determine whether the screen image is rotated as shown in Table 1 below.

표 1에서 "A" 및 "B"는 유효한 정보이며, "A"는 0도, 90도, 180도 및 270도 중 하나의 각도를 의미하고, "B"는 0도, 90도, 180도 및 270도 중 하나의 각도로서, A와 다른 각도를 의미한다. "무효"는 영상 정보가 수신되지 않았거나 오류가 난 경우에 해당하며, "무효"는 회전 여부를 결정할 때 회전 정보 또는 포즈 정보로 사용하지 않는다.In Table 1, "A" and "B" are valid information, "A" means one of 0 degrees, 90 degrees, 180 degrees and 270 degrees, and "B" means 0 degrees, 90 degrees, 180 degrees And 270 degrees, meaning an angle different from A. "Invalid" corresponds to a case in which image information is not received or an error occurs, and "Invalid" is not used as rotation information or pose information when determining whether to rotate.

표 1을 보면, 디스플레이 장치의 회전 정보와 사용자의 포즈 정보가 일치하거나, 디스플레이 장치의 회전 정보와 사용자의 포즈 정보가 모두 무효인 경우, 영상 회전 변환부(130')는 현재 상태를 유지한다(S670). 즉, 영상 회전 변환부(130')는 화면 영상을 회전시키지 않고 그대로 출력한다.Referring to Table 1, when the rotation information of the display device and the pose information of the user match or the rotation information of the display device and the pose information of the user are both invalid, theimage rotation converter 130 ′ maintains the current state ( S670). That is, theimage rotation converter 130 ′ outputs the screen image without rotating it.

반면, 영상 회전 변환부(130')는 디스플레이 장치의 회전 정보가 A이고 사용자의 포즈 정보가 무효인 경우, A만큼 화면 영상을 역회전시키고, 디스플레이 장치의 회전 정보가 무효이고 사용자의 포즈 정보가 A인 경우, A만큼 화면 영상을 회전시킨다. 또한, 영상 회전 변환부(130')는 디스플레이 장치의 회전 정보가 A이고 사용자의 포즈 정보가 B인 경우, (B-A)만큼 화면 영상을 회전시킨다(S680).On the other hand, when the rotation information of the display device is A and the pose information of the user is invalid, the image rotation converter 130 'reverses the screen image by A, the rotation information of the display device is invalid, and the pose information of the user is In the case of A, the screen image is rotated by A. In addition, when the rotation information of the display device is A and the pose information of the user is B, theimage rotation converter 130 ′ rotates the screen image by (B-A) (S680).

이와 같이 하면, 본 발명의 제2 실시 예에 따른 화면 영상 회전 장치(100') 또한 제1 실시 예와 마찬가지로, 사용자 및 디스플레이 장치 중 적어도 하나가 회전 이동하여도 사용자가 영상을 보는 방향을 디스플레이 장치의 화면 영상 출력 방향과 동일하게 할 수 있다.In this way, the screenimage rotating device 100 ′ according to the second embodiment of the present invention also displays the direction in which the user views the image even when at least one of the user and the display device rotates as in the first embodiment. Can be made the same as the screen image output direction.

본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술 분야의 전문가라면 쉽게 구현할 수 있는 것이다.An embodiment of the present invention is not implemented only through the above-described apparatus and / or method, but may be implemented through a program for realizing a function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded. Such an implementation can be easily implemented by those skilled in the art to which the present invention pertains based on the description of the above-described embodiments.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

Claims

Translated fromKorean

디스플레이 장치의 화면 영상 회전 장치에서 화면 영상의 회전 방법에 있어서,
상기 디스플레이 장치의 회전 정보를 추출하는 단계,
상기 사용자의 포즈 정보를 추출하는 단계,
상기 디스플레이 장치의 회전 정보와 상기 사용자의 포즈 정보를 이용하여 상기 화면 영상의 회전 여부를 결정하는 단계, 그리고
상기 회전 여부에 따라 상기 화면 영상을 회전시키거나 상기 영상 화면을 그대로 출력하는 단계
를 포함하는 화면 영상 회전 방법.In the screen image rotating apparatus of the display device, the rotating method of the screen image,
Extracting rotation information of the display device;
Extracting pose information of the user;
Determining whether to rotate the screen image by using rotation information of the display device and pose information of the user; and
Rotating the screen image or outputting the image screen as it is or not;
Screen image rotation method comprising a.

제1항에 있어서,
상기 결정하는 단계는,
상기 회전 정보의 유효성 정보를 생성하는 단계,
상기 포즈 정보의 유효성 정보를 생성하는 단계, 그리고
상기 유효성 정보에 따라 유효한 상기 회전 정보와 유효한 상기 포즈 정보를 이용하여 상기 회전 여부를 결정하는 단계를 포함하는 화면 영상 회전 방법.The method of claim 1,
The determining step,
Generating validity information of the rotation information;
Generating validity information of the pause information; and
And determining the rotation by using the valid rotation information and the valid pause information according to the validity information.

제1항에 있어서,
상기 결정하는 단계는,
상기 회전 정보에 따른 회전 각도와 상기 포즈 정보에 따른 회전 각도가 다른 경우에만, 상기 화면 영상의 회전을 결정하는 단계를 포함하는 화면 영상 회전 방법.The method of claim 1,
The determining step,
And determining the rotation of the screen image only when the rotation angle according to the rotation information is different from the rotation angle according to the pose information.

제3항에 있어서,
상기 출력하는 단계는,
상기 회전 정보에 따른 회전 각도와 상기 포즈 정보에 따른 회전 각도가 다른 경우, 상기 회전 정보에 따른 회전 각도와 상기 포즈 정보에 따른 회전 각도의 차만큼 상기 화면 영상을 회전시키는 단계를 포함하는 화면 영상 회전 방법.The method of claim 3,
The outputting step,
And rotating the screen image by a difference between the rotation angle according to the rotation information and the rotation angle according to the pose information when the rotation angle according to the rotation information and the rotation angle according to the pose information are different. Way.

제1항에 있어서,
상기 결정하는 단계는,
상기 회전 정보에 따른 회전 각도와 상기 포즈 정보에 따른 회전 각도가 동일한 경우, 상기 화면 영상을 회전시키지 않는 것으로 결정하는 단계를 포함하는 화면 영상 회전 방법.The method of claim 1,
The determining step,
And determining not to rotate the screen image when the rotation angle according to the rotation information and the rotation angle according to the pose information are the same.

제1항에 있어서,
상기 포즈 정보를 추출하는 단계는,
상기 사용자의 영상을 촬영하는 단계, 그리고
상기 사용자의 영상으로부터 얼굴 영상을 이용하여 상기 포즈 정보를 추출하는 단계를 포함하는 화면 영상 회전 방법.The method of claim 1,
Extracting the pose information may include:
Photographing the image of the user, and
And extracting the pose information from the image of the user using a face image.

디스플레이 장치의 화면 영상 회전 장치에서 화면 영상의 회전 방법에 있어서,
사용자의 영상을 촬영하는 단계,
상기 사용자의 영상으로부터 상기 사용자의 포즈 정보를 추출하는 단계,
상기 포즈 정보를 이용하여 상기 화면 영상의 회전 여부를 결정하는 단계, 그리고
상기 회전 여부에 따라 상기 화면 영상을 회전시키거나 상기 영상 화면을 그대로 출력하는 단계
를 포함하는 화면 영상 회전 방법.In the screen image rotating apparatus of the display device, the rotating method of the screen image,
Taking a picture of the user,
Extracting pose information of the user from the image of the user;
Determining whether to rotate the screen image by using the pause information; and
Rotating the screen image or outputting the image screen as it is or not;
Screen image rotation method comprising a.

제7항에 있어서,
상기 추출하는 단계는,
상기 사용자의 영상으로부터 얼굴 영상을 추출하는 단계,
상기 얼굴 영상을 이용하여 상기 포즈 정보에 해당하는 얼굴의 회전각을 계산하는 단계를 포함하는 화면 영상 회전 방법.The method of claim 7, wherein
The extracting step,
Extracting a face image from the image of the user;
And calculating a rotation angle of a face corresponding to the pose information by using the face image.

제8항에 있어서,
상기 계산하는 단계는,
상기 얼굴 영상에 타원 추출(Ellipse Fitting) 알고리즘을 이용하여 상기 회전각을 추출하는 단계를 포함하는 화면 영상 회전 방법.The method of claim 8,
The calculating step,
Extracting the rotation angle by using an ellipse fitting algorithm on the face image.

제8항에 있어서,
상기 계산하는 단계는,
상기 얼굴 영상에서 두 눈의 후보 영역을 검출하는 단계, 그리고
상기 두 눈의 후보 영역의 위치 정보를 이용하여 상기 회전각을 계산하는 단계를 포함하는 화면 영상 회전 방법.The method of claim 8,
The calculating step,
Detecting candidate regions of both eyes in the face image, and
And calculating the rotation angle by using location information of the candidate areas of the two eyes.

제8항에 있어서,
상기 계산하는 단계는,
상기 얼굴 영상에서 입술 영역을 검출하는 단계, 그리고
상기 입술 영역의 횡축 기울기로 얼굴의 회전각을 측정하는 단계를 포함하는 화면 영상 회전 방법.The method of claim 8,
The calculating step,
Detecting a lip region in the face image, and
And measuring a rotation angle of the face by the horizontal axis inclination of the lip region.

제7항에 있어서,
상기 포즈 정보의 유효성 정보를 생성하는 단계
를 더 포함하며,
상기 결정하는 단계는,
상기 유효성 정보에 따라 유효한 상기 포즈 정보를 이용하여 상기 회전 여부를 결정하는 단계를 포함하는 화면 영상 회전 방법.The method of claim 7, wherein
Generating validity information of the pause information
More,
The determining step,
And determining the rotation by using the valid pause information according to the validity information.

디스플레이 장치에서 화면 영상을 회전시키는 장치에 있어서,
사용자의 영상을 촬영하는 촬영부,
상기 사용자의 영상을 이용하여 상기 사용자의 포즈 정보를 추출하고, 상기 포즈 정보에 대한 유효성 정보를 생성하는 사용자 포즈 추출부, 그리고
상기 유효성 정보에 따라 유효한 상기 포즈 정보를 이용하여 상기 화면 영상의 회전 여부를 결정하고, 상기 회전 여부에 따라 상기 화면 영상을 회전시켜 출력하거나 상기 화면 영상을 그대로 출력하는 영상 회전 변환부
를 포함하는 화면 영상 회전 장치.In the device for rotating the screen image on the display device,
Shooting unit for taking a picture of the user,
A user pose extracting unit which extracts pose information of the user using the image of the user and generates validity information of the pose information; and
An image rotation converter configured to determine whether to rotate the screen image using the valid pose information according to the validity information, and to rotate or output the screen image according to the rotation or to output the screen image as it is.
Screen image rotating device comprising a.

제13항에 있어서,
상기 디스플레이 장치의 회전에 따른 회전 정보를 생성하고, 상기 회전 정보에 대한 유효성 정보를 생성하는 회전 감지부
를 더 포함하며,
상기 영상 회전 변환부는,
상기 유효한 포즈 정보 외에 상기 유효성 정보에 따라 유효한 상기 회전 정보를 추가로 이용하여 상기 회전 여부를 결정하는 화면 영상 회전 장치.The method of claim 13,
Rotation detection unit for generating rotation information according to the rotation of the display device, and generates the validity information for the rotation information
More,
The image rotation converter,
And the rotation information is further determined based on the validity information in addition to the valid pose information.

제14항에 있어서,
상기 영상 회전 변환부는,
상기 회전 정보에 따른 회전 각도와 상기 포즈 정보에 따른 회전 각도가 다른 경우, 상기 화면 영상의 회전을 결정하는 화면 영상 회전 장치.The method of claim 14,
The image rotation converter,
And determining the rotation of the screen image when the rotation angle according to the rotation information and the rotation angle according to the pose information are different.

제14항에 있어서,
상기 영상 회전 변환부는,
상기 회전 정보에 따른 회전 각도와 상기 포즈 정보에 따른 회전 각도가 동일한 경우, 상기 화면 영상을 회전시키지 않는 것으로 결정하는 화면 영상 회전 장치.The method of claim 14,
The image rotation converter,
And not rotating the screen image when the rotation angle according to the rotation information and the rotation angle according to the pose information are the same.