KR102292192B1 - The Apparatus and Method for Display System displaying Augmented Reality image - Google Patents

Abstract

Translated fromKorean

본 명세서는 증강 현실 이미지를 디스플레이 하는 디스플레이 시스템 및 그 제어 방법에 대한 것이다. 보다 상세하게는, 투명 플렉서블 디스플레이 유닛이 벤딩됨을 디텍트 하는 경우, 디스플레이 시스템이 벤딩 각도에 기초하여 증강 현실 이미지가 디스플레이되는 위치를 제어하는 방법에 대한 것이다.
일 실시예에 따라 디스플레이 시스템은, 화각 내에 위치하는 리얼 오브젝트를 디텍트하는 카메라 유닛, 상기 리얼 오브젝트에 기초하여 증강 현실 오브젝트를 디스플레이 하는 투명 플렉서블 디스플레이 유닛, 상기 투명 플렉서블 디스플레이 유닛의 벤딩을 디텍트하는 벤딩 센서 유닛, 상기 카메라 유닛, 상기 투명 플렉서블 디스플레이 유닛 및 상기 벤딩 센서 유닛을 제어하는 프로세서를 포함하는 디스플레이 시스템으로써, 상기 프로세서는, 상기 카메라 유닛과 제 1 각도를 갖는 제 1 리얼 오브젝트에 대응하는 제 1 증강 현실 오브젝트를 상기 투명 플렉서블 디스플레이 유닛의 제 1 위치에 디스플레이하고, 상기 카메라 유닛과 제 2 각도를 갖는 제 2 리얼 오브젝트에 대응하는 제 2 증강 현실 오브젝트를 상기 투명 플렉서블 디스플레이 유닛의 제 2 위치에 디스플레이하되, 상기 투명 플렉서블 디스플레이 유닛이 벤딩됨을 디텍트한 경우, 상기 제 1 증강 현실 오브젝트를 상기 제 1 위치와 제 1 거리만큼 떨어진 제 3 위치에 디스플레이하고, 싱기 제 2 증강 현실 오브젝트를 상기 제 2 위치와 제 2 거리만큼 떨어진 제 4 위치에 디스플레이하되, 상기 제 1 각도가 상기 제 2 각도보다 큰 경우, 상기 제 1 거리는 상기 제 2 거리보다 크게 설정될 수 있다.The present specification relates to a display system for displaying an augmented reality image and a method for controlling the same. In more detail, when detecting that the transparent flexible display unit is bent, it relates to a method of controlling, by a display system, a position at which an augmented reality image is displayed based on a bending angle.
According to an embodiment, the display system includes a camera unit that detects a real object located within an angle of view, a transparent flexible display unit that displays an augmented reality object based on the real object, and a bending of the transparent flexible display unit that detects bending A display system including a bending sensor unit, the camera unit, the transparent flexible display unit, and a processor for controlling the bending sensor unit, wherein the processor includes a first real object corresponding to a first real object having a first angle with the camera unit. Display one augmented reality object at a first position of the transparent flexible display unit, and display a second augmented reality object corresponding to a second real object having a second angle with the camera unit at a second position of the transparent flexible display unit However, when it is detected that the transparent flexible display unit is bent, the first augmented reality object is displayed at a third position separated from the first position by a first distance, and a thin second augmented reality object is displayed on the second The display may be displayed at a fourth position separated by a second distance from the position, and when the first angle is greater than the second angle, the first distance may be set to be greater than the second distance.

Description

Translated fromKorean

증강 현실 이미지를 디스플레이 하는 디스플레이 시스템 및 그 제어 방법 {The Apparatus and Method for Display System displaying Augmented Reality image}{The Apparatus and Method for Display System displaying Augmented Reality image}

본 명세서는 증강 현실 이미지를 디스플레이 하는 디스플레이 시스템 및 그 제어 방법에 대한 것이다. 보다 상세하게는, 투명 플렉서블 디스플레이 유닛이 벤딩됨을 디텍트 하는 경우, 디스플레이 시스템이 벤딩 각도에 기초하여 증강 현실 이미지가 디스플레이되는 위치를 제어하는 방법에 대한 것이다.The present specification relates to a display system for displaying an augmented reality image and a method for controlling the same. In more detail, when detecting that the transparent flexible display unit is bent, it relates to a method of controlling, by a display system, a position at which an augmented reality image is displayed based on a bending angle.

리얼 오브젝트와 버추얼 오브젝트가 혼합된 증강 현실 기술은 사용자가 증강 현실 오브젝트와 함께 현실의 오브젝트를 볼 수 있게 하여 현실감과 함께 부가 정보를 제공한다. 예를 들어 스마트폰의 카메라로 주변을 비추면 현실 오브젝트와 함께 인근에 있는 상점의 위치, 전화번호 등의 증강 현실 오브젝트가 입체영상으로 표기된다. 증강 현실 기술은 투명 플렉서블 디스플레이를 포함하는 디스플레이 시스템에도 적용될 수 있다. 보다 상세하게는, 유저는 투명한 디스플레이 유닛을 통해 리얼 오브젝트를 디텍트 할 수 있다. 디스플레이 시스템은 디텍트 한 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 투명 플렉서블 디스플레이 유닛에 디스플레이 할 수 있다. 또한, 플렉서블 디스플레이 유닛은 벤딩될 수 있다. 이때, 디스플레이 시스템은 벤딩된 각도에 기초하여 증강 현실 오브젝트를 투명 플렉서블 디스플레이 유닛에 디스플레이 할 수 있다.Augmented reality technology, in which real objects and virtual objects are mixed, allows users to view real objects together with augmented reality objects, thereby providing additional information with a sense of reality. For example, when you illuminate the surroundings with the camera of a smartphone, augmented reality objects such as the location of a nearby store and a phone number are displayed as a stereoscopic image along with the real object. Augmented reality technology may also be applied to a display system including a transparent flexible display. More specifically, a user can detect a real object through a transparent display unit. The display system may display the augmented reality object corresponding to the detected real object on the transparent flexible display unit. Also, the flexible display unit may be bent. In this case, the display system may display the augmented reality object on the transparent flexible display unit based on the bent angle.

따라서, 투명 플렉서블 디스플레이 유닛을 포함하는 디스플레이 시스템이 증강 현실 기술을 적용하는 경우, 디스플레이 시스템은 투명한 특징 및 플렉서블한 특징에 기초하여 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 투명 플렉서블 디스플레이 유닛에 디스플레이 하는 방법이 요구된다.Therefore, when the display system including the transparent flexible display unit applies the augmented reality technology, the display system displays the augmented reality object corresponding to the real object on the transparent flexible display unit based on the transparent feature and the flexible feature. is required

본 명세서는, 증강 현실 이미지를 디스플레이 하는 디스플레이 시스템 및 그 제어 방법을 제공하는데 목적을 가지고 있다.An object of the present specification is to provide a display system for displaying an augmented reality image and a method for controlling the same.

또한, 디스플레이 시스템이 리얼 오브젝트를 디텍트하고, 디텍트된 리얼 오브젝트와 카메라 유닛의 각도에 기초하여 증강 현실 오브젝트를 투명 플렉서블 디스플레이 유닛에 디스플레이 하는 방법을 제공하는데 목적을 가지고 있다.Another object of the present invention is to provide a method for a display system to detect a real object and display the augmented reality object on a transparent flexible display unit based on an angle between the detected real object and a camera unit.

또한, 디스플레이 시스템이 투명 플렉서블 디스플레이 유닛이 벤딩됨을 디텍트 하는 경우, 디스플레이 시스템이 벤딩 각도에 기초하여 투명 플렉서블 디스플레이 유닛에 디스플레이 되는 증강 현실 오브젝트의 위치를 제어하는 방법을 제공하는데 목적이 있다.Another object of the present invention is to provide a method in which the display system controls the position of an augmented reality object displayed on the transparent flexible display unit based on the bending angle when the display system detects that the transparent flexible display unit is bent.

또한, 디스플레이 시스템이 유저 눈과 투명 플렉서블 디스플레이 유닛의 거리를 디텍트 하고, 디텍트된 거리에 기초하여 디스플레이 하는 증강 현실 오브젝트의 위치를 제어하는 방법을 제공하는데 목적이 있다.Another object of the present invention is to provide a method for a display system to detect a distance between a user's eyes and a transparent flexible display unit, and to control a position of an augmented reality object displayed based on the detected distance.

또한, 디스플레이 시스템이 카메라 유닛의 화각에 기초하여 증강 현실 오브젝트를 디스플레이 하는 한계 영역인 인디케이터를 표시하는 방법을 제공하는데 목적이 있다.Another object of the present invention is to provide a method of displaying an indicator, which is a limit area in which a display system displays an augmented reality object based on a field of view of a camera unit.

또한, HMD 디바이스와 디스플레이 유닛으로 구성된 디스플레이 시스템을 제공하는데 목적이 있다.Another object of the present invention is to provide a display system composed of an HMD device and a display unit.

본 명세서의 일 실시예에 따라 디스플레이 시스템은, 화각 내에 위치하는 리얼 오브젝트를 디텍트하는 카메라 유닛, 상기 리얼 오브젝트에 기초하여 증강 현실 오브젝트를 디스플레이 하는 투명 플렉서블 디스플레이 유닛, 상기 투명 플렉서블 디스플레이 유닛의 벤딩을 디텍트하는 벤딩 센서 유닛, 상기 카메라 유닛, 상기 투명 플렉서블 디스플레이 유닛 및 상기 벤딩 센서 유닛을 제어하는 프로세서를 포함하는 디스플레이 시스템으로써, 상기 프로세서는, 상기 카메라 유닛과 제 1 각도를 갖는 제 1 리얼 오브젝트에 대응하는 제 1 증강 현실 오브젝트를 상기 투명 플렉서블 디스플레이 유닛의 제 1 위치에 디스플레이하고, 상기 카메라 유닛과 제 2 각도를 갖는 제 2 리얼 오브젝트에 대응하는 제 2 증강 현실 오브젝트를 상기 투명 플렉서블 디스플레이 유닛의 제 2 위치에 디스플레이하되, 상기 투명 플렉서블 디스플레이 유닛이 벤딩됨을 디텍트한 경우, 상기 제 1 증강 현실 오브젝트를 상기 제 1 위치와 제 1 거리만큼 떨어진 제 3 위치에 디스플레이하고, 싱기 제 2 증강 현실 오브젝트를 상기 제 2 위치와 제 2 거리만큼 떨어진 제 4 위치에 디스플레이하되, 상기 제 1 각도가 상기 제 2 각도보다 큰 경우, 상기 제 1 거리는 상기 제 2 거리보다 크게 설정될 수 있다.A display system according to an embodiment of the present specification includes a camera unit that detects a real object located within an angle of view, a transparent flexible display unit that displays an augmented reality object based on the real object, and bending of the transparent flexible display unit. A display system comprising a bending sensor unit to detect, the camera unit, the transparent flexible display unit, and a processor for controlling the bending sensor unit, wherein the processor is configured to display a first real object having a first angle with the camera unit. Display a corresponding first augmented reality object at a first position of the transparent flexible display unit, and display a second augmented reality object corresponding to a second real object having a second angle with the camera unit of the transparent flexible display unit Display at a second position, but when it is detected that the transparent flexible display unit is bent, the first augmented reality object is displayed at a third position separated from the first position by a first distance, and a second augmented reality object is displayed. The display is performed at a fourth position separated from the second position by a second distance, and when the first angle is greater than the second angle, the first distance may be set to be greater than the second distance.

본 명세서에 따르면, 디스플레이 시스템은 리얼 오브젝트를 디텍트 하고, 디텍트된 리얼 오브젝트와 카메라 유닛의 각도에 기초하여 증강 현실 오브젝트를 투명 플렉서블 디스플레이 유닛에 디스플레이 할 수 있다.According to the present specification, the display system may detect a real object and display the augmented reality object on the transparent flexible display unit based on the angle between the detected real object and the camera unit.

또한, 본 명세서에 따르면, 디스플레이 시스템이 투명 플렉서블 디스플레이 유닛이 벤딩됨을 디텍트 하는 경우, 디스플레이 시스템은 벤딩 각도에 기초하여 투명 플렉서블 디스플레이 유닛에 디스플레이 되는 증강 현실 오브젝트의 위치를 제어할 수 있다.Also, according to the present specification, when the display system detects that the transparent flexible display unit is bent, the display system may control the position of the augmented reality object displayed on the transparent flexible display unit based on the bending angle.

또한, 본 명세서에 따르면, 디스플레이 시스템은 유저 눈과 투명 플렉서블 디스플레이 유닛의 거리를 디텍트 하고, 디텍트된 거리에 기초하여 디스플레이 하는 증강 현실 오브젝트의 위치를 제어할 수 있다.Also, according to the present specification, the display system may detect a distance between the user's eyes and the transparent flexible display unit, and control the position of the augmented reality object to be displayed based on the detected distance.

또한, 본 명세서에 따르면, 디스플레이 시스템은 카메라 유닛의 화각에 기초하여 증강 현실 오브젝트를 디스플레이 하는 한계 영역인 인디케이터를 표시할 수 있다.Also, according to the present specification, the display system may display an indicator that is a limit area for displaying an augmented reality object based on the angle of view of the camera unit.

또한, 본 명세서에 따르면, HMD 디바이스와 디스플레이 유닛으로 구성된 디스플레이 시스템을 제공할 수 있다.Also, according to the present specification, it is possible to provide a display system including an HMD device and a display unit.

도 1은 본 명세서의 일 실시예에 따른 디스플레이 시스템의 블록도를 나타낸 도면이다.
도 2는 본 명세서의 일 실시예에 따른 투명 플렉서블 디스플레이 유닛이 벤딩됨을 디텍트하는 경우, 디스플레이 시스템이 증강 현실 오브젝트를 디스플레이 하는 방법을 나타낸 도면이다.
도 3는 본 명세서의 일 실시예에 따른 디스플레이 시스템이 유저 눈과 리얼 오브젝트의 각도에 기초하여 증강 현실 오브젝트를 디스플레이 하는 위치를 설정하는 방법을 나타낸 도면이다.
도 4a 내지 도 4c는 본 명세서의 일 실시예에 따른 투명 디스플레이 유닛과 유저 눈 사이의 거리에 기초하여 증강 현실 오브젝트를 디스플레이 하는 방법을 나타낸 도면이다.
도 5a 및 도 5b는 본 명세서의 일 실시예에 따른 디스플레이 시스템이 투명 플렉서블 디스플레이 유닛의 벤딩에 기초하여 증강 현실 오브젝트를 디스플레이 하는 방법을 나타낸 도면이다.
도 6a 및 도 6b는 본 명세서의 일 실시예에 따른 HMD 디바이스를 포함하는 디스플레이 시스템을 나타낸 도면이다.
도 7a 및 도 7b은 본 명세서의 일 실시예에 따른 디스플레이 시스템이 카메라 유닛의 화각에 기초하여 증강 현실 오브젝트를 디스플레이하는 방법을 나타낸 도면이다.
도 8은 본 명세서의 일 실시예에 따른 디스플레이 시스템이 유저 눈과 투명 플렉서블 유닛의 거리에 기초하여 증강 현실 오브젝트를 디스플레이 하는 방법을 나타낸 도면이다.
도 9는 본 명세서의 일 실시예에 따른 디스플레이 시스템의 제어 방법의 실시예를 나타내는 도면이다.
도 10는 본 명세서의 일 실시예에 따른 디스플레이 시스템의 제어 방법의 실시예를 나타내는 도면이다.1 is a diagram illustrating a block diagram of a display system according to an embodiment of the present specification.
2 is a diagram illustrating a method for a display system to display an augmented reality object when it is detected that the transparent flexible display unit is bent according to an embodiment of the present specification.
3 is a diagram illustrating a method of setting a position in which the display system displays an augmented reality object based on an angle between a user's eyes and a real object according to an embodiment of the present specification.
4A to 4C are diagrams illustrating a method of displaying an augmented reality object based on a distance between a transparent display unit and a user's eyes according to an embodiment of the present specification.
5A and 5B are diagrams illustrating a method in which a display system according to an embodiment of the present specification displays an augmented reality object based on bending of a transparent flexible display unit.
6A and 6B are diagrams illustrating a display system including an HMD device according to an embodiment of the present specification.
7A and 7B are diagrams illustrating a method for a display system to display an augmented reality object based on an angle of view of a camera unit according to an embodiment of the present specification.
8 is a diagram illustrating a method of displaying an augmented reality object based on a distance between a user's eyes and a transparent flexible unit by a display system according to an embodiment of the present specification.
9 is a diagram illustrating an embodiment of a method for controlling a display system according to an embodiment of the present specification.
10 is a diagram illustrating an embodiment of a method for controlling a display system according to an embodiment of the present specification.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.Hereinafter, the embodiments will be described in detail with reference to the accompanying drawings and the contents described in the accompanying drawings, but the scope of the claims is not limited or limited by the embodiments.

본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.The terms used in the present specification have been selected as widely used general terms as possible while considering their functions, but may vary depending on the intentions or customs of those of ordinary skill in the art or the emergence of new technologies. In addition, in specific cases, there are also terms arbitrarily selected by the applicant, and in this case, the meaning will be described in the description of the corresponding specification. Therefore, it is intended to clarify that the terms used in this specification should be interpreted based on the actual meaning of the terms and the contents of the entire specification, rather than the names of simple terms.

본 명세서에서 디스플레이 시스템(100)은 비주얼 정보를 디스플레이 할 수 있는 시스템을 의미할 수 있다. 일 예로, 디스플레이 시스템(100)은 스마트폰, 스마트패드, 태블릿 컴퓨터, 노트북 또는 PDA일 수 있다. 또한 디스플레이 시스템(100)은 헤드 마운트 디스플레이를 포함할 수 있다. 또한, 그 밖에도, 디스플레이 시스템(100)은 비주얼 정보를 디스플레이 하는 디바이스일 수 있으며, 상술한 실시예로 한정하지 않는다.In this specification, thedisplay system 100 may refer to a system capable of displaying visual information. As an example, thedisplay system 100 may be a smartphone, a smart pad, a tablet computer, a notebook computer, or a PDA. Also, thedisplay system 100 may include a head mounted display. In addition, thedisplay system 100 may be a device that displays visual information, and is not limited to the above-described embodiment.

또한, 본 명세서에 따라 디스플레이 시스템(100)은 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 디스플레이 하는 디바이스일 수 있다. 리얼 오브젝트는 디스플레이 시스템(100)을 통해 유저가 인지하는 사물을 의미할 수 있다. 또한, 증강 현실 오브젝트는 디스플레이 시스템(100)이 디텍트 한 리얼 오브젝트에 대응하여 생성한 가상의 이미지를 의미할 수 있다.Also, according to the present specification, thedisplay system 100 may be a device that displays an augmented reality object corresponding to a real object. The real object may mean an object recognized by the user through thedisplay system 100 . Also, the augmented reality object may mean a virtual image generated in response to the real object detected by thedisplay system 100 .

도 1은 본 명세서의 일 실시예에 따른 디스플레이 시스템(100)의 블록도를 나타낸 도면이다. 디스플레이 시스템(100)은 카메라 유닛(110), 투명 플렉서블 디스플레이 유닛(120), 벤딩 센서 유닛(130) 및 프로세서(140)를 포함할 수 있다. 카메라 유닛(110)은 HMD 디바이스(100)의 주변 환경 이미지를 촬영하여 전기적 신호로 변환할 수 있다. 이를 위해 카메라 유닛(110)은 이미지 센서를 포함할 수 있다. 이미지 센서는 광학 신호를 전기적 신호로 변환할 수 있다. 카메라 유닛(110)에서 촬영되어 전기적 신호로 변환된 이미지는 스토리지 유닛(미도시)에 저장된 후 프로세서(140)로 투명 플렉서블 디스플레이 유닛(120)으로 디스플레이 될 수 있다. 또한, 이미지는 저장 없이 바로 프로세서(140)를 이용하여 투명 플렉서블 디스플레이 유닛(120)으로 디스플레이 될 수 있다. 또한, 카메라 유닛(110)은 화각을 가질 수 있다. 이때, 화각은 카메라 유닛(110)이 주변에 위치하는 리얼 오브젝트를 디텍트 할 수 있는 영역을 의미할 수 있다. 카메라 유닛(110)은 화각 내에 위치하는 리얼 오브젝트만을 디텍트 할 수 있다. 리얼 오브젝트가 카메라 유닛(110)의 화각 내에 위치하는 경우, 디스플레이 시스템(100)은 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 디스플레이 할 수 있다. 또한, 카메라 유닛(110)은 카메라 유닛(110)과 리얼 오브젝트의 각도를 디텍트 할 수 있다.1 is a diagram illustrating a block diagram of adisplay system 100 according to an embodiment of the present specification. Thedisplay system 100 may include acamera unit 110 , a transparentflexible display unit 120 , abending sensor unit 130 , and aprocessor 140 . Thecamera unit 110 may capture an image of the surrounding environment of theHMD device 100 and convert it into an electrical signal. To this end, thecamera unit 110 may include an image sensor. The image sensor may convert an optical signal into an electrical signal. The image captured by thecamera unit 110 and converted into an electrical signal may be stored in a storage unit (not shown) and then displayed by theprocessor 140 as the transparentflexible display unit 120 . In addition, the image may be directly displayed on the transparentflexible display unit 120 using theprocessor 140 without storage. Also, thecamera unit 110 may have an angle of view. In this case, the angle of view may mean an area in which thecamera unit 110 can detect a real object located nearby. Thecamera unit 110 may detect only real objects located within the angle of view. When the real object is located within the angle of view of thecamera unit 110 , thedisplay system 100 may display the augmented reality object corresponding to the real object. Also, thecamera unit 110 may detect the angle between thecamera unit 110 and the real object.

보다 상세하게는, 카메라 유닛(110)은 카메라 유닛(110)의 중심을 기준으로 리얼 오브젝트와 카메라 유닛의 각도를 디텍트 할 수 있다. 이때, 카메라 유닛(110)과 리얼 오브젝트의 각도는 카메라 유닛(110)의 중심을 기준으로 우측, 좌측, 위측 또는 아래쪽일 수 있다. 또한, 일 예로, 카메라 유닛(110)은 투명 플렉서블 디스플레이 유닛(120)의 중심을 지나는 수직축 상에 위치할 수 있다. 보다 상세하게는, 카메라 유닛(110)은 투명 플렉서블 디스플레이 유닛(120)의 중심점을 지나는 수직축의 가장 윗부분에 위치할 수 있다.More specifically, thecamera unit 110 may detect the angle between the real object and the camera unit with respect to the center of thecamera unit 110 . In this case, the angle between thecamera unit 110 and the real object may be right, left, upper or lower with respect to the center of thecamera unit 110 . Also, as an example, thecamera unit 110 may be positioned on a vertical axis passing through the center of the transparentflexible display unit 120 . More specifically, thecamera unit 110 may be located at the uppermost portion of the vertical axis passing through the center point of the transparentflexible display unit 120 .

이를 통해, 카메라 유닛(110)은 투명 플렉서블 디스플레이 유닛(120)이 벤딩에 무관하게 리얼 오브젝트와 일정한 각도를 유지할 수 있다.Through this, thecamera unit 110 may maintain a constant angle with the real object regardless of the bending of the transparentflexible display unit 120 .

또한, 일 예로, 카메라 유닛(110)과 리얼 오브젝트의 각도는 투명 플렉서블 유닛(120)의 중심과 유저의 시선을 연결하는 라인에 더 기초하여 결정될 수 있다. 보다 상세하게는, 카메라 유닛(110)은 유저 눈과 투명 플렉서블 디스플레이 유닛(120)의 위치 정보를 디텍트 할 수 있다. 이때, 위치 정보는 유저 눈가 투명 플렉서블 디스플레이 유닛(120)의 거리 및 각도를 포함할 수 있다. 카메라 유닛(110)은 위치 정보를 고려하여 카메라 유닛(110)과 리얼 오브젝트의 각도를 디텍트 할 수 있다. 또한, 일 예로, 카메라 유닛(110)은 리얼 오브젝트를 디텍트 하는 센서 유닛을 포함할 수 있다. 이때, 센서 유닛은 카메라 유닛(110)과 리얼 오브젝트의 거리 및 각도를 디텍트 할 수 있다.Also, as an example, the angle between thecamera unit 110 and the real object may be further determined based on a line connecting the center of the transparentflexible unit 120 and the user's gaze. In more detail, thecamera unit 110 may detect the user's eyes and location information of the transparentflexible display unit 120 . In this case, the location information may include a distance and an angle of the transparentflexible display unit 120 around the user's eyes. Thecamera unit 110 may detect the angle between thecamera unit 110 and the real object in consideration of location information. Also, as an example, thecamera unit 110 may include a sensor unit that detects a real object. In this case, the sensor unit may detect the distance and angle between thecamera unit 110 and the real object.

투명 플렉서블 디스플레이 유닛(120)은 프로세서(140)에서 실행되는 컨텐츠 또는 프로세서(130)의 제어 명령에 기초하여 비주얼 정보를 출력할 수 있다. 비주얼 정보는 리얼 오브젝트 및 증강 현실 오브젝트일 수 있다. 이때, 투명 플렉서블 디스플레이 유닛(120)은 씨쓰루 디스플레이일 수 있다. 유저는 투명 플렉서블 디스플레이 유닛(120)으로 투과되는 리얼 오브젝트를 디텍트 할 수 있다. 즉, 투명 플렉서블 디스플레이 유닛(120)은 투명 플렉서블 디스플레이 유닛(120)을 통해 유저가 바라보는 리얼 오브젝트와 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 디스플레이 할 수 있다.The transparentflexible display unit 120 may output visual information based on content executed by theprocessor 140 or a control command of theprocessor 130 . The visual information may be a real object and an augmented reality object. In this case, the transparentflexible display unit 120 may be a see-through display. A user may detect a real object transmitted through the transparentflexible display unit 120 . That is, the transparentflexible display unit 120 may display the real object viewed by the user and the augmented reality object corresponding to the real object through the transparentflexible display unit 120 .

또한, 투명 플렉서블 디스플레이 유닛(120)은 플렉서블한 재질일 수 있다. 보다 상세하게는, 투명 플렉서블 디스플레이 유닛(120)은 유저에 의해 벤딩될 수 있다. 디스플레이 시스템(100)이 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트하는 경우, 디스플레이 시스템(100)은 벤딩 각도에 기초하여 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 디스플레이 할 수 있다. 이때, 벤딩 각도는 투명 플렉서블 디스플레이 유닛(120)이 펼쳐진 상태를 기준으로 설정될 수 있다. 벤딩 각도는 투명 플렉서블 디스플레이 유닛(120) 내부 위치에 따라 다를 수 있다. 이때, 일 예로, 벤딩 각도는 투명 플렉서블 디스플레이 유닛(120) 내부 위치 각각에 대한 벤딩된 각도의 평균일 수 있다. 또한, 일 예로, 벤딩 각도는 투명 플렉서블 디스플레이 유닛(120)의 내부 위치 중 증강 현실 오브젝트가 디스플레이 되는 지점에서의 벤딩 각도일 수 있다. 또한, 일 예로, 유저가 투명 플렉서블 디스플레이 유닛(120)을 많이 구부리는 경우, 벤딩 각도는 증가할 수 있으며, 상술한 실시예로 한정되지 않는다. 또한, 디스플레이 시스템(100)은 디스플레이 하는 증강 현실 오브젝트의 위치를 벤딩되는 각도에 기초하여 변경하여 설정할 수 있다.In addition, the transparentflexible display unit 120 may be made of a flexible material. More specifically, the transparentflexible display unit 120 may be bent by a user. When thedisplay system 100 detects that the transparentflexible display unit 120 is bent, thedisplay system 100 may display an augmented reality object corresponding to the real object based on the bending angle. In this case, the bending angle may be set based on a state in which the transparentflexible display unit 120 is unfolded. The bending angle may vary depending on the internal position of the transparentflexible display unit 120 . In this case, as an example, the bending angle may be an average of the bending angles for each internal position of the transparentflexible display unit 120 . Also, as an example, the bending angle may be a bending angle at a point where the augmented reality object is displayed among internal positions of the transparentflexible display unit 120 . Also, as an example, when the user bends the transparent flexible display unit 120 a lot, the bending angle may increase, and the embodiment is not limited thereto. Also, thedisplay system 100 may change and set the position of the augmented reality object to be displayed based on the bending angle.

또한, 투명 플렉서블 디스플레이 유닛(120)는 높은 정도의 플렉서빌러티를 갖도록 LCD(Liquid Crystal Display)기술 또는 OLED(Organic Light Emitting Diode)기술, ELD(Electro Luminescent Display) 기술 또는 전자 종이 기술 등과 같은 유사한 디스플레이 기술에 따라서 구현될 수 있다. 투명 플렉서블 디스플레이 유닛(120)는 물리적으로 변형될 수 있기 때문에, 플렉서블 디스플레이(170)가 수납 위치 내에 수납되는 경우 디스플레이 시스템(100)의 전체 사이즈를 추가하지 않는 이점을 갖고 내부 수납 위치에 수납될 수 있다.In addition, the transparentflexible display unit 120 has a high degree of flexibility, such as LCD (Liquid Crystal Display) technology, OLED (Organic Light Emitting Diode) technology, ELD (Electro Luminescent Display) technology, or electronic paper technology. It may be implemented according to the display technology. Since the transparentflexible display unit 120 can be physically deformed, it has the advantage of not adding the overall size of thedisplay system 100 when the flexible display 170 is accommodated in the storage position and can be accommodated in the interior storage position. have.

또한, 투명 플렉서블 디스플레이 유닛(120)은 바람직하게는 플렉서블 디스플레이 스크린 및 터치 인풋 인식 센서를 구비한 터치 센서티비 디스플레이 스크린이 될 수 있다. 따라서, 투명 플렉서블 디스플레이 유닛(120)은 터치 인풋을 디텍트할 수 있다.In addition, the transparentflexible display unit 120 may be a flexible display screen and a touch sensor TV display screen having a touch input recognition sensor. Accordingly, the transparentflexible display unit 120 may detect the touch input.

또한, 일 예로서, 투명 플렉서블 디스플레이 유닛(120)은 별도의 디스플레이 유닛(미도시)으로 구성될 수 있다. 보다 상세하게는, 디스플레이 시스템(100)은 카메라 유닛(110) 및 벤딩 센서 유닛(130)을 포함하는 디바이스와 투명 플렉서블 디스플레이 유닛(120)을 포함하는 디스플레이 유닛일 수 있다. 이때, 일 예로서, 디스플레이 시스템(100)은 카메라 유닛(110) 및 벤딩 센서 유닛(130)을 포함하는 HMD 디바이스와 투명 플렉서블 디스플레이 유닛(120)을 포함하는 디스플레이 유닛으로 구성될 수도 있다. 이때, 유저는 HMD 디바이스를 이용하여 리얼 오브젝트를 디텍트 할 수 있다. 또한, 유저는 디텍트한 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 투명 플렉서블 디스플레이 유닛(120)을 포함하는 디스플레이 유닛에 디스플레이 할 수 있다. 이를 통해, 유저는 투명 플렉서블 디스플레이 유닛(120)에 디스플레이 되는 증강 현실 오브젝트를 제어할 수 있으며, 이와 관련해서는 도 8a 및 도 8b에서 후술한다.Also, as an example, the transparentflexible display unit 120 may be configured as a separate display unit (not shown). In more detail, thedisplay system 100 may be a device including thecamera unit 110 and the bendingsensor unit 130 and a display unit including the transparentflexible display unit 120 . In this case, as an example, thedisplay system 100 may include an HMD device including thecamera unit 110 and the bendingsensor unit 130 , and a display unit including the transparentflexible display unit 120 . In this case, the user can detect the real object using the HMD device. In addition, the user may display the augmented reality object corresponding to the detected real object on the display unit including the transparentflexible display unit 120 . Through this, the user can control the augmented reality object displayed on the transparentflexible display unit 120 , which will be described later with reference to FIGS. 8A and 8B .

또한, 일 예로서, 카메라 유닛(110) 및 벤딩 센서 유닛(130)을 포함하는 디바이스는 스마트폰, 스마트패드, 태블릿, 컴퓨터, 노트북 또는 PDA 중 적어도 하나일 수 있다. 또한, 투명 플렉서블 디스플레 유닛(120)은 상술한 디바이스와 별도로 디스플레이 유닛으로 분리되어 구성될 수 있다.Also, as an example, the device including thecamera unit 110 and the bendingsensor unit 130 may be at least one of a smartphone, a smart pad, a tablet, a computer, a notebook computer, or a PDA. In addition, the transparentflexible display unit 120 may be configured as a display unit separately from the above-described device.

벤딩 센서 유닛(130)은 디스플레이 시스템(100)에 장착된 복수의 센서를 사용하여 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트 하고, 벤딩 각도를 프로세서(140)로 전달할 수 있다. 또한 일 예로, 벤딩 센서 유닛(130)은 투명 플렉서블 디스플레이 유닛(120)의 벤딩 방향을 디텍트할 수 있다. 이때, 상술한 방향은 투명 플렉서블 디스플레이 유닛(120)의 중심을 지나는 수직축을 기준으로 벤딩되는 방향일 수 있다. 이때, 벤딩 방향은 유저 쪽을 향하는 안쪽 방향일 수 있다. 또한, 벤딩 방향은 유저 바깥 쪽을 향하는 바깥쪽 방향일 수 있다. 또한, 벤딩 방향은 투명 플렉서블 디스플레이 유닛(120)의 중심을 지나는 수평축을 기준으로 벤딩되는 방향일 수 있다. 이때, 벤딩 방향은 유저 쪽을 향하는 안쪽 방향일 수 있다. 또한, 벤딩 방향은 유저 바깥 쪽을 향하는 바깥쪽 방향일 수 있다.The bendingsensor unit 130 may detect that the transparentflexible display unit 120 is bent using a plurality of sensors mounted on thedisplay system 100 , and may transmit the bending angle to theprocessor 140 . Also, as an example, the bendingsensor unit 130 may detect a bending direction of the transparentflexible display unit 120 . In this case, the above-described direction may be a bending direction based on a vertical axis passing through the center of the transparentflexible display unit 120 . In this case, the bending direction may be an inward direction toward the user. Also, the bending direction may be an outward direction toward the outside of the user. Also, the bending direction may be a bending direction based on a horizontal axis passing through the center of the transparentflexible display unit 120 . In this case, the bending direction may be an inward direction toward the user. Also, the bending direction may be an outward direction toward the outside of the user.

벤딩 센서 유닛(130)은 복수의 센싱 수단을 포함할 수 있다. 일 실시예로서, 복수의 센싱 수단은 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 벤딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서 등의 센싱 수단을 포함할 수 있다. 벤딩 센서 유닛(130)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 사용자의 환경을 센싱하여, 디바이스가 그에 따른 동작을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘러먼트로 디바이스에 포함되거나, 적어도 하나 이상의 엘러먼트로 통합되어 포함될 수 있다.The bendingsensor unit 130 may include a plurality of sensing means. In one embodiment, the plurality of sensing means include a gravity sensor, a geomagnetic sensor, a motion sensor, a gyro sensor, an acceleration sensor, an inclination sensor, a brightness sensor, an altitude sensor, an olfactory sensor, a temperature sensor, a depth sensor, and a pressure. It may include sensing means such as a sensor, a bending sensor, an audio sensor, a video sensor, a Global Positioning System (GPS) sensor, and a touch sensor. The bendingsensor unit 130 collectively refers to the above-described various sensing means, and may sense various inputs of a user and a user's environment, and may transmit a sensing result so that the device may perform an operation according to the sensing unit. The above-described sensors may be included in the device as a separate element, or may be integrated and included as at least one or more elements.

프로세서(140)는 카메라 유닛(110)을 통해 전달 받은 리얼 오브젝트 정보를 이용하여 증강현실 오브젝트를 투명 플렉서블 디스플레이 유닛(120)에 디스플레이 할 수 있다. 이때, 프로세서(140)는 카메라 유닛과 리얼 오브젝트의 각도를 디텍트할 수 있다. 또한, 일 예로, 프로세서(140)는 유저 눈과 리얼 오브젝트의 각도를 디텍트할 수 있다. 이때, 상술한 각도는 유저의 시선과 투명 플렉서블 디스플레이 유닛(120)의 중심을 연결한 라인(이하 기준선)에 더 기초하여 설정될 수 있다. 또한, 상술한 각도는 기준선의 우측, 좌측, 위측 또는 아래측 방향일 수 있으며, 상술한 실시예로 한정되지 않는다. 프로세서(140)는 카메라 유닛과 리얼 오브젝트의 각도에 기초하여 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 투명 플렉서블 디스플레이 유닛(120)에 디스플레이 할 수 있다. 이때, 일 예로, 투명 플렉서블 디스플레이 유닛(120)은 리얼 오브젝트를 바라보는 유저 눈의 시선과 투명 플렉서블 디스플레이 유닛이 교차하는 지점에 기초하여 증강 현실 오브젝트를 디스플레이 할 수 있다. 프로세서(140)는 벤딩 센서 유닛(130)으로부터 투명 플렉서블 디스플레이 유닛(120)이 벤딩에 대한 정보를 전달 받을 수 있다.Theprocessor 140 may display the augmented reality object on the transparentflexible display unit 120 by using the real object information received through thecamera unit 110 . In this case, theprocessor 140 may detect the angle between the camera unit and the real object. Also, as an example, theprocessor 140 may detect the angle between the user's eye and the real object. In this case, the above-described angle may be further set based on a line (hereinafter, referred to as a reference line) connecting the user's gaze and the center of the transparentflexible display unit 120 . In addition, the above-described angle may be a right, left, upper, or lower direction of the reference line, and is not limited to the above-described embodiment. Theprocessor 140 may display the augmented reality object corresponding to the real object on the transparentflexible display unit 120 based on the angle between the camera unit and the real object. In this case, as an example, the transparentflexible display unit 120 may display the augmented reality object based on a point at which the user's eye looking at the real object crosses the transparent flexible display unit. Theprocessor 140 may receive information about bending of the transparentflexible display unit 120 from the bendingsensor unit 130 .

프로세서(140)는 투명 플렉서블 디스플레이 유닛(120)의 벤딩 각도에 기초하여 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 디스플레이 할 수 있다. 이때, 프로세서는 리얼 오브젝트를 바라보는 유저의 시선과 벤딩된 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 증강 현실 오브젝트를 디스플레이 할 수 있다.Theprocessor 140 may display the augmented reality object corresponding to the real object based on the bending angle of the transparentflexible display unit 120 . In this case, the processor may display the augmented reality object based on the intersection of the user's gaze looking at the real object and the bent transparentflexible display unit 120 .

또한, 디스플레이 시스템(100)은 센서 유닛(미도시)를 포함할 수 있다. 이때, 센서 유닛은 유저 눈과 상기 리얼 오브젝트의 각도를 디텍트할 수 있다. 보다 상세하게는, 센서 유닛은 디스플레이 시스템(100)과 유저 눈의 위치 정보를 디텍트할 수 있다. 이때, 위치 정보는 유저 눈과 디스플레이 시스템(100)의 거리 및 각도일 수 있다. 또한, 센서 유닛은 디스플레이 시스템(100)과 리얼 오브젝트의 위치 정보를 디텍트할 수 있다. 이때, 위치 정보는 디스플레이 시스템(100)과 리얼 오브젝트의 거리 및 각도일 수 있다. 이를 통해, 센서 유닛은 유저 눈과 상기 리얼 오브젝트의 각도를 디텍트하고, 디텍트한 정보를 프로세서(140)로 전달할 수 있다. 이때, 일 예로서, 센서 유닛은 프로세서(140)에 포함될 수 있다. 또한, 센서 유닛은 상술한 벤딩 센서 유닛에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다.Also, thedisplay system 100 may include a sensor unit (not shown). In this case, the sensor unit may detect the angle between the user's eye and the real object. More specifically, the sensor unit may detect position information of thedisplay system 100 and the user's eyes. In this case, the location information may be a distance and an angle between the user's eyes and thedisplay system 100 . Also, the sensor unit may detect position information of thedisplay system 100 and the real object. In this case, the location information may be a distance and an angle between thedisplay system 100 and the real object. Through this, the sensor unit may detect the angle between the user's eye and the real object, and transmit the detected information to theprocessor 140 . In this case, as an example, the sensor unit may be included in theprocessor 140 . In addition, the sensor unit may be included in the above-described bending sensor unit, or may be integrated into at least one or more elements.

또한, 센서 유닛은 거리 측정 센서 유닛일 수 있다. 보다 상세하게는, 센서 유닛은 근접 센서, 적외선 센서, 초음파 센서, 기울기 센서, 조도 센서 중 적어도 하나를 포함할 수 있다. 또한, 센서 유닛은 거리를 측정할 수 있는 센서일 수 있으며, 상술한 실시예로 한정되지 않는다.Also, the sensor unit may be a distance measuring sensor unit. More specifically, the sensor unit may include at least one of a proximity sensor, an infrared sensor, an ultrasonic sensor, a tilt sensor, and an illuminance sensor. In addition, the sensor unit may be a sensor capable of measuring a distance, and is not limited to the above-described embodiment.

도 2는 본 명세서의 일 실시예에 따른 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트하는 경우, 디스플레이 시스템(100)이 증강 현실 오브젝트를 디스플레이 하는 방법을 나타낸 도면이다.FIG. 2 is a diagram illustrating a method in which thedisplay system 100 displays an augmented reality object when it is detected that the transparentflexible display unit 120 is bent according to an embodiment of the present specification.

디스플레이 시스템(100)은 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 투명 플렉서블 디스플레이 유닛(120)에 디스플레이 할 수 있다. 보다 상세하게는, 디스플레이 시스템(100)은 카메라 유닛(110)으로 리얼 오브젝트를 디텍트 할 수 있다. 디스플레이 시스템(100)은 디텍트된 리얼 오브젝트를 바라보는 유저 눈의 시선을 디텍트 할 수 있다. 본 명세서에 따라 일 예로서, 디스플레이 시스템(100)은 센서 유닛을 이용하여 리얼 오브젝트를 바라보는 유저의 시선을 디텍트 할 수 있다. 디스플레이 시스템(100)은 리얼 오브젝트를 바라보는 유저의 시선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 증강 현실 오브젝트를 디스플레이 할 수 있다. 이때, 디스플레이 시스템(100)은 복수의 리얼 오브젝트를 디텍트 할 수 있다. 디스플레이 시스템(100)은 복수의 리얼 오브젝트를 바라보는 유저의 시선을 디텍트할 수 있다. 디스플레이 시스템(100)은 유저의 시선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 복수의 증강 현실 오브젝트를 디스플레이 할 수 있다.Thedisplay system 100 may display the augmented reality object corresponding to the real object on the transparentflexible display unit 120 . More specifically, thedisplay system 100 may detect a real object with thecamera unit 110 . Thedisplay system 100 may detect the gaze of the user's eyes looking at the detected real object. According to the present specification, as an example, thedisplay system 100 may detect the gaze of a user looking at a real object using a sensor unit. Thedisplay system 100 may display the augmented reality object based on a point where the user's gaze looking at the real object and the transparentflexible display unit 120 intersect. In this case, thedisplay system 100 may detect a plurality of real objects. Thedisplay system 100 may detect the gaze of the user looking at the plurality of real objects. Thedisplay system 100 may display a plurality of augmented reality objects based on a point where the user's gaze and the transparentflexible display unit 120 intersect.

또한, 디스플레이 시스템(100)은 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트 할 수 있다. 디스플레이 시스템(100)이 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트 하는 경우, 디스플레이 시스템(100)은 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 벤딩되는 각도에 기초하여 디스플레이 할 수 있다.Also, thedisplay system 100 may detect that the transparentflexible display unit 120 is bent. When thedisplay system 100 detects that the transparentflexible display unit 120 is bent, thedisplay system 100 may display the augmented reality object corresponding to the real object based on the bending angle.

보다 상세하게는, 유저는 투명 디스플레이 유닛(120)을 통해 리얼 오브젝트를 디텍트 할 수 있다. 디스플레이 시스템(100)은 유저의 시선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 증강 현실 오브젝트를 디스플레이 할 수 있다. 이때, 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트 하는 경우, 디스플레이 시스템(100)은 리얼 오브젝트를 바라보는 시선과 투명 플렉서블 유닛(120)의 교차점을 벤딩 각도에 기초하여 변경할 수 있다. 디스플레이 시스템(100)은 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 디스플레이 하는 위치를 변경할 수 있다. 이를 통해, 유저는 투명 플렉서블 디스플레이 유닛(120)이 벤딩되어도 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 유저의 시선의 변경없이 바라볼 수 있다.More specifically, the user may detect a real object through thetransparent display unit 120 . Thedisplay system 100 may display the augmented reality object based on a point where the user's gaze and the transparentflexible display unit 120 intersect. In this case, when it is detected that the transparentflexible display unit 120 is bent, thedisplay system 100 may change the intersection point of the gaze looking at the real object and the transparentflexible unit 120 based on the bending angle. Thedisplay system 100 may change a position where the augmented reality object corresponding to the real object is displayed. Through this, even when the transparentflexible display unit 120 is bent, the user can view the augmented reality object corresponding to the real object without changing the user's gaze.

보다 상세하게는, 일 예로, 도 2를 참조하면, 디스플레이 시스템(100)은 제 1 리얼 오브젝트(220)에 대응하는 제 1 증강 현실 오브젝트(250)를 투명 플렉서블 디스플레이 유닛(100)에 디스플레이할 수 있다. 이때, 제 1 증강 현실 오브젝트(250)는 리얼 오브젝트를 바라보는 유저 시선과 투명 디스플레이 유닛(120)의 교차점에 디스플레이 될 수 있다. 또한, 디스플레이 시스템(100)은 제 2 리얼 오브젝트(230)에 대응하는 제 2 증강 현실 오브젝트(260)를 디스플레이 할 수 있다. 또한, 디스플레이 시스템(100)은 제 3 리얼 오브젝트(240)에 대응하는 제 3 증강 현실 오브젝트(270)를 디스플레이 할 수 있다. 이때, 디스플레이 시스템(100)이 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트 하는 경우, 디스플레이 시스템(100)은 제 1 증강 현실 오브젝트(250)의 위치를 변경하고, 디스플레이 할 수 있다. 이때, 디스플레이 시스템(100)은 리얼 오브젝트를 바라보는 유저의 시선과 제 1 리얼 오브젝트(220)가 교차하는 지점으로 제 1 증강 현실 오브젝트(250)의 위치를 변경하고, 디스플레이할 수 있다. 또한, 디스플레이 시스템(100)은 제 2 증강 현실 오브젝트(260) 및 제 3 증강 현실 오브젝트(270)의 위치를 변경하고, 디스플레이 할 수 있다.More specifically, as an example, referring to FIG. 2 , thedisplay system 100 may display the first augmentedreality object 250 corresponding to the firstreal object 220 on the transparentflexible display unit 100 . have. In this case, the first augmentedreality object 250 may be displayed at the intersection of the user's gaze looking at the real object and thetransparent display unit 120 . Also, thedisplay system 100 may display the secondaugmented reality object 260 corresponding to the secondreal object 230 . Also, thedisplay system 100 may display the thirdaugmented reality object 270 corresponding to the thirdreal object 240 . In this case, when thedisplay system 100 detects that the transparentflexible display unit 120 is bent, thedisplay system 100 may change the position of the first augmentedreality object 250 and display it. In this case, thedisplay system 100 may change the position of the first augmentedreality object 250 to a point where the user's gaze looking at the real object and the firstreal object 220 intersect and display the same. Also, thedisplay system 100 may change the positions of the secondaugmented reality object 260 and the thirdaugmented reality object 270 and display them.

본 명세서에 따라, 일 예로, 디스플레이 시스템(100)은 투명 플렉서블 디스플레이 유닛(120)의 벤딩 방향을 디텍트 할 수 있다. 이때 벤딩 방향은 투명 플렉서블 디스플레이 유닛(120)의 중심점을 지나는 가로 방향 또는 세로 방향의 기준선을 기준으로 결정될 수 있다. 또한, 벤딩 방향은 유저 눈을 향하는 안쪽 방향 또는 유저 눈과 반대 방향인 바깥쪽 방향일 수 있다. 이때, 일 예로서, 디스플레이 시스템(100)은 벤딩 방향 및 벤딩 각도에 기초하여 증강 현실 오브젝트가 디스플레이 되는 위치를 변경할 수 있다. 즉, 디스플레이 시스템(100)은 벤딩된 투명 플렉서블 디스플레이 유닛(120)과 리얼 오브젝트를 바라보는 유저 시선이 교차하는 지점에 기초하여 증강 현실 오브젝트를 디스플레이 할 수 있다.According to the present specification, for example, thedisplay system 100 may detect the bending direction of the transparentflexible display unit 120 . In this case, the bending direction may be determined based on a horizontal or vertical reference line passing through the central point of the transparentflexible display unit 120 . Also, the bending direction may be an inward direction toward the user's eye or an outward direction opposite to the user's eye. In this case, as an example, thedisplay system 100 may change the position at which the augmented reality object is displayed based on the bending direction and the bending angle. That is, thedisplay system 100 may display the augmented reality object based on the intersection of the bent transparentflexible display unit 120 and the user's gaze looking at the real object.

도 3는 본 명세서의 일 실시예에 따른 디스플레이 시스템(100)이 유저 눈과 리얼 오브젝트의 각도에 기초하여 증강 현실 오브젝트를 디스플레이 하는 위치를 설정하는 방법을 나타낸 도면이다.3 is a diagram illustrating a method of setting a position in which thedisplay system 100 according to an embodiment of the present specification displays an augmented reality object based on an angle between a user's eye and a real object.

디스플레이 시스템(100)은 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 투명 플렉서블 디스플레이 유닛(120)에 디스플레이 할 수 있다. 디스플레이 시스템(100)은 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트 할 수 있다. 디스플레이 시스템(100)이 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트 하는 경우, 디스플레이 시스템(100)은 리얼 오브젝트에 대응하는 증강 현실 오브젝트의 위치를 변경하고, 디스플레이 할 수 있다. 보다 상세하게는, 디스플레이 시스템(100)은 리얼 오브젝트를 바라보는 유저의 시선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 증강 현실 오브젝트를 디스플레이 할 수 있다. 디스플레이 시스템(100)이 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트하는 경우, 디스플레이 시스템(100)은 리얼 오브젝트를 바라보는 유저의 시선과 벤딩된 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 증강 현실 오브젝트를 디스플레이 할 수 있다. 즉, 디스플레이 시스템(100)은 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트 하는 경우, 디스플레이 시스템(100)은 증강 현실 오브젝트의 위치를 변경하고 디스플레이 할 수 있다. 이때, 디스플레이 시스템(100)은 유저 눈과 리얼 오브젝트가 이루는 각도에 기초하여 증강 현실 오브젝트를 디스플레이 하는 위치를 변경하고, 디스플레이 할 수 있다.Thedisplay system 100 may display the augmented reality object corresponding to the real object on the transparentflexible display unit 120 . Thedisplay system 100 may detect that the transparentflexible display unit 120 is bent. When thedisplay system 100 detects that the transparentflexible display unit 120 is bent, thedisplay system 100 may change the position of the augmented reality object corresponding to the real object and display it. In more detail, thedisplay system 100 may display the augmented reality object based on a point where the user's gaze looking at the real object and the transparentflexible display unit 120 intersect. When thedisplay system 100 detects that the transparentflexible display unit 120 is bent, thedisplay system 100 is positioned at a point where the user's gaze looking at the real object and the bent transparentflexible display unit 120 intersect. Based on the augmented reality object may be displayed. That is, when thedisplay system 100 detects that the transparentflexible display unit 120 is bent, thedisplay system 100 may change the position of the augmented reality object and display it. In this case, thedisplay system 100 may change and display the position at which the augmented reality object is displayed based on the angle between the user's eye and the real object.

유저 눈과 리얼 오브젝트가 이루는 각도가 증가하는 경우, 디스플레이 시스템(100)은 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 투명 플렉서블 디스플레이 유닛(120)의 중심에서 멀리 디스플레이할 수 있다. 이때, 투명 플렉서블 디스플레이 유닛(120)은 투명 플렉서블 디스플레이 유닛(120)의 위치에 따라 벤딩 정도가 다를 수 있다. 투명 플렉서블 디스플레이 유닛(120)이 벤딩되는 경우, 투명 플렉서블 디스플레이 유닛(120)은 중심점으로부터 멀어질수록 벤딩 각도가 커질 수 있다. 이때, 벤딩 각도는 투명 플렉서블 디스플레이 유닛(120)의 중심에서 가장자리로 갈수록 더 커질 수 있다. 투명 플렉서블 디스플레이 유닛(120)의 벤딩 각도가 커지는 경우, 디스플레이 시스템(100)은 증강 현실 오브젝트를 벤딩 전에 디스플레이한 위치에서 멀게 디스플레이할 수 있다. 따라서, 유저 눈과 리얼 오브젝트의 각도가 커지는 경우, 디스플레이 시스템(100)은 벤딩 전에 증강 현실 오브젝트를 디스플레이한 위치에서 멀게 디스플레이할 수 있다. 즉, 디스플레이 시스템(100)은 유저 눈과 리얼 오브젝트의 각도에 기초하여 디스플레이하는 증강 현실 오브젝트의 위치를 조절할 수 있다.When the angle between the user's eyes and the real object increases, thedisplay system 100 may display the augmented reality object corresponding to the real object farther from the center of the transparentflexible display unit 120 . In this case, the degree of bending of the transparentflexible display unit 120 may be different depending on the position of the transparentflexible display unit 120 . When the transparentflexible display unit 120 is bent, the bending angle of the transparentflexible display unit 120 may increase as the distance from the central point increases. In this case, the bending angle may increase from the center to the edge of the transparentflexible display unit 120 . When the bending angle of the transparentflexible display unit 120 increases, thedisplay system 100 may display the augmented reality object farther from the displayed position before bending. Accordingly, when the angle between the user's eyes and the real object increases, thedisplay system 100 may display the augmented reality object far from the displayed position before bending. That is, thedisplay system 100 may adjust the position of the displayed augmented reality object based on the angle of the user's eyes and the real object.

본 명세서에 따라, 일 예로, 도 3을 참조하면, 디스플레이 시스템(100)은 유저 눈(210)과 제 1 각도를 갖는 제 1 리얼 오브젝트(310)를 디텍트할 수 있다. 디스플레이 시스템(100)은 제 1 각도에 기초하여 제 1 리얼 오브젝트(310)에 대응하는 제 1 증강 현실 오브젝트(330)를 제 1 위치에 디스플레이 할 수 있다. 이때, 제 1 위치는 유저 눈(210)이 제 1 리얼 오브젝트(310)를 바라보는 시선과 투명 플렉서블 디스플레이 유닛(120)의 교차하는 지점에 기초하여 결정될 수 있다. 또한, 디스플레이 시스템(100)은 유저 눈(210)과 제 2 각도를 갖는 제 2 리얼 오브젝트(320)를 디텍트할 수 있다. 디스플레이 시스템(100)은 제 2 각도에 기초하여 제 2 리얼 오브젝트(320)에 대응하는 제 2 증강 현실 오브젝트(340)를 제 2 위치에 디스플레이 할 수 있다. 이때, 제 2 위치는 유저 눈(210)이 제 2 리얼 오브젝트(320)를 바라보는 시선과 투명 플렉서블 디스플레이 유닛(120)의 교차하는 지점에 기초하여 결정될 수 있다. 이때, 제 1 각도가 제 2 각도보다 큰 경우, 제 1 위치는 제 2 위치보다 투명 플렉서블 디스플레이 유닛(120)의 중심으로부터 멀리 위치할 수 있다.According to the present specification, as an example, referring to FIG. 3 , thedisplay system 100 may detect the firstreal object 310 having a first angle with the user'seye 210 . Thedisplay system 100 may display the first augmentedreality object 330 corresponding to the firstreal object 310 at the first position based on the first angle. In this case, the first position may be determined based on a point at which the user'seye 210 intersects the line of the firstreal object 310 and the transparentflexible display unit 120 . Also, thedisplay system 100 may detect the secondreal object 320 having a second angle with the user'seye 210 . Thedisplay system 100 may display the secondaugmented reality object 340 corresponding to the secondreal object 320 at the second position based on the second angle. In this case, the second position may be determined based on an intersection point of the user'seye 210 looking at the secondreal object 320 and the transparentflexible display unit 120 . In this case, when the first angle is greater than the second angle, the first position may be located farther from the center of the transparentflexible display unit 120 than the second position.

디스플레이 시스템(100)은 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트 할 수 있다. 디스플레이 시스템(100)이 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트 하는 경우, 디스플레이 시스템(100)은 벤딩 각도에 기초하여 제 1 증강 현실 오브젝트(330)를 제 3 위치에 디스플레이 할 수 있다. 이때, 제 3 위치는 제 1 리얼 오브젝트(310)을 바라보는 유저 눈(210)의 시선과 벤딩된 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 결정될 수 있다. 또한, 제 3 위치는 제 1 위치로부터 제 1 거리만큼 떨어진 위치일 수 있다. 일 예로, 제 3 위치는 제 1 위치로부터 투명 플렉서블 디스플레이 유닛(120)의 중심 방향으로 제 1 거리만큼 떨어진 거리일 수 있다. 또한, 일 예로, 제 3 위치는 제 1 위치로부터 투명 플렉서블 디스플레이 유닛(120)의 중심점 반대 방향으로 제 1 거리만큼 떨어진 거리일 수 있다.Thedisplay system 100 may detect that the transparentflexible display unit 120 is bent. When thedisplay system 100 detects that the transparentflexible display unit 120 is bent, thedisplay system 100 may display the first augmentedreality object 330 at the third position based on the bending angle. In this case, the third position may be determined based on a point where the gaze of the user'seye 210 looking at the firstreal object 310 and the bent transparentflexible display unit 120 intersect. Also, the third location may be a location separated from the first location by a first distance. For example, the third location may be a distance away from the first location by the first distance in the center direction of the transparentflexible display unit 120 . Also, as an example, the third position may be a distance away from the first position by the first distance in a direction opposite to the center point of the transparentflexible display unit 120 .

또한, 디스플레이 시스템(100)은 벤딩 각도에 기초하여 제 2 증강 현실 오브젝트(340)를 제 4 위치에 디스플레이 할 수 있다. 이때, 제 4 위치는 제 2 리얼 오브젝트(320)을 바라보는 유저 눈(210)의 시선과 벤딩된 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 결정될 수 있다. 또한, 제 4 위치는 제 2 위치로부터 제 2 거리만큼 떨어진 위치일 수 있다. 일 예로, 제 4 위치는 제 2 위치로부터 투명 플렉서블 디스플레이 유닛(120)의 중심 방향으로 제 2 거리만큼 떨어진 거리일 수 있다. 또한, 일 예로, 제 4 위치는 제 2 위치로부터 투명 플렉서블 디스플레이 유닛(120)의 중심 반대 방향으로 제 2 거리만큼 떨어진 거리일 수 있다. 이와 관련해서는 도 4a 및 도 4b에서 후술한다.Also, thedisplay system 100 may display the secondaugmented reality object 340 at the fourth position based on the bending angle. In this case, the fourth position may be determined based on a point where the gaze of the user'seye 210 looking at the secondreal object 320 and the bent transparentflexible display unit 120 intersect. Also, the fourth location may be a location separated by a second distance from the second location. For example, the fourth position may be a distance away from the second position by a second distance in the center direction of the transparentflexible display unit 120 . Also, as an example, the fourth position may be a distance away from the second position by a second distance in a direction opposite to the center of the transparentflexible display unit 120 . This will be described later with reference to FIGS. 4A and 4B .

이때, 제 1 각도가 제 2 각도보다 큰 경우, 제 1 거리는 제 2 거리보다 클 수 있다. 보다 상세하게는, 상술한 바와 같이 제 1 위치는 제 2 위치보다 투명 플렉서블 디스플레이 유닛(120)의 중심에서 멀리 위치할 수 있다. 이때, 벤딩 각도는 투명 플렉서블 디스플레이 유닛(120)의 중심으로부터 멀리 위치할수록 커질 수 있다. 또한, 디스플레이 시스템(100)은 벤딩 각도가 클수록 벤딩 전에 증강 현실 오브젝트가 디스플레이된 위치에서 멀리 위치한 지점에서 증강 현실 오브젝트를 디스플레이 할 수 있다. 따라서, 제 1 각도가 제 2 각도보다 큰 경우, 제 1 거리는 제 2 거리보다 클 수 있다. 즉, 디스플레이 시스템은 유저 눈(210)과 리얼 오브젝트가 이루는 각도가 클수록 벤딩 전에 증강 현실 오브젝트가 디스플레이된 위치에서 멀리 위치한 지점에서 증강 현실 오브젝트를 디스플레이 할 수 있다.In this case, when the first angle is greater than the second angle, the first distance may be greater than the second distance. More specifically, as described above, the first position may be located farther from the center of the transparentflexible display unit 120 than the second position. In this case, the bending angle may increase as it is positioned farther from the center of the transparentflexible display unit 120 . In addition, as the bending angle increases, thedisplay system 100 may display the augmented reality object at a point farther from the displayed position of the augmented reality object before bending. Accordingly, when the first angle is greater than the second angle, the first distance may be greater than the second distance. That is, as the angle between the user'seye 210 and the real object increases, the display system may display the augmented reality object at a point farther from the displayed position of the augmented reality object before bending.

도 4a 내지 도 4c는 본 명세서의 일 실시예에 따른 투명 디스플레이 유닛(120)과 유저 눈 사이의 거리에 기초하여 증강 현실 오브젝트를 디스플레이 하는 방법을 나타낸 도면이다.4A to 4C are diagrams illustrating a method of displaying an augmented reality object based on a distance between thetransparent display unit 120 and a user's eyes according to an embodiment of the present specification.

디스플레이 시스템(100)은 유저 눈(210)이 리얼 오브젝트를 바라보는 시선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 증강 현실 오브젝트를 디스플레이 할 수 있다. 이때, 디스플레이 시스템(100)은 유저 눈(210)의 위치에 기초하여 증강 현실 오브젝트를 디스플레이 할 수 있다. 보다 상세하게는, 디스플레이 시스템(100)이 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트하는 경우, 디스플레이 시스템(100)은 증강 현실 오브젝트의 위치를 변경하고, 디스플레이 할 수 있다. 이때, 유저 눈(210)과 투명 플렉서블 디스플레이 유닛(120)의 거리가 스레스홀드 거리 이하인 경우, 디스플레이 시스템(100)은 벤딩되기 전의 증강 현실 오브젝트가 디스플레이된 위치로부터 내측에 증강현실 오브젝트를 디스플레이 할 수 있다. 또한, 유저 눈(210)과 투명 플렉서블 디스플레이 유닛(120)의 거리가 스레스홀드 거리 초과인 경우, 디스플레이 시스템(100)은 벤딩되기 전의 증강 현실 오브젝트가 디스플레이된 위치로부터 외측에 증강 현실 오브젝트를 디스플레이 할 수 있다. 이때, 디스플레이 시스템(100)은 투명 플렉서블 디스플레이 유닛(120)의 중심에 기초하여 내측 및 외측을 결정할 수 있다. 보다 상세하게는, 내측은 투명 플렉서블 디스플레이 유닛(120)의 중심 방향으로, 중심에 근접하는 위치일 수 있다. 또한, 외측은 투명 플렉서블 디스플레이 유닛(120)의 중심의 반대 방향으로 투명 플렉서블 유닛(120)의 가장자리에 근접하는 위치일 수 있다. 즉, 디스플레이 시스템(100)은 투명 플렉서블 유닛(120)의 중심을 가장 내측의 위치로 결정할 수 있다. 또한, 디스플레이 시스템(100)은 투명 플렉서블 유닛(120)의 가장자리를 가장 외측의 위치로 결정할 수 있다. 또한, 스레스홀드 거리는 디스플레이 되는 증강 현실 오브젝트의 위치를 변경하는 임계 거리일 수 있다. 또한, 스레스홀드 거리는 일정 오차 범위를 갖도록 설정될 수 있다.Thedisplay system 100 may display the augmented reality object based on a point where the user'seye 210 looks at the real object and the transparentflexible display unit 120 intersects. In this case, thedisplay system 100 may display the augmented reality object based on the position of the user'seye 210 . More specifically, when thedisplay system 100 detects that the transparentflexible display unit 120 is bent, thedisplay system 100 may change the position of the augmented reality object and display it. At this time, when the distance between the user'seyes 210 and the transparentflexible display unit 120 is less than or equal to the threshold distance, thedisplay system 100 displays the augmented reality object inside from the position where the augmented reality object before bending is displayed. can In addition, when the distance between the user'seyes 210 and the transparentflexible display unit 120 exceeds the threshold distance, thedisplay system 100 displays the augmented reality object outside from the position where the augmented reality object before being bent is displayed. can do. In this case, thedisplay system 100 may determine the inside and the outside based on the center of the transparentflexible display unit 120 . More specifically, the inner side may be a position close to the center in a direction toward the center of the transparentflexible display unit 120 . Also, the outer side may be a position adjacent to the edge of the transparentflexible display unit 120 in a direction opposite to the center of the transparentflexible display unit 120 . That is, thedisplay system 100 may determine the center of the transparentflexible unit 120 as the innermost position. Also, thedisplay system 100 may determine the edge of the transparentflexible unit 120 as the outermost position. Also, the threshold distance may be a threshold distance for changing the position of the displayed augmented reality object. Also, the threshold distance may be set to have a certain error range.

또한, 일 예로, 스레스홀드 거리는 투명 플렉서블 디스플레이 유닛(120)의 벤딩에 기초하여 결정될 수 있다. 또한, 스레스홀드 거리는 카메라 유닛(110)과 리얼 오브젝트의 각도에 기초하여 결정될 수 있다. 또한, 일 예로, 스레스홀드 거리는 유저 눈(210)과 리얼 오브젝트의 각도에 더 기초하여 결정될 수 있다.Also, as an example, the threshold distance may be determined based on bending of the transparentflexible display unit 120 . Also, the threshold distance may be determined based on the angle between thecamera unit 110 and the real object. Also, as an example, the threshold distance may be further determined based on the angle between the user'seye 210 and the real object.

보다 상세하게는, 일 예로, 스레스홀드 거리는 투명 플렉서블 유닛(120)의 벤딩 각도 및 카메라 유닛(110)과 리얼 오브젝트의 위치를 고려하여 결정될 수 있다. 스레스홀드 거리는 벤딩되기 전의 증강 현실 오브젝트가 디스플레이 되는 위치, 벤딩 후의 증강 현실 오브젝트가 디스플레이 되는 위치 및 유저 눈(210)이 동일 직선 상에 위치하는 지점으로 설정될 수 있다.More specifically, as an example, the threshold distance may be determined in consideration of the bending angle of the transparentflexible unit 120 and the positions of thecamera unit 110 and the real object. The threshold distance may be set to a position at which the augmented reality object before bending is displayed, a position at which the augmented reality object after bending is displayed, and a point at which the user'seyes 210 are located on the same straight line.

일 예로, 도 4a 내지 도 4c를 참조하면, 디스플레이 시스템(100)은 제 1 리얼 오브젝트(410)에 대응하는 제 1 증강 현실 오브젝트(420)를 제 1 위치에 디스플레이 할 수 있다. 이때, 제 1 위치는 유저 눈(210)이 제 1 리얼 오브젝트(410)를 바라보는 시선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 결정될 수 있다. 일 예로, 제 1 위치는 유저 눈(210)이 제 1 리얼 오브젝트(410)를 바라보는 시선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 결정될 수 있다. 또한, 일 예로, 제 1 위치는 유저의 좌측 눈 및 우측 눈의 중심과 제 1 리얼 오브젝트(410)를 연결하는 선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점일 수 있다. 또 다른 일 예로, 제 1 증강 현실 오브젝트(420)가 3D로 디스플레이 되는 경우, 제 1 위치는 유저의 좌측 눈과 제 1 리얼 오브젝트(410)의 거리 및 각도와 유저의 우측 눈과 제 1 리얼 오브젝트(410)의 거리 및 각도에 의해 결정될 수 있다. 즉, 제 1 위치는 유저 눈에 기초하여 디스플레이 시스템(100)에 의해 변경되어 설정될 수 있다.For example, referring to FIGS. 4A to 4C , thedisplay system 100 may display the first augmentedreality object 420 corresponding to the firstreal object 410 at a first position. In this case, the first position may be determined based on a point at which the user'seye 210 looks at the firstreal object 410 and the transparentflexible display unit 120 intersects. For example, the first position may be determined based on a point at which the user'seye 210 looks at the firstreal object 410 and the transparentflexible display unit 120 intersects. Also, as an example, the first position may be a point at which a line connecting the centers of the user's left and right eyes and the firstreal object 410 and the transparentflexible display unit 120 intersect. As another example, when the first augmentedreality object 420 is displayed in 3D, the first position is the distance and angle between the user's left eye and the firstreal object 410 and the user's right eye and the first real object. It can be determined by the distance and angle of 410 . That is, the first position may be changed and set by thedisplay system 100 based on the user's eyes.

또한, 디스플레이 시스템(100)이 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트하는 경우, 디스플레이 시스템은 제 1 증강 현실 오브젝트(420)를 제 2 위치에 디스플레이 할 수 있다. 이때, 제 2 위치는 유저 눈(210)이 제 1 리얼 오브젝트(410)를 바라보는 시선과 벤딩된 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 결정될 수 있다. 이때, 유저 눈이 투명 플렉서블 디스플레이 유닛(120)과 멀리 떨어진 위치에서 디텍트되는 경우, 디스플레이 시스템(100)은 증강 현실 오브젝트를 제 1 위치의 외측으로 제 1 거리만큼 떨어진 제 2 위치에 디스플레이 할 수 있다. 즉, 제 1 거리는 제 1 위치로부터 투명 플렉서블 디스플레이 유닛(120)의 중심의 반대 방향으로 떨어진 위치일 수 있다.Also, when thedisplay system 100 detects that the transparentflexible display unit 120 is bent, the display system may display the first augmentedreality object 420 at the second position. In this case, the second position may be determined based on a point at which the user'seye 210 looks at the firstreal object 410 and the bent transparentflexible display unit 120 intersects. In this case, when the user's eyes are detected at a location far away from the transparentflexible display unit 120 , thedisplay system 100 may display the augmented reality object at a second location separated by a first distance to the outside of the first location. have. That is, the first distance may be a location away from the first location in a direction opposite to the center of the transparentflexible display unit 120 .

반면, 유저 눈이 투명 플렉서블 디스플레이 유닛(120)과 근접하는 위치에서 디텍트 되는 경우, 디스플레이 시스템은 증강 현실 오브젝트를 제 1 위치의 내측으로 제 1 거리만큼 떨어진 제 2 위치에 디스플레이 할 수 있다. 즉, 제 1 거리는 제 1 위치로부터 투명 플렉서블 디스플레이 유닛(120)의 중심 방향으로 떨어진 위치일 수 있다.On the other hand, when the user's eye is detected at a position close to the transparentflexible display unit 120 , the display system may display the augmented reality object at a second position separated by a first distance inside the first position. That is, the first distance may be a position separated from the first position in the center direction of the transparentflexible display unit 120 .

보다 상세하게는, 유저 눈(210)과 투명 플렉서블 디스플레이 유닛(120)이 스레스홀드 거리 초과인 경우, 디스플레이 시스템(100)은 증강 현실 오브젝트를 제 1 위치의 외측으로 제 1 거리만큼 떨어진 제 2 위치에 디스플레이 할 수 있다. 또한, 유저 눈(210)과 투명 플렉서블 디스플레이 유닛(120)이 스레스홀드 거리 이하인 경우, 디스플레이 시스템(100)은 증강 현실 오브젝트를 제 1 위치의 내측으로 제 1 거리만큼 떨어진 제 2 위치에 디스플레이 할 수 있다. 이때, 스레스홀드 거리는 증강 현실 오브젝트가 디스플레이 되는 위치가 변경될 수 있는 임계 거리일 수 있다. 스레스홀드 거리는 투명 플렉서블 디스플레이 유닛(120)의 벤딩 정도, 카메라 유닛(120)과 제 1 리얼 오브젝트(410)의 각도에 의해 결정될 수 있다. 보다 상세하게는, 스레스 홀드 거리는 유저 눈(210), 제 1 위치, 제 2 위치 및 제 1 리얼 오브젝트(410)가 동일 선상에 위치하는 지점에서의 투명 플렉서블 유닛(120)과 유저 눈(210)까지의 거리일 수 있다. 즉, 스레스홀드 거리는 투명 플렉서블 디스플레이 유닛(120)의 벤딩 정도 및 카메라 유닛(110)과 제 1 리얼 오브젝트(410)의 각도를 고려하려 설정될 수 있다.More specifically, when the user'seye 210 and the transparentflexible display unit 120 exceed the threshold distance, thedisplay system 100 displays the augmented reality object to the outside of the first position by a first distance. position can be displayed. In addition, when the user'seye 210 and the transparentflexible display unit 120 are less than or equal to the threshold distance, thedisplay system 100 displays the augmented reality object at a second position separated by a first distance to the inside of the first position. can In this case, the threshold distance may be a threshold distance through which the displayed position of the augmented reality object may be changed. The threshold distance may be determined by a bending degree of the transparentflexible display unit 120 and an angle between thecamera unit 120 and the firstreal object 410 . More specifically, the threshold distance between the transparentflexible unit 120 and the user'seye 210 at a point where the user'seye 210, the first position, the second position, and the firstreal object 410 are located on the same line. ) can be a distance. That is, the threshold distance may be set in consideration of the degree of bending of the transparentflexible display unit 120 and the angle between thecamera unit 110 and the firstreal object 410 .

도 5a 및 도 5b는 본 명세서의 일 실시예에 따른 디스플레이 시스템(100)이 투명 플렉서블 디스플레이 유닛(120)의 벤딩에 기초하여 증강 현실 오브젝트를 디스플레이 하는 방법을 나타낸 도면이다.5A and 5B are diagrams illustrating a method in which thedisplay system 100 displays an augmented reality object based on bending of the transparentflexible display unit 120 according to an embodiment of the present specification.

디스플레이 시스템(100)이 투명 플렉서블 디스플레이 유닛(120)의 벤딩됨을 디텍트 하는 경우, 디스플레이 시스템(100)은 증강 현실 오브젝트의 위치를 변경하고, 디스플레이 할 수 있다. 이때, 디스플레이 시스템(100)은 벤딩된 투명 플렉서블 디스플레이 유닛(120)과 유저 눈(210)이 리얼 오브젝트를 바라보는 시선이 교차하는 지점에 기초하여 증강 현실 오브젝트가 디스플레이 되는 위치를 변경될 수 있다. 따라서, 디스플레이 시스템(100)은 증강 현실 오브젝트가 디스플레이 되는 위치를 투명 플렉서블 디스플레이 유닛(120)의 벤딩에 기초하여 변경할 수 있다. 보다 상세하게는, 디스플레이 시스템(100)은 증강 현실 오브젝트가 디스플레이 되는 위치를 투명 플렉서블 디스플레이 유닛(120)의 벤딩 각도에 기초하여 결정될 수 있다. 이때, 벤딩 각도는 투명 플렉서블 디스플레이 유닛(120) 내부 위치에 따라 다를 수 있다. 이때, 일 예로, 벤딩 각도는 투명 플렉서블 디스플레이 유닛(120) 내부 위치 각각에 대한 벤딩된 각도의 평균일 수 있다. 또한, 일 예로, 벤딩 각도는 투명 플렉서블 디스플레이 유닛(120)의 내부 위치 중 증강 현실 오브젝트가 디스플레이 되는 지점에서의 벤딩 각도일 수 있다. 또한, 일 예로, 벤딩 각도는 투명 플렉서블 디스플레이 유닛(120)의 벤딩이 커지면 증가할 수 있으며, 상술한 실시예로 한정되지 않는다.When thedisplay system 100 detects that the transparentflexible display unit 120 is bent, thedisplay system 100 may change the position of the augmented reality object and display it. In this case, thedisplay system 100 may change the position at which the augmented reality object is displayed based on a point where the bent transparentflexible display unit 120 and the user'seye 210 look at the real object intersect. Accordingly, thedisplay system 100 may change the display position of the augmented reality object based on the bending of the transparentflexible display unit 120 . In more detail, thedisplay system 100 may determine a position at which the augmented reality object is displayed based on the bending angle of the transparentflexible display unit 120 . In this case, the bending angle may be different depending on the internal position of the transparentflexible display unit 120 . In this case, as an example, the bending angle may be an average of the bending angles for each internal position of the transparentflexible display unit 120 . Also, as an example, the bending angle may be a bending angle at a point where the augmented reality object is displayed among internal positions of the transparentflexible display unit 120 . Also, as an example, the bending angle may increase as the bending of the transparentflexible display unit 120 increases, and is not limited to the above-described embodiment.

투명 플렉서블 디스플레이 유닛(120)의 벤딩 각도가 커지는 경우, 디스플레이 시스템(100)은 디스플레이 하는 증강 현실 오브젝트의 위치를 투명 플렉서블 디스플레이 유닛(120)의 가장자리에 근접하게 디스플레이 할 수 있다. 보다 상세하게는 증강 현실 오브젝트는 벤딩된 투명 플렉서블 디스플레이 유닛(120)과 유저 눈(210)이 리얼 오브젝트를 바라보는 시선이 교차하는 지점에 기초하여 디스플레이 될 수 있다. 띠라서, 투명 플렉서블 디스플레이 유닛(120)의 벤딩 각도가 증가하는 경우, 증강 현실 오브젝트는 투명 플렉서블 디스플레이 유닛(120)의 가장자리 근접하게 디스플레이 될 수 있다.When the bending angle of the transparentflexible display unit 120 increases, thedisplay system 100 may display the position of the displayed augmented reality object to be close to the edge of the transparentflexible display unit 120 . In more detail, the augmented reality object may be displayed based on a point at which the bent transparentflexible display unit 120 and the user'seye 210 intersect the gaze looking at the real object. Therefore, when the bending angle of the transparentflexible display unit 120 increases, the augmented reality object may be displayed closer to the edge of the transparentflexible display unit 120 .

또한, 일 예로, 디스플레이 시스템(100)은 증강 현실 오브젝트가 디스플레이 되는 위치를 투명 플렉서블 디스플레이 유닛(120)의 벤딩 방향에 기초하여 결정할 수 있다.Also, as an example, thedisplay system 100 may determine a display position of the augmented reality object based on the bending direction of the transparentflexible display unit 120 .

또한, 일 예로, 벤딩 각도가 증가하여 유저 눈(210)이 리얼 오브젝트를 바라보는 시선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점이 존재하지 않는 경우, 디스플레이 시스템(100)은 인디케이터를 디스플레이 할 수 있다. 이때, 인디케이터는 증강 현실 오브젝트를 디스플레이 할 수 없음을 나타낼 수 있다. 디스플레이 시스템은 피드백을 유저에게 전달할 수 있다. 피드백은 비주얼 피드백, 오디오 피드백 및 택타일 피드백 중 적어도 하나를 포함할 수 있다. 이때, 피드백는 증강 현실 오브젝트를 디스플레이할 수 없음을 나타낼 수 있다.Also, as an example, when there is no intersection point between the user'seye 210 looking at the real object and the transparentflexible display unit 120 due to the increase in the bending angle, thedisplay system 100 may display an indicator. can In this case, the indicator may indicate that the augmented reality object cannot be displayed. The display system may communicate feedback to the user. The feedback may include at least one of visual feedback, audio feedback, and tactile feedback. In this case, the feedback may indicate that the augmented reality object cannot be displayed.

일 예로, 도 5a 및 도 5b를 참조하면, 디스플레이 시스템(100)은 제 1 리얼 오브젝트(510)에 대응하는 제 1 증강 현실 오브젝트(520)를 제 1 위치에 디스플레이 할 수 있다. 이때, 디스플레이 시스템(100)이 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트하는 경우, 디스플레이 시스템(100)은 제 1 증강 현실 오브젝트(520)를 제 2 위치에 디스플레이 할 수 있다. 제 2 위치는 유저 눈(210)이 제 1 리얼 오브젝트(510)를 바라보는 시선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 결정될 수 있다. 또한, 제 2 위치는 제 1 위치로부터 제 1 거리만큼 떨어진 위치일 수 있다.For example, referring to FIGS. 5A and 5B , thedisplay system 100 may display the first augmentedreality object 520 corresponding to the firstreal object 510 at a first position. In this case, when thedisplay system 100 detects that the transparentflexible display unit 120 is bent, thedisplay system 100 may display the first augmentedreality object 520 at the second position. The second position may be determined based on a point at which the user'seye 210 looks at the firstreal object 510 and the transparentflexible display unit 120 intersects. Also, the second location may be a location separated from the first location by a first distance.

이때, 투명 플렉서블 디스플레이 유닛(120)의 벤딩 각도가 증가하는 경우, 디스플레이 시스템(100)은 제 1 거리를 크게 설정할 수 있다. 즉, 디스플레이 시스템(100)은 벤딩 각도가 커질 수록 제 2 위치를 제 1 위치로부터 멀게 설정할 수 있다. 이때, 벤딩 각도가 증가하여 제 2 위치가 투명 플렉서블 디스플레이 유닛(120)에 존재하지 않는 경우, 디스플레이 시스템(100)은 제 1 증강 현실 오브젝트(520)를 디스플레이 할 수 없다는 인디케이터를 디스플레이 할 수 있다. 또한, 디스플레이 시스템(100)은 제 1 증강 현실 오브젝트(520)를 디스플레이할 수 없다는 피드백을 유저에게 전달 할 수 있다.In this case, when the bending angle of the transparentflexible display unit 120 increases, thedisplay system 100 may set the first distance to be large. That is, as the bending angle increases, thedisplay system 100 may set the second position to be farther from the first position. In this case, when the second position does not exist in the transparentflexible display unit 120 due to an increase in the bending angle, thedisplay system 100 may display an indicator indicating that the first augmentedreality object 520 cannot be displayed. In addition, thedisplay system 100 may transmit feedback that the first augmentedreality object 520 cannot be displayed to the user.

도 6a 및 도 6b는 본 명세서의 일 실시예에 따른 HMD 디바이스를 포함하는 디스플레이 시스템(100)을 나타낸 도면이다.6A and 6B are diagrams illustrating adisplay system 100 including an HMD device according to an embodiment of the present specification.

디스플레이 시스템(100)은 비주얼 정보를 디스플레이 하는 디바이스일 수 있다. 이때, 디스플레이 시스템(100)은 카메라 유닛(110) 및 벤딩 센서 유닛(130)을 포함하는 HMD 디바이스(610) 및 투명 플렉서블 디스플레이 유닛(120)을 포함하는 디스플레이 유닛(620)으로 구성될 수 있다. 보다 상세하게는, 디스플레이 시스템(100)은 HMD 디바이스(610)와 디스플레이 유닛(620)으로 구성된 시스템일 수 있다. 이때, 일 예로, HMD 디바이스(610)는 디스플레이 유닛(620)과 분리된 유닛일 수 있다. 이때, HMD 디바이스(610)는 유저에게 착용될 수 있는 웨어러블 디바이스일 수 있다.Thedisplay system 100 may be a device that displays visual information. In this case, thedisplay system 100 may include theHMD device 610 including thecamera unit 110 and the bendingsensor unit 130 and thedisplay unit 620 including the transparentflexible display unit 120 . In more detail, thedisplay system 100 may be a system including theHMD device 610 and thedisplay unit 620 . In this case, as an example, theHMD device 610 may be a unit separated from thedisplay unit 620 . In this case, theHMD device 610 may be a wearable device that can be worn by the user.

본 명세서의 일 실시예에 따라, HMD 디바이스(610)는 카메라 유닛(110)을 이용하여 리얼 오브젝트(630)를 디텍트할 수 있다. 또한, HMD 디바이스(610)는 리얼 오브젝트(630)에 대응하는 증강 현실 오브젝트(640)를 디스플레이 유닛(620)에 디스플레이 할 수 있다. 이때, 일 예로, HMD 디바이스(610)는 커뮤니케이션 유닛(미도시)를 포함할 수 있다. 이때, 커뮤니케이션 유닛은 디스플레이 유닛(620)과 다양한 프로토콜을 사용하여 통신을 수행하고, 이를 통해 데이터를 송/수신할 수 있다. 또한, 커뮤니케이션 유닛은 유선 또는 무선으로 네트워크에 접속하여, 컨텐츠 등의 디지털 데이터를 송/수신할 수 있다. 본 명세서에서, HMD 디바이스(610)는 리얼 오브젝트(640)를 디텍트할 수 있다. 이때, HMD 디바이스(610)는 디스플레이 유닛(620)에 좌표를 설정할 수 있다. 보다 상세하게는, HMD 디바이스(610)는 디스플레이 유닛(620)의 중심을 기준으로 수직축 및 수평축을 따라 좌표를 설정할 수 있다. HMD 디바이스(610)가 리얼 오브젝트(630)를 디텍트한 경우, HMD 디바이스(100)는 디텍트한 리얼 오브젝트에 대응하는 증강 현실 오브젝트의 위치를 디스플레이 유닛(620)의 좌표를 기준으로 디스플레이 할 수 있다. 이때, HMD 디바이스(100)는 설정된 좌표를 커뮤니케이션 유닛을 통해 디스플레이 유닛(620)으로 전달할 수 있다. 디스플레이 유닛(620)은 전달 받은 좌표에 기초하여 리얼 오브젝트(630)에 대응하는 증강 현실 오브젝트(640)를 디스플레이 할 수 있다. 또한, HMD 디바이스(100)는 벤딩 센서 유닛(130)을 이용하여 디스플레이 유닛(620)이 벤딩됨을 디텍트할 수 있다. 이때, HMD 디바이스(100)는 디스플레이 유닛(620)의 벤딩 각도에 기초하여 리얼 오브젝트(630)에 대응하는 증강 현실 오브젝트(640)가 디스플레이 되는 위치를 변경할 수 있다. 이때, HMD 디바이스(100)는 디스플레이 유닛(620)의 좌표를 기준으로 증강 현실 오브젝트가 디스플레이 되는 위치를 결정할 수 있다. HMD 디바이스(100)는 설정된 좌표를 커뮤니케이션 유닛을 통해 디스플레이 유닛(620)으로 전달할 수 있다. 디스플레이 유닛(620)은 전달 받은 좌표에 기초하여 리얼 오브젝트(630)에 대응하는 증강 현실 오브젝트(640)를 벤딩된 디스플레이 유닛(620)에 디스플레이할 수 있다.According to an embodiment of the present specification, theHMD device 610 may detect thereal object 630 using thecamera unit 110 . Also, theHMD device 610 may display theaugmented reality object 640 corresponding to thereal object 630 on thedisplay unit 620 . In this case, as an example, theHMD device 610 may include a communication unit (not shown). In this case, the communication unit may perform communication with thedisplay unit 620 using various protocols, and may transmit/receive data through this. In addition, the communication unit may transmit/receive digital data such as contents by connecting to a network by wire or wirelessly. In this specification, theHMD device 610 may detect thereal object 640 . In this case, theHMD device 610 may set coordinates in thedisplay unit 620 . More specifically, theHMD device 610 may set coordinates along a vertical axis and a horizontal axis based on the center of thedisplay unit 620 . When theHMD device 610 detects thereal object 630, theHMD device 100 may display the position of the augmented reality object corresponding to the detected real object based on the coordinates of thedisplay unit 620. have. In this case, theHMD device 100 may transmit the set coordinates to thedisplay unit 620 through the communication unit. Thedisplay unit 620 may display theaugmented reality object 640 corresponding to thereal object 630 based on the received coordinates. Also, theHMD device 100 may detect that thedisplay unit 620 is bent using the bendingsensor unit 130 . In this case, theHMD device 100 may change the display position of theaugmented reality object 640 corresponding to thereal object 630 based on the bending angle of thedisplay unit 620 . In this case, theHMD device 100 may determine a position where the augmented reality object is displayed based on the coordinates of thedisplay unit 620 . TheHMD device 100 may transmit the set coordinates to thedisplay unit 620 through the communication unit. Thedisplay unit 620 may display theaugmented reality object 640 corresponding to thereal object 630 on thebent display unit 620 based on the received coordinates.

도 7a 및 도 7b은 본 명세서의 일 실시예에 따른 디스플레이 시스템(100)이 카메라 유닛(110)의 화각에 기초하여 증강 현실 오브젝트를 디스플레이 하는 방법을 나타낸 도면이다.7A and 7B are diagrams illustrating a method for thedisplay system 100 according to an embodiment of the present specification to display an augmented reality object based on the angle of view of thecamera unit 110 .

디스플레이 시스템(100)은 카메라 유닛(110)의 화각 내에 위치하는 리얼 오브젝트를 디텍트할 수 있다. 이때, 화각은 카메라 유닛(110)의 중심에 기초하여 결정될 수 있다. 또한, 화각은 카메라 유닛(110)이 리얼 오브젝트를 디텍트 할 수 있는 영역을 의미할 수 있다. 디스플레이 시스템(100)은 디텍트한 리얼 오브젝트에 대응되는 증강 현실 오브젝트를 디스플레이 할 수 있다. 이때, 디스플레이 시스템(100)은 유저 눈(210)이 리얼 오브젝트를 바라보는 시선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 증강 현실 오브젝트를 디스플레이 할 수 있다. 유저 눈(210)이 리얼 오브젝트를 바라보는 시선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점이 존재하지 않는 경우, 디스플레이 시스템(100)은 증강 현실 오브젝트를 디스플레이 할 수 없을 수 있다. 즉, 디스플레이 시스템(100)은 유저 눈(210)이 투명 플렉서블 디스플레이 유닛(120)을 통해 볼 수 있는 리얼 오브젝트에 대응하는 증강 현실 오브젝트만을 디스플레이 할 수 있다. 이때, 리얼 오브젝트는 카메라 유닛(110)의 화각 내에 위치하고, 유저의 시야각 외에 위치할 수 있다. 이때, 유저의 시야각은 투명 플렉서블 디스플레이 유닛(120)을 통해 유저가 디텍트 할 수 있는 영역을 의미할 수 있다.Thedisplay system 100 may detect a real object located within the angle of view of thecamera unit 110 . In this case, the angle of view may be determined based on the center of thecamera unit 110 . Also, the angle of view may mean an area in which thecamera unit 110 can detect a real object. Thedisplay system 100 may display an augmented reality object corresponding to the detected real object. In this case, thedisplay system 100 may display the augmented reality object based on the intersection of the user'seye 210 looking at the real object and the transparentflexible display unit 120 . When the point where the user'seye 210 looks at the real object and the transparentflexible display unit 120 do not intersect does not exist, thedisplay system 100 may not be able to display the augmented reality object. That is, thedisplay system 100 may display only the augmented reality object corresponding to the real object that the user'seye 210 can see through the transparentflexible display unit 120 . In this case, the real object may be located within the field of view of thecamera unit 110 and may be located outside the field of view of the user. In this case, the user's viewing angle may mean an area that the user can detect through the transparentflexible display unit 120 .

이때, 디스플레이 시스템(100)이 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트하는 경우, 디스플레이 시스템(100)은 카메라 유닛(110)의 화각 내에 위치하고, 유저의 시야각 외에 위치하는 리얼 오브젝트를 디스플레이 할 수 있다. 보다 상세하게는, 유저의 시야각은 투명 플렉서블 디스플레이 유닛(120)이 벤딩되면 커질 수 있다. 즉, 유저가 투명 플렉서블 유닛(120)을 통해 디텍트할 수 있는 영역이 증가될 수 있다. 또한, 카메라 유닛(110)은 투명 플렉서블 디스플레이 유닛(120)의 중심을 지나는 수직축에 위치할 수 있다. 또한 일 예로, 카메라 유닛(110)은 투명 플렉서블 디스플레이 유닛(120)의 중심을 지나는 수평축에 위치할 수 있다. 카메라 유닛(110)이 투명 플렉서블 디스플레이 유닛(120)의 수직축에 위치하는 경우, 카메라 유닛(110)의 화각은 투명 플렉서블 디스플레이 유닛(120)이 수직축을 기준으로 벤딩되어도 디텍트하는 영역은 일정할 수 있다. 또한 일 예로, 카메라 유닛(110)이 투명 플렉서블 디스플레이 유닛(120)의 수평축에 위치하는 경우, 카메라 유닛(110)의 화각은 투명 플렉서블 디스플레이 유닛(120)이 수평축을 기준으로 벤딩되어도 디텍트되는 영역은 일정할 수 있다. 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트하는 경우, 유저의 시야각 외에 위치하는 리얼 오브젝트는 카메라 유닛(110)의 화각 및 유저의 시야각 내에 위치할 수 있다. 따라서 디스플레이 시스템(100)은 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 디스플레이 할 수 있다.At this time, when thedisplay system 100 detects that the transparentflexible display unit 120 is bent, thedisplay system 100 displays a real object located within the viewing angle of thecamera unit 110 and outside the user's viewing angle. can More specifically, the viewing angle of the user may increase when the transparentflexible display unit 120 is bent. That is, an area that a user can detect through the transparentflexible unit 120 may be increased. Also, thecamera unit 110 may be positioned on a vertical axis passing through the center of the transparentflexible display unit 120 . Also, as an example, thecamera unit 110 may be positioned on a horizontal axis passing through the center of the transparentflexible display unit 120 . When thecamera unit 110 is located on the vertical axis of the transparentflexible display unit 120, the angle of view of thecamera unit 110 is detected even when the transparentflexible display unit 120 is bent with respect to the vertical axis. have. Also, as an example, when thecamera unit 110 is positioned on the horizontal axis of the transparentflexible display unit 120 , the angle of view of thecamera unit 110 is an area that is detected even when the transparentflexible display unit 120 is bent with respect to the horizontal axis. can be constant. When it is detected that the transparentflexible display unit 120 is bent, the real object located outside the user's viewing angle may be located within the viewing angle of thecamera unit 110 and the user's viewing angle. Accordingly, thedisplay system 100 may display the augmented reality object corresponding to the real object.

또한, 본 명세서에 따라 일 예로, 유저의 시야각은 투명 플렉서블 디스플레이 유닛(120)의 벤딩 각도가 증가함에 따라 증가할 수 있다.Also, according to the present specification, as an example, the viewing angle of the user may increase as the bending angle of the transparentflexible display unit 120 increases.

본 명세서에 따라, 일 예로, 도 7a 및 도 7b를 참조하면, 디스플레이 시스템은 제 1 리얼 오브젝트(710)에 대응하는 제 1 증강 현실 오브젝트(750)를 투명 플렉서블 디스플레이 유닛(120)에 디스플레이 할 수 있다. 이때, 제 1 리얼 오브젝트(710)는 카메라 유닛(110)의 화각 및 유저의 시야각 내에 위치할 수 있다. 디스플레이 시스템은 제 2 리얼 오브젝트(720)에 대응하는 제 2 증강 현실 오브젝트(760)의 일부 영역을 디스플레이 할 수 있다. 일 예로, 제 2 리얼 오브젝트(720)는 카메라 유닛(110)의 화각 내에 위치하고, 유저의 시야각의 경계에 위치할 수 있다. 즉, 디스플레이 시스템(100)은 제 2 리얼 오브젝트(720) 중 유저의 시야각이 미치는 부분에 대응하는 제 2 증강 현실 오브젝트(760) 일부만을 디스플레이 할 수 있다.According to the present specification, as an example, referring to FIGS. 7A and 7B , the display system may display the first augmentedreality object 750 corresponding to the firstreal object 710 on the transparentflexible display unit 120 . have. In this case, the firstreal object 710 may be located within the viewing angle of thecamera unit 110 and the user's viewing angle. The display system may display a partial area of the secondaugmented reality object 760 corresponding to the secondreal object 720 . For example, the secondreal object 720 may be located within the field of view of thecamera unit 110 and may be located at the boundary of the user's field of view. That is, thedisplay system 100 may display only a portion of the secondaugmented reality object 760 corresponding to a portion of the secondreal object 720 to which the user's viewing angle extends.

또한, 디스플레이 시스템(100)은 제 3 리얼 오브젝트(730)를 디텍트 할 수 있다. 이때, 제 3 리얼 오브젝트(730)는 카메라 유닛(110)의 화각 내에 위치하고, 유저의 시야각 외에 위치할 수 있다. 따라서, 디스플레이 시스템(100)은 제 3 리얼 오브젝트(730)를 디텍트 할 수 있지만 제 3 리얼 오브젝트(730)에 대응하는 제 3 증강 현실 오브젝트(770)를 투명 디스플레이 유닛(120)에 디스플레이할 수 없을 수 있다.Also, thedisplay system 100 may detect the thirdreal object 730 . In this case, the thirdreal object 730 may be located within the field of view of thecamera unit 110 and located outside the field of view of the user. Accordingly, thedisplay system 100 may detect the thirdreal object 730 , but may display the thirdaugmented reality object 770 corresponding to the thirdreal object 730 on thetransparent display unit 120 . there may not be

또한, 디스플레이 시스템(100)은 제 4 리얼 오브젝트(740)를 디텍트할 수 없을 수 있다. 또한, 디스플레이 시스템(100)은 제 4 리얼 오브젝트(740)에 대응하는 제 4 증강 현실 오브젝트(780)를 디스플레이할 수 없을 수 있다. 제 4 리얼 오브젝트(740)는 카메라 유닛(110)의 화각 및 유저의 시야각 외에 위치할 수 있다.Also, thedisplay system 100 may not be able to detect the fourthreal object 740 . Also, thedisplay system 100 may not be able to display the fourthaugmented reality object 780 corresponding to the fourthreal object 740 . The fourthreal object 740 may be located other than the viewing angle of thecamera unit 110 and the user's viewing angle.

이때, 디스플레이 시스템(100)이 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트 하는 경우, 디스플레이 시스템(100)은 제 3 리얼 오브젝트(730)에 대응하는 제 3 증강 현실 오브젝트(770)를 투명 플렉서블 디스플레이 유닛(120)에 디스플레이 할 수 있다. 보다 상세하게는, 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트하는 경우, 유저의 시야각은 증가할 수 있다. 즉, 유저는 투명 플렉서블 디스플레이 유닛(120)을 통해 더 많은 영역을 디텍트할 수 있다. 따라서, 투명 플렉서블 디스플레이 유닛(120)이 벤딩되는 경우, 제 3 리얼 오브젝트(730)은 카메라 유닛(110)의 화각 내 및 유저의 시야각 내에 위치할 수 있다. 이를 통해, 디스플레이 시스템(100)은 제 3 리얼 오브젝트(730)에 대응하는 제 3 증강 현실 오브젝트(770)를 투명 디스플레이 유닛(120)에 디스플레이 할 수 있다.At this time, when thedisplay system 100 detects that the transparentflexible display unit 120 is bent, thedisplay system 100 displays the thirdaugmented reality object 770 corresponding to the thirdreal object 730 as transparent flexible. It can be displayed on thedisplay unit 120 . More specifically, when it is detected that the transparentflexible display unit 120 is bent, the user's viewing angle may increase. That is, the user may detect a larger area through the transparentflexible display unit 120 . Accordingly, when the transparentflexible display unit 120 is bent, the thirdreal object 730 may be located within the viewing angle of thecamera unit 110 and within the viewing angle of the user. Through this, thedisplay system 100 may display the thirdaugmented reality object 770 corresponding to the thirdreal object 730 on thetransparent display unit 120 .

도 8은 본 명세서의 일 실시예에 따른 디스플레이 시스템(100)이 유저 눈과 투명 플렉서블 유닛(120)의 거리에 기초하여 증강 현실 오브젝트를 디스플레이 하는 방법을 나타낸 도면이다. 디스플레이 시스템(100)은 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 투명 플렉서블 디스플레이 유닛(120)에 디스플레이할 수 있다. 이때, 디스플레이 시스템(100)은 카메라 유닛(110)의 화각 내에 위치하는 리얼 오브젝트를 디텍트 할 수 있다. 디스플레이 시스템(100)은 디텍트된 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 디스플레이 할 수 있다. 또한, 디스플레이 시스템(100)은 유저의 시야각 내에 위치하는 리얼 오브젝트를 디텍트 할 수 있다. 디스플레이 시스템(100)은 디텍트한 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 디스플레이 할 있다. 보다 상세하게는, 디스플레이 시스템(100)은 카메라 유닛(110)의 화각 내 및 유저의 시야각 내에 위치하는 리얼 오브젝트를 디텍트 할 수 있다. 디스플레이 시스템은 디텍트한 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 디스플레이 할 수 있다.FIG. 8 is a diagram illustrating a method in which thedisplay system 100 according to an embodiment of the present specification displays an augmented reality object based on a distance between the user's eyes and the transparentflexible unit 120 . Thedisplay system 100 may display the augmented reality object corresponding to the real object on the transparentflexible display unit 120 . In this case, thedisplay system 100 may detect a real object located within the angle of view of thecamera unit 110 . Thedisplay system 100 may display an augmented reality object corresponding to the detected real object. Also, thedisplay system 100 may detect a real object located within the user's viewing angle. Thedisplay system 100 may display an augmented reality object corresponding to the detected real object. More specifically, thedisplay system 100 may detect a real object located within the field of view of thecamera unit 110 and within the field of view of the user. The display system may display the augmented reality object corresponding to the detected real object.

이때, 유저 눈(210)과 투명 플렉서블 디스플레이 유닛(120)이 스레스홀드 거리 이하인 경우, 유저의 시야각은 카메라 유닛(110)의 화각보다 커질 수 있다. 보다 상세하게는, 유저 눈(210)은 카메라 유닛(110) 보다 뒤에 위치할 수 있다. 따라서, 유저 눈(210)과 투명 플렉서블 디스플레이 유닛(120) 스레스홀드 거리 이하인 경우, 유저의 시야각은 카메라 유닛(110)의 화각보다 커질 수 있다. 이때, 스레스홀드 거리는 유저의 시야각이 카메라 유닛(110)의 화각보다 커지는 임계 거리일 수 있다. 또한, 스레스홀드 거리는 일정한 오차를 가질 수 있다. 또한, 유저 눈(210)과 투명 플렉서블 디스플레이 유닛(120)이 스레스홀드 거리 초과하는 경우, 유저의 시야각은 카메라 유닛(110)의 화각보다 작아질 수 있다. 또한, 유저의 시야각은 투명 플렉서블 디스플레이 유닛(120)의 벤딩 각도에 기초하여 결정될 수 있다.In this case, when the user'seye 210 and the transparentflexible display unit 120 are less than or equal to the threshold distance, the user's viewing angle may be greater than the viewing angle of thecamera unit 110 . In more detail, the user'seye 210 may be located behind thecamera unit 110 . Accordingly, when the distance between the user'seye 210 and the transparentflexible display unit 120 is less than the threshold distance, the user's viewing angle may be greater than the viewing angle of thecamera unit 110 . In this case, the threshold distance may be a threshold distance at which the user's viewing angle becomes greater than the viewing angle of thecamera unit 110 . Also, the threshold distance may have a certain error. Also, when the user'seye 210 and the transparentflexible display unit 120 exceed the threshold distance, the user's viewing angle may be smaller than the viewing angle of thecamera unit 110 . Also, the viewing angle of the user may be determined based on the bending angle of the transparentflexible display unit 120 .

유저의 시야각이 카메라 유닛(110)의 화각보다 큰 경우, 리얼 오브젝트는 카메라 유닛(110)의 화각 외에 위치하고, 유저의 시야각 내에 위치할 수 있다. 이때, 디스플레이 시스템(100)은 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 디스플레이 할 수 없다. 보다 상세하게는, 유저의 시선이 리얼 오브젝트를 바라보는 시선은 투명 플렉서블 디스플레이 유닛(120)과 교차하지만, 카메라 유닛(110)은 리얼 오브젝트를 디텍트할 수 없을 수 있다. 따라서, 디스플레이 시스템(100)은 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 디스플레이 할 수 없을 수 있다.When the user's viewing angle is greater than the viewing angle of thecamera unit 110 , the real object may be located outside the viewing angle of thecamera unit 110 and located within the user's viewing angle. In this case, thedisplay system 100 cannot display the augmented reality object corresponding to the real object. In more detail, the gaze of the user looking at the real object intersects the transparentflexible display unit 120 , but thecamera unit 110 may not be able to detect the real object. Accordingly, thedisplay system 100 may not be able to display the augmented reality object corresponding to the real object.

또한, 일 예로, 디스플레이 시스템(100)은 카메라 유닛(110)의 화각에 기초하여 인디케이터를 투명 플렉서블 디스플레이 유닛(120)에 디스플레이 할 수 있다. 이때, 인디케이터는 카메라 유닛(110)의 화각이 디텍트 할 수 있는 영역을 의미할 수 있다. 이를 통해, 유저는 디스플레이 시스템(100)이 디스플레이 할 수 있는 리얼 오브젝트의 영역을 설정할 수 있다. 또한, 일 예로, 디스플레이 시스템(100)은 유저 눈(210)과 투명 플렉서블 디스플레이 유닛(120)의 거리에 기초하여 인디케이터를 디스플레이 할 수 있다. 이때, 유저 눈(210)과 투명 플렉서블 디스플레이 유닛(120)의 거리가 증가하는 경우, 디스플레이 시스템(100)은 인디케이터를 투명 플렉서블 디스플레이 유닛(120)의 가장자리에 근접한 위치에 디스플레이 할 수 있다. 또한, 유저 눈(210)과 투명 플렉서블 디스플레이 유닛(120)의 거리가 감소하는 경우, 디스플레이 시스템(100)은 인디케이터를 투명 플렉서블 디스플레이 유닛(120)의 중심점에 근접한 위치에 디스플레이 할 수 있다. 또한, 유저 눈(210)과 투명 플렉서블 디스플레이 유닛(120)의 거리가 스레스홀드 거리 초과인 경우, 디스플레이 시스템(100)은 인디케이터를 디스플레이 하지 않을 수 있다.Also, as an example, thedisplay system 100 may display the indicator on the transparentflexible display unit 120 based on the angle of view of thecamera unit 110 . In this case, the indicator may mean an area that can be detected by the angle of view of thecamera unit 110 . Through this, the user can set the area of the real object that thedisplay system 100 can display. Also, as an example, thedisplay system 100 may display an indicator based on the distance between the user'seyes 210 and the transparentflexible display unit 120 . In this case, when the distance between the user'seyes 210 and the transparentflexible display unit 120 increases, thedisplay system 100 may display the indicator at a position close to the edge of the transparentflexible display unit 120 . Also, when the distance between the user'seyes 210 and the transparentflexible display unit 120 decreases, thedisplay system 100 may display the indicator at a position close to the center point of the transparentflexible display unit 120 . Also, when the distance between the user'seyes 210 and the transparentflexible display unit 120 exceeds the threshold distance, thedisplay system 100 may not display the indicator.

본 명세서의 일 실시예에 따라, 도 8을 참조하면, 디스플레이 시스템(100)은 제 1 리얼 오브젝트(810)를 디텍트할 수 있다. 디스플레이 시스템(100)은 제 1 리얼 오브젝트(810)에 대응하는 제 1 증강 현실 오브젝트(840)를 투명 플렉서블 디스플레이 유닛(120)에 디스플레이 할 수 있다. 이때, 제 1 리얼 오브젝트(810)는 카메라 유닛(110)의 화각 내에 위치하고, 유저의 시야각 내에 위치할 수 있다. 디스플레이 시스템(100)은 제 2 리얼 오브젝트(820)에 대응하는 제 2 증강 현실 오브젝트(850)를 디스플레이 할 수 없을 수 있다. 이때, 제 2 리얼 오브젝트(820)는 카메라 유닛(110)의 화각 외에 위치하고, 유저의 시야갹 내에 위치할 수 있다. 따라서, 유저 눈이 제 2 리얼 오브젝트(820)를 바라보는 시선은 투명 플렉서블 디스플레이 유닛(120)과 교차하지만, 디스플레이 시스템(100)은 제 2 리얼 오브젝트에 대응하는 제 2 증강 현실 오브젝트(850)를 디스플레이할 수 없을 수 있다. 디스플레이 시스템(100)은 제 3 리얼 오브젝트(830)에 대응하는 제 3 증강 현실 오브젝트(860)를 디스플레이할 수 없을 수 있다. 이때, 제 3 리얼 오브젝트(830)는 카메라 유닛(110)의 화각 외에 위치하고, 유저의 시야각 외에 위치할 수 있다.According to an embodiment of the present specification, referring to FIG. 8 , thedisplay system 100 may detect the firstreal object 810 . Thedisplay system 100 may display the first augmentedreality object 840 corresponding to the firstreal object 810 on the transparentflexible display unit 120 . In this case, the firstreal object 810 may be located within the viewing angle of thecamera unit 110 and may be located within the user's viewing angle. Thedisplay system 100 may not be able to display the secondaugmented reality object 850 corresponding to the secondreal object 820 . In this case, the secondreal object 820 may be located outside the field of view of thecamera unit 110 and located within the user's field of view. Accordingly, the gaze of the user's eyes looking at the secondreal object 820 intersects the transparentflexible display unit 120, but thedisplay system 100 displays the secondaugmented reality object 850 corresponding to the second real object. It may not be able to display. Thedisplay system 100 may not be able to display the thirdaugmented reality object 860 corresponding to the thirdreal object 830 . In this case, the thirdreal object 830 may be located outside the viewing angle of thecamera unit 110 and outside the user's viewing angle.

또한, 디스플레이 시스템(100)은 인디케이터(870)를 디스플레이 할 수 있다. 이때 인디케이터(870)는 카메라 유닛(110)의 화각에 기초하여 디스플레이 될 수 있다. 또한, 인디케이터(870)는 디스플레이 시스템(100)이 증강 현실 오브젝트를 디스플레이 하는 영역을 나타낼 수 있다. 즉, 디스플레이 시스템(100)은 인디케이터(870) 내에 위치하는 제 1 증강 현실 오브젝트(840)를 투명 플렉서블 디스플레이 유닛(120)으로 디스플레이할 수 있다.Also, thedisplay system 100 may display an indicator 870 . In this case, the indicator 870 may be displayed based on the angle of view of thecamera unit 110 . Also, the indicator 870 may indicate an area in which thedisplay system 100 displays the augmented reality object. That is, thedisplay system 100 may display the first augmentedreality object 840 positioned in the indicator 870 through the transparentflexible display unit 120 .

도 9는 본 명세서의 일 실시예에 따른 디스플레이 시스템의 제어 방법의 실시예를 나타내는 도면이다. 디스플레이 시스템(100)은 카메라 유닛(110)과 제 1 각도를 갖는 제 1 리얼 오브젝트를 디텍트 할 수 있다.(S910) 이때, 도 1 에서 상술한 바와 같이, 카메라 유닛(110)은 카메라 유닛(110)의 중심을 기준으로 제 1 각도를 디텍트 할 수 있다. 이때, 제 1 각도는 카메라 유닛(110)의 중심을 기준으로 우측, 좌측, 위측 또는 아래측 방향일 수 있다. 또한, 일 예로, 카메라 유닛(110)은 투명 플렉서블 디스플레이 유닛(120)의 중심을 지나는 수직축 상에 위치할 수 있다. 보다 상세하게는, 카메라 유닛(110)은 투명 플렉서블 디스플레이 유닛(120)의 중심을 지나는 수직축의 가장 윗부분에 위치할 수 있다. 이를 통해, 투명 플렉서블 디스플레이 유닛(120)이 벤딩되는 경우, 카메라 유닛(110)은 리얼 오브젝트와 일정한 각도를 유지할 수 있다.9 is a diagram illustrating an embodiment of a method for controlling a display system according to an embodiment of the present specification. Thedisplay system 100 may detect a first real object having a first angle with the camera unit 110 (S910). At this time, as described above with reference to FIG. 1 , thecamera unit 110 includes the camera unit ( 110) based on the center of the first angle can be detected. In this case, the first angle may be a right, left, up or down direction with respect to the center of thecamera unit 110 . Also, as an example, thecamera unit 110 may be positioned on a vertical axis passing through the center of the transparentflexible display unit 120 . More specifically, thecamera unit 110 may be located at the uppermost portion of a vertical axis passing through the center of the transparentflexible display unit 120 . Through this, when the transparentflexible display unit 120 is bent, thecamera unit 110 may maintain a constant angle with the real object.

또한, 일 예로, 카메라 유닛(110)과 리얼 오브젝트의 각도는 투명 플렉서블 유닛(120)의 중심과 유저의 시선을 연결하는 라인에 더 기초하여 결정될 수 있다. 보다 상세하게는, 카메라 유닛(110)은 유저 눈과 투명 플렉서블 디스플레이 유닛(120)의 위치 정보에 기초하여 카메라 유닛(110)과 리얼 오브젝트의 각도를 디텍트할 수 있다. 또한, 일 예로, 카메라 유닛(110)은 리얼 오브젝트를 디텍트하는 센서 유닛을 포함할 수 있다.Also, as an example, the angle between thecamera unit 110 and the real object may be further determined based on a line connecting the center of the transparentflexible unit 120 and the user's gaze. In more detail, thecamera unit 110 may detect the angle between thecamera unit 110 and the real object based on the user's eyes and the position information of the transparentflexible display unit 120 . Also, as an example, thecamera unit 110 may include a sensor unit that detects a real object.

다음으로, 디스플레이 시스템(100)은 제 1 리얼 오브젝트에 대응하는 제 1 증강 현실 오브젝트를 제 1 위치에 디스플레이 할 수 있다.(S920) 이때, 도 4a 내지 도 4c에서 상술한 바와 같이, 제 1 위치는 유저 눈(210)이 제 1 리얼 오브젝트를 바라보는 시선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 결정될 수 있다. 이때, 일 예로, 제 1 위치는 유저 눈(210)이 제 1 리얼 오브젝트를 바라보는 시선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점일 수 있다. 또한, 일 예로, 제 1 위치는 유저의 좌측 눈 및 우측 눈의 중심점과 제 1 리얼 오브젝트(410)를 연결하는 선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점일 수 있다. 또 다른 일 예로, 제 1 증강 현실 오브젝트가 3D로 디스플레이하는 경우, 제 1 위치는 유저의 좌측 눈과 제 1 리얼 오브젝트(410)의 거리 및 각도와 유저의 우측 눈과 제 1 리얼 오브젝트(410)의 거리 및 각도에 의해 결정될 수 있다. 즉, 제 1 위치는 유저 눈에 기초하여 디스플레이 시스템(100)에 의해 변경되어 설정될 수 있다.Next, thedisplay system 100 may display the first augmented reality object corresponding to the first real object at the first position ( S920 ). At this time, as described above with reference to FIGS. 4A to 4C , the first position may be determined based on a point where the user'seye 210 looks at the first real object and the transparentflexible display unit 120 intersects. In this case, as an example, the first position may be a point at which the user'seye 210 looks at the first real object and the transparentflexible display unit 120 intersects. Also, as an example, the first position may be a point at which a line connecting the center points of the user's left and right eyes and the firstreal object 410 and the transparentflexible display unit 120 intersect. As another example, when the first augmented reality object is displayed in 3D, the first position is the distance and angle between the user's left eye and the firstreal object 410 and the user's right eye and the firstreal object 410 . can be determined by the distance and angle of That is, the first position may be changed and set by thedisplay system 100 based on the user's eyes.

다음으로, 디스플레이 시스템(100)은 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트할 수 있다.(S930) 이때, 도 1에서 상술한 바와 같이, 벤딩 센서 유닛(130)은 투명 플렉서블 디스플레이 유닛(120)이 벤딩되는 각도를 디텍트할 수 있다. 또한, 벤딩 센서 유닛(130)은 투명 플렉서블 디스플레이 유닛(120)이 벤딩되는 방향을 디텍트할 수 있다. 이때, 상술한 방향은 투명 플렉서블 디스플레이 유닛(120)의 중심점을 지나는 수직축을 기준으로 벤딩되는 방향일 수 있다. 이때, 벤딩 방향은 유저 쪽을 향하는 안쪽 방향일 수 있다. 또한, 벤딩 방향은 유저 바깥 쪽을 향하는 바깥쪽 방향일 수 있다. 또한, 벤딩 방향은 투명 플렉서블 디스플레이 유닛(120)의 중심점을 지나는 수평축을 기준으로 벤딩되는 방향일 수 있다. 이때, 벤딩 방향은 유저 쪽을 향하는 안쪽 방향일 수 있다. 또한, 벤딩 방향은 유저 바깥 쪽을 향하는 바깥쪽 방향일 수 있다.Next, thedisplay system 100 may detect that the transparentflexible display unit 120 is bent. (S930) At this time, as described above with reference to FIG. 1 , the bendingsensor unit 130 is the transparent flexible display unit ( 120) can detect the bending angle. Also, the bendingsensor unit 130 may detect a bending direction of the transparentflexible display unit 120 . In this case, the above-described direction may be a bending direction based on a vertical axis passing through the center point of the transparentflexible display unit 120 . In this case, the bending direction may be an inward direction toward the user. Also, the bending direction may be an outward direction toward the outside of the user. Also, the bending direction may be a bending direction based on a horizontal axis passing through the center point of the transparentflexible display unit 120 . In this case, the bending direction may be an inward direction toward the user. Also, the bending direction may be an outward direction toward the outside of the user.

또한, 도 5a 및 도 5b에서 상술한 바와 같이, 벤딩 각도는 투명 플렉서블 디스플레이 유닛(120) 내부 위치에 따라 다를 수 있다. 이때, 일 예로, 벤딩 각도는 투명 플렉서블 디스플레이 유닛(120) 내부 위치 각각에 대한 벤딩된 각도의 평균일 수 있다. 또한, 일 예로, 벤딩 각도는 투명 플렉서블 디스플레이 유닛(120)의 내부 위치 중 증강 현실 오브젝트가 디스플레이 되는 지점에서의 벤딩 각도일 수 있다. 또한, 일 예로, 벤딩 각도는 투명 플렉서블 디스플레이 유닛(120)의 벤딩이 커지면 증가할 수 있으며, 상술한 실시예로 한정되지 않는다.In addition, as described above with reference to FIGS. 5A and 5B , the bending angle may vary according to an internal position of the transparentflexible display unit 120 . In this case, as an example, the bending angle may be an average of the bending angles for each internal position of the transparentflexible display unit 120 . Also, as an example, the bending angle may be a bending angle at a point where the augmented reality object is displayed among internal positions of the transparentflexible display unit 120 . Also, as an example, the bending angle may increase as the bending of the transparentflexible display unit 120 increases, and is not limited to the above-described embodiment.

다음으로, 디스플레이 시스템(100)은 제 1 위치와 제 1 거리만큼 떨어진 제 3 위치에 제 1 증강 현실 오브젝트를 디스플레이할 수 있다.(S940) 이때, 도 3에서 상술한 바와 같이, 제 1 위치는 유저 눈(210)이 제 1 리얼 오브젝트(310)를 바라보는 시선과 투명 플렉서블 디스플레이 유닛(120)의 교차하는 지점에 기초하여 결정될 수 있다. 디스플레이 시스템(100)이 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트하는 경우, 디스플레이 시스템(100)은 벤딩되는 각도에 기초하여 제 1 증강 현실 오브젝트(330)를 제 3 위치에 디스플레이할 수 있다. 이때, 제 3 위치는 제 1 리얼 오브젝트(310)을 바라보는 유저 눈(210)의 시선과 벤딩된 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 결정될 수 있다. 또한, 제 3 위치는 제 1 위치로부터 제 1 거리만큼 떨어진 위치일 수 있다. 일 예로, 제 3 위치는 제 1 위치로부터 투명 플렉서블 디스플레이 유닛(120)의 중심점 방향으로 제 1 거리만큼 떨어진 거리일 수 있다. 또한, 일 예로, 제 3 위치는 제 1 위치로부터 투명 플렉서블 디스플레이 유닛(120)의 중심점 반대 방향으로 제 1 거리만큼 떨어진 거리일 수 있다.Next, thedisplay system 100 may display the first augmented reality object at a third location separated from the first location by the first distance ( S940 ). At this time, as described above with reference to FIG. 3 , the first location is The user'seye 210 may be determined based on an intersection point between the gaze looking at the firstreal object 310 and the transparentflexible display unit 120 . When thedisplay system 100 detects that the transparentflexible display unit 120 is bent, thedisplay system 100 may display the first augmentedreality object 330 at a third position based on the bending angle. . In this case, the third position may be determined based on a point where the gaze of the user'seye 210 looking at the firstreal object 310 and the bent transparentflexible display unit 120 intersect. Also, the third location may be a location separated from the first location by a first distance. For example, the third location may be a distance away from the first location by the first distance in the direction of the center point of the transparentflexible display unit 120 . Also, as an example, the third position may be a distance away from the first position by the first distance in a direction opposite to the center point of the transparentflexible display unit 120 .

또한, 도 4a 내지 도 4c에서 상술한 바와 같이, 제 1거리는 투명 플렉서블 디스플레이 유닛(120)의 중심점에 기초하여 내측 및 외측의 위치일 수 있다. 보다 상세하게는, 내측은 투명 플렉서블 디스플레이 유닛(120)의 중심점 방향으로, 중심점에 근접하는 위치일 수 있다. 또한, 외측은 투명 플렉서블 디스플레이 유닛(120)의 중심점의 반대 방향으로 투명 플렉서블 유닛(120)의 가장자리에 근접하는 위치일 수 있다. 즉, 디스플레이 시스템(100)은 투명 플렉서블 유닛(120)의 중심점을 가장 내측의 위치로 결정할 수 있다.Also, as described above with reference to FIGS. 4A to 4C , the first distance may be inner and outer positions based on the center point of the transparentflexible display unit 120 . More specifically, the inner side may be a position close to the central point of the transparentflexible display unit 120 in the direction of the central point. Also, the outer side may be a position adjacent to the edge of the transparentflexible display unit 120 in a direction opposite to the central point of the transparentflexible display unit 120 . That is, thedisplay system 100 may determine the central point of the transparentflexible unit 120 as the innermost position.

다음으로, 디스플레이 시스템(100)은 제 1 각도의 크기 변화를 디텍트할 수 있다.(S950) 이때, 디스플레이 시스템(100)이 제 1 각도가 증가함을 디텍트하는 경우, 디스플레이 시스템(100)은 제 1 거리를 증가시킬 수 있다.(S960) 반면, 디스플레이 시스템(100)이 제 1 각도가 감소함을 디텍트하는 경우, 디스플레이 시스템(100)은 제 1 거리를 감소시킬 수 있다.(S970) 이때 도 3에서 상술한 바와 같이, 제 1 각도가 커지는 경우, 제 1 위치는 투명 플렉서블 디스플레이 유닛(120)의 중심점으로부터 멀리 위치할 수 있다. 디스플레이 시스템(100)은 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트할 수 있다. 디스플레이 시스템(100)이 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트하는 경우, 디스플레이 시스템(100)은 벤딩되는 각도에 기초하여 제 1 증강 현실 오브젝트(330)를 제 3 위치에 디스플레이할 수 있다. 이때, 제 3 위치는 제 1 리얼 오브젝트(310)을 바라보는 유저 눈(210)의 시선과 벤딩된 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 결정될 수 있다. 또한, 제 3 위치는 제 1 위치로부터 제 1 거리만큼 떨어진 위치일 수 있다. 일 예로, 제 3 위치는 제 1 위치로부터 투명 플렉서블 디스플레이 유닛(120)의 중심점 방향으로 제 1 거리만큼 떨어진 거리일 수 있다. 또한, 일 예로, 제 3 위치는 제 1 위치로부터 투명 플렉서블 디스플레이 유닛(120)의 중심점 반대 방향으로 제 1 거리만큼 떨어진 거리일 수 있다. 즉, 제 1 각도가 증가하는 경우, 제 1 거리는 증가할 수 있다.Next, thedisplay system 100 may detect a change in the size of the first angle. (S950) At this time, when thedisplay system 100 detects that the first angle increases, thedisplay system 100 may increase the first distance. (S960) On the other hand, when thedisplay system 100 detects that the first angle decreases, thedisplay system 100 may decrease the first distance (S970). ) At this time, as described above in FIG. 3 , when the first angle increases, the first position may be located farther from the center point of the transparentflexible display unit 120 . Thedisplay system 100 may detect that the transparentflexible display unit 120 is bent. When thedisplay system 100 detects that the transparentflexible display unit 120 is bent, thedisplay system 100 may display the first augmentedreality object 330 at a third position based on the bending angle. . In this case, the third position may be determined based on a point where the gaze of the user'seye 210 looking at the firstreal object 310 and the bent transparentflexible display unit 120 intersect. Also, the third location may be a location separated from the first location by a first distance. For example, the third location may be a distance away from the first location by the first distance in the direction of the center point of the transparentflexible display unit 120 . Also, as an example, the third position may be a distance away from the first position by the first distance in a direction opposite to the center point of the transparentflexible display unit 120 . That is, when the first angle increases, the first distance may increase.

보다 상세하게는, 투명 플렉서블 디스플레이 유닛(120)이 벤딩되는 각도는 투명 플렉서블 디스플레이 유닛(120)의 중심점으로부터 멀리 위치할수록 커질 수 있다. 또한, 증강 현실 오브젝트는 투명 플렉서블 디스플레이 유닛(120)이 벤딩되는 각도가 클수록 위치 차이가 커질 수 있다. 따라서, 제 1 각도가 증가하는 경우, 제 1 거리는 증가할 수 있다. 즉, 디스플레이 시스템(100)은 유저 눈(210)과 리얼 오브젝트가 이루는 각도가 클수록 증강 현실 오브젝트의 위치 차이를 크게 할 수 있다.More specifically, the angle at which the transparentflexible display unit 120 is bent may increase as it is positioned farther from the center point of the transparentflexible display unit 120 . Also, as the angle at which the transparentflexible display unit 120 is bent increases, the position difference of the augmented reality object may increase. Accordingly, when the first angle increases, the first distance may increase. That is, thedisplay system 100 may increase the position difference of the augmented reality object as the angle between the user'seye 210 and the real object increases.

도 10는 본 명세서의 일 실시예에 따른 디스플레이 시스템의 제어 방법의 실시예를 나타내는 도면이다. 디스플레이 시스템(100)은 카메라 유닛(110)과 제 1 각도를 갖는 제 1 리얼 오브젝트를 디텍트할 수 있다. 또한, 디스플레이 시스템(100)은 카메라 유닛(110)과 제 2 각도를 갖는 제 2 리얼 오브젝트를 디텍트할 수 있다.(S1010) 이때, 도 1 에서 상술한 바와 같이, 카메라 유닛(110)은 카메라 유닛(110)의 중심점을 기준으로 제 1 각도 및 제 2 각도를 디텍트할 수 있다. 이때, 제 1 각도 및 제 2 각도는 카메라 유닛(110)의 중심점을 기준으로 우측, 좌측, 위측 또는 아래쪽일 수 있다. 또한, 일 예로, 카메라 유닛(110)은 투명 플렉서블 디스플레이 유닛(120)의 중심점을 지나는 수직축 상에 위치할 수 있다. 보다 상세하게는, 카메라 유닛(110)은 투명 플렉서블 디스플레이 유닛(120)의 중심점을 지나는 수직축의 가장 윗부분에 위치할 수 있다. 이를 통해, 투명 플렉서블 디스플레이 유닛(120)이 벤딩되는 경우, 카메라 유닛(110)은 리얼 오브젝트와 일정한 각도를 유지할 수 있다.10 is a diagram illustrating an embodiment of a method for controlling a display system according to an embodiment of the present specification. Thedisplay system 100 may detect a first real object having a first angle with thecamera unit 110 . Also, thedisplay system 100 may detect a second real object having a second angle with the camera unit 110 ( S1010 ). At this time, as described above with reference to FIG. 1 , thecamera unit 110 is a camera. The first angle and the second angle may be detected based on the center point of theunit 110 . In this case, the first angle and the second angle may be right, left, upper, or lower with respect to the center point of thecamera unit 110 . Also, as an example, thecamera unit 110 may be positioned on a vertical axis passing through the center point of the transparentflexible display unit 120 . More specifically, thecamera unit 110 may be located at the uppermost portion of the vertical axis passing through the center point of the transparentflexible display unit 120 . Through this, when the transparentflexible display unit 120 is bent, thecamera unit 110 may maintain a constant angle with the real object.

다음으로, 디스플레이 시스템(100)은 제 1 리얼 오브젝트에 대응하는 제 1 증강 현실 오브젝트를 제 1 위치에 디스플레이할 수 있다. 또한, 디스플레이 시스템(100)은 제 2 리얼 오브젝트에 대응하는 제 2 증강 현실 오브젝트를 제 2 위치에 디스플레이할 수 있다.(S1020) 이때, 도 4a 내지 도 4c에서 상술한 바와 같이, 제 1 위치는 유저 눈(210)이 제 1 리얼 오브젝트를 바라보는 시선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 결정될 수 있다. 제 2 위치는 유저 눈(210)이 제 2 리얼 오브젝트를 바라보는 시선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 결정될 수 있다. 이때, 일 예로, 제 1 위치는 유저 눈(210)이 제 1 리얼 오브젝트를 바라보는 시선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점일 수 있다. 또한, 일 예로, 제 1 위치는 유저의 좌측 눈 및 우측 눈의 중심과 제 1 리얼 오브젝트(410)를 연결하는 선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점일 수 있다. 또 다른 일 예로, 제 1 증강 현실 오브젝트가 3D로 디스플레이 하는 경우, 제 1 위치는 유저의 좌측 눈과 제 1 리얼 오브젝트(410)의 거리 및 각도와 유저의 우측 눈과 제 1 리얼 오브젝트(410)의 거리 및 각도에 의해 결정될 수 있다. 즉, 제 1 위치는 유저 눈에 기초하여 디스플레이 시스템(100)에 의해 설정될 수 있다. 또한, 일 예로, 제 2 위치는 유저 눈(210)이 제 2 리얼 오브젝트를 바라보는 시선과 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점일 수 있다.Next, thedisplay system 100 may display the first augmented reality object corresponding to the first real object at the first position. Also, thedisplay system 100 may display the second augmented reality object corresponding to the second real object at the second position ( S1020 ). In this case, as described above with reference to FIGS. 4A to 4C , the first position is It may be determined based on a point at which the user'seye 210 looks at the first real object and the transparentflexible display unit 120 intersects. The second position may be determined based on a point at which the user'seye 210 intersects the gaze of the second real object with the transparentflexible display unit 120 . In this case, as an example, the first position may be a point at which the user'seye 210 looks at the first real object and the transparentflexible display unit 120 intersects. Also, as an example, the first position may be a point at which a line connecting the centers of the user's left and right eyes and the firstreal object 410 and the transparentflexible display unit 120 intersect. As another example, when the first augmented reality object is displayed in 3D, the first position is the distance and angle between the user's left eye and the firstreal object 410 and the user's right eye and the firstreal object 410 . can be determined by the distance and angle of That is, the first position may be set by thedisplay system 100 based on the user's eyes. Also, as an example, the second location may be a point where the user'seye 210 intersects the gaze of the second real object with the transparentflexible display unit 120 .

다음으로 디스플레이 시스템(100)은 투명 플렉서블 디스플레이 유닛이 벤딩됨을 디텍트할 수 있다.(S1030) 이때, 도 5a 및 도 5b에서 상술한 바와 같이, 벤딩 각도는 투명 플렉서블 디스플레이 유닛(120) 내부 위치에 따라 다를 수 있다. 이때, 일 예로, 벤딩 각도는 투명 플렉서블 디스플레이 유닛(120) 내부 위치 각각에 대한 벤딩된 각도의 평균일 수 있다. 또한, 일 예로, 벤딩 각도는 투명 플렉서블 디스플레이 유닛(120)의 내부 위치 중 증강 현실 오브젝트가 디스플레이 되는 지점에서의 벤딩 각도일 수 있다. 또한, 일 예로, 벤딩 각도는 투명 플렉서블 디스플레이 유닛(120)의 벤딩 정도가 커지면 증가할 수 있으며, 상술한 실시예로 한정되지 않는다.Next, thedisplay system 100 may detect that the transparent flexible display unit is bent. (S1030) At this time, as described above with reference to FIGS. 5A and 5B , the bending angle is at an internal position of the transparentflexible display unit 120 . may vary depending on In this case, as an example, the bending angle may be an average of the bending angles for each internal position of the transparentflexible display unit 120 . Also, as an example, the bending angle may be a bending angle at a point where the augmented reality object is displayed among internal positions of the transparentflexible display unit 120 . Also, as an example, the bending angle may increase when the bending degree of the transparentflexible display unit 120 increases, and is not limited to the above-described embodiment.

다음으로, 디스플레이 시스템(100)은 제 1 위치와 제 1 거리만큼 떨어진 제 3 위치에 제 1 증강 현실 오브젝트를 디스플레이 할 수 있다. 또한, 디스플레이 시스템(100)은 제 2 위치와 제 2 거리만큼 떨어진 제 4 위치에 제 2 증강 현실 오브젝트를 디스플레이 할 수 있다.(S1040) 이때, 도 3에서 상술한 바와 같이, 디스플레이 시스템(100)이 투명 플렉서블 디스플레이 유닛(120)이 벤딩됨을 디텍트하는 경우, 디스플레이 시스템(100)은 벤딩 각도에 기초하여 제 1 증강 현실 오브젝트(330)를 제 3 위치에 디스플레이 할 수 있다. 이때, 제 3 위치는 제 1 리얼 오브젝트(310)을 바라보는 유저 눈(210)의 시선과 벤딩된 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 결정될 수 있다. 또한, 제 4 위치는 제 2 리얼 오브젝트(310)을 바라보는 유저 눈(210)의 시선과 벤딩된 투명 플렉서블 디스플레이 유닛(120)이 교차하는 지점에 기초하여 결정될 수 있다.Next, thedisplay system 100 may display the first augmented reality object at a third location separated from the first location by the first distance. Also, thedisplay system 100 may display the second augmented reality object at a fourth position separated from the second position by the second distance ( S1040 ). At this time, as described above with reference to FIG. 3 , thedisplay system 100 . When it is detected that the transparentflexible display unit 120 is bent, thedisplay system 100 may display the first augmentedreality object 330 at a third position based on the bending angle. In this case, the third position may be determined based on a point where the gaze of the user'seye 210 looking at the firstreal object 310 and the bent transparentflexible display unit 120 intersect. Also, the fourth position may be determined based on a point at which the gaze of the user'seye 210 looking at the secondreal object 310 and the bent transparentflexible display unit 120 intersect.

이때, 제 3 위치는 제 1 위치로부터 제 1 거리만큼 떨어진 위치일 수 있다. 일 예로, 제 3 위치는 제 1 위치로부터 투명 플렉서블 디스플레이 유닛(120)의 중심 방향으로 제 1 거리만큼 떨어진 거리일 수 있다. 또한, 일 예로, 제 3 위치는 제 1 위치로부터 투명 플렉서블 디스플레이 유닛(120)의 중심 반대 방향으로 제 1 거리만큼 떨어진 거리일 수 있다.In this case, the third location may be a location separated by a first distance from the first location. For example, the third location may be a distance away from the first location by the first distance in the center direction of the transparentflexible display unit 120 . Also, as an example, the third position may be a distance away from the first position by the first distance in a direction opposite to the center of the transparentflexible display unit 120 .

이때, 제 4 위치는 제 2 위치로부터 제 2 거리만큼 떨어진 위치일 수 있다. 일 예로, 제 4 위치는 제 2 위치로부터 투명 플렉서블 디스플레이 유닛(120)의 중심 방향으로 제 1 거리만큼 떨어진 거리일 수 있다. 또한, 일 예로, 제 4 위치는 제 2 위치로부터 투명 플렉서블 디스플레이 유닛(120)의 중심 반대 방향으로 제 2 거리만큼 떨어진 거리일 수 있다.In this case, the fourth location may be a location separated by a second distance from the second location. For example, the fourth position may be a distance away from the second position by the first distance in the center direction of the transparentflexible display unit 120 . Also, as an example, the fourth position may be a distance away from the second position by a second distance in a direction opposite to the center of the transparentflexible display unit 120 .

또한, 도 4a 내지 도 4c에서 상술한 바와 같이, 제 1 거리 및 제 2 거리는 투명 플렉서블 디스플레이 유닛(120)의 중심에 기초하여 내측 및 외측의 위치일 수 있다. 보다 상세하게는, 내측은 투명 플렉서블 디스플레이 유닛(120)의 중심 방향으로, 중심점에 근접하는 위치일 수 있다. 또한, 외측은 투명 플렉서블 디스플레이 유닛(120)의 중심의 반대 방향으로 투명 플렉서블 유닛(120)의 가장자리에 근접하는 위치일 수 있다. 즉, 디스플레이 시스템(100)은 투명 플렉서블 유닛(120)의 중심을 가장 내측의 위치로 결정할 수 있다.Also, as described above with reference to FIGS. 4A to 4C , the first distance and the second distance may be inner and outer positions based on the center of the transparentflexible display unit 120 . More specifically, the inner side may be a position close to the central point in the central direction of the transparentflexible display unit 120 . Also, the outer side may be a position adjacent to the edge of the transparentflexible display unit 120 in a direction opposite to the center of the transparentflexible display unit 120 . That is, thedisplay system 100 may determine the center of the transparentflexible unit 120 as the innermost position.

다음으로, 디스플레이 시스템(100)은 제 1 각도와 제 2 각도를 비교할 수 있다.(S1050) 이때, 제 1 각도가 제 2 각도보다 큰 경우, 디스플레이 시스템(100)은 제 1 거리를 제 2 거리보다 크게 설정할 수 있다.(S1060) 반면, 제 1 각도가 제 2 각도보다 큰 경우, 디스플레이 시스템(100)은 제 1 거리를 제 2 거리보다 크게 설정할 수 있다.(S1070) 이때, 도 3에서 상술한 바와 같이 제 1 각도가 제 2 각도보다 큰 경우, 제 1 거리는 제 2 거리보다 클 수 있다. 보다 상세하게는, 상술한 바와 같이 제 1 위치는 제 2 위치보다 투명 플렉서블 디스플레이 유닛(120)의 중심점에서 멀리 위치할 수 있다. 이때, 투명 플렉서블 디스플레이 유닛(120)이 벤딩되는 각도는 투명 플렉서블 디스플레이 유닛(120)의 중심점으로부터 멀리 위치할수록 커질 수 있다. 또한, 증강 현실 오브젝트는 투명 플렉서블 디스플레이 유닛(120)이 벤딩되는 각도가 클수록 위치 차이가 커질 수 있다. 따라서, 제 1 각도가 제 2 각도보다 큰 경우, 제 1 거리는 제 2 거리보다 클 수 있다. 즉, 디스플레이 시스템은 유저 눈(210)과 리얼 오브젝트가 이루는 각도가 클수록 증강 현실 오브젝트의 위치 차이를 크게 할 수 있다. 또한, 제 1 각도가 제 2 각도보다 작은 경우, 제 1 거리는 제 2 거리보다 작을 수 있다.Next, thedisplay system 100 may compare the first angle with the second angle. At this time, when the first angle is greater than the second angle, thedisplay system 100 compares the first distance with the second distance. (S1060) On the other hand, when the first angle is greater than the second angle, thedisplay system 100 may set the first distance to be greater than the second distance (S1070). As described above, when the first angle is greater than the second angle, the first distance may be greater than the second distance. More specifically, as described above, the first position may be located farther from the center point of the transparentflexible display unit 120 than the second position. In this case, the angle at which the transparentflexible display unit 120 is bent may increase as it is positioned farther from the center point of the transparentflexible display unit 120 . Also, the position difference of the augmented reality object may increase as the angle at which the transparentflexible display unit 120 is bent increases. Accordingly, when the first angle is greater than the second angle, the first distance may be greater than the second distance. That is, as the angle between the user'seye 210 and the real object increases, the display system may increase the position difference of the augmented reality object. Also, when the first angle is smaller than the second angle, the first distance may be smaller than the second distance.

보다 상세하게는, 투명 플렉서블 디스플레이 유닛(120)이 벤딩되는 각도는 투명 플렉서블 디스플레이 유닛(120)의 중심으로부터 멀리 위치할수록 커질 수 있다. 또한, 증강 현실 오브젝트는 투명 플렉서블 디스플레이 유닛(120)이 벤딩 각도가 클수록 위치 차이가 커질 수 있다. 따라서, 제 1 각도가 제 2 각도보다 큰 경우, 제 1 거리는 제 2 거리보다 클 수 있다. 즉, 디스플레이 시스템은 유저 눈(210)과 리얼 오브젝트가 이루는 각도가 클수록 증강 현실 오브젝트의 위치 차이를 크게 할 수 있다.More specifically, the angle at which the transparentflexible display unit 120 is bent may increase as it is positioned farther from the center of the transparentflexible display unit 120 . Also, the position difference of the augmented reality object may increase as the bending angle of the transparentflexible display unit 120 increases. Accordingly, when the first angle is greater than the second angle, the first distance may be greater than the second distance. That is, as the angle between the user'seye 210 and the real object increases, the display system may increase the difference in the position of the augmented reality object.

나아가, 설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.Furthermore, although each drawing has been described separately for convenience of description, it is also possible to design to implement a new embodiment by merging the embodiments described in each drawing. And, according to the needs of those skilled in the art, designing a computer-readable recording medium in which a program for executing the previously described embodiments is recorded also falls within the scope of the present invention.

본 명세서에 따른 디스플레이 시스템(100) 및 그 제어 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.Thedisplay system 100 and the control method thereof according to the present specification are not limited to the configuration and method of the described embodiments as described above, but are all of the embodiments so that various modifications can be made. Alternatively, some may be selectively combined and configured.

한편, 본 명세서의 디스플레이 시스템(100) 및 제어 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, 자기 테이프, 플로피디스크, 광 데이터 저장 장치 등이 있으며, 또한, 인터넷을 통한 송신 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, thedisplay system 100 and the control method of the present specification can be implemented as processor-readable codes on a processor-readable recording medium provided in a network device. The processor-readable recording medium includes all types of recording devices in which data readable by the processor is stored. Examples of the processor-readable recording medium include a ROM, a RAM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and also includes those implemented in the form of a carrier wave such as transmission through the Internet. In addition, the processor-readable recording medium is distributed in a computer system connected through a network, so that the processor-readable code can be stored and executed in a distributed manner.

또한, 이상에서는 본 명세서의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 명세서의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In addition, although preferred embodiments of the present specification have been illustrated and described above, the present specification is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present specification as claimed in the claims Various modifications may be made by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present specification.

그리고 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.In this specification, both product inventions and method inventions are described, and the descriptions of both inventions may be supplementally applied if necessary.

100 : 디스플레이 시스템
110 : 카메라 유닛
120 : 투명 플렉서블 디스플레이 유닛
130 : 벤딩 센서 유닛
140 : 프로세서100: display system
110: camera unit
120: transparent flexible display unit
130: bending sensor unit
140: processor

Claims (20)

Translated fromKorean

디스플레이 시스템에 있어서,
화각 내에 위치하는 리얼 오브젝트를 디텍트하는 카메라 유닛;
상기 리얼 오브젝트에 기초하여 증강 현실 오브젝트를 디스플레이 하는 투명 플렉서블 디스플레이 유닛;
상기 투명 플렉서블 디스플레이 유닛의 벤딩을 디텍트하는 벤딩 센서 유닛;
상기 카메라 유닛, 상기 투명 플렉서블 디스플레이 유닛 및 상기 벤딩 센서 유닛을 제어하는 프로세서를 포함하는 디스플레이 시스템으로써,
상기 프로세서는,
상기 카메라 유닛과 제 1 각도를 갖는 제 1 리얼 오브젝트에 대응하는 제 1 증강 현실 오브젝트를 상기 투명 플렉서블 디스플레이 유닛의 제 1 위치에 디스플레이하고,
상기 카메라 유닛과 제 2 각도를 갖는 제 2 리얼 오브젝트에 대응하는 제 2 증강 현실 오브젝트를 상기 투명 플렉서블 디스플레이 유닛의 제 2 위치에 디스플레이하되,
상기 투명 플렉서블 디스플레이 유닛이 벤딩됨을 디텍트한 경우,
상기 제 1 증강 현실 오브젝트를 상기 제 1 위치와 제 1 거리만큼 떨어진 제 3 위치에 디스플레이하고,
싱기 제 2 증강 현실 오브젝트를 상기 제 2 위치와 제 2 거리만큼 떨어진 제 4 위치에 디스플레이하되,
상기 제 1 각도가 상기 제 2 각도보다 큰 경우, 상기 제 1 거리는 상기 제 2 거리보다 크게 설정되는, 디스플레이 시스템.In the display system,
a camera unit for detecting a real object located within an angle of view;
a transparent flexible display unit configured to display an augmented reality object based on the real object;
a bending sensor unit detecting bending of the transparent flexible display unit;
A display system comprising a processor for controlling the camera unit, the transparent flexible display unit, and the bending sensor unit,
The processor is
displaying a first augmented reality object corresponding to a first real object having a first angle with the camera unit at a first position of the transparent flexible display unit,
Displaying a second augmented reality object corresponding to a second real object having a second angle with the camera unit at a second position of the transparent flexible display unit,
When it is detected that the transparent flexible display unit is bent,
displaying the first augmented reality object at a third location separated from the first location by a first distance;
Displaying a second augmented reality object at a fourth location separated by a second distance from the second location,
When the first angle is greater than the second angle, the first distance is set to be greater than the second distance.제 1 항에 있어서,
상기 제 1위치는,
상기 제 1 리얼 오브젝트를 바라보는 유저의 시선과 상기 투명 플렉서블 디스플레이 유닛이 교차하는 지점에 기초하여 결정되고,
상기 제 2 위치는,
상기 제 2 리얼 오브젝트를 바라보는 상기 유저의 시선과 상기 투명 플렉서블 디스플레이 유닛이 교차하는 지점에 기초하여 결정되는, 디스플레이 시스템The method of claim 1,
The first position is
It is determined based on a point where the user's gaze looking at the first real object and the transparent flexible display unit intersect,
The second position is
The display system is determined based on a point at which the user's gaze looking at the second real object and the transparent flexible display unit intersect.제 1 항에 있어서,
프로세서는,
상기 투명 플렉서블 디스플레이 유닛의 벤딩 각도에 기초하여 상기 제 3 위치 및 상기 제 4 위치를 결정하는, 디스플레이 시스템.The method of claim 1,
The processor is
and determining the third position and the fourth position based on a bending angle of the transparent flexible display unit.제 3 항에 있어서,
상기 제 3 위치는,
상기 제 1 리얼 오브젝트를 바라보는 유저의 시선과 상기 벤딩된 투명 플렉서블 디스플레이 유닛이 교차하는 지점에 기초하여 결정되고,
상기 제 4 위치는,
상기 제 2 리얼 오브젝트를 바라보는 상기 유저의 시선과 상기 벤딩된 투명 플렉서블 디스플레이 유닛이 교차하는 지점에 기초하여 결정되는, 디스플레이 시스템.4. The method of claim 3,
The third position is
It is determined based on a point where the user's gaze looking at the first real object and the bent transparent flexible display unit intersect,
The fourth position is
The display system is determined based on a point at which the user's gaze looking at the second real object and the bent transparent flexible display unit intersect.제 3 항에 있어서,
상기 투명 플렉서블 디스플레이 유닛의 벤딩 각도가 증가하는 경우,
상기 프로세서는,
상기 벤딩 각도에 기초하여 상기 제 1 거리 및 상기 제 2 거리를 증가 시키는, 디스플레이 시스템.4. The method of claim 3,
When the bending angle of the transparent flexible display unit increases,
The processor is
and increasing the first distance and the second distance based on the bending angle.제 1 항에 있어서,
상기 디스플레이 시스템은 상기 카메라 유닛과 상기 리얼 오브젝트의 각도를 디텍트 하는 센서 유닛;을 더 포함하고,
상기 카메라 유닛은 상기 투명 플렉서블 디스플레이 유닛의 중심점을 지나는 수직축 상에 위치하고,
상기 제 1 각도 및 상기 제 2 각도는 상기 카메라 유닛의 중심점에 기초하여 결정되는, 디스플레이 시스템.The method of claim 1,
The display system further includes a sensor unit for detecting the angle between the camera unit and the real object,
The camera unit is located on a vertical axis passing through the center point of the transparent flexible display unit,
The first angle and the second angle are determined based on a center point of the camera unit.제 6 항에 있어서,
상기 제 1 각도 및 상기 제 2 각도는, 상기 투명 플렉서블 디스플레이 유닛의 중심점과 유저의 시선을 연결하는 라인에 더 기초하여 결정되는, 디스플레이 시스템.7. The method of claim 6,
The first angle and the second angle are further determined based on a line connecting a central point of the transparent flexible display unit and a user's gaze.제 1 항에 있어서,
상기 제 1 각도는 유저의 좌측 눈과 우측 눈 사이의 중심 지점과 상기 제 1 리얼 오브젝트의 위치에 더 기초하여 결정되고,
상기 제 2 각도는 상기 유저의 상기 좌측 눈과 상기 우측 눈의 중심 지점과 상기 제 2 리얼 오브젝트의 위치에 더 기초하여 결정되는, 디스플레이 시스템.The method of claim 1,
The first angle is further determined based on a center point between the left and right eyes of the user and the position of the first real object,
and the second angle is further determined based on a center point of the left eye and the right eye of the user and a position of the second real object.제 8항에 있어서,
상기 제 1 증강 현실 오브젝트가 3D 오브젝트인 경우,
상기 프로세서는,
상기 제 1 리얼 오브젝트와 상기 유저의 좌측 눈과의 거리 및 각도, 상기 제 1 리얼 오브젝트와 상기 유저의 우측 눈과의 거리 및 각도에 기초하여 상기 제 1 위치 및 상기 제 3 위치를 결정하는, 디스플레이 시스템.9. The method of claim 8,
When the first augmented reality object is a 3D object,
The processor is
a display that determines the first position and the third position based on the distance and angle between the first real object and the user's left eye and the distance and angle between the first real object and the user's right eye system.제 6 항에 있어서,
상기 센서 유닛은 상기 투명 플렉서블 디스플레이 유닛과 유저의 눈과의 거리 및 각도를 더 디텍트하고,
상기 프로세서는,
상기 투명 플렉서블 디스플레이 유닛과 상기 유저의 눈과의 거리 및 각도 중 적어도 하나에 기초하여 상기 제 3 위치 및 상기 제 4 위치를 결정하는, 디스플레이 시스템.7. The method of claim 6,
The sensor unit further detects the distance and angle between the transparent flexible display unit and the user's eyes,
The processor is
and determining the third position and the fourth position based on at least one of a distance and an angle between the transparent flexible display unit and the user's eye.제 10 항에 있어서,
상기 투명 플렉서블 디스플레이 유닛과 상기 유저의 눈과의 거리가 스레스홀드 거리 이상인 경우, 상기 제 3 위치는 상기 제 1 위치 외측에 위치하고,
상기 투명 플렉서블 디스플레이 유닛과 상기 유저의 눈과의 거리가 스레스홀드 거리 미만인 경우, 상기 제 3 위치는 상기 제 1 위치 내측에 위치하되,
상기 스레스홀드 거리는 상기 제 1 각도에 기초하여 결정되는, 디스플레이 시스템.11. The method of claim 10,
When the distance between the transparent flexible display unit and the user's eye is equal to or greater than a threshold distance, the third position is located outside the first position,
When the distance between the transparent flexible display unit and the user's eyes is less than a threshold distance, the third position is located inside the first position,
and the threshold distance is determined based on the first angle.제 11항에 있어서,
상기 프로세서는,
상기 투명 플렉서블 디스플레이 유닛의 중심점에 기초하여 상기 내측 및 상기 외측의 위치를 결정하되,
상기 내측은 상기 투명 플렉서블 디스플레이 유닛의 중심점 방향으로, 상기 중심점에 근접하는 위치이고, 상기 외측은 상기 투명 플렉서블 디스플레이 유닛의 중심점 반대 방향으로, 상기 투명 플렉서블 디스플레이 유닛의 가장 자리에 근접하는 위치인, 디스플레이 시스템.12. The method of claim 11,
The processor is
Determining the inner and outer positions based on the central point of the transparent flexible display unit,
The inner side is a position close to the central point in the direction of the center point of the transparent flexible display unit, and the outer side is a position adjacent to the edge of the transparent flexible display unit in a direction opposite to the center point of the transparent flexible display unit. Display, system.제 2항에 있어서,
상기 제 1 리얼 오브젝트를 바라보는 상기 유저의 시선과 상기 투명 플렉서블 디스플레이 유닛의 교차점이 존재하지 않는 경우,
상기 프로세서는,
상기 제 1 리얼 오브젝트에 대응하는 상기 제 1 증강 현실 오브젝트를 디스플레이 하지 않는, 디스플레이 시스템.3. The method of claim 2,
When there is no intersection point between the user's gaze looking at the first real object and the transparent flexible display unit,
The processor is
not displaying the first augmented reality object corresponding to the first real object.제 13항에 있어서,
상기 프로세서는,
상기 투명 플렉서블 디스플레이 유닛이 벤딩됨을 디텍트 하는 경우,
상기 제 1 리얼 오브젝트를 바라보는 상기 유저의 시선과 상기 투명 플렉서블 디스플레이 유닛의 상기 교차점이 존재하면, 상기 교차점에 상기 제 1 리얼 오브젝트에 대응하는 상기 제 1 증강 현실 오브젝트를 디스플레이 하는, 디스플레이 시스템.14. The method of claim 13,
The processor is
When it is detected that the transparent flexible display unit is bent,
When the intersection of the user's gaze looking at the first real object and the transparent flexible display unit exists, the display system displays the first augmented reality object corresponding to the first real object at the intersection.제 1항에 있어서,
유저의 눈과 상기 투명 플렉서블 디스플레이 유닛의 거리가 스레스홀드 거리 이내이면, 상기 유저의 시야각은 상기 화각보다 넓되,
상기 프로세서는,
상기 제 1 리얼 오브젝트가 상기 화각 외에 및 상기 유저의 시야각 내에 위치하는 경우, 상기 제 1 리얼 오브젝트에 대응하는 상기 제 1 증강 현실 오브젝트를 디스플레이 하지 않는, 디스플레이 시스템.The method of claim 1,
If the distance between the user's eyes and the transparent flexible display unit is within a threshold distance, the user's viewing angle is wider than the viewing angle,
The processor is
and not displaying the first augmented reality object corresponding to the first real object when the first real object is located outside the viewing angle and within the user's viewing angle.제 15항에 있어서,
상기 프로세서는,
상기 화각에 기초하여 상기 투명 플렉서블 디스플레이 유닛에 인디케이터를 더 디스플레이 하되,
상기 인디케이터는 상기 투명 플렉서블 디스플레이 유닛에 상기 증강 현실 오브젝트를 디스플레이 하는 한계 영역을 표시하는, 디스플레이 시스템.16. The method of claim 15,
The processor is
Further displaying an indicator on the transparent flexible display unit based on the angle of view,
The indicator displays a limit area for displaying the augmented reality object on the transparent flexible display unit.제 16항에 있어서,
상기 인디케이터는 상기 투명 플렉서블 디스플레이 유닛이 벤딩되는 각도에 기초하여 디스플레이 되는, 디스플레이 시스템.17. The method of claim 16,
The indicator is displayed based on an angle at which the transparent flexible display unit is bent.제 1 항에 있어서,
상기 디스플레이 시스템은, 상기 카메라 유닛 및 상기 벤딩 센서 유닛을 포함하는 헤드 마운티드 디스플레이(Head Mounted Display, HMD); 및
상기 투명 플렉서블 디스플레이 유닛을 포함하는 디스플레이 유닛;으로 구성된, 디스플레이 시스템.The method of claim 1,
The display system may include a head mounted display (HMD) including the camera unit and the bending sensor unit; and
A display unit comprising the transparent flexible display unit; configured, a display system.제 18항에 있어서,
상기 제 1 각도는 상기 HMD의 상기 카메라 유닛과 상기 제 1 리얼 오브젝트가 이루는 각도이고,
상기 제2 각도는 상기 HMD의 상기 카메라 유닛과 상기 제 2 리얼 오브젝트가 이루는 각도인, 디스플레이 시스템.19. The method of claim 18,
The first angle is an angle between the camera unit of the HMD and the first real object,
The second angle is an angle between the camera unit of the HMD and the second real object.디스플레이 시스템의 제어 방법에 있어서,
리얼 오브젝트를 디텍트하는 단계;로서,
유저 눈과 제 1 각도를 갖는 제 1 리얼 오브젝트를 디텍트하고, 상기 유저 눈과 제 2 각도를 갖는 제 2 리얼 오브젝트를 디텍트하고,
상기 리얼 오브젝트에 대응하는 증강 현실 오브젝트를 투명 플렉서블 디스플레이 유닛에 디스플레이하는 단계;로서,
상기 제 1 리얼 오브젝트에 대응하는 제 1 증강 현실 오브젝트를 상기 투명 플렉서블 디스플레이 유닛의 제 1 위치에 디스플레이하고, 상기 제 2 리얼 오브젝트에 대응하는 제 2 증강 현실 오브젝트를 상기 투명 플렉서블 디스플레이 유닛의 제 2 위치에 디스플레이하고,
상기 투명 플렉서블 디스플레이 유닛이 벤딩됨을 디텍트하는 단계;
상기 벤딩된 투명 플렉서블 디스플레이 유닛에 상기 증강 현실 오브젝트를 디스플레이하는 단계;로서,
상기 벤딩에 기초하여 상기 제 1 증강 현실 오브젝트를 상기 제 1 위치와 제 1 거리만큼 떨어진 제 3 위치에 디스플레이하고, 상기 벤딩에 기초하여 상기 제 2 증강 현실 오브젝트를 상기 제 2 위치와 제 2 거리만큼 떨어진 제 4 위치에 디스플레이하되,
상기 제 1 각도가 상기 제 2 각도보다 큰 경우, 상기 제 1 거리는 상기 제 2 거리보다 크게 설정되는, 디스플레이 시스템의 제어 방법.A method for controlling a display system, comprising:
detecting a real object; as,
detecting a first real object having a first angle with the user's eye, detecting a second real object having a second angle with the user's eye,
Displaying the augmented reality object corresponding to the real object on a transparent flexible display unit; as,
A first augmented reality object corresponding to the first real object is displayed at a first position of the transparent flexible display unit, and a second augmented reality object corresponding to the second real object is displayed at a second position of the transparent flexible display unit. displayed on the
detecting that the transparent flexible display unit is bent;
displaying the augmented reality object on the bent transparent flexible display unit; as,
Displaying the first augmented reality object at a third position separated from the first position by a first distance based on the bending, and displaying the second augmented reality object based on the bending by the second position and a second distance Displayed in a distant fourth position,
When the first angle is greater than the second angle, the first distance is set to be greater than the second distance.

Images