KR20160044400A - Display apparatus and controlling method thereof - Google Patents

Abstract

Translated fromKorean

디스플레이 장치가 개시된다. 본 디스플레이 장치는, 제1 터치 스크린, 제1 터치 스크린과 겹쳐지거나 펼쳐질 수 있으며, 제1 터치 스크린과 겹쳐지면 제1 터치 스크린상의 화면을 투영하는 제2 터치 스크린, 제1 터치 스크린과 제2 터치 스크린의 배치 형태를 감지하는 감지부, 및, 감지된 두 터치 스크린의 배치 형태에 따라 사용자 터치에 대응되는 UI 요소를 제1 터치 스크린 및 제2 터치 스크린 중 적어도 하나에 표시하는 제어부를 포함한다.A display device is disclosed. The display device includes a first touch screen, a first touch screen, and a second touch screen. The second touch screen may overlap or unfold with the first touch screen. When the second touch screen is overlapped with the first touch screen, And a controller for displaying a UI element corresponding to a user's touch on at least one of the first touch screen and the second touch screen according to the layout of the two sensed touch screens.

Description

Translated fromKorean

디스플레이 장치 및 그 제어방법{DISPLAY APPARATUS AND CONTROLLING METHOD THEREOF}[0001] DISPLAY APPARATUS AND CONTROLLING METHOD THEREOF [0002]

본 발명은 디스플레이 장치 및 디스플레이 방법에 관한 것으로, 보다 상세하게는 일반 디스플레이와 투명 디스플레이를 함께 이용하여 다양한 UI 요소를 표시할 수 있는 디스플레이 장치 및 디스플레이 방법에 대한 것이다.The present invention relates to a display device and a display method, and more particularly, to a display device and a display method capable of displaying various UI elements using a common display and a transparent display together.

전자 기술의 발달에 힘입어 다양한 분야에서, 다양한 유형의 디스플레이 장치가 사용되고 있다. 특히, 최근에는 투명 디스플레이 장치와 같은 차세대 디스플레이 장치에 대한 연구 논의가 가속화되고 있다.Due to the development of electronic technology, various types of display devices have been used in various fields. Particularly, in recent years, research discussions on next generation display devices such as a transparent display device have been accelerated.

투명 디스플레이 장치란 투명한 성질을 가져서 디스플레이 장치 뒤쪽 배경이 그대로 비치는 디스플레이 장치를 의미한다. 종래에는 실리콘(Si), 갈륨비소(GaAs) 등과 같은 불투명 반도체 화합물을 이용하여 디스플레이 패널을 제작하였으나, 기존의 디스플레이 패널로는 감당할 수 없는 다양한 응용분야가 개척되면서, 새로운 형태의 전자 소자에 대해 개발 노력이 이루어졌었다. 이러한 노력 하에 개발된 것 중 하나가 투명 디스플레이 장치이다.A transparent display device refers to a display device having a transparent property and displaying the background behind the display device intact. Conventionally, a display panel is manufactured using an opaque semiconductor compound such as silicon (Si), gallium arsenide (GaAs), or the like. However, various application fields that can not be covered by conventional display panels have been developed, Efforts have been made. One of the developments under this effort is a transparent display device.

투명 디스플레이 장치는 투명한 산화물 반도체 막을 포함하는 형태로 구현되어, 투명한 성질을 가지게 된다. 투명 디스플레이 장치를 사용할 경우 사용자는 장치 뒤쪽에 위치한 후면 배경을 보면서, 필요한 정보를 투명 디스플레이 장치 화면을 통해 볼 수 있게 된다. 따라서, 기존 디스플레이 장치들이 가지고 있는 공간적, 시간적 제약을 해소할 수 있게 되므로, 다양한 용도로 다양한 환경에서 편리하게 사용될 수 있다.The transparent display device is implemented in a form including a transparent oxide semiconductor film, and has a transparent property. When a transparent display device is used, the user can view necessary information on the transparent display device screen while looking at the background behind the device. Therefore, it is possible to solve the spatial and temporal constraints of existing display devices, and thus it can be conveniently used in various environments for various purposes.

그러나 기존의 사용자는 기존과 같은 디스플레이 장치에 익숙하다는 점에서, 투명 디스플레이와 일반 디스플레이를 함께 갖는 장치가 요구되고 있으며, 이러한 장치에서의 다양한 인터렉션 방법이 요구되었다.However, since existing users are familiar with conventional display devices, a device having both a transparent display and a general display is required, and a variety of interaction methods in such devices are required.

본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 일반 디스플레이와 투명 디스플레이를 함께 이용하여 다양한 UI 요소를 표시할 수 있는 디스플레이 장치 및 디스플레이 방법을 제공하는 데 있다.It is an object of the present invention to provide a display device and a display method capable of displaying various UI elements by using a common display and a transparent display together.

상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 제1 터치 스크린, 상기 제1 터치 스크린과 겹쳐지거나 펼쳐질 수 있으며, 상기 제1 터치 스크린과 겹쳐지면 상기 제1 터치 스크린상의 화면을 투영하는 제2 터치 스크린, 상기 제1 터치 스크린과 상기 제2 터치 스크린의 배치 형태를 감지하는 감지부, 및, 상기 감지된 두 터치 스크린의 배치 형태에 따라 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 및 상기 제2 터치 스크린 중 적어도 하나에 표시하는 제어부를 포함한다.According to another aspect of the present invention, there is provided a display device including a first touch screen, a first touch screen, and a second touch screen, wherein the first touch screen and the first touch screen are overlapped or unfolded, A second touch screen for projecting a screen, a sensing unit for sensing an arrangement pattern of the first touch screen and the second touch screen, and a UI element corresponding to a user touch according to the layout of the two sensed touch screens And a controller for displaying at least one of the first touch screen and the second touch screen.

이 경우, 상기 제어부는, 상기 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐진 상태에서, 상기 제2 터치 스크린으로부터 입력받은 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 상에 표시할 수 있다.In this case, the controller may display a UI element corresponding to the user touch input from the second touch screen on the first touch screen in a state where the second touch screen overlaps with the first touch screen .

한편, 상기 제어부는, 상기 제2 터치 스크린에 대한 사용자 터치가 감지된 상태에서, 상기 제2 터치 스크린이 펼쳐지면, 신규 UI 요소를 상기 제2 터치 스크린상에 표시할 수 있다.Meanwhile, the controller may display a new UI element on the second touch screen when the second touch screen is unfolded while a user touch on the second touch screen is detected.

이 경우, 상기 제2 터치 스크린상에 표시되는 신규 UI 요소는, 상기 제2 터치 스크린에 대한 사용자 터치 영역에 투영된 제1 터치 스크린에 표시된 UI 요소에 대응될 수 있다.In this case, the new UI element displayed on the second touch screen may correspond to the UI element displayed on the first touch screen projected on the user touch area of the second touch screen.

이 경우, 상기 제1 터치 스크린에 표시된 UI 요소는 구동중인 애플리케이션의 메뉴, 썸네일, 연락처 리스트 중 적어도 하나이며, 상기 제2 터치 스크린상에 표시되는 UI 요소는, 하위 메뉴, 이미지, 상세 리스트 정보 중 적어도 하나일 수 있다.In this case, the UI element displayed on the first touch screen is at least one of a menu, a thumbnail, and a contact list of a running application, and the UI element displayed on the second touch screen includes at least one of a submenu, At least one.

한편, 상기 제2 터치 스크린상에 표시되는 신규 UI 요소는, 상기 제1 터치 스크린에 표시된 알림 통지에 대응되는 알림 정보일 수 있다.Meanwhile, the new UI element displayed on the second touch screen may be notification information corresponding to the notification notification displayed on the first touch screen.

한편, 상기 제어부는, 상기 제2 터치 스크린에 대한 사용자 터치가 감지되지 않은 상태에서, 상기 제2 터치 스크린이 펼쳐지면, 상기 제1 터치 스크린상에 표시되는 UI 요소를 확장하여 상기 제1 터치 스크린 및 상기 제2 터치 스크린에 표시할 수 있다.If the second touch screen is unfolded while the user touch is not detected on the second touch screen, the control unit enlarges the UI element displayed on the first touch screen, And the second touch screen.

한편, 상기 제2 터치 스크린은 상기 제1 터치 스크린 상부를 슬라이딩 이동할 수 있다.Meanwhile, the second touch screen may slide on the first touch screen.

이 경우, 상기 제2 터치 스크린은 상기 제1 터치 스크린과 겹쳐진 상태에서, 복수의 방향으로 슬라이딩 가능하며, 상기 제어부는, 상기 슬라이딩 방향에 따라 다른 UI 요소를 상기 제2 터치 스크린에 표시할 수 있다.In this case, the second touch screen may be slidable in a plurality of directions in a state overlapped with the first touch screen, and the controller may display a different UI element according to the sliding direction on the second touch screen .

한편, 상기 제어부는, 상기 터치 스크린이 기설정된 시간 내에 배치 형태가 연속적으로 변경되면, 상기 제1 터치 스크린상에 표시된 UI 요소에 대응되는 이벤트를 수행할 수 있다.Meanwhile, the controller may perform an event corresponding to the UI element displayed on the first touch screen when the touch screen is continuously changed in the arrangement form within a predetermined time.

이 경우, 상기 이벤트는 상기 제1 터치 스크린상에 표시된 웹페이지의 북마크 또는 캡처일 수 있다.In this case, the event may be a bookmark or a capture of a web page displayed on the first touch screen.

한편, 상기 제어부는, 상기 제1 터치 스크린과 상기 제2 터치 스크린의 중첩 정도에 따라 신규 UI 요소의 표시 크기를 가변하여 표시할 수 있다.Meanwhile, the controller may vary the display size of the new UI element according to the degree of overlap between the first touch screen and the second touch screen.

한편, 상기 제어부는, 상기 제2 터치 스크린의 사용자 터치와 함께 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐지면, 상기 제2 터치 스크린상에 표시하던 UI 요소를 상기 제1 터치 스크린에 표시하고, 상기 제2 터치 스크린의 사용자 터치 없이 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐지면, 상기 제1 터치 스크린상에 표시하던 UI 요소를 상기 제1 터치 스크린에 표시할 수 있다.Meanwhile, when the second touch screen is overlapped with the first touch screen together with the user touch of the second touch screen, the controller displays the UI element displayed on the second touch screen on the first touch screen If the second touch screen is overlapped with the first touch screen without the user touching the second touch screen, the UI element displayed on the first touch screen can be displayed on the first touch screen.

한편, 상기 제어부는, 상기 제2 터치 스크린의 사용자 터치 없이 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐지면, 상기 제1 터치 스크린에서 표시중이 UI 요소를 유지한 상태에서, 상기 제2 터치 스크린에서 표시되는 UI 요소를 상기 제1 터치 스크린에서 표시중인 UI 요소에 대응되는 신규 UI 요소로 가변하여 표시할 수 있다.If the second touch screen is overlapped with the first touch screen without the user touching the second touch screen, the controller may hold the UI element while the first touch screen displays the UI element, UI elements displayed on the screen can be changed to new UI elements corresponding to the UI elements being displayed on the first touch screen.

한편, 본 발명의 일 실시 예에 따른 제1 터치 스크린 및 투명의 제2 터치 스크린을 갖는 디스플레이 장치의 제어방법은, 상기 제1 터치 스크린상에 화면을 표시하는 단계, 상기 제1 터치 스크린과 상기 제2 터치 스크린의 배치 형태를 감지하는 단계, 상기 감지된 두 터치 스크린의 배치 형태에 따라 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 및 상기 제2 터치 스크린 중 적어도 하나에 표시하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of controlling a display device having a first touch screen and a second touch screen, the method comprising: displaying a screen on the first touch screen; Displaying a UI element corresponding to a user's touch on at least one of the first touch screen and the second touch screen according to the layout of the two touch screens detected; .

이 경우, 상기 UI 요소를 표시하는 단계는, 상기 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐진 상태이면, 상기 제2 터치 스크린으로부터 입력받은 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 상에 표시할 수 있다.In this case, when the second touch screen is overlapped with the first touch screen, the UI element may be displayed on the first touch screen on the UI element corresponding to the user touch input from the second touch screen, Can be displayed.

한편, 상기 UI 요소를 표시하는 단계는, 상기 제2 터치 스크린에 대한 사용자 터치가 감지된 상태에서, 상기 제2 터치 스크린이 펼쳐지면, 신규 UI 요소를 상기 제2 터치 스크린 상에 표시할 수 있다.Meanwhile, in the displaying of the UI element, when the user touches the second touch screen, when the second touch screen is unfolded, a new UI element can be displayed on the second touch screen .

이 경우, 상기 제2 터치 스크린상에 표시되는 신규 UI 요소는, 상기 제2 터치 스크린에 대한 사용자 터치 영역에 투영된 제1 터치 스크린에 표시된 UI 요소에 대응될 수 있다.In this case, the new UI element displayed on the second touch screen may correspond to the UI element displayed on the first touch screen projected on the user touch area of the second touch screen.

한편, 상기 UI 요소를 표시하는 단계는, 상기 제2 터치 스크린에 대한 사용자 터치가 감지되지 않은 상태에서, 상기 제2 터치 스크린이 펼쳐지면, 상기 제1 터치 스크린상에 표시되는 UI 요소를 확장하여 상기 제1 터치 스크린 및 상기 제2 터치 스크린에 표시할 수 있다.The displaying of the UI element may include expanding the UI element displayed on the first touch screen when the second touch screen is unfolded while the user touch on the second touch screen is not detected The first touch screen and the second touch screen.

한편, 본 발명의 일 실시 예에 따른 제1 터치 스크린 및 투명의 제2 터치 스크린을 갖는 디스플레이 장치의 제어 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 디스플레이 장치의 제어 방법은, 상기 제1 터치 스크린상에 화면을 표시하는 단계, 상기 제1 터치 스크린과 상기 제2 터치 스크린의 배치 형태를 감지하는 단계, 및, 상기 감지된 두 터치 스크린의 배치 형태에 따라 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 및 상기 제2 터치 스크린 중 적어도 하나에 표시하는 단계를 포함한다.Meanwhile, a computer readable recording medium including a program for executing a method of controlling a display device having a first touch screen and a transparent second touch screen according to an embodiment of the present invention, The method comprising the steps of: displaying a screen on the first touch screen; sensing a layout of the first touch screen and the second touch screen; And displaying the corresponding UI element on at least one of the first touch screen and the second touch screen.

도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 간략히 나타내는 블럭도,
도 2 내지 도 6은 본 실시 예에 따른 디스플레이 장치의 구체적인 형상을 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 상세히 나타내는 블록도,
도 7은 디스플레이 장치의 소프트웨어 구성의 일 예를 나타내는 도면,
도 8은 제1 터치 스크린과 제2 터치 스크린의 배치 형태에 따른 다양한 인터렉션의 예를 설명하기 위한 도면,
도 9 내지 도 13은 제1 터치 스크린과 제2 터치 스크린이 겹쳐진 상태에서의 제1 인터렉션의 다양한 실시 예를 설명하기 위한 도면,
도 14는 음악 재생 제어와 관련된 인터렉션을 설명하기 위한 도면,
도 15는 제2 터치 스크린을 핫키로 이용하는 실시 예를 설명하기 위한 도면,
도 16 내지 도 23은 제1 터치 스크린과 제2 터치 스크린이 겹쳐진 상태에서 제2 인터렉션의 다양한 실시 예를 설명하기 위한 도면들,
도 16 내지 도 23은 제1 터치 스크린과 제2 터치 스크린이 겹쳐진 상태에서 제2 인터렉션의 다양한 실시 예를 설명하기 위한 도면들,
도 24 내지 도 25는 제1 터치 스크린과 제2 터치 스크린이 겹쳐진 상태에서 제3 인터렉션의 다양한 실시 예를 설명하기 위한 도면들,
도 26은 두 터치 스크린의 오버레이 정도에 따른 인터렉션 동작을 설명하기 위한 도면,
도 27 내지 도 31은 제1 터치 스크린과 제2 터치 스크린이 겹쳐진 상태에서 제2 터치 스크린의 이동 방향에 따라 다른 인터렉션을 수행하는 실시 예를 설명하기 위한 도면들,
도 32 내지 도 35는 UI 확장 기능을 설명하기 위한 도면,
도 36 내지 도 38은 제2 터치 스크린의 다양한 슬라이딩 방식을 설명하기 위한 도면들,
도 39는 제1 터치 스크린과 제2 터치 스크린이 펼쳐진 상태에서 인터렉션 방식의 예를 설명하기 위한 도면,
도 40 내지 도 42는 제1 터치 스크린과 제2 터치 스크린이 펼쳐진 상태에서 인터렉션 방식의 예를 설명하기 위한 도면들,
도 43은 제2 터치 스크린을 매뉴얼 제공 기능으로 이용하는 실시 예를 설명하기 위한 도면,
도 44 및 도 45는 두 터치 스크린의 오버레이 정도에 따른 인터렉션 동작을 설명하기 위한 도면,
도 46은 제2 터치 스크린을 편집 레이아웃 층으로 이용하는 실시 예를 설명하기 위한 도면,
도 47 및 도 48은 북마킹 인터렉션을 설명하기 위한 도면, 그리고,
도 49는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.1 is a block diagram briefly showing a configuration of a display device according to an embodiment of the present invention,
2 to 6 are views showing specific shapes of the display device according to the present embodiment,
6 is a block diagram illustrating the configuration of a display device according to an exemplary embodiment of the present invention.
7 is a diagram showing an example of a software configuration of a display device,
8 is a view for explaining an example of various interactions according to the layout of the first touch screen and the second touch screen,
FIGS. 9 to 13 illustrate various embodiments of the first interaction in a state where the first touch screen and the second touch screen are overlapped;
14 is a diagram for describing an interaction associated with music reproduction control,
15 is a view for explaining an embodiment using a second touch screen as a hot key,
16 to 23 are views for explaining various embodiments of the second interaction in a state where the first touch screen and the second touch screen are overlapped,
16 to 23 are views for explaining various embodiments of the second interaction in a state where the first touch screen and the second touch screen are overlapped,
FIGS. 24 to 25 are views for explaining various embodiments of the third interaction in a state where the first touch screen and the second touch screen are overlapped,
26 is a view for explaining an interaction operation according to the degree of an overlay of two touch screens;
FIGS. 27 to 31 are views for explaining an embodiment in which different interactions are performed according to the moving direction of the second touch screen in a state where the first touch screen and the second touch screen are overlapped,
32 to 35 are diagrams for explaining the UI extension function,
36 to 38 are views for explaining various sliding methods of the second touch screen,
39 is a view for explaining an example of an interaction method in a state where the first touch screen and the second touch screen are opened,
40 to 42 are views for explaining an example of an interaction method in a state in which the first touch screen and the second touch screen are opened,
43 is a view for explaining an embodiment using the second touch screen as a manual providing function,
Figs. 44 and 45 are diagrams for explaining the interaction operation according to the degree of overlay of two touch screens; Fig.
46 is a view for explaining an embodiment in which a second touch screen is used as an edit layout layer,
47 and 48 are diagrams for explaining the book marking interaction,
49 is a flowchart illustrating a method of controlling a display device according to an embodiment of the present invention.

본 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.These embodiments are capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the description. It is to be understood, however, that it is not intended to limit the scope of the specific embodiments but includes all transformations, equivalents, and alternatives falling within the spirit and scope of the disclosure disclosed. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In the following description of the embodiments of the present invention,

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terms first, second, etc. may be used to describe various elements, but the elements should not be limited by terms. Terms are used only for the purpose of distinguishing one component from another.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다." 또는 "구성되다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to limit the scope of the claims. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the term "includes" Or "configured." , Etc. are intended to designate the presence of stated features, integers, steps, operations, components, parts, or combinations thereof, may be combined with one or more other features, steps, operations, components, It should be understood that they do not preclude the presence or addition of combinations thereof.

실시예에 있어서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.In the embodiment, 'module' or 'sub' performs at least one function or operation, and may be implemented in hardware or software, or a combination of hardware and software. In addition, a plurality of 'modules' or a plurality of 'parts' may be integrated into at least one module except for 'module' or 'module' which need to be implemented by specific hardware, and implemented by at least one processor (not shown) .

이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 다양한 실시 예를 설명하기 위한 디스플레이 장치의 기본 구성의 일 예를 나타내는 블록도이다. 도 1의 디스플레이 장치(100)는 구체적으로는, TV, PC, 랩탑 PC, 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 키오스크, 전자 액자, 테이블 디스플레이 장치 등과 같이 다양한 유형의 장치로 구현될 수 있다. 휴대폰이나 태블릿 PC, PDA, MP3 플레이어, 랩탑 PC 등과 같이 휴대 가능한 유형의 장치로 구현되는 경우에는 모바일 디바이스로 명명할 수도 있으나, 본 명세서에서는 디스플레이 장치로 통칭하여 설명한다.1 is a block diagram showing an example of a basic configuration of a display device for explaining various embodiments of the present invention. Thedisplay device 100 of FIG. 1 may be implemented in various types of devices such as a TV, a PC, a laptop PC, a mobile phone, a tablet PC, a PDA, an MP3 player, a kiosk, an electronic photo frame, a table display device, In the case of being implemented as a mobile type device such as a mobile phone, a tablet PC, a PDA, an MP3 player, a laptop PC, or the like, the mobile device may be referred to as a display device.

도 1을 참조하면, 본 실시 예에 따른 디스플레이 장치(100)는 제1 터치 스크린(110), 제2 터치 스크린(120), 감지부(130) 및 제어부(140)로 구성된다.Referring to FIG. 1, adisplay device 100 according to an exemplary embodiment of the present invention includes afirst touch screen 110, asecond touch screen 120, asensing unit 130, and acontrol unit 140.

제1 터치 스크린(110)은 영상을 표시할 수 있으며, 터치 스크린 상의 사용자의 터치를 감지할 수 있다. 이러한 제1 터치 스크린(110)은 영상의 표시 및 사용자 조작을 감지할 수 있는 터치 스크린으로 구현될 수 있으며, 영상을 표시하는 디스플레이 장치와 상기 디스플레이 장치 상에 사용자 조작을 감지할 수 있는 터치 패널의 조합으로도 구현될 수도 있다. 한편, 이상에서는 사용자의 터치를 감지하는 것으로 표현하였지만, 구현시에 터치 스크린은 사용자의 터치뿐만 아니라, 접촉 물체(예를 들어, 스타일러스 펜 등)의 접촉을 감지할 수 있다. 예를 들어, 터치 스크린은 R 타입 터치 스크린(resistive touch screen) 또는 C 타입 터치 스크린(capacitive touch screen)일 수 있다.Thefirst touch screen 110 can display an image and can sense a user's touch on the touch screen. Thefirst touch screen 110 may be a touch screen capable of sensing a display of a video image and a user's operation. Thefirst touch screen 110 may include a display device for displaying an image and a touch panel May also be implemented in combination. In the above description, the user's touch is detected. However, at the time of implementation, the touch screen can detect not only the touch of the user but also the contact of a contact object (e.g., a stylus pen). For example, the touch screen may be an R type resistive touch screen or a C type capacitive touch screen.

제2 터치 스크린(120)은 영상을 표시할 수 있으며, 터치 스크린 상의 사용자의 터치를 감지할 수 있다. 그리고 제2 터치 스크린(120)은 후방에 위치한 사물이 투명하게 비치는 상태에서 UI 요소를 표시할 수 있다. 그리고 제2 터치 스크린(120)은 제1 터치 스크린(110)과 겹쳐지거나 펼쳐질 수 있다. 따라서, 제2 터치 스크린(120)은 제1 터치 스크린(110)과 겹쳐지는 경우에는 제1 터치 스크린(110) 상에 표시된 UI 요소를 투명하게 비치는 상태에서 또 다른 UI 요소를 표시할 수 있다.Thesecond touch screen 120 can display an image and can sense a user's touch on the touch screen. In addition, thesecond touch screen 120 can display the UI element in a state where a rear-facing object is transparent. And thesecond touch screen 120 may be overlapped or unfolded with thefirst touch screen 110. Accordingly, when thesecond touch screen 120 overlaps with thefirst touch screen 110, another UI element can be displayed while the UI element displayed on thefirst touch screen 110 is transparent.

그리고 제2 터치 스크린(120)은 제1 터치 스크린(110)과 펼쳐진 경우에는 디스플레이 장치(100)의 후방에 위치한 사물이 투명하게 비치는 상태에서 UI 요소를 표시할 수 있다. 여기서 UI 요소란 이미지, 텍스트, 애플리케이션 실행 화면, 웹 브라우저 화면 등이 될 수 있다.Thesecond touch screen 120 may display the UI elements in a state in which the objects located behind thedisplay device 100 are transparent when thefirst touch screen 110 and thefirst touch screen 110 are opened. Here, the UI element may be an image, a text, an application execution screen, a web browser screen, or the like.

이러한 제2 터치 스크린(120)은 영상의 표시 및 사용자 조작을 감지할 수 있는 투명의 터치 스크린으로 구현될 수 있으며, 영상을 표시하는 투명 디스플레이와 투명 디스플레이 상에서 사용자 조작을 감지할 수 있는 투명의 터치 패널의 조합으로 구현될 수도 있다.Thesecond touch screen 120 may be implemented as a transparent touch screen capable of sensing the display of a video image and a user's operation. Thesecond touch screen 120 may include a transparent display device for displaying images, and a transparent touch device Or a combination of panels.

감지부(130)는 제1 터치 스크린(110)과 제2 터치 스크린(120)의 배치 형태를 감지한다. 구체적으로, 감지부(130)는 제1 터치 스크린(110)과 제2 터치 스크린(120)이 겹쳐진 상태인지, 펼쳐진 상태인지를 감지할 수 있다.Thesensing unit 130 senses the arrangement of thefirst touch screen 110 and thesecond touch screen 120. Specifically, thesensing unit 130 may sense whether thefirst touch screen 110 and thesecond touch screen 120 are overlapped or unfolded.

또한, 감지부(130)는 겹쳐진 상태가 아닌 경우에는 어느 정도 펼쳐친 상태인지를 감지할 수 있으며, 두 터치 스크린이 슬라이딩 방식으로 이동되는 되는 경우, 두 터치 스크린의 겹쳐진 정도를 감지할 수 있다. 이러한 감지부(130)는 다양한 소자로 구성될 수 있는데, 제1 터치 스크린과 제2 터치 스크린 각각에 배치된 홀 센서와 전자석(또는 자석)을 이용하여 두 터치 스크린의 접촉 여부를 판단할 수 있다. 예를 들어, 제2 터치 스크린(120)이 슬라이딩 방식으로 제1 터치 스크린(110) 상부에서 이동 가능하면, 슬라이딩 방향으로 일정 간격으로 배치되는 복수의 홀 센서를 이용하여 제2 터치 스크린이 제1 터치 스크린과 어느 정도 겹쳐졌는지를 감지할 수도 있다.In addition, thesensing unit 130 can detect a degree of unfolding when it is not in the overlapped state, and can detect the overlapping degree of the two touch screens when the two touch screens are moved in a sliding manner. Thesensing unit 130 may be composed of various devices. Thesensing unit 130 may determine whether or not the two touch screens are in contact with each other using a hall sensor and an electromagnet (or magnet) disposed on the first touch screen and the second touch screen, respectively . For example, if thesecond touch screen 120 is movable on thefirst touch screen 110 in a sliding manner, a plurality of hall sensors arranged at predetermined intervals in the sliding direction may be used, You can also detect how overlapped you are with the touch screen.

또한, 제2 터치 스크린(120)과 제1 터치 스크린(110)이 힌지를 통하여 겹쳐지거나 펼쳐지는 경우에, 감지부(130)는 힌지의 각도를 감지할 수 있는 센서를 이용하여 두 터치 스크린 간의 각도를 감지할 수도 있다.In addition, when thesecond touch screen 120 and thefirst touch screen 110 are overlapped or unfolded through the hinge, thesensing unit 130 senses the angle of the hinge between the two touch screens, It is also possible to detect the angle.

제어부(140)는 디스플레이 장치(100) 내의 각 구성을 제어한다. 구체적으로, 제어부(140)는 제1 터치 스크린(110) 및 제2 터치 스크린(120) 상의 사용자 터치에 대응한 UI 요소를 제1 터치 스크린(110) 및 제2 터치 스크린(120) 중 적어도 하나에 표시할 수 있다. 이때, 제어부(140)는 두 터치 스크린의 배치 형태에 따라 UI 요소가 표시될 터치 스크린을 결정하고, 결정된 터치 스크린에서 해당 UI 요소가 표시되도록 할 수 있다.Thecontrol unit 140 controls each configuration in thedisplay device 100. Thecontroller 140 controls the UI elements corresponding to the user's touches on thefirst touch screen 110 and thesecond touch screen 120 such that at least one of thefirst touch screen 110 and thesecond touch screen 120 Can be displayed. At this time, thecontroller 140 may determine the UI screen to display the UI elements according to the layout of the two touch screens, and display the corresponding UI elements on the determined touch screen.

예를 들어, 제1 터치 스크린(110)과 제2 터치 스크린(120)이 겹쳐져 있는 상태이면, 제어부(140)는 제2 터치 스크린(120)을 통하여 감지된 터치 제스처에 대응하여 제1 터치 스크린(110)상에 표시되는 UI 요소를 가변할 수 있다.For example, if thefirst touch screen 110 and thesecond touch screen 120 are overlapped, thecontroller 140 controls thefirst touch screen 120 in response to the touch gesture sensed through thesecond touch screen 120, The UI element displayed on thedisplay unit 110 can be varied.

그리고 제1 터치 스크린(100)과 제2 터치 스크린(120)이 펼쳐진 상태이면, 제1 터치 스크린(110)과 제2 터치 스크린(120) 각각에 서로 다른 컨텐츠를 표시하도록 하거나, 동일한 컨텐츠가 구분되어 표시되도록 할 수 있다. 제1 터치 스크린(110) 및 제2 터치 스크린(120)에 표시되는 컨텐츠의 종류, 표시 방법, 레이아웃 등은 실시 예에 따라 다양하게 변경될 수 있다. 이에 대해서는, 후술하는 부분에서 구체적으로 설명한다.When thefirst touch screen 100 and thesecond touch screen 120 are opened, different contents may be displayed on thefirst touch screen 110 and thesecond touch screen 120, respectively, So that it can be displayed. The types of content displayed on thefirst touch screen 110 and thesecond touch screen 120, the display method, the layout, and the like can be variously changed according to the embodiment. This will be described in detail later.

이상과 같이 본 실시 예에 따른 디스플레이 장치(100)는 두 개의 터치 스크린을 이용하여 다양한 정보를 사용자에게 제공 가능하다. 또한, 두 개의 터치 스크린의 배치 형태 및 두 터치 스크린의 이동 형태에 대해서도 제스처로 이용하는바, 다양한 인터렉션이 가능하다. 이에 따라, 사용자는 다양한 사용자 환경을 경험할 수 있게 된다.As described above, thedisplay device 100 according to the present embodiment can provide various information to the user using the two touch screens. In addition, the arrangement of the two touch screens and the movement form of the two touch screens are also used as gestures, and various interactions are possible. Accordingly, the user can experience various user environments.

한편, 이상에서는 감지부(130)가 두 터치 스크린의 배치 형태만 감지하는 것으로 설명하였지만, 감지부(130)는 사용자의 터치 제스처를 감지할 수도 있다. 이 경우, 상술한 제1, 제2 터치 스크린 각각은 제1, 제2 디스플레이부로 지칭될 수 있다.In the above description, thesensing unit 130 senses only the arrangement of the two touch screens. However, thesensing unit 130 may sense the touch gesture of the user. In this case, each of the first and second touch screens described above may be referred to as a first and a second display unit.

또한, 이상에서는 디스플레이 장치(100)가 두 개의 터치 스크린을 포함하는 것으로 설명하였지만, 구현시에는 세 개 이상의 터치 스크린이 이용될 수 있다. 예를 들어, 세 개의 터치 스크린으로 디스플레이 장치가 이용되는 경우, 1개만 투명 터치 스크린일 수 있으며, 2개가 투명 터치 스크린일 수도 있다.In addition, although thedisplay device 100 includes two touch screens in the above description, three or more touch screens may be used in implementation. For example, when a display device is used with three touch screens, only one may be a transparent touch screen, and two may be a transparent touch screen.

도 2 내지 도 6은 본 실시 예에 따른 디스플레이 장치의 구체적인 형상을 도시한 도면이다.2 to 6 are views showing specific shapes of the display device according to the present embodiment.

구체적으로, 도 2는 바디부(101)의 상부에 슬라이딩 구조물이 배치된 경우의 디스플레이 장치의 형태를 도시한 도면이다. 보다 구체적으로, 도 2a는 제1 터치 스크린(110)과 제2 터치 스크린이 겹쳐진 상태에서의 디스플레이 장치의 형상을 도시한 도면이고, 도 2b는 제2 터치 스크린이 슬라이딩된 상태에서의 디스플레이 장치의 형상을 도시한 도면이고, 도 2c는 슬라이딩 구조물 부분을 확대하여 표시한 도면이다.2 is a view showing the shape of a display device in a case where a sliding structure is disposed on the upper part of thebody part 101. As shown in FIG. More specifically, FIG. 2A shows a shape of a display device in a state where thefirst touch screen 110 and the second touch screen are overlapped, FIG. 2B illustrates a state in which the second touch screen is slid, And FIG. 2C is an enlarged view of a portion of the sliding structure.

도 2a 내지 도 2c를 참조하면, 바디부(101)에는 제1 터치 스크린(110)이 배치된다. 그리고 제1 터치 스크린(110)이 배치되는 영역 상부 및 하부 영역에 슬라이딩 구조물(102)이 배치된다. 그리고 제2 터치 스크린(120)은 슬라이딩 구조물(102)을 통하여 바디부(101)와 물리적으로 연결된다. 여기서 슬라이딩 구조물을 레일 구조물일 수 있으며, 2축 슬라이딩 힌지일 수도 있다.Referring to FIGS. 2A to 2C, afirst touch screen 110 is disposed on thebody 101. The slidingstructure 102 is disposed in the upper and lower regions of the region where thefirst touch screen 110 is disposed. And thesecond touch screen 120 is physically connected to thebody 101 through the slidingstructure 102. Here, the sliding structure may be a rail structure or a biaxial sliding hinge.

이에 따라, 제2 터치 스크린(120)은 슬라이딩 구조물(102)을 이용하여 제1 터치 스크린(110)과 겹쳐지거나 펼쳐질 수 있다. 도시된 예에서는 제2 터치 스크린(120)이 제1 터치 스크린(110)의 우측으로 슬라이딩되어 펼쳐지는 것만을 도시하였지만, 구현시에는 제2 터치 스크린(120)은 제1 터치 스크린(110)의 좌측으로 슬라이딩되어 펼쳐질 수 있다.Accordingly, thesecond touch screen 120 can be overlapped or unfolded with thefirst touch screen 110 using the slidingstructure 102. In the illustrated example, only thesecond touch screen 120 is shown slidably to the right of thefirst touch screen 110, but in practice, thesecond touch screen 120 may include afirst touch screen 110, It can be slid to the left and unfolded.

한편, 상술한 슬라이딩 구조물(102)은 복수의 전기적인 접점을 포함할 수 있으며, 해당 접점을 통하여 바디부(101)는 제2 터치 스크린(120)에 전원 및 영상 신호를 제공하거나 제2 터치 스크린(120)에서 감지된 터치 신호를 수신할 수도 있다.The slidingstructure 102 may include a plurality of electrical contacts through which thebody 101 may provide power and video signals to thesecond touch screen 120, And may receive the touch signal sensed by thetouch sensing unit 120.

도 3은 바디부(101)의 내측에 슬라이딩 구조물이 배치된 경우의 디스플레이 장치의 형태를 도시한 도면이다. 보다 구체적으로, 도 3a는 제1 터치 스크린(110)과 제2 터치 스크린(120)이 겹쳐진 상태에서의 디스플레이 장치의 형상을 도시한 도면이고, 도 3b는 제2 터치 스크린이 슬라이딩된 상태에서의 디스플레이 장치의 형상을 도시한 도면이다.3 is a view showing a form of a display device in a case where a sliding structure is disposed inside thebody part 101. In FIG. 3A is a view showing the shape of a display device in a state where thefirst touch screen 110 and thesecond touch screen 120 are overlapped with each other, Fig. 2 is a view showing the shape of a display device.

도 3a 및 도 3b를 참조하면, 바디부(101')는 상부 및 하부에 돌출 영역을 구비하며, 두 돌출 영역 사이에 제1 터치 스크린(110)이 배치된다. 그리고 돌출 영역의 측면에 슬라이딩 구조물(102')이 배치되며, 제2 터치 스크린(120)은 슬라이딩 구조불(102')을 통하여 바디부(101)와 물리적으로 연결된다.Referring to FIGS. 3A and 3B, the body 101 'has protruding regions at upper and lower portions, and afirst touch screen 110 is disposed between the protruding regions. A sliding structure 102 'is disposed on a side surface of the protrusion area and asecond touch screen 120 is physically connected to thebody part 101 through a sliding structure fire 102'.

이에 따라, 제2 터치 스크린(120)은 슬라이딩 구조물(102')을 이용하여 제1 터치 스크린(110)과 겹쳐지거나 펼쳐질 수 있다. 도시된 예에서는 제2 터치 스크린(120)이 제1 터치 스크린(110)의 좌측으로 슬라이딩되어 펼쳐지는 것만을 도시하였지만, 구현시에는 제2 터치 스크린(120)은 제2 터치 스크린(110)의 우측으로도 슬라이딩 될 수도 있다.Accordingly, thesecond touch screen 120 can be overlapped or unfolded with thefirst touch screen 110 using the sliding structure 102 '. In the illustrated example, thesecond touch screen 120 is illustrated as being slid to the left of thefirst touch screen 110, but in practice, thesecond touch screen 120 may include a second touch screen, It may slide to the right.

한편, 상술한 슬라이딩 구조물(102')은 복수의 전기적인 접점을 포함할 수 있으며, 해당 접점을 통하여 바디부(101')는 제2 터치 스크린(120)에 전원 및 영상 신호를 제공하거나 제2 터치 스크린(120)에서 감지된 터치 신호를 수신할 수 있다.The sliding structure 102 'may include a plurality of electrical contacts through which the body 101' may provide power and video signals to thesecond touch screen 120, And can receive the touch signal sensed by thetouch screen 120.

도 4는 바디부(101)의 측면에 슬라이딩 구조물이 배치된 경우의 디스플레이 장치의 형태를 도시한 도면이다. 보다 구체적으로, 도 4a는 제1 터치 스크린(110)과 제2 터치 스크린(120)이 겹쳐진 상태에서의 디스플레이 장치의 형상을 도시한 도면이고, 도 4b는 제2 터치 스크린(120)이 슬라이딩된 상태에서의 디스플레이 장치의 형상을 도시한 도면이고, 도 4c는 도 4b의 도면을 후면에서 도시한 도면이다.4 is a view showing a configuration of a display device in a case where a sliding structure is disposed on a side surface of thebody part 101. In FIG. 4A is a view showing the shape of the display device in a state where thefirst touch screen 110 and thesecond touch screen 120 are overlapped and FIG. 4B is a view showing a state in which thesecond touch screen 120 is slid Fig. 4C is a rear view of the drawing of Fig. 4B. Fig.

도 4a 내지 도 4c를 참조하면, 바디부(101")에는 제1 터치 스크린(110)이 배치된다. 그리고 제2 터치 스크린(120)은 바디부(101")의 상부를 덮는 형태를 가지며, 바디부(101")의 측면에 배치된 슬라이딩 구조물(102")을 통하여 바디부(101")와 물리적으로 연결된다.4A to 4C, thefirst touch screen 110 is disposed on the body 101 ', and thesecond touch screen 120 covers the upper portion of the body 101' Is physically connected to thebody portion 101 " through a slidingstructure 102 "disposed on the side of thebody portion 101 ".

이에 따라, 제2 터치 스크린(120)은 슬라이딩 구조물(102")을 이용하여 제1 터치 스크린(110)과 겹쳐지거나 펼쳐질 수 있다. 도시된 예에서는 제2 터치 스크린(120)이 제1 터치 스크린(110)의 좌측으로 슬라이딩되어 펼쳐지는 것만을 도시하였지만, 구현시에는 제2 터치 스크린(120)은 제1 터치 스크린(110)의 우측으로 슬라이딩되어 펼쳐질 수 있다.Accordingly, thesecond touch screen 120 can be overlapped or unfolded with thefirst touch screen 110 using the slidingstructure 102 ". In the illustrated example, thesecond touch screen 120 is positioned on thefirst touch screen 110, Thesecond touch screen 120 may be slid to the right side of thefirst touch screen 110 to be unfolded.

한편, 상술한 슬라이딩 구조물(102")은 복수의 전기적인 접점을 포함할 수 있으며, 해당 접점을 통하여 바디부(101)는 제2 터치 스크린(120)에 전원 및 영상 신호를 제공하거나 제2 터치 스크린(120)에서 감지된 터치 신호를 수신할 수도 있다.The slidingstructure 102 "may include a plurality of electrical contacts. Thebody 101 may provide power and image signals to thesecond touch screen 120, And may receive the touch signal sensed by thescreen 120. [

이상에서는 제2 터치 스크린이 제1 터치 스크린 상부에서 슬라이딩되어 두 터치 스크린이 겹쳐지거나 펼쳐지는 형태를 도시하고 설명하였으나, 구현시에는 제2 터치 스크린이 하나의 축을 기준으로 회전하여 두 터치 스크린은 겹쳐지거나 펼쳐질 수도 있다. 이러한 예에 대해서는 도 5를 참조하여 이하에서 설명한다.In the above description, the second touch screen is slid on the first touch screen and two touch screens are overlapped or expanded. However, in the implementation, the second touch screen rotates about one axis and the two touch screens overlap Or may be unfolded. Such an example will be described below with reference to Fig.

도 5는 제2 터치 스크린(120)의 일 측이 힌지 구조물에 연결되어 배치된 경우의 디스플레이 장치의 형태를 도시한 도면이다. 보다 구체적으로, 도 5a는 제1 터치 스크린(110)과 제2 터치 스크린이 겹쳐진 상태에서의 디스플레이 장치의 형상을 도시한 도면이고, 도 5b는 제2 터치 스크린이 슬라이딩된 상태에서의 디스플레이 장치의 형상을 도시한 도면이고, 도 5c는 힌지의 구체적인 형상을 도시한 도면이다. 5 is a view showing a form of a display device in which one side of thesecond touch screen 120 is connected to a hinge structure. More specifically, FIG. 5A is a view showing a shape of a display device in a state where thefirst touch screen 110 and the second touch screen are overlapped, and FIG. 5B is a view illustrating a display device in a state where the second touch screen is slid FIG. 5C is a view showing a specific shape of the hinge. FIG.

도 5a 내지 도 5c를 참조하면, 힌지(109)는 바디부(101)와 일체로 형성될 수 있으며, 힌지(109)는 회전축을 기준으로 360까지 회전할 수 있다. 마찬가지로 제2 터치 스크린(120)은 제1 터치 스크린을 기준으로 일정 각도 회동할 수 있다.5A to 5C, thehinge 109 may be integrally formed with thebody 101, and thehinge 109 may be rotated up to 360 with respect to the rotation axis. Similarly, thesecond touch screen 120 may be rotated at a predetermined angle with respect to the first touch screen.

이에 따라, 제2 터치 스크린(120)은 힌지(109)가 배치된 지점을 기준으로 회전 이동이 가능하며, 해당 회전을 통하여 제1 터치 스크린(110)과 겹쳐지거나 펼쳐질 수 있다.Accordingly, thesecond touch screen 120 is rotatable relative to the point where thehinge 109 is disposed, and can be overlapped or unfolded with thefirst touch screen 110 through the rotation.

한편, 도시된 바와 같이 힌지(109)의 일 영역에 마그네트(M)가 배치되고, 바디부(101)의 일 측에는 자력 감지 센서(131)가 배치된다. 구현시에 자력 감지 센서(131)는 일정 간격을 갖는 여러 개의 센서로 구현될 수 있다. 여기서 센서는 홀 센서 또는 회전 센서일 수 있다. 따라서, 자력 감지 센서(131)는 힌지가 회전하는 동안 힌지의 마그네트의 자력을 감지하여 힌지의 회전각도 또는 회전 방향을 검출할 수 있다.A magnet M is disposed in one area of thehinge 109 and amagnetic force sensor 131 is disposed on one side of thebody 101. As shown in FIG. Themagnetic force sensor 131 may be implemented by a plurality of sensors having a predetermined interval. The sensor may be a hall sensor or a rotation sensor. Therefore, themagnetic force sensor 131 can detect the rotation angle or the rotation direction of the hinge by sensing the magnetic force of the magnet of the hinge while the hinge rotates.

도시된 예에서는 힌지가 바디부의 우측에 배치되어 제2 터치 스크린(120)이 시계 반대방향으로 회전하는 것만을 도시하였지만, 구현시에 힌지는 바디부의 좌측에 배치되어 시계 방향으로 회전할 수도 있다.In the illustrated example, only the hinge is disposed on the right side of the body portion and thesecond touch screen 120 is rotated counterclockwise. However, in practice, the hinge may be disposed on the left side of the body portion and rotated clockwise.

한편, 앞서 실시 예와 달리 회전하여 제2 터치 스크린이 겹쳐지거나 펼쳐짐에 따라, 사용자에게 보이는 제2 터치 스크린의 면은 상이하게 된다. 즉, 겹쳐진 상태에서는 제2 터치 스크린의 상부 면이 보이나, 펼쳐지게 되면 제2 터치 스크린의 하부 면이 사용자에게 보일 수 있다. 따라서, 도 5와 같은 실시 예에서 디스플레이 장치(100)는 터치 스크린의 배치 형태에 따라 제2 터치 스크린(120)에 표시되는 UI 요소의 표시 형태를 가변할 수 있다.On the other hand, as the second touch screen is rotated or unfolded unlike the previous embodiment, the surface of the second touch screen visible to the user is different. That is, in the overlapped state, the upper surface of the second touch screen is visible, but when lowered, the lower surface of the second touch screen can be seen by the user. Accordingly, in the embodiment as shown in FIG. 5, thedisplay device 100 may change the display form of the UI element displayed on thesecond touch screen 120 according to the layout of the touch screen.

한편, 도시된 예에서는 힌지(109)가 바디부와 일체된 형태로 형성된 것을 도시하였지만, 구현시에 힌지(109)는 바디부와 구분되게 형성될 수 있으며, 힌지(109)와 제2 터치 스크린이 일체된 형태로도 구현될 수 있다.In the illustrated embodiment, thehinge 109 is formed integrally with the body portion. However, thehinge 109 may be formed separately from the body portion in the embodiment, and thehinge 109 and the second touch screen Can also be implemented in an integrated form.

또한, 도시된 예에서는 하나의 힌지(109)를 이용하여 제1 터치 스크린(110)과 제2 터치 스크린(120)를 연결하는 형태를 도시하였지만, 구현시에는 듀얼 힌지를 이용하여 제1 터치 스크린(110)과 제2 터치 스크린(120)를 연결할 수도 있다.In the illustrated example, thefirst touch screen 110 and thesecond touch screen 120 are connected using asingle hinge 109. However, in the illustrated embodiment, thefirst touch screen 110 and thesecond touch screen 120 may be connected to each other using a dual hinge, Thefirst touch screen 120 and thesecond touch screen 120 may be connected to each other.

도 6은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 상세히 나타내는 블록도이다.6 is a block diagram illustrating the configuration of a display device according to an exemplary embodiment of the present invention.

도 6은 휴대폰으로 구현된 디스플레이 장치(100)의 세부 구성의 일 예를 나타내는 블럭도이다. 도 6에 따르면, 디스플레이 장치(100)는 제1 터치 스크린(110), 제2 터치 스크린(120), 감지부(130), 제어부(140), 저장부(145), 통신 인터페이스부(150), 음성 인식부(160), 모션 인식부(170), 감지부(130), 스피커(180), 외부 입력 포트(190-1 ~ 190-n)를 포함할 수 있다.6 is a block diagram showing an example of a detailed configuration of adisplay device 100 implemented by a cellular phone. 6, thedisplay device 100 includes afirst touch screen 110, asecond touch screen 120, asensing unit 130, acontrol unit 140, astorage unit 145, acommunication interface unit 150, Avoice recognition unit 160, a motion recognition unit 170, asensing unit 130, aspeaker 180, and external input ports 190-1 to 190-n.

제1 터치 스크린(110)은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이 상에 터치 패널부가 배치되는 형태로 구현될 수 있다.Thefirst touch screen 110 may be implemented as a touch panel disposed on various types of displays such as an LCD (Liquid Crystal Display), an OLED (Organic Light Emitting Diodes) display, a PDP (Plasma Display Panel)

이때, 터치 패널부는 터치 패널 및 펜 인식 패널 중 적어도 하나 이상을 포함할 수 있다. 터치 패널은 사용자의 손가락 제스처 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널은 제1 터치 스크린(110)의 모든 영역 아래에 모두 실장될 수 있으며, 또는 제1 터치 스크린(110)의 일부 영역 아래에만 실장될 수 있다. 터치 패널이 사용자의 손가락 제스처 입력을 감지하는 방식에는 정전식 방식과 감압식 방식이 있을 수 있다. 정전식은 사용자의 인체로 야기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 패널에 내장된 두 개의 전극 판을 포함하여, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다.At this time, the touch panel unit may include at least one of a touch panel and a pen recognition panel. The touch panel senses a user's finger gesture input and outputs a touch event value corresponding to the sensed touch signal. The touch panel may be mounted under all areas of thefirst touch screen 110, or may be mounted only under a part of the area of thefirst touch screen 110. There are two ways in which the touch panel senses the user's finger gesture input: electrostatic and pressure sensitive. The electrostatic method is a method of calculating the touch coordinates by sensing the minute electricity generated by the user's body. The pressure reduction type includes two electrode plates built in the touch panel, and touch coordinates are calculated by detecting the current flowing through the upper and lower plates of the touch point.

펜 인식 패널은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 사용자의 펜 제스처 입력을 감지하고, 펜 근접 이벤트 값 또는 펜 터치 이벤트 값을 출력할 수 있다. 펜 인식 패널은 제1 터치 스크린(110) 및 제2 터치 스크린(120) 중 적어도 하나의 아래에 실장될 수 있다.The pen recognition panel senses the user's pen gesture input according to the operation of the user's touch pen (e.g., a stylus pen, a digitizer pen) and outputs a pen proximity event value or a pen touch event value can do. The pen recognition panel may be mounted below at least one of thefirst touch screen 110 and thesecond touch screen 120. [

펜 인식 패널은, 예로, EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 상세하게는 펜 인식 패널은 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함하여 구성될 수 있다.The pen recognition panel can be implemented, for example, by the EMR method, and can detect the touch or proximity input according to the proximity of the pen or the change in intensity of the electromagnetic field due to the touch. More specifically, the pen recognition panel includes an electromagnetic induction coil sensor (not shown) having a grid structure and an electronic signal processor (not shown) for sequentially providing an AC signal having a predetermined frequency to each loop coil of the electromagnetic induction coil sensor .

이러한 펜 인식 패널의 루프 코일 근방에 공진 회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진 회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널은 상술한 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지될 수 있다.When a pen incorporating a resonance circuit is present in the vicinity of the loop coil of such a pen recognition panel, the magnetic field transmitted from the loop coil generates a current based on mutual electromagnetic induction in the resonance circuit in the pen. Based on this current, an induction magnetic field is generated from the coils constituting the resonance circuit in the pen. The pen recognition panel detects the above-mentioned induction magnetic field in the loop coil in the signal reception state, Can be detected.

제2 터치 스크린(110)은 투명 디스플레이부 상에 터치 패널부가 배치되는 형태로 구현될 수 있다. 이러한 투명 디스플레이부는 실시 예에 따라 투명 LCD(Liquid Crystal Display) 형, 투명 TFEL(Thin-Film Electroluminescent Panel) 형, 투명 OLED 형, 투사형 등과 같은 다양한 형태로 구현될 수 있다.Thesecond touch screen 110 may be implemented as a touch panel unit disposed on the transparent display unit. The transparent display unit may be implemented in various forms such as a transparent LCD (Liquid Crystal Display) type, a transparent TFEL (Thin-Film Electroluminescent Panel) type, a transparent OLED type, a projection type,

투명 LCD 형이란 현재 사용되고 있는 LCD 장치에서 백라이트 유닛을 제거하고, 한 쌍의 편광판, 광학 필름, 투명 박막 트랜지스터, 투명 전극 등을 사용하여 구현한 투명 디스플레이 장치를 의미한다. 투명 LCD 장치에서는 편광판이나 광학 필름등에 의해 투과도가 떨어지고, 백라이트 유닛 대신 주변 광을 이용하게 되므로 광 효율이 떨어지지만, 대면적 투명 디스플레이를 구현할 수 있다는 장점이 있다.The transparent LCD type means a transparent display device in which a backlight unit is removed from a currently used LCD device and a pair of polarizing plates, an optical film, a transparent thin film transistor, and a transparent electrode are used. In a transparent LCD device, transparency is lowered by a polarizing plate or an optical film, and ambient light is used instead of a backlight unit, so that light efficiency is lowered, but a large-area transparent display can be realized.

투명 TFEL 형이란 투명 전극, 무기 형광체, 절연막으로 이루어진 교류형 무기박막 EL 디스플레이(AC-TFEL)를 사용하는 장치를 의미한다. AC-TFEL은 무기 형광체 내부에 가속이 된 전자가 지나가면서 형광체를 여기 시켜 빛을 내게 하는 디스플레이이다. 투명 디스플레이부(110)가 투명 TFEL 형태로 구현된 경우, 제어부(140)는 적절한 위치로 전자가 투사되도록 조정하여, 정보 표시 위치를 결정할 수 있다. 무기 형광체, 절연막이 투명한 특성을 가지므로, 매우 투명한 디스플레이를 구현할 수 있다.The transparent TFEL type means an apparatus using an AC type inorganic thin film EL display (AC-TFEL) comprising a transparent electrode, an inorganic fluorescent substance and an insulating film. AC-TFEL is a display that accelerates electrons passing through an inorganic phosphor to excite phosphors to emit light. When thetransparent display unit 110 is implemented as a transparent TFEL type, thecontroller 140 can adjust the information to be displayed so that electrons are projected to an appropriate position to determine an information display position. Since the inorganic phosphor and the insulating film have a transparent characteristic, a very transparent display can be realized.

그 밖에, 투명 OLED형이란 자체 발광이 가능한 OLED를 이용하는 투명 디스플레이 장치를 의미한다. 유기 발광층이 투명하기 때문에, 양쪽 전극을 투명 전극으로 사용하면, 투명 디스플레이부의 구현이 가능하다. OLED는 유기 발광층 양쪽에서 전자와 정공을 주입하여 이들이 유기 발광층 내에서 결합하면서 빛을 내게 된다. 투명 OLED 장치는 이러한 원리를 사용하여 원하는 위치에 전자 및 정공을 주입하여, 정보를 표시할 수 있다.In addition, the transparent OLED type means a transparent display device using an OLED capable of self-emission. Since the organic light emitting layer is transparent, if both electrodes are used as the transparent electrode, a transparent display portion can be realized. OLEDs inject electrons and holes from both sides of the organic light-emitting layer to emit light as they combine within the organic light-emitting layer. Transparent OLED devices can use this principle to inject electrons and holes at desired locations to display information.

감지부(130)는 제1 터치 스크린(110)과 제2 터치 스크린(120)의 배치 형태를 감지할 수 있다. 구체적으로, 감지부(130)는 제1 터치 스크린(110)과 제2 터치 스크린(120)이 겹쳐진 상태인지, 펼쳐진 상태인지를 감지할 수 있다.Thesensing unit 130 may sense the arrangement of thefirst touch screen 110 and thesecond touch screen 120. Specifically, thesensing unit 130 may sense whether thefirst touch screen 110 and thesecond touch screen 120 are overlapped or unfolded.

또한, 감지부(130)는 겹쳐진 상태가 아닌 경우에는 어느 정도 펼쳐친 상태인지 또는 두 터치 스크린이 슬라이딩 방식으로 이동되는 되는 경우, 어느 정도 겹쳐진 상태인지를 감지할 수 있다. 이러한 감지부(130)는 다양한 소자로 구성될 수 있는데, 제1 터치 스크린과 제2 터치 스크린 각각에 배치된 홀 센서와 전자석(또는 자석)을 이용하여 두 터치 스크린의 접촉 여부를 판단할 수 있다. 예를 들어, 제2 터치 스크린(120)이 슬라이딩 방식으로 제1 터치 스크린(110) 상부에서 이동 가능하면, 슬라이딩 방향으로 일정 간격으로 배치되는 복수의 홀 센서를 이용하여 제2 터치 스크린이 제1 터치 스크린과 어느 정도 겹쳐졌는지를 감지할 수도 있다.In addition, thesensing unit 130 can detect whether thesensing unit 130 is in the unfolded state to some extent, or the overlapped state when the two touch screens are moved in the sliding manner. Thesensing unit 130 may be composed of various devices. Thesensing unit 130 may determine whether or not the two touch screens are in contact with each other using a hall sensor and an electromagnet (or magnet) disposed on the first touch screen and the second touch screen, respectively . For example, if thesecond touch screen 120 is movable on thefirst touch screen 110 in a sliding manner, a plurality of hall sensors arranged at predetermined intervals in the sliding direction may be used, You can also detect how overlapped you are with the touch screen.

또한, 제2 터치 스크린(120)과 제1 터치 스크린(110)이 힌지를 통하여 겹쳐지거나 펼쳐지는 경우에, 감지부(130)는 힌지의 각도를 감지할 수 있는 센서를 이용하여 두 터치 스크린 간의 각도를 감지할 수도 있다.In addition, when thesecond touch screen 120 and thefirst touch screen 110 are overlapped or unfolded through the hinge, thesensing unit 130 senses the angle of the hinge between the two touch screens, It is also possible to detect the angle.

또한, 감지부(130)는 디스플레이 장치(100) 전체의 이동 상태 및 터치 상태를 감지할 수 있다. 이러한 감지부(130)는 터치 센서, 지자기 센서, 가속도 센서, 압력 센서, 근접 센서, 그립 센서 등과 같은 다양한 유형의 센서를 포함할 수 있다.In addition, thesensing unit 130 may sense a moving state and a touch state of theentire display device 100. [ Thesensing unit 130 may include various types of sensors such as a touch sensor, a geomagnetic sensor, an acceleration sensor, a pressure sensor, a proximity sensor, a grip sensor, and the like.

여기서, 터치 센서는 정전식 또는 감압식으로 구현될 수 있다. 정전식은 디스플레이부 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 디스플레이부 표면에 터치 되었을 때 사용자의 인체로 여기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 이상과 같이 터치 센서는 다양한 형태로 구현될 수 있다.Here, the touch sensor may be implemented as an electrostatic type or a pressure sensitive type. The electrostatic type uses a dielectric coated on the surface of a display unit to detect touches of micro-electricity excited by the user's body when a part of the user's body touches the surface of the display unit to calculate touch coordinates. The depressurization type includes two electrode plates, and when the user touches the screen, the top and bottom plates of the touched point contact with each other to sense current flow, and the touch coordinates are calculated. As described above, the touch sensor can be implemented in various forms.

지자기 센서는 디스플레이 장치(100)의 회전 상태 및 이동 방향 등을 감지하기 위한 센서이고, 가속도 센서)는 디스플레이 장치(100)의 기울어진 정도를 감지하기 위한 센서이다. 상술한 바와 같이, 지자기 센서 및 가속도 센서는 제2 터치 스크린의 슬라이딩 방향을 검출하기 위한 용도로 사용될 수도 있지만, 이와 별도로, 디스플레이 장치의 회전 상태 또는 기울기 상태 등을 검출하기 위한 용도로 사용될 수도 있다.The geomagnetic sensor is a sensor for sensing the rotational state and the moving direction of thedisplay device 100, and the acceleration sensor is a sensor for detecting the degree of tilting of thedisplay device 100. As described above, the geomagnetic sensor and the acceleration sensor may be used for detecting the sliding direction of the second touch screen, but may also be used for detecting the rotation state or the inclination state of the display device.

압력 센서는 사용자가 터치 조작을 할 때 터치 스크린(110, 120)에 가해지는 압력의 크기를 감지하여 제어부(140)로 제공한다. 압력 센서는 터치 스크린(110, 120)에 내장되어 압력의 크기에 대응되는 전기 신호를 출력하는 압전 필름(piezo film)을 포함할 수 있다. 한편, 터치 센서가 감압식 터치 센서로 구현된 경우, 그 감압식 터치 센서가 압력 센서의 역할도 함께할 수도 있다.The pressure sensor senses the magnitude of the pressure applied to thetouch screens 110 and 120 when the user performs a touch operation, and provides the sensed pressure to thecontrol unit 140. The pressure sensor may include a piezo film that is built in thetouch screens 110 and 120 and outputs an electric signal corresponding to the magnitude of the pressure. On the other hand, when the touch sensor is implemented as a pressure sensitive touch sensor, the pressure sensitive type touch sensor may also serve as a pressure sensor.

근접 센서는 디스플레이 표면에 직접 접촉되지 않고 접근하는 모션을 감지하기 위한 센서이다. 근접 센서는 고주파 자계를 형성하여, 물체 접근 시에 변화되는 자계특성에 의해 유도되는 전류를 감지하는 고주파발진 형, 자석을 이용하는 자기 형, 대상체의 접근으로 인해 변화되는 정전 용량을 감지하는 정전용량형과 같은 다양한 형태의 센서로 구현될 수 있다.The proximity sensor is a sensor for sensing the approaching motion without touching the display surface directly. The proximity sensor is a high-frequency oscillation type that forms a high-frequency magnetic field and senses a current induced by a magnetic field characteristic that changes when approaching an object, a magnetic type using a magnet, a capacitive type And the like.

그립 센서는 압력 센서와 별개로 디스플레이 장치(100)의 테두리나 손잡이 부분에서 배치되어, 사용자의 그립(grip)을 감지하는 센서이다. 그립 센서는 압력 센서나 터치 센서로 구현될 수 있다. 구현시에는 그립 센서의 센싱 정보는 터치 스크린의 배치 형태 정보와 결합하여, 터치 스크린의 이동이 터치를 통하여 이동인지, 터치 스크린에 대한 터치 없는 이동인지를 구별하는데 이용 또는 검증하는데 이용할 수 있다.The grip sensor is disposed at the rim or the handle of thedisplay device 100 separately from the pressure sensor, and senses a user's grip. The grip sensor may be implemented as a pressure sensor or a touch sensor. At the time of implementation, the sensing information of the grip sensor may be combined with the arrangement type information of the touch screen to use or verify whether the movement of the touch screen is a movement through a touch or a non-touch movement with respect to the touch screen.

제어부(140)는 저장부(145)에 저장된 프로그램 및 데이터를 이용하여 제1 터치 스크린(110) 및 제2 터치 스크린(120) 중 적어도 하나에 UI 요소를 디스플레이할 수 있다. 또한, 제어부(140)는 이벤트가 발생하면, 해당 이벤트에 대응되는 제어 동작을 수행한다.Thecontrol unit 140 may display UI elements on at least one of thefirst touch screen 110 and thesecond touch screen 120 using the program and data stored in thestorage unit 145. [ In addition, when an event occurs, thecontroller 140 performs a control operation corresponding to the event.

제어부(140)는 RAM(미도시), ROM(미도시), CPU(미도시), GPU(Graphic Processing Unit)(미도시), 버스(미도시)를 포함한다. RAM, ROM, CPU, GPU(Graphic Processing Unit) 등은 버스를 통해 서로 연결될 수 있다.Thecontroller 140 includes a RAM (not shown), a ROM (not shown), a CPU (not shown), a GPU (Graphic Processing Unit) (not shown), and a bus (not shown). RAM, ROM, CPU, GPU (Graphic Processing Unit), etc. can be interconnected via a bus.

CPU는 저장부(145)에 액세스하여, 저장부(145)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고 저장부(145)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.The CPU accesses thestorage unit 145 and performs booting using the O / S stored in thestorage unit 145. And performs various operations using various programs, contents, data stored in thestorage unit 145, and the like.

ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, CPU는 ROM에 저장된 명령어에 따라 저장부(145)에 저장된 O/S를 RAM에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU는 저장부(145)에 저장된 각종 프로그램을 RAM에 복사하고, RAM에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. GPU는 디스플레이 장치(100)의 부팅이 완료되면, 디스플레이 영역에 UI 화면을 디스플레이한다. 구체적으로는, GPU는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 제1 터치 스크린(110) 또는 제2 터치 스크린(120)으로 제공되어, 제1 터치 스크린(110) 또는 제2 터치 스크린(120)의 디스플레이 영역 상에 표시될 수 있다.ROM stores a set of commands for booting the system and the like. When the turn-on command is input and power is supplied, the CPU copies the O / S stored in thestorage unit 145 to the RAM according to the command stored in the ROM, and executes the O / S to boot the system. When the booting is completed, the CPU copies various programs stored in thestorage unit 145 to the RAM, executes the program copied to the RAM, and performs various operations. The GPU displays the UI screen in the display area when the booting of thedisplay device 100 is completed. Specifically, the GPU can generate a screen including various objects such as an icon, an image, and text using an operation unit (not shown) and a rendering unit (not shown). The operation unit calculates an attribute value such as a coordinate value, a shape, a size, and a color to be displayed by each object according to the layout of the screen. The rendering unit generates screens of various layouts including the objects based on the attribute values calculated by the operation unit. The screen generated by the rendering unit may be provided on thefirst touch screen 110 or thesecond touch screen 120 and may be displayed on the display area of thefirst touch screen 110 or thesecond touch screen 120 .

저장부(145)에는 디스플레이 장치(100)의 동작과 관련된 각종 프로그램이나 데이터, 사용자가 설정한 설정 정보, 시스템 구동 소프트웨어(Operating Software), 각종 애플리케이션 프로그램, 사용자 조작 내용에 대응되는 동작에 대한 정보 등이 저장될 수 있다.Thestorage unit 145 stores various programs and data related to the operation of thedisplay device 100, setting information set by the user, system operating software, various application programs, Can be stored.

제어부(140)는 감지부(130)에서 감지된 각종 감지 신호를 분석하여, 사용자의 의도를 파악하고, 그 의도에 부합되는 동작을 수행한다. 제어부(140)에서 수행되는 동작의 일 예로는 외부 기기와의 통신을 통해 획득한 데이터 또는, 저장부(145)에 저장된 데이터를 처리하여 제1 터치 스크린(110), 제2 터치 스크린(120) 및 스피커(180) 등을 통해 출력하는 동작을 수행할 수 있다. 이 경우, 제어부(140)는 통신 인터페이스부(150)를 이용하여 외부 기기와 통신을 수행할 수 있다.Thecontrol unit 140 analyzes various sensing signals sensed by thesensing unit 130, grasps the intention of the user, and performs an operation corresponding to the intent of the user. One example of the operation performed by thecontrol unit 140 is processing the data acquired through communication with the external device or the data stored in thestorage unit 145 to output thefirst touch screen 110 and thesecond touch screen 120, And thespeaker 180, for example. In this case, thecontrol unit 140 can perform communication with an external device using thecommunication interface unit 150. [

통신 인터페이스부(150)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신 인터페이스부(150)는 방송 수신 모듈(151), 근거리 무선 통신 모듈(152), GPS 모듈(153), 무선 통신 모듈(154) 등과 같은 다양한 통신 모듈을 포함할 수 있다.Thecommunication interface unit 150 is configured to perform communication with various types of external devices according to various types of communication methods. Thecommunication interface unit 150 may include various communication modules such as abroadcast receiving module 151, a short rangewireless communication module 152, aGPS module 153, awireless communication module 154, and the like.

여기서, 방송 수신 모듈(151)이란 지상파 방송 신호를 수신하기 위한 안테나, 복조기, 등화기 등을 포함하는 지상파 방송 수신 모듈(미도시), DMB 방송 신호를 수신하여 처리하기 위한 DMB 모듈 등을 포함할 수 있다. 근거리 무선 통신 모듈(152)이란 NFC(Near Field Communication)나 블루투스, 지그비 방식 등과 같은 근거리 무선 통신 방식에 따라, 근거리에 위치한 외부 기기와 통신을 수행하기 위한 모듈이다.Here, thebroadcast receiving module 151 includes a terrestrial broadcast receiving module (not shown) including an antenna for receiving a terrestrial broadcast signal, a demodulator, an equalizer, and the like, and a DMB module for receiving and processing a DMB broadcast signal . The short-rangewireless communication module 152 is a module for performing communication with an external device located in a short distance according to a short-range wireless communication method such as NFC (Near Field Communication), Bluetooth, ZigBee method or the like.

GPS 모듈(153)이란 GPS 위성으로부터 GPS 신호를 수신하여, 디스플레이 장치(100)의 현재 위치를 검출하기 위한 모듈이다. 무선 통신 모듈(154)이란 WiFi, IEEE 등과 같은 무선 통신 프로토콜에 따라 외부네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈(154)은 3G(3rd Generation), 3GPP(3rdGeneration Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 이동 통신 규격에 따라 이동통신망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.TheGPS module 153 is a module for receiving the GPS signal from the GPS satellite and detecting the current position of thedisplay device 100. Thewireless communication module 154 is a module that is connected to an external network and performs communication according to a wireless communication protocol such as WiFi, IEEE, or the like. In addition, thewireless communication module 154 may include a mobile communication module for performing communication by accessing a mobile communication network according to various mobile communication standards such as 3G (3rd Generation), 3GPP (3rd Generation Partnership Project), LTE .

제어부(140)는 상술한 통신 인터페이스부(150)의 각 구성 요소 중 사용자가 의도한 동작 수행에 필요한 구성 요소들을 선택적으로 활성화시켜, 동작을 수행할 수 있다.Thecontrol unit 140 may selectively activate the components necessary for the user to perform an operation among the respective components of thecommunication interface unit 150 and perform the operation.

한편, 제어부(140)는 터치 조작, 제2 터치 스크린의 이동 조작 이외에 음성 입력이나 모션 입력을 인식하여, 그 입력에 대응되는 동작을 수행할 수도 있다. 이 경우, 음성 인식부(160) 또는 모션 인식부(170)를 활성화시킬 수 있다.Meanwhile, thecontrol unit 140 may recognize a voice input or a motion input in addition to a touch operation and a movement operation of the second touch screen, and may perform an operation corresponding to the input. In this case, thespeech recognition unit 160 or the motion recognition unit 170 can be activated.

음성 인식부(160)는 마이크(미도시)와 같은 음성 취득 수단을 이용하여 사용자의 음성이나 외부 음향을 수집한 후, 제어부(140)로 전달한다. 제어부(140)는 음성 제어 모드로 동작하는 경우, 사용자의 음성이 기설정된 음성 명령과 일치하면, 사용자의 음성에 대응되는 태스크(task)를 수행할 수 있다. 음성을 이용하여 제어 가능한 태스크로는, 화면 크기 조절, 볼륨 조절, 채널 선택, 채널 재핑, 표시 속성 조절, 재생, 일시 정지, 되감기, 빨리 감기, 애플리케이션 실행, 메뉴 선택, 장치 턴온, 턴오프 등과 같이 다양한 태스크가 있을 수 있다.Thevoice recognition unit 160 collects the user's voice or external sound using a voice acquisition means such as a microphone (not shown), and transmits the collected voice to thecontrol unit 140. When operating in the voice control mode, thecontrol unit 140 can perform a task corresponding to the voice of the user when the voice of the user coincides with the predetermined voice command. Tasks that can be controlled using voice include, for example, screen size adjustment, volume adjustment, channel selection, channel jumping, display attribute adjustment, playback, pause, rewind, fast forward, application execution, menu selection, device turn- There can be various tasks.

한편, 모션 인식부(170)는 카메라와 같은 이미지 촬상 수단(미도시)을 이용하여 사용자의 이미지를 획득한 후, 제어부(140)로 제공한다. 모션 제어 모드로 동작하는 경우, 제어부(140)는 사용자의 이미지를 분석하여 사용자가 기 설정된 모션 명령에 대응되는 모션 제스처를 취한 것으로 판단되면, 그 모션 제스처에 대응되는 동작을 수행한다. 일 예로, 화면 크기 조절, 채널 재핑, 장치 턴 온, 턴 오프, 일시 정지, 재생, 정지, 되감기, 빨리 감기, 음 소거 등과 같은 다양한 태스크가 모션에 의해 제어될 수 있다. 음성으로 제어 가능한 태스크, 모션으로 제어 가능한 태스크 등에 대한 상술한 예들은 예에 불과하므로, 이에 한정되지는 않는다.Meanwhile, the motion recognition unit 170 acquires an image of a user using an image pickup unit (not shown) such as a camera, and provides the image to thecontrol unit 140. When operating in the motion control mode, thecontroller 140 analyzes the image of the user and performs an operation corresponding to the motion gesture when it is determined that the user has taken the motion gesture corresponding to the predetermined motion command. For example, various tasks such as picture size adjustment, channel jumping, device turn on, turn off, pause, play, stop, rewind, fast forward, mute, and the like can be controlled by motion. The above-described examples of the voice controllable task, the motion controllable task, and the like are only examples, and the present invention is not limited thereto.

그 밖에, 외부 입력 포트 1, 2 ~ n(190-1 ~ 190-n)들은 각각 다양한 유형의 외부 기기와 연결되어 각종 데이터나 프로그램, 제어 명령 등을 수신할 수 있다. 구체적으로는 외부 입력 포트 1, 2 ~ n(190-1 ~ 190-n)들은 USB 포트, 헤드셋 포트, 마우스 포트, LAN 포트 등을 포함할 수 있다.In addition, theexternal input ports 1, 2 to n (190-1 to 190-n) can be connected to various types of external devices to receive various data, programs, control commands and the like. Specifically, theexternal input ports 1, 2 to n (190-1 to 190-n) may include a USB port, a headset port, a mouse port, a LAN port, and the like.

그 밖에, 도 6에 도시하지는 않았으나, 실시 예에 따라서는, 디스플레이 장치(100) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있음은 물론이다.6, thedisplay device 100 may include a USB port to which a USB connector can be connected, various external input ports for connecting to various external terminals such as a headset, a mouse, and a LAN, , A DMB chip for receiving and processing a DMB (Digital Multimedia Broadcasting) signal, various sensors, and the like.

한편, 상술한 바와 같이, 저장부(145)에는 다양한 프로그램이 저장될 수 있다. 도 7은 디스플레이 장치(100)에 저장된 소프트웨어의 구조를 설명하기 위한 도면이다.Meanwhile, as described above, thestorage unit 145 may store various programs. 7 is a diagram for explaining the structure of software stored in thedisplay device 100. As shown in FIG.

도 7에 따르면, 저장부(145)에는 OS(210), 커널(220), 미들웨어(230), 애플리케이션(240) 등을 포함하는 소프트웨어가 저장될 수 있다.7, software including theOS 210, thekernel 220, themiddleware 230, and theapplication 240 may be stored in thestorage unit 145. [

운영체제(Operating System: OS, 210)는 하드웨어의 전반적인 동작을 제어하고 관리하는 기능을 수행한다. 즉, OS(210)는 하드웨어 관리와 메모리, 보안 등의 기본적인 기능을 담당하는 계층이다.An operating system (OS) 210 functions to control and manage the overall operation of the hardware. That is, theOS 210 is a layer that performs basic functions such as hardware management, memory, and security.

커널(220)은 제1 터치 스크린(110) 또는 제2 터치 스크린(120)에서 감지되는 터치 신호 등을 비롯한 각종 신호들을 미들웨어(230)로 전달하는 통로 역할을 한다.Thekernel 220 serves as a channel for transmitting various signals including the touch signal sensed by thefirst touch screen 110 or thesecond touch screen 120 to themiddleware 230.

미들웨어(230)는 디스플레이 장치(100)의 동작을 제어하는 각종 소프트웨어 모듈을 포함한다. 도 7에 따르면, 미들웨어(230)는 X11 모듈(230-1), APP 매니저(230-2), 연결 매니저(230-3), 보안 모듈(230-4), 시스템 매니저(230-5), 멀티미디어 프레임워크(230-6), 제1 터치 스크린 UI 프레임워크(230-7), 윈도우 매니저(230-8), 제2 터치 스크린 UI 프레임워크(230-9)을 포함한다.Themiddleware 230 includes various software modules for controlling the operation of thedisplay device 100. [ 7, themiddleware 230 includes an X11 module 230-1, an APP manager 230-2, a connection manager 230-3, a security module 230-4, a system manager 230-5, A multimedia framework 230-6, a first touch screen UI framework 230-7, a window manager 230-8, and a second touch screen UI framework 230-9.

X11 모듈(230-1)은 디스플레이 장치(100)에 구비된 각종 하드웨어들로부터 각종 이벤트 신호를 수신하는 모듈이다. 여기서 이벤트란, 사용자 제스처가 감지되는 이벤트, 시스템 알람(alarm)이 발생하는 이벤트, 특정 프로그램이 실행 또는 종료되는 이벤트 등과 같이 다양하게 설정될 수 있다.The X11 module 230-1 is a module for receiving various event signals from various hardware provided in thedisplay device 100. [ Here, the event can be variously set as an event in which a user gesture is detected, an event in which a system alarm occurs, an event in which a specific program is executed or terminated, and the like.

APP 매니저(230-2)는 저장부(145)에 설치(install)된 각종 애플리케이션(240)의 실행 상태를 관리하는 모듈이다. APP 매니저(230-2)는 X11 모듈(230-1)로부터 애플리케이션 실행 이벤트가 감지되면, 해당 이벤트에 대응되는 애플리케이션을 호출하여 실행시킨다.The APP manager 230-2 is a module for managing the execution status ofvarious applications 240 installed in thestorage unit 145. [ When an application execution event is detected from the X11 module 230-1, the APP manager 230-2 calls and executes an application corresponding to the event.

연결 매니저(230-3)는 유선 또는 무선 네트워크 연결을 지원하기 위한 모듈이다. 연결 매니저(230-3)는 DNET 모듈, UPnP 모듈 등과 같은 다양한 세부 모듈들을 포함할 수 있다.The connection manager 230-3 is a module for supporting a wired or wireless network connection. The connection manager 230-3 may include various detailed modules such as a DNET module, a UPnP module, and the like.

보안 모듈(230-4)은 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 모듈이다.The security module 230-4 is a module that supports certification for hardware, permission permission, and secure storage.

시스템 매니저(230-5)는 디스플레이 장치(100) 내의 각 구성요소들의 상태를 모니터링하고, 그 모니터링 결과를 타 모듈들에게 제공한다. 가령, 배터리 잔량이 부족하거나, 에러가 발생하는 경우, 통신 연결 상태가 끊어지는 경우 등이 발생하면 시스템 매니저(230-5)는 그 모니터링 결과를 제1 터치 스크린 UI 프레임워크(230-7)나 제2 터치 스크린 UI 프레임워크(230-9)로 제공하여 알림 메시지나 알림 음을 출력할 수 있다.The system manager 230-5 monitors the status of each component in thedisplay device 100 and provides the monitoring result to other modules. For example, when the remaining battery level is low, an error occurs, a communication connection state is lost, or the like, the system manager 230-5 transmits the monitoring result to the first touch screen UI framework 230-7 And provides it to the second touch screen UI framework 230-9 to output a notification message or a notification sound.

멀티미디어 프레임워크(230-6)는 디스플레이 장치(100)에 저장되어 있거나, 외부 소스로부터 제공되는 멀티미디어 컨텐츠를 재생하기 위한 모듈이다. 멀티미디어 프레임워크(230-6)는 플레이어 모듈, 캠코더 모듈, 사운드 처리 모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 컨텐츠를 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행할 수 있다.The multimedia framework 230-6 is a module for reproducing the multimedia contents stored in thedisplay device 100 or provided from an external source. The multimedia framework 230-6 may include a player module, a camcorder module, a sound processing module, and the like. Accordingly, various multimedia contents can be reproduced to generate and reproduce a screen and sound.

제1 터치 스크린 UI 프레임워크(230-7)는 제1 터치 스크린(110)에 표시할 각종 UI를 제공하기 위한 모듈이고, 제2 터치 스크린 UI 프레임워크(230-9)는 제2 터치 스크린(230-9)에 표시할 각종 UI를 제공하기 위한 모듈이다. 제1 터치 스크린 UI 프레임워크(230-7) 및 제2 터치 스크린 UI 프레임워크(230-9)는 각종 오브젝트를 구성하는 이미지 합성기(Image Compositor module), 오브젝트가 표시될 좌표를 산출하는 좌표 합성기, 구성된 오브젝트를 산출된 좌표에 렌더링하는 렌더링 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다.The first touch screen UI framework 230-7 is a module for providing various UIs to be displayed on thefirst touch screen 110 and the second touch screen UI framework 230-9 is a module for providing various UIs to be displayed on the second touch screen 230-9). The first touch screen UI framework 230-7 and the second touch screen UI framework 230-9 may include an image composer module for composing various objects, a coordinate synthesizer for calculating coordinates to be displayed on the object, A rendering module for rendering the configured object at the calculated coordinates, a 2D / 3D UI toolkit for providing a tool for constructing a UI in 2D or 3D form, and the like.

윈도우 매니저(230-8)는 사용자의 신체나 펜을 이용한 터치 이벤트나 기타 입력 이벤트를 감지할 수 있다. 윈도우 매니저(230-8)는 이러한 이벤트가 감지되면 제1 터치 스크린 UI 프레임워크(230-7) 또는 제2 터치 스크린 UI 프레임워크(230-9)로 이벤트 신호를 전달하여, 이벤트에 대응되는 동작을 수행하도록 한다.The window manager 230-8 can detect a touch event or other input event using the user's body or pen. The window manager 230-8 transmits an event signal to the first touch screen UI framework 230-7 or the second touch screen UI framework 230-9 when the event is detected, .

그 밖에도, 사용자가 화면을 터치 및 드래그하는 경우, 그 드래그 궤적에 따라 라인을 드로잉하기 위한 필기 모듈이나, 감지부(130)에서 감지된 초음파 센서 값을 기초로 사용자 위치를 계산하는 위치 산출 모듈이나, 촬상부(미도시)에서 촬상된 사용자 이미지에서 사용자 시선 방향을 계산하기 위한 시선 산출 모듈 등과 같은 다양한 프로그램 모듈이 저장될 수도 있다.In addition, when the user touches and drags the screen, a writing module for drawing a line according to the drag trajectory, a position calculating module for calculating a user position based on the ultrasonic sensor value sensed by thesensing unit 130 , A line-of-sight calculating module for calculating the direction of the user's line of sight in the user image picked up by the image pickup unit (not shown), and the like.

애플리케이션 모듈(240)은 다양한 기능을 지원하기 위한 애플리케이션들(240-1 ~ 240-n)을 포함한다. 예를 들어, 내비게이션 프로그램 모듈, 게임 모듈, 전자 책 모듈, 달력 모듈, 알람 관리 모듈 등과 같은 다양한 서비스를 제공하기 위한 프로그램 모듈을 포함할 수 있다. 이러한 애플리케이션들은 디폴트로 설치되어 있을 수도 있고, 사용자가 사용 과정에서 임의로 설치하여 사용할 수도 있다. CPU는 오브젝트가 선택되면, 애플리케이션 모듈(240)을 이용하여 선택된 오브젝트에 대응되는 애플리케이션을 실행시킬 수 있다.Theapplication module 240 includes applications 240-1 to 240-n for supporting various functions. For example, a program module for providing various services such as a navigation program module, a game module, an electronic book module, a calendar module, an alarm management module, and the like. These applications may be installed by default or may be installed and used arbitrarily by the user during use. When the object is selected, the CPU can execute the application corresponding to the selected object by using theapplication module 240. [

도 7에 표시된 소프트웨어 구조는 일 예에 불과하므로, 반드시 이에 한정되어야 하는 것은 아니다. 따라서, 필요에 따라 일부가 생략 또는 변형되거나, 추가될 수도 있음은 물론이다. 가령, 저장부(145)에는 각종 센서들에서 센싱된 신호들을 분석하기 위한 센싱 모듈이나, 메신저 프로그램, SMS(Short Message Service) & MMS(Multimedia Message Service) 프로그램, 이메일 프로그램 등과 같은 메시징 모듈, 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈, 웹 브라우저 모듈 등과 같이 다양한 프로그램들이 추가로 마련될 수도 있다.The software structure shown in Fig. 7 is merely an example, and is not necessarily limited to this. Therefore, it goes without saying that parts may be omitted, modified, or added as necessary. For example, thestorage unit 145 may include a sensing module for analyzing signals sensed by various sensors, a messaging module such as a messenger program, an SMS (Short Message Service) & MMS (Multimedia Message Service) program, (Call Info Aggregator) program module, a VoIP module, a web browser module, and the like may be additionally provided.

한편, 상술한 바와 같이 디스플레이 장치(100)는 휴대폰, 태블릿 PC, 랩탑 PC, PDA, MP3 플레이어, 전자 액자 장치, TV, PC, 키오스크 등과 같은 다양한 유형의 장치로 구현될 수 있다. 따라서, 도 6 및 도 7에서 설명한 구성은, 디스플레이 장치(100)의 종류에 따라 다양하게 변형될 수 있다.Meanwhile, as described above, thedisplay device 100 may be implemented in various types of devices such as a mobile phone, a tablet PC, a laptop PC, a PDA, an MP3 player, an electronic frame device, a TV, a PC, a kiosk, 6 and 7 may be modified in various ways according to the type of thedisplay device 100. [

이상에서 설명한 바와 같이, 디스플레이 장치(100)는 다양한 형태 및 구성으로 구현될 수 있다. 디스플레이 장치(100)의 제어부(140)는 실시 예에 따라 다양한 사용자 인터렉션을 지원할 수 있다.As described above, thedisplay device 100 can be implemented in various forms and configurations. Thecontroller 140 of thedisplay device 100 may support various user interactions according to an embodiment.

이하에서는, 본 발명의 다양한 실시 예에 따른 사용자 인터렉션 방법에 대하여 구체적으로 설명한다.Hereinafter, a user interaction method according to various embodiments of the present invention will be described in detail.

도 8은 제1 터치 스크린과 제2 터치 스크린의 배치 형태에 따른 다양한 인터렉션의 예를 설명하기 위한 도면이다.8 is a view for explaining an example of various interactions according to the arrangement form of the first touch screen and the second touch screen.

도 8을 참조하면, 제1 터치 스크린(110)과 제2 터치 스크린(120)의 배치 형태는 크게 3가지로 구분될 수 있다. 구체적으로, 제2 터치 스크린(120)이 제1 터치 스크린(110) 상에 배치되는 제1 배치 형태와, 제2 터치 스크린(120)과 제1 터치 스크린(110)이 일부 겹쳐서 배치되는 제2 배치 형태와, 제1 터치 스크린(110)과 제2 터치 스크린(120)이 상호 겹쳐지지 않고 펼쳐지는 제3 배치 형태이다.Referring to FIG. 8, the arrangement of thefirst touch screen 110 and thesecond touch screen 120 can be roughly classified into three types. Specifically, a first arrangement in which thesecond touch screen 120 is disposed on thefirst touch screen 110 and a second arrangement in which thesecond touch screen 120 and thesecond touch screen 110 are partially overlapped, And a third arrangement in which thefirst touch screen 110 and thesecond touch screen 120 are unfolded without being overlapped with each other.

이하에서는 먼저, 제1 배치 형태에서 가능한 인터렉션을 설명한다.First, the possible interactions in the first arrangement form will be described below.

제1 터치 스크린(110)과 제2 터치 스크린(120)이 겹쳐지면, 제1 터치 스크린에 대해 터치는 불가능하다. 따라서, 사용자는 제2 터치 스크린(120)에 대해 터치 인터렉션이 가능하다. 이러한 인터렉션을 이하에서는 제1 인터렉션 방식이라고 지칭한다. 제1 인터렉션의 구체적인 동작에 대해서는 도 9 내지 도 13을 참조하여 후술한다.When thefirst touch screen 110 and thesecond touch screen 120 are overlapped, a touch to the first touch screen is impossible. Thus, the user is enabled to perform a touch interaction with thesecond touch screen 120. Such an interaction is referred to as a first interaction method in the following. The specific operation of the first interaction will be described later with reference to Figs. 9 to 13. Fig.

그리고 제2 터치 스크린(120)은 제1 터치 스크린(110) 상에서 슬라이딩할 수 있는바, 본 실시 예에서는 제2 터치 스크린(120)의 슬라이딩을 인터렉션으로 이용한다.Thesecond touch screen 120 can slide on thefirst touch screen 110, and in this embodiment, the sliding of thesecond touch screen 120 is used as an interaction.

한편, 이러한 슬라이딩은 제2 터치 스크린의 터치 여부로 구분될 수 있는데, 즉, 사용자는 제2 터치 스크린 영역 이외의 영역을 터치 또는 그랩에 의하여 제2 터치 스크린을 슬라이딩할 수 있을 뿐만 아니라, 제2 터치 스크린을 터치하여 슬라이딩할 수 있다. 이러한 터치 및 슬라이딩 인터렉션 방식을 이하에서 제2 인터렉션 방식이라고 지칭한다. 그리고 이러한 제2 인터렉션 방식에 대해서는 도 14 내지 도 23을 참조하여 후술한다.That is, the user can slide the second touch screen by touching or grabbing the area other than the second touch screen area, You can touch the touch screen to slide it. This touch and sliding interaction scheme will be referred to as a second interaction scheme hereinafter. Such a second interaction method will be described later with reference to FIG. 14 to FIG.

한편, 제2 터치 스크린의 터치 없이 슬라이딩 방식을 이하에서는 제3 인터렉션 방식이라고 지칭한다. 이러한 제3 인터렉션 방식에 대해서는 도 24 및 도 25를 참조하여 자세히 후술한다.On the other hand, the sliding method without touching the second touch screen will be referred to as a third interaction method hereinafter. Such a third interaction method will be described in detail later with reference to FIG. 24 and FIG.

또한, 사용자는 제2 터치 슬라이드를 살짝 슬라이딩하였다가 다시 겹쳐지게 하는 슬라이딩을 수행할 수 있다. 이러한 인터렉션을 제4 인터렉션 방식이라고 지칭한다.In addition, the user can perform sliding to slightly slide the second touch slide and then to overlap again. This interaction is referred to as a fourth interaction scheme.

이하에서는 제2 배치 형태에서의 가능한 인터렉션을 설명한다.The following describes possible interactions in a second configuration.

사용자는 경우에 따라 제1 터치 스크린(110)과 제2 터치 스크린(120)을 일부 겹쳐 놓고 사용할 수 있다. 이때, 사용자는 제1 인터렉션 내지 제4 인터렉션 방식을 제2 배치 형태에서도 가능하다. 이러한 배치 형태에서의 구체적인 인터렉션에 대해서는 도 43을 참조하여 후술한다.The user can use thefirst touch screen 110 and thesecond touch screen 120 in a partially overlapping manner. At this time, the user can perform the first to fourth interaction schemes in the second arrangement. Specific interactions in this arrangement will be described later with reference to FIG.

한편, 제1 터치 스크린과 제2 터치 스크린이 일부 겹쳐진 상태에서는 앞서 제4 인터렉션은 두 개로 구분될 수 있다. 즉, 겹쳐지는 방향으로 이동 이후의 펼쳐지는 방향의 이동과 펼쳐지는 방향의 이동 이후에 겹쳐지는 방향으로 이동이다. 구현시에는 두 개의 인터렉션을 하나로 취급할 수 있으며, 구분하여 이용할 수도 있다.Meanwhile, when the first touch screen and the second touch screen are partially overlapped, the fourth interaction may be divided into two. That is, the movement in the overlapping direction after the movement in the overlapping direction and the movement in the overlapping direction after the movement in the unfolding direction. In implementation, two interactions can be treated as one, and can be used separately.

그리고 이하에서는 제3 배치 형태에서의 가능한 인터렉션을 설명한다.The following describes the possible interactions in the third batch mode.

제1 터치 스크린(110)과 제2 터치 스크린이 펼쳐진 상태에서 사용자는 제1 터치 스크린 및 제2 터치 스크린 모두에 대해 터치가 가능하다. 이러한 상태에서 사용자는 제1 터치 스크린과 제2 터치 스크린 각각에 대한 터치 제스처뿐만 아니라, 두 터치 스크린을 가로지르는 터치 제스처도 가능하다. 이러한 예에 대해서는 도 39를 참조하여 후술한다.In a state in which thefirst touch screen 110 and the second touch screen are unfolded, the user can touch both the first touch screen and the second touch screen. In this state, the user can use a touch gesture for both the first touch screen and the second touch screen, as well as a touch gesture across the two touch screens. Such an example will be described later with reference to FIG.

그리고 제2 터치 스크린은 제1 터치 스크린 상에서 슬라이딩할 수 있는바, 사용자는 펼쳐진 제2 터치 스크린을 터치하여 제1 터치 스크린과 겹쳐지도록 하거나, 제2 터치 스크린 이외의 영역을 이용하여 제1 터치 스크린과 겹쳐지도록 할 수 있다. 이러한 인터렉션을 이용하는 방식에 대해서는 도 40 내지 도 42를 참조하여 후술한다.The second touch screen can slide on the first touch screen. The user touches the expanded second touch screen to overlap the first touch screen, or the first touch screen is overlapped with the first touch screen, Can be overlapped with each other. A method of using such an interaction will be described later with reference to FIGS. 40 to 42. FIG.

도 9 내지 도 13은 제1 터치 스크린과 제2 터치 스크린이 겹쳐진 상태에서의 제1 인터렉션의 다양한 실시 예를 설명하기 위한 도면이다.9 to 13 are views for explaining various embodiments of the first interaction in a state where the first touch screen and the second touch screen are overlapped.

구체적으로, 도 9는 제1 배치 형태에서 알람 이벤트가 발생한 경우의 동작을 설명하기 위한 도면이다.Specifically, FIG. 9 is a diagram for explaining an operation when an alarm event occurs in the first arrangement mode.

도 9a를 참조하면, 제1 터치 스크린(910)상에 제2 터치 스크린(920)이 겹쳐진 상태로 배치된다. 이와 같은 배치 상태에서, 문자 등이 수신되는 이벤트가 발생하면, 해당 이벤트에 대응되는 알람 메시지는 제2 터치 스크린(920)에 표시될 수 있다.Referring to FIG. 9A, asecond touch screen 920 is disposed on thefirst touch screen 910 in a superimposed manner. In this arrangement, when an event is received in which a character or the like is received, the alarm message corresponding to the event can be displayed on thesecond touch screen 920.

이때, 제1 터치 스크린(910)에는 별도의 정보가 표시되지 않고 있지만, 상기 이벤트가 발생하기 전에 사용자가 디스플레이 장치(100)에 대한 조작을 수행 중이었다면, 해당 조작에 대응되는 UI 요소가 제1 터치 스크린(910) 상에 표시될 수 있다. 즉, 제1 터치 스크린(910)상에서는 기존 조작에 대응되는 UI 요소가 표시된 상태에서, 알람 메시지는 제2 터치 스크린(920)상에 표시될 수 있다.At this time, although no additional information is displayed on thefirst touch screen 910, if the user is performing an operation on thedisplay device 100 before the event occurs, the UI element corresponding to the operation is displayed on the first Can be displayed on thetouch screen 910. [ That is, on thefirst touch screen 910, an alarm message may be displayed on thesecond touch screen 920 in a state in which a UI element corresponding to an existing operation is displayed.

이때, 사용자가 제2 터치 스크린(920)상에 표시된 알람 메시지(925)를 터치하면, 제2 터치 스크린(940)은 알람 메시지를 표시하는 UI 요소가 사라지고, 해당 알람 메시지에 대응되는 UI 요소(도시된 예에서는 문자 메시지를 처리하는 애플리케이션의 UI 화면)이 제1 터치 스크린(930)에 표시될 수 있다.At this time, if the user touches thealarm message 925 displayed on thesecond touch screen 920, the UI element for displaying the alarm message disappears on thesecond touch screen 940 and the UI element corresponding to the alarm message The UI screen of the application that processes the text message) in the illustrated example may be displayed on thefirst touch screen 930.

한편, 본 실시 예에서는 알람 메시지(925)가 제2 터치 스크린(920)에 표시되는 것으로 설명하였지만, 구현시에 알람 메시지(925)는 제1 터치 스크린(910)에 표시될 수도 있다.In this embodiment, thealarm message 925 is displayed on thesecond touch screen 920. However, thealarm message 925 may be displayed on thefirst touch screen 910 when thealarm message 925 is displayed.

도 10은 언락(unlock) 상태에서 터치 제스처가 감지된 경우의 동작을 설명하기 위한 도면이다.FIG. 10 is a view for explaining an operation when a touch gesture is detected in an unlocked state.

도 10a를 참조하면, 제1 터치 스크린(910)상에 제2 터치 스크린(920)이 겹쳐진 상태로 배치된다. 그리고 현재 디스플레이 장치는 언락된 상태여서, 언락 상태에 대응되는 UI 요소(언락 배경)를 제1 터치 스크린(1010) 상에 표시할 수 있다. 이때, 제2 터치 스크린(1020)은 별도의 UI 요소를 표시하지 않는다.Referring to FIG. 10A, asecond touch screen 920 is disposed on thefirst touch screen 910 in a superposed state. The current display device is in an unlocked state, and a UI element (unlocked background) corresponding to the unlocked state can be displayed on thefirst touch screen 1010. At this time, thesecond touch screen 1020 does not display a separate UI element.

이때, 사용자가 언락을 해제하기 위하여, 제2 터치 스크린(1020) 상에 터치 제스처를 입력하면, 도 10b와 같이 제1 터치 스크린(1030) 상의 이미지는 가변되고, 도 10c와 같이 최종적으로 제1 터치 스크린(1060)은 홈 화면을 표시할 수 있다. 여기서, 홈 화면이란, 디스플레이 장치(100)에 등록된 복수의 배경 화면 중 사용자 기선택한 배경 화면이다. 여기서 배경 화면에는 애플리케이션을 선택하여 구동할 수 있는 아이콘이 배치될 수 있으며, 특정 애플리케이션에서 제공하는 정보가 표시되는 위젯이 배치될 수도 있다.When the user inputs a touch gesture on thesecond touch screen 1020 to release the unlock, the image on thefirst touch screen 1030 is changed as shown in FIG. 10B, and finally, Thetouch screen 1060 can display a home screen. Here, the home screen is a user-selected background screen among a plurality of background screens registered in thedisplay device 100. The background screen may be provided with an icon for selecting and operating an application, and a widget for displaying information provided by a specific application may be disposed.

도 11은 필터링 동작을 설명하기 위한 도면이다.11 is a diagram for explaining a filtering operation.

도 11a를 참조하면, 사용자는 지도 애플리케이션을 구동하고, 제1 터치 스크린(1110)은 지도 화면을 표시할 수 있다. 이때, 사용자는 지도 화면 상에서 특정 필터링 정보를 입력할 수 있다. 예를 들어, 도시된 바와 같이 주변 맛집 정보의 제공을 요청하면, 도 11b와 같이 지도 상의 맛집의 위치가 제2 터치 스크린(1040) 상에 표시될 수 있다. 구체적으로, 제1 터치 스크린(1030)은 지속적으로 동일한 지도 화면을 표시하고, 사용자 요청에 따른 필터링 정보는 제2 터치 스크린(1040)상에 표시될 수 있다.Referring to FIG. 11A, a user may operate a map application and afirst touch screen 1110 may display a map screen. At this time, the user can input specific filtering information on the map screen. For example, as shown in FIG. 11B, if a user requests to provide nearby restaurant information, the location of the restaurant on the map may be displayed on thesecond touch screen 1040, as shown in FIG. 11B. Specifically, thefirst touch screen 1030 continuously displays the same map screen, and the filtering information according to a user request may be displayed on thesecond touch screen 1040.

도 12는 색상 필터링 동작을 설명하기 위한 도면이다.12 is a diagram for explaining a color filtering operation.

도 12를 참조하면, 제1 터치 스크린(1210)은 특정 이미지를 표시할 수 있다. 이때, 사용자는 해당 특정 이미지의 특정 영역을 선택할 수 있으며, 이때, 제2 터치 스크린(1220)은 해당 영역에 대응되는 색상 부분에 해당하는 레이아웃을 표시할 수 있다. 예를 들어, 사용자가 빨간색 영역을 선택하였다면, 제2 터치 스크린은 해당 이미지의 빨강색에 대응되는 레이아웃 정보를 표시할 수 있다.Referring to FIG. 12, thefirst touch screen 1210 may display a specific image. At this time, the user can select a specific area of the specific image. At this time, thesecond touch screen 1220 can display a layout corresponding to a color part corresponding to the corresponding area. For example, if the user selects the red area, the second touch screen may display the layout information corresponding to the red color of the corresponding image.

도 13은 전화 수신과 관련된 인터렉션을 설명하기 위한 도면이다.13 is a diagram for explaining an interaction related to telephone reception.

도 13을 참조하면, 제1 터치 스크린(1310)상에 제2 터치 스크린(1320)이 겹쳐진 상태로 배치된다. 이와 같은 배치 상태에서, 전화 수신과 같은 이벤트가 발생하면, 해당 이벤트에 대응되는 알람 메시지는 제2 터치 스크린(1320)에 표시될 수 있다. 이때, 사용자가 전화를 받을 수 없는 상황이어서, 수신 거부를 나타내는 터치 제스처(예를 들어, 두 터치 영역이 멀어지는 핀치아웃 제스처)가 감지되면, 제어부(140)는 전화가 온다는 알람 메시지의 표시를 중지하고, 부재중 전화가 있었음을 알리는 메시지를 제1 터치 스크린(1330)에 표시할 수 있다.Referring to FIG. 13, asecond touch screen 1320 is disposed on thefirst touch screen 1310 in a superposed state. In this arrangement, when an event such as a telephone call occurs, an alarm message corresponding to the event may be displayed on thesecond touch screen 1320. [ At this time, if the touch gesture indicating the rejection of the call (for example, the pinch-out gesture in which the two touch areas are distant) is detected because the user can not receive the call, thecontrol unit 140 stops displaying the alarm message And display a message on thefirst touch screen 1330 indicating that there is a missed call.

이 상황에서, 사용자가 전화 연결을 나타내는 터치 제스처(예를 들어, 두 터치 영역이 가까워지는 핀치-인 제스처)가 감지되면, 제어부(140)는 부재중 전화에 대응되는 전화 번호로 전화를 거는 액션을 수행하고, 전화 통화와 관련된 UI 요소를 제2 터치 스크린(1390)상에 표시할 수 있다.In this situation, when the user detects a touch gesture indicating a telephone connection (for example, a pinch-in gesture in which the two touch areas approach each other), thecontrol unit 140 performs an action of calling the telephone number corresponding to the missed call And display the UI elements associated with the phone call on the second touch screen 1390. [

도 14는 음악 재생 제어와 관련된 인터렉션을 설명하기 위한 도면이다.14 is a diagram for explaining an interaction related to music reproduction control.

도 14를 참조하면, 제1 터치 스크린(1410) 상에 음악 재생 제어와 관련된 UI 요소가 표시될 수 있다. 이때, 제2 터치 스크린(1420)에는 별도의 UI 요소가 표시되지 않는다.Referring to FIG. 14, a UI element related to music reproduction control may be displayed on thefirst touch screen 1410. At this time, a separate UI element is not displayed on thesecond touch screen 1420.

이러한 상태에서 사용자가 제2 터치 스크린(1440) 상에 기설정된 방향으로 스크롤 하는 터치 제스처를 입력하면, 제어부(140)는 제2 터치 스크린(1440)에 재생 리스트가 사용자의 스크롤 정도에 대응되게 표시되도록 할 수 있다.In this state, if the user inputs a touch gesture to scroll in a predetermined direction on thesecond touch screen 1440, thecontrol unit 140 causes thesecond touch screen 1440 to display the play list in correspondence with the degree of scroll of the user .

한편, 사용자의 스크롤이 최대치에 이르면, 제어부(140)는 제2 터치 스크린(1440)의 모든 영역에 재생 리스트를 표시하거나, 일부에는 재생 리스트 나머지 영역에는 이퀄라이저 설정을 표시할 수도 있다. 이때, 제1 터치 스크린(1450)은 기존과 동일한 UI 요소를 지속적으로 표시할 수 있다. 그러나 앞쪽에 배치되는 제2 터치 스크린(1460)의 화면에 의하여 제1 터치 스크린(1450) 상에 표시되는 UI 요소는 사용자에게 제한적으로 보이거나, 보여지지 않을 수 있다.On the other hand, when the scroll of the user reaches a maximum value, thecontroller 140 may display the play list on all areas of thesecond touch screen 1440 or may display an equalizer setting on the rest of the play list. At this time, thefirst touch screen 1450 can continuously display the same UI element as the existing UI element. However, the UI element displayed on thefirst touch screen 1450 by the screen of thesecond touch screen 1460 arranged in the front may be limited to the user or may not be shown.

도 15는 제2 터치 스크린을 핫키로 이용하는 실시 예를 설명하기 위한 도면이다.15 is a diagram for explaining an embodiment in which the second touch screen is used as a hot key.

도 15를 참조하면, 사용자는 디스플레이 장치(100)를 이용하여 전화 통화중이며, 해당 전화 통화 기능과 관련된 UI 요소가 제1 터치 스크린(1510)에 표시될 수 있다.Referring to FIG. 15, a user is in a telephone conversation using thedisplay device 100, and a UI element related to the telephone conversation function may be displayed on thefirst touch screen 1510.

통화 과정 중에 사용자의 일정을 확인하고 싶은 경우, 사용자는 제2 터치 스크린(1520)이 기설정된 영역(1535)을 터치(또는 롱 터치)할 수 있다. 이 경우, 제어부(140)는 기등록된 애플리케이션(스케줄 애플리케이션)의 화면이 제2 터치 스크린 (1540) 상에 표시되도록 할 수 있으며, 해당 사용자 터치 제스처가 중지되면 제2 터치 스크린의 표시 동작이 중지되도록 할 수 있다. 여기서 롱 터치란 특정 영역을 기설정된 시간(예를 들어, 2초 이상) 지속적으로 터치하는 것을 의미한다.If the user wants to check the schedule of the user during the call process, the user can touch (or touch) the predeterminedarea 1535 with thesecond touch screen 1520. In this case, thecontrol unit 140 may cause the screen of the previously registered application (schedule application) to be displayed on thesecond touch screen 1540, and when the corresponding user touch gesture is stopped, . Here, the long touch means to continuously touch a specific area for a preset time (for example, 2 seconds or more).

한편, 도시된 실시 예에서는 일정 애플리케이션이 제2 터치 스크린 상에 표시되는 것으로 도시하였지만, 구현시에는 일정 애플리케이션 이외의 애플리케이션이 등록되어 있을 수 있으며, 구동 중인 애플리케이션의 종류에 따라 다른 애플리케이션이 구동될 수 있다. 예를 들어, 통화 과정 중에 핫키가 입력되면 일정 애플리케이션의 화면이 표시되고, 사진 촬영 중에 핫키가 입력되면 SNS 애플리케이션의 화면이 표시될 수도 있다.Meanwhile, although a certain application is displayed on the second touch screen in the illustrated embodiment, an application other than a certain application may be registered at the time of implementation, and another application may be driven have. For example, when a hot key is input during a call process, a screen of a certain application is displayed, and when a hot key is input during photo shooting, a screen of the SNS application may be displayed.

또한, 구현시에는 복수의 영역에 대해서 서로 다른 핫키를 등록할 수도 있다. 예를 들어, 제2 터치 스크린의 우측면이 롱 터치되면 제1 애플리케이션이 구동되어 표시되고, 제2 터치 스크린의 좌측면이 롱 터치되면 제2 애플리케이션이 구동되어 표시될 수도 있다.In implementation, different hot keys may be registered for a plurality of areas. For example, when the right side of the second touch screen is long-touched, the first application is driven and displayed, and when the left side of the second touch screen is long-touched, the second application may be driven and displayed.

도 16 내지 도 23은 제1 터치 스크린과 제2 터치 스크린이 겹쳐진 상태에서 제2 인터렉션의 다양한 실시 예를 설명하기 위한 도면들이다.FIGS. 16 to 23 are views for explaining various embodiments of the second interaction in a state where the first touch screen and the second touch screen are overlapped.

구체적으로, 도 16은 알림이 없는 경우의 제2 인터렉션을 설명하기 위한 도면이다.Specifically, FIG. 16 is a diagram for explaining the second interaction when there is no notification.

도 16을 참조하면, 제1 터치 스크린(1610)상에 제2 터치 스크린(1620)이 겹쳐진 상태로 배치된다. 이와 같은 배치 상태에서, 사용자는 제2 터치 스크린(1620)의 일부 영역을 터치한 상태에서 제2 터치 스크린(1620)이 펼쳐지는 슬라이딩을 수행할 수 있다.Referring to FIG. 16, asecond touch screen 1620 is disposed on thefirst touch screen 1610 in a superposed state. In this arrangement, the user can perform a sliding operation on thesecond touch screen 1620 while touching a part of thesecond touch screen 1620.

이 경우, 제1 터치 스크린(1630)과 제2 터치 스크린(1640) 각각에 개별적인 홈 화면을 표시할 수 있다.In this case, individual home screens can be displayed on thefirst touch screen 1630 and thesecond touch screen 1640, respectively.

한편, 도시된 예에서 제1 터치 스크린(1630)과 제2 터치 스크린(1640)에서의 표시 형태가 다른 것으로 도시하였지만, 디스플레이 장치(100)가 복수의 화면 페이지를 갖는 경우, 제1 터치 스크린(1630)에는 대표 화면 페이지(예를 들어, 홈 화면)를 표시하고, 제2 터치 스크린(1640)에는 대표 화면 페이지와 인접한 다른 화면 페이지를 표시할 수 있다.Although thefirst touch screen 1630 and thesecond touch screen 1640 have different display forms in the illustrated example, when thedisplay device 100 has a plurality of screen pages, thefirst touch screen 1630 1630 may display a representative screen page (e.g., a home screen) and thesecond touch screen 1640 may display another screen page adjacent to the representative screen page.

도 17은 알림이 있는 경우의 제2 인터렉션을 설명하기 위한 도면이다.17 is a diagram for explaining a second interaction in the case where there is a notification.

도 17을 참조하면, 제1 터치 스크린(1710)상에 제2 터치 스크린(1720)이 겹쳐진 상태로 배치된다. 이와 같은 배치 상태에서, 문자 등이 수신되는 이벤트가 발생하면, 해당 이벤트에 대응되는 알람 메시지(1725)는 제2 터치 스크린(1720)에 표시될 수 있다.Referring to FIG. 17, asecond touch screen 1720 is disposed on thefirst touch screen 1710 in a superposed state. In such an arrangement, when an event is received in which a character or the like is received, analarm message 1725 corresponding to the event can be displayed on thesecond touch screen 1720.

이때, 사용자가 제2 터치 스크린(1710)상에 표시된 알람 메시지(1725)를 터치하면서 제2 터치 스크린(1720)이 제1 터치 스크린과 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행하면, 제어부(140)는 제1 터치 스크린(1730)에는 홈 화면을 표시하고, 제2 터치 스크린(1740)에는 알람 메시지에 대응되는 애플리케이션의 UI를 표시할 수 있다. 예를 들어, 문자 송수신과 관련된 애플리케이션의 UI 화면을 제2 터치 스크린상에 표시할 수 있다.At this time, when the user touches thealarm message 1725 displayed on thesecond touch screen 1710 and performs the movement (i.e., sliding) of thesecond touch screen 1720 in such a manner as to be spread with the first touch screen, Thefirst touch screen 140 displays a home screen on thefirst touch screen 1730 and the UI of the application corresponding to the alarm message on thesecond touch screen 1740. [ For example, a UI screen of an application related to a character transmission / reception can be displayed on the second touch screen.

도 18은 전화 거는 인터렉션을 설명하기 위한 도면이다.18 is a diagram for explaining a telephone conversation.

도 18을 참조하면, 제1 터치 스크린(1810)상에 제2 터치 스크린(1820)이 겹쳐진 상태로 배치된다. 이때, 제2 터치 스크린(1820)은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린(1810)은 기저장된 연락처 리스트를 표시할 수 있다.Referring to FIG. 18, asecond touch screen 1820 is disposed on thefirst touch screen 1810 in a superposed state. At this time, thesecond touch screen 1820 does not display a separate UI element, and thefirst touch screen 1810 can display the pre-stored contact list.

이때, 사용자는 제2 터치 스크린(1820) 상에 일정 영역을 터치하면서 제2 터치 스크린(1820)이 제1 터치 스크린(1810)과 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행할 수 있다. 이 경우, 제어부(140)는 제2 터치 스크린(1820) 상의 터치 영역에 투영되는 제1 터치 스크린(1810)의 UI 요소(특정 사용자의 이름)에 대응되는 이벤트를 수행할 수 있다. 예를 들어, 사용자가 터치한 영역에 투영되는 연락처로 전화를 거는 액션을 수행할 수 있다.At this time, the user can perform a movement (i.e., sliding) in which thesecond touch screen 1820 is spread with thefirst touch screen 1810 while touching a predetermined area on thesecond touch screen 1820. In this case, thecontroller 140 may perform an event corresponding to the UI element (name of the specific user) of thefirst touch screen 1810 projected on the touch area on thesecond touch screen 1820. For example, the user can perform an action of calling a contact projected on an area to be touched.

그리고 제어부(140)는 상술한 연락처로 전화하는 동작을 수행하면서, 제1 터치 스크린(1850)은 기존과 동일한 UI 요소가 표시되도록 하고, 제2 터치 스크린(1860)에는 신규 수행되는 액션에 대응되는 UI 요소를 표시할 수 있다. 예를 들어, 도 18에 도시된 바와 같이 전화 통화와 관련된 UI 요소가 표시될 수 있다.In addition, thecontroller 140 calls the above-mentioned contact, while thefirst touch screen 1850 displays the same UI element as the existingtouch screen 1850, and thesecond touch screen 1860 displays a corresponding UI elements can be displayed. For example, a UI element associated with a phone call may be displayed, as shown in FIG.

한편, 이러한 인터렉션은 전화 통화 애플리케이션 이외의 다양한 애플리케이션에서도 적용될 수 있다.On the other hand, such an interaction can be applied to various applications other than a telephone call application.

도 19는 SNS 애플리케이션에서의 인터렉션을 설명하기 위한 도면이다.19 is a diagram for explaining an interaction in an SNS application.

도 19를 참조하면, 제1 터치 스크린(1910)상에 제2 터치 스크린(1920)이 겹쳐진 상태로 배치된다. 이때, 제2 터치 스크린(1920)은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린(1910)은 SNS 애플리케이션과 관련된 UI 요소를 표시할 수 있다.Referring to FIG. 19, asecond touch screen 1920 is disposed on thefirst touch screen 1910 in a superposed state. At this time, thesecond touch screen 1920 does not display a separate UI element, and thefirst touch screen 1910 can display UI elements related to the SNS application.

이때, 사용자는 제2 터치 스크린(1920) 상에 일정 영역(예를 들어, 특정 사용자의 SNS 주소 영역)을 터치하면서 제2 터치 스크린(1920)이 제1 터치 스크린(1910)과 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행할 수 있다. 이 경우, 제어부(140)는 2 터치 스크린(1920) 상의 터치 영역에 투영되는 제1 터치 스크린(1910)의 UI 요소(SNS 주소)에 대응되는 이벤트(해당 SNS 주소로의 접속)를 수행할 수 있다. 예를 들어, 사용자가 터치한 영역에 투영되는 SNS 주소를 접속하는 액션을 수행할 수 있다.At this time, the user touches a certain area (for example, the SNS address area of a specific user) on thesecond touch screen 1920 while thesecond touch screen 1920 is spread with the first touch screen 1910 (I.e., sliding). In this case, thecontroller 140 can perform an event (connection to the corresponding SNS address) corresponding to the UI element (SNS address) of thefirst touch screen 1910 projected on the touch area on the twotouch screen 1920 have. For example, the user can perform an action of connecting an SNS address projected in an area touched by the user.

이에 따라, 제1 터치 스크린(1930)은 기존과 동일한 UI 요소가 표시되도록 하고, 제2 터치 스크린(1940)에는 접속된 SNS 주소의 페이지를 표시할 수 있다.Accordingly, thefirst touch screen 1930 displays the same UI element as the existing UI screen, and thesecond touch screen 1940 displays a page of the connected SNS address.

도 20은 애플리케이션의 메뉴 확장 인터렉션을 설명하기 위한 도면이다.20 is a diagram for explaining menu extension interaction of an application.

도 20을 참조하면, 제1 터치 스크린(2010)상에 제2 터치 스크린(2020)이 겹쳐진 상태로 배치된다. 이때, 제2 터치 스크린(2020)은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린(2010)은 특정 애플리케이션의 메뉴 화면을 UI 요소로 표시할 수 있다.Referring to FIG. 20, asecond touch screen 2020 is disposed on thefirst touch screen 2010 in a superposed state. At this time, thesecond touch screen 2020 does not display a separate UI element, and thefirst touch screen 2010 can display a menu screen of a specific application as a UI element.

이때, 사용자는 제2 터치 스크린(2020) 상에 일정 영역(예를 들어, 특정 메뉴)을 터치하면서 제2 터치 스크린(2020)이 제1 터치 스크린(2010)과 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행할 수 있다. 이 경우, 제어부(140)는 제2 터치 스크린(2020) 상의 터치 영역에 투영되는 제1 터치 스크린(2010)의 UI 요소(특정 메뉴)에 대응되는 이벤트(하위 메뉴 표시)를 수행할 수 있다.At this time, the user may touch a certain area (for example, a specific menu) on thesecond touch screen 2020 while moving thesecond touch screen 2020 in the form of being spread with the first touch screen 2010 (i.e., Sliding) can be performed. In this case, thecontroller 140 may perform an event (sub-menu display) corresponding to the UI element (specific menu) of thefirst touch screen 2010 projected on the touch area on thesecond touch screen 2020. [

예를 들어, 제어부(140)는 제1 터치 스크린(2030)은 기존과 동일한 UI 요소가 표시되도록 하고, 제2 터치 스크린(2040)에는 사용자가 선택한 메뉴의 하위 메뉴들을 UI 요소로 표시할 수 있다.For example, thecontrol unit 140 may display the same UI elements as the existing first touch screen 2030 and may display submenus of the menu selected by the user on the second touch screen 2040 as UI elements .

도 21은 웹 브라우징 인터렉션을 설명하기 위한 도면이다.21 is a diagram for explaining a web browsing interaction.

도 21을 참조하면, 제1 터치 스크린상에 제2 터치 스크린이 겹쳐진 상태로 배치된다. 이때, 제2 터치 스크린은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린은 특정 웹 페이지를 UI 요소로 표시할 수 있다.Referring to FIG. 21, a second touch screen is disposed on the first touch screen in a superimposed manner. At this time, the second touch screen does not display a separate UI element, and the first touch screen can display a specific web page as a UI element.

이때, 사용자는 제2 터치 스크린의 일정 영역(예를 들어, 특정 기사)을 터치하면서 제2 터치 스크린이 제1 터치 스크린과 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행할 수 있다. 이 경우, 제어부(140)는 제2 터치 스크린 상의 터치 영역에 투영되는 제1 터치 스크린의 UI 요소(특정 기사)에 대응되는 이벤트(신규 웹 페이지를 표시)를 수행할 수 있다.At this time, the user can perform a movement (i.e., sliding) such that the second touch screen is spread with the first touch screen while touching a certain area (e.g., a specific article) of the second touch screen. In this case, thecontroller 140 may perform an event (displaying a new web page) corresponding to the UI element (specific article) of the first touch screen projected on the touch area on the second touch screen.

예를 들어, 제어부(140)는 제1 터치 스크린(2110)은 기존과 동일한 UI 요소가 표시되도록 하고, 제2 터치 스크린(2120)에는 사용자가 선택한 기사 주소에 대응되는 웹페이지를 UI 요소로 표시할 수 있다.For example, thecontrol unit 140 displays the same UI element as that of thefirst touch screen 2110, and displays a web page corresponding to the article address selected by the user as a UI element on thesecond touch screen 2120 can do.

도 22는 사진 애플리케이션에서의 인터렉션을 설명하기 위한 도면이다.22 is a diagram for explaining an interaction in a photo application.

도 22를 참조하면, 제1 터치 스크린(2210)상에 제2 터치 스크린(2220)이 겹쳐진 상태로 배치된다. 이때, 제2 터치 스크린(2220)은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린(2210)은 사진 애플리케이션에서 지원하는 기저장된 이미지의 썸네일들을 UI 요소로 표시할 수 있다.Referring to FIG. 22, asecond touch screen 2220 is disposed on thefirst touch screen 2210 in a superimposed manner. At this time, thesecond touch screen 2220 does not display a separate UI element, and thefirst touch screen 2210 can display thumbnails of previously stored images supported by the photo application as UI elements.

이때, 사용자는 제2 터치 스크린(2220) 상에 일정 영역(예를 들어, 특정 썸네일)을 터치하면서 제2 터치 스크린(2220)이 제1 터치 스크린(2210)과 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행할 수 있다. 이 경우, 제어부(140)는 제2 터치 스크린(2220) 상의 터치 영역에 투영되는 제1 터치 스크린(2210)의 UI 요소(특정 썸네일)에 대응되는 이벤트(해당 썸네일에 대응되는 이미지의 표시)를 수행할 수 있다.At this time, the user moves thesecond touch screen 2220 to thefirst touch screen 2210 while moving a certain area (for example, a specific thumbnail) on thesecond touch screen 2220, Sliding) can be performed. In this case, thecontroller 140 displays an event (display of an image corresponding to the thumbnail) corresponding to a UI element (specific thumbnail) of thefirst touch screen 2210 projected on the touch area on thesecond touch screen 2220 Can be performed.

예를 들어, 제어부(140)는 제1 터치 스크린(2230)에 기존과 동일한 썸네일들이 표시되도록 하고, 제2 터치 스크린(2340)에 사용자가 선택한 메뉴의 하위 메뉴들을 UI 요소로 표시되도록 제어할 수 있다.For example, thecontroller 140 controls thefirst touch screen 2230 to display the same thumbnails as the existing ones, and the second touch screen 2340 to display submenus of the menu selected by the user as UI elements have.

도 23은 클립보드 인터렉션을 설명하기 위한 도면이다.23 is a diagram for explaining the clipboard interaction.

도 23을 참조하면, 제1 터치 스크린상에 제2 터치 스크린이 겹쳐진 상태로 배치된다(2310). 이때, 제2 터치 스크린은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린은 특정 웹 페이지를 UI 요소로 표시할 수 있다.Referring to FIG. 23, a second touch screen is disposed on the first touch screen in an overlapped state (2310). At this time, the second touch screen does not display a separate UI element, and the first touch screen can display a specific web page as a UI element.

이때, 사용자는 제2 터치 스크린의 일정 영역(예를 들어, 특정 이미지)을 기설정된 시간 이상 터치한 이후에, 그 터치를 유지한 상태에서 제2 터치 스크린이 제1 터치 스크린과 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행할 수 있다. 이 경우, 제어부(140)는 제2 터치 스크린 상의 터치 영역에 투영되는 제1 터치 스크린의 UI 요소(특정 이미지)에 대응되는 이벤트(이미지 스크랩)를 수행할 수 있다.At this time, after the user touches a predetermined area (for example, a specific image) of the second touch screen for a preset time or longer, the second touch screen is expanded with the first touch screen (I.e., sliding). In this case, thecontroller 140 may perform an event (image scrap) corresponding to the UI element (specific image) of the first touch screen projected on the touch area on the second touch screen.

예를 들어, 제어부(140)는 제1 터치 스크린(2320)은 기존과 동일한 웹 페이지가 표시되도록 하고, 클립 보드를 제2 터치 스크린(2330)에 표시할 수 있다.For example, thecontrol unit 140 may cause thefirst touch screen 2320 to display the same web page as the existing one, and display the clipboard on thesecond touch screen 2330.

도 24 내지 도 25는 제1 터치 스크린과 제2 터치 스크린이 겹쳐진 상태에서 제3 인터렉션의 다양한 실시 예를 설명하기 위한 도면들이다. 구체적으로, 도 24는 내비게이션 기능을 이용하는 경우의 실시 예를 설명하기 위한 도면이다.24 to 25 are views for explaining various embodiments of the third interaction in a state where the first touch screen and the second touch screen are overlapped. 24 is a diagram for explaining an embodiment in which the navigation function is used.

도 24를 참조하면, 제1 터치 스크린상에 제2 터치 스크린이 겹쳐진 상태로 배치된다(2400). 이때, 사용자는 내비게이션 기능을 수행 중인 경우, 제2 터치 스크린은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린은 내비게이션 기능과 관련된 지도를 UI 요소로 표시할 수 있다.Referring to FIG. 24, a second touch screen is disposed on the first touch screen in a superimposed manner (2400). At this time, if the user is performing the navigation function, the second touch screen does not display a separate UI element, and the first touch screen can display the map related to the navigation function as the UI element.

이때, 사용자는 제2 터치 스크린의 터치 없이 제2 터치 스크린이 제1 터치 스크린과 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행할 수 있다. 이 경우, 제어부(140)는 제2 터치 스크린이 증강 현실을 위한 HUD(Head Up display)로 동작하도록 할 수 있다. 예를 들어, 사용자가 디스플레이 장치(100)를 이용하여 내비게이션 기능을 수행중인 경우, 제1 터치 스크린(2420)에는 기존과 동일한 지도가 표시되도록 하고, 길안내를 위한 거리/방향 정보를 제2 터치 스크린(2430) 상에 표시할 수 있다.At this time, the user can perform a movement (i.e., sliding) in which the second touch screen is spread with the first touch screen without touching the second touch screen. In this case, thecontroller 140 may cause the second touch screen to operate as a head up display (HUD) for the augmented reality. For example, when the user is performing the navigation function using thedisplay device 100, the same map as the existing one is displayed on thefirst touch screen 2420, and the distance / And can be displayed on thescreen 2430.

도 25는 증강현실 기능을 이용하는 경우의 실시 예를 설명하기 위한 도면이다.25 is a diagram for explaining an embodiment in which the augmented reality function is used.

도 25를 참조하면, 제1 터치 스크린상에 제2 터치 스크린이 겹쳐진 상태로 배치된다(2500). 이때, 사용자는 SNS 애플리케이션을 이용 중인 경우, 제2 터치 스크린은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린은 SNS 애플리케이션과 관련된 각종 정보를 UI 요소로 표시할 수 있다.Referring to FIG. 25, a second touch screen is disposed on the first touch screen in an overlapped state (2500). At this time, when the user is using the SNS application, the second touch screen does not display a separate UI element, and the first touch screen can display various information related to the SNS application as UI elements.

이때, 사용자는 제2 터치 스크린의 터치 없이 제2 터치 스크린이 제1 터치 스크린과 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행할 수 있다. 이 경우, 제어부(140)는 제1 터치 스크린(2510)에는 기존과 동일한 UI 요소의 표시가 유지된 상태에서, 제2 터치 스크린(2520) 상에 투영되는 현실 세계에 대한 정보를 제2 터치 스크린 상(2520)에 표시할 수 있다. 예를 들어, 사용자의 이동 경로 정보가 기저장된 경우, 제2 터치 스크린(2520) 상에 투영된 장소에 대한 방문 이력 정보를 제2 터치 스크린(2520)에 표시할 수 있다.At this time, the user can perform a movement (i.e., sliding) in which the second touch screen is spread with the first touch screen without touching the second touch screen. In this case, thecontroller 140 controls thefirst touch screen 2510 to display information on the real world projected on thesecond touch screen 2520 in the state where the display of the same UI elements is maintained, (2520). ≪ / RTI > For example, when the moving route information of the user is stored in advance, the history information on the location projected on thesecond touch screen 2520 can be displayed on thesecond touch screen 2520.

이상에서는 제1 터치 스크린과 제2 터치 스크린이 완전히 겹쳐진 상태에서 사용자가 두 터치 스크린이 완전히 펼쳐지도록 하는 것만을 도시하고 설명하였지만, 사용자는 겹쳐진 두 개의 터치 스크린을 완전히 펼치지 않고도 이용할 수도 있다. 이와 같은 예에 대해서는 도 26을 참조하여 후술한다.In the above description, the user fully overlaps the first touch screen and the second touch screen. However, the user may use the two overlapping touch screens without completely expanding the touch screen. Such an example will be described later with reference to Fig.

도 26은 두 터치 스크린의 오버레이 정도에 따른 인터렉션 동작을 설명하기 위한 도면,26 is a view for explaining an interaction operation according to the degree of an overlay of two touch screens;

도 26을 참조하면, 제1 터치 스크린과 제2 터치 스크린은 상호 겹쳐진 상태이고(2610), 제1 터치 스크린에는 동영상 애플리케이션에서 지원하는 영상이 표시될 수 있다.Referring to FIG. 26, the first touch screen and the second touch screen are overlapped (2610), and an image supported by the moving image application may be displayed on the first touch screen.

이때, 문자 등의 알람이 있는 경우, 제1 터치 스크린은 표시 영역의 일부 영역에 문자가 수신되었음을 알릴 수 있다. 이때, 사용자는 제2 터치 스크린을 제1 터치 스크린과 펼쳐지는 슬라이딩 동작을 수행할 수 있다.At this time, when there is an alarm such as a character, the first touch screen can notify that a character is received in a partial area of the display area. At this time, the user may perform a sliding operation to unfold the second touch screen with the first touch screen.

이 경우, 제어부(140)는 제1 터치 스크린을 가리지 않는 제2 스크린 영역 상에 알림 정보와 관련된 UI 요소를 겹쳐지지 않은 영역에 비례하여 표시할 수 있다. 예를 들어, 제2 터치 스크린(2630)과 제1 터치 스크린(2620)이 2/3 정도 겹쳐진 경우, 제2 터치 스크린(2630)은 제1 터치 스크린(2620)에 표시되는 UI 요소를 가지지 않은 1/3 영역에 대해서 알림 정보와 관련된 UI 요소를 표시할 수 있다. 그리고 사용자가 제2 터치 스크린(2630)을 보다 스크롤하여 두 터치 스크린이 1/3 정도만 겹쳐진 경우, 2 터치 스크린(2630)은 제1 터치 스크린(2620)에 표시되는 UI 요소를 가지지 않은 2/3 영역에 대해서 알림 정보와 관련된 UI 요소를 표시할 수 있다.In this case, thecontroller 140 can display the UI elements related to the notification information in proportion to the non-overlapping area on the second screen area that does not cover the first touch screen. For example, when thesecond touch screen 2630 and thefirst touch screen 2620 are overlapped by two-thirds, thesecond touch screen 2630 may include the UI elements that are not displayed on thefirst touch screen 2620 UI elements related to the notification information can be displayed for the 1/3 area. When the user scrolls thesecond touch screen 2630 and the two touch screens are overlapped by only about 1/3, the twotouch screens 2630 are displayed on thesecond touch screen 2620, which has no UI elements displayed on thefirst touch screen 2620 UI elements related to the notification information can be displayed in the area.

즉, 제어부(140)는 두 터치 스크린의 겹쳐진 정도에 따라 제2 터치 스크린(2630, 2650)의 표시 영역을 조정할 수 있다.That is, thecontrol unit 140 may adjust the display area of thesecond touch screens 2630 and 2650 according to the overlapping degree of the two touch screens.

한편, 사용자가 제2 터치 스크린이 제1 터치 스크린과 겹쳐지도록 하는 행위를 수행하면, 제2 터치 스크린에 대한 터치의 유무에 따라 제1 터치 스크린 상에 표시중인 UI 요소를 지속적으로 제1 터치 스크린에 표시하거나, 제2 터치 스크린 상에 표시된 UI 요소가 제1 터치 스크린에 표시되도록 할 수 있다.Meanwhile, when the user performs the operation of causing the second touch screen to overlap with the first touch screen, the UI element displayed on the first touch screen is continuously displayed on the first touch screen, Or a UI element displayed on the second touch screen may be displayed on the first touch screen.

예를 들어, 사용자가 제2 터치 스크린에 대한 터치 없이 슬라이딩 다운하면, 제어부(140)는 제2 터치 스크린에 UI 요소가 표시되지 않도록 하고, 제1 터치 스크린은 지속적으로 동일한 UI 요소(2660)가 표시되도록 할 수 있다.For example, if the user slides down without touching the second touch screen, thecontrol unit 140 prevents the UI elements from being displayed on the second touch screen, and the first touch screen continuously displays thesame UI elements 2660 Can be displayed.

반대로, 사용자가 제2 터치 스크린에 대한 터치를 하여 슬라이딩 다운하면, 제어부(140)는 제2 터치 스크린에 UI 요소가 표시되지 않도록 하고, 제2 터치 스크린 상에 표시되던 UI 요소(2670)가 제1 터치 스크린상에 표시되도록 할 수 있다.On the other hand, when the user slides down by touching the second touch screen, thecontrol unit 140 prevents the UI element from being displayed on the second touch screen, and theUI element 2670 displayed on thesecond touch screen 1 < / RTI > touch screen.

이상에서는 제2 터치 스크린이 제1 터치 스크린을 기준으로 어느 하나의 방향으로만 스크롤 되는 것으로 도시하고 설명하였다. 그러나 제2 터치 스크린이 다양한 방향으로 이동 가능하다면, 보다 다양한 형태의 인터렉션이 가능하다. 이에 대해서는 아래의 도 27 내지 도 33을 참조하여 후술한다.In the above description, the second touch screen is scrolled in only one direction with respect to the first touch screen. However, if the second touch screen is movable in various directions, more various types of interaction are possible. This will be described later with reference to Figs. 27 to 33 below.

도 27 내지 도 33은 제1 터치 스크린과 제2 터치 스크린이 겹쳐진 상태에서 제2 터치 스크린의 이동 방향에 따라 다른 인터렉션을 수행하는 실시 예를 설명하기 위한 도면들이다.FIGS. 27 to 33 are views for explaining an embodiment in which different interactions are performed according to the moving direction of the second touch screen in a state where the first touch screen and the second touch screen are overlapped.

도 27 및 도 28을 참조하면, 두 터치 스크린이 겹쳐있는 경우, 제1 터치 스크린(2800)은 기존의 사용자 조작에 대응되는 UI 요소를 표시할 수 있다. 이때, 사용자가 제2 터치 스크린을 스크롤하면 제2 터치 스크린에는 다양한 UI 요소가 표시될 수 있으며, 도 27에 도시된 바와 같이 제2 터치 스크린의 이동 방향에 따라 다른 UI 요소가 표시될 수 있다.27 and 28, when two touch screens are overlapped, thefirst touch screen 2800 can display a UI element corresponding to an existing user operation. At this time, if the user scrolls the second touch screen, various UI elements may be displayed on the second touch screen, and other UI elements may be displayed according to the direction of movement of the second touch screen, as shown in FIG.

예를 들어, 상부로 이동하는 슬라이딩은, 제2 터치 스크린(2720)에는 사용자가 기등록한 애플리케이션 1(예를 들어, 동영상 재생 애플리케이션)에 대응되는 UI 요소(2820)가 표시될 수 있다. 그리고 우측으로 이동하는 슬라이딩은, 제2 터치 스크린(2730)에는 사용자가 기등록한 애플리케이션 2(예를 들어, 음악 재생 애플리케이션)에 대응되는 UI 요소가 표시될 수 있다. 그리고 하부로 이동하는 슬라이딩은, 제3 터치 스크린(2730)에는 사용자가 기등록한 애플리케이션 3(예를 들어, 제어 설정 애플리케이션)에 대응되는 UI 요소가 표시될 수 있다. 그리고 좌측으로 이동하는 슬라이딩은, 제2 터치 스크린(2740)에는 신규 애플리케이션 4(예를 들어, SNS 애플리케이션)에 대응되는 UI 요소(2810)가 표시될 수 있다.For example, in the case of the upward sliding, thesecond touch screen 2720 may display aUI element 2820 corresponding to the application 1 (for example, a moving image playback application) previously registered by the user. The UI element corresponding to the application 2 (for example, a music playback application) previously registered by the user may be displayed on thesecond touch screen 2730 in the case of sliding to the right. In thethird touch screen 2730, a UI element corresponding to theapplication 3 registered by the user (for example, a control setting application) may be displayed. And sliding to the left, aUI element 2810 corresponding to the new application 4 (e.g., an SNS application) may be displayed on thesecond touch screen 2740. [

한편, 이에 따라, 제1 터치 스크린에는 제1 애플리케이션에 대응되는 제1 UI 요소가 표시되고 제2 터치 스크린에는 제2 애플리케이션에 대응되는 제2 UI 요소가 표시될 수 있다. 이와 같은 상태에서 두 터치 스크린이 겹쳐지게 되는 슬라이딩이 되는 경우, 두 개의 UI 요소 중 어느 하나만 사용자에게 표시될 필요가 있다.Accordingly, a first UI element corresponding to the first application is displayed on the first touch screen, and a second UI element corresponding to the second application is displayed on the second touch screen. In such a situation, when the two touch screens are slidingly overlapped, only one of the two UI elements needs to be displayed to the user.

이때, 제어부(140)는 제2 터치 스크린에 대한 터치 또는 터치 시간에 기초하여 겹쳐진 상태에서 사용자에게 표시될 UI 요소를 결정할 수 있다. 예를 들어, 제2 터치 스크린에 대한 터치 없이 두 터치 스크린이 겹쳐지게 되는 경우, 제어부(140)는 제2 터치 스크린에서 표시되는 UI 요소의 표시가 중지되도록 할 수 있다. 즉, 제1 터치 스크린은 지속적으로 UI 요소를 표시하도록 할 수 있다. At this time, thecontrol unit 140 may determine a UI element to be displayed to the user in a superimposed state based on the touch or touch time of the second touch screen. For example, when two touch screens are overlapped without touching the second touch screen, thecontroller 140 may stop the display of UI elements displayed on the second touch screen. That is, the first touch screen can continuously display UI elements.

반면에 사용자가 제2 터치 스크린에 대한 터치 또는 롱 터치와 함께 두 터치 스크린을 겹쳐지게 한 경우, 제어부(140)는 제1 터치 스크린에서 표시되는 UI 요소가 제2 터치 스크린에서 표시되던 UI 요소로 전환되도록 하고, 제2 터치 스크린의 표시동작을 중지할 수 있다.On the other hand, when the user causes the two touch screens to overlap with the second touch screen or the long touch, thecontrol unit 140 determines that the UI element displayed on the first touch screen is a UI element displayed on the second touch screen And the display operation of the second touch screen can be stopped.

도 29 및 도 30은 제1 터치 스크린을 기준으로 상부 또는 하부로 이동할 수 있는 경우의 인터렉션을 설명하기 위한 도면이다.FIGS. 29 and 30 are diagrams for explaining the interaction when the first touch screen can be moved upward or downward with reference to the first touch screen.

도 29 및 도 30을 참조하면, 두 터치 스크린이 겹쳐있는 경우, 제1 터치 스크린(2910)은 기존의 사용자 조작에 대응되는 UI 요소를 표시할 수 있다. 이때, 사용자가 제2 터치 스크린을 상부 방향으로 스크롤하면 제어 설정(예를 들어, 시스템, 세팅 등에 관련된 알림)과 관련된 서브 메뉴 UI(2920)가 제2 터치 스크린(3030)상에 표시되도록 할 수 있다. 반대로, 사용자가 제2 터치 스크린을 하부 방향으로 스크롤하면, 개인적인 메시지 표시와 관련된 서브 메뉴 UI(2930)가 제2 터치 스크린(3040) 상에 표시되도록 할 수 있다.Referring to FIGS. 29 and 30, when two touch screens overlap, thefirst touch screen 2910 can display a UI element corresponding to an existing user operation. At this time, when the user scrolls the second touch screen in the upward direction, thesub menu UI 2920 related to the control setting (for example, notification related to the system, settings, etc.) may be displayed on thesecond touch screen 3030 have. Conversely, when the user scrolls the second touch screen downward, asubmenu UI 2930 associated with a personal message display may be displayed on thesecond touch screen 3040.

도 31은 제1 터치 스크린을 기준으로 좌측 또는 우측으로 이동할 수 있는 경우의 인터렉션을 설명하기 위한 도면이다.31 is a view for explaining an interaction when the first touch screen can be moved leftward or rightward with respect to the first touch screen.

도 31을 참조하면, 두 터치 스크린이 겹쳐있는 경우, 제1 터치 스크린(3110)은 기존의 사용자 조작에 대응되는 UI 요소를 표시할 수 있다. 이때, 사용자가 제2 터치 스크린을 좌측으로 스크롤 하면 해당 애플리케이션의 메뉴가 제2 터치 스크린(3120)에 표시되도록 할 수 있다. 반대로, 사용자가 제2 터치 스크린을 우측으로 스크롤하면, 연락처와 관련된 서브 메뉴 UI가 제2 터치 스크린(3130) 상에 표시되도록 할 수 있다.31, when two touch screens are overlapped, thefirst touch screen 3110 can display a UI element corresponding to an existing user operation. At this time, if the user scrolls the second touch screen to the left, the menu of the application can be displayed on thesecond touch screen 3120. Conversely, if the user scrolls the second touch screen to the right, a sub-menu UI associated with the contact may be displayed on thesecond touch screen 3130. [

이상에서는 제1 터치 스크린과 제2 터치 스크린이 펼쳐짐에 따라 서로 다른 정보를 표시하는 것으로 도시하고 설명하였지만, 구현시에는 동일한 애플리케이션의 정보를 확장하여 표시할 수도 있다. 이와 같은 예에 대해서는 도 32 내지 도 35를 참조하여 후술한다.Although the first and second touch screens have been shown and described as displaying different information in the above description, information of the same application may be extended and displayed at the time of implementation. Such an example will be described later with reference to FIGS. 32 to 35. FIG.

도 32 내지 도 35는 UI 확장 기능을 설명하기 위한 도면이다.32 to 35 are diagrams for explaining the UI expansion function.

도 32를 참조하면, 제1 터치 스크린상에 제2 터치 스크린이 겹쳐진 상태로 배치된다(3200). 이때, 제2 터치 스크린은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린은 특정 웹 페이지를 UI 요소로 표시할 수 있다. 한편, 표시되는 웹 페이지가 가로 방향으로 넓은 웹 페이지이나, 현재 제1 터치 스크린(110)이 웹페이지의 일부 영역만을 크롭하여 표시중이다.Referring to FIG. 32, a second touch screen is disposed on the first touch screen in an overlapped manner (3200). At this time, the second touch screen does not display a separate UI element, and the first touch screen can display a specific web page as a UI element. On the other hand, the displayed web page is a large web page in the horizontal direction, or thefirst touch screen 110 is currently displaying only a part of the web page.

이때, 사용자가 제2 터치 스크린이 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행하면, 제어부(140)는 제1 터치 스크린에 표시되던 UI 요소가 제1 터치 스크린(3210)과 제2 터치 스크린(3220) 상에 함께 표시하도록 할 수 있다.At this time, if the user performs a movement (i.e., sliding) in which the second touch screen is unfolded, thecontrol unit 140 determines that the UI element displayed on the first touch screen is thefirst touch screen 3210 and the second touch screen Can be displayed together on thedisplay unit 3220.

이에 따라, 사용자는 한 번에 보다 많은 정보를 볼 수 있게 된다.As a result, the user can view more information at a time.

도 33을 참조하면, 제1 터치 스크린상에 제2 터치 스크린이 겹쳐진 상태로 배치된다(3300). 이때, 제2 터치 스크린은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린은 특정 웹 페이지를 UI 요소로 표시할 수 있다. 한편, 여기서 웹페이지는 상하부 이동 스크롤이 필요한 웹페이지이다.Referring to FIG. 33, a second touch screen is disposed on the first touch screen in a superimposed manner (3300). At this time, the second touch screen does not display a separate UI element, and the first touch screen can display a specific web page as a UI element. On the other hand, the web page is a web page that needs to scroll up and down.

이때, 사용자가 제2 터치 스크린이 펼쳐지는 형태의 이동(즉, 아래 방향으로 슬라이딩)을 수행하면, 제어부(140)는 제1 터치 스크린에 표시되던 UI 요소가 제1 터치 스크린(3310)과 제2 터치 스크린(3320) 상에 함께 표시하도록 할 수 있다.At this time, if the user performs a movement (i.e., downward sliding) in which the second touch screen is unfolded, thecontrol unit 140 determines that the UI element displayed on the first touch screen is the first touch screen, 2touch screen 3320, as shown in FIG.

한편, 도 33과 같이 제1 터치 스크린과 제2 터치 스크린이 상호 겹쳐지는 영역에 대해서는 두 터치 스크린이 동일한 UI 요소를 표시하도록 구현되거나, 제1 터치 스크린만이 표시되도록 구현되거나 제2 터치 스크린만이 표시되도록 구현될 수 있다. 이러한 선택은 사용자의 설정으로 이루어지거나, 사용자 가독성이 보다 유리한 일 형태로 디폴트로 설정될 수 있다.On the other hand, as shown in FIG. 33, in the area where the first touch screen and the second touch screen are overlapped, the two touch screens may be implemented to display the same UI element, or only the first touch screen may be displayed, Can be displayed. This selection may be made by the user's settings, or may be set to defaults in the form of better user readability.

도 34를 참조하면, 제1 터치 스크린상에 제2 터치 스크린이 겹쳐진 상태로 배치된다(3400). 이때, 제2 터치 스크린은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린은 지도를 UI 요소로 표시할 수 있다.Referring to FIG. 34, a second touch screen is disposed on the first touch screen in an overlapped manner (3400). At this time, the second touch screen does not display a separate UI element, and the first touch screen can display the map as a UI element.

이때, 사용자가 제2 터치 스크린이 펼쳐지는 형태의 이동(즉, 아래 방향으로 슬라이딩)을 수행하면, 제어부(140)는 제1 터치 스크린에 표시되던 지도가 제1 터치 스크린(3410)과 제2 터치 스크린(3420) 상에 함께 표시하도록 할 수 있다.At this time, when the user performs a movement (i.e., downward sliding) in which the second touch screen is expanded, thecontrol unit 140 determines whether the map displayed on the first touch screen is thefirst touch screen 3410 and the second And can be displayed on thetouch screen 3420 together.

도 35를 참조하면, 제1 터치 스크린상에 제2 터치 스크린이 겹쳐진 상태로 배치된다(3500). 이때, 제2 터치 스크린은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린은 사진 이미지의 일부 영역을 UI 요소로 표시할 수 있다.Referring to FIG. 35, a second touch screen is disposed on the first touch screen in an overlapped state (3500). At this time, the second touch screen does not display a separate UI element, and the first touch screen can display a part of the photo image as a UI element.

이때, 사용자가 제2 터치 스크린이 펼쳐지는 형태의 이동(즉, 아래 방향으로 슬라이딩)을 수행하면, 제어부(140)는 제1 터치 스크린에 표시되던 사진 이미지가 제1 터치 스크린(3510)과 제2 터치 스크린(3520) 상에 함께 표시하도록 할 수 있다.In this case, when the user performs a movement (i.e., downward sliding) in which the second touch screen is expanded, thecontroller 140 controls thefirst touch screen 3510 and thesecond touch screen 3510 so that the photo image, 2touch screen 3520 as shown in FIG.

도 36 내지 도 38은 제2 터치 스크린의 다양한 슬라이딩 방식을 설명하기 위한 도면들이다.36 to 38 are views for explaining various sliding methods of the second touch screen.

도 36을 참조하면, 제2 터치 스크린(3620)은 제1 터치 스크린(3610)을 기준으로 대각선 방향으로 슬라이딩할 수 있다. 이러한 슬라이딩에 대응하여 제2 터치 스크린(3620)는 히든 메시지를 UI 요소로 표시할 수 있다.Referring to FIG. 36, thesecond touch screen 3620 may slide in a diagonal direction with respect to thefirst touch screen 3610. In response to this sliding, thesecond touch screen 3620 may display the hidden message as a UI element.

도 37을 참조하면, 제2 터치 스크린(3720)은 제2 터치 스크린(3710)의 중심 영역을 기준으로 회전할 수 있다. 이러한 이동에 대응하여 제2 터치 스크린(3720)은 사용자 조작을 입력받기 위한 UI 요소를 표시하고, 사용자는 제2 터치 스크린 상의 터치 조작과 제2 터치 스크린(3720')의 회전을 이용하여 다양한 인터렉션을 수행할 수 있다.Referring to FIG. 37, thesecond touch screen 3720 may rotate about the center area of thesecond touch screen 3710. In response to this movement, thesecond touch screen 3720 displays a UI element for receiving a user's operation, and the user can use various touches on the second touch screen 3720 ' Can be performed.

도 38을 참조하면, 제2 터치 스크린(3820)은 제1 터치 스크린(3810)을 기준으로 하부 방향으로 슬라이딩할 수 있다. 그리고 제1 터치 스크린(3810)이 게임 애플리케이션에 대응한 UI를 표시중이었으면, 제2 터치 스크린(2820)은 해당 게임의 조작을 위한 조작 UI가 표시될 수 있다.Referring to FIG. 38, thesecond touch screen 3820 may slide downward with respect to thefirst touch screen 3810. If thefirst touch screen 3810 is displaying the UI corresponding to the game application, thesecond touch screen 2820 may display an operation UI for operating the game.

도 39는 제1 터치 스크린과 제2 터치 스크린이 펼쳐진 상태에서 인터렉션 방식의 예를 설명하기 위한 도면들이다.FIG. 39 is a view for explaining an example of an interaction method in a state in which the first touch screen and the second touch screen are unfolded.

도 39를 참조하면, 제1 터치 스크린(3910)은 음악 재생과 관련된 UI 요소를 표시하고, 제2 터치 스크린(3920)은 사진 촬영과 관련된 UI 요소를 표시할 수 있다.39, thefirst touch screen 3910 displays UI elements associated with music playback, and thesecond touch screen 3920 displays UI elements associated with photographing.

이와 같은 배치 상태에서, 사용자가 제2 터치 스크린에서 제1 터치 스크린 상에서 끝나는 터치 제스처를 입력하면, 제어부(140)는 제1 터치 스크린(3930)이 사진 촬영과 관련된 서브 화면을 표시하도록 할 수 있다. 예를 들어, 기촬영된 이미지의 썸네일을 표시할 수 있다.In this arrangement, if the user inputs a touch gesture that ends on the first touch screen on the second touch screen, thecontrol unit 140 can cause thefirst touch screen 3930 to display a sub-screen related to the photographing . For example, a thumbnail of a previously photographed image can be displayed.

이 경우, 사용자가 다시 제1 터치 스크린의 특정 영역에서 제2 터치 스크린에서 끝나는 터치 제스처를 입력하면, 제어부(140)는 사용자 터치 시작 지점의 썸네일에 대응되는 이미지가 해당 터치 제스처의 최종 위치 상에 표시되도록 제2 터치 스크린(3950)을 제어할 수 있다.In this case, when the user again inputs a touch gesture ending at the second touch screen in a specific area of the first touch screen, thecontrol unit 140 displays the image corresponding to the thumbnail of the user touch start point on the final position of the touch gesture Thesecond touch screen 3950 can be controlled so that thesecond touch screen 3950 is displayed.

이때, 사용자가 촬영 명령을 입력하면, 제어부(140)는 제2 터치 스크린(3950)을 통하여 사용자가 확인되는 이미지 결과물을 생성하도록, 사용자가 기선택한 썸네일에 대응되는 이미지와 촬상된 이미지를 합성할 수 있다.At this time, when the user inputs a shooting command, thecontrol unit 140 synthesizes the image corresponding to the thumbnail selected by the user and the captured image so as to generate the image result confirmed by the user through thesecond touch screen 3950 .

도 40 내지 도 42는 제1 터치 스크린과 제2 터치 스크린이 펼쳐진 상태에서 인터렉션 방식의 예를 설명하기 위한 도면들이다.40 to 42 are views for explaining an example of an interaction method in a state in which the first touch screen and the second touch screen are unfolded.

도 40을 참조하면, 제1 터치 스크린(4010)은 음악 재생과 관련된 UI 요소를 표시하고, 제2 터치 스크린(4015)은 인터넷 서핑과 관련된 UI 요소를 표시할 수 있다.Referring to FIG. 40, thefirst touch screen 4010 displays UI elements related to music playback, and thesecond touch screen 4015 displays UI elements related to surfing the Internet.

이와 같은 배치 상태에서, 사용자는 제2 터치 스크린 상의 컨텐츠를 지속적으로 이용하고 싶은 경우, 제2 터치 스크린 상에 일정 시간 이상 롱 터치를 한 이후에 두 터치 스크린을 겹칠 수 있다. 이러한 롱 터치 이후에 두 터치 스크린이 겹쳐지는 것이 감지되면, 제어부(140)는 제2 터치 스크린 상에 표시중인 UI 요소가 제1 터치 스크린(4020)상에 표시되도록 하고, 제2 터치 스크린은 표시 동작이 중지되도록 할 수 있다.In this arrangement, when the user wants to continuously use the content on the second touch screen, the user can overlap the two touch screens after making a long touch on the second touch screen for a predetermined time or more. If it is detected that the two touch screens overlap after the long touch, thecontrol unit 140 causes the UI element being displayed on the second touch screen to be displayed on thefirst touch screen 4020, The operation can be stopped.

도 41을 참조하면, 제1 터치 스크린(4010)은 제1 홈 화면을 표시하고, 제2 터치 스크린(4115)은 제2 홈 화면을 표시할 수 있다.Referring to FIG. 41, thefirst touch screen 4010 displays a first home screen, and thesecond touch screen 4115 displays a second home screen.

이와 같은 배치 상태에서, 사용자가 두 터치 스크린을 겹치면, 제1 터치 스크린(4030)은 지속적으로 동일한 제1 홈 화면을 표시하고, 제2 터치 스크린(4125)은 제1 홈 화면에 표시된 아이콘(4126) 중 알림이 있는 것을 식별력 있게 표시할 수 있다. 예를 들어, 해당 아이콘을 확장하여 표시하거나, 다른 색으로 표시하거나 기등록된 새로운 아이콘을 표시할 수도 있다.In this arrangement, when the user overlaps the two touch screens, the first touch screen 4030 continuously displays the same first home screen, and thesecond touch screen 4125 displays icons 4126 ) Can be displayed discernibly. For example, the icon may be extended to be displayed, a different color may be displayed, or a new icon previously registered may be displayed.

또는 두 터치 스크린이 겹쳐지게 되면, 제1 홈 화면에 있는 애플리케이션의 알림 메시지(4136)가 표시되거나 해당 애플리케이션의 위젯들이 제2 터치 스크린(4135)에 표시될 수 있다.Or the two touch screens overlap, thenotification message 4136 of the application on the first home screen may be displayed or the widgets of the application may be displayed on thesecond touch screen 4135. [

이상에서 사용자가 제2 터치 스크린 상에서 좌/우 스크롤을 하게 되면, 제1 터치 스크린(4140)은 스크롤에 대응하여 가변된 홈 화면을 표시하고, 제2 터치 스크린(4145)은 가변된 홈 화면에 대응되는 알림 메시지 또는 웨젯창(4146)을 표시할 수 있다.When the user scrolls left and right on the second touch screen, thefirst touch screen 4140 displays the changed home screen corresponding to the scroll, and thesecond touch screen 4145 displays the changed home screen A corresponding notification message or a window window 4146 can be displayed.

도 42를 참조하면, 제1 터치 스크린(4010)은 주소록을 표시하고, 제2 터치 스크린(4215)은 특정인에 대한 상세 정보를 표시할 수 있다.Referring to FIG. 42, thefirst touch screen 4010 displays an address book, and thesecond touch screen 4215 displays detailed information about a specific person.

이와 같은 배치 상태에서, 사용자가 두 터치 스크린을 겹치면, 제1 터치 스크린(4220)은 지속적으로 동일한 주소록을 표시하고, 제2 터치 스크린(4215)은 주소록에 나타난 사람들에 대한 추가 정보(4225)를 표시할 수 있다. 예를 들어, 특정인으로부터 수신한 메시지 또는 SNS 정보를 표시할 수 있다.In this arrangement, if the user overlaps the two touch screens, thefirst touch screen 4220 continuously displays the same address book, and thesecond touch screen 4215 displaysadditional information 4225 about the persons shown in the address book Can be displayed. For example, a message or SNS information received from a specific person can be displayed.

도 43은 제2 터치 스크린을 매뉴얼 제공 기능으로 이용하는 실시 예를 설명하기 위한 도면이다.43 is a view for explaining an embodiment in which the second touch screen is used as a manual providing function.

도 43을 참조하면, 제1 터치 스크린(4310)과 제2 터치 스크린(4315)은 펼쳐저 있다. 이때, 사용자가 매뉴얼 기능을 요청하면, 제2 터치 스크린(4315)은 제1 터치 스크린(4310)에 표시된 UI 요소를 설명하기 위한 정보를 표시할 수 있다. 예를 들어, 제2 터치 스크린이 제1 터치 스크린(4320) 상에 겹쳐지게 되면, 겹쳐진 영역에 표시되는 제1 터치 스크린의 UI 요소에 대한 설명을 제2 터치 스크린(4325) 상에 표시할 수 있다.Referring to FIG. 43, the first touch screen 4310 and the second touch screen 4315 are unfolded. At this time, when the user requests the manual function, the second touch screen 4315 can display information for describing the UI elements displayed on the first touch screen 4310. [ For example, when the second touch screen is superimposed on the first touch screen 4320, a description of the UI elements of the first touch screen displayed in the overlapped area can be displayed on the second touch screen 4325 have.

이에 해당 UI 요소를 사용자가 선택하면, 해당 UI 요소 선택 이후에 필요한 절차와 관련된 정보가 제2 터치 스크린(4335) 상에 표시될 수 있다.When the UI element is selected by the user, information related to a necessary procedure after the selection of the UI element can be displayed on the second touch screen 4335.

한편, 제1 터치 스크린과 제2 터치 스크린이 겹쳐지게 되면, 제2 터치 스크린(4340)은 제1 터치 스크린 상에 기능 메뉴에 대응되는 설명이 있음을 표시하는 아이콘(4340)을 표시할 수 있다. 사용자가 이러한 제2 터치 스크린 상에 표시된 아이콘을 선택하면, 제어부(140)는 제2 터치 스크린은 해당 아이콘에 대한 매뉴얼 정보를 표시할 수 있다.On the other hand, when the first touch screen and the second touch screen are overlapped, the second touch screen 4340 can display an icon 4340 indicating that there is a description corresponding to the function menu on the first touch screen . If the user selects an icon displayed on the second touch screen, thecontroller 140 can display the manual information on the icon on the second touch screen.

도 44 및 도 45는 두 터치 스크린의 오버레이 정도에 따른 인터렉션 동작을 설명하기 위한 도면이다.44 and 45 are views for explaining the interaction operation according to the degree of overlay of the two touch screens.

도 44를 참조하면, 제1 터치 스크린(4410)과 제2 터치 스크린(4415)이 펼쳐져 있는 경우, 제1 터치 스크린(4410)은 피아노 연주와 관련된 UI 요소를 표시할 수 있다. 그리고 제2 터치 스크린(4415)은 전문가용 신시사이저 기능의 UI 요소를 표시할 수 있다.Referring to FIG. 44, when thefirst touch screen 4410 and thesecond touch screen 4415 are unfolded, thefirst touch screen 4410 can display UI elements related to the piano performance. And thesecond touch screen 4415 may display the UI elements of the professional synthesizer function.

이때, 두 터치 스크린이 겹치게 되면, 겹쳐진 두 영역에는 기설정된(preset) 음색만으로 연주하는 쉬운 모드 선택을 위한 UI 요소가 표시될 수 있다. 이러한 UI 요소는 제1 터치 스크린 상에 표시될 수도 있으며, 제2 터치 스크린 상에 표시될 수도 있으며, 두 터치 스크린이 공통적으로 표시될 수도 있다.At this time, when the two touch screens overlap, UI elements for easy mode selection for playing with only preset tones can be displayed in the two overlapping areas. These UI elements may be displayed on the first touch screen, on the second touch screen, or on the two touch screens.

한편, 두 터치 스크린이 완전히 겹쳐지게 되면, 피아노 연주와 관련된 UI 요소와 쉬운 모드 선택을 위한 UI 요소만이 제1 터치 스크린 상에 표시될 수 있다.On the other hand, when the two touch screens are completely overlapped, only UI elements related to piano performance and UI elements for easy mode selection can be displayed on the first touch screen.

도 45를 참조하면, 제1 터치 스크린(4510)과 제2 터치 스크린(4515)이 펼쳐진 경우, 제1 터치 스크린(4510)은 음악 재생과 관련된 목록 리스트와 신시사이저 정보가 표시되고, 제2 터치 스크린(4515)에는 음악 재생과 관련된 메뉴가 표시될 수 있다.Referring to FIG. 45, when thefirst touch screen 4510 and thesecond touch screen 4515 are opened, thefirst touch screen 4510 displays a list list and synthesizer information related to music playback, A menu related to music playback may be displayed on thedisplay 4515. [

한편, 사용자가 두 터치 스크린을 겹치면, 제어부(140)는 제1 터치 스크린에 간단한 컨트롤러만 나오는 UI 요소가 표시하도록 하고, 제2 터치 스크린은 표시 동작이 중지되도록 할 수 있다.On the other hand, if the user overlaps the two touch screens, thecontrol unit 140 may cause the first touch screen to display a UI element including only a simple controller, and the second touch screen may stop the display operation.

도 46은 제2 터치 스크린을 편집 레이아웃 층으로 이용하는 실시 예를 설명하기 위한 도면이다.46 is a view for explaining an embodiment in which the second touch screen is used as an edit layout layer.

도 46을 참조하면, 제1 터치 스크린(4610)과 제2 터치 스크린(4615)이 펼쳐진 경우, 제1 터치 스크린(4610)은 특정 이미지를 표시하고, 제2 터치 스크린(4615)은 기저장된 이미지의 썸네일을 표시할 수 있다.46, when thefirst touch screen 4610 and thesecond touch screen 4615 are unfolded, thefirst touch screen 4610 displays a specific image, and thesecond touch screen 4615 displays a pre- Can be displayed.

이때, 사용자가 제2 터치 스크린 상에 특정 썸네일을 선택하면, 제1 터치 스크린(2620)은 선택된 썸네일에 대응되는 이미지가 표시될 수 있다.At this time, if the user selects a specific thumbnail on the second touch screen, thefirst touch screen 2620 may display an image corresponding to the selected thumbnail.

이때, 사용자가 두 터치 스크린을 겹치게 되면, 제어부(140)는 제1 터치 스크린에 이미지와 이미지 편집을 위한 메뉴창이 표시되도록 제어할 수 있다. 한편, 기선택된 이미지가 복수의 레이어로 구분된 이미지인 경우, 예를 들어, 카메라로 촬상된 이미지 상에 사용자가 낙서를 한 이미지인 경우, 실제 촬상 이미지(4731)는 제1 터치 스크린 상에 표시되고, 사용자의 낙서(4733)는 제2 터치 스크린 상에 표시할 수 있다.At this time, if the user overlaps the two touch screens, thecontrol unit 140 can control the first touch screen to display a menu window for image and image editing. On the other hand, when the pre-selected image is an image divided into a plurality of layers, for example, in the case where the user has made a graffiti on the image captured by the camera, the actual capturedimage 4731 is displayed on the first touch screen And the user'sgraffiti 4733 can be displayed on the second touch screen.

이에 따라, 사용자는 낙서한 부분만을 좀 더 용이하게 수정하거나, 추가할 수 있게 된다.Accordingly, the user can more easily modify or add only the graffiti portion.

이러한 수정 이후에 사용자가 다시 두 터치 스크린을 펼치게 되면, 사용자가 수행한 낙서와 이미지를 합성하여 제1 터치 스크린(4750)상에 표시하고, 썸네일 리스트를 제2 터치 스크린(4755)에 표시할 수 있다.If the user again expands the two touch screens after this modification, the user can display the graffiti and the image on thefirst touch screen 4750 and the thumbnail list on thesecond touch screen 4755 have.

도 47 및 도 48은 북마킹 인터렉션을 설명하기 위한 도면이다.47 and 48 are diagrams for explaining the book marking interaction.

도 47을 참조하면, 먼저, 두 터치 스크린이 펼쳐진 상태에서, 제1 터치 스크린(4710)은 홈 화면을 표시할 수 있다. 이 상태에서 사용자가 연속적으로 두 터치 스크린을 겹쳤다가 펼치면, 제1 터치 스크린(4720)은 동일한 홈 화면을 지속적으로 표시하나, 제2 터치 스크린(4730)은 제1 터치 스크린(4720) 상에 표시 중인 화면을 복사하여 표시하게 된다. 이후에 사용자가 제1 터치 스크린(4740)의 조작에 의하여 UI 화면이 변경되고, 그 상태에서 다시 연속적으로 겹쳤다가 펼쳐지면, 제2 터치 스크린(4760)은 변경된 제1 터치 스크린(4740)의 화면을 복사하여 표시하게 된다.Referring to FIG. 47, thefirst touch screen 4710 can display a home screen in a state where two touch screens are unfolded. When the user continuously overlaps and expands two touch screens in this state, thefirst touch screen 4720 continuously displays the same home screen, while thesecond touch screen 4730 displays the same on thefirst touch screen 4720 The screen being displayed is copied and displayed. The UI screen is changed by the user's operation of thefirst touch screen 4740 and thesecond touch screen 4760 is repeatedly overlapped and expanded again in this state, the screen of the changedfirst touch screen 4740 And displays it.

이와 같은 동작은 제1 터치 스크린상에 표시중이 UI 요소가 무엇인지에 따라 다양하게 활용될 수 있는데, 그림 이미지라면 클립보드로의 저장, 화면 캡처 또는 복사로 이용될 수 있으며, 웹 페이지라면 해당 웹페이지에 대한 북마크로 이용될 수 있다. 이와 같은 과정에 의하여 북마크가 형성되면, 도 48에 도시된 바와 같이 제2 터치 스크린 상에는 기저장된 북마크가 표시되고, 사용자는 제2 터치 스크린에 표시된 복수의 UI 요소 중 어느 하나를 선택하여 신속하게 특정 웹 페이지를 접속할 수 있게 된다.Such an operation can be variously used depending on what the UI element is displayed on the first touch screen. If the image is a picture, it can be used as a clipboard, a screen capture, or a copy. It can be used as a bookmark for web pages. If a bookmark is formed through the above process, a bookmark previously stored is displayed on the second touch screen as shown in FIG. 48, and the user selects one of the plurality of UI elements displayed on the second touch screen, A web page can be connected.

도 49는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.49 is a flowchart illustrating a method of controlling a display device according to an embodiment of the present invention.

도 49를 참조하면, 제1 터치 스크린 상에 화면을 표시할 수 있다(S4910). 구체적으로, 사용자의 제어 명령에 대응되는 UI 요소를 제1 터치 스크린 상에 표시할 수 있다.Referring to FIG. 49, a screen may be displayed on the first touch screen (S4910). Specifically, the UI element corresponding to the user's control command can be displayed on the first touch screen.

그리고 제1 터치 스크린과 제2 터치 스크린의 배치 형태를 감지한다(S4920). 구체적으로, 각도 센서 또는 자속을 감지할 수 있는 홀 센서 등의 센서를 이용하여 두 터치 스크린이 겹쳐서 배치되는지 펼쳐서 배치되는지를 감지할 수 있다.Then, the layout of the first touch screen and the second touch screen is sensed (S4920). Specifically, by using a sensor such as an angle sensor or a hall sensor capable of detecting a magnetic flux, it is possible to detect whether the two touch screens are laid out or laid out.

그리고 감지된 두 터치 스크린의 배치 형태에 따라 사용자 터치에 대응되는 UI 요소를 제1 터치 스크린 및 제2 터치 스크린 중 적어도 하나에 표시할 수 있다. 구체적으로, 두 터치 스크린이 겹쳐진 상태에서 제2 터치 스크린 상에 터치 제스처가 감지되면, 해당 터치 제스처에 대응되는 UI 요소를 제1 터치 스크린에 표시할 수 있다. 한편, 제2 터치 스크린에 UI 요소가 표시된 상태에서 사용자가 해당 UI 요소가 표시된 영역을 터치한 경우에는, 해당 UI 요소에 대응되는 새로운 UI 요소가 제1 터치 스크린 상에 표시되도록 할 수 있다.The UI element corresponding to the user touch may be displayed on at least one of the first touch screen and the second touch screen according to the arrangement of the two sensed touch screens. Specifically, when the touch gesture is detected on the second touch screen in a state where the two touch screens are overlapped, the UI element corresponding to the corresponding touch gesture can be displayed on the first touch screen. On the other hand, when the UI element is displayed on the second touch screen and the user touches the area where the UI element is displayed, a new UI element corresponding to the UI element can be displayed on the first touch screen.

그리고 두 터치 스크린이 펼쳐진 상태에서는 제1 터치 스크린 상의 터치 제스처에 대해서는 제1 터치 스크린 상에 해당 터치 제스처에 대응되는 UI 요소가 표시되도록 하고, 제2 터치 스크린 상의 터치 제스처에 대해서는 제2 터치 스크린 상에 해당 터치 제스처에 대응되는 UI 요소가 표시되도록 할 수 있다. 한편, 두 터치 스크린이 펼쳐진 상태에서 두 터치 스크린을 가로지르는 터치 제스처가 감지되면, 최종 터치 제스처가 종료되는 터치 스크린의 화면을 가변할 수 있다. 예를 들어, 제1 터치 스크린에서 제2 터치 스크린 상에서 끝나는 터치 제스처가 감지되면, 제2 터치 스크린에 제1 터치 스크린 상의 표시된 UI 요소에 대응되는 새로운 UI 요소를 표시할 수 있다.In a state where the two touch screens are opened, a UI element corresponding to the corresponding touch gesture is displayed on the first touch screen for the touch gesture on the first touch screen, and a UI element corresponding to the touch gesture on the second touch screen is displayed on the second touch screen. The UI element corresponding to the corresponding touch gesture can be displayed. On the other hand, when two touch screens are opened and a touch gesture across the two touch screens is detected, the screen of the touch screen on which the final touch gesture ends can be changed. For example, if a touch gesture ending on the second touch screen is detected on the first touch screen, a new UI element corresponding to the displayed UI element on the first touch screen may be displayed on the second touch screen.

이상과 같이 본 실시 예에 따른 디스플레이 방법은, 두 개의 터치 스크린을 이용하여 다양한 정보를 사용자에게 제공 가능하며, 두 터치 스크린의 배치 형태 및 배치 형태의 변화가 터치 제스처에 의한 것인지 여부 등을 이용하여 다양한 인터렉션을 제공하는바, 사용자는 다양한 사용자 환경을 경험할 수 있게 된다.As described above, according to the display method of the present embodiment, it is possible to provide various information to the user using two touch screens, and it is possible to provide a variety of information to the user by using the touch gesture By providing various interactions, the user can experience various user environments.

한편, 상술한 다양한 실시 예에 따른 디스플레이 장치의 디스플레이 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다. 특히, 디스플레이 장치의 디스플레이 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.Meanwhile, the display method of the display device according to the above-described various embodiments may be implemented as a program and provided to a display device. In particular, a program including a display method of a display device may be stored in a non-transitory computer readable medium.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 애플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.A non-transitory readable medium is a medium that stores data for a short period of time, such as a register, cache, memory, etc., but semi-permanently stores data and is readable by the apparatus. In particular, the various applications or programs described above may be stored and provided on non-volatile readable media such as CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM,

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes and modifications may be made by those skilled in the art without departing from the spirit and scope of the present invention.

100: 디스플레이 장치110: 제1 터치 스크린
120: 제2 터치 스크린130: 감지부
140: 제어부100: display device 110: first touch screen
120: second touch screen 130: sensing unit
140:

Claims (20)

Translated fromKorean

디스플레이 장치에 있어서,
제1 터치 스크린;
상기 제1 터치 스크린과 겹쳐지거나 펼쳐질 수 있으며, 상기 제1 터치 스크린과 겹쳐지면 상기 제1 터치 스크린 상의 화면을 투영하는 제2 터치 스크린;
상기 제1 터치 스크린과 상기 제2 터치 스크린의 배치 형태를 감지하는 감지부; 및
상기 감지된 두 터치 스크린의 배치 형태에 따라 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 및 상기 제2 터치 스크린 중 적어도 하나에 표시하는 제어부;를 포함하는 디스플레이 장치.In the display device,
A first touch screen;
A second touch screen that overlaps or unfolds with the first touch screen and projects a screen on the first touch screen when the first touch screen is overlapped with the first touch screen;
A sensing unit for sensing an arrangement of the first touch screen and the second touch screen; And
And a controller for displaying a UI element corresponding to a user touch on at least one of the first touch screen and the second touch screen according to the arrangement of the two sensed touch screens.제1항에 있어서,
상기 제어부는,
상기 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐진 상태에서, 상기 제2 터치 스크린으로부터 입력받은 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 상에 표시하는 것을 특징으로 하는 디스플레이 장치.The method according to claim 1,
Wherein,
Wherein the display unit displays a UI element corresponding to a user touch input from the second touch screen on the first touch screen while the second touch screen is overlapped with the first touch screen.제1항에 있어서,
상기 제어부는,
상기 제2 터치 스크린에 대한 사용자 터치가 감지된 상태에서, 상기 제2 터치 스크린이 펼쳐지면, 신규 UI 요소를 상기 제2 터치 스크린상에 표시하는 것을 특징으로 하는 디스플레이 장치.The method according to claim 1,
Wherein,
And displays a new UI element on the second touch screen when the second touch screen is unfolded while a user touch on the second touch screen is detected.제3항에 있어서,
상기 제2 터치 스크린상에 표시되는 신규 UI 요소는,
상기 제2 터치 스크린에 대한 사용자 터치 영역에 투영된 제1 터치 스크린에 표시된 UI 요소에 대응된 것을 특징으로 하는 디스플레이 장치.The method of claim 3,
Wherein the new UI element displayed on the second touch screen comprises:
And a UI element displayed on a first touch screen projected on a user touch area of the second touch screen.제4항에 있어서,
상기 제1 터치 스크린에 표시된 UI 요소는 구동중인 애플리케이션의 메뉴, 썸네일, 연락처 리스트 중 적어도 하나이며,
상기 제2 터치 스크린상에 표시되는 UI 요소는, 하위 메뉴, 이미지, 상세 리스트 정보 중 적어도 하나인 것을 특징으로 하는 디스플레이 장치.5. The method of claim 4,
The UI element displayed on the first touch screen is at least one of a menu, a thumbnail, and a contact list of a running application,
Wherein the UI element displayed on the second touch screen is at least one of a sub menu, an image, and detailed list information.제3항에 있어서,
상기 제2 터치 스크린상에 표시되는 신규 UI 요소는,
상기 제1 터치 스크린에 표시된 알림 통지에 대응되는 알림 정보인 것을 특징으로 하는 디스플레이 장치.The method of claim 3,
Wherein the new UI element displayed on the second touch screen comprises:
The notification information corresponding to the notification notification displayed on the first touch screen.제1항에 있어서,
상기 제어부는,
상기 제2 터치 스크린에 대한 사용자 터치가 감지되지 않은 상태에서, 상기 제2 터치 스크린이 펼쳐지면, 상기 제1 터치 스크린상에 표시되는 UI 요소를 확장하여 상기 제1 터치 스크린 및 상기 제2 터치 스크린에 표시하는 것을 특징으로 하는 디스플레이 장치.The method according to claim 1,
Wherein,
When the second touch screen is unfolded in a state where no user touch is detected on the second touch screen, a UI element displayed on the first touch screen is expanded to move the first touch screen and the second touch screen In the display device.제1항에 있어서,
상기 제2 터치 스크린은 상기 제1 터치 스크린 상부를 슬라이딩 이동하는 것을 특징으로 하는 디스플레이 장치.The method according to claim 1,
Wherein the second touch screen slides on an upper portion of the first touch screen.제8항에 있어서,
상기 제2 터치 스크린은 상기 제1 터치 스크린과 겹쳐진 상태에서, 복수의 방향으로 슬라이딩 가능하며,
상기 제어부는,
상기 슬라이딩 방향에 따라 다른 UI 요소를 상기 제2 터치 스크린에 표시하는 것을 특징으로 하는 디스플레이 장치.9. The method of claim 8,
Wherein the second touch screen is slidable in a plurality of directions while being overlapped with the first touch screen,
Wherein,
And displays another UI element according to the sliding direction on the second touch screen.제1항에 있어서,
상기 제어부는,
상기 터치 스크린이 기설정된 시간 내에 배치 형태가 연속적으로 변경되면, 상기 제1 터치 스크린상에 표시된 UI 요소에 대응되는 이벤트를 수행하는 것을 특징으로 하는 디스플레이 장치.The method according to claim 1,
Wherein,
Wherein the controller performs an event corresponding to the UI element displayed on the first touch screen when the touch screen continuously changes its layout form within a predetermined time.제10항에 있어서,
상기 이벤트는 상기 제1 터치 스크린상에 표시된 웹페이지의 북마크 또는 캡처인 것을 특징으로 하는 디스플레이 장치.11. The method of claim 10,
Wherein the event is a bookmark or a capture of a web page displayed on the first touch screen.제1항에 있어서,
상기 제어부는,
상기 제1 터치 스크린과 상기 제2 터치 스크린의 중첩 정도에 따라 신규 UI 요소의 표시 크기를 가변하여 표시하도록 하는 것을 특징으로 하는 디스플레이 장치.The method according to claim 1,
Wherein,
Wherein the display size of the new UI element is changed according to a degree of overlap between the first touch screen and the second touch screen.제1항에 있어서,
상기 제어부는,
상기 제2 터치 스크린의 사용자 터치와 함께 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐지면, 상기 제2 터치 스크린상에 표시하던 UI 요소를 상기 제1 터치 스크린에 표시하고,
상기 제2 터치 스크린의 사용자 터치 없이 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐지면, 상기 제1 터치 스크린상에 표시하던 UI 요소를 상기 제1 터치 스크린에 표시하는 것을 특징으로 하는 디스플레이 장치.The method according to claim 1,
Wherein,
A UI element displayed on the second touch screen is displayed on the first touch screen when a second touch screen is overlapped with the first touch screen together with a user touch of the second touch screen,
Wherein the display unit displays the UI element displayed on the first touch screen on the first touch screen when the second touch screen is overlapped with the first touch screen without the user touching the second touch screen.제1항에 있어서,
상기 제어부는,
상기 제2 터치 스크린의 사용자 터치 없이 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐지면, 상기 제1 터치 스크린에서 표시중이 UI 요소를 유지한 상태에서, 상기 제2 터치 스크린에서 표시되는 UI 요소를 상기 제1 터치 스크린에서 표시중인 UI 요소에 대응되는 신규 UI 요소로 가변하여 표시하는 것을 특징으로 하는 디스플레이 장치.The method according to claim 1,
Wherein,
Wherein when the second touch screen is overlapped with the first touch screen without the user touching the second touch screen, the UI element displayed on the first touch screen, Is changed to a new UI element corresponding to the UI element being displayed on the first touch screen.제1 터치 스크린 및 투명의 제2 터치 스크린을 갖는 디스플레이 장치의 제어방법에 있어서,
상기 제1 터치 스크린상에 화면을 표시하는 단계;
상기 제1 터치 스크린과 상기 제2 터치 스크린의 배치 형태를 감지하는 단계;
상기 감지된 두 터치 스크린의 배치 형태에 따라 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 및 상기 제2 터치 스크린 중 적어도 하나에 표시하는 단계;를 포함하는 제어 방법.A method of controlling a display device having a first touch screen and a transparent second touch screen,
Displaying a screen on the first touch screen;
Sensing an arrangement of the first touch screen and the second touch screen;
And displaying a UI element corresponding to a user touch on at least one of the first touch screen and the second touch screen according to the layout of the two sensed touch screens.제15항에 있어서,
상기 UI 요소를 표시하는 단계는,
상기 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐진 상태이면, 상기 제2 터치 스크린으로부터 입력받은 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 상에 표시하는 것을 특징으로 하는 제어 방법.16. The method of claim 15,
Wherein displaying the UI element comprises:
And if the second touch screen is overlapped with the first touch screen, a UI element corresponding to the user touch input from the second touch screen is displayed on the first touch screen.제15항에 있어서,
상기 UI 요소를 표시하는 단계는,
상기 제2 터치 스크린에 대한 사용자 터치가 감지된 상태에서, 상기 제2 터치 스크린이 펼쳐지면, 신규 UI 요소를 상기 제2 터치 스크린상에 표시하는 것을 특징으로 하는 제어 방법.16. The method of claim 15,
Wherein displaying the UI element comprises:
And displaying a new UI element on the second touch screen when the second touch screen is unfolded while a user touch on the second touch screen is detected.제17항에 있어서,
상기 제2 터치 스크린상에 표시되는 신규 UI 요소는,
상기 제2 터치 스크린에 대한 사용자 터치 영역에 투영된 제1 터치 스크린에 표시된 UI 요소에 대응된 것을 특징으로 하는 제어 방법.18. The method of claim 17,
Wherein the new UI element displayed on the second touch screen comprises:
And a UI element displayed on a first touch screen projected in a user touch area of the second touch screen.제15항에 있어서,
상기 UI 요소를 표시하는 단계는,
상기 제2 터치 스크린에 대한 사용자 터치가 감지되지 않은 상태에서, 상기 제2 터치 스크린이 펼쳐지면, 상기 제1 터치 스크린상에 표시되는 UI 요소를 확장하여 상기 제1 터치 스크린 및 상기 제2 터치 스크린에 표시하는 것을 특징으로 하는 제어 방법.16. The method of claim 15,
Wherein displaying the UI element comprises:
When the second touch screen is unfolded in a state where no user touch is detected on the second touch screen, a UI element displayed on the first touch screen is expanded to move the first touch screen and the second touch screen And said control means displays said control signal.제1 터치 스크린 및 투명의 제2 터치 스크린을 갖는 디스플레이 장치의 제어 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서,
상기 디스플레이 장치의 제어 방법은,
상기 제1 터치 스크린상에 화면을 표시하는 단계;
상기 제1 터치 스크린과 상기 제2 터치 스크린의 배치 형태를 감지하는 단계; 및
상기 감지된 두 터치 스크린의 배치 형태에 따라 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 및 상기 제2 터치 스크린 중 적어도 하나에 표시하는 단계;를 포함하는 컴퓨터 판독가능 기록매체.


A computer-readable recording medium containing a program for executing a control method of a display device having a first touch screen and a transparent second touch screen,
A method of controlling a display device,
Displaying a screen on the first touch screen;
Sensing an arrangement of the first touch screen and the second touch screen; And
And displaying a UI element corresponding to a user touch on at least one of the first touch screen and the second touch screen according to the arrangement of the two sensed touch screens.

Images