WO2024232503A1 - Wearable device for moving virtual object using gesture, and method therefor - Google Patents

Abstract

A processor of a wearable device according to one embodiment can, on the basis of identifying a body part in a designated posture for moving a virtual object, display the virtual object being moved along a path of the body part being moved within the FoV of a camera. The processor can, on the basis of identifying that the body part is being moved out of the FoV through a first position at the edge of the FoV, display the virtual object at a second location, corresponding to the first location, within the virtual space. After displaying the virtual object at the second location, the processor can display the virtual object, moved from the second location and being moved along the path of the body part within the FoV, on the basis of identifying the body part in the designated posture moved into the FoV.

Description

Translated fromKorean

제스쳐를 이용하여 가상 객체를 이동하기 위한 웨어러블 장치 및 그 방법Wearable device and method for moving a virtual object using gestures

본 개시(present disclosure)는 제스쳐를 이용하여 가상 객체를 이동하기 위한 웨어러블 장치 및 그 방법에 관한 것이다.The present disclosure relates to a wearable device and method for moving a virtual object using gestures.

강화된(enhanced) 사용자 경험(user experience)을 제공하기 위해, 실제 세계(real-world) 내 외부 객체와 연계로 컴퓨터에 의해 생성된 정보를 표시하는 증강 현실(augmented reality, AR) 서비스를 제공하는 전자 장치가 개발되고 있다. 상기 전자 장치는, 사용자에 의해 착용될 수 있는 웨어러블 장치일 수 있다. 예를 들면, 상기 전자 장치는, AR 안경(glasses), 및/또는 머리 착용형 장치(head-mounted device, HMD)일 수 있다.In order to provide an enhanced user experience, electronic devices are being developed that provide augmented reality (AR) services that display computer-generated information in conjunction with external objects in the real world. The electronic devices may be wearable devices that can be worn by a user. For example, the electronic devices may be AR glasses and/or a head-mounted device (HMD).

일 실시예(an embodiment)에 따른, 웨어러블 장치(wearable device)는, 카메라, 디스플레이 및, 처리 회로를 포함하는 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 디스플레이를 통해 가상 공간 내 가상 객체를 표시하는 동안, 상기 카메라의 FoV(field-of-view) 내 신체 부위를 식별하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 가상 객체의 이동을 위한 지정된 자세의 상기 신체 부위를 식별하는 것에 기반하여, 상기 FoV 내에서 이동되는 상기 신체 부위의 경로를 따라 이동되는 상기 가상 객체를 표시하기 위하여 상기 디스플레이를 제어하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 경로에 따라 상기 가상 객체를 이동하는 상태 내에서, 상기 카메라를 이용하여, 상기 FoV의 가장자리의 제1 위치를 통해 상기 신체 부위가 상기 FoV의 밖으로 이동되는 것을 식별하는 것에 기반하여, 상기 제1 위치에 대응하는 상기 가상 공간 내 제2 위치에 상기 가상 객체를 표시하기 위하여 상기 디스플레이를 제어하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 제2 위치에 상기 가상 객체를 표시한 것에 기반하여, 상기 FoV 안으로 이동된 상기 지정된 자세의 상기 신체 부위를 식별하는 것에 기반하여, 상기 제2 위치로부터 이동되고, 상기 FoV 내 상기 신체 부위의 경로를 따라 이동되는, 상기 가상 객체를 표시하기 위하여 상기 디스플레이를 제어하도록, 구성될 수 있다.In one embodiment, a wearable device may include a camera, a display, and at least one processor including a processing circuit. The at least one processor may be configured, individually and/or collectively, to identify a body part within a field-of-view (FoV) of the camera while displaying a virtual object within a virtual space via the display. The at least one processor may be configured, individually and/or collectively, to control the display to display the virtual object moving along a path of the body part moving within the FoV based on identifying the body part in a designated pose for movement of the virtual object. The at least one processor may be configured, individually and/or collectively, to control the display to display the virtual object at a second location within the virtual space corresponding to the first location based on identifying, using the camera, that the body part is moving out of the FoV through a first location of an edge of the FoV while moving the virtual object along the path. At least one processor may be configured, individually and/or collectively, to control the display to display the virtual object, based on identifying the body part of the designated pose that has moved into the FoV, from the second location and moving along the path of the body part within the FoV.

일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 디스플레이를 통해 가상 공간 내 가상 객체를 표시하는 동안, 상기 웨어러블 장치의 카메라로부터 획득되는 비디오에 기반하여, 상기 카메라의 FoV(field-of-view) 내 신체 부위를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 가상 객체의 이동을 위한 지정된 자세의 상기 신체 부위를 식별하는 것에 기반하여, 상기 FoV 내에서 이동되는 상기 신체 부위의 경로를 따라 이동되는 상기 가상 객체를 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 경로에 따라 상기 가상 객체를 이동하는 상태 내에서, 상기 비디오로부터, 상기 FoV의 가장자리의 제1 위치를 통해 상기 신체 부위가 상기 FoV의 밖으로 이동되는 것을 식별하는 것에 기반하여, 상기 제1 위치에 대응하는 상기 가상 공간 내 제2 위치에 상기 가상 객체를 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 제2 위치에 상기 가상 객체를 표시한 이후, 상기 FoV 안으로 이동된 상기 지정된 자세의 상기 신체 부위를 식별하는 것에 기반하여, 상기 제2 위치로부터 이동되고, 상기 FoV 내 상기 신체 부위의 경로를 따라 이동되는, 상기 가상 객체를 표시하는 동작을 포함할 수 있다.In one embodiment, a method of a wearable device may include an operation of identifying a body part within a field-of-view (FoV) of a camera of the wearable device based on a video acquired from a camera of the wearable device while displaying a virtual object within a virtual space through a display of the wearable device. The method may include an operation of displaying the virtual object moving along a path of the body part moving within the FoV based on the identification of the body part in a specified posture for movement of the virtual object. The method may include an operation of displaying the virtual object at a second location within the virtual space corresponding to the first location based on the identification, from the video, that the body part is moving out of the FoV through a first location of an edge of the FoV within a state of moving the virtual object along the path. The method may include an action of displaying the virtual object, which is moved from the second location and moves along a path of the body part within the FoV, based on identifying the body part of the specified posture that has moved into the FoV after displaying the virtual object at the second location.

일 실시예에 따른, 웨어러블 장치는 카메라, 디스플레이 및, 처리 회로를 포함하는, 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 카메라에 기반하여, 제1 타이밍에서 상기 카메라의 FoV(field-of-view) 안으로 이동되는 신체 부위를 식별하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 제1 타이밍에서 상기 FoV 안으로 이동된 상기 신체 부위의 자세가 지정된 자세에 대응함을 식별하는 것에 기반하여, 상기 제1 타이밍 이전의 제2 타이밍에서 상기 신체 부위와 연결되었던 적어도 하나의 가상 객체를 식별하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 디스플레이 내에, 상기 FoV 내 상기 신체 부위의 위치에 기반하여, 상기 적어도 하나의 가상 객체를 표시하기 위하여 상기 디스플레이를 제어하도록, 구성될 수 있다.In one embodiment, a wearable device may include a camera, a display, and at least one processor including a processing circuit. The at least one processor may be configured, individually and/or collectively, to identify a body part that moves into a field-of-view (FoV) of the camera at a first timing based on the camera. The at least one processor may be configured, individually and/or collectively, to identify, based on identifying that a pose of the body part that moved into the FoV at the first timing corresponds to a designated pose, at least one virtual object that was associated with the body part at a second timing prior to the first timing. The at least one processor may be configured, individually and/or collectively, to control the display to display the at least one virtual object based on a position of the body part within the FoV within the display.

일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 카메라에 기반하여, 제1 타이밍에서 상기 웨어러블 장치의 카메라의 FoV 안으로 이동되는 신체 부위를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 타이밍에서 상기 FoV 안으로 이동된 상기 신체 부위의 자세가 지정된 자세에 대응함을 식별하는 것에 기반하여, 상기 제1 타이밍 이전의 제2 타이밍에서 상기 신체 부위와 연결되었던 적어도 하나의 가상 객체를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치의 디스플레이 내에, 상기 FoV 내 상기 신체 부위의 위치에 기반하여, 적어도 하나의 가상 객체를 표시하는 동작을 포함할 수 있다.In one embodiment, a method of a wearable device may include an operation of identifying a body part that moves into a FoV of a camera of the wearable device at a first timing based on a camera of the wearable device. The method may include an operation of identifying at least one virtual object that was connected to the body part at a second timing prior to the first timing based on identifying that a posture of the body part that moved into the FoV at the first timing corresponds to a designated posture. The method may include an operation of displaying at least one virtual object within a display of the wearable device based on a position of the body part within the FoV.

상술된 그리고 다른 측면들, 특징들, 및 본 개시의 몇몇 실시예들의 이점들이, 첨부된 도면과 함께 결합되어, 뒤따르는 상세한 설명으로부터 보다 명백해질 것이다:The above and other aspects, features, and advantages of some embodiments of the present disclosure will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, in which:

도 1a 및 도 1b는, 일 실시예에 따른, 웨어러블 장치의 디스플레이를 통해 표시되는 화면의 일 예를 도시한다;FIGS. 1A and 1B illustrate examples of screens displayed through a display of a wearable device, according to one embodiment;

도 2는, 일 실시예에 따른, 웨어러블 장치의 블록도의 예시적인 구성을 도시한다;FIG. 2 illustrates an exemplary configuration of a block diagram of a wearable device according to one embodiment;

도 3은, 일 실시예에 따른, 웨어러블 장치의 예시적인 동작들을 도시한 흐름도이다;FIG. 3 is a flowchart illustrating exemplary operations of a wearable device according to one embodiment;

도 4는, 신체 부위를 식별하기 위해 웨어러블 장치에 의해 수행되는 예시적인 동작을 도시한 다이어그램이다;FIG. 4 is a diagram illustrating exemplary operations performed by a wearable device to identify a body part;

도 5는, 신체 부위에 대한 정보를 획득하기 위해 웨어러블 장치에 의해 수행되는 예시적인 동작을 도시한 다이어그램이다;FIG. 5 is a diagram illustrating exemplary operations performed by a wearable device to obtain information about a body part;

도 6a, 도 6b 및 도 6c는, 신체 부위의 이동에 기반하여 수행되는 웨어러블 장치의 예시적인 동작을 도시한 다이어그램이다;FIGS. 6A, 6B and 6C are diagrams illustrating exemplary operations of a wearable device performed based on movement of a body part;

도 7a, 도 7b 및 도 7c는, 신체 부위의 이동에 기반하여 수행되는 웨어러블 장치의 예시적인 동작을 도시한 다이어그램이다;FIGS. 7A, 7B and 7C are diagrams illustrating exemplary operations of a wearable device performed based on movement of a body part;

도 8은, 일 실시예에 따른, 웨어러블 장치의 예시적인 동작들을 도시한 흐름도이다;FIG. 8 is a flowchart illustrating exemplary operations of a wearable device according to one embodiment;

도 9a, 도9b 및 도 9c는, 신체 부위들의 이동에 기반하여 수행되는 웨어러블 장치의 예시적인 동작을 도시한 다이어그램이다;FIGS. 9A, 9B and 9C are diagrams illustrating exemplary operations of a wearable device performed based on movements of body parts;

도 10은, 신체 부위들의 이동에 기반하여 수행되는 웨어러블 장치의 예시적인 동작을 도시한 다이어그램이다;FIG. 10 is a diagram illustrating exemplary operations of a wearable device performed based on movements of body parts;

도 11a, 도 11b 및 도 11c는, 신체 부위들의 이동에 기반하여 수행되는 웨어러블 장치의 예시적인 동작을 도시한 다이어그램이다;FIGS. 11A, 11B and 11C are diagrams illustrating exemplary operations of a wearable device performed based on movements of body parts;

도 12a 및 도 12b는, 신체 부위들의 이동에 기반하여 수행되는 웨어러블 장치의 예시적인 동작을 도시한 다이어그램이다;FIGS. 12A and 12B are diagrams illustrating exemplary operations of a wearable device performed based on movements of body parts;

도 13a, 도 13b 및 도 13c는, 신체 부위들의 이동에 기반하여 수행되는 웨어러블 장치의 예시적인 동작을 도시한 다이어그램이다;FIGS. 13A, 13B and 13C are diagrams illustrating exemplary operations of a wearable device performed based on movements of body parts;

도 14a, 도 14b 및 도 14c는, 카메라의 FoV(field-of-view)에 대한 신체 부위의 위치에 기반하여 웨어러블 장치에 의해 표시되는 화면의 상이한 상태들을 도시한 다이어그램이다;FIGS. 14a, 14b and 14c are diagrams illustrating different states of a screen displayed by a wearable device based on the position of a body part with respect to the field-of-view (FoV) of a camera;

도 15는, 일 실시예에 따른, 웨어러블 장치의 예시적인 동작들을 도시한 흐름도이다;FIG. 15 is a flowchart illustrating exemplary operations of a wearable device according to one embodiment;

도 16a는, 일 실시예에 따른, 예시적인 웨어러블 장치의 사시도(perspective view)이다;FIG. 16A is a perspective view of an exemplary wearable device, according to one embodiment;

도 16b는, 일 실시예에 따른, 웨어러블 장치 내에 배치된 하나 이상의 하드웨어들을 도시한 사시도이다; 및FIG. 16b is a perspective view illustrating one or more hardware elements positioned within a wearable device according to one embodiment; and

도 17a 및 도 17b는, 일 실시예에 따른, 웨어러블 장치의 외관의 일 예를 도시한 사시도이다.FIGS. 17A and 17B are perspective views illustrating an example of an exterior appearance of a wearable device according to one embodiment.

이하, 본 개시의 다양한 실시예들이 첨부된 도면을 참조하여 보다 상세히 설명된다.Hereinafter, various embodiments of the present disclosure are described in more detail with reference to the attached drawings.

본 개시의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.The various embodiments of the present disclosure and the terminology used herein are not intended to limit the technology described in this document to the specific embodiments, but should be understood to encompass various modifications, equivalents, and/or substitutes of the embodiments. In connection with the description of the drawings, similar reference numerals may be used for similar components. The singular expressions may include plural expressions unless the context clearly indicates otherwise. In this document, expressions such as "A or B", "at least one of A and/or B", "A, B, or C" or "at least one of A, B and/or C" can include all possible combinations of the items listed together. Expressions such as "first", "second", "first" or "second" can modify the corresponding components, regardless of order or importance, and are only used to distinguish one component from another and do not limit the corresponding components. When it is said that a certain (e.g., a first) component is "(functionally or communicatively) connected" or "connected" to another (e.g., a second) component, said certain component may be directly connected to said other component, or may be connected through another component (e.g., a third component).

본 문서에서 사용된 용어 "모듈"은 하드웨어로 구성된 유닛을 포함하며, 예를 들면, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.The term "module" as used in this document includes a unit composed of hardware, and may be used interchangeably with terms such as component, circuit, etc. A module may be an integrally composed component, or a minimum unit or part thereof that performs one or more functions. For example, a module may be composed of an application-specific integrated circuit (ASIC).

도 1a 및 도 1b는, 일 실시예에 따른, 웨어러블 장치(101)의 디스플레이를 통해 표시되는 화면의 일 예의 도면이다. 웨어러블 장치(101)는 사용자(110)의 머리에 착용 가능한(wearable on) HMD(head-mounted display)를 포함할 수 있다. 비록 안경의 형태를 가지는 웨어러블 장치(101)의 외형이 도시되지만, 본 개시가 본 개시가 이에 제한되는 것은 아니다. 웨어러블 장치(101) 내에 포함된 하나 이상의 하드웨어들의 일 예가, 도 2를 참고하여 비제한적인 예시로써 설명된다. 사용자(110)의 머리에 착용가능한 웨어러블 장치(101)의 구조의 일 예가, 도 16a 및 도 16b 및/또는 도 17a 및 도 17b를 참고하여 보다 상세히 설명된다. 웨어러블 장치(101)는 전자 장치(예, 도 7a 내지 도 7c의 전자 장치(101-1))로 지칭될(referred) 수 있다. 예를 들어, 전자 장치는, 사용자의 머리에 부착되기 위한 액세서리와 결합되어, HMD를 형성할 수 있다. 웨어러블 장치(101)는 실 세계(real world)를 표시하거나, 가상 세계(virtual world)를 표시하거나, 실 세계와 가상 세계를 함께 표시할 수도 있다.FIGS. 1A and 1B are diagrams of examples of screens displayed through a display of a wearable device (101), according to one embodiment. The wearable device (101) may include a head-mounted display (HMD) wearable on the head of a user (110). Although the external appearance of the wearable device (101) in the form of glasses is illustrated, the present disclosure is not limited thereto. An example of one or more hardware elements included in the wearable device (101) is described as a non-limiting example with reference to FIG. 2. An example of a structure of a wearable device (101) wearable on the head of a user (110) is described in more detail with reference to FIGS. 16A and 16B and/or 17A and 17B. The wearable device (101) may be referred to as an electronic device (e.g., the electronic device (101-1) of FIGS. 7A to 7C). For example, the electronic device may be combined with an accessory to be attached to a user's head to form an HMD. The wearable device (101) may display the real world, display a virtual world, or display both the real world and the virtual world together.

일 실시예에 따른, 웨어러블 장치(101)는 VST(video see-through) 및/또는 가상 현실(virtual reality, VR)과 관련된 기능을 실행할 수 있다. 도 1a 및 도 1b를 참고하면, 사용자(110)가 웨어러블 장치(101)를 착용한 상태 내에서, 웨어러블 장치(101)는 사용자(110)의 눈을 덮는 하우징을 포함할 수 있다. 웨어러블 장치(101)는, 상기 상태 내에서, 상기 눈을 향하는 상기 하우징의 제1 면에 배치된 디스플레이를 포함할 수 있다. 웨어러블 장치(101)는 상기 제1 면과 반대인 제2 면 상에 배치된 카메라를 포함할 수 있다. 상기 카메라를 이용하여, 웨어러블 장치(101)는 주변 광(ambient light)을 표현하는(representing) 이미지 및/또는 비디오를 획득할 수 있다. 웨어러블 장치(101)는 상기 제1 면에 배치된 디스플레이 내에, 상기 이미지 및/또는 비디오를 출력하여, 사용자(110)가 상기 디스플레이를 통해 상기 주변 광을 인식하게 할 수 있다. 상기 제1 면에 배치된 디스플레이의 표시 영역(displaying area)(또는 활성 영역(active area))은, 상기 디스플레이에 포함된 하나 이상의 픽셀들에 의해 형성될 수 있다. 웨어러블 장치(101)는 상기 디스플레이를 통해 출력되는 이미지 및/또는 비디오에 가상 객체를 합성하여, 사용자(110)가 주변 광에 의해 인식되는 실제 객체와 함께 상기 가상 객체를 인식하게 할 수 있다.In one embodiment, a wearable device (101) may perform functions related to video see-through (VST) and/or virtual reality (VR). Referring to FIGS. 1A and 1B , in a state where a user (110) wears the wearable device (101), the wearable device (101) may include a housing that covers the eyes of the user (110). In the state, the wearable device (101) may include a display disposed on a first side of the housing facing the eyes. The wearable device (101) may include a camera disposed on a second side opposite to the first side. Using the camera, the wearable device (101) may acquire images and/or videos representing ambient light. The wearable device (101) can output the image and/or video within the display disposed on the first surface, so that the user (110) can recognize the ambient light through the display. A displaying area (or active area) of the display disposed on the first surface can be formed by one or more pixels included in the display. The wearable device (101) can synthesize a virtual object into the image and/or video output through the display, so that the user (110) can recognize the virtual object together with a real object recognized by the ambient light.

일 실시예에 따른, 웨어러블 장치(101)는 증강 현실(augmented reality, AR) 및/또는 혼합 현실(mixed reality, MR)과 관련된 기능을 실행할 수 있다. 도 1a 및 도 1b의 도시에서(as shown in), 사용자(110)가 웨어러블 장치(101)를 착용한 상태 내에서, 웨어러블 장치(101)는 사용자(110)의 눈에 인접하게 배치된 적어도 하나의 렌즈를 포함할 수 있다. 웨어러블 장치(101)는 렌즈를 통과하는 주변 광에, 웨어러블 장치(101)의 디스플레이로부터 방사된 광을 결합할 수 있다. 상기 디스플레이의 표시 영역은, 주변 광이 통과되는 렌즈 내에서 형성될 수 있다. 웨어러블 장치(101)가 상기 주변 광 및 상기 디스플레이로부터 방사된 상기 광을 결합하기 때문에, 사용자(110)는 상기 주변 광에 의해 인식되는 실제 객체(real object) 및 상기 디스플레이로부터 방사된 상기 광에 의해 형성된 가상 객체(virtual object)가 혼합된 상(image)을 볼 수 있다. 상술된 증강 현실, 혼합 현실, 및/또는 가상 현실은, 확장 현실(extended reality, XR)로 지칭될(referred) 수 있다.In one embodiment, the wearable device (101) may perform functions related to augmented reality (AR) and/or mixed reality (MR). As shown in FIGS. 1A and 1B , when a user (110) wears the wearable device (101), the wearable device (101) may include at least one lens positioned adjacent to an eye of the user (110). The wearable device (101) may combine ambient light passing through the lens with light emitted from a display of the wearable device (101). A display area of the display may be formed within the lens through which the ambient light passes. Since the wearable device (101) combines the ambient light and the light emitted from the display, the user (110) can see an image that is a mixture of a real object recognized by the ambient light and a virtual object formed by the light emitted from the display. The augmented reality, mixed reality, and/or virtual reality described above may be referred to as extended reality (XR).

도 1a 및 도 1b를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는 하나 이상의 카메라들(예, 3차원 카메라) 및/또는 센서(예, 깊이 센서, 근접(proximity) 센서, ToF(time-of-flight) 센서)에 기반하여, 손(112)과 같은 신체 부위를 식별할 수 있다. 도 1a를 참고하면, 웨어러블 장치(101)는 하나 이상의 카메라들 및/또는 센서의 데이터를 이용하여, 상기 하나 이상의 카메라들 및/또는 상기 센서에 의해 감지 가능한(sensible)(예, 감지될 수 있는(able to be sensed)) 외부 공간에 포함된 신체 부위를 식별할 수 있다. 도 1a를 참고하면, 웨어러블 장치(101)는, 방향(df)(예, 웨어러블 장치(101)의 전 방(front direction))을 향하여 배치된 카메라의 FoV(field-of-view)(120) 내에서, 손(112)을 식별할 수 있다. FoV는, 예를 들어, 카메라에 의해 감지 가능한 외부 공간을 지칭할 수 있다. 웨어러블 장치(101)가 손(112)을 식별하는 것은, 상기 카메라의 이미지 및/또는 비디오에 기반하여, FoV(120) 내 손(112)의 자세, FoV(120) 내 손(112)의 위치 및/또는 상기 자세에 대응하는 제스쳐의 타입 중 적어도 하나를 식별하는 동작을 포함할 수 있다. 손(112)을 식별하기 위해 수행되는 웨어러블 장치(101)의 동작의 일 예가, 도 4 및 도 5를 참고하여 보다 상세히 설명된다. 이하에서는, 사용자(110)의 손(112)을 식별하는 웨어러블 장치(101)의 동작이 설명되지만, 본 개시가 이에 제한되는 것은 아니다.Referring to FIGS. 1A and 1B , according to one embodiment, a wearable device (101) may identify a body part, such as a hand (112), based on one or more cameras (e.g., a 3D camera) and/or sensors (e.g., a depth sensor, a proximity sensor, a time-of-flight (ToF) sensor). Referring to FIG. 1A , the wearable device (101) may identify a body part included in an external space that is sensible (e.g., able to be sensed) by the one or more cameras and/or sensors, using data from the one or more cameras and/or sensors. Referring to FIG. 1a, the wearable device (101) can identify a hand (112) within a field-of-view (FoV) (120) of a camera positioned toward a direction (df) (e.g., a front direction of the wearable device (101). The FoV may, for example, refer to an external space detectable by the camera. The wearable device (101) identifying the hand (112) may include an operation of identifying at least one of a pose of the hand (112) within the FoV (120), a position of the hand (112) within the FoV (120), and/or a type of gesture corresponding to the pose, based on an image and/or video of the camera. An example of an operation of the wearable device (101) performed to identify the hand (112) is described in more detail with reference to FIGS. 4 and 5. Below, the operation of the wearable device (101) for identifying the hand (112) of the user (110) is described, but the present disclosure is not limited thereto.

도 1a 및 도 1b를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)에 의해 표시된 예시적인 화면(130)이 도시된다. 화면(130)은 웨어러블 장치(101)의 디스플레이를 통해 가상 공간, 실 세계, 혼합 현실 또는 확장 현실이 표시된, 디스플레이 영역을 포함할 수 있다. 일례로, 웨어러블 장치(101)는 사용자(110)의 아바타를 중심점으로 구, 반구, 원통 등의 임의 형상을 갖는, 사용자(110)의 아바타를 둘러싼 3차원의 가상 공간을 표시할 수 있다. 화면(130)은 가상 공간에서 웨어러블 장치(101)의 디스플레이를 통해 현재 표시되고 있는 일 영역일 수 있다. 사용자(110)가 시선을 돌리면, 웨어러블 장치(101)에는 가상 공간에서 현재 표시되고 있는 일 영역과 다른 영역 또는 외부 공간이 표시될 수 있다. 즉, 외부 공간은 가상 공간에 포함된 영역이며, 외부 공간의 적어도 일부가 현재 표시되고 있는 일 영역과 다른 영역을 포함할 수 있다. 화면(130)에, 일례로 가상 공간내, 웨어러블 장치(101)는 사용자(110)에게 하나 이상의 가상 객체들을 표시할 수 있다. 도 1a 및 도 1b를 참고하면, 3차원 실린더의 형태를 가지는 가상 객체(140)가 예시적으로 도시되지만, 본 개시가본 개시가 이에 제한되는 것은 아니다. 화면(130) 내에 표시되는 가상 객체(140)는, 예를 들어, 웨어러블 장치(101)에 의해 실행되는 소프트웨어 어플리케이션(예, 웹 브라우저 및/또는 갤러리)으로부터 제공된 윈도우를 포함할 수 있다. 상기 윈도우는, 예를 들어, 안드로이드 운영체제의 액티비티(activity) 및/또는, 예를 들어, 윈도우 운영체제의 윈도우(또는 팝업-윈도우)와 같이, 2차원 사각형의 형태를 가질 수 있다. 가상 객체(140)는, 상기 소프트웨어 어플리케이션로부터 제공된 2차원 및/또는 3차원의 위젯(예, 날씨 위젯)을 포함할 수 있다. 본 개시가본 개시가 이에 제한되는 것은 아니며, 가상 객체(140)는, 화면(130) 내에 표시될 수 있는 어느 그래픽적 객체(graphical object)를 포함할 수 있다.Referring to FIGS. 1A and 1B , an exemplary screen (130) displayed by a wearable device (101) according to one embodiment is illustrated. The screen (130) may include a display area in which a virtual space, a real world, a mixed reality, or an extended reality is displayed through the display of the wearable device (101). For example, the wearable device (101) may display a three-dimensional virtual space surrounding an avatar of a user (110) having an arbitrary shape such as a sphere, a hemisphere, or a cylinder, with the avatar of the user (110) as the center point. The screen (130) may be an area currently being displayed through the display of the wearable device (101) in the virtual space. When the user (110) turns his/her gaze, the wearable device (101) may display an area or an external space different from the area currently being displayed in the virtual space. That is, the external space is an area included in the virtual space, and at least a part of the external space may include an area different from the area currently being displayed. On the screen (130), for example, within the virtual space, the wearable device (101) may display one or more virtual objects to the user (110). Referring to FIGS. 1A and 1B , a virtual object (140) having a shape of a three-dimensional cylinder is exemplarily illustrated, but the present disclosure is not limited thereto. The virtual object (140) displayed within the screen (130) may include, for example, a window provided by a software application (e.g., a web browser and/or a gallery) executed by the wearable device (101). The window may have a two-dimensional rectangular shape, such as, for example, an activity of an Android operating system and/or, for example, a window (or a pop-up window) of a Windows operating system. The virtual object (140) may include a two-dimensional and/or three-dimensional widget (e.g., a weather widget) provided by the software application. The present disclosure is not limited thereto, and the virtual object (140) may include any graphical object that may be displayed within the screen (130).

일 실시예에 따른, 웨어러블 장치(101)는 사용자(110)의 두 눈들 각각에, 상이한 위치들에 배치된 가상 객체(140)를 포함하는 이미지들을 실질적으로 동시에 표시할 수 있다. 상기 이미지들에 공통으로 포함된 상기 가상 객체(140)의 상기 위치들 사이의 차이(또는 거리)가, 양안 시차(binocular parallax)로 지칭될 수 있다. 상기 양안 시차를 이용하여, 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자(110)에게 인식되는 가상 객체(140)의 거리 감각을 조절할 수 있다. 예를 들어, 가상 객체(140)의 양안 시차가 클수록, 화면(130)을 통해 가상 객체(140)를 보는 사용자(110)는, 상기 가상 객체(140)가 사용자(110)로부터 가까운 거리에 배치된 것으로 인식할 수 있다.According to one embodiment, the wearable device (101) can substantially simultaneously display images including virtual objects (140) positioned at different locations on each of the two eyes of the user (110). The difference (or distance) between the locations of the virtual objects (140) commonly included in the images can be referred to as binocular parallax. By utilizing the binocular parallax, the wearable device (101) can adjust the distance perception of the virtual object (140) recognized by the user (110) wearing the wearable device (101). For example, the larger the binocular parallax of the virtual object (140), the more the user (110) viewing the virtual object (140) through the screen (130) can recognize that the virtual object (140) is positioned at a closer distance from the user (110).

일 실시예에 따른, 웨어러블 장치(101)는, 디스플레이를 통해 가상 객체(140)를 표시하는 동안, 웨어러블 장치(101)의 카메라의 FoV(120) 내 신체 부위(예, 손(112))를 식별할 수 있다. FoV(120) 내 신체 부위를 식별하는 것에 기반하여, 웨어러블 장치(101)는 상기 신체 부위의 자세 및/또는 상기 신체 부위의 FoV(120) 내 위치를 식별할 수 있다. 상기 자세 및/또는 상기 위치에 기반하여, 웨어러블 장치(101)는 화면(130)에 표시되는 가상 객체(140)의 표시를 변경할 수 있다. 예를 들어, 가상 객체(140)의 이동을 위한 지정된 자세의 신체 부위를 식별하는 것에 기반하여, 웨어러블 장치(101)는 FoV(120) 내에서 이동되는 상기 신체 부위의 경로를 따라 이동되는 상기 가상 객체(140)를 표시할 수 있다.According to one embodiment, the wearable device (101) may identify a body part (e.g., a hand (112)) within the FoV (120) of the camera of the wearable device (101) while displaying a virtual object (140) through the display. Based on identifying the body part within the FoV (120), the wearable device (101) may identify a posture of the body part and/or a position of the body part within the FoV (120). Based on the posture and/or the position, the wearable device (101) may change the display of the virtual object (140) displayed on the screen (130). For example, based on identifying a body part in a specified posture for movement of the virtual object (140), the wearable device (101) may display the virtual object (140) moving along a path of the body part moving within the FoV (120).

도 1a 및 도 1b를 참고하면, 웨어러블 장치(101)는 카메라를 이용하여, 상기 카메라의 FoV(120) 내에 포함된 손(112)의 자세를 식별할 수 있다. 도 1a 및 도 1b의 예시적인 상태 내에서, 엄지 손가락의 손끝(fingertip)에 접촉된 집게 손가락의 손끝을 포함하는 손(112)을 식별하는 것에 기반하여, 웨어러블 장치(101)는 핀치 제스쳐에 대응하는 손(112)의 자세를 식별할 수 있다. 본 개시가 이에 제한되는 것은 아니며, 핀치 제스쳐에 대응하는 손(112)의 자세는, 고리(ring)의 형태를 가지는 상기 엄지 손가락 및 상기 집게 손가락에 기반하여, 식별될 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 신체 부위(예, 손(112))의 자세에 기반하여, 가상 객체(140)의 이동을 나타내는 입력을 식별할 수 있다. 예를 들어, 도 1a 및 도 1b에 도시된 핀치 제스쳐의 자세를 가지는 손(112)을 식별하는 것에 기반하여, 웨어러블 장치(101)는 상기 입력을 식별할 수 있다. 예를 들어, 상기 핀치 제스쳐의 자세를 가지는 손(112)의 FoV(120) 내 위치(pf1)가 가상 객체(140)의 화면(130) 내, 일 례로 가상 공간내, 위치(pv1)에 대응함을 식별하는 것에 기반하여, 웨어러블 장치(101)는 상기 입력을 식별할 수 있다. 예를 들어, 가상 객체(140)의 이동을 위한 지정된 자세는, 도 1a 및 도 1b에 도시된 손(112)의 자세를 포함할 수 있다.Referring to FIGS. 1A and 1B , the wearable device (101) can identify a posture of a hand (112) included in the FoV (120) of the camera using a camera. In the exemplary state of FIGS. 1A and 1B , based on identifying a hand (112) including a fingertip of an index finger contacting a fingertip of a thumb, the wearable device (101) can identify a posture of the hand (112) corresponding to a pinch gesture. The present disclosure is not limited thereto, and the posture of the hand (112) corresponding to the pinch gesture can be identified based on the thumb and the index finger having a ring shape. According to one embodiment, the wearable device (101) can identify an input indicating a movement of a virtual object (140) based on the posture of a body part (e.g., the hand (112)). For example, based on identifying a hand (112) having a posture of a pinch gesture as illustrated in FIGS. 1A and 1B, the wearable device (101) can identify the input. For example, based on identifying that a position (pf1) of the hand (112) having the posture of the pinch gesture within the FoV (120) corresponds to a position (pv1) of a virtual object (140) within the screen (130), for example, within the virtual space, the wearable device (101) can identify the input. For example, a designated posture for moving the virtual object (140) may include the posture of the hand (112) as illustrated in FIGS. 1A and 1B.

도 1a 및 도 1b를 참고하면, 핀치 제스쳐의 손(112)에 기반하여 식별되고, 가상 객체(140)의 이동을 나타내는, 입력에 응답하여, 웨어러블 장치(101)는 손(112)의 경로(114)에 따라 가상 객체(140)를 이동할 수 있다. 도 1a 및 도 1b를 참고하면, 웨어러블 장치(101)는 화면(130) 내 가상 객체(140)를, 손(112)의 경로(114)에 대응하는 경로(141)를 따라 이동할 수 있다. 예를 들어, 경로(114)를 따라 FoV(120) 내 위치(pf1)로부터 위치(pf2)로 이동되는 손(112)을 식별한 웨어러블 장치(101)는, 가상 객체(140)를, 화면(130) 내, 일례로 가상 공간내, 위치(pv1)로부터 위치(pv2)로 이동할 수 있다. 도 1a 및 도 1b에는 편의상 손(112)의 경로(114)가 2차원 평면상에 있는 것처럼 도시되어 있으나, 경로(114)상의 위치(pf1), 위치(pf2), 위치(pf3), 위치(pf4), 위치(pf5), 위치(pf6) 각각은 3차원의 좌표 값 (x, y, z)을 갖는 것일 수 있다. 또한, 화면(130)에서 표시되는 형식(일례로, 2차원 평면 또는 3차원 공간)에 따라 경로(114)상의 위치들(pf1 내지 pf6)의 형식(일례로, 2차원 좌표 또는 3차원 좌표)이 결정될 수도 있다. 예를 들어, 화면(130)이 가상 공간인 경우, 손(112)의 경로(114) 또는 위치(pf1 내지 pf6)는 3차원의 좌표 값을 갖는 것일 수 있고, 손(112)의 경로(114)에 따라 가상 공간내 객체(140)의 위치가 표시될 수 있다. 또한, 도 1a 및 도 1b를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는 손(112)을 표현하는 가상 객체(142)를 표시할 수 있다. 가상 객체(142)는 사용자(110)의 아바타로 지칭될 수 있다. 가상 객체(142)는, 손(112)의 자세에 대응하는 형태를 가지고, 손(112)의 위치에 대응하는 가상 공간 내 위치에 기반하여 표시될 수 있다. 도 1a를 참고하면, 가상 공간 내 가상 객체(140)를 핀치 제스처로 집고 있거나 또는 손으로 쥐는 형상을 가지는 가상 객체(142)가 예시적으로 도시된다. 또한, 사용자(110)의 손 형상으로 표시되는 대신, 포인터, 선(ray), 스틱(stick) 또는 각종 툴(tool)의 형상이 표시될 수도 있다.Referring to FIGS. 1A and 1B, in response to an input that is identified based on a hand (112) of a pinch gesture and indicates movement of a virtual object (140), the wearable device (101) can move the virtual object (140) along the path (114) of the hand (112). Referring to FIGS. 1A and 1B, the wearable device (101) can move the virtual object (140) within the screen (130) along the path (141) corresponding to the path (114) of the hand (112). For example, a wearable device (101) that identifies a hand (112) moving from a position (pf1) to a position (pf2) within the FoV (120) along a path (114) can move a virtual object (140) from a position (pv1) to a position (pv2) within a screen (130), for example, within a virtual space. In FIGS. 1A and 1B , the path (114) of the hand (112) is illustrated as if it were on a two-dimensional plane for convenience, but each of the positions (pf1), (pf2), (pf3), (pf4), (pf5), and (pf6) on the path (114) may have three-dimensional coordinate values (x, y, z). In addition, the format (for example, two-dimensional coordinates or three-dimensional coordinates) of the positions (pf1 to pf6) on the path (114) may be determined depending on the format (for example, two-dimensional plane or three-dimensional space) displayed on the screen (130). For example, when the screen (130) is a virtual space, the path (114) or positions (pf1 to pf6) of the hand (112) may have three-dimensional coordinate values, and the position of the object (140) in the virtual space may be displayed depending on the path (114) of the hand (112). In addition, referring to FIGS. 1A and 1B, according to one embodiment, the wearable device (101) may display a virtual object (142) representing the hand (112). The virtual object (142) may be referred to as an avatar of the user (110). The virtual object (142) may have a shape corresponding to the posture of the hand (112) and may be displayed based on a position in the virtual space corresponding to the position of the hand (112). Referring to FIG. 1A, a virtual object (142) having a shape of being held with a pinch gesture or being held by a hand in the virtual space is exemplarily illustrated. In addition, instead of being displayed in the shape of the user's (110) hand, a shape of a pointer, a ray, a stick, or various tools may be displayed.

일 실시예에서, 웨어러블 장치(101)가 하나 이상의 카메라들 및/또는 센서를 이용하여 신체 부위를 탐지할 수 있는 범위(예, FoV(120))는 유한할 수 있다. 사용자(110)가 웨어러블 장치(101)를 착용한 도 1a 및 도 1b의 예시적인 상태 내에서, 사용자(110)가 손(112)을 움직일 수 있는 범위(또는 영역)는, 웨어러블 장치(101)의 카메라의 FoV(120)와 다를 수 있다. 예를 들어, 경로(114)를 따라 이동되는 손(112)은, FoV(120)의 가장자리의 위치(pf3)에서, 상기 FoV(120)의 밖으로 이동될 수 있다. 경로(114)를 따라 가상 객체(140)를 이동하는 상태 내에서, 웨어러블 장치(101)는 카메라를 이용하여, FoV(120)의 가장자리의 위치(pf3)를 통해 신체 부위(예, 손(112))가 FoV(120)의 밖으로 이동되는 것을 식별할 수 있다. FoV(120)의 가장자리의 위치(pf3)를 통해 신체 부위(예, 손(112))가 FoV(120)의 밖으로 이동되는 것을 식별하는 것에 기반하여, 웨어러블 장치(101)는 상기 위치(pf3)에 대응하는 디스플레이의 위치(pv3)에 가상 객체(140)를 표시할 수 있다.In one embodiment, the range (e.g., FoV (120)) over which the wearable device (101) can detect a body part using one or more cameras and/or sensors may be finite. Within the exemplary state of FIGS. 1A and 1B where the user (110) is wearing the wearable device (101), the range (or area) over which the user (110) can move his/her hand (112) may be different from the FoV (120) of the camera of the wearable device (101). For example, the hand (112) moving along the path (114) may move out of the FoV (120) at a location (pf3) of the edge of the FoV (120). In a state of moving a virtual object (140) along a path (114), the wearable device (101) can identify, by using a camera, that a body part (e.g., a hand (112)) is moved out of the FoV (120) through a position (pf3) of an edge of the FoV (120). Based on identifying that a body part (e.g., a hand (112)) is moved out of the FoV (120) through a position (pf3) of an edge of the FoV (120), the wearable device (101) can display a virtual object (140) at a position (pv3) of a display corresponding to the position (pf3).

일 실시예에서, 손(112)이 FoV(120)의 밖으로 이동된 이후, 웨어러블 장치(101)가 카메라를 이용하여 손(112)의 위치 및/또는 자세를 식별하는 것이 적어도 일시적으로 중단될 수 있다. 도 1a를 참고하면, 손(112)이 경로(114)를 따라 FoV(120)의 가장자리의 위치(pf3)로부터 FoV(120) 밖의 위치(pf4)로 이동되는 동안, 상기 FoV(120) 내측에 대한 이미지 및/또는 비디오를 획득하는 웨어러블 장치(101)는, 손(112)을 식별할 수 없다. 손(112)이 FoV(120)의 밖으로 이동된 동안, 웨어러블 장치(101)는, 손(112)을 식별한 FoV(120) 내 마지막 위치에 기반하여, 가상 객체(140)를 표시할 수 있다. 도 1a의 예시적인 상태 내에서, 웨어러블 장치(101)는 손(112)을 식별한 FoV(120) 내 마지막 위치(pf3)에 대응하는 화면(130) 내 위치(pv3)에, 가상 객체(140)를 표시할 수 있다. 예를 들어, 손(112)이 경로(114)를 따라 FoV(120)의 가장자리의 위치(pf3)로부터 FoV(120) 밖의 위치(pf4)로 이동되는 동안, 웨어러블 장치(101)는 화면(130) 내 가상 객체(140)의 위치를, 위치(pv3)로 유지할 수 있다.In one embodiment, after the hand (112) is moved out of the FoV (120), the wearable device (101) may at least temporarily cease using the camera to identify the position and/or pose of the hand (112). Referring to FIG. 1A , while the hand (112) is moved along the path (114) from a position (pf3) at the edge of the FoV (120) to a position (pf4) outside the FoV (120), the wearable device (101), which acquires images and/or videos inside the FoV (120), cannot identify the hand (112). While the hand (112) is moved out of the FoV (120), the wearable device (101) may display a virtual object (140) based on the last position within the FoV (120) at which the hand (112) was identified. Within the exemplary state of FIG. 1a, the wearable device (101) can display a virtual object (140) at a location (pv3) within the screen (130) corresponding to the last location (pf3) within the FoV (120) that identified the hand (112). For example, while the hand (112) moves along the path (114) from a location (pf3) at the edge of the FoV (120) to a location (pf4) outside the FoV (120), the wearable device (101) can maintain the location of the virtual object (140) within the screen (130) at the location (pv3).

일 실시예에 따른, FoV(120) 밖으로 이동됨에 따라 손(112)을 추적하는 것이 중단된 이후, 웨어러블 장치(101)는 FoV(120) 안으로 이동되는 손(112)을 식별하는 것에 기반하여, 손(112)의 추적을 중단하기 이전에 실행되었던 기능을 다시 실행할 수 있다. 도 1a의 예시적인 상태 내에서, 경로(114)를 따라 FoV(120)의 가장자리의 위치(pf5)를 통해 FoV(120) 안으로 이동되는 손(112)을 식별한 웨어러블 장치(101)는, 위치(pf3)를 통해 FoV(120) 밖으로 이동되기 이전의 손(112)에 의해 실행되었던 기능(예, 손(112)의 경로(114)에 기반하여 가상 객체(140)를 이동하는 기능)을 다시 실행할 수 있다. 상기 기능이 다시 실행되기 때문에, 웨어러블 장치(101)는, FoV(120) 밖으로 이동된 손(112)에 의해 발생된, 상기 기능의 의도에 반하는(unintentional) 중단을 보상할 수 있다.In one embodiment, after tracking of a hand (112) is stopped as it moves out of the FoV (120), the wearable device (101) can, based on identifying the hand (112) moving into the FoV (120), re-execute a function that was being executed prior to stopping tracking of the hand (112). In the exemplary state of FIG. 1A , the wearable device (101) that identifies the hand (112) moving into the FoV (120) via the location (pf5) of the edge of the FoV (120) along the path (114) can re-execute a function (e.g., a function of moving a virtual object (140) based on the path (114) of the hand (112)) that was being executed by the hand (112) prior to it moving out of the FoV (120) via the location (pf3). Since the above function is executed again, the wearable device (101) can compensate for unintentional interruption of the function caused by the hand (112) moving out of the FoV (120).

도 1a를 참고하면, FoV(120) 밖으로 이동되기 이전의 손(112)에 기반하는 위치(pv3)에 가상 객체(140)를 표시한 이후, 웨어러블 장치(101)는 FoV(120) 안으로 이동된 지정된 자세(예, 핀치 제스쳐의 자세)의 신체 부위(예, 손(112))를 식별하는 것에 기반하여, 상기 위치(pv3)로부터 이동되고, FoV(120) 내 상기 신체 부위의 경로(114)를 따라 이동되는, 가상 객체(140)를 표시할 수 있다. 예를 들어, FoV(120) 안으로 이동되는 핀치 제스쳐의 자세를 가지는 손(112)을 식별한 웨어러블 장치(101)는, 가상 객체(140)의 화면(130) 내 위치(pv3)를, 손(112)의 경로(114)에 기반하여 변경할 수 있다. 예를 들어, 경로(114)를 따라 FoV(120)의 가장자리의 위치(pf5)로부터 FoV(120) 안의 위치(pf6)로 이동되는 손(112)을 식별한 웨어러블 장치(101)는, 가상 객체(140)를, 위치(pf5)에 대응하는 위치(pv5)로부터 경로(114)를 따라 화면(130) 내 위치(pv6)로 이동할 수 있다.Referring to FIG. 1a, after displaying a virtual object (140) at a location (pv3) based on a hand (112) before being moved out of the FoV (120), the wearable device (101) may identify a body part (e.g., hand (112)) in a specified posture (e.g., posture of a pinch gesture) that has moved into the FoV (120), and display a virtual object (140) that has moved from the location (pv3) and has moved along the path (114) of the body part within the FoV (120). For example, the wearable device (101) that has identified a hand (112) having a posture of a pinch gesture that has moved into the FoV (120) may change the location (pv3) of the virtual object (140) within the screen (130) based on the path (114) of the hand (112). For example, a wearable device (101) that identifies a hand (112) moving from a position (pf5) at the edge of the FoV (120) along a path (114) to a position (pf6) within the FoV (120) can move a virtual object (140) from a position (pv5) corresponding to the position (pf5) to a position (pv6) within the screen (130) along the path (114).

도 1b를 참고하면, 손(112)의 자세는, FoV(120) 밖의 위치(pf4)에서, 핀치 제스쳐로부터, 핀치 제스쳐와 상이한 다른 자세(예, 모든 손가락들을 펼친 자세)로 변경될 수 있다. 상기 다른 자세를 가지는 손(112)이 FoV(120)의 가장자리의 위치(pf5)를 통해 FoV(120) 안으로 이동되는 경우, 웨어러블 장치(101)는 상기 손(112)의 상기 다른 자세를 식별할 수 있다. FoV(120) 밖으로 이동되기 이전의 손(112)의 핀치 제스쳐와 상이한 다른 자세를 식별하는 것에 기반하여, 웨어러블 장치(101)는 FoV(120) 밖으로 이동되기 이전의 손(112)의 위치(pv3)에 따라 표시되는 가상 객체(140)를, 손(112)의 위치에 따라 변경하지 않을 수 있다. 예를 들어, 핀치 제스쳐와 상이한 다른 자세를 가지는 손(112)이 FoV(120)의 가장자리의 위치(pf5)로부터 FoV(120) 안의 위치(pf6)로 이동되는 동안, 상기 위치(pf5)에 대응하는 화면(130) 내 위치(pv5)로부터 상기 위치(pf6)에 대응하는 화면(130) 내 위치(pv6)로 이동되는 가상 객체(142)(예, 사용자(110)의 손을 표현하는 아바타)를 표시하는 것과 독립적으로, 웨어러블 장치(101)는 위치(pv3)에 가상 객체(140)를 표시하는 것을 유지할 수 있다.Referring to FIG. 1b, the posture of the hand (112) can change from a pinch gesture to another posture (e.g., a posture with all fingers spread out) different from the pinch gesture at a location (pf4) outside the FoV (120). When the hand (112) having the different posture moves into the FoV (120) through a location (pf5) of the edge of the FoV (120), the wearable device (101) can identify the different posture of the hand (112). Based on identifying the different posture from the pinch gesture of the hand (112) before it is moved out of the FoV (120), the wearable device (101) can not change the virtual object (140) displayed according to the location (pv3) of the hand (112) before it is moved out of the FoV (120) according to the location of the hand (112). For example, while a hand (112) having a different posture than a pinch gesture moves from a position (pf5) at the edge of the FoV (120) to a position (pf6) within the FoV (120), the wearable device (101) can independently display a virtual object (142) (e.g., an avatar representing the hand of the user (110)) that moves from a position (pv5) within the screen (130) corresponding to the position (pf5) to a position (pv6) within the screen (130) corresponding to the position (pf6).

상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, 웨어러블 장치(101)의 카메라 및/또는 센서에 의해 탐지가능한 범위(예, FoV(120))와 독립적으로 수행되는 사용자(110)의 제스쳐를 식별할 수 있다. 상기 제스쳐는, 경로(114)를 따라 이동되는 손(112)에 의해 수행되는 제스쳐를 포함할 수 있다. 예를 들어, FoV(120) 밖으로 이동됨에 따라 불연속적으로 인식된 손(112)의 경로(114)를 식별한 웨어러블 장치(101)는, 상기 손(112)의 자세가 지정된 자세로 유지되는지 여부에 기반하여, 상기 손(112)에 의해 실행되었던 기능(예, 가상 객체(140)를 이동하는 기능)을 연속적으로 실행할 수 있다.As described above, according to one embodiment, the wearable device (101) can identify a gesture of a user (110) that is performed independently of a range detectable by a camera and/or sensor of the wearable device (101) (e.g., FoV (120)). The gesture can include a gesture performed by a hand (112) moving along a path (114). For example, the wearable device (101) that identifies a path (114) of a hand (112) that is discontinuously recognized as moving out of the FoV (120) can continuously execute a function (e.g., a function of moving a virtual object (140)) that was performed by the hand (112) based on whether the posture of the hand (112) is maintained in a designated posture.

이하에서는, 도 2를 참고하여, 도 1a 및 도 1b를 참고하여 상술된 웨어러블 장치(101)의 동작을 수행하기 위해 웨어러블 장치(101)에 포함된 하나 이상의 하드웨어들 및/또는 웨어러블 장치(101)에 의해 실행되는 소프트웨어 어플리케이션이 보다 상세히 설명된다.Hereinafter, with reference to FIG. 2, one or more hardware components included in the wearable device (101) and/or software applications executed by the wearable device (101) to perform the operations of the wearable device (101) described above with reference to FIGS. 1A and 1B are described in more detail.

도 2는, 일 실시예에 따른, 웨어러블 장치(101)의 예시적인 구성을 도시한 블록도이다. 도 1a 및 도 1b의 웨어러블 장치(101)는 도 2를 참고하여 설명되는 웨어러블 장치(101)의 일 예일 수 있다.FIG. 2 is a block diagram illustrating an exemplary configuration of a wearable device (101) according to one embodiment. The wearable device (101) of FIGS. 1A and 1B may be an example of the wearable device (101) described with reference to FIG. 2.

일 실시예에 따른, 웨어러블 장치(101)는, (예, 처리 회로를 포함하는) 프로세서(210), 메모리(215), 디스플레이(220), 카메라(225), 센서(230), 및.또는 통신 회로(240) 중 적어도 하나를 포함할 수 있다. 프로세서(210), 메모리(215), 디스플레이(220), 카메라(225), 센서(230), 및 통신 회로(240)는 통신 버스(202)와 같은 전자 부품(electronical component)에 의해 서로 전기적으로 및/또는 작동적으로 연결될 수 있다(electronically and/or operably coupled with each other). 이하에서, 하드웨어들이 작동적으로 결합된 것은, 예를 들어, 하드웨어들 중 제1 하드웨어에 의해 제2 하드웨어가 제어되도록, 하드웨어들 사이의 직접적인 연결, 또는 간접적인 연결이 유선으로, 또는 무선으로 수립된 것을 지칭할 수 있다. 상이한 블록들에 기반하여 도시되었으나, 본 개시가 이에 제한되는 것은 아니며, 도 2의 하드웨어들 중 일부분(예, 프로세서(210), 메모리(215), 및 통신 회로(240)의 적어도 일부분)이 SoC(system on a chip)와 같이 단일 집적 회로(single integrated circuit)에 포함될 수 있다. 웨어러블 장치(101)에 포함된 하드웨어의 타입 및/또는 개수는 도 2에 도시된 바에 제한되지 않는다. 예를 들어, 웨어러블 장치(101)는 도 2에 도시된 하드웨어 중 일부만 포함할 수 있다.According to one embodiment, the wearable device (101) may include at least one of a processor (210) (e.g., including processing circuitry), a memory (215), a display (220), a camera (225), a sensor (230), and/or communication circuitry (240). The processor (210), the memory (215), the display (220), the camera (225), the sensor (230), and the communication circuitry (240) may be electronically and/or operably coupled with each other by electronic components, such as a communication bus (202). Hereinafter, operably coupled hardware may refer to a direct connection, or an indirect connection established between the hardwares, wired or wireless, such that a second hardware is controlled by a first hardware among the hardwares. Although illustrated based on different blocks, the present disclosure is not limited thereto, and some of the hardware of FIG. 2 (e.g., at least a portion of the processor (210), the memory (215), and the communication circuit (240)) may be included in a single integrated circuit, such as a system on a chip (SoC). The type and/or number of hardware included in the wearable device (101) is not limited to that illustrated in FIG. 2. For example, the wearable device (101) may include only some of the hardware illustrated in FIG. 2.

일 실시예에서, 웨어러블 장치(101)의 프로세서(210)는, 하나 이상의 인스트럭션들에 기반하여 데이터를 처리하기 위한 하드웨어를 포함할 수 있다. 데이터를 처리하기 위한 상기 하드웨어는, 예를 들어, ALU(arithmetic and logic unit), FPU(floating point unit), FPGA(field programmable gate array), CPU(central processing unit), 및/또는 AP(application processor)를 포함할 수 있다. 프로세서(210)는, 싱글-코어 프로세서의 구조를 가지거나, 또는 듀얼 코어(dual core), 쿼드 코어(quad core), 헥사 코어(hexa core)와 같은 멀티-코어 프로세서의 구조를 가질 수 있다. 본 개시의 일 실시예에 따른 프로세서(210)는, 다양한 프로세싱 회로, 및/또는 복수의 프로세서들을 포함할 수 있다. 예를 들어, 청구항들을 포함하는, 이하에 이용된 바와 같이, "프로세서" 용어는, 적어도 하나의 프로세서를 포함하는, 다양한 처리 회로를 포함할 수 있고, 하나 이상의 적어도 하나의 프로세서는 여기서 설명되는 다양한 기능들을 수행하도록, 개별적으로 및/또는 분산된 방식으로 집합적으로, 구성될 수 있다. 이하에서 이용된 바와 같이, "프로세서", "적어도 하나의 프로세서", 및 "하나 이상의 프로세서들"이 몇몇 기능들을 수행하도록 구성된 것으로 설명될 시, 이 용어들은, 제한하지 않는 예로, 하나의 프로세서가 언급된 기능들 중 몇몇을 수행하고, 다른 프로세서(들)가 언급된 기능들 중 다른 것을 수행하는 상황을 다룰(cover) 수 있고, 또한, 단일 프로세서가 언급된 기능들 전부를 수행하는 상황을 다룰 수 있다. 추가적으로, 적어도 하나의 프로세서는 언급된/개시된 다양한 기능들을 수행하는, 예를 들어, 분산된 방식의, 프로세서들의 조합을 포함할 수 있다. 적어도 하나의 프로세서는 다양한 기능들을 달성하거나, 또는 수행하기 위하여 프로그램 인스트럭션들을 실행할 수 있다.In one embodiment, the processor (210) of the wearable device (101) may include hardware for processing data based on one or more instructions. The hardware for processing data may include, for example, an arithmetic and logic unit (ALU), a floating point unit (FPU), a field programmable gate array (FPGA), a central processing unit (CPU), and/or an application processor (AP). The processor (210) may have a structure of a single-core processor, or may have a structure of a multi-core processor, such as a dual core, a quad core, or a hexa core. The processor (210) according to one embodiment of the present disclosure may include various processing circuits, and/or a plurality of processors. For example, as used herein, including in the claims, the term "processor" may encompass various processing circuitry, including at least one processor, wherein one or more of the at least one processors may be individually and/or collectively configured, in a distributed manner, to perform the various functions described herein. As used herein, when "processor," "at least one processor," and "one or more processors" are described as being configured to perform several functions, these terms may cover, by way of non-limiting example, situations where one processor performs some of the recited functions, other processor(s) perform other of the recited functions, and may also cover situations where a single processor performs all of the recited functions. Additionally, the at least one processor may encompass a combination of processors, e.g., in a distributed manner, that perform the various functions recited/disclosed. The at least one processor may execute program instructions to accomplish or perform the various functions.

일 실시예에서, 웨어러블 장치(101)의 메모리(215)는, 웨어러블 장치(101)의 프로세서(210)에 입력 및/또는 출력되는 데이터 및/또는 인스트럭션을 저장하기 위한 하드웨어를 포함할 수 있다. 메모리(215)는, 예를 들어, RAM(random-access memory)과 같은 휘발성 메모리(volatile memory) 및/또는 ROM(read-only memory)과 같은 비휘발성 메모리(non-volatile memory)를 포함할 수 있다. 휘발성 메모리는, 예를 들어, DRAM(dynamic RAM), SRAM(static RAM), Cache RAM, PSRAM (pseudo SRAM) 중 적어도 하나를 포함할 수 있다. 비휘발성 메모리는, 예를 들어, PROM(programmable ROM), EPROM (erasable PROM), EEPROM (electrically erasable PROM), 플래시 메모리, 하드디스크, 컴팩트 디스크, SSD(solid state drive), eMMC(embedded multi media card) 중 적어도 하나를 포함할 수 있다.In one embodiment, the memory (215) of the wearable device (101) may include hardware for storing data and/or instructions input and/or output to the processor (210) of the wearable device (101). The memory (215) may include, for example, volatile memory, such as random-access memory (RAM), and/or non-volatile memory, such as read-only memory (ROM). The volatile memory may include, for example, at least one of dynamic RAM (DRAM), static RAM (SRAM), Cache RAM, and pseudo SRAM (PSRAM). The non-volatile memory may include, for example, at least one of programmable ROM (PROM), erasable PROM (EPROM), electrically erasable PROM (EEPROM), flash memory, a hard disk, a compact disc, a solid state drive (SSD), and an embedded multi media card (eMMC).

일 실시예에서, 웨어러블 장치(101)의 디스플레이(220)는 사용자(예, 도 1a 및 도 1b, 도 4, 도 5, 도 6a 내지 도 6c, 도 7a 내지 도 7c, 도 9a 내지 도 9c, 도 10, 도 11a 내지 도 11c, 도 12a 내지 도 12b, 도 13a 내지 도 13c, 도 14a 내지 도 14c의 사용자(110))에게 시각화된 정보(예를 들어, 도 1a 내지 도 1b, 도 4, 도 5의 화면(130), 도 6a 내지 도 6c의 화면(620), 도 7a 내지 도 7c의 화면(720), 도 9a 내지 도 9c의 화면(920), 도 10의 화면(1020), 도 11a 내지 도 11c의 화면(1120), 도 12a 내지 도 12b의 화면(1220), 도 13a 내지 도 13c의 화면(1320), 도 14a 내지 도 14c의 화면(1410))를 출력할 수 있다. 예를 들어, 디스플레이(220)는, GPU(graphic processing unit)와 같은 회로를 포함하는 프로세서(210)에 의해 제어되어, 사용자에게 시각화된 정보(visualized information)를 출력할 수 있다. 디스플레이(220)는 플렉서블 디스플레이, FPD(flat panel display) 및/또는 전자 종이(electronic paper)를 포함할 수 있다. 상기 플렉서블 디스플레이는, 외력에 의해 변형가능한(deformable) 구조를 가질 수 있다. 상기 FPD는 LCD(liquid crystal display), PDP(plasma display panel) 및/또는 하나 이상의 LED(light emitting diode)를 포함할 수 있다. 상기 LED는 OLED(organic LED)를 포함할 수 있다. 도 2의 디스플레이(220)는, 도 16a 및 도 16b, 및/또는 도 17a 및 도 17b를 참고하여 보다 상세히 설명될, 적어도 하나의 디스플레이(1650, 1750)를 포함할 수 있다.In one embodiment, the display (220) of the wearable device (101) presents visualized information (e.g., the screen (130) of FIGS. 1A-1B, FIGS. 4, FIGS. 5, FIGS. 6A-6C, FIGS. 7A-7C, FIGS. 9A-9C, FIGS. 10, FIGS. 11A-11C, FIGS. 12A-12B, FIGS. 13A-13C, FIGS. 14A-14C) to a user (e.g., the screen (130) of FIGS. 1A-1B, FIGS. 4, FIGS. 5, the screen (620) of FIGS. 6A-6C, the screen (720) of FIGS. 7A-7C, the screen (920) of FIGS. 9A-9C, the screen (1020) of FIGS. 10, and the screen (11A-11C) of FIGS. The display (220) can output a screen (1120), a screen (1220) of FIGS. 12A to 12B, a screen (1320) of FIGS. 13A to 13C, and a screen (1410) of FIGS. 14A to 14C). For example, the display (220) can be controlled by a processor (210) including a circuit such as a GPU (graphic processing unit) to output visualized information to a user. The display (220) can include a flexible display, a flat panel display (FPD), and/or electronic paper. The flexible display can have a structure that is deformable by an external force. The FPD can include a liquid crystal display (LCD), a plasma display panel (PDP), and/or one or more light emitting diodes (LEDs). The LEDs can include organic LEDs (OLEDs). The display (220) of FIG. 2 may include at least one display (1650, 1750), which will be described in more detail with reference to FIGS. 16a and 16b, and/or FIGS. 17a and 17b.

일 실시예에서, 웨어러블 장치(101)의 카메라(225)는 빛의 색상 및/또는 밝기를 나타내는 전기 신호를 생성하는 하나 이상의 광 센서들(예, CCD(charged coupled device) 센서, CMOS(complementary metal oxide semiconductor) 센서)을 포함할 수 있다. 카메라(225)에 포함된 복수의 광 센서들은 2차원 격자(2 dimensional array)의 형태로 배치될 수 있다. 카메라(225)는 복수의 광 센서들 각각의 전기 신호들을 실질적으로 동시에 획득하여, 2차원 격자의 광 센서들에 도달한 빛에 대응하는 2차원 프레임 데이터를 생성할 수 있다. 예를 들어, 카메라(225)를 이용하여 캡쳐한 사진 데이터는, 예를 들어, 카메라(225)로부터 획득한 하나의(a) 2차원 프레임 데이터를 지칭할 수 있다. 예를 들어, 카메라(225)를 이용하여 캡쳐한 비디오 데이터는, 예를 들어, 프레임 율(frame rate)을 따라 카메라(225)로부터 획득된, 복수의 2차원 프레임 데이터의 시퀀스(sequence)를 지칭할 수 있다. 카메라(225)는, 카메라(225)가 광을 수신하는 방향을 향하여 배치될 수 있고, 상기 방향을 향하여 광을 출력하기 위한 플래시 라이트를 더 포함할 수 있다.In one embodiment, the camera (225) of the wearable device (101) may include one or more optical sensors (e.g., a charged coupled device (CCD) sensor, a complementary metal oxide semiconductor (CMOS) sensor) that generate electrical signals representing the color and/or brightness of light. The plurality of optical sensors included in the camera (225) may be arranged in the form of a two-dimensional array. The camera (225) may acquire electrical signals of each of the plurality of optical sensors substantially simultaneously to generate two-dimensional frame data corresponding to light reaching the optical sensors of the two-dimensional array. For example, photographic data captured using the camera (225) may refer to, for example, one (a) two-dimensional frame data acquired from the camera (225). For example, video data captured using the camera (225) may refer to, for example, a sequence of a plurality of two-dimensional frame data acquired from the camera (225) according to a frame rate. The camera (225) may be positioned toward the direction in which the camera (225) receives light, and may further include a flash light for outputting light toward the direction.

일 실시예에 따른, 웨어러블 장치(101)의 센서(230)는, 웨어러블 장치(101)와 관련된 비-전기적 정보(non-electronic information)로부터, 웨어러블 장치(101)의 프로세서(210) 및/또는 메모리(215)에 의해 처리될 수 있는 전기적 정보를 생성할 수 있다. 상기 정보는, 센서 데이터로 지칭될 수 있다. 상기 센서(230)는, 웨어러블 장치(101)의 지리적 위치(geographic location)를 탐지하기 위한 GPS(global positioning system) 센서, 이미지 센서, 조도 센서 및/또는 ToF(time-of-flight) 센서, 웨어러블 장치(101)의 물리적인 모션을 탐지하기 위한 IMU(inertial measurement unit)를 포함할 수 있다. 일 실시예에서, IMU는, 가속도 센서, 자이로 센서 또는 중력 센서 중 적어도 하나를 포함할 수 있다. 상기 IMU를 이용하여, 웨어러블 장치(101)의 프로세서(210)는, 6 자유도(degree of freedom, DoF)에 기반하는 웨어러블 장치(101)의 모션을 식별할 수 있다. 6 자유도에 기반하는 웨어러블 장치(101)의 모션은, 서로 수직인 3 개의 축들(예, x 축, y 축, 및 z 축)에서의 웨어러블 장치(101)의 이동 및 회전(예, 롤(roll), 피치(pitch), 및 요(yaw))을 포함할 수 있다.According to one embodiment, a sensor (230) of a wearable device (101) may generate electrical information that may be processed by a processor (210) and/or a memory (215) of the wearable device (101) from non-electronic information related to the wearable device (101). The information may be referred to as sensor data. The sensor (230) may include a global positioning system (GPS) sensor, an image sensor, an ambient light sensor, and/or a time-of-flight (ToF) sensor for detecting a geographic location of the wearable device (101), and an inertial measurement unit (IMU) for detecting a physical motion of the wearable device (101). In one embodiment, the IMU may include at least one of an acceleration sensor, a gyro sensor, and a gravity sensor. Using the above IMU, the processor (210) of the wearable device (101) can identify the motion of the wearable device (101) based on six degrees of freedom (DoF). The motion of the wearable device (101) based on six degrees of freedom can include translation and rotation (e.g., roll, pitch, and yaw) of the wearable device (101) along three axes (e.g., x-axis, y-axis, and z-axis) that are perpendicular to each other.

일 실시예에서, 웨어러블 장치(101)의 통신 회로(240)는, 웨어러블 장치(101), 및 외부 전자 장치(예, 리모트 컨트롤러(242)) 사이의 전기 신호의 송신 및/또는 수신을 지원하기 위한 하드웨어 부품을 포함할 수 있다. 통신 회로(240)는, 예를 들어, 모뎀(MODEM), 안테나, O/E(optic/electronic) 변환기 중 적어도 하나를 포함할 수 있다. 통신 회로(240)는, 이더넷(ethernet), LAN(local area network), WAN(wide area network), WiFi(wireless fidelity), Bluetooth, BLE(bluetooth low energy), ZigBee, LTE(long term evolution), 5G NR(new radio) 및/또는 6G와 같은 다양한 타입의 프로토콜에 기반하여 전기 신호의 송신 및/또는 수신을 지원할 수 있다.In one embodiment, the communication circuit (240) of the wearable device (101) may include hardware components for supporting transmission and/or reception of electrical signals between the wearable device (101) and an external electronic device (e.g., a remote controller (242)). The communication circuit (240) may include, for example, at least one of a modem (MODEM), an antenna, and an optic/electronic (O/E) converter. The communication circuit (240) may support transmission and/or reception of electrical signals based on various types of protocols, such as Ethernet, a local area network (LAN), a wide area network (WAN), wireless fidelity (WiFi), Bluetooth, Bluetooth low energy (BLE), ZigBee, long term evolution (LTE), 5G NR (new radio), and/or 6G.

도 2를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는 통신 회로(240)를 통해 연결된 리모트 컨트롤러(242)로부터, 웨어러블 장치(101)에 의해 지원되는 적어도 하나의 기능을 실행하기 위한 신호를 수신할 수 있다. 예를 들어, 리모트 컨트롤러(242)는, 사용자 입력을 수신하기 위한 하나 이상의 버튼들, 조이스틱 및/또는 터치 센서를 포함할 수 있다. 상기 신호에 기반하여, 웨어러블 장치(101)의 프로세서(210)는 상기 적어도 하나의 기능을 실행할 수 있다.Referring to FIG. 2, according to one embodiment, a wearable device (101) may receive a signal for executing at least one function supported by the wearable device (101) from a remote controller (242) connected via a communication circuit (240). For example, the remote controller (242) may include one or more buttons, a joystick, and/or a touch sensor for receiving a user input. Based on the signal, the processor (210) of the wearable device (101) may execute the at least one function.

비록 도시되지 않았지만, 일 실시예에 따른, 웨어러블 장치(101)는 정보를 시각화한 형태 외에 다른 형태로 출력하기 위한 출력 수단을 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는 음성 신호(acoustic signal)를 출력하기 위한 스피커를 포함할 수 있다. 예를 들어, 웨어러블 장치(101)는 진동에 기반하는 햅틱 피드백을 제공하기 위한 모터를 포함할 수 있다.Although not shown, the wearable device (101) according to one embodiment may include output means for outputting information in a form other than a visualized form. For example, the wearable device (101) may include a speaker for outputting an acoustic signal. For example, the wearable device (101) may include a motor for providing haptic feedback based on vibration.

도 2를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)의 메모리(215) 내에서, 웨어러블 장치(101)의 프로세서(210)가 데이터에 수행할 연산, 및/또는 동작을 나타내는 하나 이상의 인스트럭션들(또는 명령어들)이 저장될 수 있다. 하나 이상의 인스트럭션들의 집합은, 프로그램, 펌웨어, 운영 체제, 프로세스, 루틴, 서브-루틴 및/또는 어플리케이션 등으로 참조될 수 있다. 이하에서, 어플리케이션이 전자 장치(예, 웨어러블 장치(101)) 내에 설치되었다는 것은, 예를 들어, 어플리케이션의 형태로 제공된 하나 이상의 인스트럭션들이 메모리(215) 내에 저장된 것으로써, 상기 하나 이상의 어플리케이션들이 전자 장치의 프로세서에 의해 실행 가능한(executable) 포맷(예, 웨어러블 장치(101)의 운영 체제에 의해 지정된 확장자를 가지는 파일)으로 저장된 것을 지칭할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 메모리(215)에 저장된 하나 이상의 인스트럭션들을 실행하여, 예를 들어, 도 3, 도 8 및/또는 도 15의 동작을 수행할 수 있다.Referring to FIG. 2, according to one embodiment, one or more instructions (or commands) representing operations and/or actions to be performed on data by a processor (210) of the wearable device (101) may be stored in the memory (215) of the wearable device (101). A set of one or more instructions may be referred to as a program, firmware, an operating system, a process, a routine, a sub-routine, and/or an application. Hereinafter, when an application is installed in an electronic device (e.g., the wearable device (101)), it may refer to, for example, that one or more instructions provided in the form of an application are stored in the memory (215), and that the one or more applications are stored in a format executable by the processor of the electronic device (e.g., a file having an extension specified by the operating system of the wearable device (101)). According to one embodiment, the wearable device (101) may execute one or more instructions stored in the memory (215) to perform the operations of, for example, FIG. 3, FIG. 8, and/or FIG. 15.

도 2를 참고하면, 웨어러블 장치(101)에 설치된 프로그램들은, 타겟에 기반하여, 어플리케이션 계층(260), 프레임워크 계층(270) 및/또는 하드웨어 추상화 계층(hardware abstraction layer, HAL)(250)을 포함하는 상이한 계층들 중 어느 한 계층으로 분류될 수 있다. 예를 들어, 하드웨어 추상화 계층(250) 내에, 웨어러블 장치(101)의 하드웨어(예, 디스플레이(220), 카메라(225), 센서(230) 및/또는 통신 회로(240))를 타겟으로 설계된 프로그램들(예, 드라이버)이 분류될 수 있다. 예를 들어, 프레임워크 계층(270) 내에, 하드웨어 추상화 계층(250) 및/또는 어플리케이션 계층(260) 중 적어도 하나를 타겟으로 설계된 프로그램들(예, 시선 추적기(271), 제스쳐 추적기(272), 모션 추적기(273), 외부 공간 인식기(274) 및/또는 가상 공간 매니저(275))이 분류될 수 있다. 프레임워크 계층(270)으로 분류되는 프로그램들은, 다른 프로그램에 기반하여 실행가능한 API(application programming interface)를 제공할 수 있다.Referring to FIG. 2, programs installed in the wearable device (101) may be classified into one of different layers, including an application layer (260), a framework layer (270), and/or a hardware abstraction layer (HAL) (250), based on a target. For example, programs (e.g., drivers) designed to target the hardware (e.g., display (220), camera (225), sensor (230), and/or communication circuit (240)) of the wearable device (101) may be classified within the hardware abstraction layer (250). For example, within the framework layer (270), programs designed to target at least one of the hardware abstraction layer (250) and/or the application layer (260) (e.g., an eye tracker (271), a gesture tracker (272), a motion tracker (273), an external space recognizer (274), and/or a virtual space manager (275)) may be classified. Programs classified into the framework layer (270) may provide an executable API (application programming interface) based on other programs.

도 2를 참고하면, 어플리케이션 계층(260) 내에, 웨어러블 장치(101)를 제어하는 사용자(예, 도 1a 내지 도 1b의 사용자(110))를 타겟으로 설계된 프로그램이 분류될 수 있다. 예를 들어, 어플리케이션 계층(260)으로 분류되는 프로그램은, VR에 기반하는 게임을 위한 어플리케이션(261), 비디오의 재생 및/또는 스트리밍을 위한 어플리케이션(262), 메모리(215)의 미디어 콘텐트(예, 이미지 및/또는 비디오)를 열람하기 위한 어플리케이션(263), 또는 호 연결을 위한 어플리케이션(264) 중 적어도 하나를 포함할 수 있다. 본 개시가 이에 제한되는 것은 아니다. 예를 들어, 어플리케이션 계층(260)으로 분류되는 프로그램은, API의 호출에 기반하여, 프레임워크 계층(270)으로 분류되는 프로그램들에 의해 지원되는 기능의 실행을 야기할 수 있다.Referring to FIG. 2, programs designed to target a user (e.g., a user (110) of FIGS. 1A to 1B) controlling a wearable device (101) may be classified within the application layer (260). For example, a program classified into the application layer (260) may include at least one of an application (261) for a VR-based game, an application (262) for playing and/or streaming a video, an application (263) for viewing media content (e.g., images and/or videos) of a memory (215), or an application (264) for a call connection. The present disclosure is not limited thereto. For example, a program classified into the application layer (260) may cause execution of a function supported by programs classified into the framework layer (270) based on a call of an API.

도 2를 참고하면, 일 실시예에 따른, 프로세서(210)는 프레임워크 계층(270) 내 시선 추적기(271)의 실행에 기반하여, 웨어러블 장치(101)를 착용한 사용자의 시선과 관련된 정보를 처리할 수 있다. 예를 들어, 프로세서(210)는, 사용자에 의해 착용된 상태에서, 상기 사용자의 눈을 향하여 배치된 제1 카메라로부터, 상기 사용자의 눈을 포함하는 이미지를 획득할 수 있다. 상기 이미지 내에 포함된 동공의 위치 및/또는 방향에 기반하여, 프로세서(210)는 사용자의 시선의 방향을 식별할 수 있다.Referring to FIG. 2, according to one embodiment, the processor (210) may process information related to the gaze of a user wearing the wearable device (101) based on the execution of the gaze tracker (271) in the framework layer (270). For example, the processor (210) may obtain an image including the user's eye from a first camera positioned toward the user's eye while the wearable device is worn by the user. Based on the position and/or direction of the pupil included in the image, the processor (210) may identify the direction of the user's gaze.

도 2를 참고하면, 일 실시예에 따른, 프로세서(210)는 프레임워크 계층(270) 내 제스쳐 추적기(272)의 실행에 기반하여, 손을 포함하는 지정된 신체 부위의 모션을 식별할 수 있다. 예를 들어, 프로세서(210)는 제2 카메라로부터 상기 신체 부위를 포함하는 이미지 및/또는 비디오를 획득할 수 있다. 상기 이미지 및/또는 비디오에 의해 나타나는, 상기 지정된 신체 부위의 모션 및/또는 자세에 기반하여, 프로세서(210)는 상기 지정된 신체 부위에 의해 수행된 제스쳐를 식별할 수 있다.Referring to FIG. 2, according to one embodiment, the processor (210) may identify a motion of a designated body part including a hand based on the execution of a gesture tracker (272) within the framework layer (270). For example, the processor (210) may obtain an image and/or video including the body part from a second camera. Based on the motion and/or posture of the designated body part represented by the image and/or video, the processor (210) may identify a gesture performed by the designated body part.

도 2를 참고하면, 일 실시예에 따른, 프로세서(210)는 프레임워크 계층(270) 내 모션 추적기(273)의 실행에 기반하여, 웨어러블 장치(101)의 모션을 식별할 수 있다. 웨어러블 장치(101)가 사용자에 의해 착용된 상태 내에서, 웨어러블 장치(101)의 모션은, 상기 사용자의 머리의 모션과 관련될 수 있다. 예를 들어, 프로세서(210)는, 상기 머리의 방향과 실질적으로 일치하는, 웨어러블 장치(101)의 방향을 식별할 수 있다. 프로세서(210)는 IMU를 포함하는 센서(230)의 센서 데이터에 기반하여, 웨어러블 장치(101)의 모션을 식별할 수 있다.Referring to FIG. 2, according to one embodiment, the processor (210) may identify the motion of the wearable device (101) based on the execution of the motion tracker (273) within the framework layer (270). Within a state where the wearable device (101) is worn by a user, the motion of the wearable device (101) may be related to the motion of the user's head. For example, the processor (210) may identify an orientation of the wearable device (101) that substantially coincides with the orientation of the head. The processor (210) may identify the motion of the wearable device (101) based on sensor data of a sensor (230) including an IMU.

도 2를 참고하면, 일 실시예에 따른, 프로세서(210)는 프레임워크 계층(270) 내 외부 공간 인식기(274)의 실행에 기반하여, 웨어러블 장치(101)를 포함하는 외부 공간에 대한 정보를 획득할 수 있다. 외부 공간에 대한 정보는, 외부 공간에 포함된 하나 이상의 외부 객체들(예, 벽 체(wall structure))의 형태 및/또는 위치를 포함할 수 있다. 외부 공간에 대한 정보는, 하나 이상의 외부 객체들의 웨어러블 장치(101)에 대한 위치 관계를 포함할 수 있다. 외부 공간 인식기(274)의 실행에 기반하여, 웨어러블 장치(101)의 프로세서(210)는, 상기 외부 공간을 3차원으로 나타내는 상기 정보를 획득하거나, 또는 생성할 수 있다.Referring to FIG. 2, according to one embodiment, the processor (210) may obtain information about an external space including a wearable device (101) based on execution of an external space recognizer (274) in a framework layer (270). The information about the external space may include a shape and/or a position of one or more external objects (e.g., a wall structure) included in the external space. The information about the external space may include a positional relationship of one or more external objects with respect to the wearable device (101). Based on execution of the external space recognizer (274), the processor (210) of the wearable device (101) may obtain or generate the information representing the external space in three dimensions.

도 2를 참고하면, 일 실시예에 따른, 프로세서(210)는 프레임워크 계층(270) 내 가상 공간 매니저(275)의 실행에 기반하여, 가상 공간에 대한 렌더링을 수행할 수 있다. 가상 공간 매니저(275)가 실행된 상태에서, 프로세서(210)는 어플리케이션 계층(260) 내 적어도 하나의 소프트웨어 어플리케이션로부터 제공된 적어도 하나의 가상 객체를 포함하는 가상 공간을 식별할 수 있다. 일 실시예에서, 외부 공간 인식기(274) 및/또는 가상 공간 매니저(275)에 기반하여, 프로세서(210)는 외부 공간에 매핑된 가상 공간을 식별할 수 있다. 프로세서(210)는 센서(230)의 데이터에 기반하여 식별된, 외부 공간에서의 웨어러블 장치(101)의 위치 및/또는 방향에 기반하여, 가상 공간 내 기준 위치를 결정할 수 있다. 상기 기준 위치는, 상기 가상 공간에서의 웨어러블 장치(101)의 위치에 대응할 수 있다. 일 실시예에서, 프로세서(210)는 상기 기준 위치에 기반하여, 외부 공간의 인식, 및 상기 외부 공간 내에서의 웨어러블 장치(101)의 위치를 인식하기 위한, SLAM(simultaneous localization and mapping)을 수행할 수 있다. 상기 SLAM에 기반하여, 프로세서(210)는 외부 공간에 대한 정보를 포함하는, 가상 공간을 생성하거나, 또는 획득할 수 있다.Referring to FIG. 2, according to one embodiment, the processor (210) may perform rendering for a virtual space based on the execution of the virtual space manager (275) in the framework layer (270). With the virtual space manager (275) executed, the processor (210) may identify a virtual space including at least one virtual object provided from at least one software application in the application layer (260). In one embodiment, based on the external space recognizer (274) and/or the virtual space manager (275), the processor (210) may identify a virtual space mapped to the external space. The processor (210) may determine a reference position in the virtual space based on a position and/or direction of the wearable device (101) in the external space, which is identified based on data of the sensor (230). The reference position may correspond to a position of the wearable device (101) in the virtual space. In one embodiment, the processor (210) may perform simultaneous localization and mapping (SLAM) to recognize external space and the location of the wearable device (101) within the external space based on the reference position. Based on the SLAM, the processor (210) may generate or obtain a virtual space including information about the external space.

일 실시예에 따른, 웨어러블 장치(101)의 프로세서(210)는 카메라(225)를 이용하여, 웨어러블 장치(101)를 착용한 사용자의 신체 부위(예, 도 1a 및 도 1b의 손(112))를 식별할 수 있다. 상기 신체 부위가 카메라(225)의 FoV(예, 도 1a 및 도 1b의 FoV(120)) 밖으로 이동되더라도, 프로세서(210)는 상기 FoV 안으로 이동되는 상기 신체 부위의 자세에 기반하여, 상기 FoV 밖으로 이동되기 이전에 실행되던 기능을 다시 실행할 수 있다. 예를 들어, FoV 안으로 이동된 신체 부위의 자세가, FoV 밖으로 이동되기 이전의 신체 부위의 자세에 대응하는 경우, 프로세서(210)는 FoV 안으로 이동된 상기 신체 부위의 상기 자세에 대응하는 기능을, FoV 밖으로 이동되기 이전의 상기 신체 부위에 기반하여 상기 기능을 실행하였던 상태에 기반하여 실행할 수 있다.According to one embodiment, the processor (210) of the wearable device (101) may identify a body part (e.g., a hand (112) of FIGS. 1A and 1B) of a user wearing the wearable device (101) using the camera (225). Even if the body part moves out of the FoV (e.g., the FoV (120) of FIGS. 1A and 1B) of the camera (225), the processor (210) may re-execute a function that was executed before the body part moved out of the FoV based on the posture of the body part moved into the FoV. For example, if the posture of the body part moved into the FoV corresponds to the posture of the body part before it was moved out of the FoV, the processor (210) may execute a function corresponding to the posture of the body part moved into the FoV based on a state in which the function was executed based on the body part before it was moved out of the FoV.

예를 들어, 도 3 내지 도 7c를 참고하여 보다 상세히 설명되는 바와 같이, 프로세서(210)는, 지정된 자세의 신체 부위에 의해 디스플레이(220)에 표시된 가상 객체를 이동하는 상태에서, 상기 신체 부위가 FoV 밖으로 이동되더라도, 상기 FoV 안으로 다시 이동되는 상기 신체 부위에 기반하여, 상기 가상 객체를 다시 이동할 수 있다. 예를 들어, 도 8 내지 도 10을 참고하여 보다 상세히 설명되는 바와 같이, 프로세서(210)는, 하나 이상의 신체 부위들에 의해 상기 가상 객체의 사이즈를 조절하는 상태에서, 상기 하나 이상의 신체 부위들이 FoV 밖으로 이동됨에도 불구하고, 상기 FoV 안으로 다시 이동되는 상기 하나 이상의 신체 부위들에 기반하여, 상기 가상 객체의 상기 사이즈를 다시 조절할 수 있다. 본 개시가 이에 제한되는 것은 아니며, 도 11a 내지 도 15를 참고하여 보다 상세히 설명되는 바와 같이, 프로세서(210)는 FoV 안으로 이동되는 신체 부위의 자세에 기반하여, FoV 밖으로 이동되었던 신체 부위에 의해 숨겨진 가상 객체를 다시 표시할 수 있다.For example, as described in more detail with reference to FIGS. 3 to 7c, the processor (210), in a state where a virtual object displayed on the display (220) is moved by a body part in a specified posture, even if the body part is moved out of the FoV, the processor (210) can move the virtual object again based on the body part that is moved back into the FoV. For example, as described in more detail with reference to FIGS. 8 to 10, the processor (210), in a state where the size of the virtual object is adjusted by one or more body parts, even if the one or more body parts are moved out of the FoV, the processor (210) can adjust the size of the virtual object again based on the one or more body parts that are moved back into the FoV. The present disclosure is not limited thereto, and as described in more detail with reference to FIGS. 11a to 15, the processor (210) can re-display a virtual object that was hidden by a body part that was moved out of the FoV, based on the posture of the body part that is moved into the FoV.

이하에서는, 도 3을 참고하여, 도 2의 웨어러블 장치(101)에 의해 수행되는 동작이 보다 상세히 설명된다.Below, with reference to FIG. 3, the operation performed by the wearable device (101) of FIG. 2 is described in more detail.

도 3은, 일 실시예에 따른, 웨어러블 장치의 예시적인 동작들을 도시한 흐름도이다. 도 1a 및 도 1b, 도 2의 웨어러블 장치(101) 및/또는 도 2의 프로세서(210)는 도 3을 참고하여 설명되는 동작들을 수행할 수 있다.FIG. 3 is a flowchart illustrating exemplary operations of a wearable device according to one embodiment. The wearable device (101) of FIGS. 1A and 1B, FIG. 2, and/or the processor (210) of FIG. 2 may perform the operations described with reference to FIG. 3.

도 3을 참고하면, 동작(310) 내에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, 카메라를 이용하여 가상 객체의 이동을 나타내는 제스쳐를 식별하는 것에 기반하여, 디스플레이 내에 표시된 가상 객체의 위치를 변경할 수 있다. 동작(310)의 카메라는, 도 2의 카메라(225)를 포함할 수 있다. 카메라에 기반하는 웨어러블 장치 및/또는 프로세서의 동작이 설명되지만, 본 개시가 이에 제한되는 것은 아니다. 예를 들어, 웨어러블 장치의 프로세서는, 상기 웨어러블 장치에 포함된 깊이 센서를 이용하여, 동작(310)의 제스쳐를 식별할 수 있다.Referring to FIG. 3, in operation (310), a processor of a wearable device according to an embodiment may change a position of a virtual object displayed in a display based on identifying a gesture indicating movement of a virtual object using a camera. The camera of operation (310) may include the camera (225) of FIG. 2. Although operation of a wearable device and/or processor based on a camera is described, the present disclosure is not limited thereto. For example, the processor of the wearable device may identify the gesture of operation (310) using a depth sensor included in the wearable device.

일 실시예에서, 프로세서는 카메라의 FoV(예, 도 1a 및 도 1b의 FoV(120)) 내에서 이동되는 신체 부위(예, 도 1a 및 도 1b의 손(112))를, 상기 카메라로부터 획득되는 이미지 및/또는 비디오를 이용하여 식별할 수 있다. 프로세서는, 상기 이미지 및/또는 상기 비디오에 대한 객체 인식을 수행하여, 상기 신체 부위를 식별할 수 있다. 예를 들어, 프로세서는 객체 인식에 기반하여, 이미지 및/또는 비디오 내에서 신체 부위에 대응하는 시각적 객체를 식별할 수 있다. 상기 시각적 객체에 기반하여 식별되는 상기 신체 부위의 자세(예, 도 1a 및 도 1b에 도시된 핀치 제스쳐의 자세)에 기반하여, 프로세서는 동작(310)의 제스쳐를 식별할 수 있다. 본 개시가 이에 제한되는 것은 아니며, 프로세서는 동작(310)의 제스쳐를, 프로세서에 의해 실행되는 소프트웨어 어플리케이션에 기반하여 식별할 수 있다. 예를 들어, 가상 객체의 이동을 나타내는 제스쳐는, 상기 소프트웨어 어플리케이션에 의해 정의된 자세에 대응할 수 있다.In one embodiment, the processor can identify a body part (e.g., a hand (112) of FIGS. 1A and 1B) moving within a FoV of a camera (e.g., a FoV (120) of FIGS. 1A and 1B) using images and/or videos acquired from the camera. The processor can perform object recognition on the images and/or videos to identify the body part. For example, the processor can identify a visual object corresponding to the body part within the images and/or videos based on the object recognition. Based on a pose of the body part identified based on the visual object (e.g., the pose of the pinch gesture illustrated in FIGS. 1A and 1B), the processor can identify the gesture of the operation (310). The present disclosure is not limited thereto, and the processor can identify the gesture of the operation (310) based on a software application executed by the processor. For example, a gesture indicating movement of a virtual object may correspond to a posture defined by the software application.

일 실시예에서, 동작(310)의 가상 객체의 이동을 나타내는 제스쳐를 식별한 프로세서는, 디스플레이에 표시된 화면(예, 도 1a 내지 도 1b의 화면(130)) 내 가상 객체(예, 도 1a 내지 도 1b의 가상 객체(140))의 위치를 변경할 수 있다. 프로세서는, 가상 공간 내 가상 객체의 위치를, 동작(310)의 제스쳐에 기반하여 변경할 수 있다. 프로세서는, 동작(310)의 제스쳐를 수행하는 신체 부위의 FoV 내 위치에 기반하여, 가상 객체의 디스플레이 내 위치를 변경할 수 있다. 카메라의 FoV 및 디스플레이에 표시된 화면 사이의 관계는, 도 4를 참고하여 보다 상세히 설명된다.In one embodiment, a processor that identifies a gesture indicating movement of a virtual object of an action (310) can change a location of a virtual object (e.g., a virtual object (140) of FIGS. 1A-1B) within a screen displayed on a display (e.g., a screen (130) of FIGS. 1A-1B). The processor can change the location of the virtual object within the virtual space based on the gesture of the action (310). The processor can change the location of the virtual object within the display based on a location within the FoV of a body part that performs the gesture of the action (310). The relationship between the FoV of the camera and the screen displayed on the display is described in more detail with reference to FIG. 4.

도 3을 참고하면, 동작(320) 내에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, 제스쳐를 수행하는 신체 부위가 카메라의 FoV 밖으로 이동하는지 여부를 식별할 수 있다. 신체 부위가 FoV 밖으로 이동되기 이전이거나, 또는 신체 부위가 FoV 안에서 이동되는 동안(320-아니오), 프로세서는 동작(310)에 기반하여, 가상 객체의 위치를 변경할 수 있다. 신체 부위가 FoV 안에서 이동되는 동안, 프로세서는 상기 가상 객체의 위치를, 동작(310)의 제스쳐를 수행한 신체 부위의 경로(예, 도 1a의 경로(114))에 기반하여, 변경할 수 있다. 동작(310)에 기반하여 도 1a의 가상 객체(140)를 이동하는 동안, 프로세서는 경로(141)를 따라 가상 객체(140)를 이동할 수 있다.Referring to FIG. 3, within operation (320), a processor of a wearable device according to an embodiment may identify whether a body part performing a gesture moves out of the FoV of a camera. Before the body part moves out of the FoV, or while the body part is moving within the FoV (320-No), the processor may change the position of the virtual object based on operation (310). While the body part is moving within the FoV, the processor may change the position of the virtual object based on a path (e.g., path (114) of FIG. 1A) of the body part performing the gesture of operation (310). While moving the virtual object (140) of FIG. 1A based on operation (310), the processor may move the virtual object (140) along the path (141).

도 3을 참고하면, 동작(320)에 기반하여 카메라의 FoV 밖으로 이동된 신체 부위를 식별하는 것에 기반하여(320-예), 웨어러블 장치의 프로세서는 동작(330)을 수행할 수 있다. 동작(330) 내에서, 프로세서는, 카메라에 의해 식별되었던 신체 부위의 FoV 내 제1 위치에 기반하여, 가상 객체의 가상 공간 내 위치를 설정(set)할 수 있다. 프로세서는 FoV 밖으로 이동되기 이전의 신체 부위의 FoV 내 제1 위치에 기반하여, 가상 객체의 위치를 결정할 수 있다. 프로세서는 상기 제1 위치에 대응하는 가상 공간 내 위치에, 가상 객체를 배치할 수 있다. 예를 들어, 동작(310)에 기반하여 디스플레이 및/또는 가상 공간 내에서 이동되고 있던 가상 객체는, 동작(330)에 기반하여, 카메라에 의해 마지막으로 식별된 신체 부위의 상기 제1 위치에 배치될 수 있다.Referring to FIG. 3, based on identifying a body part moved out of the FoV of the camera based on operation (320) (320-Yes), the processor of the wearable device may perform operation (330). In operation (330), the processor may set a position of a virtual object in the virtual space based on a first position of the body part identified by the camera in the FoV. The processor may determine a position of the virtual object based on the first position of the body part in the FoV before it was moved out of the FoV. The processor may place the virtual object at a position in the virtual space corresponding to the first position. For example, a virtual object that was being moved in the display and/or virtual space based on operation (310) may be placed at the first position of the body part last identified by the camera based on operation (330).

일 실시예에서, 프로세서는, 웨어러블 장치 및 상기 제1 위치의 상대적 위치 관계에 기반하여, 가상 객체의 가상 공간 내 위치를 설정할 수 있다. 예를 들어, 신체 부위가 FoV 밖으로 이동된 시점에서의 상기 제1 위치 및 상기 웨어러블 장치 사이의 위치 관계에 기반하여, 프로세서는 가상 객체의 가상 공간 내 위치를 설정할 수 있다. 상기 예시 내에서, 웨어러블 장치를 착용한 사용자가 이동하는 경우, 프로세서는 상기 위치 관계를 이용하여 가상 공간 내에서 가상 객체를 이동할 수 있다. 상기 예시 내에서, 상기 위치 관계에 따라 상기 가상 공간 내에서 이동된 상기 가상 객체를 보는 상기 사용자는, 상기 가상 객체가 상기 사용자를 따르는 것으로(following) 인식할 수 있다. 예를 들어, 동작(330)에 기반하여 설정된 가상 객체의 위치는, 웨어러블 장치의 위치와 연동될(interlocked with) 수 있다.In one embodiment, the processor can set the position of the virtual object in the virtual space based on the relative positional relationship between the wearable device and the first position. For example, the processor can set the position of the virtual object in the virtual space based on the positional relationship between the first position and the wearable device at the time when the body part is moved out of the FoV. In the example, when a user wearing the wearable device moves, the processor can move the virtual object in the virtual space using the positional relationship. In the example, the user who sees the virtual object moved in the virtual space according to the positional relationship can recognize that the virtual object follows the user. For example, the position of the virtual object set based on the operation (330) can be interlocked with the position of the wearable device.

도 3을 참고하면, 동작(330)의 제1 위치에 기반하여 가상 객체의 위치를 설정한 이후, 프로세서는 카메라를 이용하여 외부 공간에 대한 정보를 획득할 수 있다. 도 3의 동작(340) 내에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, 카메라의 FoV 안으로 이동되는 신체 부위를 식별할 수 있다. FoV 안에서 신체 부위를 식별하기 이전에(340-아니오), 또는 FoV 안에서 신체 부위를 식별하지 못한 경우, 프로세서는 동작(330)에 기반하여 설정된, 가상 객체의 가상 공간 내 위치를 유지할 수 있다. 카메라의 FoV 안으로 이동된 신체 부위를 식별하는 것에 기반하여(340-예), 프로세서는 동작(350)을 수행할 수 있다. 예를 들어, 도 1a의 손(112)이 FoV(120)의 가장자리의 위치(pf5)로부터 상기 FoV(120) 안으로 이동되는 시점에서, 프로세서는 동작(350)을 수행할 수 있다.Referring to FIG. 3, after setting the position of the virtual object based on the first position of the operation (330), the processor may obtain information about the external space using the camera. In the operation (340) of FIG. 3, the processor of the wearable device according to an embodiment may identify a body part moving into the FoV of the camera. Before identifying the body part within the FoV (340-No), or if the body part is not identified within the FoV, the processor may maintain the position of the virtual object within the virtual space set based on the operation (330). Based on identifying the body part moving into the FoV of the camera (340-Yes), the processor may perform the operation (350). For example, when the hand (112) of FIG. 1A moves from the position (pf5) of the edge of the FoV (120) into the FoV (120), the processor may perform the operation (350).

도 3을 참고하면, 동작(350) 내에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, FoV 안으로 이동된 신체 부위에 기반하여, 가상 객체의 이동을 나타내는 제스쳐를 식별할 수 있다. 예를 들어, 프로세서는 카메라를 이용하여 식별된 신체 부위가 FoV 박으로 이동되었던 신체 부위에 대응(또는 일치)하는지 여부를 식별할 수 있다. 예를 들어, 프로세서는, FoV 안으로 이동된 신체 부위의 자세가 동작(310)의 제스쳐에 대응하는지 여부를 식별할 수 있다. 동작(350)의 제스쳐를 식별하지 못하였거나(350-아니오), 또는 동작(350)의 제스쳐를 식별하기 이전에, 프로세서는 동작(360)을 수행할 수 있다. 예를 들어, FoV 안으로 이동된 신체 부위의 자세가 동작(310)의 제스쳐에 대응하지 않는 경우, 프로세서는 동작(360)을 수행할 수 있다. FoV 안으로 이동된 신체 부위로부터 동작(350)의 제스쳐를 식별하는 것에 기반하여(350-예), 프로세서는 동작(370)을 수행할 수 있다.Referring to FIG. 3 , within operation (350), a processor of a wearable device according to an embodiment may identify a gesture indicating movement of a virtual object based on a body part moved into the FoV. For example, the processor may identify whether the identified body part using a camera corresponds to (or matches) a body part that was moved into the FoV box. For example, the processor may identify whether a posture of the body part moved into the FoV corresponds to the gesture of operation (310). If the gesture of operation (350) is not identified (350-No), or prior to identifying the gesture of operation (350), the processor may perform operation (360). For example, if the posture of the body part moved into the FoV does not correspond to the gesture of operation (310), the processor may perform operation (360). Based on identifying a gesture of action (350) from a body part moved into the FoV (350-example), the processor can perform an action (370).

도 3을 참고하면, 동작(360) 내에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, 제1 위치에 기반하여, 가상 객체의 가상 공간 내 위치를 결정(determine)할 수 있다. 프로세서는 동작(310)에 기반하여 변경되었던 가상 객체의 마지막 위치를, 상기 가상 객체의 위치로 결정할 수 있다. 프로세서는, 동작(350)의 제스쳐와 상이한 제스쳐를 식별하는 것에 기반하여, FoV 안으로 이동된 신체 부위와 독립적으로, 가상 객체의 가상 공간 내 위치를 결정할 수 있다. 동작(330)에 기반하여 웨어러블 장치의 위치와 연동된 상기 제1 위치에 가상 객체를 배치한 프로세서는, 동작(360)을 수행하여, 상기 제1 위치에 기반하는 가상 객체의 가상 공간 내 위치 및 웨어러블 장치의 위치 사이의 연동을 해제(disable)할 수 있다. 예를 들어, 동작(360)에 기반하여, 프로세서는 가상 객체의 가상 공간 내 위치를, 상기 제1 위치에 대응하는 상기 가상 공간 내 좌표 값들로 설정할 수 있다.Referring to FIG. 3, in operation (360), according to an embodiment, a processor of a wearable device may determine a location of a virtual object in a virtual space based on a first location. The processor may determine a last location of the virtual object that was changed based on operation (310) as the location of the virtual object. The processor may determine a location of the virtual object in a virtual space independently of a body part moved into the FoV based on identifying a gesture that is different from the gesture of operation (350). The processor, which placed the virtual object at the first location linked to the location of the wearable device based on operation (330), may perform operation (360) to disable the linkage between the location of the virtual object in a virtual space based on the first location and the location of the wearable device. For example, based on operation (360), the processor may set the location of the virtual object in a virtual space to coordinate values corresponding to the first location in the virtual space.

도 3을 참고하면, 동작(370) 내에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, FoV 안으로 이동된 신체 부위의 FoV 내 제2 위치에 기반하여, 디스플레이 내에 가상 객체를 표시할 수 있다. 프로세서는 동작(310)과 유사하게, 상기 제2 위치에 기반하여 가상 객체의 위치를 변경하는 것을 재개할 수 있다. 동작(370)에 기반하여, 프로세서는 제1 위치에 대응하는 가상 공간 내 위치에 배치된 가상 객체를, FoV 안으로 이동된 신체 부위의 상기 제2 위치로 이동할 수 있다. 예를 들어, 프로세서가 동작(370)에 기반하여 가상 객체의 위치를 변경하는 것은, 동작(310)과 유사하게 수행될 수 있다.Referring to FIG. 3, in operation (370), a processor of a wearable device according to an embodiment may display a virtual object within a display based on a second location within the FoV of a body part moved into the FoV. The processor may resume changing the location of the virtual object based on the second location, similar to operation (310). Based on operation (370), the processor may move a virtual object positioned at a location within the virtual space corresponding to the first location to the second location of the body part moved into the FoV. For example, the processor changing the location of the virtual object based on operation (370) may be performed similar to operation (310).

상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치의 프로세서는, FoV에 대한 신체 부위의 재진입에 기반하여, 상기 신체 부위의 제1 자세(또는 제1 제스쳐)가 상기 재진입 이전에 식별되었던 상기 신체 부위의 제2 자세(또는 제2 제스쳐)에 대응하는지 여부를 식별할 수 있다. 상기 제1 자세가 상기 제2 자세에 대응하는 경우, 프로세서는 상기 제2 자세에 기반하여 실행되었던 기능(예, 동작(310)의 가상 객체의 위치를 변경하는 기능)을 재실행할 수 있다. 예를 들어, 프로세서는, 신체 부위가 움직일 수 있는 범위 및 FoV의 불일치에 의해 중단되었던, 상기 기능을 재실행할 수 있다.As described above, in one embodiment, the processor of the wearable device can identify, based on the re-entry of the body part into the FoV, whether the first posture (or the first gesture) of the body part corresponds to a second posture (or the second gesture) of the body part that was identified prior to the re-entry. If the first posture corresponds to the second posture, the processor can re-execute a function that was executed based on the second posture (e.g., a function of changing the position of the virtual object of the operation (310)). For example, the processor can re-execute the function that was interrupted due to a mismatch between the range of motion of the body part and the FoV.

이하에서는, 도 4 및/또는 도 5를 참고하여, 도 3의 동작들(310, 340, 350)과 같이, 신체 부위에 의해 수행된 제스쳐를 식별하는 웨어러블 장치의 예시적인 동작이 보다 상세히 설명된다.Hereinafter, exemplary operations of a wearable device for identifying gestures performed by a body part, such as operations (310, 340, 350) of FIG. 3, are described in more detail with reference to FIG. 4 and/or FIG. 5.

도 4는, 신체 부위를 식별하기 위해 웨어러블 장치(101)에 의해 수행되는 예시적인 동작을 도시한 다이어그램이다. 도 1a 및 도 1b, 도 2의 웨어러블 장치(101) 및/또는 도 2의 프로세서(210)는 도 4를 참고하여 설명되는 동작을 수행할 수 있다. 도 4를 참고하여 설명되는 웨어러블 장치(101)의 동작은, 도 3의 동작들 중 적어도 하나와 관련될 수 있다.FIG. 4 is a diagram illustrating exemplary operations performed by a wearable device (101) to identify a body part. The wearable device (101) of FIGS. 1A and 1B, FIG. 2, and/or the processor (210) of FIG. 2 may perform the operations described with reference to FIG. 4. The operations of the wearable device (101) described with reference to FIG. 4 may be related to at least one of the operations of FIG. 3.

도 4를 참고하면, FoV(120) 내 신체 부위(예, 손(112))를 식별한 웨어러블 장치(101)의 예시적인 상태(401)가 도시된다. 웨어러블 장치(101)의 카메라(예, 도 2의 카메라(225))로부터 획득된 이미지 및/또는 비디오를 이용하여, 웨어러블 장치(101)는 FoV(120) 내 신체 부위(예, 손(112))를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는 카메라로부터 획득된 이미지 내에서, 손(112)에 대응하는 일부분(410)을 식별할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 손(112)에 대응하는 이미지의 일부분(410)을 이용하여, 상기 손(112)에 의해 수행된 제스쳐를 식별할 수 있다.Referring to FIG. 4, an exemplary state (401) of a wearable device (101) that identifies a body part (e.g., a hand (112)) within a FoV (120) is illustrated. Using images and/or videos acquired from a camera (e.g., camera (225) of FIG. 2 ) of the wearable device (101), the wearable device (101) can identify a body part (e.g., a hand (112)) within the FoV (120). For example, the wearable device (101) can identify a portion (410) corresponding to the hand (112) within the image acquired from the camera. In one embodiment, the wearable device (101) can identify a gesture performed by the hand (112) using the portion (410) of the image corresponding to the hand (112).

일 실시예에 따른, 웨어러블 장치(101)는 일부분(410)에 포함된 하나 이상의 특징 점들에 기반하여, 손(112)의 자세를 식별할 수 있다. 본 개시가 이에 제한되는 것은 아니며, 웨어러블 장치(101)는 손(112)을 식별하도록 트레이닝된 뉴럴 네트워크를 이용하여, 손(112)의 자세를 식별할 수 있다. 상기 뉴럴 네트워크는, 제한하지 않는, 예를 들어, CNN(convolutional neural network)에 기반하는 구조를 가질 수 있다.According to one embodiment, the wearable device (101) can identify the posture of the hand (112) based on one or more feature points included in the portion (410). The present disclosure is not limited thereto, and the wearable device (101) can identify the posture of the hand (112) using a neural network trained to identify the hand (112). The neural network can have a structure based on, for example, a convolutional neural network (CNN), without limitation.

도 4를 참고하면, 상이한 자세들의 손(112)에 대응하는 이미지의 일부분들(411, 412, 413)이 예시적으로 도시된다. 일부분(411)을 포함하는 이미지를 식별한 경우, 웨어러블 장치(101)는 고리의 형태로 연결된 손(112)의 엄지 손가락 및 집게 손가락에 의해 나타나는 핀치 제스쳐를 식별할 수 있다. 일부분(412)을 포함하는 이미지를 식별한 경우, 웨어러블 장치(101)는 펼쳐진 집게 손가락 및 접힌 다른 손가락들에 의해 나타나는 포인팅 제스쳐를 식별할 수 있다. 일부분(412)을 포함하는 이미지를 식별한 경우, 웨어러블 장치(101)는 5개의 접힌 손가락들에 의해 나타나는 클렌치(clenched) 제스쳐를 식별할 수 있다.Referring to FIG. 4, portions (411, 412, 413) of images corresponding to hands (112) in different postures are exemplarily illustrated. When an image including a portion (411) is identified, the wearable device (101) can identify a pinch gesture indicated by the thumb and index finger of the hand (112) connected in a ring shape. When an image including a portion (412) is identified, the wearable device (101) can identify a pointing gesture indicated by the spread index finger and folded other fingers. When an image including a portion (412) is identified, the wearable device (101) can identify a clenched gesture indicated by five folded fingers.

일 실시예에서, FoV(120) 내 손(112)을 식별한 웨어러블 장치(101)는, 손(112)의 제스쳐에 대응하는 기능을 실행할 수 있다. 상기 기능은, 도 1a 내지 도 1b를 참고하여 설명된, 가상 객체(예, 도 1a 내지 도 1b의 가상 객체(140))를 이동하기 위한 기능을 포함할 수 있다. 손(112)의 제스쳐 및 상기 제스쳐에 매칭되는 기능의 페어(pair)는, 웨어러블 장치(101)에 의해 실행되는 소프트웨어 어플리케이션에 의해 설정될 수 있다. 일부분들(411, 412, 413)에 기반하여 도시된, 사물을 붙잡거나(예, 일부분들(411, 413)에 의해 식별되는 손(112)의 제스쳐), 또는 사물을 가리키는(예, 일부분(412)에 의해 식별되는 손(112)의 제스쳐) 제스쳐를 식별하는 것에 기반하여, 웨어러블 장치(101)는 가상 객체를 이동하기 위한 기능을 실행할 수 있다.In one embodiment, the wearable device (101) that identifies a hand (112) within the FoV (120) can execute a function corresponding to a gesture of the hand (112). The function can include a function for moving a virtual object (e.g., a virtual object (140) of FIGS. 1A to 1B) as described with reference to FIGS. 1A to 1B. A pair of a gesture of the hand (112) and a function matching the gesture can be set by a software application executed by the wearable device (101). Based on identifying a gesture of grasping an object (e.g., a gesture of a hand (112) identified by parts (411, 412, 413)) or pointing to an object (e.g., a gesture of a hand (112) identified by parts (412)), the wearable device (101) can execute a function for moving a virtual object.

일 실시예에 따른, 웨어러블 장치(101)는, 가상 객체를 이동하기 위한 기능을 실행한 상태에서, FoV(120) 내 신체 부위(예, 손(112))의 기준 점에 기반하여, 상기 가상 객체의 위치를 조절할 수 있다. 일부분(411)을 포함하는 이미지를 식별한 웨어러블 장치(101)는, 서로 접촉된 손(112)의 손끝들의 상기 이미지 내 위치(a1)에 기반하여, 상기 가상 객체의 위치를 조절할 수 있다. 일부분(412)을 포함하는 이미지를 식별한 웨어러블 장치(101)는, 펼쳐진 손가락의 손끝의 상기 이미지 내 위치(a2)에 기반하여, 상기 가상 객체의 위치를 조절할 수 있다. 일부분(413)을 포함하는 이미지를 식별한 웨어러블 장치(101)는, 손(112)의 중심에 대응하는 상기 이미지 내 위치(a3)에 기반하여, 상기 가상 객체의 위치를 조절할 수 있다.According to one embodiment, the wearable device (101), while executing a function for moving a virtual object, can adjust the position of the virtual object based on a reference point of a body part (e.g., a hand (112)) within the FoV (120). The wearable device (101) that has identified an image including a portion (411) can adjust the position of the virtual object based on the positions (a1) of the fingertips of the hands (112) that are in contact with each other within the image. The wearable device (101) that has identified an image including a portion (412) can adjust the position of the virtual object based on the positions (a2) of the fingertips of the spread fingers within the image. The wearable device (101) that has identified an image including a portion (413) can adjust the position of the virtual object based on the positions (a3) within the image corresponding to the center of the hand (112).

일 실시예에 따른, 웨어러블 장치(101)는, AR, VR 및/또는 VST에 기반하는 화면(130)을 표시할 수 있다. 웨어러블 장치(101)의 디스플레이(예, 도 2의 디스플레이(220))를 통해 표시되는 화면(130)의 사이즈는, 웨어러블 장치(101)의 프로세서(예, 도 2의 프로세서(210))에 의해 실행되는 소프트웨어 어플리케이션에 의해 조절될 수 있다. 예를 들어, 화면(130)의 사이즈는, 웨어러블 장치(101)의 카메라의 FoV(120)의 사이즈와 독립적으로 조절될 수 있다. 도 4를 참고하면, 웨어러블 장치(101)를 착용한 사용자(110)의 전 방에 대응하는 방향(df)을 향하여 형성된 FoV(120) 및 상기 사용자(110)에게 표시되는 화면(130)의 예시적인 상태(401)가 도시된다.According to one embodiment, the wearable device (101) may display a screen (130) based on AR, VR and/or VST. The size of the screen (130) displayed through the display of the wearable device (101) (e.g., the display (220) of FIG. 2) may be controlled by a software application executed by a processor of the wearable device (101) (e.g., the processor (210) of FIG. 2). For example, the size of the screen (130) may be controlled independently of the size of the FoV (120) of the camera of the wearable device (101). Referring to FIG. 4, an exemplary state (401) of the FoV (120) formed toward a direction (df) corresponding to the front of a user (110) wearing the wearable device (101) and the screen (130) displayed to the user (110) is illustrated.

도 4의 예시적인 상태(401) 내에서, 웨어러블 장치(101)는 FoV(120)의 사이즈 보다 작은 사이즈를 가지는 화면(130)을, 사용자(110)에게 표시할 수 있다. 웨어러블 장치(101)가 FoV(120) 내 손(112)의 위치에 기반하여, 화면(130) 내 가상 객체를 이동하는 경우, 웨어러블 장치(101)는 FoV(120) 및 화면(130)의 관계에 기반하여, 상기 손(112)의 상기 위치에 대응하는 화면(130) 내 위치를 식별할 수 있다. VST에 기반하는 사용자 경험을 제공하는 동안, 웨어러블 장치(101)는 카메라를 통해 획득된 이미지를, 화면(130)에 표시할 수 있다. FoV(120)에 대한 이미지에 기반하여, 웨어러블 장치(101)를 착용한 사용자(110)는 방향(df)(예, 전 방)의 외부 환경을 인식할 수 있다. 웨어러블 장치(101)는 상기 이미지 상에 가상 객체를 합성하여, 사용자(110)에게 가상 객체 및 외부 환경이 혼합된 화면(130)을 표시할 수 있다.In an exemplary state (401) of FIG. 4, the wearable device (101) can display a screen (130) having a size smaller than the size of the FoV (120) to the user (110). When the wearable device (101) moves a virtual object within the screen (130) based on the position of the hand (112) within the FoV (120), the wearable device (101) can identify a position within the screen (130) corresponding to the position of the hand (112) based on the relationship between the FoV (120) and the screen (130). While providing a user experience based on VST, the wearable device (101) can display an image acquired through a camera on the screen (130). Based on the image for FoV (120), a user (110) wearing a wearable device (101) can recognize the external environment in the direction (df) (e.g., forward). The wearable device (101) can synthesize a virtual object on the image and display a screen (130) in which the virtual object and the external environment are mixed to the user (110).

일 실시예에서, 가상 객체 및 외부 환경이 혼합된 화면(130) 내에서, 웨어러블 장치(101)는 상기 이미지를 통해 사용자(110)에게 보이는 손(112)과 중첩으로, 가상 객체(예, 도 1의 가상 객체(142))를 표시할 수 있다. 손(112)에 기반하여 가상 객체를 이동하기 위한 입력을 식별한 웨어러블 장치(101)는, 화면(130)을 통해 보이는 손(112)의 위치에 기반하여, 가상 객체를 이동할 수 있다. 예를 들어, 손(112)이 FoV(120) 내에서 이동되는 동안, 웨어러블 장치(101)는 화면(130) 내 가상 객체의 위치를, FoV(120) 내 손(112)의 위치에 기반하여, 조절할 수 있다. 손(112)이 FoV(120) 및 화면(130)이 서로 중첩된 영역(r1) 내에서 이동되는 동안, 웨어러블 장치(101)를 착용한 사용자(110)는 화면(130)을 통해, 손(112) 및 손(112)에 기반하여 이동되는 가상 객체를 동시에 볼 수 있다. 손(112)이 화면(130) 바깥의 FoV(120)의 영역(r2)에서 이동되는 동안, 웨어러블 장치(101)를 착용한 사용자(110)는 화면(130)을 통해 손(112)을 볼 수 없으나, 손(112)에 기반하여 이동되는 가상 객체를 볼 수 있다. 손(112)이 FoV(120) 밖의 영역(r3)에서 이동되는 동안, 웨어러블 장치(101)를 착용한 사용자(110)는 손(112)을 볼 수 없고, 손(112)에 의해 이동되었던 가상 객체가 정지되는 것을 볼 수 있다.In one embodiment, within a screen (130) where a virtual object and an external environment are mixed, the wearable device (101) can display a virtual object (e.g., a virtual object (142) of FIG. 1) overlapping a hand (112) visible to the user (110) through the image. The wearable device (101), which has identified an input for moving the virtual object based on the hand (112), can move the virtual object based on the position of the hand (112) visible through the screen (130). For example, while the hand (112) is moved within the FoV (120), the wearable device (101) can adjust the position of the virtual object within the screen (130) based on the position of the hand (112) within the FoV (120). While the hand (112) is moved within the region (r1) where the FoV (120) and the screen (130) overlap each other, the user (110) wearing the wearable device (101) can simultaneously view the hand (112) and a virtual object moving based on the hand (112) through the screen (130). While the hand (112) is moved within the region (r2) of the FoV (120) outside the screen (130), the user (110) wearing the wearable device (101) cannot view the hand (112) through the screen (130), but can view the virtual object moving based on the hand (112). While the hand (112) is moved in an area (r3) outside the FoV (120), the user (110) wearing the wearable device (101) cannot see the hand (112) and can see the virtual object moved by the hand (112) stop.

일 실시예에 따른, 웨어러블 장치(101)는, FoV(120) 밖의 영역(r3)으로 이동된 손(112)의 재진입에 기반하여, 상기 손(112)의 제스쳐에 의해 실행되었던 기능을 다시 실행할 수 있다. 웨어러블 장치(101)는 카메라의 이미지를 이용하여 식별된 손(112)의 자세 및/또는 제스쳐에 기반하여, FoV(120) 안으로 이동된 손(112)이 FoV(120) 밖으로 이동되었던 신체 부위에 대응하는지 여부를 식별할 수 있다.According to one embodiment, the wearable device (101) can re-execute a function that was performed by a gesture of the hand (112) based on the re-entry of the hand (112) that moved into an area (r3) outside the FoV (120). The wearable device (101) can identify, based on the posture and/or gesture of the hand (112) identified using the image of the camera, whether the hand (112) that moved into the FoV (120) corresponds to a body part that was moved out of the FoV (120).

이하에서는, 도 5를 참고하여, FoV(120) 안으로 이동된 손(112)을 식별한 웨어러블 장치(101)에 의해 수행되는 동작이 보다 상세히 설명된다.Below, with reference to FIG. 5, the operation performed by the wearable device (101) that identifies the hand (112) moved into the FoV (120) is described in more detail.

도 5는, 신체 부위에 대한 정보를 획득하기 위해 웨어러블 장치(101)에 의해 수행되는 예시적인 동작을 도시한 다이어그램이다. 도 1a 및 도 1b, 도 2의 웨어러블 장치(101)및/또는 도 2의 프로세서(210)는 도 5를 참고하여 설명되는 동작을 수행할 수 있다. 도 5를 참고하여 설명되는 웨어러블 장치(101)의 동작은, 도 3의 동작들 중 적어도 하나(예, 도 3의 동작(340))와 관련될 수 있다.FIG. 5 is a diagram illustrating exemplary operations performed by a wearable device (101) to obtain information about a body part. The wearable device (101) of FIGS. 1A and 1B, FIG. 2, and/or the processor (210) of FIG. 2 may perform the operations described with reference to FIG. 5. The operations of the wearable device (101) described with reference to FIG. 5 may be related to at least one of the operations of FIG. 3 (e.g., operation (340) of FIG. 3).

도 5를 참고하면, 카메라(예, 도 2의 카메라(225))에 기반하여 신체 부위(예, 손(112))를 식별하는 웨어러블 장치(101)의 일 실시예가 도시된다. 웨어러블 장치(101)는 상기 카메라를 이용하여, 상기 신체 부위가 움직일 수 있는 영역에 대한 정보를 획득할 수 있다. 예를 들어, 웨어러블 장치(101)는 상기 카메라의 FoV(120)에 대한 이미지 및/또는 비디오를 이용하여, 손(112)이 움직일 수 있는 범위(또는 영역)를 식별하거나, 또는 측정할 수 있다. 예를 들어, 웨어러블 장치(101)는 상기 이미지 및/또는 상기 비디오를 이용하여, 손(112)을 구분하기 위한 정보를 획득할 수 있다. 웨어러블 장치(101)는 손(112)의 형태, 피부 색상, 사이즈 및/또는 손(112)에 부착된(attached) 하나 이상의 액세서리들에 기반하여, 상기 정보를 획득할 수 있다.Referring to FIG. 5, an embodiment of a wearable device (101) that identifies a body part (e.g., a hand (112)) based on a camera (e.g., a camera (225) of FIG. 2) is illustrated. The wearable device (101) can obtain information about an area in which the body part can move using the camera. For example, the wearable device (101) can identify or measure a range (or area) in which the hand (112) can move using an image and/or a video of the FoV (120) of the camera. For example, the wearable device (101) can obtain information for distinguishing the hand (112) using the image and/or the video. The wearable device (101) can obtain the information based on the shape, skin color, size of the hand (112) and/or one or more accessories attached to the hand (112).

일 실시예에서, 웨어러블 장치(101)에 의해 획득된 상기 정보는, 상이한 시간 구간들에서 식별된 신체 부위들(예, 손(112))의 동일성을 식별하는데 이용될 수 있다. 예를 들어, 제1 시간 구간에서 FoV(120) 내에서 이동되었던 손(112)에 대한 정보를 획득한 웨어러블 장치(101)는 상기 제1 시간 구간 이후의 제2 시간 구간에서 FoV(120) 안으로 이동되는 신체 부위를 식별하는 것에 기반하여, 상기 정보를 이용하여 상기 신체 부위 및 손(112)이 서로 일치하는지 여부를 식별할 수 있다.In one embodiment, the information acquired by the wearable device (101) may be used to identify the identity of body parts (e.g., hands (112)) identified in different time intervals. For example, the wearable device (101), which acquired information about a hand (112) that moved within the FoV (120) in a first time interval, may identify a body part that moves within the FoV (120) in a second time interval after the first time interval, and may use the information to identify whether the body part and the hand (112) match each other.

도 5를 참고하면, 사용자(110)의 손(112)에 대한 정보를 획득한 웨어러블 장치(101)는 FoV(120)에 포함된, 상이한 사용자들의 손들을 식별한 경우, 상기 정보에 기반하여 사용자(110)의 손(112)을 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는 상기 정보로부터 식별된, 손(112)이 움직일 수 있는 영역을 식별할 수 있다. 웨어러블 장치(101)는 상기 복수의 손들 중에서, 상기 영역에 포함된 하나의 손을, 사용자(110)의 손(112)으로 결정할 수 있다. 웨어러블 장치(101)는 상기 영역 내에서, 상기 정보로부터 식별된, 손(112)의 형태, 피부 색상 및/또는 사이즈에 기반하여, 상기 복수의 손들 중에서 사용자(110)의 손(112)을 식별할 수 있다. 웨어러블 장치(101)는 상기 영역 내에서, 상기 정보로부터 식별된, 손(112)에 부착된 하나 이상의 액세서리들에 기반하여, 상기 복수의 손들 중에서 사용자(110)의 손(112)을 식별할 수 있다.Referring to FIG. 5, the wearable device (101) that has acquired information about the hand (112) of the user (110) can identify the hand (112) of the user (110) based on the information when the hands of different users included in the FoV (120) are identified. For example, the wearable device (101) can identify an area in which the hand (112) identified from the information can move. The wearable device (101) can determine one hand included in the area among the plurality of hands as the hand (112) of the user (110). The wearable device (101) can identify the hand (112) of the user (110) among the plurality of hands based on the shape, skin color, and/or size of the hand (112) identified from the information within the area. The wearable device (101) can identify the hand (112) of the user (110) among the plurality of hands based on one or more accessories attached to the hand (112) identified from the information within the area.

도 5를 참고하면, 손(112)을 식별하는 웨어러블 장치(101)의 예시적인 상태가 도시된다. 일 실시예에 따른, 웨어러블 장치(101)는 사용자(110)에게, 손(112)이 움직일 수 있는 FoV(120)의 영역에 대한 정보를 획득하기 위한 메시지를 출력할 수 있다. 상기 메시지는, 예를 들어, "팔을 크게 회전하세요."와 같이, 손(112)이 움직일 수 있는 영역에 대한 이미지 및/또는 비디오를 획득하기 위한 지정된 텍스트를 포함할 수 있다. 상기 메시지를 출력하는 동안, 웨어러블 장치(101)는 FoV(120)에 대한 이미지 및/또는 비디오를 이용하여, 사용자(110)의 손(112)의 위치(ph1) 및, 방향들(dh1, dh2, dh3, dh4) 중 어느 하나를 따라 이동되는 손(112)의 경로 및/또는 범위를 식별할 수 있다. 웨어러블 장치(101)는, 상기 이미지 및/또는 상기 비디오 내에서, 상기 위치(ph1)에 대응하는 위치(ih1)에 표시되고, 상기 방향들(dh1, dh2, dh3, dh4) 각각에 대응하는 방향들(id1, id2, id3, id4)을 따라 이동되는 손(112)을 식별할 수 있다. 상기 이미지 및/또는 상기 비디오에 기반하여, 웨어러블 장치(101)는 손(112)의 위치(ph1) 및/또는 손(112)에 연결된 하나 이상의 관절들의 위치들(j1, j2)을 식별할 수 있다. 상기 하나 이상의 관절들은, 사용자(110)의 팔에 포함될 수 있다.Referring to FIG. 5, an exemplary state of a wearable device (101) identifying a hand (112) is illustrated. According to one embodiment, the wearable device (101) may output a message to a user (110) to obtain information about an area of the FoV (120) in which the hand (112) can move. The message may include designated text for obtaining an image and/or video of the area in which the hand (112) can move, such as, for example, “Rotate your arm greatly.” While outputting the message, the wearable device (101) may identify a position (ph1) of the hand (112) of the user (110) and a path and/or range of the hand (112) moving along one of the directions (dh1, dh2, dh3, dh4) using the image and/or video of the FoV (120). The wearable device (101) can identify a hand (112) displayed at a position (ih1) corresponding to the position (ph1) in the image and/or the video and moving along directions (id1, id2, id3, id4) corresponding to each of the directions (dh1, dh2, dh3, dh4). Based on the image and/or the video, the wearable device (101) can identify a position (ph1) of the hand (112) and/or positions (j1, j2) of one or more joints connected to the hand (112). The one or more joints may be included in an arm of the user (110).

도 5를 참고하면, 일 실시예에 따른, 웨어러블 장치(101)는 FoV(120) 내 손(112)의 이동에 기반하여, 사용자(110)의 손(112)이 움직일 수 있는 FoV(120) 내 범위(510)를 식별할 수 있다. 웨어러블 장치(101)는 FoV(120)의 밖에서 FoV(120)의 범위(510)로 이동되는 손(112)을 식별하는 것에 기반하여, 상기 식별된 손(112)을, 사용자(110)의 손(112)으로 결정할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는 팔에 대한 손(112)의 방향(iv1)에 기반하여, FoV(120)의 범위(510)에 기반하여 식별된 손(112)이 사용자(110)의 손(112)인지 여부를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는 FoV(120)에 대한 이미지로부터 식별된 방향(iv1) 및 외부 공간 내에서 사용자(110)의 팔에 대한 손(112)의 방향(av)을 비교하여, 상기 이미지에 포함된 손(112)이 사용자(110)의 손(112)인지 여부를 식별할 수 있다.Referring to FIG. 5, according to one embodiment, the wearable device (101) can identify a range (510) within the FoV (120) in which the hand (112) of the user (110) can move based on the movement of the hand (112) within the FoV (120). Based on identifying the hand (112) moving from outside the FoV (120) to the range (510) of the FoV (120), the wearable device (101) can determine the identified hand (112) as the hand (112) of the user (110). According to one embodiment, the wearable device (101) can identify whether the hand (112) identified based on the range (510) of the FoV (120) is the hand (112) of the user (110) based on the direction (iv1) of the hand (112) with respect to the arm. For example, the wearable device (101) can identify whether the hand (112) included in the image is the hand (112) of the user (110) by comparing the direction (iv1) identified from the image for the FoV (120) and the direction (av) of the hand (112) with respect to the arm of the user (110) in the external space.

상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, FoV(120)에 대한 이미지 및/또는 비디오로부터 식별된 신체 부위가, FoV(120)의 밖으로 이동되었던 신체 부위에 대응하는지 여부를 결정할 수 있다. 웨어러블 장치(101)는, 상기 신체 부위가 움직일 수 있는 영역(예, 범위(510))에 대한 정보를 이용하여, FoV(120) 내 신체 부위가 제스쳐의 식별을 위한 지정된 신체 부위(예, 사용자(110)의 손(112))인지 여부를 식별할 수 있다. 도 5의 예시적인 상태 내에서, 사용자(110)의 손(112)을 식별한 웨어러블 장치(101)는 상기 손(112)의 자세 및/또는 제스쳐에 기반하여, 웨어러블 장치(101)의 디스플레이(예, 도 2의 디스플레이(220))를 통해 표시되는 적어도 하나의 가상 객체를 제어하기 위한 입력을 식별할 수 있다.As described above, according to one embodiment, the wearable device (101) can determine whether a body part identified from an image and/or video of the FoV (120) corresponds to a body part that has moved out of the FoV (120). The wearable device (101) can use information about an area (e.g., range (510)) in which the body part can move to identify whether the body part within the FoV (120) is a designated body part for identification of a gesture (e.g., a hand (112) of the user (110)). Within the exemplary state of FIG. 5, the wearable device (101) that has identified the hand (112) of the user (110) can identify an input for controlling at least one virtual object displayed through the display of the wearable device (101) (e.g., the display (220) of FIG. 2) based on the posture and/or gesture of the hand (112).

이하에서는, 도 6a, 도 6b 및 도 6c 및/또는 도 7a, 도 7b 및 도 7c를 참고하여, FoV(120)에 기반하여 식별된 손(112)의 경로와 관련된 웨어러블 장치(101)의 예시적인 동작이 보다 상세히후술된다.Below, exemplary operations of the wearable device (101) related to the path of the hand (112) identified based on the FoV (120) are described in more detail with reference to FIGS. 6a, 6b and 6c and/or FIGS. 7a, 7b and 7c.

도 6a, 도 6b 및 및 도 6c는, 신체 부위의 이동에 기반하여 수행되는 웨어러블 장치(101)의 예시적인 동작을 도시한 다이어그램이다. 도 1a 및 도 1b, 도 2의 웨어러블 장치(101) 및/또는 도 2의 프로세서(210)는 도 6a, 도 6b 및 도 6c를 참고하여 설명되는 동작을 수행할 수 있다. 도 6a, 도 6b 및 도 6c를 참고하여 설명되는 웨어러블 장치(101)의 동작은, 도 3의 동작들 중 적어도 하나와 관련될 수 있다.FIGS. 6A, 6B, and 6C are diagrams illustrating exemplary operations of a wearable device (101) performed based on movement of a body part. The wearable device (101) of FIGS. 1A and 1B, FIG. 2, and/or the processor (210) of FIG. 2 may perform the operations described with reference to FIGS. 6A, 6B, and 6C. The operations of the wearable device (101) described with reference to FIGS. 6A, 6B, and 6C may be related to at least one of the operations of FIG. 3.

도 6a, 도 6b 및 도 6c를 참고하면, 웨어러블 장치(101)의 일 방향(예, 웨어러블 장치(101)의 전 방)을 향하여 배치된 하나 이상의 카메라들(예, 도 2의 카메라(225))의 FoV(610) 내에서 사용자(110)의 손(112)을 식별한 웨어러블 장치(101)의 예시적인 상태들(601, 602, 603)이 도시된다. 일 실시예에 따른, 웨어러블 장치(101)는 FoV(120)에 대응하는 이미지 및/또는 비디오를 이용하여, 손(112)과 같은 신체 부위를 식별할 수 있다.Referring to FIGS. 6A, 6B, and 6C, exemplary states (601, 602, 603) of a wearable device (101) that identify a hand (112) of a user (110) within a FoV (610) of one or more cameras (e.g., camera (225) of FIG. 2) positioned toward one direction of the wearable device (101) (e.g., toward the front of the wearable device (101)) are illustrated. In one embodiment, the wearable device (101) can identify a body part, such as a hand (112), using an image and/or video corresponding to the FoV (120).

도 6a의 상태(601) 내에서, 웨어러블 장치(101)는 디스플레이(예, 도 2의 디스플레이(220))에, 가상 객체(630)를 포함하는 화면(620)을 표시할 수 있다. 웨어러블 장치(101)가 VST에 기반하는 화면(620)을 표시하는 경우, 웨어러블 장치(101)는 FoV(120)에 대한 이미지 및 가상 객체(630) 전부를 포함하는 화면(620)을 표시할 수 있다. 웨어러블 장치(101)가 VR에 기반하는 화면(620)을 표시하는 경우, 웨어러블 장치(101)는 외부 공간을 완전히 가리는 가상 환경을 표현하는 화면(620)을 표시할 수 있다.In state (601) of FIG. 6A, the wearable device (101) can display a screen (620) including a virtual object (630) on a display (e.g., the display (220) of FIG. 2). When the wearable device (101) displays a screen (620) based on VST, the wearable device (101) can display a screen (620) including an image for the FoV (120) and all of the virtual objects (630). When the wearable device (101) displays a screen (620) based on VR, the wearable device (101) can display a screen (620) representing a virtual environment that completely obscures the external space.

도 6a의 상태(601) 내에서, 웨어러블 장치(101)는 화면(620) 내 가상 객체(630)의 이동을 나타내는 손(112)의 제스쳐를 식별할 수 있다. 웨어러블 장치(101)는 도 4 내지 도 5를 참고하여 상술된 동작에 기반하여, FoV(610) 내에서 수행된 손(112)의 핀치 제스쳐를 식별할 수 있다. 비록 핀치 제스쳐에 기반하는 웨어러블 장치(101)의 동작이 설명되지만, 본 개시가 이에 제한되는 것은 아니다. 예를 들어, 웨어러블 장치(101)는 포인팅 제스쳐를 식별하는 것에 기반하여, 도 6a, 도 6b 및 도 6c의 동작을 수행할 수 있다. 예를 들어, FoV(610) 내 위치(fp1)를 향하여 펼쳐진 하나의 손가락을 포함하는 손(112)을 식별하는 것에 기반하여, 웨어러블 장치(101)는 상기 손(112)에 의해 수행된 상기 핀치 제스쳐를 식별할 수 있다. 웨어러블 장치(101)는 펼쳐진 손가락의 손끝에 대응하는 FoV(610) 내 위치(fp1)에 대응하는 화면(620) 내 위치(ip1)를 식별할 수 있다. 가상 객체(630) 상에 중첩된 위치(ip1)를 식별하는 것에 기반하여, 웨어러블 장치(101)는 가상 객체(630)의 이동을 나타내는 입력을 식별할 수 있다.Within the state (601) of FIG. 6a, the wearable device (101) can identify a gesture of the hand (112) indicating movement of a virtual object (630) within the screen (620). The wearable device (101) can identify a pinch gesture of the hand (112) performed within the FoV (610) based on the operations described above with reference to FIGS. 4 and 5. Although the operation of the wearable device (101) based on the pinch gesture is described, the present disclosure is not limited thereto. For example, the wearable device (101) can perform the operations of FIGS. 6a, 6b, and 6c based on identifying a pointing gesture. For example, based on identifying a hand (112) including one finger extended toward a location (fp1) within the FoV (610), the wearable device (101) can identify the pinch gesture performed by the hand (112). The wearable device (101) can identify a location (ip1) within the screen (620) corresponding to the location (fp1) within the FoV (610) corresponding to the fingertip of the extended finger. Based on identifying a location (ip1) superimposed on a virtual object (630), the wearable device (101) can identify an input indicating movement of the virtual object (630).

도 6a를 참고하면, 핀치 제스쳐에 기반하여 가상 객체(630)의 이동을 나타내는 입력을 식별한 상태(601) 내에서, 웨어러블 장치(101)는, 손(112)이 FoV(610) 내에서 이동되는 경로(640)를 식별할 수 있다. 웨어러블 장치(101)는 상기 경로(640)에 기반하여, 디스플레이 내 가상 객체(630)의 위치를 변경할 수 있다. 도 6a의 상태(601) 내에서, 웨어러블 장치(101)는 경로(640)를 따라 위치(fp1)로부터 이동되고, 핀치 제스쳐를 유지하는 손(112)을 식별하는 것에 기반하여, 손(112)의 경로(640)에 대응하는 경로(642)를 따라, 가상 객체(630)를 이동할 수 있다. 예를 들어, 웨어러블 장치(101)는 화면(620) 내 위치(ip1)로부터, 경로(642)를 따라 가상 객체(630)를 이동할 수 있다. 가상 객체(630)가 화면(620) 내에서 이동되는 경로(642)의 형태는, 손(112)이 FoV(610) 내에서 이동되는 경로(640)에 매칭될 수 있다. 예를 들어, 웨어러블 장치(101)는, 가상 객체(630)가 FoV(610) 내에서 이동되는 손(112)과 연결된 것과 같은 사용자 경험을 제공할 수 있다.Referring to FIG. 6A, within a state (601) in which an input indicating movement of a virtual object (630) based on a pinch gesture is identified, the wearable device (101) can identify a path (640) along which a hand (112) moves within the FoV (610). Based on the path (640), the wearable device (101) can change the position of the virtual object (630) within the display. Within the state (601) of FIG. 6A, the wearable device (101) can move the virtual object (630) along a path (642) corresponding to the path (640) of the hand (112), based on identifying a hand (112) that moves from a position (fp1) along the path (640) and maintains the pinch gesture. For example, the wearable device (101) can move a virtual object (630) along a path (642) from a location (ip1) within the screen (620). The shape of the path (642) along which the virtual object (630) is moved within the screen (620) can be matched to the path (640) along which the hand (112) is moved within the FoV (610). For example, the wearable device (101) can provide a user experience in which the virtual object (630) is connected to the hand (112) being moved within the FoV (610).

도 6a의 상태(601)에서, 웨어러블 장치(101)는 손(112)에 의해 수행되는 핀치 제스쳐의 해제에 기반하여, 가상 객체(630)의 이동을 중단할 수 있다. 예를 들어, FoV(610) 내에서 이동되는 손(112)의 자세가 핀치 제스쳐의 자세와 상이한 자세로 변경되는 경우, 웨어러블 장치(101)는 손(112)의 FoV(610) 내 위치 및/또는 경로에 기반하여, 가상 객체(630)를 이동하는 것을 중단할 수 있다. 상기 예시 내에서, 가상 객체(630)의 화면(620) 내 위치는, 손(112)의 자세가 상기 상이한 자세로 변경되는 시점의 손(112)의 FoV(610) 내 위치로 고정될 수 있다.In state (601) of FIG. 6a, the wearable device (101) can stop moving the virtual object (630) based on the release of the pinch gesture performed by the hand (112). For example, if the posture of the hand (112) being moved within the FoV (610) changes to a posture different from the posture of the pinch gesture, the wearable device (101) can stop moving the virtual object (630) based on the position and/or path of the hand (112) within the FoV (610). In the example, the position of the virtual object (630) within the screen (620) can be fixed to the position of the hand (112) within the FoV (610) at the time when the posture of the hand (112) changes to the different posture.

도 6a를 참고하면, 손(112)이 경로(640)를 따라 FoV(610) 밖으로 이동됨에 따라, 웨어러블 장치(101)는 FoV(610)의 가장자리의 위치(ip2)에 기반하여, 가상 객체(630)를 표시할 수 있다. 가상 객체(630)의 화면(620) 내 위치에 대응하는 FoV(610) 내 위치(ip2)는, FoV(610) 밖으로 이동되기 이전에 마지막으로 식별되었던, 손(112)의 FoV(610) 내 위치에 대응할 수 있다. 예를 들어, 웨어러블 장치(101)는, 손(112)이 FoV(610) 밖으로 이동되는 타이밍에서의 손(112)의 FoV(610) 내 위치에 기반하여, 화면(620)에 가상 객체(630)를 표시할 수 있다. 웨어러블 장치(101)는, 손(112)의 경로(640) 및 FoV(610)의 가장자리의 교점(intersection)의 위치(ip2)에 기반하여, 가상 객체(630)를 표시할 수 있다.Referring to FIG. 6a, as the hand (112) is moved out of the FoV (610) along the path (640), the wearable device (101) can display a virtual object (630) based on the position (ip2) of the edge of the FoV (610). The position (ip2) within the FoV (610) corresponding to the position of the virtual object (630) within the screen (620) can correspond to the position of the hand (112) within the FoV (610) that was last identified before being moved out of the FoV (610). For example, the wearable device (101) can display the virtual object (630) on the screen (620) based on the position of the hand (112) within the FoV (610) at the timing when the hand (112) is moved out of the FoV (610). The wearable device (101) can display a virtual object (630) based on the location (ip2) of the intersection of the path (640) of the hand (112) and the edge of the FoV (610).

일 실시예에 따른, 웨어러블 장치(101)는, 외부 공간과 매핑된 가상 공간에 기반하여 가상 객체(630)를 표시한 상태(601) 내에서, 상기 외부 공간과 연결된 위치에 가상 객체(630)를 표시할 수 있다. 가상 객체(630)의 위치가 외부 공간과 연동됨에 따라, 웨어러블 장치(101)는 상기 외부 공간의 특정 위치에 고정된 것과 유사하게, 화면(620) 내에서 가상 객체(630)를 이동할 수 있다. 상태(601) 내에서, 핀치 제스쳐의 자세를 가지는 손(112)을 식별하는 것에 기반하여, 웨어러블 장치(101)는 가상 객체(630) 및 외부 공간 사이의 연결을 해제할 수 있다. 예를 들어, 경로(640)를 따라 이동되는 손(112)에 기반하여, 웨어러블 장치(101)는 경로(642)를 따라 이동되는 가상 객체(630)를 표시할 수 있다. FoV(610) 밖으로 이동된 손(112)에 의하여, FoV(610)의 가장자리의 위치(ip2)에 기반하여 가상 객체(630)를 표시하는 상태(601) 내에서, 웨어러블 장치(101)는, 외부 공간에 대한 가상 객체(630)의 위치(예, 외부 공간에 대한 가상 객체(630)의 절대적 위치)와 독립적으로, 가상 객체(630)를 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 화면(620) 내에서의 가상 객체(630)의 위치(예, 웨어러블 장치(101)에 대한 가상 객체(630)의 상대적 위치)에 기반하여, 가상 객체(630)를 표시할 수 있다.According to one embodiment, the wearable device (101) may display a virtual object (630) at a location connected to the external space within a state (601) in which the virtual object (630) is displayed based on a virtual space mapped with the external space. As the location of the virtual object (630) is linked to the external space, the wearable device (101) may move the virtual object (630) within the screen (620) similarly to being fixed to a specific location in the external space. Within the state (601), based on identifying a hand (112) having a posture of a pinch gesture, the wearable device (101) may disconnect the connection between the virtual object (630) and the external space. For example, based on a hand (112) moving along a path (640), the wearable device (101) may display a virtual object (630) moving along a path (642). In a state (601) of displaying a virtual object (630) based on the position (ip2) of the edge of the FoV (610) by the hand (112) moved out of the FoV (610), the wearable device (101) can display the virtual object (630) independently of the position of the virtual object (630) with respect to the external space (e.g., the absolute position of the virtual object (630) with respect to the external space). For example, the wearable device (101) can display the virtual object (630) based on the position of the virtual object (630) within the screen (620) (e.g., the relative position of the virtual object (630) with respect to the wearable device (101).

도 6b를 참고하면, 도 6a의 상태(601) 이후의 상태(602) 내에서, 웨어러블 장치(101)는 카메라의 FoV(610) 안으로 이동되는 신체 부위(예, 손(112))를 식별할 수 있다. 예를 들어, 사용자(110)가 핀치 제스쳐의 자세를 가지는 손(112)을, 경로(650)를 따라 FoV(610) 밖의 위치(fp3)로부터 FoV(610) 안으로 이동할 수 있다. 손(112)이 경로(650)를 따라 FoV(610)의 가장자리의 위치(fp4)를 통해 FoV(610) 안으로 이동되는 타이밍에서, 웨어러블 장치(101)는 FoV(610)에 대한 이미지 및/또는 비디오에 기반하여, 손(112)을 식별할 수 있다. FoV(610) 안으로 이동되는 타이밍에서, 가상 객체(630)의 이동을 나타내는 지정된 자세의 손(112)을 식별한 상태(602) 내에서, 웨어러블 장치(101)는 상기 타이밍 이전에, 손(112)과 연결되었던 가상 객체(630)를 식별할 수 있다. 예를 들어, 웨어러블 장치(101)는 상태(602) 이전의 상태(601)에서, 손(112)에 의해 이동되었던 가상 객체(630)를 식별할 수 있다.Referring to FIG. 6B, in a state (602) after the state (601) of FIG. 6A, the wearable device (101) can identify a body part (e.g., a hand (112)) moving into the FoV (610) of the camera. For example, a user (110) can move a hand (112) having a pinch gesture posture from a location (fp3) outside the FoV (610) into the FoV (610) along a path (650). At a timing when the hand (112) moves into the FoV (610) through a location (fp4) of the edge of the FoV (610) along the path (650), the wearable device (101) can identify the hand (112) based on an image and/or video of the FoV (610). At the timing of moving into the FoV (610), within the state (602) in which the hand (112) of the designated posture indicating the movement of the virtual object (630) is identified, the wearable device (101) can identify the virtual object (630) that was connected to the hand (112) before the timing. For example, the wearable device (101) can identify the virtual object (630) that was moved by the hand (112) in the state (601) prior to the state (602).

도 6b의 상태(602) 내에서, 손(112)에 의해 이동되었던 가상 객체(630)를 식별한 웨어러블 장치(101)는, FoV(610) 내 손(112)의 위치에 기반하여, 가상 객체(630)를 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 FoV(610) 내 손(112)의 경로에 기반하여 화면(620) 내에서 이동되는 가상 객체(630)를 표시할 수 있다. 예를 들어, 경로(650)를 따라 위치(fp4)에서 FoV(610) 안으로 이동된 손(112)을 식별한 웨어러블 장치(101)는 상기 위치(fp4)에 대응하는 화면(620) 내 위치(ip4)로, 가상 객체(630)를 이동할 수 있다. 웨어러블 장치(101)는, 손(112)의 FoV(610) 내 경로(650)를 식별하는 것에 기반하여, 위치(ip4)로 이동된 가상 객체(630)를, 상기 경로(650)에 대응하는 화면(620) 내 경로(652)를 따라 이동할 수 있다. 도 6b를 참고하면, 손(112)이 경로(650) 상의 위치들(fp4, fp5, fp6)을 순차적으로 통과하는 동안, 웨어러블 장치(101)는 상기 위치들(fp4, fp5, fp6) 각각에 대응하는 화면(620) 내 위치들(ip4, ip5, ip6)을 따라 가상 객체(630)를 이동할 수 있다.In the state (602) of FIG. 6b, the wearable device (101) that has identified a virtual object (630) moved by the hand (112) can display the virtual object (630) based on the location of the hand (112) within the FoV (610). For example, the wearable device (101) can display the virtual object (630) that is moved within the screen (620) based on the path of the hand (112) within the FoV (610). For example, the wearable device (101) that has identified the hand (112) that has moved within the FoV (610) from the location (fp4) along the path (650) can move the virtual object (630) to the location (ip4) within the screen (620) corresponding to the location (fp4). The wearable device (101) can move a virtual object (630) moved to a location (ip4) along a path (652) within the screen (620) corresponding to the path (650) based on identifying a path (650) within the FoV (610) of the hand (112). Referring to FIG. 6B, while the hand (112) sequentially passes through locations (fp4, fp5, fp6) on the path (650), the wearable device (101) can move the virtual object (630) along locations (ip4, ip5, ip6) within the screen (620) corresponding to each of the locations (fp4, fp5, fp6).

도 6a 및 도 6b의 상태들(601, 602)에 기반하여, FoV(610) 밖으로 한 번 이동된 손(112)에 대한 웨어러블 장치(101)의 동작이 설명되었지만, 본 개시가 이에 제한되는 것은 아니다. 예를 들어, 손(112)이 FoV(610)의 가장자리에서 반복적으로 이동되는 경우(예, 손(112)을 흔드는 제스쳐), 웨어러블 장치(101)는, 손(112)의 자세 및/또는 제스쳐가 유지되는지 여부에 기반하여, 손(112)의 자세 및/또는 제스쳐에 대응하는 기능을 실행하는 것을 유지할 수 있다.Based on the states (601, 602) of FIGS. 6A and 6B, the operation of the wearable device (101) for a hand (112) once moved out of the FoV (610) has been described, but the present disclosure is not limited thereto. For example, if the hand (112) is repeatedly moved at the edge of the FoV (610) (e.g., a gesture of waving the hand (112)), the wearable device (101) may continue to execute a function corresponding to the posture and/or gesture of the hand (112) based on whether the posture and/or gesture of the hand (112) is maintained.

도 6c를 참고하면, 도 6a의 상태(601) 이후의 상태(603)에서, 웨어러블 장치(101)는 카메라의 FoV(610) 안으로 이동되는 신체 부위를 식별할 수 있다. 핀치 제스쳐의 자세를 가진 손(112)이 FoV(610) 밖으로 이동된 이후의 상태(603)에서, 웨어러블 장치(101)는 상기 핀치 제스쳐의 자세와 상이한 자세를 가지는 손(112)을 식별할 수 있다. 예를 들어, 사용자(110)가 완전히 펼쳐진 손(112)을, FoV(610) 밖의 위치(fp7)로부터 경로(660)를 따라 FoV(610) 안으로 이동하는 경우, 웨어러블 장치(101)는 상기 손(112)의 자세에 기반하여, 상기 핀치 제스쳐에 대응하는 기능과 상이한 다른 기능을 실행할 수 있다.Referring to FIG. 6c, in a state (603) after the state (601) of FIG. 6a, the wearable device (101) can identify a body part moving into the FoV (610) of the camera. In a state (603) after a hand (112) having a posture of a pinch gesture moves out of the FoV (610), the wearable device (101) can identify a hand (112) having a posture different from the posture of the pinch gesture. For example, when a user (110) moves a fully extended hand (112) from a location (fp7) outside the FoV (610) into the FoV (610) along a path (660), the wearable device (101) can execute a different function corresponding to the pinch gesture based on the posture of the hand (112).

예를 들어, 경로(660)를 따라 FoV(610)의 가장자리의 위치(fp8)를 통해 FoV(610) 안으로 이동되는 손(112)을 식별한 타이밍에서, 웨어러블 장치(101)는 위치(fp8)에 대응하는 화면(620) 내 위치(ip8)에, 상기 손(112)을 표현하는 가상 객체를 표시할 수 있다. 손(112)이 경로(660)를 따라 위치(fp8)로부터 위치(fp9)로 이동되는 동안, 웨어러블 장치(101)는 상기 경로(660)에 대응하는 경로(662)를 따라, 위치(ip8)에 표시된 상기 가상 객체를, 위치(fp9)에 대응하는 화면(620) 내 위치(ip9)로 이동할 수 있다. 상기 핀치 제스쳐에 대응하는 기능과 상이한 다른 기능을 실행하기 때문에, 웨어러블 장치(101)는 화면(620) 내 위치(ip2)에 표시된 가상 객체(630)를, 손(112)의 경로(660)에 기반하여 이동하지 않을 수 있다.For example, at a timing when a hand (112) is identified moving into the FoV (610) through a position (fp8) of an edge of the FoV (610) along a path (660), the wearable device (101) can display a virtual object representing the hand (112) at a position (ip8) in the screen (620) corresponding to the position (fp8). While the hand (112) moves from the position (fp8) to the position (fp9) along the path (660), the wearable device (101) can move the virtual object displayed at the position (ip8) to the position (ip9) in the screen (620) corresponding to the position (fp9) along the path (662) corresponding to the path (660). Since the wearable device (101) executes a different function from the function corresponding to the pinch gesture, the wearable device (101) may not move the virtual object (630) displayed at the location (ip2) within the screen (620) based on the path (660) of the hand (112).

도 6c를 참고하면, FoV(610) 밖으로 이동된 손(112)의 재진입을 식별하고, 손(112)의 자세가 FoV(610) 밖으로 이동되기 이전의 손(112)의 자세와 상이한 경우, 웨어러블 장치(101)는 가상 객체(630)의 위치를, FoV(610) 밖으로 이동되기 이전의 손(112)에 의해 이동되었던 위치(ip2)로 결정할 수 있다. 본 개시가 이에 제한되는 것은 아니며, 웨어러블 장치(101)는 가상 객체(630)의 위치를, FoV(610) 밖으로 이동되기 이전의 손(112)에 의해 이동되기 이전의 가상 객체(630)의 위치로 결정할 수 있다. 손(112)의 자세가, 가상 객체(630)의 이동을 위한 지정된 자세와 상이한 경우, 웨어러블 장치(101)는 가상 객체(630)를, 외부 공간과 연동하여 표시할 수 있다. 도 6c의 상태(603) 내에서, 웨어러블 장치(101)는 화면(620) 내 위치(ip2)에 대응하는 외부 공간 내 위치에 기반하여, 가상 객체(630)를 표시할 수 있다.Referring to FIG. 6c, when re-entry of a hand (112) moved out of the FoV (610) is identified, and when the posture of the hand (112) is different from the posture of the hand (112) before being moved out of the FoV (610), the wearable device (101) may determine the position of the virtual object (630) as the position (ip2) moved by the hand (112) before being moved out of the FoV (610). The present disclosure is not limited thereto, and the wearable device (101) may determine the position of the virtual object (630) as the position of the virtual object (630) before being moved by the hand (112) before being moved out of the FoV (610). When the posture of the hand (112) is different from the designated posture for the movement of the virtual object (630), the wearable device (101) may display the virtual object (630) in conjunction with an external space. In state (603) of FIG. 6c, the wearable device (101) can display a virtual object (630) based on a location in external space corresponding to a location (ip2) in the screen (620).

상술한 바와 같이, FoV(610) 내에서 손(112)을 추적하는 웨어러블 장치(101)는, 손(112)이 FoV(610) 밖으로 이동됨에 따라 손(112)을 추적하는 것이 중단된 이후, FoV(610)에 대한 손(112)의 재진입에 기반하여, 상기 손(112)의 추적에 의해 실행되었던 기능을 연속적으로 실행할 수 있다. 비록, 사용자(110)의 머리에 착용가능한 HMD의 형태를 가지는 웨어러블 장치(101)가 예시적으로 설명되지만, 본 개시가 이에 제한되는 것은 아니다. 이하에서는, 상기 HMD와 상이한 폼 팩터를 가지는 전자 장치에 기반하여, 가상 객체(630)를 이동하기 위하여 신체 부위를 추적하는 동작이 설명된다.As described above, the wearable device (101) tracking the hand (112) within the FoV (610) can continuously execute the function that was executed by the tracking of the hand (112) based on the re-entry of the hand (112) into the FoV (610) after the tracking of the hand (112) is stopped as the hand (112) moves out of the FoV (610). Although the wearable device (101) in the form of an HMD wearable on the head of a user (110) is exemplarily described, the present disclosure is not limited thereto. Hereinafter, an operation of tracking a body part to move a virtual object (630) is described based on an electronic device having a different form factor from the HMD.

도 7a, 도 7b 및 도 7c는, 신체 부위의 이동에 기반하여 수행되는 전자 장치(101-1)의 예시적인 동작들을 도시한 다이어그램이다. 도 7a, 도 7b 및 도 7c의 전자 장치(101-1)는, 도 1a 내지 도 6c를 참고하여 설명된 웨어러블 장치(101)의 동작을 수행할 수 있다. 예를 들어, 도 7a, 도 7b 및 도 7c를 참고하여 설명되는 전자 장치(101-1)의 동작은, 도 3의 웨어러블 장치의 동작들 중 적어도 하나와 관련될 수 있다. 도 7a, 도 7b 및 도 7c를 참고하여 설명되는 전자 장치(101-1)는, 도 2를 참고하여 설명된 하나 이상의 하드웨어들을 포함할 수 있다. 도 7a, 도 7b 및 도 7c를 참고하여 설명되는 전자 장치(101-1)는, 도 2를 참고하여 설명된 하나 이상의 프로그램들을 실행할 수 있다.FIGS. 7A, 7B, and 7C are diagrams illustrating exemplary operations of an electronic device (101-1) performed based on movement of a body part. The electronic device (101-1) of FIGS. 7A, 7B, and 7C may perform the operations of the wearable device (101) described with reference to FIGS. 1A to 6C. For example, the operations of the electronic device (101-1) described with reference to FIGS. 7A, 7B, and 7C may be related to at least one of the operations of the wearable device of FIG. 3. The electronic device (101-1) described with reference to FIGS. 7A, 7B, and 7C may include one or more hardwares described with reference to FIG. 2. The electronic device (101-1) described with reference to FIGS. 7a, 7b, and 7c can execute one or more programs described with reference to FIG. 2.

도 7a, 도 7b 및 도 7c를 참고하면, 디스플레이(220)가 배치된 전자 장치(101-1)의 일 면(예, 전자 장치(101-1)의 전 면)과 반대인 전자 장치(101-1)의 다른 면(예, 전자 장치(101-1)의 후 면)에 배치된 하나 이상의 카메라들(예, 도 2의 카메라(225))의 FoV(710) 내에서 사용자(110)의 손(112)을 식별한 전자 장치(101-1)의 예시적인 상태들(701, 702, 703)이 도시된다. 일 실시예에 따른, 전자 장치(101-1)는, FoV(710)에 대응하는 이미지 및/또는 비디오를 이용하여, 손(112)과 같은 신체 부위를 식별할 수 있다.Referring to FIGS. 7A, 7B, and 7C, exemplary states (701, 702, 703) of an electronic device (101-1) that identify a hand (112) of a user (110) within a FoV (710) of one or more cameras (e.g., camera (225) of FIG. 2) disposed on one side of the electronic device (101-1) (e.g., front side of the electronic device (101-1)) opposite to the other side of the electronic device (101-1) (e.g., rear side of the electronic device (101-1)) on which a display (220) is disposed are illustrated. According to one embodiment, the electronic device (101-1) can identify a body part, such as a hand (112), using an image and/or video corresponding to the FoV (710).

도 7a의 상태(701) 내에서, 전자 장치(101-1)는 디스플레이(220)에, 하나 이상의 아이콘들을 포함하는 화면(720)을 표시할 수 있다. 도 7a를 참고하면, 화면(720)에 포함된 아이콘이, 빗금들(consecutive slashes)로 채워진 사각형으로 표현된다. 아이콘 내에 기재된 숫자는, 설명의 편의를 위하여, 아이콘을 지칭하기 위해 기재된 것으로, 본 개시를 제한하는 것은 아니다. 전자 장치(101-1)가 화면(720)을 통해 표시할 수 있는 아이콘의 형태는, 도 7a, 도 7b 및 도 7c의 예시적인 형태에 제한되지 않는다. 전자 장치(101-1)는, 메모리(예, 도 2의 메모리(215))에 설치된 소프트웨어 어플리케이션에 의해 설정된 이미지(예, 래스터 이미지 및/또는 벡터 이미지)에 기반하여, 아이콘을 표시할 수 있다.Within the state (701) of FIG. 7A, the electronic device (101-1) may display a screen (720) including one or more icons on the display (220). Referring to FIG. 7A, icons included in the screen (720) are expressed as squares filled with consistent slashes. The numbers described in the icons are described to indicate the icons for convenience of explanation and do not limit the present disclosure. The form of the icon that the electronic device (101-1) may display through the screen (720) is not limited to the exemplary forms of FIGS. 7A, 7B, and 7C. The electronic device (101-1) may display icons based on images (e.g., raster images and/or vector images) set by a software application installed in a memory (e.g., memory (215) of FIG. 2).

일 실시예에 따른, 전자 장치(101-1)는, 화면(720) 내에 형성된 그리드에 기반하여, 복수의 아이콘들을 배열(arrange)할 수 있다. 도 7a를 참고하면, 8 개의 아이콘들을 표시하는 예시적인 상태(701) 내에서, 전자 장치(101-1)는, 화면(720)의 제1 방향(예, 수직 방향)을 따라 형성된 3개의 행들, 상기 제1 방향에 수직인 화면(720) 내 제2 방향(예, 수평 방향)을 따라 형성된 4개의 열들을 포함하는 그리드에 기반하여, 상기 8 개의 아이콘들을 배치할 수 있다. 상기 그리드의 행들 및/또는 열들의 개수는, 예시적인 것으로, 본 개시를 제한하지 않는다. 도 7a를 참고하면, 전자 장치(101-1)는 예시적인 그리드를 기준으로 화면(720) 내에 형성된 12 개의 슬롯들을 이용하여, 상기 8 개의 아이콘들을 배치할 수 있다. 상기 슬롯들 중에서, 아이콘이 배치되지 않은 슬롯(예, 빈(empty) 슬롯)이, 화면(720) 내 파선(dashed line)의 사각형으로 도시될 수 있다. 전자 장치(101-1)가 그리드에 기반하여 아이콘들을 표시하기 때문에, 화면(720) 내 상기 제2 방향에서, 아이콘들(예, 숫자 1, 2, 3, 4를 포함하는 아이콘들)의 간격(예, 수평 간격)이 서로 동일할 수 있다. 유사하게, 화면(720) 내 상기 제1 방향에서, 아이콘들(예, 숫자 1, 5, 7를 포함하는 아이콘들)의 간격(예, 수직 간격)이 서로 동일할 수 있다.According to one embodiment, the electronic device (101-1) may arrange a plurality of icons based on a grid formed within the screen (720). Referring to FIG. 7A, in an exemplary state (701) displaying eight icons, the electronic device (101-1) may arrange the eight icons based on a grid including three rows formed along a first direction (e.g., a vertical direction) of the screen (720) and four columns formed along a second direction (e.g., a horizontal direction) within the screen (720) that is perpendicular to the first direction. The number of rows and/or columns of the grid is exemplary and does not limit the present disclosure. Referring to FIG. 7A, the electronic device (101-1) may arrange the eight icons using 12 slots formed within the screen (720) based on the exemplary grid. Among the above slots, a slot in which no icon is placed (e.g., an empty slot) may be depicted as a square of a dashed line in the screen (720). Since the electronic device (101-1) displays icons based on a grid, in the second direction in the screen (720), the spacing (e.g., horizontal spacing) of the icons (e.g.,icons including numbers 1, 2, 3, and 4) may be the same. Similarly, in the first direction in the screen (720), the spacing (e.g., vertical spacing) of the icons (e.g.,icons including numbers 1, 5, and 7) may be the same.

도 7a의 상태(701) 내에서, 전자 장치(101-1)는 화면(720) 내 아이콘의 이동을 나타내는 손(112)의 제스쳐를 식별할 수 있다. 전자 장치(101-1)는 도 4 내지 도 5를 참고하여 상술된 동작에 기반하여, FoV(710) 내에서 수행된 손(112)의 포인팅 제스쳐를 식별할 수 있다. 예를 들어, FoV(710) 내 위치(fp1)를 향하여 펼쳐진 손가락을 포함하는 손(112)을 식별하는 것에 기반하여, 전자 장치(101-1)는 상기 위치(fp1)에 대응하는 화면(720) 내 아이콘(예, 숫자 8을 포함하는 아이콘)의 이동을 나타내는 입력을 식별할 수 있다. 전자 장치(101-1)는, 상기 위치(fp1)에 대응하는 화면(720) 내 위치(dp1)에 표시된 아이콘(예, 숫자 8을 포함하는 아이콘)에 기반하여, 상기 아이콘의 이동을 나타내는 입력을 식별할 수 있다. 상기 입력을 식별한 전자 장치(101-1)는, FoV(710) 내에서 이동되는 손(112)의 경로(730)에 기반하여, 상기 입력에 대응하는 아이콘의 화면(720) 내 위치를 변경할 수 있다.Within state (701) of FIG. 7a, the electronic device (101-1) can identify a gesture of a hand (112) indicating movement of an icon within a screen (720). The electronic device (101-1) can identify a pointing gesture of a hand (112) performed within a FoV (710) based on the operations described above with reference to FIGS. 4 and 5. For example, based on identifying a hand (112) including a finger extended toward a location (fp1) within the FoV (710), the electronic device (101-1) can identify an input indicating movement of an icon (e.g., an icon including a number 8) within the screen (720) corresponding to the location (fp1). The electronic device (101-1) can identify an input indicating movement of an icon (e.g., an icon including a number 8) displayed at a location (dp1) within the screen (720) corresponding to the location (fp1). The electronic device (101-1) that has identified the input can change the location of the icon corresponding to the input within the screen (720) based on a path (730) of the hand (112) moving within the FoV (710).

도 7a를 참고하면, FoV(710) 내 경로(730)를 따라 이동되는 손(112)을 식별한 전자 장치(101-1)는, 상기 경로(730)에 대응하는 화면(720) 내 경로(732)를 따라, 상기 손(112)에 대응하는 아이콘을 이동할 수 있다. 손(112)이 경로(730)를 따라 FoV(710) 밖으로 이동됨에 따라, 전자 장치(101-1)는 FoV(710)의 가장자리의 위치(fp2)에 기반하여, 상기 아이콘을 표시할 수 있다. 도 7a를 참고하면, 전자 장치(101-1)는 상기 위치(fp2)에 대응하는 화면(720) 내 위치(dp2)에, 경로(732)를 따라 이동되었던 아이콘을 표시할 수 있다. 손(112)이 FoV(710)의 가장자리의 위치(fp2)를 통해 FoV(710)의 밖으로 이동된 이후, 전자 장치(101-1)는 손(112)을 추적하거나 또는 모니터링하는 것을 중단할 수 있다. 예를 들어, 손(112)이 위치(fp2)로부터 FoV(710) 밖의 위치(fp3)로 이동되는 동안, 전자 장치(101-1)는 상기 손(112)에 대응하는 아이콘을 이동하지 않을 수 있다.Referring to FIG. 7a, the electronic device (101-1) that identifies a hand (112) moving along a path (730) within the FoV (710) can move an icon corresponding to the hand (112) along a path (732) within the screen (720) corresponding to the path (730). As the hand (112) moves out of the FoV (710) along the path (730), the electronic device (101-1) can display the icon based on the position (fp2) of the edge of the FoV (710). Referring to FIG. 7a, the electronic device (101-1) can display the icon that was moved along the path (732) at a position (dp2) within the screen (720) corresponding to the position (fp2). After the hand (112) moves out of the FoV (710) through the location (fp2) of the edge of the FoV (710), the electronic device (101-1) may stop tracking or monitoring the hand (112). For example, while the hand (112) moves from the location (fp2) to the location (fp3) outside the FoV (710), the electronic device (101-1) may not move an icon corresponding to the hand (112).

도 7a를 참고하면, 손(112)이 FoV(710) 밖으로 이동된 이후, 상기 손(112)에 대응하여 이동되었던 아이콘이 표시되는 위치(dp2)는, FoV(710)의 가장자리의 위치(fp2)에 대응하는 위치이고, 화면(720) 내에서 아이콘의 정렬을 위해 형성된 그리드 및/또는 슬롯들에 대응하지 않을 수 있다. 예를 들어, 전자 장치(101-1)는, FoV(710) 밖으로 이동되는 손(112)을 식별하는 타이밍에, 상기 손(112)에 대응하여 이동되는 아이콘의 위치를, 상기 타이밍에서 식별된 손(112)의 위치(fp2)에 대응하는 화면(720) 내 위치(dp2)로 고정할 수 있다. 상기 위치(dp2)에 아이콘을 표시한 이후, 전자 장치(101-1)는, FoV(710)에 대한 손(112)의 재진입에 기반하여, 상기 아이콘을 다시 이동할 수 있다.Referring to FIG. 7a, after the hand (112) is moved out of the FoV (710), the location (dp2) at which the icon that has been moved in response to the hand (112) is displayed is a location corresponding to the location (fp2) of the edge of the FoV (710) and may not correspond to the grid and/or slots formed for aligning the icon within the screen (720). For example, the electronic device (101-1) may, at the timing of identifying the hand (112) being moved out of the FoV (710), fix the location of the icon that has been moved in response to the hand (112) to the location (dp2) within the screen (720) corresponding to the location (fp2) of the hand (112) identified at the timing. After displaying the icon at the location (dp2), the electronic device (101-1) may move the icon again based on the re-entry of the hand (112) into the FoV (710).

도 7a의 상태(701) 이후의 도 7b의 상태(702)에서, 사용자(110)는 포인팅 제스쳐의 자세를 가지는 손(112)을 경로(740)를 따라 FoV(710) 안으로 이동할 수 있다. 예를 들어, 손(112)이 FoV(710) 밖의 위치(fp4)로부터 FoV(710)의 가장자리의 위치(fp5)를 통해 FoV(710) 안으로 이동될 수 있다. FoV(710)의 가장자리의 위치(fp5)의 손(112)을 식별하는 타이밍에서, 전자 장치(101-1)는 손(112)의 자세에 기반하여, 상태(702) 이전의 상태(701)에서 이동되었던 아이콘(예, 숫자 8을 포함하는 아이콘)의 이동을 재개하기 위한 입력을 식별할 수 있다. 예를 들어, 상기 타이밍에서 식별된 손(112)에 의해 나타나는 제스쳐가, 상태(701)에서 식별되었던 제스쳐(예, 포인팅 제스쳐)와 일치하는 경우, 전자 장치(101-1)는 상기 아이콘의 이동을 재개할 수 있다.In the state (702) of FIG. 7b after the state (701) of FIG. 7a, the user (110) can move a hand (112) having a posture of a pointing gesture along a path (740) into the FoV (710). For example, the hand (112) can move from a position (fp4) outside the FoV (710) to a position (fp5) of an edge of the FoV (710) into the FoV (710). At the timing of identifying the hand (112) at the position (fp5) of the edge of the FoV (710), the electronic device (101-1) can identify an input to resume movement of an icon (e.g., an icon including a number 8) that was moved in the state (701) prior to the state (702) based on the posture of the hand (112). For example, if the gesture indicated by the hand (112) identified at the timing matches the gesture (e.g., pointing gesture) identified at the state (701), the electronic device (101-1) can resume movement of the icon.

도 7b를 참고하면, 포인팅 제스쳐의 자세를 가지고, 위치(fp5)를 통해 FoV(710) 안으로 이동된, 손(112)을 식별한 전자 장치(101-1)는, FoV(710) 내 손(112)의 경로(740)를 따라, 화면(720) 내 위치(dp2)에 표시되었던 아이콘을 이동할 수 있다. 예를 들어, 전자 장치(101-1)는 상기 경로(740)에 대응하는 화면(720) 내 경로(742)를 따라, 아이콘을 이동할 수 있다. 손(112)이 경로(740)를 따라 위치(fp5)로부터 위치(fp6)로 이동하는 동안, 전자 장치(101-1)는 경로(742)를 따라 숫자 8을 포함하는 아이콘을 위치(dp5)로부터 위치(dp6)로 이동할 수 있다.Referring to FIG. 7b, the electronic device (101-1), which has identified a hand (112) having a posture of a pointing gesture and moved into the FoV (710) through a location (fp5), can move an icon displayed at a location (dp2) within the screen (720) along a path (740) of the hand (112) within the FoV (710). For example, the electronic device (101-1) can move an icon along a path (742) within the screen (720) corresponding to the path (740). While the hand (112) moves from a location (fp5) to a location (fp6) along the path (740), the electronic device (101-1) can move an icon including anumber 8 from a location (dp5) to a location (dp6) along the path (742).

일 실시예에 따른, 전자 장치(101-1)는, 포인팅 제스쳐의 자세를 가지는 손(112)에 기반하여 아이콘을 이동하는 상태(702) 내에서, 상기 포인팅 제스쳐와 상이한 자세로 변경되는 손(112)을 식별할 수 있다. 상기 상이한 자세로 변경되는 손(112)을 식별한 전자 장치(101-1)는, 상기 아이콘을 이동하는 것을 중단할 수 있다. 상기 상이한 자세로 변경되는 손(112)을 식별한 전자 장치(101-1)는, 화면(720) 내에 형성된 그리드에 기반하여, 상기 아이콘의 위치를 결정할 수 있다. 도 7b를 참고하면, 위치(fp6)에서, 손(112)의 자세가 포인팅 제스쳐의 자세와 상이한 자세로 변경되는 경우, 전자 장치(101-1)는 상기 위치(fp6)에 대응하는 화면(720) 내 위치(dp6)에 표시되는 아이콘을, 상기 그리드에 의해 형성된 화면(720) 내 슬롯들 중에서, 상기 아이콘에 인접한 빈 슬롯(744)으로 이동할 수 있다. 상기 빈 슬롯(744)에 기반하여 아이콘을 표시하는 것에 기반하여, 전자 장치(101-1)는 손(112)을 이용한 상기 아이콘의 이동을 완료할 수 있다.According to one embodiment, the electronic device (101-1) may identify a hand (112) that has changed to a different posture from the pointing gesture within a state (702) of moving an icon based on a hand (112) having a posture of a pointing gesture. The electronic device (101-1) that has identified the hand (112) that has changed to the different posture may stop moving the icon. The electronic device (101-1) that has identified the hand (112) that has changed to the different posture may determine a location of the icon based on a grid formed within a screen (720). Referring to FIG. 7b, when the posture of the hand (112) at the position (fp6) is changed to a posture different from the posture of the pointing gesture, the electronic device (101-1) can move the icon displayed at the position (dp6) in the screen (720) corresponding to the position (fp6) to an empty slot (744) adjacent to the icon among the slots in the screen (720) formed by the grid. Based on displaying the icon in the empty slot (744), the electronic device (101-1) can complete the movement of the icon using the hand (112).

도 7c를 참고하면, 도 7a의 상태(701) 이후의 상태(703)에서, 사용자(110)는 포인팅 제스쳐와 상이한 제스쳐의 자세를 가지는 손(112)을, FoV(710) 안으로 이동할 수 있다. FoV(710) 밖의 위치(fp7)로부터 FoV(710)의 가장자리의 위치(fp8)를 통해 FoV(710) 안으로 이동되는 손(112)을 식별하는 것에 기반하여, 전자 장치(101-1)는 상기 손(112)의 자세를, 아이콘의 이동을 나타내는 지정된 자세와 비교할 수 있다. 상기 지정된 자세와 상이한 자세를 가지는 손(112)을 식별하는 것에 기반하여, 전자 장치(101-1)는 아이콘의 화면(720) 내 위치를, 상태(701) 이전의 아이콘의 위치로 이동할 수 있다. 도 7c를 참고하면, FoV(710)의 가장자리의 위치(fp8)로부터 경로(750)를 따라 위치(fp9)로 이동되는 손(112)과 독립적으로, 전자 장치(101-1)는 화면(720) 내 위치(dp2)에 표시되었던 아이콘을, 경로(754)를 따라 이동할 수 있다. 일 실시예에 따른, 웨어러블 장치(101)는, 위치(fp8)로부터 경로(750)를 따라 위치(fp9)로 이동되는 손(112)을 식별하는 것에 기반하여, 화면(720) 내에서 상기 경로(750)에 대응하는 경로(752)를 따라 위치(dp5)로부터 위치(dp9)로 이동되는 포인터(예, 커서)를 표시할 수 있다. 경로(754)를 따라 이동되는 아이콘에 기반하여, 전자 장치(101-1)는 상기 아이콘을, 상기 아이콘의 이동을 나타내는 제스쳐를 식별하였던 상태(701) 이전의 위치로 이동할 수 있다.Referring to FIG. 7c, in a state (703) after the state (701) of FIG. 7a, the user (110) can move a hand (112) having a posture of a gesture different from the pointing gesture into the FoV (710). Based on identifying the hand (112) moving from a position (fp7) outside the FoV (710) to a position (fp8) of the edge of the FoV (710) into the FoV (710), the electronic device (101-1) can compare the posture of the hand (112) with a designated posture indicating the movement of the icon. Based on identifying the hand (112) having a posture different from the designated posture, the electronic device (101-1) can move the position of the icon within the screen (720) to the position of the icon before the state (701). Referring to FIG. 7c, independently of the hand (112) moving from the position (fp8) of the edge of the FoV (710) to the position (fp9) along the path (750), the electronic device (101-1) can move an icon displayed at the position (dp2) within the screen (720) along the path (754). In one embodiment, the wearable device (101) can display a pointer (e.g., a cursor) moving from the position (dp5) to the position (dp9) along the path (752) corresponding to the path (750) within the screen (720) based on identifying the hand (112) moving from the position (fp8) to the position (fp9) along the path (750). Based on the icon moving along the path (754), the electronic device (101-1) can move the icon to a position prior to the state (701) where the gesture indicating the movement of the icon was identified.

도 6a, 도 6b 및 도 6c, 도 7a, 도 7b 및 도 7c에서, 포인팅 제스쳐에 기반하여, 아이콘 및/또는 가상 객체(630)를 이동하는 전자 장치(101-1) 및/또는 웨어러블 장치(101)의 동작이 설명되었지만, 본 개시가 이에 제한되는 것은 아니다. 예를 들어, 전자 장치(101-1)는 도 4를 참고하여 설명된, 핀치 제스쳐 및/또는 클렌치 제스쳐에 기반하여, 화면(720) 내 아이콘을 이동하기 위한 제스쳐를 식별할 수 있다.Although the operation of the electronic device (101-1) and/or the wearable device (101) to move an icon and/or a virtual object (630) based on a pointing gesture is described in FIGS. 6A, 6B and 6C, and FIGS. 7A, 7B and 7C, the present disclosure is not limited thereto. For example, the electronic device (101-1) can identify a gesture for moving an icon within a screen (720) based on a pinch gesture and/or a clench gesture, as described with reference to FIG. 4 .

상술한 바와 같이, FoV(710) 내에서 손(112)을 추적하는 전자 장치(101-1)는, 유한한 FoV(710)에 의해 손(112)을 추적하는 것이 중단된 이후, FoV(710)에 대한 손(112)의 재진입에 기반하여, 손(112)을 다시 추적할 수 있다. 전자 장치(101-1)는 손(112)의 자세 및/또는 제스쳐를 이용하여, 손(112)을 추적하는 것이 중단되기 이전에 실행되었던 기능을 다시 실행할 수 있다. FoV(710)에 대한 손(112)의 재진입에 기반하여 아이콘(예, 도 7a 내지 도 7c의 숫자 8을포함하는 아이콘) 및/또는 가상 객체(예, 도 6a 내지 도 6c의 가상 객체(630))의 이동을 다시 실행하는 전자 장치(101-1) 및/또는 웨어러블 장치(101)의 동작이 설명되었지만, 본 개시가 이에 제한되는 것은 아니다. 이하에서는, 도 8을 참고하여, 가상 객체의 사이즈를 조절하는 기능을 다시 실행하는 전자 장치(101-1) 및/또는 웨어러블 장치(101)의 동작이 보다 상세히 설명된다.As described above, the electronic device (101-1) tracking the hand (112) within the FoV (710) can re-track the hand (112) based on the re-entry of the hand (112) into the FoV (710) after the tracking of the hand (112) was interrupted by the finite FoV (710). The electronic device (101-1) can utilize the pose and/or gesture of the hand (112) to re-execute the function that was executed before the tracking of the hand (112) was interrupted. Although the operation of the electronic device (101-1) and/or the wearable device (101) to re-execute the movement of an icon (e.g., an icon including thenumber 8 of FIGS. 7A to 7C) and/or a virtual object (e.g., a virtual object (630) of FIGS. 6A to 6C) based on the re-entry of the hand (112) into the FoV (710) has been described, the present disclosure is not limited thereto. Hereinafter, the operation of the electronic device (101-1) and/or the wearable device (101) to re-execute the function of adjusting the size of a virtual object will be described in more detail with reference to FIG. 8.

도 8은, 일 실시예에 따른, 웨어러블 장치의 예시적인 동작들을 도시한 흐름도이다. 도 1a 및 도 2의 웨어러블 장치(101) 및/또는 도 2의 프로세서(210)는, 도 8을 참고하여 설명되는 동작을 수행할 수 있다. 도 7a, 도 7b 및 도 7c를 참고하여 설명된 전자 장치(101-1)는, 도 8을 참고하여 설명되는 동작을 수행할 수 있다. 도 8을 참고하여 설명되는 웨어러블 장치의 동작은, 도 3의 동작들 중 적어도 하나와 관련되거나, 또는 유사하게 수행될 수 있다.FIG. 8 is a flowchart illustrating exemplary operations of a wearable device according to one embodiment. The wearable device (101) of FIGS. 1A and 2 and/or the processor (210) of FIG. 2 may perform the operations described with reference to FIG. 8. The electronic device (101-1) described with reference to FIGS. 7A, 7B, and 7C may perform the operations described with reference to FIG. 8. The operations of the wearable device described with reference to FIG. 8 may be related to at least one of the operations of FIG. 3, or may be performed similarly.

도 8을 참고하면, 동작(810) 내에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, 카메라 및/또는 외부 전자 장치를 이용하여, 가상 객체의 사이즈를 조절하기 위한 제스쳐를 식별하는 것에 기반하여, 디스플레이 내에 표시된 가상 객체의 사이즈를 변경할 수 있다. 동작(810)의 카메라는, 도 2의 카메라(225)를 포함할 수 있다. 동작(810)의 외부 전자 장치는, 도 2의 리모트 컨트롤러(242)를 포함할 수 있다. 웨어러블 장치는 카메라와 상이한 센서(예, 도 2의 센서(230))(예, 깊이 센서)를 이용하여, 동작(810)의 제스쳐를 식별할 수 있다. 가상 객체의 사이즈를 변경하기 위해 수행되는 제스쳐는, 도 9a, 도 9b 및 도 9c를 참고하여 보다 상세히 후술하는 바와 같이, 사용자의 두 손들 전부를 이용하여 수행될 수 있다. 가상 객체의 사이즈를 변경하기 위해 수행되는 제스쳐는, 도 10을 참고하여 보다 상세히 후술하는 바와 같이, 사용자의 한 손 및 사용자의 다른 손에 의해 쥐어진 외부 전자 장치 전부를 통해 식별될 수 있다. 예를 들어, 가상 객체의 사이즈를 조절하기 위한 제스쳐는, 웨어러블 장치에 의해 식별가능한 두 외부 객체들(예, 손 및/또는 외부 전자 장치) 전부의 이동을 요구할 수 있다. 동작(810)의 가상 객체의 사이즈를 조절하기 위한 제스쳐는, 프로세서에 의해 실행되는 소프트웨어 어플리케이션에 의해 설정될 수 있다.Referring to FIG. 8, in operation (810), a processor of a wearable device according to an embodiment may change a size of a virtual object displayed in a display based on identifying a gesture for adjusting a size of the virtual object using a camera and/or an external electronic device. The camera of operation (810) may include the camera (225) of FIG. 2. The external electronic device of operation (810) may include the remote controller (242) of FIG. 2. The wearable device may identify the gesture of operation (810) using a sensor different from the camera (e.g., the sensor (230) of FIG. 2) (e.g., a depth sensor). The gesture performed to change the size of the virtual object may be performed using both hands of the user, as described in more detail below with reference to FIGS. 9A, 9B, and 9C. A gesture performed to change the size of a virtual object may be identified by both the user's hand and the external electronic device held by the user's other hand, as described in more detail below with reference to FIG. 10. For example, a gesture to adjust the size of a virtual object may require movement of both external objects (e.g., the hand and/or the external electronic device) identifiable by the wearable device. A gesture to adjust the size of a virtual object of operation (810) may be set by a software application executed by the processor.

도 8을 참고하면, 동작(820) 내에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, 제스쳐를 수행하는 신체 부위가 카메라의 FoV 밖으로 이동하는지 여부를 식별할 수 있다. 프로세서는 도 3의 동작(320)과 유사하게, 동작(820)을 수행할 수 있다. 예를 들어, 제스쳐를 수행하는 신체 부위가 FoV 밖으로 이동되기 이전이거나, 또는 FoV 안에서 이동되는 동안(820-아니오), 프로세서는 동작(810)에 기반하여 가상 객체의 사이즈를 변경할 수 있다. FoV 밖으로 이동되는 신체 부위를 식별한 상태 내에서(820-예), 프로세서는 동작(830)을 수행할 수 있다. 동작(820)의 신체 부위가 FoV 밖으로 이동된 이후, 프로세서는 동작(830)을 수행할 수 있다.Referring to FIG. 8, within operation (820), a processor of a wearable device according to an embodiment may identify whether a body part performing a gesture moves out of the FoV of a camera. The processor may perform operation (820) similar to operation (320) of FIG. 3. For example, before the body part performing the gesture moves out of the FoV or while it is moving within the FoV (820-No), the processor may change the size of the virtual object based on operation (810). Within the state of identifying the body part moving out of the FoV (820-Yes), the processor may perform operation (830). After the body part of operation (820) moves out of the FoV, the processor may perform operation (830).

도 8을 참고하면, 동작(830) 내에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, 카메라에 의해 식별되었던 신체 부위의 FoV 내 제1 위치에 대응하는 제1 사이즈에 기반하여, 가상 객체의 사이즈를 설정할 수 있다. 동작(830)의 상기 제1 사이즈는, FoV 밖으로 이동되기 이전에 마지막으로 식별되었던 신체 부위의 FoV 내 위치와 관련될 수 있다. FoV 밖으로 이동되기 이전의 신체 부위에 기반하는 제1 사이즈로 가상 객체의 사이즈를 설정한 상태에서, 프로세서는 동작(840)을 수행할 수 있다.Referring to FIG. 8, in operation (830), a processor of a wearable device according to an embodiment may set a size of a virtual object based on a first size corresponding to a first location within the FoV of a body part identified by a camera. The first size of operation (830) may be related to a location within the FoV of the body part that was last identified before being moved out of the FoV. With the size of the virtual object set to the first size based on the body part before being moved out of the FoV, the processor may perform operation (840).

도 8을 참고하면, 동작(840) 내에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, 카메라의 FoV 안으로 이동되는 신체 부위를 식별할 수 있다. FoV 안으로 이동되는 신체 부위를 식별하기 이전에(840-아니오), 프로세서는 동작(830)의 제1 사이즈에 기반하여 가상 객체를 표시하는 것을 유지할 수 있다. FoV 안으로 이동되는 신체 부위를 식별하는 것에 기반하여(840-예), 프로세서는 동작(850)을 수행할 수 있다. 프로세서는 도 3의 동작(340)과 유사하게, 동작(840)을 수행할 수 있다.Referring to FIG. 8, within operation (840), a processor of a wearable device according to an embodiment may identify a body part moving into the FoV of a camera. Prior to identifying the body part moving into the FoV (840-No), the processor may continue displaying the virtual object based on the first size of operation (830). Based on identifying the body part moving into the FoV (840-Yes), the processor may perform operation (850). The processor may perform operation (840) similar to operation (340) of FIG. 3.

도 8을 참고하면, 동작(850) 내에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, FoV 안으로 이동된 신체 부위에 기반하여, 가상 객체의 사이즈를 조절하기 위한 제스쳐를 식별할 수 있다. 동작(850)의 제스쳐는, 동작(810)의 제스쳐와 일치할 수 있다. 예를 들어, 프로세서는 FoV 안으로 이동된 신체 부위에 의해 수행된 제스쳐가, 동작(810)의 제스쳐에 대응하는지 여부를 식별할 수 있다. 동작(850)의 제스쳐를 식별하지 못하였거나(850-아니오), 또는 동작(850)의 제스쳐를 식별하기 이전에, 프로세서는 도 8의 동작(860)을 수행할 수 있다. 예를 들어, 동작(850)의 제스쳐와 상이한 제스쳐를 식별하는 경우, 프로세서는 동작(860)을 수행할 수 있다. FoV 안으로 이동된 신체 부위로부터 동작(850)의 제스쳐를 식별하는 것에 기반하여(850-예), 프로세서는 동작(870)을 수행할 수 있다. 프로세서는 도 3의 동작(350)과 유사하게, 동작(850)을 수행할 수 있다.Referring to FIG. 8, in operation (850), a processor of a wearable device according to an embodiment may identify a gesture for adjusting the size of a virtual object based on a body part moved into the FoV. The gesture of operation (850) may match the gesture of operation (810). For example, the processor may identify whether a gesture performed by a body part moved into the FoV corresponds to the gesture of operation (810). If the gesture of operation (850) is not identified (850-No), or prior to identifying the gesture of operation (850), the processor may perform operation (860) of FIG. 8. For example, if a gesture different from the gesture of operation (850) is identified, the processor may perform operation (860). Based on identifying a gesture of action (850) from a body part moved into the FoV (850-example), the processor can perform action (870). The processor can perform action (850) similarly to action (350) of FIG. 3.

도 8을 참고하면, 동작(860) 내에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, 가상 객체의 사이즈를, 동작(830)의 제1 사이즈로 결정할 수 있다. 프로세서는 동작(810)에 기반하여 변경되었던 가상 객체의 사이즈를, 상기 가상 객체의 사이즈로 결정할 수 있다.Referring to FIG. 8, in operation (860), a processor of a wearable device according to one embodiment may determine a size of a virtual object as a first size of operation (830). The processor may determine a size of a virtual object that has been changed based on operation (810) as the size of the virtual object.

도 8을 참고하면, 동작(870) 내에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, FoV 안으로 이동된 신체 부위의 FoV 내 제2 위치에 기반하여, 가상 객체의 사이즈를, 제1 사이즈와 상이한 제2 사이즈로 조절할 수 있다. 프로세서는, 동작(810)과 유사하게, 상기 제2 위치에 기반하여 가상 객체의 사이즈를 변경할 수 있다. 예를 들어, 프로세서는 동작(870)에 기반하여, 동작(830) 이후 가상 객체의 사이즈를 변경하는 것을 재개할 수 있다.Referring to FIG. 8, in operation (870), the processor of the wearable device according to one embodiment can adjust the size of the virtual object to a second size different from the first size based on a second location within the FoV of the body part moved into the FoV. The processor can change the size of the virtual object based on the second location, similar to operation (810). For example, the processor can resume changing the size of the virtual object after operation (830) based on operation (870).

상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치의 프로세서는, FoV에 대한 신체 부위의 재진입에 기반하여, 상기 재진입 이전에 상기 신체 부위에 의해 실행되었던 기능을 다시 실행할 수 있다. 예를 들어, 프로세서는 디스플레이를 통해 표시되는 가상 객체의 사이즈를 변경하는 기능을, 다시 실행할 수 있다.As described above, according to one embodiment, the processor of the wearable device may, based on the re-entry of the body part into the FoV, re-execute a function that was performed by the body part prior to the re-entry. For example, the processor may re-execute a function of changing the size of a virtual object displayed through the display.

이하에서는, 도 9a, 도 9b 및 도 9c 및/또는 도 10을 참고하여, 도 8의 동작에 기반하여, 가상 객체의 사이즈를 변경하는 웨어러블 장치의 예시적인 동작이 보다 상세히 설명된다.Below, exemplary operations of a wearable device for changing the size of a virtual object based on the operation of FIG. 8 are described in more detail with reference to FIGS. 9A, 9B, and 9C and/or 10.

도 9a, 도 9b 및 도 9c는, 신체 부위들의 이동에 기반하여 수행되는 웨어러블 장치(101)의 예시적인 동작을 도시한 다이어그램이다. 도 1a 및 도 1b, 도 2의 웨어러블 장치(101) 및/또는 도 2의 프로세서(210)는 도 9a 및 도 9c를 참고하여 설명되는 동작을 수행할 수 있다. 도 9a, 도 9b 및 도 9c를 참고하여 설명되는 웨어러블 장치(101)의 동작은, 도 8의 동작들 중 적어도 하나와 관련될 수 있다.FIGS. 9A, 9B, and 9C are diagrams illustrating exemplary operations of a wearable device (101) performed based on movements of body parts. The wearable device (101) of FIGS. 1A and 1B, FIG. 2, and/or the processor (210) of FIG. 2 may perform the operations described with reference to FIGS. 9A and 9C. The operations of the wearable device (101) described with reference to FIGS. 9A, 9B, and 9C may be related to at least one of the operations of FIG. 8.

도 9a, 도 9b 및 도 9c를 참고하면, 하나 이상의 카메라들(예, 도 2의 카메라(225))의 FoV(910) 내에서 사용자(110)의 손들(112-1, 112-2)을 식별한 웨어러블 장치(101)의 예시적인 상태들(901, 902, 903)이 도시된다. 일 실시예에 따른, 웨어러블 장치(101)는 FoV(910)에 대응하는 이미지 및/또는 비디오를 이용하여 손들(112-1, 112-2)을 식별할 수 있다. 도 9a의 상태(901) 내에서, 웨어러블 장치(101)는 디스플레이(예, 도 2의 디스플레이(220))에, 가상 객체(925)를 포함하는 화면(920)을 표시할 수 있다. 도 9a, 도 9b 및 도 9c를 참고하면, 손들(112-1, 112-2)에 의해 나타나는, 가상 객체(925)의 사이즈를 변경하기 위한 입력에 의해 스위칭된, 상이한 상태들의 가상 객체들(925-1, 925-2, 925-3)이 도시된다.Referring to FIGS. 9A, 9B, and 9C, exemplary states (901, 902, 903) of a wearable device (101) that identify hands (112-1, 112-2) of a user (110) within a FoV (910) of one or more cameras (e.g., camera (225) of FIG. 2 ) are illustrated. In one embodiment, the wearable device (101) may identify the hands (112-1, 112-2) using images and/or videos corresponding to the FoV (910). Within state (901) of FIG. 9A , the wearable device (101) may display a screen (920) including a virtual object (925) on a display (e.g., display (220) of FIG. 2 ). Referring to FIGS. 9a, 9b and 9c, virtual objects (925-1, 925-2, 925-3) in different states are shown, switched by inputs for changing the size of the virtual object (925) represented by hands (112-1, 112-2).

도 9a의 상태(901) 내에서, 웨어러블 장치(101)는 FoV(910) 내에서 이동되는 손들(112-1, 112-2)에 기반하여, 가상 객체(925)의 사이즈의 변경을 나타내는 입력을 식별할 수 있다. 웨어러블 장치(101)는 도 4 내지 도 5를 참고하여 상술된 동작에 기반하여, FoV(910) 내에서 수행된 손들(112-1, 112-2)의 핀치 제스쳐를 식별할 수 있다. 예를 들어, 화면(920) 내 제1 상태의 가상 객체(925-1)의 상이한 위치들(ir1, il1)에 대응하는 FoV(910) 내 위치들(fr1, fl1)에 배치된 손들(112-1, 112-2)의 핀치 제스쳐를 식별하는 것에 기반하여, 웨어러블 장치(101)는 핀치 제스쳐를 유지하는 손들(112-1, 112-2) 사이의 거리에 따라 가상 객체(925)의 사이즈를 변경할 수 있다. 핀치 제스쳐를 가지는 손들(112-1, 112-2)에 응답하여 가상 객체(925)의 사이즈를 변경하는 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자(110)에게, 상기 핀치 제스쳐에 기반하여 가상 객체(925)를 붙잡은 것과 같은 사용자 경험을 제공할 수 있다.Within state (901) of FIG. 9a, the wearable device (101) can identify an input indicating a change in the size of a virtual object (925) based on the hands (112-1, 112-2) moving within the FoV (910). The wearable device (101) can identify a pinch gesture of the hands (112-1, 112-2) performed within the FoV (910) based on the operations described above with reference to FIGS. 4 and 5. For example, based on identifying a pinch gesture of hands (112-1, 112-2) placed at positions (fr1, fl1) in the FoV (910) corresponding to different positions (ir1, il1) of a virtual object (925-1) in a first state in the screen (920), the wearable device (101) can change the size of the virtual object (925) according to the distance between the hands (112-1, 112-2) maintaining the pinch gesture. The wearable device (101) that changes the size of the virtual object (925) in response to the hands (112-1, 112-2) having the pinch gesture can provide a user experience, such as grabbing the virtual object (925) based on the pinch gesture, to a user (110) wearing the wearable device (101).

도 9a의 예시적인 상태(901) 내에서, 핀치 제스쳐의 자세를 가지는 손(112-1)이 경로(931)를 따라 이동되고, 핀치 제스쳐의 자세를 가지는 손(112-2)이 경로(932)를 따라 이동되는 동안, 웨어러블 장치(101)는 손들(112-1, 112-2) 사이의 거리에 기반하여, 가상 객체(925)를 확대하거나 또는 축소할 수 있다. 예를 들어, 핀치 제스쳐를 가지는 손(112-1)이 경로(931)를 따라 FoV(910) 내 위치(fr1)로부터 위치(fr2)로 이동되고, 핀치 제스쳐를 가지는 손(112-2)이 경로(932)를 따라 FoV(910) 내 위치(fl1)로부터 위치(fl2)로 이동된 경우, 웨어러블 장치(101)는 위치들(fr2, fl2) 사이의 거리에 기반하여 가상 객체(925)를 확대할 수 있다. 예를 들어, 웨어러블 장치(101)는 경로(931)에 대응하는 화면(920) 내 경로(933)를 따라 손(112-1)에 대응하는 가상 객체(925)의 포인트를 이동하고, 경로(932)에 대응하는 화면(920) 내 경로(934)를 따라 손(112-2)에 대응하는 가상 객체(925)의 포인트를 이동할 수 있다. 예를 들어, 웨어러블 장치(101)는 위치들(fr2, fl2) 각각에 대응하는 화면(920) 내 위치들(ir1, ir2)에 기반하여 확대된 제2 상태의 가상 객체(925-2)를 표시할 수 있다.In an exemplary state (901) of FIG. 9A, while a hand (112-1) having a posture of a pinch gesture is moved along a path (931) and a hand (112-2) having a posture of a pinch gesture is moved along a path (932), the wearable device (101) can enlarge or reduce a virtual object (925) based on the distance between the hands (112-1, 112-2). For example, when a hand (112-1) having a pinch gesture moves from a location (fr1) to a location (fr2) within the FoV (910) along a path (931), and a hand (112-2) having a pinch gesture moves from a location (fl1) to a location (fl2) within the FoV (910) along a path (932), the wearable device (101) can enlarge the virtual object (925) based on the distance between the locations (fr2, fl2). For example, the wearable device (101) can move a point of the virtual object (925) corresponding to the hand (112-1) along a path (933) within the screen (920) corresponding to the path (931), and can move a point of the virtual object (925) corresponding to the hand (112-2) along a path (934) within the screen (920) corresponding to the path (932). For example, the wearable device (101) can display an enlarged second state virtual object (925-2) based on locations (ir1, ir2) within the screen (920) corresponding to each of the locations (fr2, fl2).

도 9a를 참고하면, 핀치 제스쳐의 손들(112-1, 112-2)에 기반하여 가상 객체(925)의 사이즈를 변경하는 상태(901) 내에서, 웨어러블 장치(101)는 손들(112-1, 112-2) 중 적어도 하나의 자세가 핀치 제스쳐의 자세와 상이한 자세로 변경되는지 여부에 기반하여, 가상 객체(925)의 사이즈를 변경하는 것을 중단할 수 있다. 예를 들어, 손들(112-1, 112-2) 중 적어도 하나에 의해 수행되는 핀치 제스쳐가 해제됨을 식별하는 것에 응답하여, 웨어러블 장치(101)는 가상 객체(925)의 사이즈를, 손들(112-1, 112-2)의 FoV(910) 내 위치 및/또는 경로에 기반하여 변경하는 것을 중단할 수 있다. 상기 예시에서, 가상 객체(925)의 사이즈는 핀치 제스쳐의 해제를 식별한 타이밍에서의 손들(112-1, 112-2)의 FoV(910) 내 위치들에 기반하여 고정될 수 있다.Referring to FIG. 9A, in a state (901) of changing the size of a virtual object (925) based on the hands (112-1, 112-2) of the pinch gesture, the wearable device (101) may stop changing the size of the virtual object (925) based on whether the posture of at least one of the hands (112-1, 112-2) changes to a posture different from the posture of the pinch gesture. For example, in response to identifying that the pinch gesture performed by at least one of the hands (112-1, 112-2) is released, the wearable device (101) may stop changing the size of the virtual object (925) based on the position and/or path within the FoV (910) of the hands (112-1, 112-2). In the above example, the size of the virtual object (925) can be fixed based on the positions of the hands (112-1, 112-2) within the FoV (910) at the timing at which the release of the pinch gesture is identified.

도 9a를 참고하면, 가상 객체(925)의 사이즈를 변경하기 위해 핀치 제스쳐를 수행하는 손들(112-1, 112-2) 중 적어도 하나가 FoV(910) 밖으로 이동되는 것에 기반하여, 웨어러블 장치(101)는 가상 객체(925)의 사이즈를 변경하는 것을 적어도 일시적으로 중단할 수 있다. 예를 들어, 경로(931)를 따라 이동되는 손(112-1)이 FoV(910)의 가장자리의 위치(fr2)를 통해 FoV(910) 밖(예, 위치(fr3))으로 이동되는 것에 기반하여, 웨어러블 장치(101)는 가상 객체(925)의 사이즈를 변경하는 것을 중단할 수 있다. 예를 들어, 손(112-1)이 위치(fr2)를 통해 FoV(910) 밖으로 이동된 이후, 웨어러블 장치(101)는 상기 위치(fr2)에 대응하는 화면(920) 내 위치(ir2)에 기반하여 가상 객체(925)를 표시하는 것을 유지할 수 있다.Referring to FIG. 9a, based on at least one of the hands (112-1, 112-2) performing the pinch gesture to change the size of the virtual object (925) being moved out of the FoV (910), the wearable device (101) can at least temporarily stop changing the size of the virtual object (925). For example, based on the hand (112-1) moving along the path (931) being moved out of the FoV (910) (e.g., to the location (fr3)) through the location (fr2) of the edge of the FoV (910), the wearable device (101) can stop changing the size of the virtual object (925). For example, after the hand (112-1) moves out of the FoV (910) through the location (fr2), the wearable device (101) can continue to display the virtual object (925) based on the location (ir2) within the screen (920) corresponding to the location (fr2).

일 실시예에 따른, 웨어러블 장치(101)는 FoV(910) 밖으로 이동된 손(112-1)을 식별한 상태(901) 이후, FoV(910)에 대한 손(112-1)의 재진입에 기반하여, 가상 객체(925)의 사이즈를 변경하는 기능을 다시 실행할 수 있다. 도 9b를 참고하면, 상태(901) 이후의 상태(902) 내에서, 사용자(110)는 FoV(910) 밖의 위치(fr4)의 손(112-1)을, 경로(941)를 따라 FoV(910)의 가장자리의 위치(fr5)를 통해 FoV(910) 안으로 이동할 수 있다. 웨어러블 장치(101)는, 경로(941)를 따라 이동되는 손(112-1)이 FoV(910)의 가장자리의 위치(fr5)를 통해 FoV(910) 안으로 이동된 타이밍부터, FoV(910)에 대한 손(112-1)의 재진입을 식별할 수 있다. FoV(910)에 대한 손(112-1)의 재진입을 식별한 웨어러블 장치(101)는, 상기 손(112-1)의 자세가 가상 객체(925)의 사이즈를 변경하기 위한 지정된 자세(예, 핀치 제스쳐의 자세)를 가지는지 여부에 기반하여, 가상 객체(925)의 사이즈를 변경하기 위한 기능을 다시 실행할 수 있다. 도 9b의 예시적인 상태(902) 내에서, FoV(910) 안으로 이동된 핀치 제스쳐의 자세를 가지는 손(112-1)을 식별하는 것에 기반하여, 웨어러블 장치(101)는 상기 손(112-1)의 경로(941)를 이용하여, 가상 객체(925)의 사이즈를 변경할 수 있다.According to one embodiment, the wearable device (101) may re-execute the function of changing the size of the virtual object (925) based on the re-entry of the hand (112-1) into the FoV (910) after the state (901) in which the hand (112-1) has moved out of the FoV (910). Referring to FIG. 9B, in the state (902) after the state (901), the user (110) may move the hand (112-1) at the location (fr4) outside the FoV (910) into the FoV (910) through the location (fr5) of the edge of the FoV (910) along the path (941). The wearable device (101) can identify the re-entry of the hand (112-1) into the FoV (910) from the timing at which the hand (112-1) moving along the path (941) moves into the FoV (910) through the position (fr5) of the edge of the FoV (910). The wearable device (101) that has identified the re-entry of the hand (112-1) into the FoV (910) can re-execute the function for changing the size of the virtual object (925) based on whether the posture of the hand (112-1) has a designated posture (e.g., a posture of a pinch gesture) for changing the size of the virtual object (925). Based on identifying a hand (112-1) having a posture of a pinch gesture moved into the FoV (910) within an exemplary state (902) of FIG. 9b, the wearable device (101) can change the size of a virtual object (925) using the path (941) of the hand (112-1).

도 9b의 예시적인 상태(902) 내에서, 웨어러블 장치(101)는 FoV(910) 안에서 이동되는 손들(112-1, 112-2)의 위치 및/또는 경로를 이용하여, 화면(920) 내 가상 객체(925)의 사이즈를 변경할 수 있다. 상태(902) 내에서, FoV(910) 내 손(112-1)의 경로(941)에 대응하는 화면(920) 내 경로(942)를 따라, 웨어러블 장치(101)는 가상 객체(925)의 사이즈를 변경할 수 있다. 위치(ir2)에 기반하는 사이즈를 가지는 가상 객체(925)를 표시하던 웨어러블 장치(101)는, 손(112-1)의 FoV(910)의 가장자리의 위치(fr5)에 대응하는 화면(920) 내 위치(ir5) 및 핀치 제스쳐를 유지하는 손(112-2)의 FoV(910) 내 위치(fl2)에 대응하는 화면(920) 내 위치(il2)를 이용하여 가상 객체(925)를 표시할 수 있다. 손(112-1)이 경로(941)를 따라 FoV(910) 내 위치(fr6)로 이동된 타이밍에서, 웨어러블 장치(101)는 손들(112-1, 112-2)의 위치들(fr6, fl2)에 대응하는 화면(920) 내 위치들(ir6, il2)에 기반하여 변경된 사이즈를 가지는, 제3 상태의 가상 객체(925-3)를 표시할 수 있다.Within the exemplary state (902) of FIG. 9b, the wearable device (101) can change the size of the virtual object (925) within the screen (920) by using the position and/or path of the hands (112-1, 112-2) moving within the FoV (910). Within the state (902), the wearable device (101) can change the size of the virtual object (925) along the path (942) within the screen (920) corresponding to the path (941) of the hand (112-1) within the FoV (910). A wearable device (101) displaying a virtual object (925) having a size based on a position (ir2) can display the virtual object (925) using a position (ir5) within the screen (920) corresponding to a position (fr5) of an edge of the FoV (910) of the hand (112-1) and a position (il2) within the screen (920) corresponding to a position (fl2) within the FoV (910) of the hand (112-2) maintaining the pinch gesture. At the timing when the hand (112-1) moves to the position (fr6) within the FoV (910) along the path (941), the wearable device (101) can display a third state virtual object (925-3) having a changed size based on the positions (ir6, il2) within the screen (920) corresponding to the positions (fr6, fl2) of the hands (112-1, 112-2).

도 9c를 참고하면, 상태(901) 이후의 상태(903) 내에서, 사용자(110)는 핀치 제스쳐의 자세와 상이한 자세를 가지는 손(112-1)을, FoV(910) 밖의 위치(fr7)로부터 경로(951)를 따라 FoV(910) 안으로 이동할 수 있다. FoV(910)의 가장자리의 위치(fr8)에서 손(112-1)을 식별한 웨어러블 장치(101)는, 손(112-1)의 상기 상이한 자세에 기반하여, 가상 객체(925)의 사이즈를 변경하는 것과 다른 기능을 실행할 수 있다. 예를 들어, 손(112-2)의 자세가 핀치 제스쳐를 유지함에도 불구하고, 핀치 제스쳐의 자세와 상이한 자세를 가지는 손(112-1)을 식별한 웨어러블 장치(101)는, 손(112-1)의 FoV(910) 내 경로(951)(예, 위치들(fr8, fr9)을 연결하는 경로(951))에 기반하여 가상 객체(925)의 사이즈를 변경하지 않을 수 있다. 예를 들어, 가상 객체(925)는 상기 경로(951)에 대응하는 화면(920) 내 경로(952)(예, 화면(920) 내 위치들(ir8, ir9)을 연결하는 경로(952))에 의해 확대되거나, 또는 축소되지 않을 수 있다. 예를 들어, 웨어러블 장치(101)는 가상 객체(925)의 사이즈를 변경하는 기능이, 손(112-1)이 FoV(910) 밖으로 이동되었던 시점에 완료된 것으로 결정할 수 있다.Referring to FIG. 9c, in a state (903) after a state (901), a user (110) can move a hand (112-1) having a posture different from that of a pinch gesture from a location (fr7) outside the FoV (910) along a path (951) into the FoV (910). The wearable device (101) that identifies the hand (112-1) at a location (fr8) of the edge of the FoV (910) can execute other functions, such as changing the size of a virtual object (925), based on the different posture of the hand (112-1). For example, even though the posture of the hand (112-2) maintains the pinch gesture, the wearable device (101) that identifies the hand (112-1) having a posture different from the posture of the pinch gesture may not change the size of the virtual object (925) based on the path (951) (e.g., the path (951) connecting the locations (fr8, fr9)) within the FoV (910) of the hand (112-1). For example, the virtual object (925) may not be enlarged or reduced by the path (952) (e.g., the path (952) connecting the locations (ir8, ir9) within the screen (920)) corresponding to the path (951). For example, the wearable device (101) may determine that the function of changing the size of the virtual object (925) is completed at the point in time when the hand (112-1) has moved out of the FoV (910).

상술한 바와 같이, FoV(910) 내에서 손들(112-1, 112-2)을 추적하는 웨어러블 장치(101)는 손들(112-1, 112-2) 중 적어도 하나가 FoV(910) 밖으로 이동되는 경우, 상기 손들(112-1, 112-2)의 제스쳐에 기반하여 실행되었던 기능을 일시적으로 정지할 수 있다. FoV(910) 밖으로 이동되었던 적어도 하나의 손이, 상기 제스쳐를 나타내는 지정된 자세를 가지고 FoV(910) 안으로 이동된 경우, 웨어러블 장치(101)는 일시적으로 정지되었던 상기 기능을 다시 실행할 수 있다(예, 도 9a의 상태(901) 이후의 도 9b의 상태(902)). FoV(910) 밖으로 이동되었던 적어도 하나의 손이, 상기 지정된 자세와 상이한 자세를 가지고 FoV(910) 안으로 이동된 경우, 웨어러블 장치(101)는 일시적으로 정지되었던 상기 기능을 완료할 수 있다.As described above, the wearable device (101) tracking the hands (112-1, 112-2) within the FoV (910) may temporarily suspend a function that was executed based on a gesture of the hands (112-1, 112-2) when at least one of the hands (112-1, 112-2) moves out of the FoV (910). When at least one hand that was moved out of the FoV (910) moves into the FoV (910) with a designated posture indicating the gesture, the wearable device (101) may re-execute the function that was temporarily suspended (e.g., state (902) of FIG. 9b after state (901) of FIG. 9a). If at least one hand that was moved out of the FoV (910) is moved into the FoV (910) in a posture different from the designated posture, the wearable device (101) can complete the function that was temporarily stopped.

이하에서는, 리모트 컨트롤러와 같은 외부 전자 장치 및 손의 조합에 기반하여 가상 객체(925)의 사이즈를 변경하는 웨어러블 장치(101)의 동작이 설명된다.Below, the operation of a wearable device (101) that changes the size of a virtual object (925) based on a combination of an external electronic device such as a remote controller and a hand is described.

도 10은, 신체 부위들의 이동에 기반하여 수행되는 웨어러블 장치(101)의 예시적인 동작을 도시한 다이어그램이다. 도 1a 및 도 1b, 도 2의 웨어러블 장치(101) 및/또는 도 2의 프로세서(210)는 도 10을 참고하여 설명되는 동작을 수행할 수 있다. 도 10을 참고하여 설명되는 웨어러블 장치(101)의 동작은, 도 8의 동작들 중 적어도 하나와 관련될 수 있다.FIG. 10 is a diagram illustrating exemplary operations of a wearable device (101) performed based on movements of body parts. The wearable device (101) of FIGS. 1A and 1B, FIG. 2, and/or the processor (210) of FIG. 2 may perform the operations described with reference to FIG. 10. The operations of the wearable device (101) described with reference to FIG. 10 may be related to at least one of the operations of FIG. 8.

도 10을 참고하면, 하나 이상의 카메라들(예, 도 2의 카메라(225)) 및 통신 회로(예, 도 2의 통신 회로(240))를 이용하여, 화면(1020) 내 가상 객체(1030)의 사이즈를 변경하기 위한 입력을 식별한 웨어러블 장치(101)의 예시적인 상태가 도시된다. 웨어러블 장치(101)는 상기 하나 이상의 카메라들에 의해 형성된 FoV(1010)에 포함된 손(112-1)을 식별할 수 있다. 웨어러블 장치(101)는 상기 통신 회로를 통해 리모트 컨트롤러(242)와 무선 신호를 송신하거나 또는 수신할 수 있다. 도 10을 참고하면, 웨어러블 장치(101)는 가상 객체(1030)를 포함하는 화면(1020)을 표시할 수 있다. 도 10을 참고하면, 손(112-1) 및 리모트 컨트롤러(242)에 의해 나타나는, 가상 객체(1030)의 사이즈를 변경하기 위한 입력에 의해 스위칭된, 상이한 상태들의 가상 객체들(1030-1, 1030-2, 1030-3)이 도시된다.Referring to FIG. 10, an exemplary state of a wearable device (101) that identifies an input for changing the size of a virtual object (1030) within a screen (1020) by using one or more cameras (e.g., camera (225) of FIG. 2) and a communication circuit (e.g., communication circuit (240) of FIG. 2) is illustrated. The wearable device (101) can identify a hand (112-1) included in a FoV (1010) formed by the one or more cameras. The wearable device (101) can transmit or receive a wireless signal to or from a remote controller (242) through the communication circuit. Referring to FIG. 10, the wearable device (101) can display a screen (1020) including a virtual object (1030). Referring to FIG. 10, virtual objects (1030-1, 1030-2, 1030-3) in different states are shown, switched by inputs for changing the size of the virtual object (1030) indicated by the hand (112-1) and the remote controller (242).

도 10의 예시적인 상태 내에서, 웨어러블 장치(101)는 FoV(1010) 내에서 이동되는 손(112-1) 및 리모트 컨트롤러(242)를 통해 수신된 신호에 기반하여, 가상 객체(1030)의 사이즈의 변경을 나타내는 입력을 식별할 수 있다. 웨어러블 장치(101)는 도 4 내지 도 5를 참고하여 상술된 동작에 기반하여, FoV(1010) 내에서 수행된 손(112-1)의 핀치 제스쳐를 식별할 수 있다. 예를 들어, 가상 객체(1030)의 위치(ir1)에 대응하는 FoV(1010) 내 위치(fr1)에 배치된 손(112-1)의 핀치 제스쳐를 식별하는 동안, 가상 객체(1030)의 위치(vc1)에 대응하는 위치(rc1)에 배치된 리모트 컨트롤러(242)로부터, 리모트 컨트롤러(242)의 지정된 버튼의 누름을 알리기 위한 신호를 수신하는 것에 기반하여, 웨어러블 장치(101)는 가상 객체(1030)의 사이즈를 변경하기 위한 입력을 식별할 수 있다. 상기 지정된 버튼은, 클릭 버튼과 같이, 가상 객체(1030)의 선택을 나타내는 입력을 수신하기 위하여 리모트 컨트롤러(242)에 형성된 버튼을 포함할 수 있다.Within the exemplary state of FIG. 10, the wearable device (101) can identify an input indicating a change in the size of the virtual object (1030) based on a signal received via the hand (112-1) moving within the FoV (1010) and the remote controller (242). The wearable device (101) can identify a pinch gesture of the hand (112-1) performed within the FoV (1010) based on the operation described above with reference to FIGS. 4 and 5. For example, while identifying a pinch gesture of a hand (112-1) placed at a location (fr1) in the FoV (1010) corresponding to a location (ir1) of a virtual object (1030), the wearable device (101) may identify an input for changing the size of the virtual object (1030) based on receiving a signal for notifying the pressing of a designated button of the remote controller (242) placed at a location (rc1) corresponding to the location (vc1) of the virtual object (1030). The designated button may include a button formed on the remote controller (242) for receiving an input indicating selection of the virtual object (1030), such as a click button.

도 10을 참고하면, 핀치 제스쳐의 자세를 가지는 손(112-1)이 경로(1051)를 따라 이동되고, 리모트 컨트롤러(242)가 손(112-2)에 의해 경로(1041)를 따라 이동되는 동안, 웨어러블 장치(101)는 리모트 컨트롤러(242) 및 손(112-1)의 위치들에 기반하여, 가상 객체(1030)의 이동, 확대 및/또는 축소 중 적어도 하나를 수행할 수 있다. 예를 들어, 손(112-1)이 경로(1051)를 따라 위치(fr1)로부터 위치(fr2)로 이동되고, 리모트 컨트롤러(242)가 경로(1052)를 따라 위치(rc1)로부터 위치(rc2)로 이동된 경우, 웨어러블 장치(101)는 상기 위치들(fr2, rc2)에 대응하는 화면(1020) 내 위치들(vc2, ir2)에 기반하는 사이즈를 가지는 상태의 가상 객체(1030-2)를 표시할 수 있다.Referring to FIG. 10, while a hand (112-1) having a posture of a pinch gesture is moved along a path (1051) and a remote controller (242) is moved along a path (1041) by the hand (112-2), the wearable device (101) can perform at least one of movement, enlargement and/or reduction of a virtual object (1030) based on the positions of the remote controller (242) and the hand (112-1). For example, when a hand (112-1) is moved from a position (fr1) to a position (fr2) along a path (1051) and a remote controller (242) is moved from a position (rc1) to a position (rc2) along a path (1052), the wearable device (101) can display a virtual object (1030-2) having a size based on positions (vc2, ir2) in the screen (1020) corresponding to the positions (fr2, rc2).

일 실시예에서, 손(112-1) 및 리모트 컨트롤러(242)를 이용하여 가상 객체(1030)의 사이즈를 변경하는 도 10의 예시적인 상태 내에서, 웨어러블 장치(101)는, 손(112-1)의 자세에 기반하는 핀치 제스쳐의 해제 및/또는 리모트 컨트롤러(242)로부터 수신된 신호 중 적어도 하나에 기반하여, 가상 객체(1030)의 사이즈를 변경하는 것을 중단할 수 있다. 예를 들어, 손(112-1)의 자세가 핀치 제스쳐의 자세와 상이한 다른 자세로 변경되는 경우, 웨어러블 장치(101)는 가상 객체(1030)의 사이즈를 변경하는 것을 중단할 수 있다. 예를 들어, 리모트 컨트롤러(242)로부터, 손(112-2)에 의한 지정된 버튼의 눌림이 해제됨을 나타내는 신호를 수신하는 경우, 웨어러블 장치(101)는 가상 객체(1030)의 사이즈를 변경하는 것을 중단할 수 있다.In one embodiment, within the exemplary state of FIG. 10 where the size of the virtual object (1030) is changed using the hand (112-1) and the remote controller (242), the wearable device (101) may stop changing the size of the virtual object (1030) based on at least one of the release of the pinch gesture based on the posture of the hand (112-1) and/or a signal received from the remote controller (242). For example, if the posture of the hand (112-1) is changed to a different posture different from the posture of the pinch gesture, the wearable device (101) may stop changing the size of the virtual object (1030). For example, when receiving a signal from the remote controller (242) indicating that the press of a designated button by the hand (112-2) is released, the wearable device (101) may stop changing the size of the virtual object (1030).

도 10을 참고하면, 가상 객체(1030)의 사이즈를 변경하기 위해 핀치 제스쳐를 수행하는 손(112-1)이 FoV(1010) 밖으로 이동되는 것에 기반하여, 웨어러블 장치(101)는 가상 객체(1030)의 사이즈를 변경하는 것을 적어도 일시적으로 중단할 수 있다. 예를 들어, 경로(1051)를 따라 이동되는 손(112-1)이 FoV(1010)의 가장자리의 위치(fr2)를 통해 FoV(1010) 밖으로 이동되는 것에 기반하여, 웨어러블 장치(101)는 가상 객체(1030)의 사이즈를 변경하는 것을 중단할 수 있다. 예를 들어, 손(112-1)이 FoV(1010)의 가장자리의 위치(fr2)를 통해 FoV(1010) 밖으로 이동된 이후, 웨어러블 장치(101)는 상기 위치(fr2)에 대응하는 화면(1020) 내 위치(ir2)에 기반하여 가상 객체(1030)를 표시하는 것을 유지할 수 있다. 예를 들어, 손(112-1)이 경로(1051)를 따라 FoV(1010)의 가장자리의 위치(fr2)로부터 위치(fr3)로 이동되는 동안, 웨어러블 장치(101)는 가상 객체(1030)를 화면(1020) 내 위치(ir2)에 기반하는 사이즈를 가지는 상태로 유지할 수 있다.Referring to FIG. 10, based on the hand (112-1) performing the pinch gesture to change the size of the virtual object (1030) moving out of the FoV (1010), the wearable device (101) can at least temporarily stop changing the size of the virtual object (1030). For example, based on the hand (112-1) moving along the path (1051) moving out of the FoV (1010) through the position (fr2) of the edge of the FoV (1010), the wearable device (101) can stop changing the size of the virtual object (1030). For example, after the hand (112-1) is moved out of the FoV (1010) through the position (fr2) of the edge of the FoV (1010), the wearable device (101) can maintain displaying the virtual object (1030) based on the position (ir2) within the screen (1020) corresponding to the position (fr2). For example, while the hand (112-1) is moved from the position (fr2) of the edge of the FoV (1010) to the position (fr3) along the path (1051), the wearable device (101) can maintain the virtual object (1030) in a state having a size based on the position (ir2) within the screen (1020).

일 실시예에 따른, 웨어러블 장치(101)는, 손(112-1)이 FoV(1010)의 가장자리의 위치(fr2)를 통해 FoV(1010) 밖으로 이동된 이후, FoV(1010)에 대한 손(112-1)의 재진입에 기반하여, 가상 객체(1030)의 사이즈를 변경하는 기능을 다시 실행할 수 있다. 예를 들어, 경로(1061)를 따라 FoV(1010)의 밖의 위치(fr4)로부터 FoV(1010)의 가장자리의 위치(fr5)를 통해 FoV(1010) 안으로 이동되는 손(112-1)을 식별하는 것에 기반하여, 웨어러블 장치(101)는 손(112-1)의 재진입을 식별할 수 있다. 손(112-1)의 재진입을 식별한 웨어러블 장치(101)는, 상기 손(112-1)의 자세가 가상 객체(1030)의 사이즈를 변경하기 위한 지정된 자세(예, 핀치 제스쳐의 자세)를 가지는지 여부에 기반하여, 가상 객체(1030)의 사이즈를 변경하기 위한 기능을 다시 실행할 수 있다. 예를 들어, FoV(1010) 안으로 이동된 핀치 제스쳐의 자세를 가지는 손(112-1)을 식별한 웨어러블 장치(101)는, FoV(1010)의 가장자리의 위치(fr5)로부터 경로(1061)를 따라 FoV(1010) 안에서 이동되는 손(112-1)에 기반하여, 가상 객체(1030)의 사이즈를 변경할 수 있다. 예를 들어, 손(112-1)이 경로(1061)를 따라 FoV(1010) 내 위치(fr5)로부터 위치(fr6)로 이동되고, 리모트 컨트롤러(242)가 경로(1041)를 따라 위치(rc2)로부터 위치(rc6)로 이동되는 경우, 웨어러블 장치(101)는 화면(1020) 내에서 위치들(fr6, rc6) 각각에 대응하는 위치들(ir6, vc6)에 기반하는 사이즈를 가지는 상태의 가상 객체(1030-3)를 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 손(112-1)의 경로(1061)에 대응하는 화면(1020) 내 경로(1062) 및/또는 리모트 컨트롤러(242)에 의해 식별된 경로(1041)에 기반하여, 가상 객체의 사이즈를 변경할 수 있다.In one embodiment, the wearable device (101) can re-execute the function of changing the size of the virtual object (1030) based on the re-entry of the hand (112-1) into the FoV (1010) after the hand (112-1) has moved out of the FoV (1010) through a location (fr2) of the edge of the FoV (1010). For example, the wearable device (101) can identify the re-entry of the hand (112-1) based on identifying the hand (112-1) moving from a location (fr4) outside the FoV (1010) into the FoV (1010) through a location (fr5) of the edge of the FoV (1010) along a path (1061). The wearable device (101) that has identified the re-entry of the hand (112-1) can re-execute the function for changing the size of the virtual object (1030) based on whether the posture of the hand (112-1) has a designated posture (e.g., a posture of a pinch gesture) for changing the size of the virtual object (1030). For example, the wearable device (101) that has identified the hand (112-1) having the posture of a pinch gesture that has moved into the FoV (1010) can change the size of the virtual object (1030) based on the hand (112-1) moving within the FoV (1010) along the path (1061) from the position (fr5) of the edge of the FoV (1010). For example, when the hand (112-1) is moved from a position (fr5) to a position (fr6) within the FoV (1010) along a path (1061), and the remote controller (242) is moved from a position (rc2) to a position (rc6) along a path (1041), the wearable device (101) can display a virtual object (1030-3) having a size based on positions (ir6, vc6) corresponding to each of the positions (fr6, rc6) within the screen (1020). For example, the wearable device (101) can change the size of the virtual object based on a path (1062) within the screen (1020) corresponding to the path (1061) of the hand (112-1) and/or a path (1041) identified by the remote controller (242).

일 실시예에 따른, 웨어러블 장치(101)는, 손(112-1)이 FoV(1010)의 가장자리의 위치(fr2)를 통해 FoV(1010) 밖으로 이동된 이후, FoV(1010) 밖의 위치(fr7)로부터 경로(1071)를 따라 FoV(1010) 안으로 이동되는 손(112-1)을 식별할 수 있다. 가상 객체(1030)의 변경을 위한 핀치 제스쳐와 상이한 제스쳐의 자세를 가지는 손(112-1)을 식별하는 것에 기반하여, 웨어러블 장치(101)는 가상 객체(1030)의 사이즈를 변경하는 것과 상이한 다른 기능을 실행할 수 있다. 예를 들어, 리모트 컨트롤러(242)로부터 지정된 버튼의 눌림을 알리는 신호를 수신함에도 불구하고, 핀치 제스쳐의 자세와 상이한 자세를 가지는 손(112-1)을 식별한 웨어러블 장치(101)는 손(112-1)이 FoV(1010) 내에서 경로(1071)를 따라 가상 객체(1030)의 사이즈를 변경하는 것을 중단할 수 있다. 예를 들어, 핀치 제스쳐의 자세와 상이한 자세를 가지는 손(112-1)이 경로(1071)를 따라 위치(fr8)로부터 위치(fr9)로 이동됨에도 불구하고, 웨어러블 장치(101)는 상기 위치(fr2)에 대응하는 화면(1020) 내 위치(ir2)에 기반하는 사이즈를 가지는 상태의 가상 객체(1030-2)를 표시하는 것을 유지할 수 있다.According to one embodiment, the wearable device (101) can identify a hand (112-1) that moves into the FoV (1010) along a path (1071) from a location (fr7) outside the FoV (1010) after the hand (112-1) moves out of the FoV (1010) through a location (fr2) of the edge of the FoV (1010). Based on identifying a hand (112-1) having a different gesture posture than the pinch gesture for changing the virtual object (1030), the wearable device (101) can execute another function different from changing the size of the virtual object (1030). For example, even though a signal indicating the pressing of a designated button from a remote controller (242) is received, the wearable device (101) that identifies a hand (112-1) having a posture different from that of a pinch gesture may stop the hand (112-1) from changing the size of the virtual object (1030) along the path (1071) within the FoV (1010). For example, even though the hand (112-1) having a posture different from that of the pinch gesture moves from a position (fr8) to a position (fr9) along the path (1071), the wearable device (101) may maintain displaying the virtual object (1030-2) having a size based on a position (ir2) within the screen (1020) corresponding to the position (fr2).

이하에서는, 도 11a, 도 11b 및 도 11c, 및/또는 도 12a 및 도 12b를 참고하여, FoV(1010)의 가장자리에서 이동되는 손(112-1)의 속도 및/또는 속력을 식별한 웨어러블 장치(101)의 동작이 보다 상세히 후술된다.Below, with reference to FIGS. 11a, 11b and 11c, and/or FIGS. 12a and 12b, the operation of the wearable device (101) for identifying the speed and/or velocity of the hand (112-1) moving at the edge of the FoV (1010) is described in more detail.

도 11a, 도 11b 및 도 11c는, 신체 부위들의 이동에 기반하여 수행되는 웨어러블 장치(101)의 동작의 일 예를 도시한다. 도 1a 내지 도 1b, 도 2의 웨어러블 장치(101)및/또는 도 2의 프로세서(210)는 도 11a, 도 11b 및 도 11c를 참고하여 설명되는 동작을 수행할 수 있다.FIGS. 11A, 11B, and 11C illustrate an example of an operation of a wearable device (101) performed based on movement of body parts. The wearable device (101) of FIGS. 1A to 1B, FIG. 2, and/or the processor (210) of FIG. 2 may perform the operations described with reference to FIGS. 11A, 11B, and 11C.

도 11a, 도 11b 및 도 11c를 참고하면, 하나 이상의 카메라들(예, 도 2의 카메라(225))의 FoV(1110) 내에서 사용자(110)의 손들(112-1, 112-2)을 식별한 웨어러블 장치(101)의 예시적인 상태들(1101, 1102, 1103)이 도시된다. 일 실시예에 따른, 웨어러블 장치(101)는 FoV(1110)에 대응하는 이미지 및/또는 비디오를 이용하여 손들(112-1, 112-2)을 식별할 수 있다. 도 11a의 상태(1101) 내에서, 웨어러블 장치(101)는 디스플레이(예, 도 2의 디스플레이(220))에, 가상 객체(1130)를 포함하는 화면(1120)을 표시할 수 있다. 도 11a, 도 11b 및 도 11c를 참고하면, 새총의 형태를 가지는 가상 객체(1130)를 표시하는 웨어러블 장치(101)의 예시적인 상태들(1101, 1102, 1103)이 도시된다. 새총의 형태를 가지는 가상 객체(1130)는, 웨어러블 장치(101)에 의해 실행되는 소프트웨어 어플리케이션으로부터 제공될 수 있다.Referring to FIGS. 11A, 11B, and 11C, exemplary states (1101, 1102, 1103) of a wearable device (101) that identify hands (112-1, 112-2) of a user (110) within a FoV (1110) of one or more cameras (e.g., camera (225) of FIG. 2 ) are illustrated. In one embodiment, the wearable device (101) may identify the hands (112-1, 112-2) using images and/or videos corresponding to the FoV (1110). Within the state (1101) of FIG. 11A , the wearable device (101) may display a screen (1120) including a virtual object (1130) on a display (e.g., display (220) of FIG. 2 ). Referring to FIGS. 11a, 11b and 11c, exemplary states (1101, 1102, 1103) of a wearable device (101) displaying a virtual object (1130) having the shape of a slingshot are illustrated. The virtual object (1130) having the shape of a slingshot may be provided from a software application executed by the wearable device (101).

도 11a의 상태(1101) 내에서, 웨어러블 장치(101)는 FoV(1110) 내에서 이동되는 손들(112-1, 112-2)에 기반하여, 가상 객체(1130)의 제어를 나타내는 입력을 식별할 수 있다. 웨어러블 장치(101)는 도 4 및 도 5를 참고하여 상술된 동작에 기반하여, FoV(1110) 내에서 수행된 손들(112-1, 112-2)의 핀치 제스쳐를 식별할 수 있다. 예를 들어, 화면(1120) 내 가상 객체(1130) 상의 위치들(ir1, il1)에 대응하는 FoV(1110) 내 위치들(fr1, fl1)에 배치된 손들(112-1, 112-2)의 핀치 제스쳐를 식별하는 것에 기반하여, 웨어러블 장치(101)는 핀치 제스쳐를 유지하는 손들(112-1, 112-2) 사이의 거리에 따라 가상 객체(1130)의 표시를 변경할 수 있다. 도 11a의 예시적인 상태(1101) 내에서, 가상 객체(1130)에서, 손(112-2)의 FoV(1110) 내 위치(fl1)가 새총의 핸들을 표현하는 부분(1131) 내 위치(il1)에 대응하고, 손(112-1)의 FoV(1110) 내 위치(fr1)가 새총의 탄성체를 표현하는 부분(1132)의 위치(ir1)에 대응함을 식별하는 것에 기반하여, 웨어러블 장치(101)는 손들(112-1, 112-2) 사이의 거리에 따라 가상 객체(1130)의 표시를 변경하는 것을 개시할 수 있다.Within the state (1101) of FIG. 11a, the wearable device (101) can identify an input indicating control of a virtual object (1130) based on the hands (112-1, 112-2) moving within the FoV (1110). The wearable device (101) can identify a pinch gesture of the hands (112-1, 112-2) performed within the FoV (1110) based on the operations described above with reference to FIGS. 4 and 5. For example, based on identifying a pinch gesture of hands (112-1, 112-2) placed at locations (fr1, fl1) in the FoV (1110) corresponding to locations (ir1, il1) on a virtual object (1130) in a screen (1120), the wearable device (101) can change the display of the virtual object (1130) according to the distance between the hands (112-1, 112-2) maintaining the pinch gesture. Within the exemplary state (1101) of FIG. 11a, based on identifying that the position (fl1) of the hand (112-2) within the FoV (1110) of the virtual object (1130) corresponds to the position (il1) of the part (1131) representing the handle of the slingshot, and the position (fr1) of the hand (112-1) within the FoV (1110) corresponds to the position (ir1) of the part (1132) representing the elastic body of the slingshot, the wearable device (101) may initiate changing the display of the virtual object (1130) depending on the distance between the hands (112-1, 112-2).

도 11a의 예시적인 상태(1101) 내에서, 핀치 제스쳐의 자세를 가지는 손(112-1)이 경로(1141)를 따라 이동되는 동안, 웨어러블 장치(101)는 손들(112-1, 112-2) 사이의 거리에 기반하여, 가상 객체(1130)의 표시를 변경할 수 있다. 예를 들어, 핀치 제스쳐를 가지는 손(112-1)이 경로(1141)를 따라 FoV(1110) 내 위치(fr1)로부터 위치(fr2)로 이동된 경우, 웨어러블 장치(101)는 위치들(fr2, fl1) 사이의 거리에 기반하여 탄성체에 대응하는 가상 객체(1130)의 부분(1132)을 연장할 수 있다. 예를 들어, 웨어러블 장치(101)는 상기 부분(1132)에서 손(112-1)에 대응하는 위치(ir1)를, 경로(1142)를 따라 이동할 수 있다.In an exemplary state (1101) of FIG. 11A, while a hand (112-1) having a posture of a pinch gesture is moved along a path (1141), the wearable device (101) can change the display of the virtual object (1130) based on the distance between the hands (112-1, 112-2). For example, when the hand (112-1) having the pinch gesture is moved from a location (fr1) to a location (fr2) within the FoV (1110) along the path (1141), the wearable device (101) can extend a portion (1132) of the virtual object (1130) corresponding to the elastic body based on the distance between the locations (fr2, fl1). For example, the wearable device (101) can move along the path (1142) to a position (ir1) corresponding to the hand (112-1) in the above-mentioned portion (1132).

도 11a를 참고하면, 핀치 제스쳐의 손들(112-1, 112-2)에 기반하여 가상 객체(1130)의 표시를 변경하는 상태(1101) 내에서, 웨어러블 장치(101)는 손들(112-1, 112-2) 중 적어도 하나의 자세가 핀치 제스쳐의 자세와 상이한 자세로 변경되는지 여부에 기반하여, 변경된 형태를 가지는 가상 객체(1130)에 기반하는 기능을 실행할 수 있다. 예를 들어, 손(112-1)에 의해 수행되는 핀치 제스쳐가 해제됨을 식별하는 것에 응답하여, 웨어러블 장치(101)는 가상 객체(1130)의 변경된 형태에 기반하는 기능을 실행할 수 있다. 예를 들어, 웨어러블 장치(101)는 가상 객체(1130)와 관련된 투사 기능(pitching function)을 실행할 수 있다.Referring to FIG. 11A, in a state (1101) of changing the display of a virtual object (1130) based on the hands (112-1, 112-2) of the pinch gesture, the wearable device (101) may execute a function based on the virtual object (1130) having a changed shape based on whether the posture of at least one of the hands (112-1, 112-2) is changed to a posture different from the posture of the pinch gesture. For example, in response to identifying that the pinch gesture performed by the hand (112-1) is released, the wearable device (101) may execute a function based on the changed shape of the virtual object (1130). For example, the wearable device (101) may execute a pitching function related to the virtual object (1130).

도 11a를 참고하면, 가상 객체(1130)의 사이즈를 변경하기 위해 핀치 제스쳐를 수행하는 손들(112-1, 112-2) 중 적어도 하나가 FoV(1110) 밖으로 이동되는 것에 기반하여, 웨어러블 장치(101)는 가상 객체(1130)의 표시를 변경하는 것을 적어도 일시적으로 중단할 수 있다. 예를 들어, 경로(1141)를 따라 이동되는 손(112-1)이 FoV(1110)의 가장자리의 위치(fr2)를 통해 FoV(1110) 밖으로 이동되는 것에 기반하여, 웨어러블 장치(101)는 가상 객체(1130)의 부분(1132)을 손(112-1)의 경로(1141)에 따라 변경하는 것을 중단할 수 있다. 예를 들어, 손(112-1)이 위치(fr2)를 통해 FoV(1110) 밖으로 이동된 이후, 웨어러블 장치(101)는 상기 위치(fr2)에 대응하는 화면(1120) 내 위치(ir2)에 기반하여 가상 객체(1130)의 부분(1132)을 표시하는 것을 유지할 수 있다.Referring to FIG. 11a, based on at least one of the hands (112-1, 112-2) performing the pinch gesture to change the size of the virtual object (1130) being moved out of the FoV (1110), the wearable device (101) can at least temporarily stop changing the display of the virtual object (1130). For example, based on the hand (112-1) moving along the path (1141) being moved out of the FoV (1110) via the position (fr2) of the edge of the FoV (1110), the wearable device (101) can stop changing a portion (1132) of the virtual object (1130) along the path (1141) of the hand (112-1). For example, after the hand (112-1) is moved out of the FoV (1110) through the location (fr2), the wearable device (101) can continue to display a portion (1132) of the virtual object (1130) based on the location (ir2) within the screen (1120) corresponding to the location (fr2).

일 실시예에서, 웨어러블 장치(101)는, 손(112-1)이 FoV(1110)의 가장자리의 위치(fr2)를 통해 FoV(1110) 밖으로 이동되는 것에 기반하여, FoV(1110) 밖으로 이동되는 손(112-1)의 속도 및/또는 속력에 기반하여, 가상 객체(1130)의 표시를 변경할 수 있다. 예를 들어, 웨어러블 장치(101)는 FoV(1110) 내에서 이동되었던 손(112-1)의 속력에 기반하여, 가상 객체(1130)의 표시를 변경할 수 있다. 상기 예시 내에서, 손(112-1)이 FoV(1110) 밖으로 이동됨에 따라 손(112-1)을 추적하는 것이 중단됨에도 불구하고, 웨어러블 장치(101)는 상기 속력에 기반하여, 가상 객체(1130)의 부분(1132)을 계속적으로 연장할 수 있다. 또한, 웨어러블 장치(101)는, FoV(1110)의 밖으로 이동되기 전(FoV(1110) 내에서의) 손(112-1)의 경로, 손(112-1)이 움직일 수 있는 영역에 대한 정보, 손(112-1)의 이동 속도 중 적어도 하나를 기초로 가상 객체(1130)의 부분(1132)을 계속적으로 연장할 수 있다.In one embodiment, the wearable device (101) can change the display of the virtual object (1130) based on the speed and/or velocity of the hand (112-1) moving out of the FoV (1110) based on the position (fr2) of the edge of the FoV (1110). For example, the wearable device (101) can change the display of the virtual object (1130) based on the speed of the hand (112-1) that was moved within the FoV (1110). In the above example, even though tracking of the hand (112-1) is discontinued as the hand (112-1) is moved out of the FoV (1110), the wearable device (101) can continue to extend a portion (1132) of the virtual object (1130) based on the speed. Additionally, the wearable device (101) can continuously extend a portion (1132) of a virtual object (1130) based on at least one of the path of the hand (112-1) before it moves out of the FoV (1110), information about an area in which the hand (112-1) can move, and the moving speed of the hand (112-1).

도 11a를 참고하면, 손(112-1)이 FoV(1110) 밖으로 이동된 이후, 웨어러블 장치(101)는 손(112-1)을 FoV(1110) 안으로 이동할 것을 가이드하기 위한 시각적 객체(1171)를 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 지정된 기간 동안 FoV(1110) 안으로 손(112-1)을 이동하지 않는 경우, 가상 객체(1130)와 관련된 지정된 기능(예, 투사 기능)이 실행될 것임을 알리는 지정된 텍스트(예, "3초 후 발사")를 포함하는 시각적 객체(1171)를 표시할 수 있다. 본 개시가 이에 제한되는 것은 아니며, 웨어러블 장치(101)는 가상 객체(1130)의 색상을 변경하거나, 깜박임(blink)과 같은 시각 효과에 기반하여, 손(112-1)을 FoV(1110) 안으로 이동할 것을, 사용자(110)에게 가이드할 수 있다.Referring to FIG. 11A, after the hand (112-1) is moved out of the FoV (1110), the wearable device (101) may display a visual object (1171) to guide the hand (112-1) to move into the FoV (1110). For example, the wearable device (101) may display a visual object (1171) including specified text (e.g., “Fire in 3 seconds”) indicating that a specified function (e.g., projection function) related to a virtual object (1130) will be executed if the hand (112-1) is not moved into the FoV (1110) for a specified period of time. The present disclosure is not limited thereto, and the wearable device (101) may guide the user (110) to change the color of the virtual object (1130) or move the hand (112-1) into the FoV (1110) based on a visual effect such as a blink.

일 실시예에 따른, 웨어러블 장치(101)는 FoV(1110) 밖으로 이동된 손(112-1)을 식별한 상태(1101) 이후, FoV(1110)에 대한 손(112-1)의 재진입에 기반하여, 가상 객체(1130)의 표시를 변경하는 기능을 다시 실행할 수 있다. 도 11b를 참고하면, 상태(1101) 이후의 상태(1102) 내에서, 사용자(110)는 FoV(1110) 밖의 위치(fr3)의 손(112-1)을, 경로(1151)를 따라 FoV(1110)의 가장자리의 위치(fr4)를 통해 FoV(1110) 안으로 이동할 수 있다. 웨어러블 장치(101)는, 경로(1151)를 따라 이동되는 손(112-1)이 FoV(1110)의 가장자리의 위치(fr4)를 통해 FoV(1110) 안으로 이동된 타이밍부터, FoV(1110)에 대한 손(112-1)의 재진입을 식별할 수 있다. FoV(1110)에 대한 손(112-1)의 재진입을 식별한 웨어러블 장치(101)는, 상기 손(112-1)의 자세가 가상 객체(1130)의 사이즈를 변경하기 위한 지정된 자세(예, 핀치 제스쳐의 자세)를 가지는지 여부에 기반하여, 가상 객체(1130)의 표시를 변경하기 위한 기능을 다시 실행할 수 있다. 도 11b의 예시적인 상태(1102) 내에서, FoV(1110) 안으로 이동된 핀치 제스쳐의 자세를 가지는 손(112-1)을 식별하는 것에 기반하여, 웨어러블 장치(101)는 상기 손(112-1)의 경로(1151)를 이용하여, 가상 객체(1130)의 사이즈를 변경할 수 있다.According to one embodiment, the wearable device (101) may re-execute the function of changing the display of the virtual object (1130) based on the re-entry of the hand (112-1) into the FoV (1110) after the state (1101) in which the hand (112-1) has moved out of the FoV (1110). Referring to FIG. 11b, in the state (1102) after the state (1101), the user (110) may move the hand (112-1) from the location (fr3) outside the FoV (1110) into the FoV (1110) through the location (fr4) of the edge of the FoV (1110) along the path (1151). The wearable device (101) can identify the re-entry of the hand (112-1) into the FoV (1110) from the timing at which the hand (112-1) moving along the path (1151) moves into the FoV (1110) through the position (fr4) of the edge of the FoV (1110). The wearable device (101) that has identified the re-entry of the hand (112-1) into the FoV (1110) can re-execute the function for changing the display of the virtual object (1130) based on whether the posture of the hand (112-1) has a designated posture (e.g., a posture of a pinch gesture) for changing the size of the virtual object (1130). Based on identifying a hand (112-1) having a posture of a pinch gesture moved into the FoV (1110) within an exemplary state (1102) of FIG. 11b, the wearable device (101) can change the size of a virtual object (1130) using the path (1151) of the hand (112-1).

도 11b의 예시적인 상태(1102) 내에서, 웨어러블 장치(101)는 FoV(1110) 안에서 이동되는 손(112-1)의 위치 및/또는 경로를 이용하여, 화면(1120) 내 가상 객체(1130)의 부분(1132)의 표시를 변경할 수 있다. 상태(1102) 내에서, FoV(1110) 내 손(112-1)의 경로(1151)에 대응하는 화면(1120) 내 경로(1152)를 따라, 웨어러블 장치(101)는 가상 객체(1130)의 부분(1132)을 변경할 수 있다. 웨어러블 장치(101)는, 손(112-1)의 FoV(1110)의 가장자리의 위치(fr4)에 대응하는 화면(1120) 내 위치(ir4)로부터, 경로(1151)에 대응하는 화면(1120) 내 경로(1152)를 따라 부분(1132)의 표시를 변경할 수 있다.Within an exemplary state (1102) of FIG. 11b, the wearable device (101) can change the display of a portion (1132) of a virtual object (1130) within the screen (1120) by using the position and/or path of the hand (112-1) moving within the FoV (1110). Within the state (1102), the wearable device (101) can change the portion (1132) of the virtual object (1130) along a path (1152) within the screen (1120) corresponding to the path (1151) of the hand (112-1) within the FoV (1110). The wearable device (101) can change the display of a portion (1132) along a path (1152) within the screen (1120) corresponding to the path (1151) from a position (ir4) within the screen (1120) corresponding to the position (fr4) of the edge of the FoV (1110) of the hand (112-1).

도 11b의 예시적인 상태(1102) 내에서, 웨어러블 장치(101)는, FoV(1110) 내 위치(fr5)로 이동된 손(112-1)의 자세가 핀치 제스쳐와 상이한 자세(예, 지정된 개수를 초과하는 손가락들을 펼친 자세)로 변경됨을 식별할 수 있다. 핀치 제스쳐와 상이한 자세로 변경된 손(112-1)을 식별하는 것에 기반하여, 웨어러블 장치(101)는 상기 위치(fr5)에 기반하는 가상 객체(1130)의 투사 기능을 실행할 수 있다. 예를 들어, 웨어러블 장치(101)는 상기 위치(fr5)에 대응하는 화면(1120) 내 위치(ir5)에 기반하여, 가상 객체(1130)에 대한 투사 기능을 실행할 수 있다.In an exemplary state (1102) of FIG. 11b, the wearable device (101) can identify that the posture of the hand (112-1) moved to the position (fr5) within the FoV (1110) has changed to a posture different from the pinch gesture (e.g., a posture in which fingers exceed a specified number are spread out). Based on identifying the hand (112-1) changed to a posture different from the pinch gesture, the wearable device (101) can execute a projection function of the virtual object (1130) based on the position (fr5). For example, the wearable device (101) can execute a projection function for the virtual object (1130) based on the position (ir5) within the screen (1120) corresponding to the position (fr5).

도 11c를 참고하면, 상태(1101) 이후의 상태(1103) 내에서, 사용자(110)는 핀치 제스쳐의 자세와 상이한 자세를 가지는 손(112-1)을, FoV(1110) 밖의 위치(fr6)로부터 경로(1161)를 따라 FoV(1110) 안으로 이동할 수 있다. FoV(1110)의 가장자리의 위치(fr7)에서 손(112-1)을 식별한 웨어러블 장치(101)는, 손(112-1)의 상기 상이한 자세에 기반하여, 가상 객체(1130)의 표시를 변경하는 것과 다른 기능을 실행할 수 있다. 예를 들어, 손(112-2)의 자세가 핀치 제스쳐를 유지함에도 불구하고, 핀치 제스쳐의 자세와 상이한 자세를 가지는 손(112-1)을 식별한 웨어러블 장치(101)는, 손(112-1)의 FoV(1110) 내 경로(1161)에 기반하여 가상 객체(1130)의 부분(1132)의 표시를 변경하지 않을 수 있다. 예를 들어, 웨어러블 장치(101)는, 가상 객체(1130)와 관련된 입력을 가이드하기 위한 시각적 객체(1172)를 표시할 수 있다. 시각적 객체(1171)는, 예를 들어, "다시 조준하세요"와 같은 지정된 텍스트를 포함할 수 있다. 도 11c의 상태(1103) 내에서, 손(112-1)이 경로(1161)를 따라 FoV(1110) 내 위치(fr8)로 이동함에도 불구하고, 웨어러블 장치(101)는 상기 위치(fr8)에 기반하여, 가상 객체(1130)의 표시를 변경하지 않을 수 있다.Referring to FIG. 11c, in a state (1103) after a state (1101), a user (110) can move a hand (112-1) having a posture different from that of a pinch gesture from a location (fr6) outside the FoV (1110) along a path (1161) into the FoV (1110). The wearable device (101) that identifies the hand (112-1) at a location (fr7) of the edge of the FoV (1110) can change the display of a virtual object (1130) and perform other functions based on the different posture of the hand (112-1). For example, even though the posture of the hand (112-2) maintains the pinch gesture, the wearable device (101) that identifies the hand (112-1) having a posture different from the posture of the pinch gesture may not change the display of a portion (1132) of the virtual object (1130) based on the path (1161) within the FoV (1110) of the hand (112-1). For example, the wearable device (101) may display a visual object (1172) to guide an input related to the virtual object (1130). The visual object (1171) may include, for example, designated text such as “Aim again.” In state (1103) of FIG. 11c, even though the hand (112-1) moves along the path (1161) to a location (fr8) within the FoV (1110), the wearable device (101) may not change the display of the virtual object (1130) based on the location (fr8).

상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는 소프트웨어 어플리케이션으로부터 제공된 가상 객체(1130)와 관련된 기능을, 손(112-1)의 FoV(1110) 내 위치에 기반하여 실행할 수 있다. 손(112-1)이 FoV(1110) 밖으로 이동됨에도 불구하고, 웨어러블 장치(101)는 FoV(1110)에 대한 손(112-1)의 재진입에 기반하여, 상기 기능을 다시 실행할 수 있다.As described above, according to one embodiment, the wearable device (101) can execute a function related to a virtual object (1130) provided from a software application based on a location of the hand (112-1) within the FoV (1110). Even if the hand (112-1) moves out of the FoV (1110), the wearable device (101) can execute the function again based on the re-entry of the hand (112-1) into the FoV (1110).

도 12a 및 도 12b는, 신체 부위들의 이동에 기반하여 수행되는 웨어러블 장치(101)의 예시적인 동작을 도시한 다이어그램이다. 도 1a 내지 도 1b, 도 2의 웨어러블 장치(101) 및/또는 도 2의 프로세서(210)는, 도 12a 및 도 12b를 참고하여 설명되는 동작을 수행할 수 있다.FIGS. 12A and 12B are diagrams illustrating exemplary operations of a wearable device (101) performed based on movements of body parts. The wearable device (101) of FIGS. 1A to 1B and FIG. 2 and/or the processor (210) of FIG. 2 may perform the operations described with reference to FIGS. 12A and 12B.

도 12a 및 도 12b를 참고하면, 하나 이상의 카메라들(예, 도 2의 카메라(225))의 FoV(1210) 내에서 사용자(110)의 손(112-1)을 식별한 웨어러블 장치(101)의 예시적인 상태들(1201, 1202)이 도시된다. 일 실시예에 따른, 웨어러블 장치(101)는 FoV(1210)에 대응하는 이미지 및/또는 비디오를 이용하여 손(112-1)을 식별할 수 있다. 도 12a의 상태(1201) 내에서, 웨어러블 장치(101)는 디스플레이(예, 도 2의 디스플레이(220))에, 가상 객체들(1231, 1232, 1233)을 포함하는 화면(1220)을 표시할 수 있다. 웨어러블 장치(101)는, 외부 공간과 매핑된 가상 공간에 포함된 가상 객체들(1231, 1232, 1233)을 표시할 수 있다. 화면(1220) 내 가상 객체들(1231, 1232, 1233)의 위치들은, 외부 공간과 매핑된 가상 공간에 기반하여 외부 공간과 연동될 수 있다. 예를 들어, 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자(110)의 머리의 회전 및/또는 이동에 기반하여, 화면(1220) 내 가상 객체들(1231, 1232, 1233)의 위치들을 변경할 수 있다.Referring to FIGS. 12A and 12B , exemplary states (1201, 1202) of a wearable device (101) that identify a hand (112-1) of a user (110) within a FoV (1210) of one or more cameras (e.g., camera (225) of FIG. 2 ) are illustrated. In one embodiment, the wearable device (101) may identify the hand (112-1) using an image and/or video corresponding to the FoV (1210). Within state (1201) of FIG. 12A , the wearable device (101) may display a screen (1220) including virtual objects (1231, 1232, 1233) on a display (e.g., display (220) of FIG. 2 ). The wearable device (101) can display virtual objects (1231, 1232, 1233) included in a virtual space mapped with an external space. The positions of the virtual objects (1231, 1232, 1233) within the screen (1220) can be linked with the external space based on the virtual space mapped with the external space. For example, the wearable device (101) can change the positions of the virtual objects (1231, 1232, 1233) within the screen (1220) based on the rotation and/or movement of the head of a user (110) wearing the wearable device (101).

도 12a의 상태(1201) 내에서, 웨어러블 장치(101)는 FoV(1210) 내에서 이동되는 손(112-1)에 기반하여, 가상 객체(1231)의 이동을 나타내는 입력을 식별할 수 있다. 웨어러블 장치(101)는 도 4 내지 도 5를 참고하여 상술된 동작에 기반하여, FoV(1210) 내에서 수행된 손(112-1)의 포인팅 제스쳐를 식별할 수 있다. 예를 들어, 화면(1220) 내 가상 객체(1231)의 위치(v1)에 대응하는 FoV(1210) 내 위치(fr1)에 배치된 손(112-1)의 포인팅 제스쳐를 식별하는 것에 기반하여, 웨어러블 장치(101)는 포인팅 제스쳐를 유지하는 손(112-1)의 FoV(1210) 내 경로(1241)에 기반하여, 가상 객체(1231)의 화면(1220) 내 위치를 변경할 수 있다. 도 12a의 예시적인 상태(1201) 내에서, 웨어러블 장치(101)는 FoV(1210) 내 위치(fr1)로부터 경로(1241)를 따라 위치(fr2)로 이동되는 손(112-1)을 식별하는 것에 기반하여, 화면(1220) 내 가상 객체(1231)의 위치를, 상기 위치(fr1)에 대응하는 위치(v1)로부터 경로(1242)를 따라 위치(v2)로 이동할 수 있다.Within the state (1201) of FIG. 12a, the wearable device (101) can identify an input indicating movement of a virtual object (1231) based on the hand (112-1) moving within the FoV (1210). The wearable device (101) can identify a pointing gesture of the hand (112-1) performed within the FoV (1210) based on the operations described above with reference to FIGS. 4 and 5. For example, based on identifying a pointing gesture of a hand (112-1) placed at a location (fr1) in the FoV (1210) corresponding to a location (v1) of a virtual object (1231) in the screen (1220), the wearable device (101) can change the location of the virtual object (1231) in the screen (1220) based on a path (1241) in the FoV (1210) of the hand (112-1) maintaining the pointing gesture. In an exemplary state (1201) of FIG. 12A, the wearable device (101) can move a position of a virtual object (1231) within the screen (1220) from a position (v1) corresponding to the position (fr1) to a position (v2) along a path (1242) based on identifying a hand (112-1) moving from a position (fr1) within the FoV (1210) to a position (fr2) along a path (1241).

도 12a를 참고하면, 포인팅 제스쳐의 손(112-1)에 기반하여 가상 객체(1231)의 위치를 변경하는 상태(1201) 내에서, 웨어러블 장치(101)는 손(112-1) 중의 자세가 포인팅 제스쳐의 자세와 상이한 자세로 변경되는지 여부에 기반하여, 가상 객체(1231)의 위치를 변경하는 것을 중단할 수 있다. 예를 들어, 손(112-1)에 의해 수행되는 포인팅 제스쳐가 해제됨을 식별하는 것에 응답하여, 웨어러블 장치(101)는 손(112-1)의 FoV(1210) 내 경로(1241)에 기반하여 가상 객체(1231)를 이동하는 것을 중단할 수 있다.Referring to FIG. 12A, in a state (1201) of changing the position of a virtual object (1231) based on a hand (112-1) of a pointing gesture, the wearable device (101) may stop changing the position of the virtual object (1231) based on whether a posture of the hand (112-1) changes to a posture different from the posture of the pointing gesture. For example, in response to identifying that the pointing gesture performed by the hand (112-1) is released, the wearable device (101) may stop moving the virtual object (1231) based on a path (1241) within the FoV (1210) of the hand (112-1).

도 12a를 참고하면, 가상 객체(1231)의 이동을 위해 포인팅 제스쳐를 수행하는 손(112-1)이 FoV(1210) 밖으로 이동되는 것에 기반하여, 손(112-1)을 추적하는 것이 중단될 수 있다. 손(112-1)을 추적하는 것이 중단되는 경우, 웨어러블 장치(101)는 FoV(1210) 내에서 이동되었던 손(112-1)의 속력에 기반하여, 가상 객체(1231)를 이동할 수 있다. 예를 들어, FoV(1210)의 가장자리의 위치(fr2)에서, 제1 속력의 FoV(1210) 밖으로 이동되는 손(112-1)을 식별하는 것에 기반하여, 웨어러블 장치(101)는 상기 제1 속력을 이용하여 가상 객체(1231)를 이동할 수 있다. 도 12a를 참고하면, 손(112-1)이 위치(fr2)를 통해 FoV(1210) 밖의 위치(fr3)로 이동되는 것과 독립적으로, 웨어러블 장치(101)는 상기 위치(fr2)에서의 손(112-1)의 속력에 기반하여, 상기 위치(fr2)에 대응하는 화면(1220) 내 위치(v2)에 표시된 가상 객체(1231)를 이동할 수 있다. 웨어러블 장치(101)에 의해 이동된 가상 객체(1231)의 위치(v3)는, 상기 위치(fr2)와 독립적으로, 상기 속력에 의해 이동된 위치일 수 있다.Referring to FIG. 12a, based on the hand (112-1) performing the pointing gesture to move the virtual object (1231) moving out of the FoV (1210), tracking of the hand (112-1) may be stopped. When tracking of the hand (112-1) is stopped, the wearable device (101) may move the virtual object (1231) based on the speed of the hand (112-1) that was moved within the FoV (1210). For example, based on identifying the hand (112-1) moving out of the FoV (1210) at a first speed at a location (fr2) of the edge of the FoV (1210), the wearable device (101) may move the virtual object (1231) using the first speed. Referring to FIG. 12A, independently of the hand (112-1) moving from the position (fr2) to the position (fr3) outside the FoV (1210), the wearable device (101) can move the virtual object (1231) displayed at the position (v2) in the screen (1220) corresponding to the position (fr2) based on the speed of the hand (112-1) at the position (fr2). The position (v3) of the virtual object (1231) moved by the wearable device (101) can be a position moved by the speed, independently of the position (fr2).

일 실시예에서, 손(112-1)이 FoV(1210) 밖으로 이동된 이후, 웨어러블 장치(101)는, 지정된 기간 및/또는 거리에 기반하여, FoV(1210) 내에서 식별된 손(112-1)의 속력을 이용하여 가상 객체(1231)를 이동할 수 있다. 예를 들어, 웨어러블 장치(101)는, 손(112-1)이 움직일 수 있는 외부 공간에 기반하여, 가상 객체(1231)를 이동할 수 있다. 예를 들어, 웨어러블 장치(101)는 외부 공간과 매핑된 가상 공간에 기반하여, 상기 손(112-1)이 움직일 수 있는 외부 공간에 대응하는 상기 가상 공간 내 일부분 내에서, 가상 객체(1231)를 이동할 수 있다.In one embodiment, after the hand (112-1) is moved out of the FoV (1210), the wearable device (101) can move the virtual object (1231) using the speed of the hand (112-1) identified within the FoV (1210) based on a specified period and/or distance. For example, the wearable device (101) can move the virtual object (1231) based on the external space in which the hand (112-1) can move. For example, the wearable device (101) can move the virtual object (1231) within a portion of the virtual space corresponding to the external space in which the hand (112-1) can move, based on the virtual space mapped with the external space.

도 12b를 참고하면, 손(112-1)이 FoV(1210) 밖으로 이동된 이후이고, 사용자(110)가 상태(1201)에서의 머리의 방향과 상이한 방향을 향하여 머리를 회전한 상태(1202)가 도시된다. 상기 머리의 회전을 식별하는 것에 기반하여, 웨어러블 장치(101)는 상기 머리의 방향에 기반하는 화면(1220)을 표시할 수 있다. 가상 객체들(1232, 1233)이 외부 공간과 매핑된 위치들에 기반하여 표시될 수 있다. FoV(1210) 밖으로 이동되기 이전의 손(112-1)에 의해 이동되었던 가상 객체(1231)는, FoV(1210) 밖으로 이동되기 이전의 손(112-1)의 속력에 의해 이동된 위치(v3)에 표시될 수 있다. 본 개시가 이에 제한되는 것은 아니며, 웨어러블 장치(101)는 상기 속력에 기반하여 화면(1220) 내에서 가상 객체(1231)를 이동하는 것을 유지할 수 있다.Referring to FIG. 12b, after the hand (112-1) is moved out of the FoV (1210), a state (1202) is illustrated in which the user (110) rotates his/her head in a direction different from the direction of the head in the state (1201). Based on identifying the rotation of the head, the wearable device (101) can display a screen (1220) based on the direction of the head. Virtual objects (1232, 1233) can be displayed based on positions mapped to the external space. The virtual object (1231) moved by the hand (112-1) before being moved out of the FoV (1210) can be displayed at the position (v3) moved by the speed of the hand (112-1) before being moved out of the FoV (1210). The present disclosure is not limited thereto, and the wearable device (101) can maintain movement of the virtual object (1231) within the screen (1220) based on the speed.

일 실시예에 따른, 웨어러블 장치(101)는 FoV(1210) 밖으로 이동된 손(112-1)을 식별한 상태(1201) 이후, FoV(1210)에 대한 손(112-1)의 재진입에 기반하여, 가상 객체(1231)를 이동하는 기능을 다시 실행할 수 있다. 도 12b를 참고하면, 상태(1201) 이후의 상태(1202) 내에서, 사용자(110)는 FoV(1210) 밖의 위치(fr4)의 손(112-1)을, 경로(1251)를 따라 FoV(1210)의 가장자리의 위치(fr5)를 통해 FoV(1210) 안으로 이동할 수 있다. 웨어러블 장치(101)는, 경로(1251)를 따라 이동되는 손(112-1)이 FoV(1210)의 가장자리의 위치(fr5)를 통해 FoV(1210) 안으로 이동된 타이밍부터, FoV(1210)에 대한 손(112-1)의 재진입을 식별할 수 있다.According to one embodiment, the wearable device (101) may re-execute the function of moving the virtual object (1231) based on the re-entry of the hand (112-1) into the FoV (1210) after the state (1201) in which the hand (112-1) has moved out of the FoV (1210). Referring to FIG. 12b, in the state (1202) after the state (1201), the user (110) may move the hand (112-1) at the location (fr4) outside the FoV (1210) into the FoV (1210) through the location (fr5) of the edge of the FoV (1210) along the path (1251). The wearable device (101) can identify the re-entry of the hand (112-1) into the FoV (1210) from the timing at which the hand (112-1) moving along the path (1251) moves into the FoV (1210) through the position (fr5) of the edge of the FoV (1210).

도 12b를 참고하면, FoV(1210)에 대한 손(112-1)의 재진입을 식별한 웨어러블 장치(101)는, 상기 손(112-1)의 자세가 가상 객체(1231)의 이동을 위한 자세(예, 포인팅 제스쳐의 자세)를 가지는지 여부에 기반하여, 가상 객체(1231)의 이동을 위한 기능을 다시 실행할 수 있다. 도 12b의 예시적인 상태(1202) 내에서, FoV(1210) 안으로 이동된 포인팅 제스쳐의 자세를 가지는 손(112-1)을 식별하는 것에 기반하여, 웨어러블 장치(101)는 상기 손(112-1)의 경로(1251)를 이용하여, 가상 객체(1231)를 이동할 수 있다. 예를 들어, 웨어러블 장치(101)는 FoV(1210) 내 위치(fr5)로부터 경로(1251)를 따라 위치(fr6)로 이동되는 손(112-1)을 식별하는 것에 기반하여, 상기 위치(fr5)에 대응하는 화면(1220) 내 위치(ir5)로부터 상기 경로(1251)에 대응하는 경로(1252)를 따라 상기 위치(fr6)에 대응하는 화면(1220) 내 위치(ir6)로, 가상 객체(1232)를 이동할 수 있다.Referring to FIG. 12b, the wearable device (101) that has identified the re-entry of the hand (112-1) into the FoV (1210) can re-execute the function for moving the virtual object (1231) based on whether the posture of the hand (112-1) has a posture for moving the virtual object (1231) (e.g., a posture of a pointing gesture). In the exemplary state (1202) of FIG. 12b, based on identifying the hand (112-1) having the posture of a pointing gesture moved into the FoV (1210), the wearable device (101) can move the virtual object (1231) using the path (1251) of the hand (112-1). For example, the wearable device (101) may move a virtual object (1232) from a location (ir5) in the screen (1220) corresponding to the location (fr5) along the path (1251) to a location (ir6) in the screen (1220) corresponding to the location (fr6) along the path (1252) corresponding to the path (1251) based on identifying a hand (112-1) moving from a location (fr5) in the FoV (1210) to a location (fr6).

상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치(101)는, 손(112-1)이 FoV(1210) 밖으로 이동된 이후에도, 손(112-1)의 속력에 기반하여 가상 객체(1231)를 이동할 수 있다. 가상 객체(1231)가 상기 속력에 기반하여 이동되기 때문에, 웨어러블 장치(101)는, FoV(1210) 밖으로 이동된 손(112-1)을 추적하는 것이 중단되더라도, 손(112-1)이 이동될 것으로 예상되는 위치에 기반하여 가상 객체(1231)를 표시할 수 있다.As described above, according to one embodiment, the wearable device (101) can move the virtual object (1231) based on the speed of the hand (112-1) even after the hand (112-1) is moved out of the FoV (1210). Since the virtual object (1231) is moved based on the speed, the wearable device (101) can display the virtual object (1231) based on the location where the hand (112-1) is expected to move even if tracking of the hand (112-1) moved out of the FoV (1210) is stopped.

이하에서는, 도 13a, 도 13b 및 도 13c, 도 14a, 도 14b 및 도 14c 및/또는 도 15를 참고하여, FoV(1210) 밖으로 이동되는 손(112-1)에 기반하여 손(112-1)에 대응하는 가상 객체의 저장을 위한 기능을 실행하는 웨어러블 장치(101)의 동작이 보다 상세히 설명된다.Hereinafter, with reference to FIGS. 13a, 13b and 13c, 14a, 14b and 14c and/or 15, the operation of a wearable device (101) for executing a function for storing a virtual object corresponding to a hand (112-1) based on the hand (112-1) moving out of the FoV (1210) is described in more detail.

도 13a, 도 13b 및 도 13c는, 신체 부위들의 이동에 기반하여 수행되는 웨어러블 장치(101)의 예시적인 동작들을 도시한 다이어그램들이다. 도 1a 내지 도 1b, 도 2의 웨어러블 장치(101) 및/또는 도 2의 프로세서(210)는, 도 13a, 도 13b 및 도 13c를 참고하여 설명되는 동작을 수행할 수 있다.FIGS. 13A, 13B, and 13C are diagrams illustrating exemplary operations of a wearable device (101) performed based on movements of body parts. The wearable device (101) of FIGS. 1A to 1B, FIG. 2, and/or the processor (210) of FIG. 2 may perform the operations described with reference to FIGS. 13A, 13B, and 13C.

도 13a, 도 13b 및 도 13c를 참고하면, 하나 이상의 카메라들(예, 도 2의 카메라(225))의 FoV(1310) 내에서 사용자(110)의 손(112-1)을 식별한 웨어러블 장치(101)의 예시적인 상태들(1301, 1302, 1303)이 도시된다. 일 실시예에 따른, 웨어러블 장치(101)는 FoV(1310)에 대응하는 이미지 및/또는 비디오를 이용하여 손(112-1)을 식별할 수 있다. 도 13a의 상태(1301) 내에서, 웨어러블 장치(101)는 디스플레이(예, 도 2의 디스플레이(220))에, 가상 객체(1330)를 포함하는 화면(1320)을 표시할 수 있다.Referring to FIGS. 13A, 13B, and 13C, exemplary states (1301, 1302, 1303) of a wearable device (101) that identify a hand (112-1) of a user (110) within a FoV (1310) of one or more cameras (e.g., camera (225) of FIG. 2 ) are illustrated. In one embodiment, the wearable device (101) may identify the hand (112-1) using an image and/or video corresponding to the FoV (1310). Within state (1301) of FIG. 13A , the wearable device (101) may display a screen (1320) including a virtual object (1330) on a display (e.g., display (220) of FIG. 2 ).

도 13a의 상태(1301) 내에서, 웨어러블 장치(101)는 FoV(1310) 내에서 이동되는 손(112-1)에 기반하여, 가상 객체(1330)의 사이즈의 변경을 나타내는 입력을 식별할 수 있다. 웨어러블 장치(101)는 도 4 내지 도 5를 참고하여 상술된 동작에 기반하여, FoV(1310) 내에서 수행된 손(112-1)의 포인팅 제스쳐를 식별할 수 있다. 예를 들어, 화면(1320) 내 가상 객체(1330) 내 위치(ip1)에 대응하는 FoV(1310) 내 위치(fr1)에 배치된 손(112-1)의 포인팅 제스쳐를 식별하는 것에 기반하여, 웨어러블 장치(101)는 포인팅 제스쳐를 유지하는 손(112-1)의 경로(1341)를 따라 가상 객체(1330)를 이동할 수 있다. 포인팅 제스쳐를 가지는 손(112-1)에 응답하여 가상 객체(1330)를 이동하는 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자(110)에게, 상기 손(112-1)에 의해 가상 객체(1330)를 드래그하는 것과 같은 사용자 경험을 제공할 수 있다.Within the state (1301) of FIG. 13a, the wearable device (101) can identify an input indicating a change in the size of a virtual object (1330) based on the hand (112-1) moving within the FoV (1310). The wearable device (101) can identify a pointing gesture of the hand (112-1) performed within the FoV (1310) based on the operations described above with reference to FIGS. 4 and 5. For example, based on identifying a pointing gesture of a hand (112-1) placed at a location (fr1) in the FoV (1310) corresponding to a location (ip1) in a virtual object (1330) in the screen (1320), the wearable device (101) can move the virtual object (1330) along the path (1341) of the hand (112-1) maintaining the pointing gesture. The wearable device (101) moving the virtual object (1330) in response to the hand (112-1) having the pointing gesture can provide a user experience, such as dragging the virtual object (1330) by the hand (112-1), to a user (110) wearing the wearable device (101).

도 13a의 예시적인 상태(1301) 내에서, 포인팅 제스쳐의 자세를 가지는 손(112-1)이 경로(1341)를 따라 이동되는 동안, 웨어러블 장치(101)는 상기 경로(1341)에 대응하는 화면(1320) 내 경로(1342)에 기반하여, 가상 객체(1330)를 이동할 수 있다. 예를 들어, 포인팅 제스쳐를 가지는 손(112-1)의 경로(1341)에 기반하여, 웨어러블 장치(101)는 화면(1320) 내 위치(ip1)에 표시된 가상 객체(1330)를, 상기 경로(1341)에 대응하는 경로(1342)를 따라 위치(ip2)로 이동할 수 있다.In an exemplary state (1301) of FIG. 13A, while a hand (112-1) having a posture of a pointing gesture moves along a path (1341), the wearable device (101) can move a virtual object (1330) based on a path (1342) within the screen (1320) corresponding to the path (1341). For example, based on the path (1341) of the hand (112-1) having the pointing gesture, the wearable device (101) can move a virtual object (1330) displayed at a location (ip1) within the screen (1320) to a location (ip2) along the path (1342) corresponding to the path (1341).

도 13a를 참고하면, 포인팅 제스쳐의 손(112-1)에 기반하여 가상 객체(1330)를 이동하는 상태(1301) 내에서, 웨어러블 장치(101)는 손(112-1)의 자세가 포인팅 제스쳐의 자세와 상이한 자세로 변경되는지 여부에 기반하여, 가상 객체(1330)를 이동하는 것을 중단할 수 있다. 예를 들어, 손(112-1)에 의해 수행되는 포인팅 제스쳐가 해제됨을 식별하는 것에 응답하여, 웨어러블 장치(101)는 가상 객체(1330)의 위치를, 손(112-1)의 FoV(1310) 내 위치 및/또는 경로(1341)에 기반하여 이동하는 것을 중단할 수 있다. 상기 예시에서, 가상 객체(1330)의 위치는 포인팅 제스쳐의 해제를 식별한 타이밍에서의 손(112-1)의 FoV(1310) 내 위치에 기반하여 고정될 수 있다.Referring to FIG. 13A, in a state (1301) of moving a virtual object (1330) based on a hand (112-1) of a pointing gesture, the wearable device (101) may stop moving the virtual object (1330) based on whether the posture of the hand (112-1) changes to a posture different from the posture of the pointing gesture. For example, in response to identifying that the pointing gesture performed by the hand (112-1) is released, the wearable device (101) may stop moving the location of the virtual object (1330) based on the location and/or path (1341) within the FoV (1310) of the hand (112-1). In the above example, the position of the virtual object (1330) can be fixed based on the position of the hand (112-1) within the FoV (1310) at the timing at which the release of the pointing gesture is identified.

도 13a를 참고하면, 가상 객체(1330)의 사이즈를 변경하기 위해 포인팅 제스쳐를 수행하는 손(112-1)이 FoV(1310) 밖으로 이동되는 것에 기반하여, 웨어러블 장치(101)는 가상 객체(1330)와 관련된 정보를, 웨어러블 장치(101)의 메모리(예, 도 2의 메모리(215))에 저장할 수 있다. FoV(1310) 밖으로 이동되는 손(112-1)을 식별하는 것에 응답하여, 웨어러블 장치(101)는 손(112-1)에 대응하는 가상 객체(1330)를 표시하는 것을 중단할 수 있다.Referring to FIG. 13a, based on the hand (112-1) performing the pointing gesture to change the size of the virtual object (1330) moving out of the FoV (1310), the wearable device (101) may store information related to the virtual object (1330) in the memory of the wearable device (101) (e.g., the memory (215) of FIG. 2). In response to identifying the hand (112-1) moving out of the FoV (1310), the wearable device (101) may stop displaying the virtual object (1330) corresponding to the hand (112-1).

일 실시예에서, 웨어러블 장치(101)가 가상 객체(1330)와 관련된 정보를 메모리에 저장하는 기능은, 클립보드(또는 인벤토리)와 같이, 가상 객체(1330)를 저장하기 위한 기능(예, 복사 기능 및/또는 잘라내기 기능)에 대응할 수 있다. 상기 클립보드는, 웨어러블 장치(101)의 메모리의 지정된 영역에 대응하고, 사용자(110)에 의한 정보의 복사 및/또는 이동을 지원하기 위해 웨어러블 장치(101)에 의해 형성될 수 있다. 웨어러블 장치(101)는 상기 클립보드에 기반하여 메모리 내에, 가상 객체(1330)와 같이, 화면(1320) 내에서 3차원으로 표시되는 그래픽적 객체에 대한 정보를 저장할 수 있다. 본 개시가 이에 제한되는 것은 아니며, 웨어러블 장치(101)는 상기 클립보드에 기반하여 메모리 내에, 이미지 및/또는 비디오와 같은 멀티미디어 콘텐트, 연락처 텍스트 및/또는 소프트웨어 어플리케이션을 실행하기 위한 링크(예, URI(uniform resource indicator)의 포맷을 가지는 텍스트)를 저장할 수 있다.In one embodiment, the function of the wearable device (101) to store information related to the virtual object (1330) in the memory may correspond to a function (e.g., a copy function and/or a cut function) for storing the virtual object (1330), such as a clipboard (or inventory). The clipboard may correspond to a designated area of the memory of the wearable device (101) and may be formed by the wearable device (101) to support copying and/or moving of information by the user (110). The wearable device (101) may store information about a graphical object displayed three-dimensionally in the screen (1320), such as the virtual object (1330), in the memory based on the clipboard. The present disclosure is not limited thereto, and the wearable device (101) may store, in memory based on the clipboard, multimedia content such as images and/or videos, contact text, and/or links for executing software applications (e.g., text in the format of a uniform resource indicator (URI)).

도 13a를 참고하면, 웨어러블 장치(101)는, FoV(1310) 밖으로 이동되는 손(112-1)을 식별하는 것에 기반하여, 가상 객체(1320)의 표시를 중단하고, 상기 가상 객체(1320)에 대한 정보를 메모리에 저장하였음을 알리기 위한 시각적 객체(1350)를 표시할 수 있다. 경로(1341)를 따라 FoV(1310) 밖으로 이동되는 손(112-1)을 식별한 상태(1301) 내에서, 웨어러블 장치(101)는, 상기 경로(1341)와 중첩되는 FoV(1310)의 가장자리에 대응하는 위치(ip2)에 기반하여 표시되는 가상 객체(1330)를, 화면(1320) 내에서 제거할 수 있다. 상기 정보가 상기 메모리에 저장되었음을 알리기 위한 지정된 텍스트(예, "저장되었습니다.")를 포함하는 시각적 객체(1350)가 예시적으로 도시되지만, 본 개시가 이에 제한되는 것은 아니다.Referring to FIG. 13a, the wearable device (101) may stop displaying a virtual object (1320) based on identifying a hand (112-1) moving out of the FoV (1310) and display a visual object (1350) to indicate that information about the virtual object (1320) has been stored in a memory. In a state (1301) in which the hand (112-1) moving out of the FoV (1310) along the path (1341) is identified, the wearable device (101) may remove a virtual object (1330) displayed based on a position (ip2) corresponding to an edge of the FoV (1310) overlapping the path (1341) from the screen (1320). A visual object (1350) is illustratively shown, but the present disclosure is not limited to, containing designated text (e.g., “Saved.”) to indicate that the information has been stored in the memory.

일 실시예에 따른, 웨어러블 장치(101)는 FoV(1310) 밖으로 이동된 손(112-1)을 식별한 상태(1301) 이후, FoV(1310)에 대한 손(112-1)의 재진입에 기반하여, 메모리에 저장된 가상 객체(1330)와 관련된 기능을 다시 실행할 수 있다. 도 13b를 참고하면, 상태(1301) 이후의 상태(1302) 내에서, 사용자(110)는 FoV(1310) 밖의 위치(fp3)의 손(112-1)을, 경로(1343)를 따라 FoV(1310)의 안으로 이동할 수 있다. 웨어러블 장치(101)는, 경로(1341)를 따라 이동되는 손(112-1)이 FoV(1310) 안으로 이동된 타이밍부터, FoV(1310)에 대한 손(112-1)의 재진입을 식별할 수 있다. FoV(1310)에 대한 손(112-1)의 재진입을 식별한 웨어러블 장치(101)는, 상기 손(112-1)의 자세가, 가상 객체(1330)에 대한 정보가 저장된 클립보드(또는 인벤토리)의 호출을 위한 지정된 자세를 가지는지 여부를 식별할 수 있다.According to one embodiment, the wearable device (101) may, after a state (1301) in which the hand (112-1) has moved out of the FoV (1310), re-execute a function related to a virtual object (1330) stored in the memory based on the re-entry of the hand (112-1) into the FoV (1310). Referring to FIG. 13b, in a state (1302) after the state (1301), the user (110) may move the hand (112-1) at a location (fp3) outside the FoV (1310) into the FoV (1310) along a path (1343). The wearable device (101) can identify the re-entry of the hand (112-1) into the FoV (1310) from the timing at which the hand (112-1) moving along the path (1341) moves into the FoV (1310). The wearable device (101) that has identified the re-entry of the hand (112-1) into the FoV (1310) can identify whether the posture of the hand (112-1) has a designated posture for calling a clipboard (or inventory) in which information about a virtual object (1330) is stored.

도 13b를 참고하면, 포인팅 제스쳐의 자세를 가지는 손(112-1)을 식별하는 것에 기반하여, 웨어러블 장치(101)는 메모리에 저장된 정보에 기반하여 적어도 하나의 가상 객체(예, 도 13a의 상태(1301) 내에서 저장되었던 가상 객체(1330))를 표시하기 위한 기능을 실행할 수 있다. 도 13b의 일 실시예에서, 상기 포인팅 제스쳐를 가지는 손(112-1)을 FoV(1310) 밖으로부터 FoV(1310) 안으로 이동하는 사용자(110)의 액션은, 메모리에 저장된 정보의 표시를 나타내는 입력에 대응할 수 있다. 상기 입력에 응답하여, 웨어러블 장치(101)는 화면(1320)에 상기 정보에 대응하는 적어도 하나의 가상 객체를 표시할 수 있다.Referring to FIG. 13b, based on identifying a hand (112-1) having a posture of a pointing gesture, the wearable device (101) may execute a function to display at least one virtual object (e.g., a virtual object (1330) stored in the state (1301) of FIG. 13a) based on information stored in a memory. In one embodiment of FIG. 13b, an action of a user (110) moving the hand (112-1) having the pointing gesture from outside the FoV (1310) into the FoV (1310) may correspond to an input indicating display of information stored in the memory. In response to the input, the wearable device (101) may display at least one virtual object corresponding to the information on the screen (1320).

도 13b를 참고하면, FoV(1310) 밖으로부터 경로(1343)를 따라 FoV(1310) 안으로 이동되는 손(112-1)을 식별하는 것에 기반하여, 웨어러블 장치(101)는 화면(1320) 내에 클립보드에 기반하여 메모리 내에 저장된 정보의 리스트를 표시할 수 있다. 경로(1343)를 따라 FoV(1310) 안으로 이동되는 손(112-1)을 식별한 웨어러블 장치(101)는, 상기 경로(1343)에 대응하는 경로(1344)를 따라 이동되는 가상 객체(예, 도 1의 가상 객체(142))를 표시할 수 있다. 상기 리스트는, 원의 형태를 따라 배열된 하나 이상의 가상 객체들을 포함할 수 있다. 도 13b를 참고하면, 클립보드에 기반하여 4 개의 가상 객체들(1330, 1331, 1332, 1333)이 저장된 예시적인 상태(1302) 내에서, 웨어러블 장치(101)는 화면(1320) 내에 원의 형태를 따라 상기 4 개의 가상 객체들(1330, 1331, 1332, 1333)을 표시할 수 있다. 상기 원의 중심은, FoV(1310) 안으로 이동된 손(112-1)의 FoV(1310) 내 위치(fp5)에 대응하는 화면(1320) 내 위치(ip5)에 대응할 수 있다.Referring to FIG. 13b, based on identifying a hand (112-1) moving from outside the FoV (1310) into the FoV (1310) along a path (1343), the wearable device (101) can display a list of information stored in a memory based on a clipboard within the screen (1320). Having identified the hand (112-1) moving into the FoV (1310) along the path (1343), the wearable device (101) can display a virtual object (e.g., the virtual object (142) of FIG. 1) moving along the path (1344) corresponding to the path (1343). The list can include one or more virtual objects arranged in a circular shape. Referring to FIG. 13b, in an exemplary state (1302) in which four virtual objects (1330, 1331, 1332, 1333) are stored based on a clipboard, the wearable device (101) may display the four virtual objects (1330, 1331, 1332, 1333) in the shape of a circle within the screen (1320). The center of the circle may correspond to a position (ip5) within the screen (1320) corresponding to a position (fp5) within the FoV (1310) of the hand (112-1) moved within the FoV (1310).

비록 원의 형태에 기반하여 웨어러블 장치(101)에 저장된 가상 객체들(1330, 1331, 1332, 1333)을 표시하는 일 실시예가 도시되지만, 본 개시가 이에 제한되는 것은 아니다. 웨어러블 장치(101)는 클립보드에 기반하여 메모리 내에 마지막으로 저장되었던 정보에 대응하는 가상 객체(예, 도 13b의 상태(1302) 이전의 도 13a의 상태(1301) 내에서 메모리에 저장되었던 가상 객체(1330))를 표시할 수 있다. 웨어러블 장치(101)는, 클립보드에 기반하여 메모리 내에 저장된 정보 중에서, 화면(1320)을 통해 표시되는 소프트웨어 어플리케이션에 대응하는 정보를 표시할 수 있다.Although an embodiment of displaying virtual objects (1330, 1331, 1332, 1333) stored in a wearable device (101) based on a shape of a circle is illustrated, the present disclosure is not limited thereto. The wearable device (101) may display a virtual object corresponding to information that was last stored in a memory based on a clipboard (e.g., a virtual object (1330) stored in a memory in a state (1301) of FIG. 13a before a state (1302) of FIG. 13b). The wearable device (101) may display information corresponding to a software application displayed through a screen (1320) among the information stored in a memory based on the clipboard.

도 13b를 참고하면, 화면(1320) 내에 클립보드에 기반하여 메모리 내에 저장된 정보의 리스트를 표시한 상태(1302) 내에서, 웨어러블 장치(101)는 손(112-1)의 FoV(1310) 내 위치, 경로 및/또는 자세에 기반하여, 상기 리스트를 표시하는 것을 중단할 수 있다. 예를 들어, 원의 형태를 따라 배열된 가상 객체들(1330, 1331, 1332, 1333)의 중심을 포함하는 영역(1350)에서 상기 포인팅 제스쳐의 자세와 상이한 자세로 변경되는 손(112-1)을 식별하는 것에 기반하여, 웨어러블 장치(101)는 상기 리스트를 표시하는 것을 중단할 수 있다.Referring to FIG. 13b, in a state (1302) in which a list of information stored in a memory based on a clipboard is displayed on a screen (1320), the wearable device (101) may stop displaying the list based on the position, path, and/or posture of the hand (112-1) within the FoV (1310). For example, the wearable device (101) may stop displaying the list based on identifying the hand (112-1) changing to a posture different from the posture of the pointing gesture in an area (1350) including the center of virtual objects (1330, 1331, 1332, 1333) arranged in a circular shape.

도 13b를 참고하면, 화면(1320) 내에 클립보드에 기반하여 메모리 내에 저장된 정보의 리스트를 표시한 상태(1302) 내에서, 웨어러블 장치(101)는 손(112-1)의 FoV(1310) 내 위치, 경로 및/또는 자세에 기반하여, 상기 리스트에 포함된 가상 객체들(1330, 1331, 1332, 1333) 중 적어도 하나를 표시할 수 있다. 도 13c를 참고하면, 경로(1345)를 따라 FoV(1310) 내 위치(fp5)로부터 위치(fp6)로 이동된 손(112-1)을 식별한 웨어러블 장치(101)는, 손(112-1)이 상기 경로(1345)에 대응하는 화면(1320) 내 경로(1346)를 따라 위치(ip5)로부터 가상 객체(1330)가 표시된 화면(1320) 내 위치(ip6)로 이동되는 것으로 결정할 수 있다.Referring to FIG. 13b, in a state (1302) where a list of information stored in a memory based on a clipboard is displayed on a screen (1320), the wearable device (101) may display at least one of virtual objects (1330, 1331, 1332, 1333) included in the list based on the position, path, and/or posture within the FoV (1310) of the hand (112-1). Referring to FIG. 13c, the wearable device (101) that identifies a hand (112-1) that has moved from a position (fp5) to a position (fp6) within the FoV (1310) along a path (1345) can determine that the hand (112-1) has moved from a position (ip5) to a position (ip6) within the screen (1320) on which a virtual object (1330) is displayed along a path (1346) within the screen (1320) corresponding to the path (1345).

도 13c의 상태(1303) 내에서, FoV(1310) 내 위치(fp6)에 배치된 손(112-1)의 자세가 포인팅 제스쳐의 자세와 상이한 자세로 변경됨을 식별하는 것에 기반하여, 웨어러블 장치(101)는 상기 위치(fp6)에 대응하는 가상 객체(1330)를, 화면(1320) 내에 표시할 수 있다. 상기 위치(fp6)는, 화면(1320) 내에서 가상 객체(1330)와 관련된 영역(1360) 내 위치(ip6)에 대응할 수 있다. 예를 들어, 모든 손가락들을 펼치는 자세로 변경되는 손(112-1)을 식별한 웨어러블 장치(101)는 가상 객체(1330)를 화면(1320) 내에 표시하는 상태(1304)로 스위칭할 수 있다. 도 13c를 참고하면, 상태(1304) 내에서, 웨어러블 장치(101)는 상기 위치(fp6)에 대응하는 화면(1320) 내 위치(ip6)에, 가상 객체(1330)를 표시할 수 있다.In the state (1303) of FIG. 13c, based on identifying that the posture of the hand (112-1) placed at the position (fp6) in the FoV (1310) has changed to a posture different from the posture of the pointing gesture, the wearable device (101) can display a virtual object (1330) corresponding to the position (fp6) on the screen (1320). The position (fp6) can correspond to a position (ip6) in an area (1360) related to the virtual object (1330) on the screen (1320). For example, the wearable device (101) that identifies the hand (112-1) changing to a posture in which all fingers are spread out can switch to the state (1304) that displays the virtual object (1330) on the screen (1320). Referring to FIG. 13c, within the state (1304), the wearable device (101) can display a virtual object (1330) at a location (ip6) within the screen (1320) corresponding to the location (fp6).

비록, FoV(1310)의 가장자리 중에서, FoV(1310)의 상 단에 대응하는 가장자리를 통해 FoV(1310) 안으로 진입하는 손(112-1)에 기반하는 웨어러블 장치(101)의 동작이 설명되었지만, 본 개시가 이에 제한되는 것은 아니다.Although the operation of the wearable device (101) based on a hand (112-1) entering the FoV (1310) through an edge corresponding to the top of the FoV (1310) among the edges of the FoV (1310) has been described, the present disclosure is not limited thereto.

이하에서는, 도 14a, 도 14b 및 도 14c를 참고하여, FoV(1310) 밖으로부터 FoV(1310) 안으로 이동되는 손(112-1)에 기반하여, 화면(1320)에 하나 이상의 가상 객체들을 추가하는 웨어러블 장치(101)의 동작이 설명된다.Below, with reference to FIGS. 14a, 14b and 14c, the operation of a wearable device (101) for adding one or more virtual objects to a screen (1320) based on a hand (112-1) moving from outside the FoV (1310) into the FoV (1310) is described.

도 14a, 도 14b 및 도 14c는, 카메라의 FoV(field-of-view)에 대한 신체 부위의 위치에 기반하여 웨어러블 장치(101)에 의해 표시되는 화면의 상이한 예시적인 상태들을 도시한 다이어그램들이다. 도 1a 및 도 1b, 도 2의 웨어러블 장치(101) 및/또는 도 2의 프로세서(210)는, 도 14a, 도 14b 및 도 14c를 참고하여 설명되는 동작들을 수행할 수 있다.FIGS. 14A, 14B, and 14C are diagrams illustrating different exemplary states of a screen displayed by a wearable device (101) based on a position of a body part with respect to a field-of-view (FoV) of a camera. The wearable device (101) of FIGS. 1A and 1B, FIG. 2, and/or the processor (210) of FIG. 2 may perform the operations described with reference to FIGS. 14A, 14B, and 14C.

도 14a 내지 도 14c를 참고하면, 하나 이상의 카메라들(예, 도 2의 카메라(225))의 FoV 내에서 사용자(110)의 손들(112-1, 112-2)을 식별한 웨어러블 장치(101)의 예시적인 상태들(1401, 1402, 1403)이 도시된다. 일 실시예에 따른, 웨어러블 장치(101)는 FoV에 대응하는 이미지 및/또는 비디오를 이용하여 손들(112-1, 112-2)을 식별할 수 있다.Referring to FIGS. 14A-14C , exemplary states (1401, 1402, 1403) of a wearable device (101) that identify hands (112-1, 112-2) of a user (110) within the FoV of one or more cameras (e.g., camera (225) of FIG. 2 ) are illustrated. In one embodiment, the wearable device (101) can identify the hands (112-1, 112-2) using images and/or videos corresponding to the FoV.

도 14a의 상태(1401) 내에서, 웨어러블 장치(101)는 디스플레이(예, 도 2의 디스플레이(220))에, 가상 객체들(1431, 1432)을 포함하는 화면(1410)을 표시할 수 있다. 가상 객체들(1431, 1432)은, 웨어러블 장치(101)에 의해 실행되는 소프트웨어 어플리케이션(예, 게임 어플리케이션)에 기반하여 표시될 수 있다. 웨어러블 장치(101)는, 화면(1410) 내에 손들(112-1, 112-2) 각각에 대응하는 가상 객체들(1421, 1422)을 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 손(112-1)의 FoV 내 위치에 기반하여, 상기 손(112-1)에 대응하는 가상 객체(1421)를 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 손(112-2)의 FoV 내 위치에 기반하여, 상기 손(112-2)에 대응하는 가상 객체(1422)를 표시할 수 있다.In state (1401) of FIG. 14a, the wearable device (101) can display a screen (1410) including virtual objects (1431, 1432) on a display (e.g., display (220) of FIG. 2). The virtual objects (1431, 1432) can be displayed based on a software application (e.g., a game application) executed by the wearable device (101). The wearable device (101) can display virtual objects (1421, 1422) corresponding to each of the hands (112-1, 112-2) within the screen (1410). For example, the wearable device (101) can display the virtual object (1421) corresponding to the hand (112-1) based on a position within the FoV of the hand (112-1). For example, the wearable device (101) can display a virtual object (1422) corresponding to the hand (112-2) based on the position within the FoV of the hand (112-2).

도 14a의 상태(1401) 내에서, 웨어러블 장치(101)는 손들(112-1, 112-2) 각각에 의해 수행된 제스쳐들에 기반하여, 화면(1410)에 표시된 가상 객체들(1421, 1422, 1431, 1432)의 표시를 변경할 수 있다. 예를 들어, FoV 내 위치(hl1)에서 클렌치 제스쳐의 자세를 가지는 손(112-2)을 식별한 웨어러블 장치(101)는, 상기 위치(hl1)에 대응하는 화면(1410) 내 위치(vl1)에 표시된 가상 객체(1432)를 붙잡은 것과 같은 형태를 가지는 가상 객체(1422)를 표시할 수 있다. 예를 들어, FoV 내 위치(hr1)에서 클렌치 제스쳐의 자세를 가지는 손(112-1)을 식별한 웨어러블 장치(101)는, 상기 위치(hr1)에 대응하는 위치(vr1)에 표시된 가상 객체(1431)를 붙잡은 것과 같은 형태를 가지는 가상 객체(1421)를 표시할 수 있다.In state (1401) of FIG. 14a, the wearable device (101) can change the display of virtual objects (1421, 1422, 1431, 1432) displayed on the screen (1410) based on gestures performed by each of the hands (112-1, 112-2). For example, the wearable device (101) that identifies a hand (112-2) having a posture of a clenching gesture at a location (hl1) within the FoV can display a virtual object (1422) having a form similar to that of grabbing a virtual object (1432) displayed at a location (vl1) within the screen (1410) corresponding to the location (hl1). For example, a wearable device (101) that identifies a hand (112-1) having a posture of a clenching gesture at a location (hr1) within the FoV can display a virtual object (1421) having a shape similar to that of grabbing a virtual object (1431) displayed at a location (vr1) corresponding to the location (hr1).

도 14a의 상태(1401) 내에서, 웨어러블 장치(101)는 FoV 내에서 이동되는 손(112-1)에 기반하여, 가상 객체(1431)의 이동을 나타내는 입력을 식별할 수 있다. 도 4 및 도 5를 참고하여 상술된 동작에 기반하여, FoV 내에서 수행된 손(112-1)의 클렌치 제스쳐를 식별한 웨어러블 장치(101)는, 상기 클렌치 제스쳐를 유지하는 손(112-1)의 경로(1441)를 따라 가상 객체들(1421, 1431)을 이동할 수 있다. 클렌치 제스쳐를 가지는 손(112-1)에 응답하여 가상 객체들(1421, 1431)을 이동하는 웨어러블 장치(101)는, 웨어러블 장치(101)를 착용한 사용자(110)에게, 상기 손(112-1)에 의해 가상 객체(1431)를 이동하는 것과 같은 사용자 경험을 제공할 수 있다.Within the state (1401) of FIG. 14a, the wearable device (101) can identify an input indicating movement of a virtual object (1431) based on a hand (112-1) moving within the FoV. Based on the operation described above with reference to FIGS. 4 and 5, the wearable device (101) that has identified a clench gesture of the hand (112-1) performed within the FoV can move virtual objects (1421, 1431) along the path (1441) of the hand (112-1) maintaining the clench gesture. A wearable device (101) that moves virtual objects (1421, 1431) in response to a hand (112-1) having a clenching gesture can provide a user experience, such as moving a virtual object (1431) by the hand (112-1), to a user (110) wearing the wearable device (101).

도 14a의 예시적인 상태(1401) 내에서, 클렌치 제스쳐의 자세를 가지는 손(112-1)이 경로(1441)를 따라 이동되는 동안, 웨어러블 장치(101)는 상기 경로(1441)에 대응하는 화면(1420) 내 경로(1442)에 기반하여, 가상 객체들(1421, 1431)을 이동할 수 있다. 예를 들어, 클렌치 제스쳐를 가지는 손(112-1)의 경로(1441)에 기반하여, 웨어러블 장치(101)는 화면(1420) 내 위치(vr1)에 표시된 가상 객체들(1421, 1431)을, 상기 경로(1441)에 대응하는 경로(1442)를 따라 위치(vr2)로 이동할 수 있다.In an exemplary state (1401) of FIG. 14A, while a hand (112-1) having a posture of a clenching gesture moves along a path (1441), the wearable device (101) can move virtual objects (1421, 1431) based on a path (1442) within a screen (1420) corresponding to the path (1441). For example, based on the path (1441) of the hand (112-1) having the clenching gesture, the wearable device (101) can move virtual objects (1421, 1431) displayed at a location (vr1) within the screen (1420) to a location (vr2) along a path (1442) corresponding to the path (1441).

도 14a를 참고하면, 클렌치 제스쳐의 손(112-1)에 기반하여 가상 객체들(1421, 1431)을 이동하는 상태(1401) 내에서, 웨어러블 장치(101)는 손(112-1)의 자세가 클렌치 제스쳐의 자세와 상이한 자세로 변경되는지 여부에 기반하여, 가상 객체들(1421, 1431)을 이동하는 것을 중단할 수 있다. 예를 들어, 손(112-1)에 의해 수행되는 클렌치 제스쳐가 해제됨을 식별하는 것에 응답하여, 웨어러블 장치(101)는 가상 객체(1431)의 위치를, 손(112-1)의 FoV 내 위치 및/또는 경로(1441)에 기반하여 이동하는 것을 중단할 수 있다. 상기 예시에서, 가상 객체(1431)의 위치는 클렌치 제스쳐의 해제를 식별한 타이밍에서의 손(112-1)의 FoV 내 위치에 기반하여 고정될 수 있다. 상기 예시에서, 손(112-1)의 위치를 나타내기 위한 가상 객체(1421)는, 클렌치 제스쳐의 해제 이후에도, 웨어러블 장치(101)에 의해 상기 손(112-1)의 위치에 기반하여 이동될 수 있다.Referring to FIG. 14A, in a state (1401) of moving virtual objects (1421, 1431) based on the hand (112-1) of the clench gesture, the wearable device (101) may stop moving the virtual objects (1421, 1431) based on whether the posture of the hand (112-1) changes to a posture different from the posture of the clench gesture. For example, in response to identifying that the clench gesture performed by the hand (112-1) is released, the wearable device (101) may stop moving the position of the virtual object (1431) based on the position and/or path (1441) within the FoV of the hand (112-1). In the above example, the position of the virtual object (1431) can be fixed based on the position within the FoV of the hand (112-1) at the timing when the release of the clench gesture is identified. In the above example, the virtual object (1421) for indicating the position of the hand (112-1) can be moved based on the position of the hand (112-1) by the wearable device (101) even after the release of the clench gesture.

도 14a를 참고하면, 가상 객체(1431)의 사이즈를 변경하기 위해 클렌치 제스쳐를 수행하는 손(112-1)이 FoV 밖으로 이동되는 것에 기반하여, 웨어러블 장치(101)는 가상 객체(1431)와 관련된 정보를, 웨어러블 장치(101)의 메모리(예, 도 2의 메모리(215))에 저장할 수 있다. FoV의 가장자리에 중첩되는 위치(hr2)를 통해 FoV 밖으로 이동되는 손(112-1)을 식별하는 것에 응답하여, 웨어러블 장치(101)는 가상 객체(1431)를 표시하는 것을 중단할 수 있다.Referring to FIG. 14a, based on the hand (112-1) performing the clench gesture to change the size of the virtual object (1431) moving out of the FoV, the wearable device (101) may store information related to the virtual object (1431) in the memory of the wearable device (101) (e.g., the memory (215) of FIG. 2). In response to identifying the hand (112-1) moving out of the FoV through the location (hr2) overlapping the edge of the FoV, the wearable device (101) may stop displaying the virtual object (1431).

일 실시예에 따른, 웨어러블 장치(101)는 FoV 밖으로 이동된 손(112-1)을 식별한 도 14a의 상태(1401) 이후, FoV에 대한 손(112-1)의 재진입에 기반하여, 메모리에 저장된 가상 객체(1431)와 관련된 기능을 다시 실행할 수 있다. 도 14b를 참고하면, 상태(1401) 이후의 상태(1402) 내에서, 사용자(110)는 FoV 밖의 위치(hr3)의 손(112-1)을, 경로(1443)를 따라 FoV의 안으로 이동할 수 있다. 웨어러블 장치(101)는, 경로(1443)를 따라 이동되는 손(112-1)이 FoV 안으로 이동된 타이밍부터, FoV에 대한 손(112-1)의 재진입을 식별할 수 있다. FoV에 대한 손(112-1)의 재진입을 식별한 웨어러블 장치(101)는, 상기 손(112-1)의 자세가, 가상 객체(1431)의 표시를 재개하기 위한 지정된 자세를 가지는지 여부를 식별할 수 있다.According to one embodiment, the wearable device (101) can re-execute a function related to a virtual object (1431) stored in the memory based on the re-entry of the hand (112-1) into the FoV after the state (1401) of FIG. 14a in which the hand (112-1) moved out of the FoV has been identified. Referring to FIG. 14b, in the state (1402) after the state (1401), the user (110) can move the hand (112-1) at the location (hr3) outside the FoV into the FoV along the path (1443). The wearable device (101) can identify the re-entry of the hand (112-1) into the FoV from the timing at which the hand (112-1) moved along the path (1443) has moved into the FoV. The wearable device (101) that has identified the re-entry of the hand (112-1) into the FoV can identify whether the posture of the hand (112-1) has a designated posture for resuming display of the virtual object (1431).

도 14b를 참고하면, 클렌치 제스쳐의 자세를 가지는 손(112-1)을 식별하는 것에 기반하여, 웨어러블 장치(101)는 가상 객체(1431)의 표시를 재개하기 위한 기능을 실행할 수 있다. 도 14b의 일 실시예에서, 상기 클렌치 제스쳐를 가지는 손(112-1)을 FoV 밖으로부터 FoV 안으로 이동하는 사용자(110)의 액션은, 가상 객체(1431)의 표시를 재개하는 입력에 대응할 수 있다. 상기 입력에 응답하여, 웨어러블 장치(101)는 화면(1410)에 가상 객체(1431)를 표시할 수 있다.Referring to FIG. 14b, based on identifying a hand (112-1) having a posture of a clenching gesture, the wearable device (101) can execute a function to resume display of a virtual object (1431). In one embodiment of FIG. 14b, an action of a user (110) moving the hand (112-1) having the clenching gesture from outside the FoV to inside the FoV can correspond to an input to resume display of the virtual object (1431). In response to the input, the wearable device (101) can display the virtual object (1431) on the screen (1410).

도 14b를 참고하면, FoV 밖으로부터 경로(1443)를 따라 FoV 안으로 이동되는 손(112-1)을 식별하는 것에 기반하여, 웨어러블 장치(101)는 화면(1420) 내에 가상 객체(1431)를 표시할 수 있다. FoV 안으로 이동되는 손(112-1)의 경로(1443)에 대응하는 경로(1444)에 기반하여, 웨어러블 장치(101)는 상기 손(112-1)에 대응하는 가상 객체(1421) 및 가상 객체(1431)를 표시할 수 있다. 손(112-1)이 경로(1443)를 따라 FoV 밖의 위치(hr3)로부터 FoV의 가장자리의 위치(hr4)를 통과하여 위치(hr5)로 이동되는 경우, 웨어러블 장치(101)는 상기 위치(hr4)에 대응하는 화면(1410) 내 위치(vr4)로부터 경로(1444)를 따라 상기 위치(hr5)에 대응하는 화면(1410) 내 위치(vr5)로 이동되는 가상 객체들(1421, 1431)을 표시할 수 있다.Referring to FIG. 14b, based on identifying a hand (112-1) moving from outside the FoV into the FoV along a path (1443), the wearable device (101) can display a virtual object (1431) within the screen (1420). Based on a path (1444) corresponding to the path (1443) of the hand (112-1) moving into the FoV, the wearable device (101) can display a virtual object (1421) and a virtual object (1431) corresponding to the hand (112-1). When the hand (112-1) moves from a location (hr3) outside the FoV along the path (1443) to a location (hr5) through a location (hr4) at the edge of the FoV, the wearable device (101) can display virtual objects (1421, 1431) moving from a location (vr4) within the screen (1410) corresponding to the location (hr4) to a location (vr5) within the screen (1410) corresponding to the location (hr5) along the path (1444).

도 14c를 참고하면, 도 14a에 기반하여 가상 객체(1431)의 표시를 중단한 상태(1401) 이후의 상태(1403)에서, 웨어러블 장치(101)는 FoV 안으로 이동되는 손(112-1)의 자세가 가상 객체(1431)의 표시를 재개하기 위한 지정된 자세와 상이한 경우, 가상 객체(1431)의 표시를 중단하는 것을 유지할 수 있다. 예를 들어, 클렌치 제스쳐를 위한 자세와 상이한 자세(예, 모든 손가락들을 펼친 자세)를 가지는 손(112-1)이 FoV 안으로 이동되는 것에 기반하여, 웨어러블 장치(101)는 상기 손(112-1)의 경로(1445)와 독립적으로, 가상 객체(1431)를 표시하지 않을 수 있다. 가상 객체(1431)를 표시하지 않는 상태(1403) 내에서, 웨어러블 장치(101)는 손(112-1)에 대응하는 가상 객체(1421)를 화면(1410) 내에 표시할 수 있다. 예를 들어, 웨어러블 장치(101)는 화면(1410) 내에서, 손(112-1)의 경로(1445)에 대응하는 화면(1410) 내 경로(1446)를 따라 가상 객체(1421)를 이동할 수 있다. 예를 들어, 손(112-1)이 경로(1445)를 따라 FoV 밖의 위치(hr6)로부터 FoV의 가장자리의 위치(hr7)를 통과하여 위치(hr8)로 이동되는 경우, 웨어러블 장치(101)는 상기 위치(hr7)에 대응하는 화면(1410) 내 위치(vr7)로부터 경로(1446)를 따라 상기 위치(hr8)에 대응하는 화면(1410) 내 위치(vr8)로 이동되는 가상 객체(1421)를 표시할 수 있다.Referring to FIG. 14c, in a state (1403) after the state (1401) in which the display of the virtual object (1431) is stopped based on FIG. 14a, the wearable device (101) may keep stopping the display of the virtual object (1431) if the posture of the hand (112-1) moving into the FoV is different from the designated posture for resuming the display of the virtual object (1431). For example, based on the hand (112-1) moving into the FoV having a posture different from the posture for a clenching gesture (e.g., a posture with all fingers spread out), the wearable device (101) may not display the virtual object (1431) independently of the path (1445) of the hand (112-1). In a state (1403) where the virtual object (1431) is not displayed, the wearable device (101) can display a virtual object (1421) corresponding to the hand (112-1) within the screen (1410). For example, the wearable device (101) can move the virtual object (1421) along a path (1446) within the screen (1410) corresponding to the path (1445) of the hand (112-1) within the screen (1410). For example, when a hand (112-1) moves from a location (hr6) outside the FoV along a path (1445) to a location (hr8) at the edge of the FoV, the wearable device (101) can display a virtual object (1421) moving from a location (vr7) within the screen (1410) corresponding to the location (hr7) to a location (vr8) within the screen (1410) corresponding to the location (hr8) along the path (1446).

이하에서는, 도 15를 참고하여, 도 12a 및 도 12b 및/또는 도 14a, 도 14b 및 도 14c를 참고하여 설명된 웨어러블 장치(101)의 동작이 설명된다.Hereinafter, with reference to FIG. 15, the operation of the wearable device (101) described with reference to FIGS. 12a and 12b and/or FIGS. 14a, 14b and 14c is described.

도 15는, 일 실시예에 따른, 웨어러블 장치의 예시적인 동작들을 도시한 흐름도이다. 도 1a 및 도 1b, 도 2의 웨어러블 장치(101) 및/또는 도 2의 프로세서(210)는, 도 15를 참고하여 설명되는 웨어러블 장치의 동작을 수행할 수 있다. 도 15를 참고하여 설명되는 웨어러블 장치의 동작은, 도 3 및/또는 도 8의 동작들 중 적어도 하나와 관련되거나, 또는 유사하게 수행될 수 있다.FIG. 15 is a flowchart illustrating exemplary operations of a wearable device according to one embodiment. The wearable device (101) of FIGS. 1A and 1B, FIG. 2, and/or the processor (210) of FIG. 2 may perform the operations of the wearable device described with reference to FIG. 15. The operations of the wearable device described with reference to FIG. 15 may be related to, or performed similarly to, at least one of the operations of FIG. 3 and/or FIG. 8.

도 15를 참고하면, 동작(1510) 내에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, 카메라를 이용하여 가상 객체의 이동을 나타내는 제스쳐를 식별하는 것에 기반하여, 디스플레이 내에 표시된 가상 객체의 위치를 변경할 수 있다. 동작(1510)의 카메라는, 도 2의 카메라(225)를 포함할 수 있다. 동작(1510)의 디스플레이는, 도 2의 디스플레이(220)를 포함할 수 있다. 웨어러블 장치는 상기 제스쳐를 유지하는 신체 부위(예, 도 13a 내지 도 13c 및/또는 도 14a 내지 도 14c의 손(112-1))의 경로에 기반하여, 상기 가상 객체의 위치를 변경할 수 있다.Referring to FIG. 15, in operation (1510), a processor of a wearable device according to an embodiment may change a position of a virtual object displayed in a display based on identifying a gesture indicating movement of a virtual object using a camera. The camera of operation (1510) may include the camera (225) of FIG. 2. The display of operation (1510) may include the display (220) of FIG. 2. The wearable device may change the position of the virtual object based on a path of a body part (e.g., a hand (112-1) of FIGS. 13A-13C and/or FIGS. 14A-14C) that maintains the gesture.

도 15를 참고하면, 동작(1520) 내에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, 제스쳐를 수행하는 신체 부위가 카메라의 FoV 밖으로 이동하는지 여부를 식별할 수 있다. 프로세서는 도 3의 동작(320) 및/또는 도 8의 동작(820)과 유사하게, 동작(1520)을 수행할 수 있다. 예를 들어, 제스쳐를 수행하는 신체 부위가 FoV 밖으로 이동되기 이전이거나, 또는 FoV 안에서 이동되는 동안(1520-아니오), 프로세서는 동작(1510)에 기반하여 가상 객체의 위치를 변경할 수 있다. FoV 밖으로 이동되는 신체 부위를 식별한 상태 내에서(1520-예), 프로세서는 동작(1530)을 수행할 수 있다.Referring to FIG. 15, within operation (1520), a processor of a wearable device according to an embodiment may identify whether a body part performing a gesture moves out of the FoV of a camera. The processor may perform operation (1520) similar to operation (320) of FIG. 3 and/or operation (820) of FIG. 8. For example, before the body part performing the gesture moves out of the FoV or while it is moving within the FoV (1520-No), the processor may change the position of the virtual object based on operation (1510). Within the state of identifying the body part moving out of the FoV (1520-Yes), the processor may perform operation (1530).

도 15를 참고하면, 동작(1530) 내에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, 디스플레이 내에 가상 객체를 표시하는 것을 중단할 수 있다. 프로세서는 가상 객체의 표시를 재개하기 위한 정보를, 메모리(예, 도 2의 메모리(215)) 내에 저장할 수 있다. FoV 밖으로 이동된 신체 부위에 기반하여 가상 객체의 표시를 중단한 이후, 프로세서는 상기 신체 부위의 재진입을 식별할 수 있다.Referring to FIG. 15, within operation (1530), a processor of a wearable device according to one embodiment may stop displaying a virtual object within the display. The processor may store information for resuming display of the virtual object within a memory (e.g., memory (215) of FIG. 2). After stopping display of the virtual object based on a body part moving out of the FoV, the processor may identify re-entry of the body part.

도 15를 참고하면, 동작(1540) 내에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, 카메라의 FoV 안으로 이동되는 신체 부위를 식별하할 수 있다. FoV 안으로 이동되는 신체 부위를 식별하기 이전에(1540-아니오), 프로세서는 동작(1530)에 기반하여 가상 객체를 표시하지 않을 수 있다. FoV 안으로 이동되는 신체 부위를 식별하는 것에 기반하여(1540-예), 프로세서는 동작(1550)을 수행할 수 있다. 프로세서는 도 3의 동작(340) 및/또는 도 8의 동작(840)과 유사하게, 도 15의 동작(1540)을 수행할 수 있다.Referring to FIG. 15, within operation (1540), a processor of a wearable device according to an embodiment may identify a body part moving into the FoV of a camera. Prior to identifying the body part moving into the FoV (1540-No), the processor may not display a virtual object based on operation (1530). Based on identifying the body part moving into the FoV (1540-Yes), the processor may perform operation (1550). The processor may perform operation (1540) of FIG. 15 similarly to operation (340) of FIG. 3 and/or operation (840) of FIG. 8.

도 15를 참고하면, 동작(1550) 내에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, FoV 안으로 이동된 신체 부위에 기반하여, 가상 객체의 표시를 나타내는 제스쳐를 식별할 수 있다. 동작(1550)의 제스쳐는, 동작(1510)의 제스쳐와 일치할 수 있다. 예를 들어, 프로세서는 FoV 안으로 이동된 신체 부위에 의해 수행된 제스쳐가, 동작(1510)의 제스쳐에 대응하는지 여부를 식별할 수 있다. 동작(1550)의 제스쳐를 식별하지 못하였거나(1550-아니오), 또는 동작(1550)의 제스쳐를 식별하기 이전에, 프로세서는 동작(1530)에 기반하여 가상 객체를 표시를 제한하는 것을 유지할 수 있다. 동작(1550)의 제스쳐를 식별하는 것에 기반하여(1550-예), 프로세서는 동작(1560)을 수행할 수 있다.Referring to FIG. 15, in operation (1550), a processor of a wearable device according to an embodiment may identify a gesture indicating a display of a virtual object based on a body part moved into the FoV. The gesture of operation (1550) may match the gesture of operation (1510). For example, the processor may identify whether a gesture performed by a body part moved into the FoV corresponds to the gesture of operation (1510). If the gesture of operation (1550) is not identified (1550-No), or prior to identifying the gesture of operation (1550), the processor may continue to restrict the display of the virtual object based on operation (1530). Based on identifying the gesture of operation (1550) (1550-Yes), the processor may perform operation (1560).

도 15를 참고하면, 동작(1560) 내에서, 일 실시예에 따른, 웨어러블 장치의 프로세서는, 디스플레이 내에 가상 객체의 표시를 재개하기 위한 패널을 표시할 수 있다. 상기 패널은, 도 13b를 참고하여 설명된, 하나 이상의 가상 객체들을 포함하는 리스트를 포함할 수 있다. 상기 패널에 기반하여, 프로세서는 동작(1530)의 가상 객체의 표시를 재개하기 위한 입력을 식별할 수 있다. 상기 입력에 기반하여, 프로세서는 상기 가상 객체를 표시할 수 있다.Referring to FIG. 15, in operation (1560), according to one embodiment, a processor of a wearable device may display a panel for resuming display of a virtual object within a display. The panel may include a list including one or more virtual objects, as described with reference to FIG. 13b. Based on the panel, the processor may identify an input for resuming display of the virtual object of operation (1530). Based on the input, the processor may display the virtual object.

상술한 바와 같이, 일 실시예에 따른, 웨어러블 장치의 프로세서는, 손과 같은 신체 부위를 탐지하기 위한 카메라 및/또는 센서의 유한한 범위를 이용하여, 가상 객체를 제어하기 위한 기능을 실행할 수 있다. 상기 기능은, 상기 범위 밖으로 이동된 신체 부위의 재진입에 기반하여, 다시 실행될 수 있다.As described above, in one embodiment, the processor of the wearable device may execute a function for controlling a virtual object by using a finite range of cameras and/or sensors for detecting a body part, such as a hand. The function may be re-executed based on re-entry of a body part that has moved out of the range.

이하에서는, 도 16a 및 도 16b 및/또는 도 17a 및 도 17b를 참조하여, 일 실시예에 따른, 웨어러블 장치(101)의 폼 팩터의 일 예가 설명된다.Hereinafter, with reference to FIGS. 16a and 16b and/or FIGS. 17a and 17b, an example of a form factor of a wearable device (101) according to one embodiment is described.

도 16a는, 일 실시예에 따른, 예시적인 웨어러블 장치를 도시한 사시도(perspective view)이다. 도 16b는, 일 실시예에 따른, 웨어러블 장치(1600) 내에 배치된 하나 이상의 하드웨어들의 예시적인 구성을 도시한 사시도이다. 도 1a 및 도 1b, 및/또는 도 2의 웨어러블 장치(101)는, 도 16a 및 도 16b의 웨어러블 장치(1600)를 포함할 수 있다. 도 16a의 도시에서(as shown in), 일 실시예에 따른, 웨어러블 장치(1600)는, 적어도 하나의 디스플레이(1650), 및 적어도 하나의 디스플레이(1650)를 지지하는 프레임을 포함할 수 있다.FIG. 16A is a perspective view illustrating an exemplary wearable device according to one embodiment. FIG. 16B is a perspective view illustrating an exemplary configuration of one or more hardware elements positioned within a wearable device (1600) according to one embodiment. The wearable device (101) of FIGS. 1A and 1B, and/or 2 may include the wearable device (1600) of FIGS. 16A and 16B. As shown in FIG. 16A, the wearable device (1600) according to one embodiment may include at least one display (1650) and a frame supporting the at least one display (1650).

일 실시예에 따른, 웨어러블 장치(1600)는 사용자의 신체의 일부 상에 착용될 수 있다. 웨어러블 장치(1600)는, 웨어러블 장치(1600)를 착용한 사용자에게, 증강 현실(augmented reality, AR), 가상 현실(virtual reality, VR), 또는 증강 현실과 가상 현실을 혼합한 혼합 현실(mixed reality, MR)을 제공할 수 있다. 예를 들면, 웨어러블 장치(1600)는, 도 16b의 동작 인식 카메라(1640-2)를 통해 획득된 사용자의 지정된 제스처에 응답하여, 적어도 하나의 디스플레이(1650)를 통하여 사용자에게 가상 현실 영상을 출력할 수 있다.According to one embodiment, a wearable device (1600) may be worn on a part of a user's body. The wearable device (1600) may provide augmented reality (AR), virtual reality (VR), or mixed reality (MR) that combines augmented reality and virtual reality to a user wearing the wearable device (1600). For example, the wearable device (1600) may output a virtual reality image to the user through at least one display (1650) in response to a designated gesture of the user acquired through the motion recognition camera (1640-2) of FIG. 16B.

일 실시예에 따른, 웨어러블 장치(1600) 내 적어도 하나의 디스플레이(1650)는, 사용자에게 시각 정보를 제공할 수 있다. 상기 적어도 하나의 디스플레이(1650)는, 도 2의 디스플레이(220)를 포함할 수 있다. 예를 들면, 적어도 하나의 디스플레이(1650)는, 투명 또는 반투명한 렌즈(1609)(예, 사용자의 좌안에 대응하는 렌즈(1609-1) 및 사용자의 우안에 대응하는 렌즈(1609-2))를 포함할 수 있다. 적어도 하나의 디스플레이(1650)는, 제1 디스플레이(1650-1) 및/또는 제1 디스플레이(1650-1)로부터 이격된 제2 디스플레이(1650-2)를 포함할 수 있다. 예를 들면, 제1 디스플레이(1650-1), 및 제2 디스플레이(1650-2)는, 사용자의 좌안과 우안에 각각 대응되는 위치에 배치될 수 있다.According to one embodiment, at least one display (1650) in a wearable device (1600) can provide visual information to a user. The at least one display (1650) can include the display (220) of FIG. 2. For example, the at least one display (1650) can include a transparent or translucent lens (1609) (e.g., a lens (1609-1) corresponding to the user's left eye and a lens (1609-2) corresponding to the user's right eye). The at least one display (1650) can include a first display (1650-1) and/or a second display (1650-2) spaced apart from the first display (1650-1). For example, the first display (1650-1) and the second display (1650-2) can be positioned at positions corresponding to the user's left eye and right eye, respectively.

도 16b를 참조하면, 적어도 하나의 디스플레이(1650)는, 렌즈 상에 표시 영역을 형성하여, 웨어러블 장치(1600)를 착용한 사용자에게, 렌즈를 통과하는 외부 광에 포함된 시각적 정보와 함께, 상기 시각적 정보와 구별되는, 다른 시각적 정보를 제공할 수 있다. 상기 렌즈는, 프레넬(fresnel) 렌즈, 팬케이크(pancake) 렌즈, 또는 멀티-채널 렌즈 중 적어도 하나에 기반하여 형성될 수 있다. 적어도 하나의 디스플레이(1650)에 의해 형성된 표시 영역은, 렌즈의 제1 면(1631), 및 제2 면(1632) 중 제2 면(1632) 상에 형성될 수 있다. 사용자가 웨어러블 장치(1600)를 착용하였을 때, 외부 광은 제1 면(1631)으로 입사되고, 제2 면(1632)을 통해 투과됨으로써, 사용자에게 전달될 수 있다. 다른 예를 들면, 적어도 하나의 디스플레이(1650)는, 외부 광을 통해 전달되는 현실 화면에 결합될 가상 현실 영상을 표시할 수 있다. 적어도 하나의 디스플레이(1650)로부터 출력된 상기 가상 현실 영상은, 웨어러블 장치(1600)에 포함된 하나 이상의 하드웨어(예, 광학 장치들(1682, 1684), 및/또는 적어도 하나의 웨이브가이드들(waveguides)(1633, 1634))를 통하여, 사용자의 눈으로 송신될 수 있다.Referring to FIG. 16B, at least one display (1650) may form a display area on a lens to provide a user wearing the wearable device (1600) with visual information included in external light passing through the lens, together with other visual information that is distinct from the visual information. The lens may be formed based on at least one of a Fresnel lens, a pancake lens, or a multi-channel lens. The display area formed by at least one display (1650) may be formed on a second surface (1632) among a first surface (1631) and a second surface (1632) of the lens. When a user wears the wearable device (1600), external light may be incident on the first surface (1631) and transmitted through the second surface (1632) to the user. As another example, at least one display (1650) can display a virtual reality image to be combined with a real screen transmitted via external light. The virtual reality image output from the at least one display (1650) can be transmitted to the user's eyes via one or more hardware included in the wearable device (1600) (e.g., optical devices (1682, 1684), and/or at least one waveguide (1633, 1634)).

일 실시예에 따른, 웨어러블 장치(1600)는 적어도 하나의 디스플레이(1650)로부터 송신되고, 광학 장치들(1682, 1684)에 의해 릴레이된 광을 회절시켜, 사용자에게 전달하는, 웨이브가이드들(1633, 1634)을 포함할 수 있다. 웨이브가이드들(1633, 1634)은, 글래스, 플라스틱, 또는 폴리머 중 적어도 하나에 기반하여 형성될 수 있다. 웨이브가이드들(1633, 1634)의 외부, 또는 내부의 적어도 일부분에, 나노 패턴이 형성될 수 있다. 상기 나노 패턴은, 다각형, 및/또는 곡면 형상의 격자 구조(grating structure)에 기반하여 형성될 수 있다. 웨이브가이드들(1633, 1634)의 일 단으로 입사된 광은, 상기 나노 패턴에 의해 웨이브가이드들(1633, 1634)의 타 단으로 전파될 수 있다. 웨이브가이드들(1633, 1634)은 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)), 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 예를 들어, 웨이브가이드들(1633, 1634)은, 적어도 하나의 디스플레이(1650)에 의해 표시되는 화면을, 사용자의 눈으로 가이드하기 위하여, 웨어러블 장치(1600) 내에 배치될 수 있다. 예를 들어, 상기 화면은, 웨이브가이드들(1633, 1634) 내에서 발생되는 전반사(total internal reflection, TIR)에 기반하여, 사용자의 눈으로 송신될 수 있다.According to one embodiment, a wearable device (1600) may include waveguides (1633, 1634) that diffract light transmitted from at least one display (1650) and relayed by optical devices (1682, 1684) and transmit the diffracted light to a user. The waveguides (1633, 1634) may be formed based on at least one of glass, plastic, or polymer. Nanopatterns may be formed on at least a portion of an exterior or interior of the waveguides (1633, 1634). The nanopatterns may be formed based on a grating structure having a polygonal and/or curved shape. Light incident on one end of the waveguides (1633, 1634) may be propagated to the other end of the waveguides (1633, 1634) by the nanopatterns. The waveguides (1633, 1634) may include at least one diffractive element (e.g., a diffractive optical element (DOE), a holographic optical element (HOE)), and at least one reflective element (e.g., a reflective mirror). For example, the waveguides (1633, 1634) may be arranged within the wearable device (1600) to guide a screen displayed by at least one display (1650) to the user's eyes. For example, the screen may be transmitted to the user's eyes based on total internal reflection (TIR) occurring within the waveguides (1633, 1634).

일 실시예에 따른, 웨어러블 장치(1600)는, 촬영 카메라(1640-1)를 통해 수집된 현실 영상에 포함된 오브젝트(object)를 분석하고, 분석된 오브젝트 중에서 증강 현실 제공의 대상이 되는 오브젝트에 대응되는 가상 오브젝트(virtual object)를 결합하여, 적어도 하나의 디스플레이(1650)에 표시할 수 있다. 가상 오브젝트는, 현실 영상에 포함된 오브젝트에 관련된 다양한 정보에 대한 텍스트, 및 이미지 중 적어도 하나를 포함할 수 있다. 웨어러블 장치(1600)는, 스테레오 카메라와 같은 멀티-카메라에 기반하여, 오브젝트를 분석할 수 있다. 상기 오브젝트 분석을 위하여, 웨어러블 장치(1600)는 멀티-카메라에 의해 지원되는, ToF(time-of-flight), 및/또는 SLAM(simultaneous localization and mapping)을 실행할 수 있다. 웨어러블 장치(1600)를 착용한 사용자는, 적어도 하나의 디스플레이(1650)에 표시되는 영상을 시청할 수 있다.According to one embodiment, a wearable device (1600) may analyze an object included in a real image collected through a shooting camera (1640-1), combine a virtual object corresponding to an object to be provided with augmented reality among the analyzed objects, and display the virtual object on at least one display (1650). The virtual object may include at least one of text and image for various information related to the object included in the real image. The wearable device (1600) may analyze the object based on a multi-camera, such as a stereo camera. For the object analysis, the wearable device (1600) may execute ToF (time-of-flight) and/or SLAM (simultaneous localization and mapping) supported by the multi-camera. A user wearing the wearable device (1600) may view an image displayed on at least one display (1650).

일 실시예에 따르면, 프레임은, 웨어러블 장치(1600)가 사용자의 신체 상에 착용될 수 있는 물리적인 구조로 이루어질 수 있다. 일 실시예에 따르면, 프레임은, 사용자가 웨어러블 장치(1600)를 착용하였을 때, 제1 디스플레이(1650-1) 및 제2 디스플레이(1650-2)가 사용자의 좌안 및 우안에 대응되는 위치할 수 있도록, 구성될 수 있다. 프레임은, 적어도 하나의 디스플레이(1650)를 지지할 수 있다. 예를 들면, 프레임은, 제1 디스플레이(1650-1) 및 제2 디스플레이(1650-2)를 사용자의 좌안 및 우안에 대응되는 위치에 위치되도록 지지할 수 있다.According to one embodiment, the frame may be formed as a physical structure that allows the wearable device (1600) to be worn on the user's body. According to one embodiment, the frame may be configured such that, when the user wears the wearable device (1600), the first display (1650-1) and the second display (1650-2) may be positioned corresponding to the user's left and right eyes. The frame may support at least one display (1650). For example, the frame may support the first display (1650-1) and the second display (1650-2) to be positioned corresponding to the user's left and right eyes.

도 16a를 참조하면, 프레임은, 사용자가 웨어러블 장치(1600)를 착용한 경우, 적어도 일부가 사용자의 신체의 일부분과 접촉되는 영역(1620)을 포함할 수 있다. 예를 들면, 프레임의 사용자의 신체의 일부분과 접촉되는 영역(1620)은, 웨어러블 장치(1600)가 접하는 사용자의 코의 일부분, 사용자의 귀의 일부분 및 사용자의 얼굴의 측면 일부분과 접촉하는 영역을 포함할 수 있다. 일 실시예에 따르면, 프레임은, 사용자의 신체의 일부 상에 접촉되는 노즈 패드(1610)를 포함할 수 있다. 웨어러블 장치(1600)가 사용자에 의해 착용될 시, 노즈 패드(1610)는, 사용자의 코의 일부 상에 접촉될 수 있다. 프레임은, 상기 사용자의 신체의 일부와 구별되는 사용자의 신체의 다른 일부 상에 접촉되는 제1 템플(temple)(1604) 및 제2 템플(1605)을 포함할 수 있다.Referring to FIG. 16A, the frame may include a region (1620) that at least partially contacts a portion of the user's body when the user wears the wearable device (1600). For example, the region (1620) of the frame that contacts a portion of the user's body may include a region that contacts a portion of the user's nose, a portion of the user's ear, and a portion of a side of the user's face that the wearable device (1600) makes contact with. According to one embodiment, the frame may include a nose pad (1610) that contacts a portion of the user's body. When the wearable device (1600) is worn by the user, the nose pad (1610) may contact a portion of the user's nose. The frame may include a first temple (1604) and a second temple (1605) that contact another portion of the user's body that is distinct from the portion of the user's body.

일 실시예에서, 프레임은, 제1 디스플레이(1650-1)의 적어도 일부를 감싸는 제1 림(rim)(1601), 제2 디스플레이(1650-2)의 적어도 일부를 감싸는 제2 림(1602), 제1 림(1601)과 제2 림(1602) 사이에 배치되는 브릿지(bridge)(1603), 브릿지(1603)의 일단으로부터 제1 림(1601)의 가장자리 일부를 따라 배치되는 제1 패드(1611), 브릿지(1603)의 타단으로부터 제2 림(1602)의 가장자리 일부를 따라 배치되는 제2 패드(1612), 제1 림(1601)으로부터 연장되어 착용자의 귀의 일부분에 고정되는 제1 템플(1604), 및 제2 림(1602)으로부터 연장되어 상기 귀의 반대측 귀의 일부분에 고정되는 제2 템플(1605)을 포함할 수 있다. 제1 패드(1611), 및 제2 패드(1612)는, 사용자의 코의 일부분과 접촉될 수 있고, 제1 템플(1604) 및 제2 템플(1605)은, 사용자의 안면의 일부분 및 귀의 일부분과 접촉될 수 있다. 템플들(1604, 1605)은, 도 16b의 힌지 유닛들(1606, 1607)을 통해 림과 회전 가능하게(rotatably) 연결될 수 있다. 제1 템플(1604)은, 제1 림(1601)과 제1 템플(1604)의 사이에 배치된 제1 힌지 유닛(1606)을 통해, 제1 림(1601)에 대하여 회전 가능하게 연결될 수 있다. 제2 템플(1605)은, 제2 림(1602)과 제2 템플(1605)의 사이에 배치된 제2 힌지 유닛(1607)을 통해 제2 림(1602)에 대하여 회전 가능하게 연결될 수 있다. 일 실시예에 따른, 웨어러블 장치(1600)는 프레임의 표면의 적어도 일부분 상에 형성된, 터치 센서, 그립 센서, 및/또는 근접 센서를 이용하여, 프레임을 터치하는 외부 객체(예, 사용자의 손끝(fingertip)), 및/또는 상기 외부 객체에 의해 수행된 제스쳐를 식별할 수 있다.In one embodiment, the frame may include a first rim (1601) surrounding at least a portion of the first display (1650-1), a second rim (1602) surrounding at least a portion of the second display (1650-2), a bridge (1603) disposed between the first rim (1601) and the second rim (1602), a first pad (1611) disposed along a portion of an edge of the first rim (1601) from one end of the bridge (1603), a second pad (1612) disposed along a portion of an edge of the second rim (1602) from the other end of the bridge (1603), a first temple (1604) extending from the first rim (1601) and secured to a portion of an ear of the wearer, and a second temple (1605) extending from the second rim (1602) and secured to a portion of an ear opposite the ear. The first pad (1611) and the second pad (1612) can be brought into contact with a portion of the user's nose, and the first temple (1604) and the second temple (1605) can be brought into contact with a portion of the user's face and a portion of the user's ear. The temples (1604, 1605) can be rotatably connected to the rim via the hinge units (1606, 1607) of FIG. 16B. The first temple (1604) can be rotatably connected to the first rim (1601) via the first hinge unit (1606) disposed between the first rim (1601) and the first temple (1604). The second temple (1605) may be rotatably connected to the second rim (1602) via a second hinge unit (1607) disposed between the second rim (1602) and the second temple (1605). In one embodiment, the wearable device (1600) may identify an external object (e.g., a user's fingertip) touching the frame and/or a gesture performed by the external object by using a touch sensor, a grip sensor, and/or a proximity sensor formed on at least a portion of a surface of the frame.

일 실시예에 따르면, 웨어러블 장치(1600)는, 다양한 기능들을 수행하는 하드웨어들(예, 도 2의 블록도에 기반하여 상술된 하드웨어들)을 포함할 수 있다. 예를 들면, 상기 하드웨어들은, 배터리 모듈(1670), 안테나 모듈(1675), 광학 장치들(1682, 1684), 스피커들(1692-1, 1692-2), 마이크들(1694-1, 1694-2, 1694-3), 발광 모듈(미도시), 및/또는 인쇄 회로 기판(1690)을 포함할 수 있다. 다양한 하드웨어들은, 프레임 내에 배치될 수 있다.According to one embodiment, the wearable device (1600) may include hardwares that perform various functions (e.g., the hardwares described above based on the block diagram of FIG. 2). For example, the hardwares may include a battery module (1670), an antenna module (1675), optical devices (1682, 1684), speakers (1692-1, 1692-2), microphones (1694-1, 1694-2, 1694-3), a light-emitting module (not shown), and/or a printed circuit board (1690). The various hardwares may be arranged within the frame.

일 실시예에 따른, 웨어러블 장치(1600)의 마이크들(1694-1, 1694-2, 1694-3)은, 프레임의 적어도 일부분에 배치되어, 소리 신호를 획득할 수 있다. 노즈 패드(1610) 상에 배치된 제1 마이크(1694-1), 제2 림(1602) 상에 배치된 제2 마이크(1694-2), 및 제1 림(1601) 상에 배치된 제3 마이크(1694-3)가 도 16b 내에 도시되지만, 마이크(1694)의 개수, 및 배치가 도 16b의 일 실시예에 제한되는 것은 아니다. 웨어러블 장치(1600) 내에 포함된 마이크(1694)의 개수가 두 개 이상인 경우, 웨어러블 장치(1600)는 프레임의 상이한 부분들 상에 배치된 복수의 마이크들을 이용하여, 소리 신호의 방향을 식별할 수 있다.According to one embodiment, microphones (1694-1, 1694-2, 1694-3) of the wearable device (1600) may be arranged on at least a portion of the frame to acquire a sound signal. A first microphone (1694-1) arranged on the nose pad (1610), a second microphone (1694-2) arranged on the second rim (1602), and a third microphone (1694-3) arranged on the first rim (1601) are illustrated in FIG. 16B , but the number and arrangement of the microphones (1694) are not limited to the embodiment of FIG. 16B . When the number of microphones (1694) included in the wearable device (1600) is two or more, the wearable device (1600) may identify a direction of a sound signal by using a plurality of microphones arranged on different portions of the frame.

일 실시예에 따르면, 광학 장치들(1682, 1684)은, 적어도 하나의 디스플레이(1650)로부터 송신된 가상 오브젝트를, 웨이브 가이드들(1633, 1634)로 송신할 수 있다. 예를 들면, 광학 장치들(1682, 1684)은, 프로젝터일 수 있다. 광학 장치들(1682, 1684)은, 적어도 하나의 디스플레이(1650)에 인접하여 배치되거나, 적어도 하나의 디스플레이(1650)의 일부로써, 적어도 하나의 디스플레이(1650) 내에 포함될 수 있다. 제1 광학 장치(1682)는, 제1 디스플레이(1650-1)에 대응하고, 제2 광학 장치(1684)는, 제2 디스플레이(1650-2)에 대응할 수 있다. 제1 광학 장치(1682)는, 제1 디스플레이(1650-1)로부터 출력된 광을, 제1 웨이브가이드(1633)로 송출할 수 있고, 제2 광학 장치(1684)는, 제2 디스플레이(1650-2)로부터 출력된 광을, 제2 웨이브가이드(1634)로 송출할 수 있다.In one embodiment, the optical devices (1682, 1684) can transmit virtual objects transmitted from at least one display (1650) to the wave guides (1633, 1634). For example, the optical devices (1682, 1684) can be projectors. The optical devices (1682, 1684) can be positioned adjacent to the at least one display (1650) or can be included within the at least one display (1650) as a part of the at least one display (1650). The first optical device (1682) can correspond to the first display (1650-1), and the second optical device (1684) can correspond to the second display (1650-2). The first optical device (1682) can transmit light output from the first display (1650-1) to the first waveguide (1633), and the second optical device (1684) can transmit light output from the second display (1650-2) to the second waveguide (1634).

일 실시예에서, 카메라(1640)는, 시선 추적 카메라(eye tracking camera, ET CAM)(1640-1), 동작 인식 카메라(1640-2), 및/또는 촬영 카메라(1640-3)를 포함할 수 있다. 촬영 카메라(1640-3), 시선 추적 카메라(1640-1) 및 동작 인식 카메라(1640-2)는, 프레임 상에서 서로 다른 위치에 배치될 수 있고, 서로 다른 기능을 수행할 수 있다. 촬영 카메라(1640-3), 시선 추적 카메라(1640-1) 및 동작 인식 카메라(1640-2)는 도 2의 카메라(225)의 일 예일 수 있다. 시선 추적 카메라(1640-1)는, 웨어러블 장치(1600)를 착용한 사용자의 시선(gaze)을 나타내는 데이터를 출력할 수 있다. 예를 들어, 웨어러블 장치(1600)는 시선 추적 카메라(1640-1)를 통하여 획득된, 사용자의 눈동자가 포함된 이미지로부터, 상기 시선을 탐지할 수 있다. 시선 추적 카메라(1640-1)가 사용자의 우측 눈을 향하여 배치된 일 예가 도 16b 내에 도시되지만, 본 개시가 이에 제한되는 것은 아니며, 시선 추적 카메라(1640-1)는, 사용자의 좌측 눈을 향하여 단독으로 배치되거나, 또는 양 눈들 전부를 향하여 배치될 수 있다.In one embodiment, the camera (1640) may include an eye tracking camera (ET CAM) (1640-1), a motion recognition camera (1640-2), and/or a recording camera (1640-3). The recording camera (1640-3), the eye tracking camera (1640-1), and the motion recognition camera (1640-2) may be positioned at different locations on the frame and may perform different functions. The recording camera (1640-3), the eye tracking camera (1640-1), and the motion recognition camera (1640-2) may be examples of the camera (225) of FIG. 2. The eye tracking camera (1640-1) may output data representing a gaze of a user wearing the wearable device (1600). For example, the wearable device (1600) can detect the gaze from an image including the user's pupil obtained through the gaze tracking camera (1640-1). Although an example in which the gaze tracking camera (1640-1) is positioned toward the user's right eye is illustrated in FIG. 16B, the present disclosure is not limited thereto, and the gaze tracking camera (1640-1) may be positioned solely toward the user's left eye, or toward both eyes.

일 실시예에서, 촬영 카메라(1640-3)는, 증강 현실 또는 혼합 현실 콘텐츠를 구현하기 위해서 가상의 이미지와 정합될 실제의 이미지나 배경을 촬영할 수 있다. 촬영 카메라는, 사용자가 바라보는 위치에 존재하는 특정 사물의 이미지를 촬영하고, 그 이미지를 적어도 하나의 디스플레이(1650)로 제공할 수 있다. 적어도 하나의 디스플레이(1650)는, 촬영 카메라를 이용해 획득된 상기 특정 사물의 이미지를 포함하는 실제의 이미지나 배경에 관한 정보와, 광학 장치들(1682, 1684)을 통해 제공되는 가상 이미지가 겹쳐진 하나의 영상을 표시할 수 있다. 일 실시예에서, 촬영 카메라는, 제1 림(1601) 및 제2 림(1602) 사이에 배치되는 브릿지(1603) 상에 배치될 수 있다.In one embodiment, the capturing camera (1640-3) can capture an actual image or background to be aligned with a virtual image in order to implement augmented reality or mixed reality content. The capturing camera can capture an image of a specific object existing at a location where a user is looking and provide the image to at least one display (1650). The at least one display (1650) can display a single image in which information about a real image or background including an image of the specific object acquired using the capturing camera and a virtual image provided through optical devices (1682, 1684) are superimposed. In one embodiment, the capturing camera can be placed on a bridge (1603) disposed between the first rim (1601) and the second rim (1602).

일 실시예에서, 시선 추적 카메라(1640-1)는, 웨어러블 장치(1600)를 착용한 사용자의 시선(gaze)을 추적함으로써, 사용자의 시선과 적어도 하나의 디스플레이(1650)에 제공되는 시각 정보를 일치시켜 보다 현실적인 증강 현실을 구현할 수 있다. 예를 들어, 웨어러블 장치(1600)는, 사용자가 정면을 바라볼 때, 사용자가 위치한 장소에서 사용자의 정면에 관련된 환경 정보를 자연스럽게 적어도 하나의 디스플레이(1650)에 표시할 수 있다. 시선 추적 카메라(1640-1)는, 사용자의 시선을 결정하기 위하여, 사용자의 동공의 이미지를 캡쳐하도록, 구성될 수 있다. 예를 들면, 시선 추적 카메라(1640-1)는, 사용자의 동공에서 반사된 시선 검출 광을 수신하고, 수신된 시선 검출 광의 위치 및 움직임에 기반하여, 사용자의 시선을 추적할 수 있다. 일 실시예에서, 시선 추적 카메라(1640-1)는, 사용자의 좌안과 우안에 대응되는 위치에 배치될 수 있다. 예를 들면, 시선 추적 카메라(1640-1)는, 제1 림(1601) 및/또는 제2 림(1602) 내에서, 웨어러블 장치(1600)를 착용한 사용자가 위치하는 방향을 향하도록 배치될 수 있다.In one embodiment, the gaze tracking camera (1640-1) can implement more realistic augmented reality by tracking the gaze of a user wearing the wearable device (1600) and matching the user's gaze with visual information provided to at least one display (1650). For example, when the wearable device (1600) looks straight ahead, the wearable device (1600) can naturally display environmental information related to the user's front at a location where the user is located on at least one display (1650). The gaze tracking camera (1640-1) can be configured to capture an image of the user's pupil to determine the user's gaze. For example, the gaze tracking camera (1640-1) can receive gaze detection light reflected from the user's pupil and track the user's gaze based on the position and movement of the received gaze detection light. In one embodiment, the gaze tracking camera (1640-1) can be placed at positions corresponding to the user's left and right eyes. For example, the gaze tracking camera (1640-1) may be positioned within the first rim (1601) and/or the second rim (1602) to face the direction in which the user wearing the wearable device (1600) is positioned.

일 실시예에서, 동작 인식 카메라(1640-2)는, 사용자의 몸통, 손, 또는 얼굴 등 사용자의 신체 전체 또는 일부의 움직임을 인식함으로써, 적어도 하나의 디스플레이(1650)에 제공되는 화면에 특정 이벤트를 제공할 수 있다. 동작 인식 카메라(1640-2)는, 사용자의 동작을 인식(gesture recognition)하여 상기 동작에 대응되는 신호를 획득하고, 상기 신호에 대응되는 표시를 적어도 하나의 디스플레이(1650)에 제공할 수 있다. 프로세서는, 상기 동작에 대응되는 신호를 식별하고, 상기 식별에 기반하여, 지정된 기능을 수행할 수 있다. 일 실시예에서, 동작 인식 카메라(1640-2)는, 제1 림(1601) 및/또는 제2 림(1602)상에 배치될 수 있다.In one embodiment, the gesture recognition camera (1640-2) may provide a specific event on a screen provided on at least one display (1650) by recognizing a movement of the user's entire body, such as the user's torso, hand, or face, or a part of the body. The gesture recognition camera (1640-2) may recognize a user's gesture, obtain a signal corresponding to the gesture, and provide a display corresponding to the signal on at least one display (1650). The processor may identify a signal corresponding to the gesture, and perform a designated function based on the identification. In one embodiment, the gesture recognition camera (1640-2) may be disposed on the first rim (1601) and/or the second rim (1602).

일 실시예에서, 웨어러블 장치(1600)에 포함된 카메라(1640)는, 상술된 시선 추적 카메라(1640-1), 동작 인식 카메라(1640-2)에 제한되지 않는다. 예를 들어, 웨어러블 장치(1600)는 사용자의 FoV를 향하여 배치된 촬영 카메라(1640-3)를 이용하여, 상기 FoV 내에 포함된 외부 객체를 식별할 수 있다. 웨어러블 장치(1600)가 외부 객체를 식별하는 것은, 깊이 센서, 및/또는 ToF(time of flight) 센서와 같이, 웨어러블 장치(1600), 및 외부 객체 사이의 거리를 식별하기 위한 센서에 기반하여 수행될 수 있다. 상기 FoV를 향하여 배치된 상기 카메라(1640)는, 오토포커스 기능, 및/또는 OIS(optical image stabilization) 기능을 지원할 수 있다. 예를 들어, 웨어러블 장치(1600)는, 웨어러블 장치(1600)를 착용한 사용자의 얼굴을 포함하는 이미지를 획득하기 위하여, 상기 얼굴을 향하여 배치된 카메라(1640)(예, FT(face tracking) 카메라)를 포함할 수 있다.In one embodiment, the camera (1640) included in the wearable device (1600) is not limited to the gaze tracking camera (1640-1) and the motion recognition camera (1640-2) described above. For example, the wearable device (1600) may identify an external object included in the FoV using a photographing camera (1640-3) positioned toward the user's FoV. The wearable device (1600) identifying the external object may be performed based on a sensor for identifying the distance between the wearable device (1600) and the external object, such as a depth sensor and/or a time of flight (ToF) sensor. The camera (1640) positioned toward the FoV may support an autofocus function and/or an optical image stabilization (OIS) function. For example, the wearable device (1600) may include a camera (1640) (e.g., a face tracking (FT) camera) positioned toward the face to acquire an image including the face of a user wearing the wearable device (1600).

비록 도시되지 않았지만, 일 실시예에 따른, 웨어러블 장치(1600)는, 카메라(1640)를 이용하여 촬영되는 피사체(예, 사용자의 눈, 얼굴, 및/또는 FoV 내 외부 객체)를 향하여 빛을 방사하는 광원(예, LED)을 더 포함할 수 있다. 상기 광원은 적외선 파장의 LED를 포함할 수 있다. 상기 광원은, 프레임, 힌지 유닛들(1606, 1607) 중 적어도 하나에 배치될 수 있다.Although not shown, in one embodiment, the wearable device (1600) may further include a light source (e.g., an LED) that emits light toward a subject (e.g., the user's eyes, face, and/or an external object within the FoV) being imaged using the camera (1640). The light source may include an infrared wavelength LED. The light source may be disposed on at least one of the frame and hinge units (1606, 1607).

일 실시예에 따르면, 배터리 모듈(1670)은, 웨어러블 장치(1600)의 전자 부품들에 전력을 공급할 수 있다. 일 실시예에서, 배터리 모듈(1670)은, 제1 템플(1604) 및/또는 제2 템플(1605) 내에 배치될 수 있다. 예를 들면, 배터리 모듈(1670)은, 복수의 배터리 모듈(1670)들일 수 있다. 복수의 배터리 모듈(1670)들은, 각각 제1 템플(1604)과 제2 템플(1605) 각각에 배치될 수 있다. 일 실시예에서, 배터리 모듈(1670)은 제1 템플(1604) 및/또는 제2 템플(1605)의 단부에 배치될 수 있다.In one embodiment, the battery module (1670) can supply power to the electronic components of the wearable device (1600). In one embodiment, the battery module (1670) can be disposed within the first temple (1604) and/or the second temple (1605). For example, the battery module (1670) can be a plurality of battery modules (1670). The plurality of battery modules (1670) can be disposed within each of the first temple (1604) and the second temple (1605). In one embodiment, the battery module (1670) can be disposed at an end of the first temple (1604) and/or the second temple (1605).

일 실시예에서, 안테나 모듈(1675)은, 신호 또는 전력을 웨어러블 장치(1600)의 외부로 송신하거나, 외부로부터 신호 또는 전력을 수신할 수 있다. 안테나 모듈(1675)은, 웨어러블 장치(1600) 내 통신 회로(예, 도 2의 통신 회로(240))와 전기적으로, 및/또는 작동적으로 연결될 수 있다. 일 실시예에서, 안테나 모듈(1675)은, 제1 템플(1604) 및/또는 제2 템플(1605) 내에 배치될 수 있다. 예를 들면, 안테나 모듈(1675)은, 제1 템플(1604), 및/또는 제2 템플(1605)의 일면에 가깝게 배치될 수 있다.In one embodiment, the antenna module (1675) can transmit signals or power to, or receive signals or power from, the wearable device (1600). The antenna module (1675) can be electrically and/or operatively connected to communication circuitry within the wearable device (1600) (e.g., communication circuitry (240) of FIG. 2 ). In one embodiment, the antenna module (1675) can be positioned within the first temple (1604) and/or the second temple (1605). For example, the antenna module (1675) can be positioned proximate one surface of the first temple (1604) and/or the second temple (1605).

일 실시예에서, 스피커들(1692-1, 1692-2)은, 음향 신호를 웨어러블 장치(1600)의 외부로 출력할 수 있다. 음향 출력 모듈은, 스피커로 참조될 수 있다. 일 실시예에서, 스피커들(1692-1, 1692-2)은, 웨어러블 장치(1600)를 착용한 사용자의 귀에 인접하게 배치되기 위하여, 제1 템플(1604), 및/또는 제2 템플(1605) 내에 배치될 수 있다. 예를 들면, 웨어러블 장치(1600)는, 제1 템플(1604) 내에 배치됨으로써 사용자의 좌측 귀에 인접하게 배치되는, 제2 스피커(1692-2), 및 제2 템플(1605) 내에 배치됨으로써 사용자의 우측 귀에 인접하게 배치되는, 제1 스피커(1692-1)를 포함할 수 있다.In one embodiment, the speakers (1692-1, 1692-2) can output audio signals to the outside of the wearable device (1600). The audio output module may be referred to as a speaker. In one embodiment, the speakers (1692-1, 1692-2) can be positioned within the first temple (1604) and/or the second temple (1605) so as to be positioned adjacent to the ears of a user wearing the wearable device (1600). For example, the wearable device (1600) can include the second speaker (1692-2) positioned within the first temple (1604) and thus adjacent to the user's left ear, and the first speaker (1692-1) positioned within the second temple (1605) and thus adjacent to the user's right ear.

일 실시예에서, 발광 모듈(미도시)은, 적어도 하나의 발광 소자를 포함할 수 있다. 발광 모듈은, 웨어러블 장치(1600)의 특정 상태에 관한 정보를 사용자에게 시각적으로 제공하기 위하여, 특정 상태에 대응되는 색상의 빛을 방출하거나, 특정 상태에 대응되는 동작으로 빛을 방출할 수 있다. 예를 들면, 웨어러블 장치(1600)가, 충전이 필요한 경우, 적색 광의 빛을 지정된 시점에 반복적으로 방출할 수 있다. 일 실시예에서, 발광 모듈은, 제1 림(1601) 및/또는 제2 림(1602) 상에 배치될 수 있다.In one embodiment, the light-emitting module (not shown) may include at least one light-emitting element. The light-emitting module may emit light of a color corresponding to a specific state or may emit light with an action corresponding to a specific state in order to visually provide information about a specific state of the wearable device (1600) to a user. For example, when the wearable device (1600) needs to be charged, the wearable device (1600) may repeatedly emit red light at a designated time. In one embodiment, the light-emitting module may be disposed on the first rim (1601) and/or the second rim (1602).

도 16b를 참고하면, 일 실시예에 따른, 웨어러블 장치(1600)는 PCB(printed circuit board)(1690)을 포함할 수 있다. PCB(1690)는, 제1 템플(1604), 또는 제2 템플(1605) 중 적어도 하나에 포함될 수 있다. PCB(1690)는, 적어도 두 개의 서브 PCB들 사이에 배치된 인터포저를 포함할 수 있다. PCB(1690) 상에서, 웨어러블 장치(1600)에 포함된 하나 이상의 하드웨어들(예, 도 2를 참고하여 상술된 블록들에 의하여 도시된 하드웨어들)이 배치될 수 있다. 웨어러블 장치(1600)는, 상기 하드웨어들을 상호연결하기 위한, FPCB(flexible PCB)를 포함할 수 있다.Referring to FIG. 16B, according to one embodiment, a wearable device (1600) may include a printed circuit board (PCB) (1690). The PCB (1690) may be included in at least one of the first temple (1604) or the second temple (1605). The PCB (1690) may include an interposer positioned between at least two sub-PCBs. One or more hardwares included in the wearable device (1600) (e.g., hardwares illustrated by the blocks described above with reference to FIG. 2) may be positioned on the PCB (1690). The wearable device (1600) may include a flexible PCB (FPCB) for interconnecting the hardwares.

일 실시예에 따른, 웨어러블 장치(1600)는, 웨어러블 장치(1600)의 자세, 및/또는 웨어러블 장치(1600)를 착용한 사용자의 신체 부위(예, 머리)의 자세를 탐지하기 위한 자이로 센서, 중력 센서, 및/또는 가속도 센서 중 적어도 하나를 포함할 수 있다. 중력 센서, 및 가속도 센서 각각은, 서로 수직인 지정된 3차원 축들(예, x축, y축 및 z축)에 기반하여 중력 가속도, 및/또는 가속도를 측정할 수 있다. 자이로 센서는 지정된 3차원 축들(예, x축, y축 및 z축) 각각의 각속도를 측정할 수 있다. 상기 중력 센서, 상기 가속도 센서, 및 상기 자이로 센서 중 적어도 하나가, IMU(inertial measurement unit)로 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(1600)는 IMU에 기반하여 웨어러블 장치(1600)의 특정 기능을 실행하거나, 또는 중단하기 위해 수행된 사용자의 모션, 및/또는 제스쳐를 식별할 수 있다.According to one embodiment, a wearable device (1600) may include at least one of a gyro sensor, a gravity sensor, and/or an acceleration sensor for detecting a posture of the wearable device (1600) and/or a posture of a body part (e.g., a head) of a user wearing the wearable device (1600). Each of the gravity sensor and the acceleration sensor may measure gravitational acceleration and/or acceleration based on designated three-dimensional axes (e.g., x-axis, y-axis, and z-axis) that are perpendicular to each other. The gyro sensor may measure an angular velocity about each of the designated three-dimensional axes (e.g., x-axis, y-axis, and z-axis). At least one of the gravity sensor, the acceleration sensor, and the gyro sensor may be referred to as an inertial measurement unit (IMU). In one embodiment, the wearable device (1600) may identify a user's motion and/or gesture performed to execute or terminate a specific function of the wearable device (1600) based on the IMU.

도 17a 및 도 17b는, 일 실시예에 따른, 웨어러블 장치(1700)의 예시적인 외관을 도시한 사시도들이다. 도 1a 및 도 1b, 도 2의 웨어러블 장치(101)는, 도 17a 및 도 17b의 웨어러블 장치(1700)를 포함할 수 있다. 일 실시예에 따른, 웨어러블 장치(1700)의 하우징의 제1 면(1710)의 외관의 일 예가 도 17a에 도시되고, 상기 제1 면(1710)의 반대되는(opposite to) 제2 면(1720)의 외관의 일 예가 도 17b에 도시될 수 있다.FIGS. 17A and 17B are perspective views illustrating exemplary exterior views of a wearable device (1700) according to one embodiment. The wearable device (101) of FIGS. 1A and 1B and FIG. 2 may include the wearable device (1700) of FIGS. 17A and 17B. An example of an exterior view of a first side (1710) of a housing of the wearable device (1700) according to one embodiment is illustrated in FIG. 17A, and an example of an exterior view of a second side (1720) opposite to the first side (1710) is illustrated in FIG. 17B.

도 17a를 참고하면, 일 실시예에 따른, 웨어러블 장치(1700)의 제1 면(1710)은, 사용자의 신체 부위(예, 상기 사용자의 얼굴) 상에 부착가능한(attachable) 형태를 가질 수 있다. 비록 도시되지 않았지만, 웨어러블 장치(1700)는, 사용자의 신체 부위 상에 고정되기 위한 스트랩, 및/또는 하나 이상의 템플들(예, 도 16a 내지 도 16b의 제1 템플(1604), 및/또는 제2 템플(1605))을 더 포함할 수 있다. 사용자의 양 눈들 중에서 좌측 눈으로 이미지를 출력하기 위한 제1 디스플레이(1750-1), 및 상기 양 눈들 중에서 우측 눈으로 이미지를 출력하기 위한 제2 디스플레이(1750-2)가 제1 면(1710) 상에 배치될 수 있다. 웨어러블 장치(1700)는 제1 면(1710) 상에 형성되고, 상기 제1 디스플레이(1750-1), 및 상기 제2 디스플레이(1750-2)로부터 방사되는 광과 상이한 광(예, 주변 광(ambient light))에 의한 간섭을 방지하기/줄이기 위한, 고무, 또는 실리콘 패킹(packing)을 더 포함할 수 있다.Referring to FIG. 17A, a first surface (1710) of a wearable device (1700) according to one embodiment may have a form attachable on a body part of a user (e.g., the face of the user). Although not shown, the wearable device (1700) may further include a strap for being fixed on a body part of a user, and/or one or more temples (e.g., the first temple (1604) and/or the second temple (1605) of FIGS. 16A and 16B). A first display (1750-1) for outputting an image to a left eye among the user's two eyes, and a second display (1750-2) for outputting an image to a right eye among the user's two eyes may be disposed on the first surface (1710). The wearable device (1700) may further include a rubber or silicone packing formed on the first surface (1710) to prevent/reduce interference by light (e.g., ambient light) different from light radiated from the first display (1750-1) and the second display (1750-2).

일 실시예에 따른, 웨어러블 장치(1700)는, 상기 제1 디스플레이(1750-1), 및 상기 제2 디스플레이(1750-2) 각각에 인접한 사용자의 양 눈들을 촬영, 및/또는 추적하기 위한 카메라들(1740-3, 1740-4)을 포함할 수 있다. 상기 카메라들(1740-3, 1740-4)은, ET 카메라로 참조될 수 있다. 일 실시예에 따른, 웨어러블 장치(1700)는, 사용자의 얼굴을 촬영, 및/또는 인식하기 위한 카메라들(1740-1, 1740-2)을 포함할 수 있다. 상기 카메라들(1740-1, 1740-2)은, FT 카메라로 참조될 수 있다.According to one embodiment, a wearable device (1700) may include cameras (1740-3, 1740-4) for photographing and/or tracking both eyes of a user adjacent to each of the first display (1750-1) and the second display (1750-2). The cameras (1740-3, 1740-4) may be referred to as ET cameras. According to one embodiment, a wearable device (1700) may include cameras (1740-1, 1740-2) for photographing and/or recognizing a face of a user. The cameras (1740-1, 1740-2) may be referred to as FT cameras.

도 17b를 참고하면, 도 17a의 제1 면(1710)과 반대되는 제2 면(1720) 상에, 웨어러블 장치(1700)의 외부 환경과 관련된 정보를 획득하기 위한 카메라(예, 카메라들(1740-5, 1740-6, 1740-7, 1740-8, 1740-9, 1740-10)), 및/또는 센서(예, 깊이 센서(1730))가 배치될 수 있다. 예를 들어, 카메라들(1740-5, 1740-6, 1740-7, 1740-8, 1740-9, 1740-10)은, 웨어러블 장치(1700)와 상이한 외부 객체를 인식하기 위하여, 제2 면(1720) 상에 배치될 수 있다. 예를 들어, 카메라들(1740-9, 1740-10)을 이용하여, 웨어러블 장치(1700)는 사용자의 양 눈들 각각으로 송신될 이미지, 및/또는 미디어를 획득할 수 있다. 카메라(1740-9)는, 상기 양 눈들 중에서 우측 눈에 대응하는 제2 디스플레이(1750-2)를 통해 표시될 프레임을 획득하도록, 웨어러블 장치(1700)의 제2 면(1720) 상에 배치될 수 있다. 카메라(1740-10)는, 상기 양 눈들 중에서 좌측 눈에 대응하는 제1 디스플레이(1750-1)를 통해 표시될 프레임을 획득하도록, 웨어러블 장치(1700)의 제2 면(1720) 상에 배치될 수 있다.Referring to FIG. 17b, cameras (e.g., cameras (1740-5, 1740-6, 1740-7, 1740-8, 1740-9, 1740-10)) and/or sensors (e.g., depth sensors (1730)) for obtaining information related to an external environment of the wearable device (1700) may be disposed on a second surface (1720) opposite to the first surface (1710) of FIG. 17a. For example, the cameras (1740-5, 1740-6, 1740-7, 1740-8, 1740-9, 1740-10) may be disposed on the second surface (1720) to recognize external objects different from the wearable device (1700). For example, using cameras (1740-9, 1740-10), the wearable device (1700) can acquire images and/or media to be transmitted to each of the user's two eyes. The camera (1740-9) can be positioned on the second face (1720) of the wearable device (1700) to acquire a frame to be displayed through the second display (1750-2) corresponding to the right eye among the two eyes. The camera (1740-10) can be positioned on the second face (1720) of the wearable device (1700) to acquire a frame to be displayed through the first display (1750-1) corresponding to the left eye among the two eyes.

일 실시예에 따른, 웨어러블 장치(1700)는, 웨어러블 장치(1700), 및 외부 객체 사이의 거리를 식별하기 위하여 제2 면(1720) 상에 배치된 깊이 센서(1730)를 포함할 수 있다. 깊이 센서(1730)를 이용하여, 웨어러블 장치(1700)는, 웨어러블 장치(1700)를 착용한 사용자의 FoV의 적어도 일부분에 대한 공간 정보(spatial information)(예, 깊이 맵(depth map))를 획득할 수 있다.In one embodiment, the wearable device (1700) may include a depth sensor (1730) disposed on the second surface (1720) to identify a distance between the wearable device (1700) and an external object. Using the depth sensor (1730), the wearable device (1700) may obtain spatial information (e.g., a depth map) for at least a portion of a FoV of a user wearing the wearable device (1700).

비록 도시되지 않았지만, 웨어러블 장치(1700)의 제2 면(1720) 상에, 외부 객체로부터 출력된 소리를 획득하기 위한 마이크가 배치될 수 있다. 마이크의 개수는, 실시예에 따라 하나 이상일 수 있다.Although not shown, a microphone may be placed on the second side (1720) of the wearable device (1700) to acquire sound output from an external object. The number of microphones may be one or more depending on the embodiment.

일 실시예에서, 신체 부위가 웨어러블 장치의 카메라 및/또는 센서에 의해 탐지가능한 범위 밖으로 이동된 이후, 상기 범위에 대한 상기 신체 부위의 재진입을 식별하는 방안이 요구될 수 있다. 상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치(wearable device)(예, 도 1a 내지 도 1b, 도 2의 웨어러블 장치(101) 및/또는 도 7a 내지 도 7c의 전자 장치(101-1))는, 카메라(예, 도 2의 카메라(225)), 디스플레이(예, 도 2의 디스플레이(220)) 및 처리 회로를 포함하는, 적어도 하나의 프로세서(예, 도 2의 프로세서(210))를 포함할 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 디스플레이를 통해 가상 공간 내 가상 객체(예, 도 1a 내지 도 1b의 가상 객체(140), 도 6a 내지 도 6c의 가상 객체(630), 도 9a 내지 도 9c의 가상 객체(925), 도 10의 가상 객체(1030), 도 11a 내지 도 11c의 가상 객체(1130), 도 12a 내지 도 12b의 가상 객체(1231), 도 13a 내지 도 13c의 가상 객체(1330), 도 14a 내지 도 14c의 가상 객체들(1421, 1422, 1431, 1432))를 표시하는 동안, 상기 카메라의 FoV(field-of-view)(예, 도 1a 내지 도 1b, 도 4 내지 도 5의 FoV(120), 도 6a 내지 도 6c의 FoV(610), 도 7a 내지 도 7c의 FoV(710), 도 9a 내지 도 9c의 FoV(910), 도 10의 FoV(1010), 도 11a 내지 도 11c의 FoV(1110), 도 12a 내지 도 12b의 FoV(1210), 도 13a 내지 도 13c의 FoV(1310)) 내 신체 부위를 식별하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 가상 객체의 이동을 위한 지정된 자세의 상기 신체 부위를 식별하는 것에 기반하여, 상기 FoV 내에서 이동되는 상기 신체 부위의 경로(예, 도 6a의 경로(642))를 따라 이동되는 상기 가상 객체를 표시하기 위하여 디스플레이를 제어하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 경로에 따라 상기 가상 객체를 이동하는 상태 내에서, 상기 카메라를 이용하여, 상기 FoV의 가장자리의 제1 위치를 통해 상기 신체 부위가 상기 FoV의 밖으로 이동되는 것을 식별하는 것에 기반하여, 상기 제1 위치에 대응하는 상기 가상 공간 내 제2 위치에 상기 가상 객체를 표시하기 위하여 상기 디스플레이를 제어하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 제2 위치에 상기 가상 객체를 표시한 이후, 상기 FoV 안으로 이동된 상기 지정된 자세의 상기 신체 부위를 식별하는 것에 기반하여, 상기 제2 위치로부터 이동되고, 상기 FoV 내 상기 신체 부위의 경로(예, 도 6b의 경로(652))를 따라 이동되는, 상기 가상 객체를 표시하기 위하여 상기 디스플레이를 제어하도록, 구성될 수 있다. 일 실시예에 따른, 웨어러블 장치는, 신체 부위가 카메라의 FoV(또는 센서에 의해 탐지가능한 범위) 밖으로 이동된 것에 기반하여, 상기 FoV에 대한 상기 신체 부위의 재진입에 기반하여, 상기 신체 부위에 매칭되었던 가상 객체와 관련된 기능을 다시 실행할 수 있다.In one embodiment, a method may be desired to identify re-entry of a body part into a range detectable by a camera and/or sensors of a wearable device after the body part has moved out of said range. As described above, in one embodiment, a wearable device (e.g., the wearable device (101) of FIGS. 1A-1B and 2 and/or the electronic device (101-1) of FIGS. 7A-7C) may include at least one processor (e.g., the processor (210) of FIG. 2), including a camera (e.g., the camera (225) of FIG. 2), a display (e.g., the display (220) of FIG. 2), and processing circuitry. At least one processor, individually and/or collectively, displays a virtual object in a virtual space via the display (e.g., a virtual object (140) of FIGS. 1A to 1B , a virtual object (630) of FIGS. 6A to 6C , a virtual object (925) of FIGS. 9A to 9C , a virtual object (1030) of FIG. 10 , a virtual object (1130) of FIGS. 11A to 11C , a virtual object (1231) of FIGS. 12A to 12B , a virtual object (1330) of FIGS. 13A to 13C , virtual objects (1421, 1422, 1431, 1432) of FIGS. 14A to 14C ), while the field-of-view (FoV) of the camera (e.g., a FoV (120) of FIGS. 1A to 1B , 4 to 5 , 6A to 6C ) The FoV (610) may be configured to identify a body part within the FoV (710) of FIGS. 7A to 7C, the FoV (910) of FIGS. 9A to 9C, the FoV (1010) of FIGS. 10, the FoV (1110) of FIGS. 11A to 11C, the FoV (1210) of FIGS. 12A to 12B, and the FoV (1310) of FIGS. 13A to 13C. At least one processor may be configured, individually and/or collectively, to control a display to display the virtual object moving along a path (e.g., path (642) of FIG. 6A) of the body part moving within the FoV, based on identifying the body part in a specified pose for movement of the virtual object. At least one processor may be configured, individually and/or collectively, to control the display to display the virtual object at a second location within the virtual space corresponding to the first location, based on identifying, using the camera, that the body part has moved out of the FoV via a first location at an edge of the FoV, within the state of moving the virtual object along the path. The at least one processor may be configured, individually and/or collectively, to control the display to display the virtual object, after displaying the virtual object at the second location, based on identifying the body part of the designated pose that has moved into the FoV, moved from the second location and moved along the path of the body part within the FoV (e.g., path (652) of FIG. 6b ). In one embodiment, the wearable device may, based on a body part moving out of a camera's FoV (or a range detectable by a sensor), re-execute a function associated with a virtual object that was matched to the body part based on the body part's re-entry into the FoV.

예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 제2 위치에 상기 가상 객체를 표시한 것에 기반하여, 상기 FoV의 밖으로 이동되었던 상기 신체 부위가 움직일 수 있는 영역에 대한 정보를 이용하여, 상기 카메라를 이용하여 식별된 상기 FoV 안으로 이동된 상기 신체 부위가 상기 FoV의 밖으로 이동되었던 상기 신체 부위에 대응하는지 여부를 결정하도록, 구성될 수 있다.For example, at least one processor may be configured, individually and/or collectively, to determine, based on displaying the virtual object at the second location, whether the body part identified using the camera that has moved into the FoV corresponds to the body part that has moved out of the FoV, using information about the area in which the body part that has moved out of the FoV can move.

예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 가상 공간에서 상기 디스플레이를 통해 현재 표시되는 영역의 외부 공간과 연결된 상기 가상 객체를 표시하는 동안, 상기 지정된 자세의 상기 신체 부위가 상기 FoV 안으로 이동되는 것을 식별하는 것에 기반하여, 상기 가상 객체 및 상기 외부 공간 사이의 연결을 해제하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 신체 부위가 상기 FoV의 밖으로 이동된 동안, 상기 현재 표시되는 영역에서 상기 외부 공간으로의 상기 웨어러블 장치의 이동과 독립적으로, 상기 가상 객체의 상기 디스플레이 내 상기 제2 위치를 유지하도록, 구성될 수 있다.For example, at least one processor may be configured, individually and/or collectively, to: disconnect the connection between the virtual object and the external space based on identifying that the body part in the designated pose moves into the FoV while displaying the virtual object connected to the external space of the area currently displayed via the display in the virtual space; and at least one processor may be configured, individually and/or collectively, to maintain the second position of the virtual object within the display independently of movement of the wearable device from the currently displayed area to the external space while the body part moves out of the FoV.

예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 제2 위치에 상기 가상 객체를 표시한 것에 기반하여, 상기 지정된 자세와 상이한 자세를 가지는 상기 신체 부위를, 상기 FoV 내에서 식별하는 것에 기반하여, 상기 가상 객체의 위치를, 상기 제2 위치로부터, 상기 신체 부위가 움직일 수 있는 영역에 대한 정보, 상기 신체 부위의 이동 속도 중 적어도 하나를 기초로 상기 외부 공간의 제3 위치로 변경하도록, 구성될 수 있다.For example, at least one processor may be configured, individually and/or collectively, to change the location of the virtual object from the second location to a third location in the external space based on at least one of information about an area in which the body part can move, a speed of movement of the body part, based on identifying, within the FoV, a body part having a posture different from the designated posture, based on displaying the virtual object at the second location.

예를 들어, 상기 웨어러블 장치는, 메모리(예, 도 2의 메모리(215))를 더 포함할 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 제2 위치에 상기 가상 객체를 표시한 것에 기반하여, 상기 지정된 자세와 상이한 자세를 가지는 상기 신체 부위를, 상기 FoV 내에서 식별하는 것에 기반하여, 상기 제2 위치에 상기 가상 객체를 표시하는 것을 중단하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 메모리 내에 상기 가상 객체에 대한 정보를 저장하도록, 구성될 수 있다.For example, the wearable device may further include a memory (e.g., memory (215) of FIG. 2). The at least one processor may be configured, individually and/or collectively, to stop displaying the virtual object at the second location based on identifying, within the FoV, a body part having a posture different from the designated posture, based on displaying the virtual object at the second location. The at least one processor may be configured, individually and/or collectively, to store information about the virtual object in the memory.

예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 FoV 안으로 이동되는 상기 신체 부위의 자세에 기반하여, 상기 메모리에 저장된 상기 정보의 표시를 나타내는 입력을 식별하는 것에 기반하여, 상기 디스플레이에 상기 정보에 대응하는 상기 가상 객체를 표시하도록, 구성될 수 있다.For example, at least one processor may be configured, individually and/or collectively, to display on the display a virtual object corresponding to said information based on identifying an input representing a representation of said information stored in the memory, based on a pose of said body part moving within said FoV.

예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 제1 위치에서, 상기 신체 부위가 제1 속도로 상기 FoV의 밖으로 이동되는 것을 식별하는 것에 기반하여, 상기 제1 속도를 이용하여 상기 가상 객체를 이동하도록, 구성될 수 있다.For example, at least one processor may be configured, individually and/or collectively, to move the virtual object using the first velocity based on identifying that the body part is moving out of the FoV at the first location at the first velocity.

예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 적어도 하나의 프로세서에 의해 실행되는 어플리케이션에 기반하여, 상기 지정된 자세를 식별하도록, 구성될 수 있다.For example, at least one processor may be configured, individually and/or collectively, to identify the specified posture based on an application being executed by the at least one processor.

상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 디스플레이를 통해 가상 공간 내 가상 객체를 표시하는 동안, 상기 웨어러블 장치의 카메라로부터 획득되는 비디오에 기반하여, 상기 카메라의 FoV(field-of-view) 내 신체 부위를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 가상 객체의 이동을 위한 지정된 자세의 상기 신체 부위를 식별하는 것에 기반하여, 상기 FoV 내에서 이동되는 상기 신체 부위의 경로를 따라 이동되는 상기 가상 객체를 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 경로에 따라 상기 가상 객체를 이동하는 상태 내에서, 상기 비디오로부터, 상기 FoV의 가장자리의 제1 위치를 통해 상기 신체 부위가 FoV의 밖으로 이동되는 것을 식별하는 것에 기반하여, 상기 제1 위치에 대응하는 상기 가상 공간 내 제2 위치에 상기 가상 객체를 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 제2 위치에 상기 가상 객체를 표시한 것에 기반하여, 상기 FoV 안으로 이동된 상기 지정된 자세의 상기 신체 부위를 식별하는 것에 기반하여, 상기 제2 위치로부터 이동되고, 상기 FoV 내 상기 신체 부위의 경로를 따라 이동되는, 상기 가상 객체를 표시하는 동작을 포함할 수 있다.As described above, in one embodiment, a method of a wearable device may include an operation of identifying a body part within a field-of-view (FoV) of a camera of the wearable device based on a video acquired from a camera of the wearable device while displaying a virtual object within a virtual space through a display of the wearable device. The method may include an operation of displaying the virtual object moving along a path of the body part moving within the FoV based on the identification of the body part in a specified posture for movement of the virtual object. The method may include an operation of displaying the virtual object at a second location within the virtual space corresponding to the first location based on the identification, from the video, that the body part is moving out of the FoV through a first location of an edge of the FoV within a state of moving the virtual object along the path. The method may include an action of displaying the virtual object, based on identifying the body part of the specified posture that has moved into the FoV based on displaying the virtual object at the second location, and displaying the virtual object so as to be moved from the second location and along a path of the body part within the FoV.

예를 들어, 상기 제2 위치로부터 이동되는 상기 가상 객체를 표시하는 동작은, 상기 제2 위치에 상기 가상 객체를 표시한 것에 기반하여, 상기 FoV의 밖으로 이동되었던 상기 신체 부위가 움직일 수 있는 영역에 대한 정보를 이용하여, 상기 카메라를 이용하여 식별된 상기 FoV 안으로 이동된 상기 신체 부위가 상기 FoV의 밖으로 이동되었던 상기 신체 부위에 대응하는지 여부를 결정하는 동작을 포함할 수 있다.For example, the act of displaying the virtual object moved from the second location may include an act of determining, based on displaying the virtual object at the second location, whether the body part moved into the FoV identified using the camera corresponds to the body part moved out of the FoV, using information about an area in which the body part that moved out of the FoV can move.

예를 들어, 상기 식별하는 동작은, 상기 가상 공간에서 상기 디스플레이를 통해 현재 표시되는 영역의 외부 공간과 연결된 상기 가상 객체를 표시하는 동안, 상기 지정된 자세의 상기 신체 부위가 상기 FoV 안으로 이동되는 것을 식별하는 것에 기반하여, 상기 가상 객체 및 상기 외부 공간 사이의 연결을 해제하는 동작을 포함할 수 있다. 상기 방법은, 상기 신체 부위가 상기 FoV의 밖으로 이동된 동안, 상기 현재 표시되는 영역에서 상기 외부 공간으로의 상기 웨어러블 장치의 이동과 독립적으로, 상기 가상 객체의 상기 디스플레이 내 상기 제2 위치를 유지하는 동작을 포함할 수 있다.For example, the identifying action may include an action of disconnecting the virtual object and the external space based on identifying that the body part in the designated posture moves into the FoV while displaying the virtual object connected to the external space of the area currently displayed through the display in the virtual space. The method may include an action of maintaining the second position of the virtual object within the display, independently of movement of the wearable device from the currently displayed area to the external space, while the body part is moved out of the FoV.

예를 들어, 상기 방법은, 상기 제2 위치에 상기 가상 객체를 표시한 것에 기반하여, 상기 지정된 자세와 상이한 자세를 가지는 상기 신체 부위를, 상기 FoV 내에서 식별하는 것에 기반하여, 상기 가상 객체의 위치를, 상기 제2 위치로부터, 상기 신체 부위가 상기 FoV의 밖으로 이동되기 전 경로, 상기 신체 부위가 움직일 수 있는 영역에 대한 정보, 상기 신체 부위의 이동 속도 중 적어도 하나를 기초로 외부 공간의 제3 위치로 변경하는 동작을 포함할 수 있다.For example, the method may include an operation of changing the location of the virtual object from the second location to a third location in external space based on at least one of a path taken by the body part before it moved out of the FoV, information about an area in which the body part can move, and a moving speed of the body part, based on identifying, within the FoV, a body part having a posture different from the designated posture, the body part displaying the virtual object at the second location.

예를 들어, 상기 방법은, 상기 제2 위치에 상기 가상 객체를 표시한 것에 기반하여, 상기 지정된 자세와 상이한 자세를 가지는 상기 신체 부위를, 상기 FoV 내에서 식별하는 것에 기반하여, 상기 제2 위치에 상기 가상 객체를 표시하는 것을 중단하는 동작을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치의 메모리 내에 상기 가상 객체에 대한 정보를 저장하는 동작을 포함할 수 있다.For example, the method may include an action of stopping displaying the virtual object at the second location based on identifying, within the FoV, a body part having a posture different from the designated posture based on displaying the virtual object at the second location. The method may include an action of storing information about the virtual object in a memory of the wearable device.

예를 들어, 상기 방법은, 상기 FoV 안으로 이동되는 상기 신체 부위의 자세에 기반하여, 상기 메모리에 저장된 상기 정보의 표시를 나타내는 입력을 식별하는 것에 기반하여, 상기 디스플레이에 상기 정보에 대응하는 상기 가상 객체를 표시하는 동작을 포함할 수 있다.For example, the method may include an action of displaying the virtual object corresponding to the information on the display based on identifying an input representing a representation of the information stored in the memory based on a pose of the body part moving within the FoV.

예를 들어, 상기 제2 위치에 상기 가상 객체를 표시하는 동작은, 상기 제1 위치에서, 상기 신체 부위가 제1 속도로 상기 FoV의 밖으로 이동되는 것을 식별하는 것에 기반하여, 상기 제1 속도를 이용하여 상기 가상 객체를 이동하는 동작을 포함할 수 있다.For example, the act of displaying the virtual object at the second location may include an act of moving the virtual object using the first velocity based on identifying that the body part is moving out of the FoV at the first velocity at the first location.

예를 들어, 상기 식별하는 동작은, 상기 웨어러블 장치의 프로세서에 의해 실행되는 어플리케이션에 기반하여, 상기 지정된 자세를 식별하는 동작을 포함할 수 있다.For example, the identifying action may include an action of identifying the specified posture based on an application executed by a processor of the wearable device.

상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치(wearable device)는, 카메라, 디스플레이 및, 처리 회로를 포함하는, 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 카메라에 기반하여, 제1 타이밍에서 상기 카메라의 FoV(field-of-view) 안으로 이동되는 신체 부위를 식별하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 제1 타이밍에서 상기 FoV 안으로 이동된 상기 신체 부위의 자세가 지정된 자세에 대응함을 식별하는 것에 기반하여, 상기 제1 타이밍 이전의 제2 타이밍에서 상기 신체 부위와 연결되었던 적어도 하나의 가상 객체를 식별하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 디스플레이 내에, 상기 FoV 내 상기 신체 부위의 위치에 기반하여, 상기 적어도 하나의 가상 객체를 표시하기 위하여, 상기 디스플레이를 제어하도록, 구성될 수 있다.According to one embodiment of the present invention, a wearable device as described above may include at least one processor, including a camera, a display, and a processing circuit. The at least one processor may be configured, individually and/or collectively, to identify a body part that moves into a field-of-view (FoV) of the camera at a first timing based on the camera. The at least one processor may be configured, individually and/or collectively, to identify, based on identifying that a pose of the body part that moves into the FoV at the first timing corresponds to a designated pose, at least one virtual object that was associated with the body part at a second timing prior to the first timing. The at least one processor may be configured, individually and/or collectively, to control the display to display, within the display, the at least one virtual object based on a position of the body part within the FoV.

예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 신체 부위가 움직일 수 있는 영역에 대한 정보를 이용하여, 상기 신체 부위의 상기 자세가 상기 지정된 자세에 대응하는지 여부를 식별하도록, 구성될 수 있다.For example, at least one processor may be configured, individually and/or collectively, to use information about an area in which the body part is movable to identify whether the posture of the body part corresponds to the designated posture.

예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 제2 타이밍에서 상기 FoV 밖으로 이동된 상기 신체 부위를 식별하는 것에 기반하여, 상기 신체 부위가 이동된 상기 FoV의 가장자리에, 상기 적어도 하나의 가상 객체를 표시하도록, 구성될 수 있다.For example, at least one processor can be configured, individually and/or collectively, to display at least one virtual object at an edge of the FoV to which the body part has moved based on identifying the body part that has moved out of the FoV at the second timing.

예를 들어, 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 카메라에 기반하여, 상기 신체 부위가 상기 FoV 내에서 이동되는 경로를 식별하도록, 구성될 수 있다. 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 경로에 기반하여, 상기 디스플레이 내에서 상기 적어도 하나의 가상 객체의 위치를 변경하도록, 구성될 수 있다.For example, at least one processor may be configured, individually and/or collectively, to identify a path along which the body part moves within the FoV based on the camera. The at least one processor may be configured, individually and/or collectively, to change a position of the at least one virtual object within the display based on the path.

상술한 바와 같은, 일 실시예에 따른, 웨어러블 장치의 방법은, 상기 웨어러블 장치의 카메라에 기반하여, 제1 타이밍에서 상기 웨어러블 장치의 카메라의 FoV 안으로 이동되는 신체 부위를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 타이밍에서 상기 FoV 안으로 이동된 상기 신체 부위의 자세가 지정된 자세에 대응함을 식별하는 것에 기반하여, 상기 제1 타이밍 이전의 제2 타이밍에서 상기 신체 부위와 연결되었던 적어도 하나의 가상 객체를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 웨어러블 장치의 디스플레이 내에, 상기 FoV 내 상기 신체 부위의 위치에 기반하여, 적어도 하나의 가상 객체를 표시하는 동작을 포함할 수 있다.According to one embodiment of the present invention, a method of a wearable device as described above may include an operation of identifying a body part moving into a FoV of a camera of the wearable device at a first timing based on a camera of the wearable device. The method may include an operation of identifying at least one virtual object that was connected to the body part at a second timing prior to the first timing based on identifying that a posture of the body part moved into the FoV at the first timing corresponds to a designated posture. The method may include an operation of displaying at least one virtual object within a display of the wearable device based on a position of the body part within the FoV.

예를 들어, 상기 식별하는 동작은, 상기 신체 부위가 움직일 수 있는 영역에 대한 정보를 이용하여, 상기 신체 부위의 상기 자세가 지정된 자세에 대응하는지 여부를 식별하는 동작을 포함할 수 있다.For example, the identifying action may include an action of identifying whether the posture of the body part corresponds to a specified posture by using information about the area in which the body part can move.

예를 들어, 상기 표시하는 동작은, 상기 제2 타이밍에서 상기 FoV 밖으로 이동된 상기 신체 부위를 식별하는 것에 기반하여, 상기 신체 부위가 이동된 상기 FoV의 가장자리에, 상기 적어도 하나의 가상 객체를 표시하는 동작을 포함할 수 있다.For example, the displaying action may include an action of displaying at least one virtual object at an edge of the FoV to which the body part has moved, based on identifying the body part that has moved out of the FoV at the second timing.

예를 들어, 상기 표시하는 동작은, 상기 카메라에 기반하여, 상기 신체 부위가 상기 FoV 내에서 이동되는 경로를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 경로에 기반하여, 상기 디스플레이 내에서 상기 적어도 하나의 가상 객체의 위치를 변경하는 동작을 포함할 수 있다.For example, the displaying action may include an action of identifying a path along which the body part moves within the FoV, based on the camera. The method may include an action of changing a position of the at least one virtual object within the display, based on the path.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 본 개시에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The devices described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, the devices and components described in the present disclosure may be implemented using one or more general-purpose computers or special-purpose computers, such as a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing instructions and responding to them. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. In addition, the processing device may access, store, manipulate, process, and generate data in response to the execution of the software. For ease of understanding, the processing device is sometimes described as being used alone, but those skilled in the art will appreciate that the processing device may include multiple processing elements and/or multiple types of processing elements. For example, the processing device may include multiple processors, or a processor and a controller. Other processing configurations, such as parallel processors, are also possible.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing device to perform a desired operation or may independently or collectively command the processing device. The software and/or data may be embodied in any type of machine, component, physical device, computer storage medium, or device for interpretation by the processing device or for providing instructions or data to the processing device. The software may be distributed over network-connected computer systems and stored or executed in a distributed manner. The software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.The method according to the embodiment may be implemented in the form of program commands that can be executed through various computer means and recorded on a computer-readable medium. At this time, the medium may be one that continuously stores a program executable by a computer, or one that temporarily stores it for execution or downloading. In addition, the medium may be various recording means or storage means in the form of a single or multiple hardware combinations, and is not limited to a medium directly connected to a computer system, and may also be distributed on a network. Examples of the medium may include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and ROMs, RAMs, flash memories, etc., configured to store program commands. In addition, examples of other media may include recording media or storage media managed by app stores that distribute applications, sites that supply or distribute various software, servers, etc.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described above by way of limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, appropriate results can be achieved even if the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or are replaced or substituted by other components or equivalents.

여기에 개시된 어느 실시예(들)도 여기에 개시된 어느 다른 실시예(들)과 결합되도록 이용되는 것으로 이해되어야 한다.It should be understood that any embodiment(s) disclosed herein may be utilized in combination with any other embodiment(s) disclosed herein.

Claims (15)

Translated fromKorean

웨어러블 장치(wearable device)에 있어서,In wearable devices,카메라;camera;디스플레이;display;인스트럭션들을 저장하는 메모리; 및Memory for storing instructions; and처리 회로를 포함하는, 적어도 하나의 프로세서를 포함하고, 개별적으로 및/또는 집합적으로, 상기 웨어러블 장치가,At least one processor comprising a processing circuit, individually and/or collectively, the wearable device,상기 디스플레이를 통해 가상 공간내 가상 객체를 표시하는 동안, 상기 카메라의 FoV(field-of-view) 내 신체 부위를 식별하고;While displaying a virtual object in a virtual space through the above display, a body part within the field-of-view (FoV) of the camera is identified;상기 가상 객체의 이동을 위한 지정된 자세의 상기 신체 부위를 식별하는 것에 기반하여, 상기 FoV 내에서 이동되는 상기 신체 부위의 경로를 따라 이동되는 상기 가상 객체를 표시하고;Based on identifying the body part in the designated posture for movement of the virtual object, displaying the virtual object moving along the path of the body part moving within the FoV;상기 경로에 따라 상기 가상 객체를 이동하는 상태 내에서, 상기 카메라를 이용하여, 상기 FoV의 가장자리의 제1 위치를 통해 상기 신체 부위가 상기 FoV의 밖으로 이동되는 것을 식별하는 것에 기반하여, 상기 제1 위치에 대응하는 상기 가상 공간내 제2 위치에 상기 가상 객체를 표시하고; 및In a state of moving the virtual object along the path, using the camera, based on identifying that the body part is moved out of the FoV through a first position of the edge of the FoV, displaying the virtual object at a second position in the virtual space corresponding to the first position; and상기 제2 위치에 상기 가상 객체를 표시한 것에 기반하여, 상기 FoV 안으로 이동된 상기 지정된 자세의 상기 신체 부위를 식별하는 것에 기반하여, 상기 제2 위치로부터 이동되고, 상기 FoV 내 상기 신체 부위의 경로를 따라 이동되는, 상기 가상 객체를 표시하도록, 야기하도록, 구성된,Based on displaying the virtual object at the second location, and identifying the body part of the designated posture moved into the FoV, causing the virtual object to be displayed, moved from the second location, and moved along the path of the body part within the FoV.웨어러블 장치.Wearable devices.청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 웨어러블 장치가,In claim 1, the at least one processor, individually and/or collectively, causes the wearable device to:상기 제2 위치에 상기 가상 객체를 표시한 것에 기반하여, 상기 FoV의 밖으로 이동되었던 상기 신체 부위가 움직일 수 있는 영역에 대한 정보를 이용하여, 상기 카메라를 이용하여 식별된 상기 FoV 안으로 이동된 상기 신체 부위가 상기 FoV의 밖으로 이동되었던 상기 신체 부위에 대응하는지 여부를 결정하도록, 야기하도록, 구성된,Based on the display of the virtual object at the second location, using information about the area in which the body part that was moved out of the FoV can move, determining whether the body part that was moved into the FoV identified using the camera corresponds to the body part that was moved out of the FoV is configured to cause.웨어러블 장치.Wearable devices.청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 웨어러블 장치가,In claim 1, the at least one processor, individually and/or collectively, causes the wearable device to:상기 가상 공간에서 상기 디스플레이를 통해 현재 표시되는 영역의 외부 공간과 연결된 상기 가상 객체를 표시하는 동안, 상기 지정된 자세의 상기 신체 부위가 상기 FoV 안으로 이동되는 것을 식별하는 것에 기반하여, 상기 가상 객체 및 상기 외부 공간 사이의 연결을 해제하고;While displaying the virtual object connected to the external space of the area currently displayed through the display in the virtual space, based on identifying that the body part of the designated posture moves into the FoV, disconnecting the connection between the virtual object and the external space;상기 신체 부위가 상기 FoV의 밖으로 이동된 동안, 상기 현재 표시되는 영역에서 상기 외부 공간으로의 상기 웨어러블 장치의 이동과 독립적으로, 상기 가상 객체의 상기 디스플레이 내 상기 제2 위치를 유지하도록, 야기하도록, 구성된,configured to cause said virtual object to maintain said second position within said display, independently of movement of said wearable device from said currently displayed area to said external space, while said body part is moved out of said FoV;웨어러블 장치.Wearable devices.청구항 3에 있어서, 상기 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 웨어러블 장치가,In claim 3, the at least one processor, individually and/or collectively, causes the wearable device to:상기 제2 위치에 상기 가상 객체를 표시한 것에 기반하여, 상기 지정된 자세와 상이한 자세를 가지는 상기 신체 부위를, 상기 FoV 내에서 식별하는 것에 기반하여, 상기 가상 객체의 위치를, 상기 제2 위치로부터, 상기 신체 부위가 상기 FoV의 밖으로 이동되기 전 경로, 상기 신체 부위가 움직일 수 있는 영역에 대한 정보, 상기 신체 부위의 이동 속도 중 적어도 하나를 기초로 상기 외부 공간의 제3 위치로 변경하도록, 야기하도록, 구성된,Based on displaying the virtual object at the second location, identifying the body part having a posture different from the designated posture within the FoV, and causing the location of the virtual object to be changed from the second location to a third location in the external space based on at least one of a path before the body part is moved out of the FoV, information about an area in which the body part can move, and a moving speed of the body part.웨어러블 장치.Wearable devices.청구항 3에 있어서,In claim 3,상기 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 웨어러블 장치가,The at least one processor, individually and/or collectively, causes the wearable device to:상기 제2 위치에 상기 가상 객체를 표시한 것에 기반하여, 상기 지정된 자세와 상이한 자세를 가지는 상기 신체 부위를, 상기 FoV 내에서 식별하는 것에 기반하여, 상기 제2 위치에 상기 가상 객체를 표시하는 것을 중단하고; 및Based on displaying the virtual object at the second location, stopping displaying the virtual object at the second location based on identifying, within the FoV, the body part having a posture different from the designated posture; and상기 메모리 내에 상기 가상 객체에 대한 정보를 저장하도록, 야기하도록, 구성된,configured to cause information about said virtual object to be stored in said memory,웨어러블 장치.Wearable devices.청구항 5에 있어서, 상기 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 웨어러블 장치가,In claim 5, the at least one processor, individually and/or collectively, causes the wearable device to:상기 FoV 안으로 이동되는 상기 신체 부위의 자세에 기반하여, 상기 메모리에 저장된 상기 정보의 표시를 나타내는 입력을 식별하는 것에 기반하여, 상기 디스플레이에 상기 정보에 대응하는 상기 가상 객체를 표시하도록, 야기하도록, 구성된,Based on the posture of the body part moving into the FoV, and based on identifying an input representing a representation of the information stored in the memory, causing the display to display the virtual object corresponding to the information.웨어러블 장치.Wearable devices.청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 웨어러블 장치가,In claim 1, the at least one processor, individually and/or collectively, causes the wearable device to:상기 제1 위치에서, 상기 신체 부위가 제1 속도로 상기 FoV의 밖으로 이동되는 것을 식별하는 것에 기반하여, 상기 제1 속도를 이용하여 상기 가상 객체를 이동하도록, 야기하도록, 구성된,At the first location, based on identifying that the body part is moving out of the FoV at a first speed, causing the virtual object to move using the first speed.웨어러블 장치.Wearable devices.청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 개별적으로 및/또는 집합적으로, 상기 웨어러블 장치가,In claim 1, the at least one processor, individually and/or collectively, causes the wearable device to:상기 프로세서에 의해 실행되는 어플리케이션에 기반하여, 상기 지정된 자세를 식별하도록, 야기하도록, 구성된,configured to cause, based on an application executed by said processor, to identify said specified posture;웨어러블 장치.Wearable devices.웨어러블 장치의 방법에 있어서,In a method of a wearable device,상기 웨어러블 장치의 디스플레이를 통해 가상 공간 내 가상 객체를 표시하는 동안, 상기 웨어러블 장치의 카메라로부터 획득되는 비디오에 기반하여, 상기 카메라의 FoV(field-of-view) 내 신체 부위를 식별하는 동작;An operation of identifying a body part within the field-of-view (FoV) of a camera of the wearable device based on a video acquired from the camera of the wearable device while displaying a virtual object within a virtual space through the display of the wearable device;상기 가상 객체의 이동을 위한 지정된 자세의 상기 신체 부위를 식별하는 것에 기반하여, 상기 FoV 내에서 이동되는 상기 신체 부위의 경로를 따라 이동되는 상기 가상 객체를 표시하는 동작;An action of displaying the virtual object moving along a path of the body part moving within the FoV based on identifying the body part in a designated posture for movement of the virtual object;상기 경로에 따라 상기 가상 객체를 이동하는 상태 내에서, 상기 비디오로부터, 상기 FoV의 가장자리의 제1 위치를 통해 상기 신체 부위가 FoV의 밖으로 이동되는 것을 식별하는 것에 기반하여, 상기 제1 위치에 대응하는 상기 가상 공간 내 제2 위치에 상기 가상 객체를 표시하는 동작; 및An operation of displaying the virtual object at a second location in the virtual space corresponding to the first location, based on identifying that the body part has moved out of the FoV through a first location of the edge of the FoV from the video, within a state of moving the virtual object along the path; and상기 제2 위치에 상기 가상 객체를 표시한 것에 기반하여, 상기 FoV 안으로 이동된 상기 지정된 자세의 상기 신체 부위를 식별하는 것에 기반하여, 상기 제2 위치로부터 이동되고, 상기 FoV 내 상기 신체 부위의 경로를 따라 이동되는, 상기 가상 객체를 표시하는 동작을 포함하는,Based on displaying the virtual object at the second location, identifying the body part of the designated posture moved into the FoV, including an action of displaying the virtual object moved from the second location and moving along the path of the body part within the FoV.방법.method.청구항 9에 있어서, 상기 제2 위치로부터 이동되는 상기 가상 객체를 표시하는 동작은,In claim 9, the action of displaying the virtual object moved from the second position is:상기 제2 위치에 상기 가상 객체를 표시한 것에 기반하여, 상기 FoV의 밖으로 이동되었던 상기 신체 부위가 움직일 수 있는 영역에 대한 정보를 이용하여, 상기 카메라를 이용하여 식별된 상기 FoV 안으로 이동된 상기 신체 부위가 상기 FoV의 밖으로 이동되었던 상기 신체 부위에 대응하는지 여부를 결정하는 동작을 포함하는,Based on displaying the virtual object at the second location, an operation of determining whether the body part moved into the FoV identified using the camera corresponds to the body part moved out of the FoV by using information about the area in which the body part moved out of the FoV can move.방법.method.청구항 9에 있어서, 상기 식별하는 동작은,In claim 9, the identifying action comprises:상기 가상 공간에서 상기 디스플레이를 통해 현재 표시되는 영역의 외부 공간과 연결된 상기 가상 객체를 표시하는 동안, 상기 지정된 자세의 상기 신체 부위가 상기 FoV 안으로 이동되는 것을 식별하는 것에 기반하여, 상기 가상 객체 및 상기 외부 공간 사이의 연결을 해제하는 동작;An action of disconnecting the connection between the virtual object and the external space based on identifying that the body part of the designated posture moves into the FoV while displaying the virtual object connected to the external space of the area currently displayed through the display in the virtual space;상기 신체 부위가 상기 FoV의 밖으로 이동된 동안, 상기 현재 표시되는 영역에서 상기 외부 공간으로의 상기 웨어러블 장치의 이동과 독립적으로, 상기 가상 객체의 상기 디스플레이 내 상기 제2 위치를 유지하는 동작을 포함하는,An action of maintaining the second position of the virtual object within the display, independently of movement of the wearable device from the currently displayed area to the external space, while the body part is moved out of the FoV.방법.method.청구항 11에 있어서,In claim 11,상기 제2 위치에 상기 가상 객체를 표시한 것에 기반하여, 상기 지정된 자세와 상이한 자세를 가지는 상기 신체 부위를, 상기 FoV 내에서 식별하는 것에 기반하여, 상기 가상 객체의 위치를, 상기 제2 위치로부터, 상기 신체 부위가 상기 FoV의 밖으로 이동되기 전 경로, 상기 신체 부위가 움직일 수 있는 영역에 대한 정보, 상기 신체 부위의 이동 속도 중 적어도 하나를 기초로 상기 외부 공간의 제3 위치로 변경하는 동작을 포함하는,Based on displaying the virtual object at the second location, an operation of changing the location of the virtual object from the second location to a third location in the external space based on at least one of: a path before the body part is moved out of the FoV, information about an area in which the body part can move, and a moving speed of the body part, based on identifying the body part within the FoV having a different posture from the designated posture.방법.method.청구항 11에 있어서,In claim 11,상기 제2 위치에 상기 가상 객체를 표시한 것에 기반하여, 상기 지정된 자세와 상이한 자세를 가지는 상기 신체 부위를, 상기 FoV 내에서 식별하는 것에 기반하여, 상기 제2 위치에 상기 가상 객체를 표시하는 것을 중단하는 동작; 및An action of stopping displaying the virtual object at the second location based on identifying, within the FoV, a body part having a posture different from the designated posture based on displaying the virtual object at the second location; and상기 웨어러블 장치의 메모리 내에 상기 가상 객체에 대한 정보를 저장하는 동작을 포함하는,Comprising an operation of storing information about the virtual object in the memory of the wearable device,방법.method.청구항 13에 있어서,In claim 13,상기 FoV 안으로 이동되는 상기 신체 부위의 자세에 기반하여, 상기 메모리에 저장된 상기 정보의 표시를 나타내는 입력을 식별하는 것에 기반하여, 상기 디스플레이에 상기 정보에 대응하는 상기 가상 객체를 표시하는 동작을 포함하는,Based on the posture of the body part moving into the FoV, an operation of displaying the virtual object corresponding to the information on the display is included, based on identifying an input representing a display of the information stored in the memory.방법.method.청구항 9에 있어서, 상기 제2 위치에 상기 가상 객체를 표시하는 동작은,In claim 9, the action of displaying the virtual object at the second location is,상기 제1 위치에서, 상기 신체 부위가 제1 속도로 상기 FoV의 밖으로 이동되는 것을 식별하는 것에 기반하여, 상기 제1 속도를 이용하여 상기 가상 객체를 이동하는 동작을 포함하는,In the first location, based on identifying that the body part is moving out of the FoV at a first speed, the motion of moving the virtual object using the first speed is included.방법.method.

Images