RU2653305C2 - System and method of providing image - Google Patents

Abstract

FIELD: electrical communication engineering.

SUBSTANCE: invention relates to image providing devices. Technical result is achieved by transmitting, to an external device, a first video image of a first resolution, which is converted from an original video image of an original resolution; receiving, from the external device, area information about an area of interest of the first video image of the first resolution; determining, based on the area information, an area corresponding to the area of interest, of the original video image of the original resolution, wherein the determined area is smaller than the original video image of the original resolution, converting a part of the original video image of the original resolution to a second video image of the first resolution, wherein the part corresponds to the determined area; and transmitting the second video image to the external device.

EFFECT: technical result consists in the possibility of providing a part of the captured video image to another device.

21 cl, 39 dwg

Description

Translated fromRussian

Область техники, к которой относится изобретениеFIELD OF THE INVENTION

[1] Примерные варианты осуществления относятся к системе и способу для предоставления изображения, включающего в себя объект, соответствующий части изображения, захваченного посредством использования устройства, в другое устройство.[1] Exemplary embodiments relate to a system and method for providing an image including an object corresponding to a portion of an image captured by using the device to another device.

Уровень техникиState of the art

[2] В последнее время, активно используется технология передачи и приема изображений между устройствами, имеющими мультимедийную функцию. В частности, поскольку предоставляются инфраструктуры мобильной связи, и типично используются такие устройства, как смартфоны, мобильные телефоны и персональные цифровые устройства (PDA), различные услуги, помимо функции голосовых вызовов, предоставляются посредством этих устройств.[2] Recently, the technology of transmitting and receiving images between devices having a multimedia function is actively used. In particular, since mobile communication infrastructures are provided, and devices such as smartphones, mobile phones, and personal digital devices (PDAs) are typically used, various services besides the voice call function are provided through these devices.

[3] Помимо этого, видеовызовы, выполняемые посредством использования устройств, дают возможность пользователям в двух различных местоположениях осуществлять видеовызов "лицом к лицу", даже если они могут находиться далеко друг от друга, и в силу этого быстро растет применение видеовызовов.[3] In addition, video calls made through the use of devices enable users to make face-to-face video calls at two different locations, even if they can be far apart, and the use of video calls is rapidly growing.

[4] В общем, устройство на передающей стороне получает видеоизображение пользователя для видеовызова, кодирует полученное изображение согласно предварительно определенному формату кодирования видео и передает кодированное видеоизображение в качестве кодированных видеоданных в противоположное устройство.[4] In general, the device on the transmitting side receives a user’s video image for a video call, encodes the received image according to a predetermined video encoding format, and transmits the encoded video image as encoded video data to the opposite device.

[5] Помимо этого, устройство на приемной стороне принимает кодированные видеоданные через сеть мобильной связи и декодирует и отображает их на дисплее, встроенном в устройство на приемной стороне, например, на жидкокристаллическом дисплее (ЖК-дисплее). Соответственно, пользователь на приемной стороне может осуществлять телефонный вызов посредством просмотра изображения, захваченного посредством использования устройства на передающей стороне, в реальном времени.[5] In addition, the device on the receiving side receives encoded video data via a mobile communication network and decodes and displays them on a display built into the device on the receiving side, for example, a liquid crystal display (LCD). Accordingly, the user at the receiving side can make a telephone call by viewing the image captured by using the device on the transmitting side in real time.

[6] Тем не менее, устройства отображения, включенные в устройства, имеют различные разрешения, и поскольку разрешения потоковой передачи данных, передаваемых между устройствами, отличаются согласно способам связи, требуется технология эффективного предоставления части захваченного видеоизображения посредством использования устройства на передающей стороне в устройство на приемной стороне. Кроме того, при осуществлении видеовызова, имеется потребность в технологии эффективного выбора и разворачивания части изображения, захваченного посредством использования устройства на передающей стороне, и предоставления указанной части пользователю.[6] However, the display devices included in the devices have different resolutions, and since the streaming permissions of the data transmitted between the devices differ according to the communication methods, technology is required to efficiently provide a portion of the captured video image by using the device on the transmitting side to the device on the receiving side. In addition, when making a video call, there is a need for a technology for efficiently selecting and expanding a portion of an image captured by using the device on the transmitting side and providing the specified portion to the user.

Сущность изобретенияSUMMARY OF THE INVENTION

Решение задачиThe solution of the problem

[7] Примерные варианты осуществления относятся к системе и способу для предоставления изображения, за счет которых устройство может отслеживать объект, включенный в захватываемое изображение, и передавать часть изображения, включающую в себя отслеживаемый объект, в другое устройство.[7] Exemplary embodiments relate to a system and method for providing an image through which a device can track an object included in a captured image and transmit a portion of the image including the tracked object to another device.

Краткое описание чертежейBrief Description of the Drawings

[8] Вышеуказанные и другие признаки и преимущества должны становиться более очевидными посредством подробного описания примерных вариантов осуществления со ссылкой на прилагаемые чертежи, на которых:[8] The above and other features and advantages should become more apparent through a detailed description of exemplary embodiments with reference to the accompanying drawings, in which:

[9] Фиг. 1 является схематичным видом системы предоставления изображений согласно примерному варианту осуществления;[9] FIG. 1 is a schematic view of an image providing system according to an exemplary embodiment;

[10] Фиг. 2А и 2B иллюстрируют изображение, включающее в себя объект, соответствующий части изображения, захваченного посредством использования первого устройства, отображаемой на втором устройстве, согласно примерному варианту осуществления;[10] FIG. 2A and 2B illustrate an image including an object corresponding to a part of an image captured by using a first device displayed on a second device according to an exemplary embodiment;

[11] Фиг. 3 является блок-схемой последовательности операций, иллюстрирующей способ предоставления видеоизображения, включающего в себя объект, соответствующий части видеоизображения, захватываемого посредством использования первого устройства, во второе устройство, согласно примерному варианту осуществления;[11] FIG. 3 is a flowchart illustrating a method of providing a video image including an object corresponding to a portion of a video image captured by using the first device to a second device according to an exemplary embodiment;

[12] Фиг. 4 является блок-схемой последовательности операций, иллюстрирующей способ формирования информации области относительно интересующей области, посредством использования второго устройства, согласно примерному варианту осуществления;[12] FIG. 4 is a flowchart illustrating a method of generating area information regarding a region of interest by using a second device according to an exemplary embodiment;

[13] Фиг. 5 является блок-схемой последовательности операций, иллюстрирующей, когда модифицируется способ связи между первым устройством и вторым устройством, способ модификации интересующей области, выбранной посредством первого устройства, и предоставления видеоизображения относительно модифицированной области во второе устройство, согласно примерному варианту осуществления;[13] FIG. 5 is a flowchart illustrating when a communication method between a first device and a second device is modified, a method of modifying an area of interest selected by the first device and providing a video image of the modified area to the second device according to an exemplary embodiment;

[14] Фиг. 6 является блок-схемой последовательности операций, иллюстрирующей, когда модифицируется способ связи между первым устройством и вторым устройством, способ предоставления видеоизображения, имеющего модифицированное качество изображений посредством первого устройства, во второе устройство, согласно примерному варианту осуществления;[14] FIG. 6 is a flowchart illustrating when a communication method between a first device and a second device is modified, a method for providing a video image having a modified image quality by the first device to a second device according to an exemplary embodiment;

[15] Фиг. 7 является блок-схемой последовательности операций, иллюстрирующей способ предоставления видеоизображения, включающего в себя объект, соответствующий части видеоизображения, захватываемого посредством использования первого устройства, во второе устройство, согласно другому примерному варианту осуществления;[15] FIG. 7 is a flowchart illustrating a method of providing a video image including an object corresponding to a portion of a video image captured by using the first device to a second device according to another exemplary embodiment;

[16] Фиг. 8А и 8B иллюстрируют пример определения части первого видеоизображения в качестве интересующей области, посредством использования второго устройства, так что объект, включающий в себя точку касания, которой касается пользователь, включен в определенную часть, согласно примерному варианту осуществления;[16] FIG. 8A and 8B illustrate an example of determining a portion of a first video image as an area of interest by using a second device, such that an object including a touch point that a user touches is included in a specific part according to an exemplary embodiment;

[17] Фиг. 9А и 9B иллюстрируют пример определения, в качестве интересующей области, части в предварительно заданном диапазоне из точки касания пользователя, посредством использования второго устройства, согласно примерному варианту осуществления;[17] FIG. 9A and 9B illustrate an example of determining, as a region of interest, a part in a predetermined range from a user's touch point by using a second device according to an exemplary embodiment;

[18] Фиг. 10А и 10B иллюстрируют пример определения части первого видеоизображения в качестве интересующей области посредством использования второго устройства через пользовательский интерфейс для определения части первого видеоизображения, согласно примерному варианту осуществления;[18] FIG. 10A and 10B illustrate an example of determining a portion of a first video image as an area of interest by using a second device through a user interface to determine a portion of a first video image, according to an exemplary embodiment;

[19] Фиг. 11A и 11B иллюстрируют, когда модифицируется способ связи между первым устройством и вторым устройством, пример использования второго устройства для того, чтобы принимать, из первого устройства 100, видеоизображение с модифицированным разрешением, согласно примерному варианту осуществления;[19] FIG. 11A and 11B illustrate when a communication method between a first device and a second device is modified, an example of using a second device to receive, from thefirst device 100, a resolution-modified video image according to an exemplary embodiment;

[20] Фиг. 12А и 12B иллюстрируют, когда модифицируется способ связи между первым устройством и вторым устройством, пример использования второго устройства для того, чтобы принимать, из первого устройства 100, видеоизображение с модифицированным качеством изображений, согласно примерному варианту осуществления,[20] FIG. 12A and 12B illustrate when a communication method between a first device and a second device is modified, an example of using a second device to receive, from thefirst device 100, a video image with modified image quality according to an exemplary embodiment,

[21] Фиг. 13А и 13B иллюстрируют, когда модифицируется способ связи между первым устройством и вторым устройством, пример использования второго устройства для того, чтобы принимать, из первого устройства 100, видеоизображение с модифицированной частью, согласно примерному варианту осуществления,[21] FIG. 13A and 13B illustrate when a communication method between a first device and a second device is modified, an example of using a second device to receive, from thefirst device 100, a video image with a modified part, according to an exemplary embodiment,

[22] Фиг. 14 является блок-схемой, иллюстрирующей первое устройство согласно примерному варианту осуществления;[22] FIG. 14 is a block diagram illustrating a first device according to an exemplary embodiment;

[23] Фиг. 15 является блок-схемой, иллюстрирующей второе устройство согласно примерному варианту осуществления;[23] FIG. 15 is a block diagram illustrating a second device according to an exemplary embodiment;

[24] Фиг. 16 является блок-схемой, иллюстрирующей устройство согласно другому примерному варианту осуществления;[24] FIG. 16 is a block diagram illustrating an apparatus according to another exemplary embodiment;

[25] Фиг. 17А-17C иллюстрируют пример разворачивания части первого видеоизображения, отображаемого на экране второго устройства, согласно примерному варианту осуществления;[25] FIG. 17A-17C illustrate an example of expanding a portion of a first video image displayed on a screen of a second device according to an exemplary embodiment;

[26] Фиг. 18А-18C иллюстрируют пример разворачивания части видеоизображения, отображаемого на экране второго устройства, пошагово согласно примерному варианту осуществления;[26] FIG. 18A-18C illustrate an example of expanding a portion of the video image displayed on the screen of the second device step by step according to an exemplary embodiment;

[27] Фиг. 19А-19C иллюстрируют пример отображения изображения для предварительного просмотра, включающего в себя развернутую часть первого видеоизображения, на втором устройстве, и отображения второго видеоизображения, предоставленного из первого устройства, на втором устройстве, согласно примерному варианту осуществления;[27] FIG. 19A-19C illustrate an example of displaying a preview image including an expanded portion of a first video image on a second device, and displaying a second video image provided from a first device on a second device according to an exemplary embodiment;

[28] Фиг. 20 иллюстрирует пример заголовка пакета по протоколу передачи в реальном времени (RTP) согласно примерному варианту осуществления; и[28] FIG. 20 illustrates an example of a real-time transmission protocol (RTP) packet header according to an exemplary embodiment; and

[29] Фиг. 21 является блок-схемой последовательности операций, иллюстрирующей способ формирования четвертого видеоизображения посредством использования первого устройства согласно примерному варианту осуществления;[29] FIG. 21 is a flowchart illustrating a method of generating a fourth video image by using the first device according to an exemplary embodiment;

[30] Фиг. 22 является блок-схемой последовательности операций, иллюстрирующей способ приема посредством второго устройства, которое осуществляет видеовызов с первым устройством, второго видеоизображения, которое является развернутой частью первого видеоизображения, согласно примерному варианту осуществления;[30] FIG. 22 is a flowchart illustrating a method of receiving, by a second device that makes a video call with a first device, a second video image that is an expanded part of a first video image according to an exemplary embodiment;

[31] Фиг. 23 является блок-схемой последовательности операций, иллюстрирующей способ разворачивания части первого видеоизображения и ее отображения посредством второго устройства, которое осуществляет видеовызов с первым устройством, согласно примерному варианту осуществления;[31] FIG. 23 is a flowchart illustrating a method of expanding a portion of a first video image and displaying it by a second device that makes a video call with a first device according to an exemplary embodiment;

[32] Фиг. 24А-24C иллюстрируют развернутую часть первого видеоизображения, отображаемого на экране второго устройства, вместе с первым видеоизображением, согласно примерному варианту осуществления.[32] FIG. 24A-24C illustrate an expanded portion of a first video image displayed on a screen of a second device, together with a first video image, according to an exemplary embodiment.

Наилучший режим осуществления изобретенияBEST MODE FOR CARRYING OUT THE INVENTION

[33] Согласно аспекту примерного варианта осуществления, предусмотрен способ предоставления изображений, включающий в себя: передачу, во внешнее устройство, первого видеоизображения с первым разрешением, которое преобразовано из исходного видеоизображения с исходным разрешением; прием, из внешнего устройства, информации области относительно интересующей области первого видеоизображения с первым разрешением, которое отображается на экране внешнего устройства; определение, на основе информации области, области, соответствующей интересующей области, исходного видеоизображения с исходным разрешением, при этом определенная область меньше исходного видеоизображения с исходным разрешением; преобразование части исходного видеоизображения с исходным разрешением во второе видеоизображение с первым разрешением, при этом часть соответствует определенной области; и передачу второго видеоизображения во внешнее устройство.[33] According to an aspect of an exemplary embodiment, a method for providing images is provided, including: transmitting, to an external device, a first video image with a first resolution that is converted from an original video image with an original resolution; receiving, from an external device, region information regarding the region of interest of the first video image with a first resolution, which is displayed on the screen of the external device; determining, based on the information of the region, the region corresponding to the region of interest, the original video image with the original resolution, while the determined region is smaller than the original video image with the original resolution; converting part of the original video image with the original resolution to the second video image with the first resolution, while the part corresponds to a certain area; and transmitting the second video image to the external device.

[34] Интересующая область может включать в себя объект, отображаемый в первом видеоизображении, и информация области может быть сформирована посредством внешнего устройства.[34] The region of interest may include an object displayed in the first video image, and the region information may be generated by an external device.

[35] Когда касаются экрана внешнего устройства, интересующая область может выбираться таким образом, что она включает в себя объект, соответствующий точке касания экрана.[35] When the screen of the external device is touched, the region of interest can be selected so that it includes an object corresponding to the touch point of the screen.

[36] Когда касаются экрана внешнего устройства, может выбираться интересующая область, включающая в себя предварительно заданный диапазон вокруг точки касания экрана.[36] When a screen of an external device is touched, an area of interest may be selected including a predetermined range around the touch point of the screen.

[37] При приеме информации области, когда касаются экрана внешнего устройства, информация координат точки касания экрана может приниматься из внешнего устройства.[37] When receiving the area information when the screen of the external device is touched, the coordinate information of the touch point of the screen can be received from the external device.

[38] Когда касаются экрана внешнего устройства, пользовательский интерфейс для выбора интересующей области может отображаться на экране внешнего устройства.[38] When a screen of an external device is touched, a user interface for selecting an area of interest can be displayed on the screen of an external device.

[39] Первое видеоизображение и второе видеоизображение могут представлять собой видеоизображения для видеовызова с внешним устройством, и при передаче первого видеоизображения во внешнее устройство, первое видеоизображение может передаваться во внешнее устройство на основе захваченного видеоизображения, и разрешение захваченного видеоизображения может превышать разрешение потоковой передачи видеовызова.[39] The first video image and the second video image can be video images for a video call with an external device, and when transmitting the first video image to an external device, the first video image can be transmitted to the external device based on the captured video image, and the resolution of the captured video image may exceed the resolution of the video call streaming.

[40] Диапазон интересующей области может определяться согласно типу способа связи, используемого для того, чтобы осуществлять связь с внешним устройством.[40] The range of the region of interest can be determined according to the type of communication method used to communicate with an external device.

[41] Первое разрешение может определяться согласно типу способа связи, используемого для того, чтобы осуществлять связь с внешним устройством.[41] The first resolution may be determined according to the type of communication method used to communicate with an external device.

[42] Способ предоставления изображений дополнительно может включать в себя модификацию первого разрешения согласно модификации способа связи, используемого для того, чтобы осуществлять связь с внешним устройством.[42] The image providing method may further include modifying a first resolution according to a modification of a communication method used to communicate with an external device.

[43] Способ предоставления изображений дополнительно может включать в себя модификацию определенной области согласно модификации способа связи, используемого для того, чтобы осуществлять связь с внешним устройством.[43] The image providing method may further include modifying a specific area according to a modification of a communication method used to communicate with an external device.

[44] При передаче первого видеоизображения во внешнее устройство первое видеоизображение и второе видеоизображение могут передаваться во внешнее устройство на основе захваченного видеоизображения, при этом способ дополнительно включает в себя модификацию определенной области, когда объект, включенный в интересующую область, исчезает из захваченного видеоизображения.[44] When transmitting the first video image to an external device, the first video image and the second video image can be transmitted to the external device based on the captured video image, the method further comprising modifying a certain area when an object included in the region of interest disappears from the captured video image.

[45] Способ предоставления изображений дополнительно может включать в себя, когда объект, который исчезает из захваченного видеоизображения, повторно появляется в захваченном видеоизображении, предоставление, во внешнее устройство, второго видеоизображения только части, включающей в себя объект, который повторно появляется.[45] The image providing method may further include, when an object that disappears from the captured video image reappears in the captured video image, providing, to an external device, the second video image only a portion including the object that reappears.

[46] Информация уведомления, уведомляющая относительно того, что передается второе видеоизображение, может вставляться во второе видеоизображение.[46] Notification information notifying that a second video image is being transmitted may be inserted into the second video image.

[47] Информация уведомления может вставляться в заголовок пакета, соответствующего предварительно заданному кадру второго видеоизображения.[47] The notification information may be inserted in the header of a packet corresponding to a predetermined frame of the second video image.

[48] Пакет может представлять собой пакет по протоколу передачи в реальном времени (RTP), и значение поля RTP-маркера RTP-пакета может составлять 1.[48] The packet may be a real-time transmission protocol (RTP) packet, and the value of the RTP packet field of the RTP packet may be 1.

[49] Пакет может представлять собой RTP-пакет, и информация уведомления может вставляться в поле расширения заголовка RTP-пакета.[49] The packet may be an RTP packet, and notification information may be inserted in the extension field of the RTP packet header.

[50] Информация уведомления может включать в себя информацию области, указывающую часть первого видеоизображения, которая соответствует второму видеоизображению.[50] The notification information may include area information indicating a portion of the first video image that corresponds to the second video image.

[51] Интересующая область может представлять собой область, обозначенную на основе пользовательского ввода на экране внешнего устройства, отображающего первое видеоизображение.[51] The region of interest may be an area designated based on user input on the screen of an external device displaying the first video image.

[52] Согласно аспекту другого примерного варианта осуществления, предусмотрен способ приема изображений, посредством использования устройства, включающий в себя: прием первого видеоизображения из внешнего устройства; предоставление, во внешнее устройство, информации области относительно объекта, включенного в принимаемое первое видеоизображение; и прием, из внешнего устройства, второго видеоизображения, включающего в себя только часть первого видеоизображения, при этом часть включает в себя объект, при этом разрешение второго видеоизображения превышает разрешение части первого видеоизображения, и часть первого видеоизображения, включающая в себя объект, определяется посредством внешнего устройства на основе предоставленной информации области.[52] According to an aspect of another exemplary embodiment, there is provided a method for receiving images by using a device, including: receiving a first video image from an external device; providing, to an external device, area information regarding an object included in the received first video image; and receiving, from an external device, a second video image including only a portion of the first video image, the part including an object, wherein the resolution of the second video image is higher than the resolution of the part of the first video image, and the part of the first video image including the object is determined by the external devices based on the provided area information.

[53] Способ приема изображений дополнительно может включать в себя: выбор, на основе пользовательского ввода, интересующей области, связанной с объектом, включенным в принимаемое первое видеоизображение; и формирование информации области относительно выбранной интересующей области.[53] The image receiving method may further include: selecting, based on user input, the region of interest associated with the object included in the received first video image; and generating area information regarding the selected area of interest.

[54] При выборе интересующей области, когда касаются экрана устройства, отображающего первое видеоизображение, интересующая область может выбираться таким образом, что она включает в себя объект, включенный в принимаемое первое видеоизображение, при этом объект включает в себя точку касания экрана.[54] When selecting a region of interest, when the screen of the device displaying the first video image is touched, the region of interest can be selected so that it includes an object included in the received first video image, while the object includes a touch point of the screen.

[55] При выборе интересующей области, когда касаются экрана устройства, отображающего первое видеоизображение, может выбираться область предварительно заданного диапазона вокруг точки касания экрана.[55] When selecting an area of interest, when the screen of the device displaying the first video image is touched, an area of a predetermined range around the touch point of the screen can be selected.

[56] При предоставлении информации области, когда касаются экрана устройства, отображающего первое видеоизображение, информация координат точки касания экрана может предоставляться во внешнее устройство.[56] When providing area information when a screen of a device displaying the first video image is touched, coordinate information of a touch point of the screen may be provided to an external device.

[57] Способ приема изображений дополнительно может включать в себя, когда касаются экрана устройства, отображающего первое видеоизображение, отображение пользовательского интерфейса для выбора интересующей области.[57] The image receiving method may further include, when a screen of a device displaying the first video image is touched, displaying a user interface for selecting an area of interest.

[58] Первое видеоизображение и второе видеоизображение могут представлять собой видеоизображения для видеовызова с внешним устройством, и первое видеоизображение и второе видеоизображение могут предоставляться посредством внешнего устройства на основе видеоизображения, захваченного посредством внешнего устройства, и разрешение захваченного видеоизображения может превышать разрешение потоковой передачи видеовызова.[58] The first video image and the second video image may be video images for a video call with an external device, and the first video image and the second video image may be provided by an external device based on the video image captured by the external device, and the resolution of the captured video image may exceed the resolution of the video call streaming transmission.

[59] Диапазон интересующей области может определяться посредством устройства, согласно типу способа связи, используемого для того, чтобы осуществлять связь с внешним устройством.[59] The range of the region of interest can be determined by the device according to the type of communication method used to communicate with an external device.

[60] Разрешение, по меньшей мере, одного из первого видеоизображения и второго видеоизображения может определяться посредством внешнего устройства, согласно типу способа связи, используемого для того, чтобы осуществлять связь с внешним устройством.[60] The resolution of at least one of the first video image and the second video image can be determined by an external device according to the type of communication method used to communicate with the external device.

[61] Разрешение, по меньшей мере, одного из первого видеоизображения и второго видеоизображения может быть модифицировано посредством внешнего устройства, согласно модификации способа связи, используемого для того, чтобы осуществлять связь с внешним устройством.[61] The resolution of at least one of the first video image and the second video image can be modified by an external device according to a modification of the communication method used to communicate with an external device.

[62] Часть может быть модифицирована посредством использования внешнего устройства, согласно модификации способа связи, используемого для того, чтобы осуществлять связь с внешним устройством.[62] The part may be modified by using an external device, according to a modification of the communication method used to communicate with an external device.

[63] Первое видеоизображение и второе видеоизображение могут предоставляться посредством внешнего устройства на основе видеоизображения, захваченного посредством использования внешнего устройства, и когда объект, который присутствует в захваченном изображении, исчезает из захваченного видеоизображения, может модифицироваться часть первого видеоизображения, при этом способ приема изображений дополнительно включает в себя: прием, из внешнего устройства, второго видеоизображения, включающего в себя только модифицированную часть.[63] The first video image and the second video image can be provided by an external device based on a video image captured by using an external device, and when an object that is present in the captured image disappears from the captured video image, a portion of the first video image can be modified, while the image receiving method is further includes: receiving, from an external device, a second video image that includes only the modified part.

[64] Способ приема изображений дополнительно может включать в себя, когда объект, который исчезает из захваченного видеоизображения, повторно появляется в захваченном видеоизображении, прием, из внешнего устройства, второго видеоизображения, включающего в себя только часть, включающую в себя повторно появившийся объект.[64] The image receiving method may further include, when an object that disappears from the captured video image reappears in the captured video image, receiving, from an external device, a second video image including only a portion including the reappeared object.

[65] Согласно аспекту другого примерного варианта осуществления, предусмотрено устройство, включающее в себя: запоминающее устройство, сконфигурированное с возможностью хранить, по меньшей мере, одну программу; и процессор, сконфигурированный с возможностью предоставлять захваченное видеоизображение во внешнее устройство посредством выполнения, по меньшей мере, одной программы, при этом, по меньшей мере, одна программа включает в себя команды для того, чтобы передавать первое видеоизображение во внешнее устройство; принимать, из внешнего устройства, информацию области, соответствующую объекту, включенному в первое видеоизображение; и предоставлять, на основе информации области, второе видеоизображение, включающее в себя только часть первого видеоизображения, которая включает в себя объект, при этом разрешение второго видеоизображения превышает разрешение части первого видеоизображения.[65] According to an aspect of another exemplary embodiment, a device is provided, including: a storage device configured to store at least one program; and a processor configured to provide the captured video image to the external device by executing at least one program, wherein at least one program includes instructions for transmitting the first video image to the external device; receive, from an external device, area information corresponding to an object included in the first video image; and provide, based on the area information, a second video image including only a portion of the first video image that includes an object, wherein the resolution of the second video image exceeds the resolution of the portion of the first video image.

[66] Информация области может быть информацией относительно интересующей области, выбранной посредством внешнего устройства, и формируется посредством внешнего устройства.[66] The area information may be information regarding a region of interest selected by an external device, and is generated by an external device.

[67] Когда касаются экрана внешнего устройства, отображающего первое видеоизображение, может выбираться интересующая область, которая включает в себя объект, включающий в себя точку касания, на экране.[67] When a screen of an external device displaying the first video image is touched, a region of interest that includes an object including a touch point on the screen can be selected.

[68] Когда касаются экрана внешнего устройства, отображающего первое видеоизображение, может выбираться интересующая область предварительно заданного диапазона вокруг точки касания экрана.[68] When the screen of an external device displaying the first video image is touched, a region of interest of a predetermined range around the touch point of the screen can be selected.

[69] При приеме информации области, когда касаются экрана внешнего устройства, отображающего первое видеоизображение, информация координат точки касания внешнего устройства может приниматься из внешнего устройства.[69] When receiving area information, when the screen of the external device displaying the first video image is touched, the coordinate information of the touch point of the external device can be received from the external device.

[70] Когда касаются экрана внешнего устройства, пользовательский интерфейс для выбора интересующей области может отображаться на экране внешнего устройства.[70] When a screen of an external device is touched, a user interface for selecting an area of interest can be displayed on the screen of an external device.

[71] Первое видеоизображение и второе видеоизображение могут представлять собой видеоизображения для видеовызова с внешним устройством, и при передаче первого видеоизображения во внешнее устройство, первое видеоизображение может передаваться во внешнее устройство на основе захваченного видеоизображения, и разрешение захваченного видеоизображения может превышать разрешение потоковой передачи видеовызова.[71] The first video image and the second video image can be video images for a video call with an external device, and when transmitting the first video image to an external device, the first video image can be transmitted to the external device based on the captured video image, and the resolution of the captured video image may exceed the resolution of the video call streaming.

[72] Диапазон интересующей области может определяться посредством внешнего устройства согласно типу способа связи, используемого для того, чтобы осуществлять связь с внешним устройством.[72] The range of the region of interest can be determined by an external device according to the type of communication method used to communicate with the external device.

[73] Разрешение, по меньшей мере, одного из первого видеоизображения и второго видеоизображения может определяться согласно типу способа связи, используемого для того, чтобы осуществлять связь с внешним устройством.[73] The resolution of at least one of the first video image and the second video image can be determined according to the type of communication method used to communicate with an external device.

[74] Устройство дополнительно может включать в себя команды для того, чтобы выполнять модификацию разрешения, по меньшей мере, одного из первого видеоизображения и второго видеоизображения согласно модификации способа связи, используемого для того, чтобы осуществлять связь с внешним устройством.[74] The device may further include instructions for modifying the resolution of at least one of the first video image and the second video image according to a modification of the communication method used to communicate with an external device.

[75] Устройство дополнительно может включать в себя команды для того, чтобы выполнять: модификацию части согласно модификации способа связи, используемого для того, чтобы осуществлять связь с внешним устройством; и предоставление второго видеоизображения модифицированной части во внешнее устройство.[75] The device may further include instructions for executing: modifying a part according to a modification of a communication method used to communicate with an external device; and providing a second video image of the modified part to an external device.

[76] При передаче первого видеоизображения во внешнее устройство первое видеоизображение и второе видеоизображение могут передаваться во внешнее устройство на основе захваченного видеоизображения, при этом устройство дополнительно включает в себя команды для того, чтобы выполнять: модификацию части, когда объект исчезает из захваченного видеоизображения; и предоставление второго видеоизображения модифицированной части во внешнее устройство.[76] When transmitting the first video image to an external device, the first video image and the second video image can be transmitted to the external device based on the captured video image, the device further including instructions for: modifying the part when the object disappears from the captured video image; and providing a second video image of the modified part to an external device.

[77] Устройство дополнительно может включать в себя команды для того, чтобы выполнять, когда объект, который исчезает из захваченного видеоизображения, повторно появляется в захваченном видеоизображении, предоставление, во внешнее устройство, второго видеоизображения только части, включающей в себя объект, который повторно появляется.[77] The device may further include instructions for executing, when an object that disappears from the captured video image reappears in the captured video image, providing, to the external device, the second video image only a portion including the object that reappears .

[78] Согласно аспекту другого примерного варианта осуществления, предусмотрено устройство, включающее в себя: запоминающее устройство, сконфигурированное с возможностью хранить, по меньшей мере, одну программу; и процессор, сконфигурированный с возможностью предоставлять захваченное видеоизображение во внешнее устройство посредством выполнения, по меньшей мере, одной программы, при этом, по меньшей мере, одна программа включает в себя команды для того, чтобы принимать первое видеоизображение из внешнего устройства; предоставлять, во внешнее устройство, информацию области относительно объекта, включенного в принимаемое первое видеоизображение; и принимать, из внешнего устройства, второе видеоизображение, включающее в себя только часть первого видеоизображения, при этом часть первого видеоизображения включает в себя объект, при этом разрешение второго видеоизображения превышает разрешение части первого видеоизображения, при этом часть первого видеоизображения, включающая в себя объект, определяется на основе предоставленной информации области.[78] According to an aspect of another exemplary embodiment, a device is provided, including: a storage device configured to store at least one program; and a processor configured to provide the captured video image to the external device by executing at least one program, wherein at least one program includes instructions for receiving the first video image from the external device; provide, to an external device, area information regarding an object included in the received first video image; and receive, from an external device, a second video image including only a portion of the first video image, wherein the part of the first video image includes an object, wherein the resolution of the second video image exceeds the resolution of the part of the first video image, while the part of the first video image including the object, It is determined based on the provided area information.

[79] Согласно аспекту другого примерного варианта осуществления, предусмотрен способ предоставления изображений, включающий в себя: передачу, во внешнее устройство, первого видеоизображения, имеющего множество первых кадров; прием, из внешнего устройства, информации области, связанной с объектом, включенным в первое видеоизображение; выбор, на основе информации области, первого кадра, включающего в себя объект, из множества первых кадров; и передачу второго видеоизображения, включающего в себя множество вторых кадров, которые включают в себя только часть выбранного первого кадра, во внешнее устройство.[79] According to an aspect of another exemplary embodiment, a method for providing images is provided, including: transmitting, to an external device, a first video image having a plurality of first frames; receiving, from an external device, area information associated with an object included in the first video image; selecting, based on the information of the region, a first frame including an object from a plurality of first frames; and transmitting a second video image including a plurality of second frames, which include only a portion of the selected first frame, to an external device.

[80] Согласно аспекту другого примерного варианта осуществления, предусмотрен способ предоставления изображений, включающий в себя: передачу, во внешнее устройство, первого видеоизображения, имеющего множество первых кадров; прием, из внешнего устройства, информации области, связанной с объектом, включенным в первое видеоизображение; выбор, на основе информации области, части, которая включает в себя объект, из множества первых кадров; и передачу второго видеоизображения, включающего в себя множество вторых кадров, которые включают в себя только выбранные части, во внешнее устройство.[80] According to an aspect of another exemplary embodiment, a method for providing images is provided, including: transmitting, to an external device, a first video image having a plurality of first frames; receiving, from an external device, area information associated with an object included in the first video image; the selection, based on the information of the area, the part that includes the object, from the set of first frames; and transmitting a second video image including a plurality of second frames, which include only selected parts, to an external device.

[81] Согласно аспекту другого примерного варианта осуществления, предусмотрен способ предоставления изображений, включающий в себя: передачу, во внешнее устройство, первого изображения с первым разрешением, соответствующего экрану выполнения приложения; прием информации области относительно интересующей области первого изображения, отображаемого на экране внешнего устройства, из внешнего устройства; определение, на основе информации области, части первого изображения, соответствующего интересующей области, при этом часть меньше первого изображения; преобразование первого изображения во второе изображение на основе определенной части; и передачу второго изображения во внешнее устройство с первым разрешением.[81] According to an aspect of another exemplary embodiment, a method for providing images is provided, including: transmitting, to an external device, a first image with a first resolution corresponding to an application execution screen; receiving area information regarding the region of interest of the first image displayed on the screen of the external device from the external device; determining, based on the information of the region, a part of the first image corresponding to the region of interest, the part being smaller than the first image; converting the first image into a second image based on a specific part; and transmitting the second image to an external device with a first resolution.

[82] Согласно аспекту другого примерного варианта осуществления, предусмотрен способ предоставления изображений, включающий в себя: передачу, во внешнее устройство, первого видеоизображения; прием, из внешнего устройства, информации области относительно области первого видеоизображения; формирование второго видеоизображения на основе информации области; и передачу, во внешнее устройство, второго видеоизображения.[82] According to an aspect of another exemplary embodiment, a method for providing images is provided, including: transmitting, to an external device, a first video image; receiving, from an external device, region information regarding the region of the first video image; the formation of a second video image based on the information of the area; and transmitting, to an external device, a second video image.

[83] Разрешение второго видеоизображения может превышать разрешение области первого видеоизображения.[83] The resolution of the second video image may exceed the resolution of the area of the first video image.

[84] Второе видеоизображение может включать в себя объект, отображаемый в области первого видеоизображения.[84] The second video image may include an object displayed in a region of the first video image.

[85] Второе видеоизображение может включать в себя видео предварительно заданного диапазона вокруг области первого видеоизображения.[85] The second video image may include a video of a predetermined range around an area of the first video image.

[86] Согласно аспекту другого примерного варианта осуществления, предусмотрен способ приема изображений, посредством использования устройства, включающий в себя: прием первого видеоизображения из внешнего устройства; предоставление, во внешнее устройство, информации области относительно области первого видеоизображения; и прием, из внешнего устройства, второго видеоизображения, включающего в себя только часть первого видеоизображения, соответствующую информации области.[86] According to an aspect of another exemplary embodiment, there is provided a method for receiving images by using a device, including: receiving a first video image from an external device; providing, to an external device, area information regarding the area of the first video image; and receiving, from an external device, a second video image including only a portion of the first video image corresponding to area information.

[87] Разрешение второго видеоизображения может превышать разрешение области первого видеоизображения.[87] The resolution of the second video image may exceed the resolution of the area of the first video image.

[88] Часть первого видеоизображения может представлять собой область предварительно заданного диапазона вокруг области первого видеоизображения.[88] A portion of the first video image may be a region of a predetermined range around a region of the first video image.

[89] Информация области может включать в себя информацию координат области первого видеоизображения.[89] The area information may include coordinate information of a region of the first video image.

[90] Способ дополнительно может включать в себя отображение пользовательского интерфейса для выбора области первого видеоизображения.[90] The method may further include displaying a user interface for selecting an area of the first video image.

Наилучший режим осуществления изобретенияBEST MODE FOR CARRYING OUT THE INVENTION

[91] К прилагаемым чертежам для иллюстрации примерных вариантов осуществления следует обращаться для того, чтобы получать достаточное понимание примерных вариантов осуществления. В дальнейшем в этом документе, подробно описываются примерные варианты осуществления со ссылкой на прилагаемые чертежи. Аналогичные ссылки с номерами на чертежах обозначают аналогичные элементы. В настоящем описании изобретения, когда составляющий элемент "соединяется" или "соединен" с другим составляющим элементом, составляющий элемент контактирует или соединяется с другим составляющим элементом не только непосредственно, но также и электрически, по меньшей мере, через один из других составляющих элементов, размещенных между ними. Кроме того, когда часть может "включать в себя" определенный составляющий элемент, если не указано иное, она не может истолковываться как исключающая другой составляющий элемент, но может истолковываться как дополнительно включающая в себя другие составляющие элементы.[91] The accompanying drawings to illustrate exemplary embodiments should be consulted in order to gain a sufficient understanding of the exemplary embodiments. Hereinafter, exemplary embodiments are described in detail with reference to the accompanying drawings. Similar references with numbers in the drawings indicate like elements. In the present description of the invention, when the constituent element is “connected” or “connected” to another constituent element, the constituent element contacts or connects to the other constituent element not only directly but also electrically through at least one of the other constituent elements placed between them. In addition, when a part may “include” a specific constituent element, unless otherwise indicated, it cannot be construed to exclude another constituent element, but may be construed to further include other constituent elements.

[92] Такие выражения, как "по меньшей мере, один из", предваряющие список элементов, модифицируют весь список элементов и не модифицируют отдельные элементы списка.[92] Expressions such as “at least one of” preceding the list of items modify the entire list of items and do not modify individual items of the list.

[93] Фиг. 1 является схематичным видом системы предоставления изображений согласно примерному варианту осуществления.[93] FIG. 1 is a schematic view of an image providing system according to an exemplary embodiment.

[94] Ссылаясь на фиг. 1, первое устройство 100 и второе устройство 200 могут иметь возможность осуществлять видеовызов друг с другом, и первое устройство 100 может предоставлять видеоизображение, которое захватывается посредством использования первого устройства 100, во второе устройство 200. Кроме того, второе устройство 200 может предоставлять видеоизображение, которое захватывается посредством использования второго устройства 200, в первое устройство 100.[94] Referring to FIG. 1, thefirst device 100 and thesecond device 200 may be able to make a video call with each other, and thefirst device 100 may provide a video image that is captured by using thefirst device 100 to thesecond device 200. In addition, thesecond device 200 may provide a video image that captured by using thesecond device 200, in thefirst device 100.

[95] В дальнейшем в этом документе, для удобства описания поясняется вариант осуществления, в котором первое устройство 100 предоставляет видеоизображение во второе устройство 200 в системе предоставления изображений согласно текущему примерному варианту осуществления. Кроме того, видеоизображение, захваченное посредством использования первого устройства 100, описывается как контент, предоставленный посредством первого устройства 100 во второе устройство 200, но контент не ограничен этим, и примеры контента, который первое устройство 100 может предоставлять во второе устройство 200, включают в себя видеоизображение, фотографическое изображение, захваченное изображение и изображение выполнения приложения.[95] Hereinafter, for convenience of description, an embodiment is explained in which thefirst device 100 provides a video image to thesecond device 200 in the image providing system according to the current exemplary embodiment. Furthermore, a video captured by using thefirst device 100 is described as content provided by thefirst device 100 to thesecond device 200, but the content is not limited thereto, and examples of content that thefirst device 100 can provide to thesecond device 200 include video image, photographic image, captured image and application execution image.

[96] Первое устройство 100 может предоставлять первое видеоизображение во второе устройство 200 на основе видеоизображения, захваченного посредством использования первого устройства 100, и принимать информацию области относительно объекта, включенного в первое видеоизображение, из второго устройства 200. Кроме того, первое устройство 100 может отслеживать предварительно определенный объект, включенный в первое видеоизображение, на основе принимаемой информации области, и предоставлять второе видеоизображение, включающее в себя только часть первого видеоизображения, включающую в себя отслеживаемый объект, во второе устройство 200.[96] Thefirst device 100 may provide a first video image to asecond device 200 based on a video image captured by using thefirst device 100, and receive area information regarding an object included in the first video image from thesecond device 200. In addition, thefirst device 100 can monitor a predetermined object included in the first video image based on the received information of the area, and provide a second video image including only a portion the first video image including the monitored object to thesecond device 200.

[97] Когда разрешение видеоизображения, захватываемого посредством использования первого устройства 100, превышает разрешение потоковой передачи видеоизображения, передаваемого между первым устройством 100 и вторым устройством 200, первое устройство 100 может предоставлять второе видеоизображение относительно части захватываемого видеоизображения во второе устройство 200.[97] When the resolution of the video image captured by using thefirst device 100 exceeds the resolution of the streaming video image transmitted between thefirst device 100 and thesecond device 200, thefirst device 100 may provide a second video image relative to a portion of the captured video image to thesecond device 200.

[98] Первое устройство 100 и второе устройство 200 представляют собой устройства, допускающие передачу видеоизображений, изображений и т.п. в другое устройство, и примеры первых и вторых устройств 100 и 200 включают в себя смартфон, мобильный телефон, персональное цифровое устройство (PDA), переносной компьютер, мультимедийный проигрыватель, устройство по стандарту глобальной системы позиционирования (GPS), другие мобильные вычислительные устройства и другие немобильные вычислительные устройства. Тем не менее, первое и второе устройства 100 и 200 не ограничены этим.[98] Thefirst device 100 and thesecond device 200 are devices capable of transmitting video images, images, and the like. to another device, and examples of the first andsecond devices 100 and 200 include a smartphone, a mobile phone, a personal digital device (PDA), a laptop computer, a multimedia player, a global positioning system (GPS) device, other mobile computing devices, and others non-mobile computing devices. However, the first andsecond devices 100 and 200 are not limited to this.

[99] По меньшей мере, три устройства могут осуществлять видеотелефонный вызов друг с другом одновременно. Например, первое устройство 100, второе устройство 200 и третье устройство (не показано) могут совместно осуществлять видеовызов. В этом случае, первое устройство 100 может предоставлять первое видеоизображение во второе устройство 200 и третье устройство (не показано). Кроме того, когда второе устройство 200 выбирает часть первого видеоизображения, первое устройство 100 может предоставлять видеоизображение, связанное с выбранной частью, во второе устройство 200 и третье устройство (не показано). Если второе устройство 200 и третье устройство (не показано), соответственно, выбирают часть первого видеоизображения, первое устройство 100 может предоставлять видеоизображение относительно части, выбранной посредством второго устройства 200, во второе устройство 200 и другое видеоизображение относительно части, выбранной посредством третьего устройства (не показано), в третье устройство (не показано).[99] At least three devices can make a videophone call with each other at the same time. For example, afirst device 100, asecond device 200, and a third device (not shown) may jointly make a video call. In this case, thefirst device 100 may provide a first video image to asecond device 200 and a third device (not shown). In addition, when thesecond device 200 selects a portion of the first video image, thefirst device 100 may provide a video image associated with the selected part to thesecond device 200 and a third device (not shown). If thesecond device 200 and the third device (not shown), respectively, select a portion of the first video image, thefirst device 100 may provide a video image relative to the part selected by thesecond device 200 to thesecond device 200 and another video image relative to the part selected by the third device (not shown) in a third device (not shown).

[100] Первое устройство 100 может предоставлять третье видеоизображение, соответствующее экрану выполнения приложения, выполняемого в первом устройстве 100, во второе устройство 200. В этом случае, второе устройство 200 может выбирать часть принимаемого третьего видеоизображения и принимать четвертое видеоизображение относительно выбранной части из первого устройства 100.[100] Thefirst device 100 may provide a third video image corresponding to the execution screen of the application running in thefirst device 100 to thesecond device 200. In this case, thesecond device 200 may select a portion of the received third video image and receive a fourth video image relative to the selected portion from the first device one hundred.

[101] Фиг. 2А и 2B иллюстрируют изображение, включающее в себя объект, соответствующий части изображения, захваченного посредством использования первого устройства 100, отображаемой на втором устройстве 200, согласно примерному варианту осуществления. Подробно, фиг. 2А иллюстрирует первое видеоизображение согласно примерному варианту осуществления; и фиг. 2B иллюстрирует второе видеоизображение согласно примерному варианту осуществления.[101] FIG. 2A and 2B illustrate an image including an object corresponding to a portion of an image captured by using thefirst device 100 displayed on thesecond device 200, according to an exemplary embodiment. In detail, FIG. 2A illustrates a first video image according to an exemplary embodiment; and FIG. 2B illustrates a second video image according to an exemplary embodiment.

[102] Первое устройство 100 может предоставлять первое видеоизображение во второе устройство 200 на основе видеоизображения, которое в данный момент захватывается, и может проверять объект 22, включенный в первое видеоизображение. Кроме того, первое устройство 100 может предоставлять второе видеоизображение, включающее в себя только часть первого видеоизображения, которая включает в себя проверенный объект 22, во второе устройство 200.[102] Thefirst device 100 may provide a first video image to asecond device 200 based on the video image that is currently being captured, and may check anobject 22 included in the first video image. In addition, thefirst device 100 may provide a second video image including only a portion of the first video image, which includes the verifiedobject 22, to thesecond device 200.

[103] Первое устройство 100 может проверять объект 22, включенный в предварительно определенную часть 20 в захватываемом видеоизображении, но не ограничено этим. Первое устройство 100 также может проверять объект 22 в первом видеоизображении, предоставленном во второе устройство 200.[103] Thefirst device 100 may check, but is not limited to, anobject 22 included in apredetermined portion 20 in the captured video image. Thefirst device 100 may also check theobject 22 in the first video image provided to thesecond device 200.

[104] Фиг. 3 является блок-схемой последовательности операций, иллюстрирующей способ предоставления видеоизображения, включающего в себя объект, соответствующий части видеоизображения, захватываемого посредством использования первого устройства 100, во второе устройство 200, согласно примерному варианту осуществления.[104] FIG. 3 is a flowchart illustrating a method of providing a video image including an object corresponding to a portion of a video image captured by using thefirst device 100 to thesecond device 200, according to an exemplary embodiment.

[105] На этапе S300, первое устройство 100 предоставляет первое видеоизображение во второе устройство 200. Первое устройство 100 может предоставлять первое видеоизображение во второе устройство 200 на основе видеоизображения, которое захватывается. Первое устройство 100 может предоставлять видеоизображение, которое захватывается, в качестве первого видеоизображения без дополнительной обработки, во второе устройство 200. Кроме того, первое устройство 100 может обрабатывать захватываемое видеоизображение и предоставлять обработанное видеоизображение в качестве первого видеоизображения во второе устройство 200. В этом случае, первое устройство 100 может модифицировать разрешение или формат захватываемого видеоизображения. Например, когда разрешение захватываемого видеоизображения превышает разрешение потоковой передачи, которое обеспечивает возможность непрерывной потоковой передачи данных, передаваемых между первым устройством 100 и вторым устройством 200, первое устройство 100 модифицирует разрешение захватываемого видеоизображения таким образом, что оно является идентичным разрешению потоковой передачи, и может предоставлять первое видеоизображение, имеющее модифицированное разрешение, во второе устройство 200. Кроме того, первое видеоизображение может иметь множество первых кадров.[105] In step S300, thefirst device 100 provides the first video image to thesecond device 200. Thefirst device 100 can provide the first video image to thesecond device 200 based on the video image that is captured. Thefirst device 100 may provide a video image that is captured as the first video image without further processing to thesecond device 200. In addition, thefirst device 100 may process the captured video image and provide the processed video image as the first video image to thesecond device 200. In this case, thefirst device 100 may modify the resolution or format of the captured video image. For example, when the resolution of the captured video exceeds the streaming resolution, which enables continuous streaming of data transmitted between thefirst device 100 and thesecond device 200, thefirst device 100 modifies the resolution of the captured video so that it is identical to the resolution of the streaming, and can provide the first video image having a modified resolution to thesecond device 200. In addition, the first video image m Jet have a plurality of first frames.

[106] Первое устройство 100 может передавать первое видеоизображение, имеющее исходное разрешение, во второе устройство 200 с первым разрешением. Первое устройство 100 может модифицировать исходное разрешение первого видеоизображения на первое разрешение, и первое устройство 100 может передавать первое видеоизображение, имеющее первое разрешение, во второе устройство 200. В этом случае, первое устройство 100 может получать информацию относительно разрешения дисплея, включенного во второе устройство 200, заранее и сохранять ее и определять первое разрешение на основе разрешения дисплея, включенного во второе устройство 200.[106] Thefirst device 100 may transmit a first video image having the original resolution to thesecond device 200 with a first resolution. Thefirst device 100 may modify the initial resolution of the first video image to a first resolution, and thefirst device 100 may transmit the first video image having the first resolution to thesecond device 200. In this case, thefirst device 100 may receive information regarding the resolution of the display included in thesecond device 200 in advance and save it and determine the first resolution based on the resolution of the display included in thesecond device 200.

[107] Первое устройство 100 может предоставлять третье видеоизображение, соответствующее экрану выполнения приложения, выполняемого в первом устройстве 100, во второе устройство 200. Первое устройство 100 может предоставлять третье видеоизображение с третьим разрешением во второе устройство 200.[107] Thefirst device 100 may provide a third video image corresponding to the execution screen of an application running in thefirst device 100 to thesecond device 200. Thefirst device 100 may provide a third video image with a third resolution to thesecond device 200.

[108] На этапе S310, второе устройство 200 отображает принимаемое первое видеоизображение. Второе устройство 200 может отображать принимаемое первое видеоизображение на экране второго устройства 200. Второе устройство 200 может отображать первое видеоизображение с первым разрешением на экране второго устройства 200.[108] In step S310, thesecond device 200 displays the received first video image. Thesecond device 200 may display the received first video image on the screen of thesecond device 200. Thesecond device 200 may display the first video image with the first resolution on the screen of thesecond device 200.

[109] Между тем, когда второе устройство 200 принимает третье видеоизображение, соответствующее экрану выполнения приложения, выполняемого в первом устройстве 100, второе устройство 200 может отображать принимаемое третье видеоизображение. Второе устройство 200 может отображать третье видеоизображение с третьим разрешением.[109] Meanwhile, when thesecond device 200 receives the third video image corresponding to the execution screen of the application running in thefirst device 100, thesecond device 200 can display the received third video image. Thesecond device 200 may display a third video image with a third resolution.

[110] На этапе S320, второе устройство 200 формирует информацию области относительно объекта, включенного в первое видеоизображение. Второе устройство 200 может выбирать часть первого видеоизображения в качестве интересующей области на основе пользовательского ввода и может формировать информацию области относительно выбранной интересующей области. Кроме того, второе устройство 200 может выбирать предварительно определенный объект, включенный в первое видеоизображение, и формировать информацию области относительно выбранного объекта.[110] In step S320, thesecond device 200 generates area information regarding an object included in the first video image. Thesecond device 200 may select a portion of the first video image as a region of interest based on user input and may generate region information regarding a selected region of interest. In addition, thesecond device 200 may select a predetermined object included in the first video image and generate area information regarding the selected object.

[111] Второе устройство 200 может принимать сенсорный ввод пользователя относительно первого видеоизображения и выбирать интересующую область на основе позиции сенсорного ввода. Подробно, когда пользователь касается предварительно определенной точки в первом видеоизображении, второе устройство 200 идентифицирует объект, включающий в себя позицию касания, и выбирает область, включающую в себя идентифицированный объект. Например, когда касаются лица в позиции касания первого видеоизображения, второе устройство 200 может идентифицировать лицо, которое представляет собой объект, включенный в позицию касания. Кроме того, второе устройство 200 может выбирать область, включающую в себя идентифицированное лицо, в качестве интересующей области.[111] Thesecond device 200 may receive user touch input relative to the first video image and select an area of interest based on the position of the touch input. In detail, when the user touches a predetermined point in the first video image, thesecond device 200 identifies an object including the touch position, and selects an area including the identified object. For example, when a person is touched at the touch position of the first video image, thesecond device 200 may identify a face that is an object included in the touch position. In addition, thesecond device 200 may select an area including an identified face as the area of interest.

[112] Когда пользователь касается предварительно определенной точки первого видеоизображения, второе устройство 200 может выбирать область предварительно заданного диапазона из точки касания, в качестве интересующей области. Например, второе устройство 200 может выбирать предварительно определенную прямоугольную область вокруг точки касания в качестве интересующей области.[112] When a user touches a predetermined point of the first video image, thesecond device 200 may select a predefined range region from the touch point as the region of interest. For example, thesecond device 200 may select a predetermined rectangular region around the touch point as the region of interest.

[113] Второе устройство 200 может отображать пользовательский интерфейс на экране для пользователя, чтобы выбирать часть первого видеоизображения, в качестве интересующей области. Например, второе устройство 200 может отображать прямоугольник в части первого видеоизображения и предоставлять пользовательский интерфейс, так что пользователь может модифицировать размер прямоугольника посредством касания и перетаскивания кадра с прямоугольником.[113] Thesecond device 200 may display a user interface on a screen for a user to select a portion of the first video image as an area of interest. For example, thesecond device 200 may display the rectangle in part of the first video image and provide a user interface so that the user can modify the size of the rectangle by touching and dragging the frame with the rectangle.

[114] Хотя второе устройство 200 выбирает часть первого видеоизображения в качестве интересующей области на основе пользовательского ввода, примерные варианты осуществления не ограничены этим. Второе устройство 200 может распознавать лицо, включенное в первое видеоизображение, без дополнительного пользовательского ввода и выбирать предварительно определенную область, включающую в себя лицо, в качестве интересующей области.[114] Although thesecond device 200 selects a portion of the first video image as a region of interest based on user input, exemplary embodiments are not limited to this. Thesecond device 200 may recognize a face included in the first video image without additional user input and select a predefined area including a face as the area of interest.

[115] Размер выбранной интересующей области в первом видеоизображении может определяться на основе разрешения потоковой передачи данных, передаваемых между первым устройством 100 и вторым устройством 200. Верхний предел интересующей поверхностной области в первом видеоизображении может определяться на основе разрешения потоковой передачи данных, передаваемых между первым устройством 100 и вторым устройством 200.[115] The size of the selected region of interest in the first video image can be determined based on the resolution of the streaming data transmitted between thefirst device 100 and thesecond device 200. The upper limit of the surface region of interest in the first video image can be determined based on the resolution of the streaming data transmitted between thefirst device 100 andsecond device 200.

[116] Второе устройство 200 может формировать информацию координат выбранной интересующей области. Второе устройство 200 может формировать значение координаты, указывающее позицию выбранной интересующей области, из числа координат всего первого видеоизображения. Кроме того, второе устройство 200 может формировать значение координаты, указывающее позицию точки сенсорного ввода, из всего первого видеоизображения.[116] Thesecond device 200 may generate coordinate information of a selected region of interest. Thesecond device 200 may generate a coordinate value indicating the position of the selected region of interest from the coordinates of the entire first video image. In addition, thesecond device 200 may generate a coordinate value indicating the position of the touch input point from the entire first video image.

[117] Второе устройство 200 может формировать информацию области относительно интересующей области каждого из множества первых кадров, включенных в первое видеоизображение.[117] Thesecond device 200 may generate region information regarding a region of interest of each of the plurality of first frames included in the first video image.

[118] Когда третье видеоизображение, соответствующее экрану выполнения приложения, выполняемого в первом устройстве 100, предоставляется во второе устройство 200, второе устройство 200 может выбирать часть третьего видеоизображения и формировать информацию области относительно выбранной части.[118] When the third video image corresponding to the execution screen of the application running in thefirst device 100 is provided to thesecond device 200, thesecond device 200 can select a part of the third video image and generate area information regarding the selected part.

[119] На этапе S330, второе устройство 200 предоставляет сформированную информацию области относительно интересующей области в первое устройство 100. Второе устройство 200 может предоставлять значение координаты выбранной интересующей области в первое устройство 100. Кроме того, второе устройство 200 может предоставлять значение координаты точки сенсорного ввода, введенной пользователем, в первое устройство 100.[119] In step S330, thesecond device 200 provides the generated area information regarding the area of interest to thefirst device 100. Thesecond device 200 can provide the coordinate value of the selected area of interest to thefirst device 100. In addition, thesecond device 200 can provide the coordinate value of the touch input point entered by the user into thefirst device 100.

[120] На этапе S340, первое устройство 100 идентифицирует объект, связанный с информацией области. На этапе S340, первое устройство 100 может идентифицировать объект в первом видеоизображении на основе принимаемой информации области. Например, когда объект, включенный в первое видеоизображение, соответствующее принимаемой информации области, является лицом, первое устройство 100 может идентифицировать лицо из первого видеоизображения. Кроме того, объект, связанный с принимаемой информацией области, может быть идентифицирован из каждого из множества первых кадров, включенных в первое видеоизображение.[120] In step S340, thefirst device 100 identifies an object associated with the area information. In step S340, thefirst device 100 may identify an object in the first video image based on the received area information. For example, when an object included in the first video image corresponding to the received area information is a face, thefirst device 100 may identify a face from the first video image. In addition, an object associated with the received area information may be identified from each of the plurality of first frames included in the first video image.

[121] Первое устройство 100 может идентифицировать объект из захватываемого видеоизображения на основе принимаемой информации области. Принимаемая информация области является информацией области относительно части первого видеоизображения, и в силу этого первое устройство 100 может проверять часть, соответствующую части первого видеоизображения, соответствующей принимаемой информации области, из захватываемого видеоизображения. Кроме того, первое устройство 100 может идентифицировать объект, включенный в соответствующую часть, из захватываемого видеоизображения.[121] Thefirst device 100 may identify an object from the captured video image based on the received area information. The received region information is region information regarding a part of the first video image, and therefore, thefirst device 100 can check the part corresponding to the part of the first video image corresponding to the received region information from the captured video image. In addition, thefirst device 100 can identify an object included in the corresponding part from the captured video image.

[122] Первое устройство 100 может идентифицировать объект, включенный в захватываемое видеоизображение, посредством использования объекта, идентифицированного из первого видеоизображения. Первое устройство 100 может идентифицировать объект, который является аналогичным изображению объекта, идентифицированного из первого видеоизображения, из захватываемого видеоизображения. То, являются объекты аналогичными или нет, может определяться различными способами. Например, первое устройство 100 может определять то, являются объекты аналогичными или нет, посредством сравнения, по меньшей мере, одного из размера, цвета и формы объекта. Альтернативно, первое устройство 100 может сравнивать части различных объектов друг с другом, чтобы определять то, являются объекты аналогичными или нет.[122] Thefirst device 100 may identify an object included in the captured video image by using an object identified from the first video image. Thefirst device 100 may identify an object that is similar to the image of an object identified from the first video image from the captured video image. Whether objects are similar or not can be determined in various ways. For example, thefirst device 100 may determine whether the objects are similar or not by comparing at least one of the size, color and shape of the object. Alternatively, thefirst device 100 may compare portions of various objects with each other to determine whether the objects are similar or not.

[123] Если первое устройство 100 принимает информацию области части третьего видеоизображения, соответствующего экрану выполнения приложения, выполняемого в первом устройстве 100, из второго устройства 200, первое устройство 100 может идентифицировать объект из третьего видеоизображения на основе принимаемой информации области.[123] If thefirst device 100 receives region information of a part of the third video image corresponding to the execution screen of the application running in thefirst device 100 from thesecond device 200, thefirst device 100 can identify an object from the third video image based on the received region information.

[124] На этапе S350, первое устройство 100 отслеживает идентифицированный объект. Первое устройство 100 может отслеживать объект, идентифицированный из первого видеоизображения. Кроме того, первое устройство 100 может отслеживать объект, идентифицированный из видеоизображения, захваченного посредством использования первого устройства 100. Видеоизображение, захваченное посредством использования первого устройства 100, включает в себя видеоизображение, которое в данный момент захватывается посредством использования первого устройства 100. Идентифицированный объект может перемещаться или вращаться внутри видеоизображения, и первое устройство 100 может отслеживать объект внутри видеоизображения на основе формы и цвета объекта. Отслеживание идентифицированного объекта означает, в случае, когда объект перемещается, проверку позиции движущегося объекта внутри видеоизображения и проверку области, в которую включен объект, но отслеживание не ограничено этим.[124] In step S350, thefirst device 100 tracks the identified object. Thefirst device 100 may track an object identified from the first video image. In addition, thefirst device 100 can track an object identified from the video image captured by using thefirst device 100. The video image captured by using thefirst device 100 includes a video image that is currently captured by using thefirst device 100. The identified object can be moved or rotate inside the video image, and thefirst device 100 can track an object within the video image based on the shape and color ETA object. Tracking an identified object means, when the object is moving, checking the position of a moving object within the video image and checking the area in which the object is included, but tracking is not limited to this.

[125] На этапе S350, первое устройство 100 может выбирать кадр, включающий в себя идентифицированный объект, из множества первых кадров первого видеоизображения. Кроме того, первое устройство 100 может идентифицировать часть, включающую в себя идентифицированный объект, из множества первых кадров первого видеоизображения.[125] In step S350, thefirst device 100 may select a frame including an identified object from the plurality of first frames of the first video image. In addition, thefirst device 100 may identify a part including the identified object from the plurality of first frames of the first video image.

[126] Когда первое устройство 100 принимает информацию области части третьего видеоизображения, соответствующего экрану выполнения приложения, выполняемого в первом устройстве 100, из второго устройства 200, первое устройство 100 может отслеживать объект в третьем видеоизображении.[126] When thefirst device 100 receives region information of a part of the third video image corresponding to the execution screen of the application running in thefirst device 100 from thesecond device 200, thefirst device 100 can track an object in the third video image.

[127] На этапе S360, первое устройство 100 предоставляет второе видеоизображение, включающее в себя только часть, включающую в себя идентифицированный объект, во второе устройство 200. Первое устройство 100 может вырезать часть, включающую в себя идентифицированный объект, из захваченного видеоизображения и предоставлять вырезанную часть в качестве второго видеоизображения во второе устройство 200.[127] In step S360, thefirst device 100 provides a second video image including only a part including an identified object to asecond device 200. Thefirst device 100 can cut a part including an identified object from a captured video and provide a cut part as the second video image to thesecond device 200.

[128] Подробно, первое устройство 100 может определять область, соответствующую интересующей области на экране первого видеоизображения, имеющего исходное разрешение, на основе принимаемой информации области. Кроме того, первое устройство 100 может преобразовывать первое видеоизображение во второе видеоизображение таким образом, что только определенная область включена во второе видеоизображение. Кроме того, первое устройство 100 может предоставлять второе видеоизображение с первым разрешением во второе устройство 200. Первое видеоизображение с первым разрешением может быть преобразовано из первого видеоизображения с исходным разрешением. Например, когда исходное разрешение первого видеоизображения составляет 1000×1000, и первое разрешение второго изображения составляет 100×100, первое устройство 100 может преобразовывать часть первого видеоизображения, соответствующую определенной области, во второе видеоизображение, имеющее разрешение 100×100, и передавать второе видеоизображение с разрешением 100×100 во второе устройство 200.[128] In detail, thefirst device 100 may determine a region corresponding to a region of interest on a screen of a first video image having an original resolution based on the received region information. In addition, thefirst device 100 can convert the first video image to a second video image so that only a certain area is included in the second video image. In addition, thefirst device 100 can provide a second video image with a first resolution to asecond device 200. The first video image with a first resolution can be converted from the first video image with the original resolution. For example, when the initial resolution of the first video image is 1000 × 1000, and the first resolution of the second image is 100 × 100, thefirst device 100 can convert a portion of the first video image corresponding to a specific area into a second video image having a resolution of 100 × 100 and transmit the second video image with 100 × 100 resolution to thesecond device 200.

[129] Первое устройство 100 может отличать часть, включающую в себя идентифицированный объект, из множества первых кадров первого видеоизображения и предоставлять второе видеоизображение, включающее в себя множество вторых кадров, включающих в себя только часть из множества первых кадров, во внешнее устройство.[129] Thefirst device 100 may distinguish a part including an identified object from a plurality of first frames of a first video image and provide a second video image including a plurality of second frames including only a portion of a plurality of first frames to an external device.

[130] Когда первое устройство 100 выбирает кадр, включающий в себя идентифицированный объект, из множества первых кадров первого видеоизображения, первое устройство 100 может предоставлять второе видеоизображение, имеющее множество вторых кадров, включающих в себя только часть выбранного кадра, во внешнее устройство. В этом случае, эта часть может представлять собой интересующую область. Кроме того, первое устройство 100 может вырезать часть, соответствующую интересующей области, согласно выбранному кадру, за счет этого формируя второй кадр для выбранного кадра.[130] When thefirst device 100 selects a frame including an identified object from the plurality of first frames of the first video image, thefirst device 100 can provide a second video image having a plurality of second frames including only a portion of the selected frame to an external device. In this case, this part may be a region of interest. In addition, thefirst device 100 can cut out the part corresponding to the region of interest according to the selected frame, thereby forming a second frame for the selected frame.

[131] Помимо этого, первое устройство 100 может определять размер области, соответствующей второму видеоизображению, согласно способу связи между первым устройством 100 и вторым устройством 200.[131] In addition, thefirst device 100 may determine the size of the area corresponding to the second video image according to the communication method between thefirst device 100 and thesecond device 200.

[132] Второе видеоизображение может включать в себя множество вторых кадров, включающих в себя только часть кадра, выбранного на этапе S350, но не ограничено этим. Кроме того, второе видеоизображение может включать в себя множество вторых кадров, включающих в себя только отличающуюся часть на этапе S350, но не ограничено этим.[132] The second video image may include a plurality of second frames including but not limited to a portion of the frame selected in step S350. In addition, the second video image may include a plurality of second frames including but not limited to a different part in step S350.

[133] Первое устройство 100 может определять качество изображений или разрешение второго видеоизображения согласно способу связи между первым устройством 100 и вторым устройством 200. Например, когда разрешение части кадра, включающей в себя идентифицированный объект, меньше разрешения потоковой передачи данных, передаваемых между первым устройством 100 и вторым устройством 200, первое устройство 100 может увеличивать разрешение или качество изображений части, включающей в себя идентифицированный объект. Помимо этого, например, когда разрешение части кадра, включающей в себя идентифицированный объект, меньше разрешения потоковой передачи данных, передаваемых между первым устройством 100 и вторым устройством 200, первое устройство 100 может увеличивать разрешение или качество изображений части кадра, включающей в себя идентифицированный объект.[133] Thefirst device 100 may determine image quality or resolution of the second video image according to the communication method between thefirst device 100 and thesecond device 200. For example, when the resolution of a portion of the frame including the identified object is less than the resolution of the streaming data transmitted between thefirst device 100 and asecond device 200, thefirst device 100 may increase the resolution or image quality of a part including the identified object. In addition, for example, when the resolution of the part of the frame including the identified object is less than the resolution of the streaming of data transmitted between thefirst device 100 and thesecond device 200, thefirst device 100 may increase the resolution or image quality of the part of the frame including the identified object.

[134] Примеры способа связи между первым устройством 100 и вторым устройством 200 включают в себя, без ограничения, связь по стандарту третьего поколения (3G), связь по стандарту четвертого поколения (4G) и связь по стандарту высококачественной беспроводной связи (Wi-Fi).[134] Examples of a communication method between thefirst device 100 and thesecond device 200 include, without limitation, third-generation (3G) communication, fourth-generation (4G) communication, and high-quality wireless (Wi-Fi) communication .

[135] Когда модифицируется способ связи между первым устройством 100 и вторым устройством 200, первое устройство 100 может модифицировать размер интересующей области, соответствующей второму видеоизображению, или качество изображений для второго видеоизображения. Способ связи между первым устройством 100 и вторым устройством 200 может быть модифицирован, когда, по меньшей мере, одно из первого устройства 100 и второго устройства 200 выполняет передачу обслуживания.[135] When the communication method between thefirst device 100 and thesecond device 200 is modified, thefirst device 100 may modify the size of the region of interest corresponding to the second video image or the image quality for the second video image. The communication method between thefirst device 100 and thesecond device 200 may be modified when at least one of thefirst device 100 and thesecond device 200 performs a handover.

[136] Помимо этого, когда идентифицированный объект исчезает из захваченного видеоизображения, т.е. когда идентифицированный объект не захвачен, первое устройство 100 может модифицировать область, соответствующую второму видеоизображению. Например, когда идентифицированный объект исчезает из захваченного видеоизображения, первое устройство 100 может предоставлять все захваченное видеоизображение во второе устройство 200. Кроме того, в этом случае, первое устройство 100 может предоставлять все захваченное видеоизображение во второе устройство 200 на основе дополнительного пользовательского ввода.[136] In addition, when the identified object disappears from the captured video image, i.e. when the identified object is not captured, thefirst device 100 may modify the area corresponding to the second video image. For example, when the identified object disappears from the captured video image, thefirst device 100 may provide all of the captured video image to thesecond device 200. In addition, in this case, thefirst device 100 may provide all of the captured video image to thesecond device 200 based on additional user input.

[137] Помимо этого, когда объект, который исчезает еще раз, повторно появляется в захваченном изображении, т.е. когда объект, который исчезает, захвачен снова, видеоизображение части, включающей в себя появляющийся объект, из общей области захваченного изображения может предоставляться во второе устройство 200.[137] In addition, when an object that disappears once more reappears in the captured image, i.e. when an object that disappears is captured again, a video image of a part including the appearing object from the common area of the captured image can be provided to thesecond device 200.

[138] Когда первое устройство 100 принимает информацию области относительно части третьего видеоизображения, соответствующего экрану выполнения приложения, выполняемого в первом устройстве 100, первое устройство 100 может предоставлять четвертое видеоизображение, включающее в себя только часть, которая включает в себя идентифицированный объект, во второе устройство 200. В этом случае, первое устройство 100 может предоставлять четвертое видеоизображение с третьим разрешением во второе устройство 200.[138] When thefirst device 100 receives region information regarding a part of the third video image corresponding to the execution screen of the application running in thefirst device 100, thefirst device 100 may provide a fourth video image including only a part that includes the identified object to thesecond device 200. In this case, thefirst device 100 may provide a fourth third-resolution video image to thesecond device 200.

[139] Когда первое устройство 100 принимает информацию области относительно части третьего видеоизображения, соответствующего экрану выполнения приложения, выполняемого в первом устройстве 100, первое устройство 100 может не идентифицировать или отслеживать объект, включенный в третье видеоизображение. В этом случае, первое устройство 100 может вырезать часть третьего видеоизображения на основе принимаемой информации области и преобразовывать вырезанную часть в четвертое видеоизображение и предоставлять четвертое видеоизображение во второе устройство 200.[139] When thefirst device 100 receives region information regarding a part of the third video image corresponding to the execution screen of the application running in thefirst device 100, thefirst device 100 may not identify or track an object included in the third video image. In this case, thefirst device 100 may cut out a portion of the third video image based on the received area information and convert the cut out portion into a fourth video image and provide a fourth video image to thesecond device 200.

[140] На этапе S370, второе устройство 200 отображает принимаемое второе видеоизображение. Пользователь второго устройства 200 может проверять подробное видеоизображение относительно объекта, включенного в выбранную часть. Кроме того, второе устройство 200 может отображать неподвижный экран принимаемого второго видеоизображения.[140] In step S370, thesecond device 200 displays the received second video image. The user of thesecond device 200 can check the detailed video image with respect to the object included in the selected part. In addition, thesecond device 200 may display a fixed screen of the received second video image.

[141] Между тем, второе устройство 200 может совместно отображать первое видеоизображение и второе видеоизображение на экране второго устройства 200. В этом случае, второе устройство 200 может принимать не только второе видеоизображение, но также и первое видеоизображение на этапе S360. Кроме того, второе устройство 200 может отображать первое и второе видеоизображения посредством перекрытия второго видеоизображения на первом видеоизображении. Второе устройство 200 может перекрывать второе видеоизображение в части первого видеоизображения, в которой не отображается пользователь первого устройства 100. Помимо этого, второе устройство 200 может регулировать размер части, в которой отображается первое видеоизображение, и размер части, в которой отображается второе видеоизображение. Тем не менее, примерные варианты осуществления не ограничены этим, и второе устройство 200 может отображать первое и второе видеоизображения на экране второго устройства 200 без перекрытия первого и второго видеоизображений.[141] Meanwhile, thesecond device 200 can jointly display the first video image and the second video image on the screen of thesecond device 200. In this case, thesecond device 200 can receive not only the second video image, but also the first video image in step S360. In addition, thesecond device 200 may display the first and second video images by overlapping the second video image on the first video image. Thesecond device 200 may overlap the second video image in the part of the first video image in which the user of thefirst device 100 is not displayed. In addition, thesecond device 200 can adjust the size of the part in which the first video image is displayed and the size of the part in which the second video image is displayed. However, exemplary embodiments are not limited to this, and thesecond device 200 may display the first and second video images on the screen of thesecond device 200 without overlapping the first and second video images.

[142] Хотя выше описано второе устройство 200, принимающее второе видеоизображение из первого устройства 100 и отображающее как первое, так и второе видеоизображения, альтернативно, второе устройство 200, может выбирать часть первого видеоизображения, извлекать развернутое изображение выбранной части из первого видеоизображения и отображать извлеченное развернутое изображение на экране второго устройства 200 вместе с первым видеоизображением.[142] Although thesecond device 200, receiving the second video image from thefirst device 100 and displaying both the first and second video images, alternatively, thesecond device 200, may select a part of the first video image, extract a detailed image of the selected part from the first video image, and display the extracted image, as described above. the expanded image on the screen of thesecond device 200 together with the first video image.

[143] Фиг. 4 является блок-схемой последовательности операций, иллюстрирующей способ формирования информации области относительно интересующей области, посредством использования второго устройства 200, согласно примерному варианту осуществления.[143] FIG. 4 is a flowchart illustrating a method of generating area information regarding a region of interest by using thesecond device 200 according to an exemplary embodiment.

[144] На этапе S322, второе устройство 200 принимает пользовательский ввод для выбора части первого видеоизображения. Второе устройство 200 может принимать сенсорный ввод пользователя для выбора части первого видеоизображения. Например, второе устройство 200 может принимать пользовательский ввод для касания предварительно определенной точки первого видеоизображения или пользовательский ввод для касания и перетаскивания предварительно определенной точки первого видеоизображения.[144] In step S322, thesecond device 200 receives user input for selecting a portion of the first video image. Thesecond device 200 may receive user input for selecting a portion of the first video image. For example, thesecond device 200 may receive user input for touching a predetermined point of the first video image or user input for touching and dragging a predetermined point in the first video image.

[145] Кроме того, второе устройство 200 может принимать сенсорный ввод пользователя через предварительно определенный пользовательский интерфейс, отображаемый на экране. Например, второе устройство 200 может отображать прямоугольник в части первого видеоизображения и предоставлять пользовательский интерфейс, так что пользователь может касаться и перетаскивать кадр с прямоугольником, чтобы модифицировать размер прямоугольника. Кроме того, второе устройство 200 может принимать сенсорный ввод пользователя через предоставленный пользовательский интерфейс.[145] In addition, thesecond device 200 may receive user touch input through a predefined user interface displayed on the screen. For example, thesecond device 200 may display the rectangle in part of the first video image and provide a user interface so that the user can touch and drag the frame with the rectangle to modify the size of the rectangle. In addition, thesecond device 200 may receive touch input from a user through the provided user interface.

[146] На этапе S324, второе устройство 200 проверяет способ связи относительно первого устройства 100. Второе устройство 200 может проверять тип и полосу пропускания способа связи относительно первого устройства 100. Кроме того, второе устройство 200 может проверять разрешение потоковой передачи данных, передаваемых между первым устройством 100 и вторым устройством 200. Примеры способа связи между первым устройством 100 и вторым устройством 200 включают в себя, без ограничения, 3G-связь, 4G-связь и Wi-Fi-связь.[146] In step S324, thesecond device 200 checks the communication method with respect to thefirst device 100. Thesecond device 200 can check the type and bandwidth of the communication method with respect to thefirst device 100. In addition, thesecond device 200 can check the resolution of the streaming of data transmitted between the first thedevice 100 and thesecond device 200. Examples of a communication method between thefirst device 100 and thesecond device 200 include, without limitation, 3G communication, 4G communication and Wi-Fi communication.

[147] На этапе S326, второе устройство 200 выбирает часть первого видеоизображения в качестве интересующей области на основе принимаемого пользовательского ввода и проверенного способа связи. Второе устройство 200 может выбирать часть первого видеоизображения на основе позиции точки сенсорного ввода в первом видеоизображении. Подробно, когда пользователь касается предварительно определенной точки в первом видеоизображении, второе устройство 200 идентифицирует объект, включающий в себя точку касания, и выбирает часть первого видеоизображения, включающую в себя идентифицированный объект. Например, когда касаются отображаемого изображения лица в первом видеоизображении, второе устройство 200 может идентифицировать лицо, которое представляет собой объект, включающий в себя точку касания. Кроме того, второе устройство 200 может выбирать часть, включающую в себя идентифицированное лицо, в качестве интересующей области.[147] In step S326, thesecond device 200 selects a portion of the first video image as the region of interest based on the received user input and the verified communication method. Thesecond device 200 may select a portion of the first video image based on the position of the touch input point in the first video image. In detail, when the user touches a predetermined point in the first video image, thesecond device 200 identifies an object including the touch point, and selects a portion of the first video image including the identified object. For example, when a displayed face image in a first video image is touched, thesecond device 200 may identify a face that is an object including a touch point. In addition, thesecond device 200 may select a part including an identified person as the area of interest.

[148] Помимо этого, когда пользователь касается предварительно определенной точки в первом видеоизображении, второе устройство 200 может выбирать область предварительно заданного диапазона из точки касания, в качестве интересующей области. Например, второе устройство 200 может выбирать прямоугольную область, имеющую предварительно определенный размер относительно точки касания, в качестве интересующей области.[148] In addition, when the user touches a predetermined point in the first video image, thesecond device 200 may select an area of a predetermined range from the touch point as an area of interest. For example, thesecond device 200 may select a rectangular region having a predetermined size with respect to the touch point as the region of interest.

[149] Второе устройство 200 может модифицировать выбранную интересующую область согласно сенсорному вводу пользователя через пользовательский интерфейс.[149] Thesecond device 200 may modify the selected area of interest according to the touch input of the user through the user interface.

[150] Размер интересующей области, выбранной в первом видеоизображении, может определяться согласно способу связи между первым устройством 100 и вторым устройством 200. Например, размер интересующей области, выбранной в первом видеоизображении, может определяться на основе, по меньшей мере, одного из типа и полосы пропускания способа связи. Кроме того, в другом примере, размер интересующей области, выбранной в первом видеоизображении, может определяться на основе степени разрешения потоковой передачи данных, передаваемых между первым устройством 100 и вторым устройством 200. Верхний предел размера интересующей области, выбранной в первом видеоизображении, может определяться согласно способу связи между первым устройством 100 и вторым устройством 200.[150] The size of the region of interest selected in the first video image can be determined according to the communication method between thefirst device 100 and thesecond device 200. For example, the size of the region of interest selected in the first video image can be determined based on at least one of the type and bandwidth of the communication method. In addition, in another example, the size of the region of interest selected in the first video image can be determined based on the degree of resolution of the streaming data transmitted between thefirst device 100 and thesecond device 200. An upper limit on the size of the region of interest selected in the first video image can be determined according to a communication method between thefirst device 100 and thesecond device 200.

[151] Хотя второе устройство 200 выбирает часть первого видеоизображения на основе пользовательского ввода согласно вышеприведенному описанию со ссылкой на фиг. 4, примерные варианты осуществления не ограничены этим. Второе устройство 200 может распознавать лицо, включенное в первое видеоизображение, без дополнительного пользовательского ввода и выбирать предварительно определенную область, включающую в себя лицо, в качестве интересующей области. Кроме того, в этом случае, размер выбранной интересующей области может определяться согласно способу связи между первым устройством 100 и вторым устройством 200.[151] Although thesecond device 200 selects a portion of the first video image based on user input as described above with reference to FIG. 4, exemplary embodiments are not limited to this. Thesecond device 200 may recognize a face included in the first video image without additional user input and select a predefined area including a face as the area of interest. Furthermore, in this case, the size of the selected region of interest can be determined according to the communication method between thefirst device 100 and thesecond device 200.

[152] Фиг. 5 является блок-схемой последовательности операций, иллюстрирующей, когда модифицируется способ связи между первым устройством 100 и вторым устройством 200, способ модификации интересующей области, выбранной посредством использования первого устройства 100, и предоставления видеоизображения относительно модифицированной области во второе устройство 200, согласно примерному варианту осуществления.[152] FIG. 5 is a flowchart illustrating when a communication method between afirst device 100 and asecond device 200 is modified, a method of modifying an area of interest selected by using thefirst device 100 and providing video images of the modified area to thesecond device 200 according to an exemplary embodiment .

[153] На этапе S500, первое устройство 100 определяет то, модифицируется способ связи или нет между первым устройством 100 и вторым устройством 200. Подробно, первое устройство 100 может проверять то, модифицируются тип или полоса пропускания способа связи либо нет относительно второго устройства 200. Кроме того, второе устройство 200 может проверять то, модифицируется или нет разрешение потоковой передачи данных, передаваемых между первым устройством 100 и вторым устройством 200.[153] In step S500, thefirst device 100 determines whether the communication method is modified or not between thefirst device 100 and thesecond device 200. In detail, thefirst device 100 can check whether the type or bandwidth of the communication method is modified or not relative to thesecond device 200. In addition, thesecond device 200 can check whether or not the streaming resolution of the data transmitted between thefirst device 100 and thesecond device 200 is modified.

[154] Примеры способа связи между первым устройством 100 и вторым устройством 200 включают в себя, без ограничения, 3G-связь, 4G-связь и Wi-Fi-связь. Помимо этого, способ связи между первым устройством 100 и вторым устройством 200 может быть модифицирован, когда, по меньшей мере, одно из первого устройства 100 и второго устройства 200 выполняет передачу обслуживания.[154] Examples of a communication method between thefirst device 100 and thesecond device 200 include, but are not limited to, 3G communication, 4G communication, and Wi-Fi communication. In addition, the communication method between thefirst device 100 and thesecond device 200 can be modified when at least one of thefirst device 100 and thesecond device 200 performs a handover.

[155] В качестве результата определения этапа S500, когда модифицируется способ связи, на этапе S510, первое устройство 100 модифицирует область, соответствующую второму видеоизображению, передаваемому во второе устройство 200. Когда модифицируется способ связи между первым устройством 100 и вторым устройством 200, первое устройство 100 может модифицировать размер части первого видеоизображения, соответствующей второму видеоизображению.[155] As a result of determining step S500, when the communication method is modified, in step S510, thefirst device 100 modifies the area corresponding to the second video image transmitted to thesecond device 200. When the communication method between thefirst device 100 and thesecond device 200 is modified, thefirst device 100 may modify the size of the portion of the first video image corresponding to the second video image.

[156] Например, когда модифицируется способ связи между первым устройством 100 и вторым устройством 200 с 3G-связи на Wi-Fi-связь, может выбираться часть первого видеоизображения, которая должна передаваться из первого устройства, которая больше части первого видеоизображения, соответствующей второму видеоизображению. Когда способ связи между первым устройством 100 и вторым устройством 200 представляет собой 3G-связь, и первое устройство 100 передает часть лица первого видеоизображения, и затем способ связи между первым устройством 100 и вторым устройством 200 модифицируется на Wi-Fi-связь, первое устройство 100 может выбирать часть первого видеоизображения таким образом, что часть фона первого видеоизображения дополнительно включена в дополнение к лицу. Помимо этого, например, когда модифицируется способ связи между первым устройством 100 и вторым устройством 200 с 4G-связи на Wi-Fi-связь, может выбираться меньшая область, чем часть, соответствующая второму видеоизображению.[156] For example, when a communication method between thefirst device 100 and thesecond device 200 from a 3G connection to a Wi-Fi connection is modified, a part of the first video image to be transmitted from the first device that is larger than a part of the first video image corresponding to the second video image can be selected . When the communication method between thefirst device 100 and thesecond device 200 is a 3G connection, and thefirst device 100 transmits a face portion of the first video image, and then the communication method between thefirst device 100 and thesecond device 200 is modified to Wi-Fi communication, thefirst device 100 may select a portion of the first video image such that a background portion of the first video image is further included in addition to the face. In addition, for example, when the communication method between thefirst device 100 and thesecond device 200 from a 4G connection to a Wi-Fi connection is modified, a smaller area may be selected than the part corresponding to the second video image.

[157] Кроме того, например, когда модифицируется разрешение потоковой передачи данных, передаваемых между первым устройством 100 и вторым устройством 200, может модифицироваться размер части, соответствующей второму видеоизображению.[157] Furthermore, for example, when the resolution of the streaming of data transmitted between thefirst device 100 and thesecond device 200 is modified, the size of the part corresponding to the second video image can be modified.

[158] Размер области, соответствующей, по меньшей мере, одному из типа и полосы пропускания способа связи, может задаваться заранее и сохраняться в первом устройстве 100. Кроме того, размер области, соответствующей разрешению потоковой передачи данных, передаваемых между первым устройством 100 и вторым устройством 200, может задаваться заранее и сохраняться в первом устройстве 100.[158] The size of the region corresponding to at least one of the type and bandwidth of the communication method can be set in advance and stored in thefirst device 100. In addition, the size of the region corresponding to the resolution of the streaming of data transmitted between thefirst device 100 and thesecond device 200 may be set in advance and stored in thefirst device 100.

[159] На этапе S520, первое устройство 100 предоставляет видеоизображение модифицированной области во второе устройство 200. Например, когда модифицируется способ связи между первым устройством 100 и вторым устройством 200 с 3G-связи на Wi-Fi-связь, первое устройство 100 может предоставлять видеоизображение относительно части первого видеоизображения, большей части первого видеоизображения, соответствующей второму видеоизображению, во второе устройство 200. Кроме того, например, когда уменьшается разрешение потоковой передачи данных, передаваемых между первым устройством 100 и вторым устройством 200, первое устройство может предоставлять видеоизображение относительно меньшей части первого видеоизображения, чем часть первого видеоизображения, соответствующая второму видеоизображению, во второе устройство 200.[159] In step S520, thefirst device 100 provides a video image of the modified area to thesecond device 200. For example, when the communication method between thefirst device 100 and thesecond device 200 from 3G to Wi-Fi communication is modified, thefirst device 100 can provide a video image relative to a portion of the first video image, a large part of the first video image corresponding to the second video image to thesecond device 200. In addition, for example, when the resolution of the streaming of data transmitted to waiting for thefirst device 100 and thesecond device 200, the first device can provide a video image relative to a smaller portion of the first video image than the part of the first video image corresponding to the second video image to thesecond device 200.

[160] Фиг. 6 является блок-схемой последовательности операций, иллюстрирующей, когда модифицируется способ связи между первым устройством 100 и вторым устройством 200, способ предоставления видеоизображения, имеющего модифицированное качество изображений посредством использования первого устройства 100, во второе устройство 200, согласно примерному варианту осуществления.[160] FIG. 6 is a flowchart illustrating when a communication method between afirst device 100 and asecond device 200 is modified, a method of providing a video image having a modified image quality by using thefirst device 100 to thesecond device 200, according to an exemplary embodiment.

[161] На этапе S600, первое устройство 100 определяет то, модифицируется или нет способ связи относительно второго устройства 200. Подробно, первое устройство 100 может проверять то, модифицируется тип или полоса пропускания связи либо нет относительно второго устройства 200. Кроме того, второе устройство 200 может проверять то, модифицируется или нет разрешение потоковой передачи данных, передаваемых между первым устройством 100 и вторым устройством 200.[161] In step S600, thefirst device 100 determines whether or not the communication method is modified with respect to thesecond device 200. In detail, thefirst device 100 can check whether the type or bandwidth of the communication is modified or not with respect to thesecond device 200. In addition, thesecond device 200 may check whether or not the streaming resolution of the data transmitted between thefirst device 100 and thesecond device 200 is modified.

[162] В качестве результата этапа S600, когда определяется то, что способ связи модифицируется, на этапе S610, первое устройство 100 модифицирует качество изображений для второго видеоизображения, которое передается во второе устройство 200. Когда модифицируется способ связи между первым устройством 100 и вторым устройством 200, первое устройство 100 может модифицировать качество изображений для второго видеоизображения на высокое качество изображений или низкое качество изображений.[162] As a result of step S600, when it is determined that the communication method is being modified, in step S610, thefirst device 100 modifies the image quality for the second video image that is transmitted to thesecond device 200. When the communication method between thefirst device 100 and the second device is modified 200, thefirst device 100 may modify the image quality for the second video image to high image quality or low image quality.

[163] Например, когда модифицируется способ связи между первым устройством 100 и вторым устройством 200 с 3G-связи на Wi-Fi-связь, качество изображений для второго видеоизображения может быть модифицировано на более высокое качество изображений, чем в 3G-связи. Помимо этого, например, когда модифицируется способ связи между первым устройством 100 и вторым устройством 200 с 4G-связи на 3G-связь, качество изображений для второго видеоизображения может быть модифицировано на более низкое качество изображения, чем в 4G-связи.[163] For example, when a communication method between thefirst device 100 and thesecond device 200 from a 3G connection to a Wi-Fi connection is modified, the image quality for the second video image can be modified to a higher image quality than in 3G connection. In addition, for example, when the communication method between thefirst device 100 and thesecond device 200 is modified from 4G communication to 3G communication, the image quality for the second video image can be modified to a lower image quality than in 4G communication.

[164] В другом примере, качество изображений для второго видеоизображения может быть модифицировано, когда модифицируется разрешение потоковой передачи данных, передаваемых между первым устройством 100 и вторым устройством 200.[164] In another example, the image quality for the second video image may be modified when the resolution of the streaming of data transmitted between thefirst device 100 and thesecond device 200 is modified.

[165] Качество изображений, соответствующее, по меньшей мере, одному из типа и полосе пропускания способа связи, может задаваться заранее и сохраняться в первом устройстве 100. Кроме того, качество изображений, соответствующее разрешению потоковой передачи данных, передаваемых между первым устройством 100 и вторым устройством 200, может задаваться заранее и сохраняться в первом устройстве 100.[165] Image quality corresponding to at least one of the type and bandwidth of the communication method can be set in advance and stored in thefirst device 100. In addition, image quality corresponding to the resolution of the streaming of data transmitted between thefirst device 100 and thesecond device 200 may be set in advance and stored in thefirst device 100.

[166] На этапе S620, первое устройство 100 предоставляет видеоизображение с модифицированным качеством изображений во второе устройство 200. Первое устройство 100 может предоставлять видеоизображение, имеющее надлежащее качество изображений в качестве модифицированного качества изображений, во второе устройство 200.[166] In step S620, thefirst device 100 provides a video image with the modified image quality to thesecond device 200. Thefirst device 100 can provide a video image having the proper image quality as the modified image quality to thesecond device 200.

[167] Фиг. 7 является блок-схемой последовательности операций, иллюстрирующей способ предоставления видеоизображения, включающего в себя объект, соответствующий части видеоизображения, захватываемого посредством использования первого устройства 100, во второе устройство 200, согласно другому примерному варианту осуществления. Ссылаясь на фиг. 7, первое устройство 100 может принимать информацию координат предварительно определенной точки первого видеоизображения из второго устройства 200 и выбирать часть первого видеоизображения в качестве интересующей области посредством использования принимаемой информации координат.[167] FIG. 7 is a flowchart illustrating a method of providing a video image including an object corresponding to a portion of a video image captured by using thefirst device 100 to thesecond device 200 according to another exemplary embodiment. Referring to FIG. 7, thefirst device 100 may receive the coordinate information of a predetermined point of the first video image from thesecond device 200 and select a portion of the first video image as an area of interest by using the received coordinate information.

[168] На этапе S700, первое устройство 100 предоставляет первое видеоизображение во второе устройство 200. Первое устройство 100 может предоставлять первое видеоизображение во второе устройство 200 на основе захваченного видеоизображения. Первое устройство 100 может предоставлять захваченное видеоизображение в качестве первого видеоизображения без его обработки во второе устройство 200. Кроме того, первое устройство 100 может обрабатывать захваченное видеоизображение и предоставлять обработанное видеоизображение в качестве первого видеоизображения во второе устройство 200. В этом случае, первое устройство 100 может модифицировать разрешение захваченного видеоизображения или преобразовывать захваченное видеоизображение в предварительно определенный формат. Например, если разрешение захваченного видеоизображения превышает разрешение потоковой передачи данных между первым устройством 100 и вторым устройством 200, первое устройство 100 может модифицировать разрешение захваченного видеоизображения таким образом, что оно является идентичным разрешению потоковой передачи данных, и может предоставлять захваченное видеоизображение с модифицированным разрешением, в качестве первого видеоизображения, во второе устройство 200.[168] In step S700, thefirst device 100 provides the first video image to thesecond device 200. Thefirst device 100 can provide the first video image to thesecond device 200 based on the captured video image. Thefirst device 100 may provide the captured video image as the first video image without processing it to thesecond device 200. In addition, thefirst device 100 may process the captured video image and provide the processed video image as the first video image to thesecond device 200. In this case, thefirst device 100 may modify the resolution of the captured video image or convert the captured video image to a predefined format. For example, if the resolution of the captured video image exceeds the resolution of the streaming data between thefirst device 100 and thesecond device 200, thefirst device 100 can modify the resolution of the captured video image so that it is identical to the resolution of the streaming data, and can provide the captured video image with a modified resolution in as the first video image, to thesecond device 200.

[169] На этапе S700, первое устройство 100 может передавать первое видеоизображение, имеющее исходное разрешение, во внешнее устройство с первым разрешением. Первое устройство 100 может преобразовывать первое видеоизображение, имеющее исходное разрешение, в первое видеоизображение с первым разрешением, и передавать первое видеоизображение, имеющее первое разрешение, во второе устройство 200. В этом случае, первое устройство 100 может получать информацию относительно разрешения дисплея, включенного во второе устройство 200, заранее и сохранять ее и может определять первое разрешение на основе разрешения дисплея, включенного во второе устройство 200.[169] In step S700, thefirst device 100 may transmit the first video image having the original resolution to the external device with the first resolution. Thefirst device 100 may convert the first video image having the original resolution into the first video image with the first resolution and transmit the first video image having the first resolution to thesecond device 200. In this case, thefirst device 100 may receive information regarding the resolution of the display included in the second thedevice 200 in advance and save it and can determine the first resolution based on the resolution of the display included in thesecond device 200.

[170] На этапе S710, второе устройство 200 отображает принимаемое первое видеоизображение. Второе устройство 200 может отображать принимаемое первое видеоизображение на экране второго устройства 200. Например, второе устройство 200 может отображать первое видеоизображение с первым разрешением на экране.[170] In step S710, thesecond device 200 displays the received first video image. Thesecond device 200 may display the received first video image on the screen of thesecond device 200. For example, thesecond device 200 may display the first video image with the first resolution on the screen.

[171] На этапе S720, второе устройство 200 принимает сенсорный ввод пользователя относительно первого видеоизображения, отображаемого на экране. Второе устройство 200 может принимать сенсорный ввод пользователя, который выбирает предварительно определенную точку первого видеоизображения, отображаемого на экране. Кроме того, второе устройство 200 может формировать информацию координат точки касания.[171] In step S720, thesecond device 200 receives the touch input of the user relative to the first video image displayed on the screen. Thesecond device 200 may receive touch input from a user who selects a predetermined point of the first video image displayed on the screen. In addition, thesecond device 200 may generate touch point coordinate information.

[172] На этапе S730, второе устройство 200 предоставляет информацию координат точки касания в первое устройство 100.[172] In step S730, thesecond device 200 provides touch point coordinate information to thefirst device 100.

[173] На этапе S740, первое устройство 100 определяет часть первого видеоизображения, которая должна предоставляться во второе устройство 200, в качестве интересующей области, на основе принимаемой информации координат. Первое устройство 100 может выбирать часть на основе позиции точки касания. Подробно, первое устройство 100 может идентифицировать объект, включающий в себя точку касания, и выбирать область, которая включает в себя идентифицированный объект. Например, когда касаются части лица в первом видеоизображении, первое устройство 100 может идентифицировать лицо, в качестве объекта, включающего в себя точку касания. Кроме того, первое устройство 100 может выбирать часть, включающую в себя идентифицированное лицо, в качестве интересующей области.[173] In step S740, thefirst device 100 determines a portion of the first video image to be provided to thesecond device 200 as an area of interest based on the received coordinate information. Thefirst device 100 may select a part based on the position of the touch point. In detail, thefirst device 100 may identify an object including a touch point, and select an area that includes an identified object. For example, when a part of the face in the first video image is touched, thefirst device 100 may identify the face as an object including a point of touch. In addition, thefirst device 100 may select a part including an identified person as a region of interest.

[174] Кроме того, первое устройство 100 может выбирать область предварительно заданного диапазона вокруг точки касания в качестве интересующей области. Например, первое устройство 100 может выбирать прямоугольную область, имеющую предварительно определенный размер вокруг точки касания, в качестве интересующей области.[174] In addition, thefirst device 100 may select an area of a predetermined range around a touch point as a region of interest. For example, thefirst device 100 may select a rectangular region having a predetermined size around the touch point as the region of interest.

[175] На этапе S750, первое устройство 100 идентифицирует объект, включенный в определенную часть. Например, когда первое устройство 100 выбирает область предварительно заданного диапазона из точки касания в качестве интересующей области, первое устройство 100 может идентифицировать объект, включенный в выбранную часть, из первого видеоизображения.[175] In step S750, thefirst device 100 identifies an object included in a specific part. For example, when thefirst device 100 selects an area of a predetermined range from a touch point as a region of interest, thefirst device 100 can identify an object included in the selected part from the first video image.

[176] Первое устройство 100 может идентифицировать объект из захваченного видеоизображения на основе определенной интересующей области. Определенная интересующая область представляет собой часть первого видеоизображения, и в силу этого первое устройство 100 может проверять область, совпадающую с интересующей областью первого видеоизображения, из видеоизображения, которое в данный момент захватывается. Кроме того, первое устройство 100 может идентифицировать объект, включенный в совпадающую область, из видеоизображения, которое в данный момент захватывается.[176] Thefirst device 100 may identify an object from a captured video image based on a specific area of interest. The specific region of interest is part of the first video image, and therefore, thefirst device 100 can check the area matching the region of interest of the first video image from the video image that is currently being captured. In addition, thefirst device 100 can identify an object included in the matching area from the video image that is currently being captured.

[177] Первое устройство 100 может идентифицировать объект, включенный в видеоизображение, которое захватывается, посредством использования объекта, идентифицированного из первого видеоизображения. Первое устройство 100 может идентифицировать объект, включенный в захватываемое видеоизображение, посредством использования идентифицированного объекта из первого видеоизображения. Первое устройство 100 может идентифицировать объект, который является аналогичным изображению объекта, идентифицированного из первого видеоизображения, на основе порогового значения согласования/идентификации.[177] Thefirst device 100 may identify an object included in a video image that is captured by using an object identified from the first video image. Thefirst device 100 may identify an object included in the captured video image by using the identified object from the first video image. Thefirst device 100 may identify an object that is similar to the image of an object identified from the first video image based on a matching / identification threshold.

[178] На этапе S760, первое устройство 100 отслеживает идентифицированный объект. Первое устройство 100 может отслеживать объект, идентифицированный из первого видеоизображения. Кроме того, первое устройство 100 может отслеживать объект, идентифицированный из захваченного видеоизображения.[178] In step S760, thefirst device 100 tracks the identified object. Thefirst device 100 may track an object identified from the first video image. In addition, thefirst device 100 may track an object identified from the captured video image.

[179] На этапе S770, первое устройство 100 предоставляет второе видеоизображение, включающее в себя отслеживаемый объект, во второе устройство 200. Первое устройство 100 может вырезать часть, включающую в себя идентифицированный объект, из захваченного видеоизображения и предоставлять вырезанную часть в качестве второго видеоизображения во второе устройство 200.[179] In step S770, thefirst device 100 provides a second video image including the monitored object to thesecond device 200. Thefirst device 100 can cut a part including the identified object from the captured video image and provide the cut part as a second video image insecond device 200.

[180] Подробно, первое устройство 100 может определять часть экрана первого видеоизображения, имеющего исходное разрешение, соответствующее интересующей области, на основе принимаемой информации области. Кроме того, первое устройство 100 может преобразовывать первое видеоизображение во второе видеоизображение таким образом, что только определенная часть включена во второе видеоизображение. Кроме того, первое устройство 100 может предоставлять второе видеоизображение с первым разрешением во второе устройство 200. Первое видеоизображение с первым разрешением может быть преобразовано из первого видеоизображения с исходным разрешением. Например, когда исходное разрешение первого видеоизображения составляет 1000×1000, и первое разрешение второго видеоизображения составляет 100×100, первое устройство 100 может преобразовывать определенную часть первого видеоизображения во второе видеоизображение и передавать второе видеоизображение с разрешением 100×100 во второе устройство 200.[180] In detail, thefirst device 100 may determine a portion of a screen of a first video image having an original resolution corresponding to a region of interest based on the received region information. In addition, thefirst device 100 can convert the first video image into a second video image so that only a certain part is included in the second video image. In addition, thefirst device 100 can provide a second video image with a first resolution to asecond device 200. The first video image with a first resolution can be converted from the first video image with the original resolution. For example, when the initial resolution of the first video image is 1000 × 1000, and the first resolution of the second video image is 100 × 100, thefirst device 100 can convert a certain part of the first video image to the second video image and transmit the second video image with a resolution of 100 × 100 to thesecond device 200.

[181] Первое устройство 100 может определять размер части, соответствующей второму видеоизображению, согласно способу связи между первым устройством 100 и вторым устройством 200. Кроме того, первое устройство может определять качество изображений для второго видеоизображения согласно способу связи между первым устройством 100 и вторым устройством 200. Примеры способа связи между первым устройством 100 и вторым устройством 200 включают в себя, без ограничения, 3G-связь, 4G-связь и Wi-Fi-связь.[181] Thefirst device 100 may determine the size of the part corresponding to the second video image according to the communication method between thefirst device 100 and thesecond device 200. In addition, the first device can determine the image quality for the second video image according to the communication method between thefirst device 100 and thesecond device 200 Examples of a communication method between thefirst device 100 and thesecond device 200 include, without limitation, 3G communication, 4G communication, and Wi-Fi communication.

[182] Когда модифицируется способ связи между первым устройством 100 и вторым устройством 200, первое устройство 100 может модифицировать размер области, соответствующей второму видеоизображению, или качество изображений области, соответствующей второму видеоизображению. Способ связи между первым устройством 100 и вторым устройством 200 может быть модифицирован, когда, по меньшей мере, одно из первого устройства 100 и второго устройства 200 выполняет передачу обслуживания.[182] When the communication method between thefirst device 100 and thesecond device 200 is modified, thefirst device 100 may modify the size of the area corresponding to the second video image or the image quality of the area corresponding to the second video image. The communication method between thefirst device 100 and thesecond device 200 may be modified when at least one of thefirst device 100 and thesecond device 200 performs a handover.

[183] На этапе S780, второе устройство 200 отображает принимаемое видеоизображение. Пользователь второго устройства 200 может проверять подробное видеоизображение объекта, включенного в выбранную часть.[183] In step S780, thesecond device 200 displays the received video image. The user of thesecond device 200 can check the detailed video image of the object included in the selected part.

[184] Между тем, второе устройство 200 может совместно отображать первое видеоизображение и второе видеоизображение на экране второго устройства 200. В этом случае, на этапе S770, второе устройство 200 может принимать не только второе видеоизображение, но также и первое видеоизображение. Кроме того, второе устройство 200 может отображать первое и второе видеоизображения посредством перекрытия второго видеоизображения на первом видеоизображении. Второе устройство 200 может перекрывать второе видеоизображение в части первого видеоизображения, в которой не отображается пользователь первого устройства 100. Помимо этого, второе устройство 200 может регулировать размер части, в которой отображается первое видеоизображение, и размер части, в которой отображается второе видеоизображение. Тем не менее, примерные варианты осуществления не ограничены этим, и второе устройство 200 может отображать первое и второе видеоизображения на экране второго устройства 200 без перекрытия первого и второго видеоизображений.[184] Meanwhile, thesecond device 200 can jointly display the first video image and the second video image on the screen of thesecond device 200. In this case, in step S770, thesecond device 200 can receive not only the second video image, but also the first video image. In addition, thesecond device 200 may display the first and second video images by overlapping the second video image on the first video image. Thesecond device 200 may overlap the second video image in the part of the first video image in which the user of thefirst device 100 is not displayed. In addition, thesecond device 200 can adjust the size of the part in which the first video image is displayed and the size of the part in which the second video image is displayed. However, exemplary embodiments are not limited to this, and thesecond device 200 may display the first and second video images on the screen of thesecond device 200 without overlapping the first and second video images.

[185] Фиг. 8А и 8B иллюстрируют пример определения части первого видеоизображения в качестве интересующей области, посредством использования второго устройства 200, так что объект, включающий в себя точку, которой касается пользователь, включен в определенную часть, согласно примерному варианту осуществления.[185] FIG. 8A and 8B illustrate an example of determining a portion of a first video image as an area of interest by using asecond device 200, so that an object including a point that a user touches is included in a specific part according to an exemplary embodiment.

[186] Ссылаясь на фиг. 8А и 8B, когда пользователь касается предварительно определенной точки 80 первого видеоизображения, отображаемого на экране второго устройства 200, второе устройство 200 может определять область 84, включающую в себя лицо 82, которое включает в себя точку 80 касания, в качестве части первого видеоизображения.[186] Referring to FIG. 8A and 8B, when the user touches apredetermined point 80 of the first video image displayed on the screen of thesecond device 200, thesecond device 200 may determine anarea 84 including a face 82 that includes thetouch point 80 as part of the first video image.

[187] Подробно, когда пользователь касается предварительно определенной точки 80 первого видеоизображения, отображаемого на экране, второе устройство 200 может идентифицировать лицо 82, включающее в себя точку касания. Кроме того, второе устройство 200 может выбирать область 84, включающую в себя лицо 82. В этом случае, размер области 84 может определяться на основе способа связи между первым устройством 100 и вторым устройством 200.[187] In detail, when a user touches apredetermined point 80 of a first video image displayed on a screen, thesecond device 200 can identify a face 82 including a touch point. In addition, thesecond device 200 may select anarea 84 including the face 82. In this case, the size of thearea 84 may be determined based on the communication method between thefirst device 100 and thesecond device 200.

[188] Например, когда пользователь касается предварительно определенного меню, отображаемого на экране второго устройства 200, предварительно определенный прямоугольный блок отображается на экране второго устройства 200, и пользователь может перемещать отображаемый прямоугольный блок или регулировать размер прямоугольного блока, чтобы выбирать интересующую область. В этом случае, пользовательский интерфейс, через который перемещается прямоугольный блок или регулируется размер прямоугольного блока, также может отображаться на экране второго устройства 200.[188] For example, when a user touches a predefined menu displayed on the screen of thesecond device 200, a predefined rectangular block is displayed on the screen of thesecond device 200, and the user can move the displayed rectangular block or adjust the size of the rectangular block to select an area of interest. In this case, the user interface through which the rectangular block is moved or the size of the rectangular block is adjusted can also be displayed on the screen of thesecond device 200.

[189] Фиг. 9А и 9B иллюстрируют пример определения, в качестве интересующей области, части в предварительно заданном диапазоне из точки касания пользователя, посредством использования второго устройства 200, согласно примерному варианту осуществления.[189] FIG. 9A and 9B illustrate an example of determining, as a region of interest, a part in a predetermined range from a user's touch point by using thesecond device 200, according to an exemplary embodiment.

[190] Ссылаясь на фиг. 9А и 9B, когда пользователь касается предварительно определенной точки 90 первого видеоизображения, отображаемого на экране второго устройства 200, прямоугольная область 92, имеющая предварительно определенный размер вокруг точки 90 касания, может определяться в качестве части первого видеоизображения. В этом случае, размер области 92 может определяться на основе способа связи между первым устройством 100 и вторым устройством 200.[190] Referring to FIG. 9A and 9B, when the user touches apredetermined point 90 of the first video image displayed on the screen of thesecond device 200, arectangular region 92 having a predetermined size around thetouch point 90 may be determined as part of the first video image. In this case, the size of theregion 92 can be determined based on the communication method between thefirst device 100 and thesecond device 200.

[191] Альтернативно, второе устройство 200 может определять интересующую область на основе растягивающего ввода пользователя. Когда пользователь разворачивает предварительно определенную часть второго видеоизображения посредством растягивающего ввода с использованием, например, своего большого пальца и указательного пальца и удерживает касающийся большой палец и указательный палец в течение предварительно определенного периода времени или дольше, второе устройство 200 может определять часть, развернутую посредством растягивающего ввода, в качестве интересующей области. Кроме того, второе устройство 200 может отправлять запрос на предмет второго видеоизображения, соответствующего определенной интересующей области, в первое устройство 100.[191] Alternatively, thesecond device 200 may determine a region of interest based on the tensile input of the user. When the user expands a predetermined portion of the second video image by means of a tensile input using, for example, his thumb and index finger, and holds the touching thumb and index finger for a predetermined period of time or longer, thesecond device 200 may determine the portion deployed by the tensile input as an area of interest. In addition, thesecond device 200 may send a request for a second video image corresponding to a specific area of interest to thefirst device 100.

[192] Фиг. 10А и 10B иллюстрируют пример определения части первого видеоизображения в качестве интересующей области посредством использования второго устройства 200 через пользовательский интерфейс для определения части первого видеоизображения, согласно примерному варианту осуществления.[192] FIG. 10A and 10B illustrate an example of determining a portion of a first video image as an area of interest by using asecond device 200 through a user interface to determine a portion of a first video image, according to an exemplary embodiment.

[193] Ссылаясь на фиг. 10А и 10B, второе устройство 200 может отображать направляющую линию 10 для выбора части первого видеоизображения на экране. Кроме того, второе устройство 200 может модифицировать размер направляющей линии 10 на основе касания пользователем части направляющей линии 10 и ее перетаскивания. Кроме того, второе устройство 200 может определять часть, включенную в модифицированную направляющую линию 10, в качестве интересующей области первого видеоизображения. В этом случае, верхний предел размера части, включенной в направляющую линию 10, может определяться на основе способа связи между первым устройством 100 и вторым устройством 200.[193] Referring to FIG. 10A and 10B, thesecond device 200 may display aguide line 10 for selecting a portion of the first video image on the screen. In addition, thesecond device 200 may modify the size of theguide line 10 based on the user touching and dragging a portion of theguide line 10. In addition, thesecond device 200 may determine a part included in the modifiedguide line 10 as an area of interest of the first video image. In this case, the upper limit of the size of the part included in theguide line 10 can be determined based on the communication method between thefirst device 100 and thesecond device 200.

[194] Фиг. 11A и 11B иллюстрируют, когда модифицируется способ связи между первым устройством 100 и вторым устройством 200, пример использования второго устройства 200, чтобы принимать, из первого устройства 100, видеоизображение с модифицированным разрешением, согласно примерному варианту осуществления. Фиг. 11А иллюстрирует видеоизображение, отображаемое на втором устройстве 200 до того, как модифицируется способ связи, и фиг. 11B иллюстрирует видеоизображение, отображаемое на втором устройстве 200 после того, как модифицируется способ связи.[194] FIG. 11A and 11B illustrate when a communication method between thefirst device 100 and thesecond device 200 is modified, an example of using thesecond device 200 to receive, from thefirst device 100, a resolution-modified video image according to an exemplary embodiment. FIG. 11A illustrates a video image displayed on thesecond device 200 before the communication method is modified, and FIG. 11B illustrates a video image displayed on thesecond device 200 after the communication method is modified.

[195] Когда модифицируется способ связи, используемый между первым устройством 100 и вторым устройством 200, может уменьшаться разрешение потоковой передачи данных, передаваемых между первым устройством 100 и вторым устройством 200. В этом случае, второе устройство 200 может принимать видеоизображение, имеющее более низкое разрешение, чем разрешение видеоизображения, принимаемого до того, как модифицируется способ связи, из первого устройства 100. Кроме того, второе устройство 200 может отображать видеоизображение, принимаемое после того, как модифицируется способ связи, с меньшим размером, чем размер видеоизображения, принимаемого до того, как модифицируется способ связи.[195] When the communication method used between thefirst device 100 and thesecond device 200 is modified, the resolution of the streaming of data transmitted between thefirst device 100 and thesecond device 200 may be reduced. In this case, thesecond device 200 may receive a video image having a lower resolution than the resolution of the video image received before the communication method is modified from thefirst device 100. In addition, thesecond device 200 can display the video image received after the mod a communication method with a smaller size than the size of the video image received before the communication method is modified is displayed.

[196] Фиг. 12А и 12B иллюстрируют, когда модифицируется способ связи между первым устройством 100 и вторым устройством 200, пример использования второго устройства 200, чтобы принимать, из первого устройства 100, видеоизображение с модифицированным качеством изображений, согласно примерному варианту осуществления. Фиг. 12А иллюстрирует видеоизображение, отображаемое на втором устройстве 200 до того, как модифицируется способ связи, и фиг. 12B иллюстрирует видеоизображение, отображаемое на втором устройстве 200 после того, как модифицируется способ связи.[196] FIG. 12A and 12B illustrate when a communication method between thefirst device 100 and thesecond device 200 is modified, an example of using thesecond device 200 to receive, from thefirst device 100, a video image with modified image quality according to an exemplary embodiment. FIG. 12A illustrates a video image displayed on thesecond device 200 before the communication method is modified, and FIG. 12B illustrates a video image displayed on thesecond device 200 after the communication method is modified.

[197] Когда модифицируется способ связи, используемый между первым устройством 100 и вторым устройством 200, может уменьшаться разрешение потоковой передачи данных, передаваемых между первым устройством 100 и вторым устройством 200. В этом случае, второе устройство 200 может принимать видеоизображение, имеющее более низкое качество изображения, чем качество видеоизображения, принимаемого до того, как модифицируется способ связи, из первого устройства 100. Кроме того, второе устройство 200 может отображать видеоизображение, принимаемое после того, как модифицируется способ связи, с размером, идентичным размеру видеоизображения, принимаемого до того, как модифицируется способ связи.[197] When the communication method used between thefirst device 100 and thesecond device 200 is modified, the resolution of the streaming of data transmitted between thefirst device 100 and thesecond device 200 may be reduced. In this case, thesecond device 200 may receive a video image having lower quality image than the quality of the video image received before the communication method is modified from thefirst device 100. In addition, thesecond device 200 can display the video image received after How the communication method is modified, with a size identical to the size of the video image received before the communication method is modified.

[198] Фиг. 13А и 13B иллюстрируют, когда модифицируется способ связи между первым устройством 100 и вторым устройством 200, пример использования второго устройства 200, чтобы принимать, из первого устройства 100, видеоизображение с модифицированной частью, согласно примерному варианту осуществления. Фиг. 13А иллюстрирует видеоизображение, отображаемое на втором устройстве 200 до того, как модифицируется способ связи, и фиг. 13B иллюстрирует видеоизображение, отображаемое на втором устройстве 200 после того, как модифицируется способ связи.[198] FIG. 13A and 13B illustrate when a communication method between thefirst device 100 and thesecond device 200 is modified, an example of using thesecond device 200 to receive, from thefirst device 100, a video image with a modified part according to an exemplary embodiment. FIG. 13A illustrates a video image displayed on thesecond device 200 before the communication method is modified, and FIG. 13B illustrates a video image displayed on thesecond device 200 after the communication method is modified.

[199] Когда модифицируется способ связи, используемый между первым устройством 100 и вторым устройством 200, может увеличиваться разрешение потоковой передачи данных, передаваемых между первым устройством 100 и вторым устройством 200. В этом случае, второе устройство 200 может принимать из первого устройства 100 видеоизображение, имеющее более широкую область, чем видеоизображение, принимаемое из первого устройства 100 до того, как модифицируется способ связи.[199] When the communication method used between thefirst device 100 and thesecond device 200 is modified, the resolution of the streaming of data transmitted between thefirst device 100 and thesecond device 200 may increase. In this case, thesecond device 200 may receive a video image from thefirst device 100, having a wider area than the video image received from thefirst device 100 before the communication method is modified.

[200] Фиг. 14 является блок-схемой, иллюстрирующей первое устройство 100 согласно примерному варианту осуществления.[200] FIG. 14 is a block diagram illustrating afirst device 100 according to an exemplary embodiment.

[201] Как проиллюстрировано на фиг. 14, первое устройство 100 включает в себя блок 110 получения изображений (например, узел получения изображений и т.д.), блок 120 предоставления изображений (например, узел предоставления изображений и т.д.), блок 130 идентификации объектов (например, узел идентификации объектов и т.д.), блок 140 отслеживания объектов (например, узел отслеживания объектов), блок 150 проверки сети (например, узел проверки сети и т.д.), буфер 190 кадров, базу 160 данных (DB), приемо-передающий блок 170 (например, приемо-передающее устройство и т.д.) и блок 180 управления (например, контроллер, процессор и т.д.).[201] As illustrated in FIG. 14, thefirst device 100 includes an image acquiring unit 110 (e.g., an image acquiring unit, etc.), an image providing unit 120 (e.g., an image providing unit, etc.), an object identification unit 130 (e.g., a node object identification, etc.), an object tracking unit 140 (for example, an object tracking node), a network verification unit 150 (for example, a network verification node, etc.), aframe buffer 190, a database 160 (DB), a receiver a transmitting unit 170 (e.g., a transceiver, etc.) and a control unit 180 (e.g., a control ler, CPU, etc.).

[202] Блок 110 получения изображений получает изображение, которое должно предоставляться во второе устройство 200. Блок 110 получения изображений может получать видеоизображение, которое захвачено посредством использования фотографического устройства или датчика изображений, включенного в себя первое устройство 100, но не ограничен этим. Блок 110 получения изображений может получать контент, такой как изображение или захваченное изображение.[202] Theimage acquisition unit 110 acquires an image to be provided to thesecond device 200. Theimage acquisition unit 110 may receive a video image that is captured by using a photographic device or an image sensor included in thefirst device 100, but is not limited to this. Theimage acquisition unit 110 may receive content, such as an image or a captured image.

[203] Когда третье видеоизображение, соответствующее экрану выполнения приложения, выполняемого в первом устройстве 100, предоставляется во второе устройство 200, блок 110 получения изображений может получать третье видеоизображение, соответствующее экрану выполнения приложения из буфера 190 кадров. Тем не менее, примерные варианты осуществления не ограничены этим, и блок 110 получения изображений может извлекать изображение, соответствующее экрану выполнения приложения, из буфера 190 кадров, который описывается ниже, и формировать третье видеоизображение посредством обработки извлеченного изображения.[203] When the third video image corresponding to the execution screen of the application running in thefirst device 100 is provided to thesecond device 200, theimage acquiring unit 110 may receive a third video image corresponding to the application execution screen from theframe buffer 190. However, exemplary embodiments are not limited to this, and theimage acquisition unit 110 may extract an image corresponding to the application execution screen from theframe buffer 190, which will be described later, and generate a third video image by processing the extracted image.

[204] Блок 120 предоставления изображений предоставляет полученное изображение во второе устройство 200. Блок 120 предоставления изображений может обрабатывать полученное изображение и предоставлять его во второе устройство 200, но не ограничен этим. Блок 120 предоставления изображений может предоставлять полученное изображение во второе устройство 200 без дополнительной обработки.[204] Theimage providing unit 120 provides the received image to thesecond device 200. Theimage providing unit 120 may process the received image and provide it to thesecond device 200, but is not limited thereto. Theimage providing unit 120 may provide the acquired image to thesecond device 200 without further processing.

[205] Блок 120 предоставления изображений может предоставлять первое видеоизображение и второе видеоизображение во второе устройство 200 на основе видеоизображения, захваченного посредством использования первого устройства 100. Блок 120 предоставления изображений также может предоставлять необработанное захваченное видеоизображение во второе устройство 200 в качестве первого видеоизображения. Кроме того, блок 120 предоставления изображений может обрабатывать захваченное видеоизображение и предоставлять обработанное видеоизображение во второе устройство 200 в качестве первого видеоизображения. В этом случае, блок 120 предоставления изображений может модифицировать разрешение или качество изображений для захваченного видеоизображения или преобразовывать формат захваченного видеоизображения.[205] Theimage providing unit 120 may provide the first video image and the second video image to thesecond device 200 based on the video image captured by using thefirst device 100. Theimage providing unit 120 may also provide the raw captured video image to thesecond device 200 as the first video image. In addition, theimage providing unit 120 may process the captured video image and provide the processed video image to thesecond device 200 as the first video image. In this case, theimage providing unit 120 may modify the resolution or image quality of the captured video image or convert the format of the captured video image.

[206] Блок 120 предоставления изображений может передавать, с первым разрешением, первое видеоизображение, имеющее исходное разрешение, во второе устройство 200. Первое видеоизображение с первым разрешением может быть преобразовано из первого видеоизображения с исходным разрешением. В этом случае, первое устройство 100 может получать информацию относительно разрешения дисплея, включенного во второе устройство 200, заранее и сохранять ее и определять первое разрешение на основе разрешения дисплея, включенного во второе устройство 200.[206] Theimage providing unit 120 may transmit, with a first resolution, the first video image having the original resolution to thesecond device 200. The first video image with the first resolution can be converted from the first video image with the original resolution. In this case, thefirst device 100 can obtain information regarding the resolution of the display included in thesecond device 200 in advance and save it and determine the first resolution based on the resolution of the display included in thesecond device 200.

[207] Блок 120 предоставления изображений может предоставлять, во второе устройство 200, второе видеоизображение, включающее в себя объект, отслеживаемый посредством использования блока 140 отслеживания объектов, который описывается ниже. Второе видеоизображение может содержать только часть, которая включает в себя отслеживаемый объект. Кроме того, когда модифицируется способ связи между первым устройством 100 и вторым устройством 200, блок 120 предоставления изображений может модифицировать разрешение или качество изображений для второго видеоизображения и предоставлять модифицированное видеоизображение во второе устройство 200. Кроме того, когда модифицируется способ связи между первым устройством 100 и вторым устройством 200, блок 120 предоставления изображений может модифицировать размер части, соответствующей второму видеоизображению, и предоставлять видеоизображение модифицированной части во второе устройство 200.[207] Theimage providing unit 120 may provide, to thesecond device 200, a second video image including an object tracked by using theobject tracking unit 140, which is described below. The second video image may contain only a part that includes a tracked object. In addition, when the communication method between thefirst device 100 and thesecond device 200 is modified, theimage providing unit 120 may modify the resolution or image quality of the second video image and provide the modified video image to thesecond device 200. In addition, when the communication method between thefirst device 100 and by thesecond device 200, theimage providing unit 120 may modify the size of the portion corresponding to the second video image and provide the video image the modified part into thesecond device 200.

[208] Между тем, блок 120 предоставления изображений может предоставлять третье видеоизображение, соответствующее экрану выполнения приложения, выполняемого в первом устройстве 100, во второе устройство 200. Кроме того, когда второе устройство 200 выбирает часть третьего видеоизображения, принимаемого из первого устройства 100, и запрашивает видеоизображение выбранной части, первое устройство 100 может предоставлять четвертое видеоизображение, соответствующее выбранной части, во второе устройство 200. В этом случае, четвертое видеоизображение может быть изображением, полученным посредством вырезания выбранной части из третьего видеоизображения.[208] Meanwhile, theimage display unit 120 may provide a third video image corresponding to the execution screen of the application running in thefirst device 100 to thesecond device 200. In addition, when thesecond device 200 selects a portion of the third video image received from thefirst device 100, and requests a video image of the selected part, thefirst device 100 may provide a fourth video image corresponding to the selected part to thesecond device 200. In this case, the fourth video image can can be an image obtained by cutting a selected part from a third video image.

[209] Блок 130 идентификации объектов идентифицирует объект из полученного изображения. Блок 130 идентификации объектов может принимать информацию области части первого видеоизображения из второго устройства 200 и идентифицировать объект из захваченного видеоизображения или первого видеоизображения.[209] Theobject identification unit 130 identifies an object from the obtained image. Theobject identification unit 130 may receive region information of a portion of the first video image from thesecond device 200 and identify an object from the captured video image or the first video image.

[210] Блок 140 отслеживания объектов отслеживает объект из полученного изображения. Блок 140 отслеживания объектов может отслеживать идентифицированный объект из первого видеоизображения или захваченного видеоизображения.[210] Anobject tracking unit 140 tracks an object from the acquired image. Anobject tracking unit 140 may track an identified object from a first video image or a captured video image.

[211] Блок 150 проверки сети проверяет способ связи между первым устройством 100 и вторым устройством 200. Блок 150 проверки сети может проверять тип или полосу пропускания способа связи между первым устройством 100 и вторым устройством 200. Кроме того, блок 150 проверки сети может проверять разрешение потоковой передачи данных, передаваемых между первым устройством 100 и вторым устройством 200.[211] Thenetwork check unit 150 checks the communication method between thefirst device 100 and thesecond device 200. Thenetwork check unit 150 can check the type or bandwidth of the communication method between thefirst device 100 and thesecond device 200. In addition, thenetwork check unit 150 can check the resolution streaming data transmitted between thefirst device 100 and thesecond device 200.

[212] Буфер 190 кадров хранит изображение, соответствующее экрану выполнения приложения, выполняемого в первом устройстве 100.[212] Aframe buffer 190 stores an image corresponding to an execution screen of an application running in thefirst device 100.

[213] DB 160 хранит различные типы информации, необходимой, когда первое устройство 100 предоставляет изображение предварительно определенной части видеоизображения во второе устройство 200.[213]DB 160 stores various types of information needed when thefirst device 100 provides an image of a predetermined portion of the video image to thesecond device 200.

[214] Приемо-передающий блок 170 передает или принимает, в/из второго устройства 200, различную информацию, необходимую для первого устройства 100, чтобы предоставлять изображение предварительно определенной части первого видеоизображения во второе устройство 200.[214] Thetransceiver unit 170 transmits or receives, to / from thesecond device 200, various information necessary for thefirst device 100 to provide an image of a predetermined portion of the first video image to thesecond device 200.

[215] Блок 180 управления управляет блоком 110 получения изображений, блоком 120 предоставления изображений, блоком 130 идентификации объектов, блоком 140 отслеживания объектов, блоком 150 проверки сети, буфером 190 кадров, DB 160 и приемо-передающим блоком 170 таким образом, что первое устройство 100 может предоставлять изображение предварительно определенной области видеоизображения во второе устройство 200.[215] Thecontrol unit 180 controls theimage acquisition unit 110, theimage providing unit 120, theobject identification unit 130, theobject tracking unit 140, thenetwork verification unit 150, theframe buffer 190, theDB 160, and the transmitting and receivingunit 170 such that thefirst device 100 may provide an image of a predetermined area of the video image to thesecond device 200.

[216] Фиг. 15 является блок-схемой, иллюстрирующей второе устройство 200 согласно примерному варианту осуществления.[216] FIG. 15 is a block diagram illustrating asecond device 200 according to an exemplary embodiment.

[217] Как проиллюстрировано на фиг. 15, второе устройство 200 включает в себя блок 210 приема изображений (например, приемное устройство изображений и т.д.), блок 220 пользовательского ввода (например, пользовательский ввод и т.д.), блок 230 проверки сети (например, узел проверки сети и т.д.), блок 240 формирования информации области (например, узел формирования информации области и т.д.), блок 250 предоставления информации области (например, узел предоставления информации и т.д.), блок 260 отображения (например, дисплей и т.д.), DB 270, приемо-передающий блок 280 и блок 290 управления.[217] As illustrated in FIG. 15, thesecond device 200 includes an image receiving unit 210 (e.g., an image receiving device, etc.), a user input unit 220 (e.g., user input, etc.), a network verification unit 230 (e.g., a verification node network, etc.), an area information generating unit 240 (for example, an area information generating unit, etc.), an area information providing unit 250 (for example, an information providing unit, etc.), a display unit 260 (for example , display, etc.),DB 270,transceiver unit 280 andcontrol unit 290.

[218] Блок 210 приема изображений принимает изображение из первого устройства 100. Блок 210 приема изображений может принимать первое видеоизображение и второе видеоизображение из первого устройства 100. Кроме того, когда модифицируется способ связи, блок 210 приема изображений может принимать видеоизображение с модифицированным разрешением или с модифицированным качеством изображений, но примерные варианты осуществления не ограничены этим.[218] Theimage receiving unit 210 receives an image from thefirst device 100. Theimage receiving unit 210 may receive a first video image and a second video image from afirst device 100. In addition, when the communication method is modified, theimage receiving unit 210 may receive a video image with a modified resolution or modified image quality, but exemplary embodiments are not limited to this.

[219] Когда предоставляется третье видеоизображение, соответствующее экрану выполнения приложения, выполняемого в первом устройстве 100, блок 210 приема изображений может принимать третье видеоизображение из первого устройства 100.[219] When a third video image corresponding to the execution screen of an application running in thefirst device 100 is provided, theimage receiving unit 210 may receive a third video image from thefirst device 100.

[220] Блок 220 пользовательского ввода принимает пользовательский ввод для выбора части первого видеоизображения. Например, блок 220 пользовательского ввода может принимать пользовательский ввод для касания предварительно определенной точки первого видеоизображения или пользовательский ввод для касания и перетаскивания предварительно определенной точки первого видеоизображения. Кроме того, блок 220 пользовательского ввода может принимать сенсорный ввод пользователя через предварительно определенный пользовательский интерфейс, отображаемый на экране второго устройства 200. Между тем, когда предоставляется третье видеоизображение, соответствующее экрану выполнения приложения, выполняемого в первом устройстве 100, блок 200 пользовательского ввода принимает пользовательский ввод для выбора части третьего видеоизображения.[220] Theuser input unit 220 receives user input for selecting a portion of the first video image. For example,user input unit 220 may receive user input for touching a predetermined point of the first video image or user input for touching and dragging a predetermined point in the first video image. In addition, theuser input unit 220 may receive touch user input through a predetermined user interface displayed on the screen of thesecond device 200. Meanwhile, when a third video image corresponding to the execution screen of the application running in thefirst device 100 is provided, theuser input unit 200 receives the user input to select part of the third video image.

[221] Блок 230 проверки сети проверяет способ связи между первым устройством 100 и вторым устройством 200. Блок 230 проверки сети может проверять тип и полосу пропускания способа связи между первым устройством 100 и вторым устройством 200. Кроме того, блок 230 проверки сети может проверять разрешение потоковой передачи данных, передаваемых между первым устройством 100 и вторым устройством 200.[221] Thenetwork check unit 230 checks the communication method between thefirst device 100 and thesecond device 200. Thenetwork check unit 230 can check the type and bandwidth of the communication method between thefirst device 100 and thesecond device 200. In addition, thenetwork check unit 230 can check the resolution streaming data transmitted between thefirst device 100 and thesecond device 200.

[222] Блок 240 формирования информации области выбирает часть первого видеоизображения на основе пользовательского ввода и проверенного способа связи. Блок 240 формирования области может формировать информацию области, связанную с объектом, включенным в первое видеоизображение. Блок 240 формирования информации области может выбирать часть первого видеоизображения на основе позиции точки сенсорного ввода в первом видеоизображении. Подробно, когда пользователь касается предварительно определенной точки в первом видеоизображении, блок 240 формирования информации области может идентифицировать объект, включающий в себя точку касания, и выбирать область, включающую в себя идентифицированный объект.[222] The areainformation generating unit 240 selects a portion of the first video image based on user input and a verified communication method. Thearea forming unit 240 may generate area information associated with an object included in the first video image. The areainformation generating unit 240 may select a portion of the first video image based on the position of the touch input point in the first video image. In detail, when a user touches a predetermined point in the first video image, the areainformation generating unit 240 can identify an object including a touch point and select an area including an identified object.

[223] Кроме того, когда пользователь касается предварительно определенной точки в первом видеоизображении, блок 240 формирования информации области может выбирать область предварительно заданного диапазона вокруг точки касания в качестве части первого видеоизображения. Кроме того, блок 240 формирования информации области может модифицировать выбранную часть согласно сенсорному вводу пользователя через пользовательский интерфейс. Кроме того, размер выбранной части первого видеоизображения может определяться согласно способу связи между первым устройством 100 и вторым устройством 200.[223] In addition, when the user touches a predetermined point in the first video image, the areainformation generating unit 240 may select a region of a predetermined range around the touch point as part of the first video image. In addition, the areainformation generation unit 240 may modify the selected part according to the touch input of the user through the user interface. In addition, the size of the selected portion of the first video image may be determined according to the communication method between thefirst device 100 and thesecond device 200.

[224] Блок 250 предоставления информации области предоставляет сформированную информацию области в первое устройство 100.[224] The areainformation providing unit 250 provides the generated area information to thefirst device 100.

[225] Блок 250 предоставления информации области может предоставлять значение координаты выбранной части в первое устройство 100. Кроме того, блок 250 предоставления информации области может предоставлять значение координаты точки сенсорного ввода, введенной пользователем, в первое устройство 100.[225] The areainformation providing unit 250 may provide a coordinate value of a selected part to thefirst device 100. In addition, the areainformation providing unit 250 may provide a coordinate value of a touch input point entered by a user to thefirst device 100.

[226] Блок 260 отображения отображает изображение, принимаемое из первого устройства 100, на экране. Блок 260 отображения может отображать видеоизображение, принимаемое из первого устройства 100, на экране.[226] Thedisplay unit 260 displays an image received from thefirst device 100 on a screen. Thedisplay unit 260 may display a video image received from thefirst device 100 on a screen.

[227] DB 270 хранит различные типы информации, так что второе устройство 200 может принимать видеоизображение части первого видеоизображения, принимаемого из первого устройства 100.[227]DB 270 stores various types of information, so that thesecond device 200 can receive a video image of a portion of the first video image received from thefirst device 100.

[228] Приемо-передающий блок 280 передает или принимает различные типы информации в/из первого устройства 100, так что второе устройство 200 может принимать видеоизображение части первого видеоизображения, принимаемого из первого устройства 100.[228] Thetransceiver unit 280 transmits or receives various types of information to / from thefirst device 100, so that thesecond device 200 can receive a video image of a portion of the first video image received from thefirst device 100.

[229] Блок 290 управления управляет блоком 210 приема изображений, блоком 220 пользовательского ввода, блоком 230 проверки сети, блоком 240 формирования информации области, блоком 250 предоставления информации области, блоком 260 отображения, DB 270, приемо-передающим блоком 280 и блоком 290 управления таким образом, что второе устройство 200 может принимать видеоизображение части первого видеоизображения, принимаемого из первого устройства 100.[229] Thecontrol unit 290 controls theimage receiving unit 210, theuser input unit 220, thenetwork check unit 230, the areainformation generating unit 240, the areainformation providing unit 250, thedisplay unit 260, theDB 270, thetransceiver unit 280, and thecontrol unit 290 so that thesecond device 200 can receive a video image of a portion of the first video image received from thefirst device 100.

[230] Фиг. 16 является блок-схемой, иллюстрирующей устройство согласно другому примерному варианту осуществления. Устройство, проиллюстрированное на фиг. 16, может представлять собой первое устройство 100 или второе устройство 200 согласно примерному варианту осуществления.[230] FIG. 16 is a block diagram illustrating an apparatus according to another exemplary embodiment. The device illustrated in FIG. 16 may be afirst device 100 or asecond device 200 according to an exemplary embodiment.

[231] Блок 1001 мобильной связи (например, узел мобильной связи и т.д.) выполняет установление вызова относительно базовой станции или передачу данных через сотовую сеть, к примеру, 3G или 4G. Блок 1002 вспомогательной связи выполняет функцию для ближней связи, такую как технология Bluetooth или связь в поле в ближней зоне (NFC). Широковещательный блок 1003 (например, широковещательное приемное устройство и т.д.) принимает сигнал цифровой широковещательной передачи мультимедиа (DMB).[231] The mobile communication unit 1001 (for example, a mobile communication node, etc.) performs a call setup with respect to a base station or data transmission over a cellular network, such as 3G or 4G. Anauxiliary communication unit 1002 performs a short-range communication function, such as Bluetooth technology or near field communication (NFC). A broadcast block 1003 (e.g., a broadcast receiver, etc.) receives a digital multimedia broadcast (DMB) signal.

[232] Блок 1004 камеры включает в себя линзу и оптическое устройство, с тем чтобы захватывать изображение или видеоизображение.[232] Thecamera unit 1004 includes a lens and an optical device in order to capture an image or video image.

[233] Блок 1005 датчиков может включать в себя, например, гравитационный датчик, который считывает движение устройства, датчик освещения, который считывает яркость света, бесконтактный датчик, который считывает близость пользователя, и датчик движения, который считывает движение пользователя.[233] Thesensor unit 1005 may include, for example, a gravity sensor that senses the movement of the device, a light sensor that senses the brightness of the light, a proximity sensor that senses the proximity of the user, and a motion sensor that senses the movement of the user.

[234] Приемный блок 1006 по стандарту глобальной системы позиционирования (GPS) принимает GPS-сигнал из искусственного спутника. Различные услуги могут предоставляться пользователю посредством использования GPS-сигнала.[234] A Global Positioning System (GPS)receiver unit 1006 receives a GPS signal from an artificial satellite. Various services can be provided to the user by using a GPS signal.

[235] Блок 1010 ввода-вывода предоставляет интерфейс относительно внешнего устройства или пользователя и может включать в себя, например, кнопку 1011, микрофон 1012, динамик 1013, вибрационный электромотор 1014, разъем 1015 или клавишную панель 1016.[235] The input /output unit 1010 provides an interface with respect to an external device or user, and may include, for example, abutton 1011, amicrophone 1012, aspeaker 1013, a vibratingelectric motor 1014, aconnector 1015, or akeypad 1016.

[236] Сенсорный экран 1018 принимает сенсорный ввод пользователя. Здесь, сенсорный ввод может вводиться посредством жеста перетаскивания или жеста быстрого прикосновения. Контроллер 1017 сенсорного экрана передает сенсорный ввод, который вводится через сенсорный экран 1018, в блок 1050 управления. Блок 1019 питания подключается к аккумулятору или внешнему источнику питания, чтобы подавать питание, требуемое для устройства.[236] Thetouch screen 1018 receives the touch input of the user. Here, touch input may be entered by a drag gesture or a quick touch gesture. Thetouch screen controller 1017 transmits the touch input that is input through thetouch screen 1018 to thecontrol unit 1050. Thepower supply unit 1019 is connected to a battery or an external power source to supply the power required for the device.

[237] Блок 1050 управления отображает часть контента, отображаемого на устройстве, и модифицирует ее посредством выполнения программ, которые хранятся в запоминающем устройстве 1060. Блок управления может записывать и/или считывать данные из буфера 1020 кадров.[237] Thecontrol unit 1050 displays a portion of the content displayed on the device and modifies it by executing programs stored in thestorage device 1060. The control unit may write and / or read data from theframe buffer 1020.

[238] Программы, сохраненные в запоминающем устройстве 1060, могут классифицироваться на множество модулей согласно функциям, например, на модуль 1061 мобильной связи, Wi-Fi-модуль 1062, Bluetooth-модуль 1063, DMB-модуль 1064, модуль 1065 камеры, модуль 1066 датчиков, GPS-модуль 1067, модуль 1068 воспроизведения видеоизображений, модуль 1069 воспроизведения аудио, модуль 1070 питания, модуль 1071 сенсорного экрана, модуль 1072 пользовательского интерфейса (UI) или модуль 1073 приложений. Функции соответствующих модулей могут выводиться интуитивно специалистами в данной области техники из названий модулей.[238] Programs stored in thestorage device 1060 may be classified into a plurality of modules according to functions, for example, a mobile communication module 1061, Wi-Fi module 1062,Bluetooth module 1063,DMB module 1064,camera module 1065,module 1066 sensors,GPS module 1067,video playback module 1068,audio playback module 1069,power module 1070,touch screen module 1071, user interface (UI)module 1072, orapplication module 1073. The functions of the respective modules can be derived intuitively by those skilled in the art from the names of the modules.

[239] В дальнейшем в этом документе, подробно описывается модуль 1073 приложений.[239] Hereinafter, anapplication module 1073 is described in detail.

[240] Во-первых, когда устройство, проиллюстрированное на фиг. 16, представляет собой первое устройство 100, модуль 1073 приложений может предоставлять первое видеоизображение на основе захваченного видеоизображения во второе устройство 200 посредством использования модулей, включенных в первое устройство 100, и принимать информацию области относительно части первого видеоизображения. Кроме того, модуль 1073 приложений может идентифицировать объект, соответствующий части, и отслеживать его посредством использования модулей, включенных в первое устройство 100, и предоставлять второе видеоизображение, включающее в себя отслеживаемый объект, во второе устройство 200. Кроме того, модуль 1073 приложений может проверять способ связи относительно второго устройства 200 посредством использования модулей, включенных в первое устройство 100, и когда модифицируется способ связи, модуль 1073 приложений может предоставлять видеоизображение с модифицированным разрешением или качеством изображений по сравнению со вторым видеоизображением во второе устройство 200.[240] First, when the device illustrated in FIG. 16 is afirst device 100, anapplication module 1073 can provide a first video image based on a captured video image to asecond device 200 by using the modules included in thefirst device 100 and receive area information regarding a portion of the first video image. In addition, theapplication module 1073 can identify the object corresponding to the part and track it by using the modules included in thefirst device 100 and provide a second video image including the monitored object in thesecond device 200. In addition, theapplication module 1073 can check a communication method with respect to thesecond device 200 by using the modules included in thefirst device 100, and when the communication method is modified, theapplication module 1073 may provide a video image e a modified resolution or image quality as compared with the second video image in thesecond device 200.

[241] Кроме того, когда устройство по фиг. 16 представляет собой второе устройство 200, модуль 1073 приложений может принимать первое видеоизображение посредством использования модулей, включенных во второе устройство 200, и выбирать часть первого видеоизображения. В этом случае, размер выбранной части может определяться на основе способа связи между первым устройством 100 и вторым устройством 200. Кроме того, модуль 1073 приложений может формировать информацию области относительно выбранной части посредством использования модулей, включенных во второе устройство 200, и предоставлять ее в первое устройство 100. Кроме того, модуль 1073 приложений может отображать принимаемое второе видеоизображение из второго устройства 200 посредством использования модулей, включенных во второе устройство 200.[241] Furthermore, when the device of FIG. 16 is asecond device 200, anapplication module 1073 may receive a first video image by using the modules included in thesecond device 200, and select a portion of the first video image. In this case, the size of the selected part can be determined based on the communication method between thefirst device 100 and thesecond device 200. In addition, theapplication module 1073 can generate area information regarding the selected part by using the modules included in thesecond device 200 and provide it to thefirst device 100. In addition,application module 1073 can display a received second video image fromsecond device 200 by using modules included insecond device 200.

[242] Фиг. 17А-17C иллюстрируют пример разворачивания части первого видеоизображения, отображаемого на экране второго устройства 200, согласно примерному варианту осуществления.[242] FIG. 17A-17C illustrate an example of expanding a portion of a first video image displayed on a screen of asecond device 200 according to an exemplary embodiment.

[243] Как проиллюстрировано на фиг. 17А-17C, второе устройство 200 может развертывать часть первого видеоизображения на основе сенсорного ввода и ввода в виде перетаскивания пользователя. В этом случае, второе устройство 200 может определять степень разворачивания первого видеоизображения на основе исходного разрешения первого видеоизображения. Подробно, как проиллюстрировано на фиг. 17А, когда пользователь касается нескольких частей экрана первого видеоизображения и выполняет движение перетаскивания через них, часть первого видеоизображения может быть развернута, как проиллюстрировано на фиг. 17B. Кроме того, второе устройство 200 может определять степень разворачивания первого видеоизображения с учетом исходного разрешения первого видеоизображения и размера экрана второго устройства 200. Соответственно, как проиллюстрировано на фиг. 17C, даже когда пользователь непрерывно выполняет касание и перетаскивание, первое видеоизображение не может быть развернуто больше степени разворачивания, как проиллюстрировано на фиг. 17B.[243] As illustrated in FIG. 17A-17C, thesecond device 200 may deploy a portion of the first video image based on touch input and drag and drop user input. In this case, thesecond device 200 may determine the degree of deployment of the first video image based on the initial resolution of the first video image. In detail, as illustrated in FIG. 17A, when a user touches several parts of the screen of the first video image and performs a drag motion through them, part of the first video image can be expanded, as illustrated in FIG. 17B. In addition, thesecond device 200 may determine the degree of development of the first video image, taking into account the initial resolution of the first video image and the screen size of thesecond device 200. Accordingly, as illustrated in FIG. 17C, even when a user continuously touches and drags, the first video image cannot be expanded more than the degree of expansion, as illustrated in FIG. 17B.

[244] Кроме того, второе устройство 200 может принимать информацию относительно исходного разрешения первого видеоизображения из первого устройства 100 заранее и сохранять ее, чтобы определять степень разворачивания первого видеоизображения, но примерные варианты осуществления не ограничены этим.[244] In addition, thesecond device 200 may receive information regarding the initial resolution of the first video image from thefirst device 100 in advance and store it to determine the degree of deployment of the first video image, but exemplary embodiments are not limited to this.

[245] Фиг. 18А-18C иллюстрируют пример разворачивания части видеоизображения, отображаемого на экране второго устройства 200, пошагово согласно примерному варианту осуществления.[245] FIG. 18A-18C illustrate an example of expanding a portion of the video image displayed on the screen of thesecond device 200 step by step according to an exemplary embodiment.

[246] Как проиллюстрировано на фиг. 18А, может выбираться часть видеоизображения, и выбранная часть может разворачиваться в первый раз, и после этого часть развернутой части видеоизображения может выбираться и разворачиваться во второй раз.[246] As illustrated in FIG. 18A, a portion of the video image may be selected, and the selected portion may be expanded for a first time, and thereafter, a portion of the expanded portion of the video image may be selected and expanded for a second time.

[247] Фиг. 19А-19C иллюстрируют пример отображения изображения для предварительного просмотра, включающего в себя развернутую часть первого видеоизображения, на втором устройстве 200, и отображения второго видеоизображения, предоставленного в первое устройство 100, на втором устройстве 200 согласно примерному варианту осуществления. Здесь, первое устройство 100 и второе устройство 200 могут осуществлять видеовызов друг с другом.[247] FIG. 19A-19C illustrate an example of displaying a preview image including an expanded portion of a first video image on asecond device 200, and displaying a second video image provided in thefirst device 100 on asecond device 200 according to an exemplary embodiment. Here, thefirst device 100 and thesecond device 200 can make a video call with each other.

[248] Как проиллюстрировано на фиг. 19А, пользователь может выбирать часть 10 первого видеоизображения, отображаемого на экране второго устройства 200, в качестве интересующей области. Второе устройство 200 может принимать первое видеоизображение, имеющее первое разрешение, из первого устройства 100 и отображать принимаемое первое видеоизображение на экране второго устройства 200.[248] As illustrated in FIG. 19A, a user may select aportion 10 of a first video image displayed on a screen of asecond device 200 as an area of interest. Thesecond device 200 may receive a first video image having a first resolution from thefirst device 100 and display the received first video image on the screen of thesecond device 200.

[249] Затем, как проиллюстрировано на фиг. 19B, изображение для предварительного просмотра, показывающее разворачивание выбранной интересующей области, может отображаться на втором устройстве 200, и меню 12 для определения того, следует или нет разворачивать часть первого видеоизображения и предоставлять ее, может отображаться на первом устройстве 100. Кроме того, то, какая часть первого видеоизображения разворачивается во втором устройстве 200, может отображаться в предварительно определенной области 14 первого устройства 100.[249] Then, as illustrated in FIG. 19B, a preview image showing the expansion of the selected region of interest can be displayed on thesecond device 200, and amenu 12 for determining whether or not to expand the portion of the first video image and provide it can be displayed on thefirst device 100. In addition, which part of the first video image is expanded in thesecond device 200 may be displayed in apredetermined area 14 of thefirst device 100.

[250] Когда пользователь выбирает "Разрешить" в меню 12, первое устройство 100 может предоставлять второе видеоизображение выбранной интересующей области во второе устройство 200, как проиллюстрировано на фиг. 19C, и второе устройство 200 может отображать принимаемое второе видеоизображение. В этом случае, первое устройство 100 может предоставлять второе видеоизображение выбранной интересующей области, имеющей первое разрешение, во второе устройство 200.[250] When the user selects "Enable" inmenu 12, thefirst device 100 may provide a second video image of the selected region of interest to thesecond device 200, as illustrated in FIG. 19C, and thesecond device 200 may display the received second video image. In this case, thefirst device 100 may provide a second video image of the selected region of interest having a first resolution to thesecond device 200.

[251] Между тем, при предоставлении второго видеоизображения во второе устройство 200, первое устройство 100 может вставлять информацию уведомления во второе видеоизображение, чтобы уведомлять второе устройство 200 относительно того, что второе видеоизображение является развернутым изображением выбранной интересующей области. Подробно, первое устройство 100 может передавать в потоковом режиме первое видеоизображение и второе видеоизображение во второе устройство 200 и вставлять информацию уведомления во второе видеоизображение, когда первое устройство 100 прекращает передачу первого видеоизображения, но передает второе видеоизображение. Например, когда первое устройство 100 прекращает передачу первого видеоизображения, чтобы передавать второе видеоизображение, первое устройство 100 может вставлять предварительно определенное значение параметра в предварительно определенный пакет на уровне потоковой передачи, чтобы уведомлять второе устройство 200 относительно того, что предоставляется второе видеоизображение. Кроме того, информация уведомления может вставляться в заголовок пакета по протоколу передачи в реальном времени (RTP), проиллюстрированный на фиг. 20. Фиг. 20 иллюстрирует пример заголовка RTP-пакета согласно примерному варианту осуществления.[251] Meanwhile, when providing the second video image to thesecond device 200, thefirst device 100 can insert notification information into the second video image to notify thesecond device 200 that the second video image is an expanded image of the selected region of interest. In detail, thefirst device 100 may stream the first video image and the second video image to thesecond device 200 and insert notification information into the second video image when thefirst device 100 stops transmitting the first video image but transmits the second video image. For example, when thefirst device 100 stops transmitting the first video image to transmit the second video image, thefirst device 100 may insert a predetermined parameter value into a predetermined packet at the streaming level to notify thesecond device 200 that a second video image is being provided. In addition, notification information may be inserted in the header of a Real-Time Transmission Protocol (RTP) packet illustrated in FIG. 20. FIG. 20 illustrates an example RTP packet header according to an exemplary embodiment.

[252] Каждый кадр второго видеоизображения, предоставленного из первого устройства 100 во второе устройство 200, может включать в себя множество RTP-пакетов. Кроме того, первое устройство 100 может вставлять информацию уведомления в предварительно определенный пакет из множества RTP-пакетов, соответствующих каждому кадру второго видеоизображения. Например, первое устройство 100 может вставлять информацию уведомления в RTP-пакет, при этом скорость передачи битов из поля 90 RTP-маркера, включенного в заголовок множества RTP-пакетов, соответствующих каждому кадру второго видеоизображения, составляет 1.[252] Each frame of the second video image provided from thefirst device 100 to thesecond device 200 may include a plurality of RTP packets. In addition, thefirst device 100 may insert notification information into a predetermined packet of a plurality of RTP packets corresponding to each frame of the second video image. For example, thefirst device 100 may insert notification information into an RTP packet, wherein the bit rate from theRTP marker field 90 included in the header of the plurality of RTP packets corresponding to each frame of the second video image is 1.

[253] Кроме того, первое устройство 100 может вставлять информацию уведомления в предварительно определенный кадр из множества кадров второго видеоизображения. Например, первое устройство 100 может вставлять информацию уведомления в предварительно определенное число кадров, начинающихся с первого кадра второго видеоизображения. Тем не менее, примерные варианты осуществления не ограничены этим.[253] In addition, thefirst device 100 may insert notification information into a predetermined frame from a plurality of frames of the second video image. For example, thefirst device 100 may insert notification information into a predetermined number of frames starting from the first frame of the second video image. However, exemplary embodiments are not limited to this.

[254] Кроме того, первое устройство 100 может вставлять информацию уведомления в поле 92 расширения заголовка для заголовка RTP-пакета. Информация уведомления может иметь предварительно определенную скорость передачи битов. Кроме того, информация уведомления может включать в себя предварительно определенную информацию области. Информация области может быть информацией, которая указывает, какая часть первого видеоизображения вырезается посредством использования первого устройства 100 для того, чтобы формировать второе видеоизображение. Например, информация области может быть значением, указывающим позицию части из всего экрана исходного видеоизображения, соответствующей экрану, отображающему второе видеоизображение. Кроме того, информация области может иметь предварительно определенное значение координаты.[254] In addition, thefirst device 100 may insert notification information in theheader extension field 92 for the RTP packet header. The notification information may have a predetermined bit rate. In addition, the notification information may include predetermined area information. The area information may be information that indicates which part of the first video image is cut out by using thefirst device 100 in order to form a second video image. For example, the area information may be a value indicating the position of a portion of the entire screen of the original video image corresponding to the screen displaying the second video image. In addition, the area information may have a predetermined coordinate value.

[255] Фиг. 21 является блок-схемой последовательности операций, иллюстрирующей способ формирования четвертого видеоизображения посредством использования первого устройства 100 согласно примерному варианту осуществления. Первое устройство 100 может предоставлять третье видеоизображение, соответствующее экрану выполнения приложения, выполняемого в первом устройстве 100, во второе устройство 200, и принимать информацию области относительно части третьего видеоизображения из второго устройства 200, чтобы формировать четвертое видеоизображение и предоставлять сформированное четвертое видеоизображение во второе устройство 200.[255] FIG. 21 is a flowchart illustrating a method of generating a fourth video image by using thefirst device 100 according to an exemplary embodiment. Thefirst device 100 may provide a third video image corresponding to the execution screen of the application running in thefirst device 100 to thesecond device 200, and receive region information regarding a part of the third video image from thesecond device 200 to form a fourth video image and provide the generated fourth video image to thesecond device 200 .

[256] На этапе S2100, первое устройство 100 получает третье видеоизображение из буфера кадров в первом устройстве 100. Буфер кадров может хранить третье видеоизображение, соответствующее экрану выполнения приложения, выполняемого в первом устройстве 100.[256] In step S2100, thefirst device 100 obtains the third video image from the frame buffer in thefirst device 100. The frame buffer may store a third video image corresponding to the execution screen of the application running in thefirst device 100.

[257] На этапе S2200, первое устройство 100 может вырезать часть третьего видеоизображения на основе информации области, принимаемой из второго устройства 200. Кроме того, первое устройство 100 может кодировать часть вырезанной части третьего видеоизображения на этапе S2300 и пакетировать ее на этапе S2400.[257] In step S2200, thefirst device 100 may cut out a portion of the third video image based on the area information received from thesecond device 200. In addition, thefirst device 100 can encode a portion of the cut out portion of the third video image in step S2300 and packetize it in step S2400.

[258] Фиг. 22 является блок-схемой последовательности операций, иллюстрирующей способ приема посредством второго устройства 200, которое осуществляет видеовызов с первым устройством 100, второго видеоизображения, которое является развернутой частью первого видеоизображения, согласно примерному варианту осуществления.[258] FIG. 22 is a flowchart illustrating a method of receiving, by thesecond device 200, which makes a video call with thefirst device 100, a second video image that is an expanded part of the first video image, according to an exemplary embodiment.

[259] На этапе S2205, первое устройство 100 и второе устройство 200 соединяются для видеовызова.[259] In step S2205, thefirst device 100 and thesecond device 200 are connected for a video call.

[260] На этапе S2210, первое устройство 100 предоставляет первое видеоизображение во второе устройство 200. Первое устройство 100 может захватывать пользователя первого устройства 100 и формировать первое видеоизображение для видеовызова. Кроме того, первое устройство 100 может передавать сформированное первое видеоизображение во второе устройство 200.[260] In step S2210, thefirst device 100 provides a first video image to asecond device 200. Thefirst device 100 can capture a user of thefirst device 100 and generate a first video image for a video call. In addition, thefirst device 100 may transmit the generated first video image to thesecond device 200.

[261] На этапе S2220, второе устройство 200 отображает первое видеоизображение, принимаемое из первого устройства 100, на экране второго устройства 200.[261] In step S2220, thesecond device 200 displays the first video image received from thefirst device 100 on the screen of thesecond device 200.

[262] На этапе S2230, второе устройство 200 выбирает часть первого видеоизображения, которая должна разворачиваться. Второе устройство 200 может выбирать, из первого видеоизображения, например, часть рта пользователя первого устройства 100 или обложку книги для книги, которую держит пользователь первого устройства 100. В этом случае, второе устройство 200 может выбирать часть на основе сенсорного ввода пользователя, но примерные варианты осуществления не ограничены этим. Часть, которая должна разворачиваться, может задаваться заранее во время видеовызова, и второе устройство 200 может выбирать предварительно заданную часть из изображения пользователя первого устройства 100.[262] In step S2230, thesecond device 200 selects a portion of the first video image to be expanded. Thesecond device 200 may select, from the first video image, for example, a part of the user’s mouth of thefirst device 100 or a book cover for a book held by a user of thefirst device 100. In this case, thesecond device 200 may select a part based on the user's touch input, but exemplary options the implementation is not limited to this. The part to be deployed may be set in advance during a video call, and thesecond device 200 may select a predefined part from the user image of thefirst device 100.

[263] Например, второе устройство 200 может отслеживать часть рта пользователя из изображения лица пользователя первого устройства 100, чтобы выбирать часть рта пользователя в качестве части. Подробно, второе устройство 200 может обнаруживать информацию распознавания лиц из изображения пользователя первого устройства 100 и может отслеживать и выбирать часть рта лица пользователя первого устройства 100 на основе обнаруженной информации распознавания лиц. Примеры способов обнаружения информации распознавания лиц включают в себя способ на основе признаков, способ на основе внешнего вида и гибридный способ. В способе на основе признаков, геометрическая информация лица или компонентов признаков лица (например, глаз, носа, рта или подбородка) может использоваться для того, чтобы распознавать лицо на основе размера и форм этих компонентов, корреляции между компонентами либо информации на основе комбинации этих факторов. Способ на основе признаков может включать в себя, например, чисто геометрический способ, способ на основе архитектуры динамического связывания и способ на основе скрытых моделей Маркова. Кроме того, согласно способу на основе внешнего вида, лицо распознано посредством использования модели, обучаемой из набора обучающих изображений. Примеры способа на основе внешнего вида включают в себя способ использования собственного лица, сформированного посредством анализа основных компонентов, способа с использованием линейного дискриминантного анализа, способ с использованием нейронных сетей и способ использования метода опорных векторов. Помимо этого, гибридный способ использует как способ на основе признаков, так и способ на основе внешнего вида. Примеры гибридного способа включают в себя, способ на основе анализа линейных признаков, способ на основе нормализации формы и компонентно-ориентированный способ. Тем не менее, способ обнаружения информации распознавания лиц согласно текущему примерному варианту осуществления не ограничен тремя способами, описанными выше, и другие различные способы могут использоваться при обнаружении информации распознавания лиц.[263] For example, thesecond device 200 may track a part of the user's mouth from the face image of thefirst device 100 to select a part of the user's mouth as part. In detail, thesecond device 200 can detect face recognition information from a user image of thefirst device 100 and can track and select a part of the user's mouth of thefirst device 100 based on the detected face recognition information. Examples of methods for detecting face recognition information include a feature-based method, an appearance-based method, and a hybrid method. In a feature-based method, geometric information of a face or features of facial features (e.g., eyes, nose, mouth or chin) can be used to recognize a face based on the size and shape of these components, the correlation between the components, or information based on a combination of these factors . The feature-based method may include, for example, a purely geometric method, a method based on a dynamic linking architecture, and a method based on hidden Markov models. In addition, according to the method based on the appearance, the face is recognized by using a model trained from a set of training images. Examples of a method based on appearance include a method of using one's own face formed by analysis of the main components, a method using linear discriminant analysis, a method using neural networks, and a method of using the support vector method. In addition, the hybrid method uses both a feature-based method and an appearance-based method. Examples of the hybrid method include, a method based on an analysis of linear features, a method based on normalization of shape, and a component-oriented method. However, the method for detecting face recognition information according to the current exemplary embodiment is not limited to the three methods described above, and other various methods can be used when detecting face recognition information.

[264] На этапе S2240, второе устройство 200 передает информацию координат выбранной части в первое устройство 100.[264] In step S2240, thesecond device 200 transmits the coordinate information of the selected part to thefirst device 100.

[265] На этапе S2250, первое устройство 100 отображает часть первого видеоизображения, выбранного посредством второго устройства 200. Первое устройство 100 может отображать часть первого видеоизображения, выбранного посредством второго устройства 200, например, посредством пунктирной линии. Кроме того, первое устройство 100 может отображать только часть первого видеоизображения, выбранного посредством второго устройства 200, на экране первого устройства 100.[265] In step S2250, thefirst device 100 displays part of the first video image selected by thesecond device 200. Thefirst device 100 can display part of the first video image selected by thesecond device 200, for example, by a dashed line. In addition, thefirst device 100 can display only a portion of the first video image selected by thesecond device 200 on the screen of thefirst device 100.

[266] На этапе S2260, первое устройство 100 определяет предоставлять второе видеоизображение относительно выбранной части во второе устройство 200. Первое устройство 100 может отображать пользовательский интерфейс и определять предоставлять второе видеоизображение относительно части, выбранной посредством второго устройства 200, во второе устройство 200 на основе пользовательского ввода, который вводится через пользовательский интерфейс.[266] In step S2260, thefirst device 100 determines to provide a second video image relative to the selected part to thesecond device 200. Thefirst device 100 can display a user interface and determine to provide a second video image relative to the part selected by thesecond device 200 to thesecond device 200 based on the user input that is entered through the user interface.

[267] На этапе 2270, первое устройство 100 захватывает часть, соответствующую выбранной части. Первое устройство 100 может захватывать, например, часть рта пользователя первого устройства 100 или обложку книги для книги, которую держит пользователь первого устройства 100.[267] At step 2270, thefirst device 100 captures the part corresponding to the selected part. Thefirst device 100 may capture, for example, a portion of the mouth of a user of thefirst device 100 or a book cover for a book held by a user of thefirst device 100.

[268] На этапе S2280, первое устройство 100 предоставляет второе видеоизображение во второе устройство 200. Первое устройство 100 может формировать второе видеоизображение посредством захвата части, соответствующей выбранной части, и предоставлять сформированное второе видеоизображение во второе устройство 200.[268] In step S2280, thefirst device 100 provides a second video image to thesecond device 200. Thefirst device 100 can generate a second video image by capturing a part corresponding to the selected part and provide the generated second video image to thesecond device 200.

[269] На этапе S2290, второе устройство 200 отображает второе видеоизображение.[269] In step S2290, thesecond device 200 displays the second video image.

[270] Между тем, второе устройство 200 может отображать как первое видеоизображение, так и второе видеоизображение на экране второго устройства 200. В этом случае, на этапе S2280, второе устройство 200 может принимать не только второе видеоизображение, но также и первое видеоизображение. Помимо этого, второе устройство 200 может отображать первое и второе видеоизображения посредством перекрытия второго видеоизображения на первом видеоизображении. Второе устройство 200 может перекрывать второе видеоизображение в части первого видеоизображения, в которой не отображается пользователь первого устройства 100. Помимо этого, второе устройство 200 может регулировать размер части, в которой отображается первое видеоизображение, и размер части, в которой отображается второе видеоизображение. Тем не менее, примерные варианты осуществления не ограничены этим, и второе устройство 200 может отображать первое и второе видеоизображения на экране второго устройства 200 без перекрытия первого и второго видеоизображений.[270] Meanwhile, thesecond device 200 can display both the first video image and the second video image on the screen of thesecond device 200. In this case, in step S2280, thesecond device 200 can receive not only the second video image, but also the first video image. In addition, thesecond device 200 may display the first and second video images by overlapping the second video image on the first video image. Thesecond device 200 may overlap the second video image in the part of the first video image in which the user of thefirst device 100 is not displayed. In addition, thesecond device 200 can adjust the size of the part in which the first video image is displayed and the size of the part in which the second video image is displayed. However, exemplary embodiments are not limited to this, and thesecond device 200 may display the first and second video images on the screen of thesecond device 200 without overlapping the first and second video images.

[271] Фиг. 23 является блок-схемой последовательности операций, иллюстрирующей способ разворачивания части первого видеоизображения и ее отображения посредством второго устройства 200, которое осуществляет видеовызов с первым устройством 100, согласно примерному варианту осуществления.[271] FIG. 23 is a flowchart illustrating a method of expanding a portion of the first video image and displaying it by thesecond device 200, which makes a video call with thefirst device 100, according to an exemplary embodiment.

[272] На этапе S2305, первое устройство 100 и второе устройство 200 соединяются для видеовызова.[272] In step S2305, thefirst device 100 and thesecond device 200 are connected for a video call.

[273] На этапе S2310, первое устройство 100 предоставляет первое видеоизображение во второе устройство 200. Первое устройство 100 может захватывать пользователя первого устройства 100 и может формировать первое видеоизображение для видеовызова. Кроме того, первое устройство 100 может передавать сформированное первое видеоизображение во второе устройство 200.[273] In step S2310, thefirst device 100 provides a first video image to asecond device 200. Thefirst device 100 can capture a user of thefirst device 100 and can generate a first video image for a video call. In addition, thefirst device 100 may transmit the generated first video image to thesecond device 200.

[274] На этапе S2320, второе устройство 200 отображает первое видеоизображение, принимаемое из первого устройства 100, на экране второго устройства 200.[274] In step S2320, thesecond device 200 displays the first video image received from thefirst device 100 on the screen of thesecond device 200.

[275] На этапе S2330, второе устройство 200 выбирает часть первого видеоизображения, которая должна разворачиваться. Второе устройство 200 может выбирать, из первого видеоизображения, часть рта пользователя первого устройства 100 или обложку книги для книги, которую держит пользователь первого устройства 100.[275] In step S2330, thesecond device 200 selects a portion of the first video image to be expanded. Thesecond device 200 may select, from the first video image, a part of the mouth of the user of thefirst device 100 or a book cover for a book held by a user of thefirst device 100.

[276] В этом случае, второе устройство 200 может выбирать часть на основе сенсорного ввода пользователя, но примерные варианты осуществления не ограничены этим. Часть, которая должна разворачиваться, может задаваться заранее во время вызова изображения, и второе устройство 200 может выбирать предварительно заданную часть из изображения пользователя первого устройства 100. Например, второе устройство 200 может выбирать часть рта пользователя в качестве части посредством отслеживания части рта пользователя изображения лица пользователя первого устройства 100.[276] In this case, thesecond device 200 may select a part based on a user touch, but exemplary embodiments are not limited to this. The part to be expanded can be set in advance during the image call, and thesecond device 200 can select the predefined part from the user image of thefirst device 100. For example, thesecond device 200 can select the part of the user's mouth as part by tracking the part of the user's mouth of the face image the user of thefirst device 100.

[277] На этапе S2340, второе устройство 200 отображает только часть первого видеоизображения, которая выбрана на этапе S2330, на экране второго устройства 200. Второе устройство 200 может развертывать выбранную часть первого видеоизображения посредством обработки изображений и может отображать развернутую часть на экране второго устройства 200. Например, когда разрешение первого видеоизображения составляет 200×200, и разрешение выбранной части составляет 50×50, первое устройство 100 может повышать разрешение выбранной части до 200×200.[277] In step S2340, thesecond device 200 displays only a portion of the first video image that is selected in step S2330 on the screen of thesecond device 200. Thesecond device 200 can deploy a selected portion of the first video image by image processing and can display the expanded portion on the screen of thesecond device 200 For example, when the resolution of the first video image is 200 × 200, and the resolution of the selected part is 50 × 50, thefirst device 100 may increase the resolution of the selected part to 200 × 200.

[278] Между тем, второе устройство 200 может перекрывать развернутое изображение на первом видеоизображении. Второе устройство 200 может перекрывать развернутое изображение в части первого видеоизображения, в которой не отображается пользователь первого устройства 100. Помимо этого, второе устройство 200 может регулировать размер части, в которой отображается первое видеоизображение, и размер части, в которой отображается второе видеоизображение. Тем не менее, примерные варианты осуществления не ограничены этим, и второе устройство 200 может отображать первое и второе видеоизображения на экране второго устройства 200 без перекрытия первого и второго видеоизображений.[278] Meanwhile, thesecond device 200 may overlap the expanded image in the first video image. Thesecond device 200 may overlap the expanded image in the part of the first video image in which the user of thefirst device 100 is not displayed. In addition, thesecond device 200 can adjust the size of the part in which the first video image is displayed and the size of the part in which the second video image is displayed. However, exemplary embodiments are not limited to this, and thesecond device 200 may display the first and second video images on the screen of thesecond device 200 without overlapping the first and second video images.

[279] Фиг. 24А-24C иллюстрирует развернутую часть первого видеоизображения 42, отображаемого на экране второго устройства 200 вместе с первым видеоизображением, согласно примерному варианту осуществления.[279] FIG. 24A-24C illustrates an expanded portion of afirst video image 42 displayed on a screen of asecond device 200 together with a first video image, according to an exemplary embodiment.

[280] Ссылаясь на фиг. 24А, могут быть выбраны часть 40 рта лица пользователя первого устройства 100, отображаемого на экране второго устройства 200. Часть 40 рта может выбираться пользователем второго устройства 200. Тем не менее, примерные варианты осуществления не ограничены этим, и второе устройство 200 может отслеживать и выбирать часть 40 рта в первом видеоизображении 42 согласно предварительно заданным стандартам.[280] Referring to FIG. 24A, themouth portion 40 of the user’s face of thefirst device 100 displayed on the screen of thesecond device 200 can be selected. Themouth portion 40 can be selected by the user of thesecond device 200. However, exemplary embodiments are not limited to this, and thesecond device 200 can monitor and select themouth portion 40 in thefirst video image 42 according to predefined standards.

[281] Ссылаясь на фиг. 24B, развернутое изображение 44 выбранной части 40 рта может перекрываться на первом видеоизображении 42. В этом случае, второе устройство 200 может определять часть первого видеоизображения 42, в которой не отображается пользователь первого устройства 100, и перекрывать второе видеоизображение в части, в которой не отображается пользователь.[281] Referring to FIG. 24B, the expandedimage 44 of the selectedmouth portion 40 may overlap in thefirst video image 42. In this case, thesecond device 200 may determine a portion of thefirst video image 42 in which the user of thefirst device 100 is not displayed, and overlap the second video image in the portion in which it is not displayed user.

[282] Помимо этого, ссылаясь на фиг. 24C, развернутое изображение 44 выбранной части 40 рта может не перекрываться в первом видеоизображении 42, но развернутое изображение 44 выбранной части 40 рта и первое видеоизображение 42 могут быть, соответственно, отображены в отдельных окнах.[282] In addition, referring to FIG. 24C, the expandedimage 44 of the selectedmouth portion 40 may not overlap in thefirst video image 42, but the expandedimage 44 of the selectedmouth portion 40 and thefirst video image 42 may be respectively displayed in separate windows.

[283] Примерный вариант осуществления также может быть реализован в форме носителя информации, включающего в себя команды, выполняемые посредством компьютера, к примеру, программного модуля, выполняемого посредством компьютера. Машиночитаемый носитель информации может представлять собой произвольный имеющийся носитель, к которому может получить доступ компьютер, и может представлять собой любой из энергозависимых, энергонезависимых, съемных и стационарных носителей. Кроме того, примеры машиночитаемого носителя записи могут включать в себя компьютерный носитель хранения данных и среду связи. Примеры компьютерного носителя хранения данных включают в себя энергозависимые, энергонезависимые, съемные и стационарные носители, реализованные посредством произвольного способа или технологии для хранения информации относительно машиночитаемой команды, структуры данных, программного модуля или других данных. Среда связи может включать в себя машиночитаемую команду, структуру данных, программный модуль, другие данные модулированного сигнала данных, к примеру, несущие частоты или другие механизмы передачи, и может представлять собой произвольную среду передачи информации.[283] An exemplary embodiment may also be implemented in the form of an information medium including instructions executed by a computer, for example, a software module executed by a computer. A computer-readable storage medium may be any available medium that can be accessed by a computer, and may be any of a volatile, non-volatile, removable and fixed medium. In addition, examples of computer-readable recording media may include computer storage medium and communication medium. Examples of computer storage media include volatile, non-volatile, removable and fixed media implemented by an arbitrary method or technology for storing information regarding a machine-readable instruction, data structure, program module or other data. The communication medium may include a machine-readable command, data structure, program module, other data of the modulated data signal, for example, carrier frequencies or other transmission mechanisms, and may be an arbitrary information transmission medium.

[284] Хотя примерные варианты осуществления конкретно показаны и описаны со ссылкой на варианты осуществления, специалисты в данной области техники должны понимать, что различные изменения в форме и подробностях могут вноситься в них без отступления от сущности и объема идеи изобретения, заданного посредством прилагаемой формулы изобретения. Примерные варианты осуществления должны рассматриваться только в описательном смысле, а не в целях ограничения. Например, каждый элемент, описанный в качестве одного типа, может быть распределен, и аналогично, элементы, описанные как распределенные, могут быть комбинированы.[284] Although exemplary embodiments are specifically shown and described with reference to embodiments, those skilled in the art should understand that various changes in form and detail can be made to them without departing from the spirit and scope of the inventive concept defined by the appended claims. . Exemplary embodiments should be considered only in a descriptive sense, and not for purposes of limitation. For example, each element described as one type can be distributed, and similarly, elements described as distributed can be combined.

[285] Объем примерных вариантов осуществления задается не посредством подробного описания, а посредством прилагаемой формулы изобретения, и все отличия в пределах объема должны истолковываться как включенные в идею изобретения.[285] The scope of exemplary embodiments is not specified by way of a detailed description, but by the appended claims, and all differences within the scope should be construed as being included in the concept of the invention.

Claims (84)

Translated fromRussian

1. Способ предоставления изображений, содержащий этапы, на которых:1. A method for providing images, comprising the steps of:передают (S300), во внешнее устройство (200), первое видеоизображение с первым разрешением, которое преобразовано из исходного видеоизображения с исходным разрешением;transmitting (S300), to an external device (200), a first video image with a first resolution that is converted from the original video image with the original resolution;принимают (S330), из внешнего устройства (200), информацию области относительно интересующей области первого видеоизображения с первым разрешением;receive (S330), from the external device (200), the region information regarding the region of interest of the first video image with the first resolution;определяют, на основе информации области, область, соответствующую интересующей области (20), исходного видеоизображения с исходным разрешением, при этом определенная область меньше исходного видеоизображения с исходным разрешением;determining, based on the information of the region, the region corresponding to the region of interest (20), the original video image with the original resolution, while the determined region is smaller than the original video image with the original resolution;преобразуют часть исходного видеоизображения с исходным разрешением во второе видеоизображение с первым разрешением, при этом упомянутая часть соответствует определенной области; иconverting a portion of the original video image with the original resolution to the second video image with the first resolution, wherein said part corresponds to a certain area; andпередают (S360) второе видеоизображение во внешнее устройство;transmitting (S360) a second video image to an external device;при этом интересующую область (20) выбирают на основе объекта, идентифицируемого (S320) в первом видеоизображении, посредством внешнего устройства (200); иwherein the region of interest (20) is selected based on the object identified (S320) in the first video image, by means of an external device (200); andпри этом размер интересующей области определяют на основе разрешения потоковой передачи данных.wherein the size of the region of interest is determined based on the resolution of the streaming data.2. Способ предоставления изображений по п. 1, в котором интересующая область включает в себя объект, отображаемый в первом видеоизображении, и при этом информация области формируется посредством внешнего устройства (200).2. The method of providing images according to claim 1, in which the region of interest includes an object displayed in the first video image, and the region information is generated by an external device (200).3. Способ предоставления изображений по п. 1 или 2, в котором когда касаются экрана (260) внешнего устройства (200), способ дополнительно содержит по меньшей мере одно из:3. The method of providing images according to claim 1 or 2, wherein when the screen (260) of the external device (200) is touched, the method further comprises at least one of:выбора интересующей области (20) таким образом, чтобы она включала в себя объект (22), соответствующий точке касания экрана (260);selecting a region of interest (20) so that it includes an object (22) corresponding to the touch point of the screen (260);выбора интересующей области (20), включающей в себя некоторый предварительно заданный диапазон вокруг точки касания экрана (260); иselecting a region of interest (20) including a certain predetermined range around the touch point of the screen (260); andотображения пользовательского интерфейса для выбора интересующей области на экране (260) внешнего устройства.display a user interface for selecting an area of interest on the screen (260) of the external device.4. Способ предоставления изображений по п. 1 или 2, в котором прием (S330) информации области содержит этап, на котором принимают (S730) информацию координат точки касания экрана (260) внешнего устройства.4. The method of providing images according to claim 1 or 2, in which the receiving (S330) of the area information comprises the step of receiving (S730) information of the coordinates of the touch point of the screen (260) of the external device.5. Способ предоставления изображений по п. 1 или 2, в котором первое видеоизображение и второе видеоизображение представляют собой видеоизображения для видеовызова с внешним устройством (200);5. The method of providing images according to claim 1 or 2, in which the first video image and the second video image are video images for a video call with an external device (200);при этом при передаче (S300) первого видеоизображения во внешнее устройство (200) первое видеоизображение передается во внешнее устройство (200) на основе видеоизображения, захваченного посредством камеры (110); иwhile transmitting (S300) the first video image to the external device (200), the first video image is transmitted to the external device (200) based on the video image captured by the camera (110); andпри этом разрешение видеоизображения, захваченного посредством камеры (110), превышает разрешение потоковой передачи видеовызова.wherein the resolution of the video captured by the camera (110) exceeds the resolution of the video call streaming.6. Способ предоставления изображений по п. 1 или 2, в котором размер интересующей области (20) определяется согласно типу способа связи, используемого для того, чтобы осуществлять связь с внешним устройством (200); и6. The method of providing images according to claim 1 or 2, in which the size of the region of interest (20) is determined according to the type of communication method used to communicate with an external device (200); andпри этом способ связи относится к протоколу связи, посредством которого первое видеоизображение и второе видеоизображение передают во внешнее устройство (200).wherein the communication method relates to a communication protocol by which the first video image and the second video image are transmitted to an external device (200).7. Способ предоставления изображений по п. 1 или 2, в котором первое разрешение определяется согласно типу способа связи, используемого для того, чтобы осуществлять связь с внешним устройством (200); и/или7. The method of providing images according to claim 1 or 2, wherein the first resolution is determined according to the type of communication method used to communicate with an external device (200); and / orпричем способ дополнительно содержит этап, на котором модифицируют первое разрешение согласно модификации способа связи, используемого для того, чтобы осуществлять связь с внешним устройством (200); иmoreover, the method further comprises the step of modifying the first resolution according to a modification of the communication method used to communicate with an external device (200); andпри этом способ связи относится к протоколу связи, посредством которого первое видеоизображение и второе видеоизображение передают во внешнее устройство (200).wherein the communication method relates to a communication protocol by which the first video image and the second video image are transmitted to an external device (200).8. Способ предоставления изображений по п. 1 или 2, дополнительно содержащий этап, на котором модифицируют определенную область согласно модификации способа связи, используемого для того, чтобы осуществлять связь с внешним устройством (200); и8. The method of providing images according to claim 1 or 2, further comprising the step of modifying a certain area according to a modification of the communication method used to communicate with an external device (200); andпри этом способ связи относится к протоколу связи, посредством которого первое видеоизображение и второе видеоизображение передают во внешнее устройство (200).wherein the communication method relates to a communication protocol by which the first video image and the second video image are transmitted to an external device (200).9. Способ предоставления изображений по п. 1 или 2, в котором при передаче (S300) первого видеоизображения во внешнее устройство (200) первое видеоизображение и второе видеоизображение передаются во внешнее устройство (200) на основе видеоизображения, захваченного посредством камеры (110), и9. The method of providing images according to claim 1 or 2, in which when transmitting (S300) the first video image to the external device (200), the first video image and the second video image are transmitted to the external device (200) based on the video image captured by the camera (110), andпри этом способ дополнительно содержит этап, на котором модифицируют определенную область, когда объект (22), включенный в интересующую область, исчезает из захваченного видеоизображения; и опциональноthe method further comprises the step of modifying a certain area when an object (22) included in a region of interest disappears from the captured video image; and optionalпри этом способ дополнительно содержит, когда объект (22), который исчез из захваченного видеоизображения, повторно появляется в захваченном видеоизображении, этап, на котором предоставляют, во внешнее устройство (200), второе видеоизображение только части, включающей в себя объект (22), который появляется повторно.the method further comprises, when an object (22) that has disappeared from the captured video image reappears in the captured video image, the step of providing, to the external device (200), the second video image of only a part including the object (22), which reappears.10. Способ предоставления изображений по п. 1, в котором информация уведомления, уведомляющая, что передается второе видеоизображение, вставляется во второе видеоизображение.10. The method of providing images according to claim 1, wherein the notification information notifying that the second video image is transmitted is inserted into the second video image.11. Способ предоставления изображений по п. 10, в котором информация уведомления вставляется в заголовок пакета, соответствующего предварительно заданному кадру второго видеоизображения; и опционально11. The method of providing images according to claim 10, in which the notification information is inserted into the header of the packet corresponding to a predefined frame of the second video image; and optionalпри этом пакет представляет собой пакет по протоколу передачи в реальном времени (RTP), и значение поля RTP-маркера RTP-пакета составляет 1; илиwherein the packet is a real-time transmission protocol (RTP) packet, and the value of the RTP packet field of the RTP packet is 1; orпри этом пакет представляет собой RTP-пакет, и информация уведомления вставляется в поле расширения заголовка RTP-пакета.wherein the packet is an RTP packet, and notification information is inserted into the extension field of the RTP packet header.12. Способ предоставления изображений по п. 10 или 11, в котором информация уведомления включает в себя информацию области, указывающую часть первого видеоизображения, которая соответствует второму видеоизображению.12. The method for providing images of claim 10 or 11, wherein the notification information includes area information indicating a portion of a first video image that corresponds to a second video image.13. Способ предоставления изображений по любому из пп. 1, 2, 10, 11, в котором интересующая область (20) представляет собой область, обозначенную на основе пользовательского ввода на экране (260) внешнего устройства (200), отображающего первое видеоизображение.13. The method of providing images according to any one of paragraphs. 1, 2, 10, 11, in which the region of interest (20) is an area indicated on the basis of user input on the screen (260) of an external device (200) displaying the first video image.14. Способ приема изображений посредством использования устройства (200), содержащий этапы, на которых:14. A method for receiving images by using the device (200), comprising the steps of:принимают (S300) первое видеоизображение из внешнего устройства (100);receiving (S300) a first video image from an external device (100);предоставляют (S330), во внешнее устройство (100), информацию области относительно интересующей области (20) принятого первого видеоизображения; иprovide (S330), to an external device (100), region information regarding a region of interest (20) of the received first video image; andпринимают (S360), из внешнего устройства (100), второе видеоизображение, включающее в себя только часть первого видеоизображения, при этом упомянутая часть соответствует определенной области, соответствующей интересующей области (20);receiving (S360), from an external device (100), a second video image including only a part of the first video image, wherein said part corresponds to a certain region corresponding to the region of interest (20);при этом разрешение второго видеоизображения превышает разрешение части первого видеоизображения;wherein the resolution of the second video image exceeds the resolution of part of the first video image;при этом определяемую область определяют внешним устройством (100) на основе информации области; иwherein the area to be determined is determined by an external device (100) based on the area information; andпри этом интересующую область (20) выбирают на основе объекта, идентифицируемого (S320) в первом видеоизображении; иwherein the region of interest (20) is selected based on the object identified (S320) in the first video image; andпри этом размер интересующей области определяют на основе разрешения потоковой передачи данных.wherein the size of the region of interest is determined based on the resolution of the streaming data.15. Способ приема изображений по п. 14, дополнительно содержащий этапы, на которых:15. The method of receiving images according to claim 14, further comprising stages in which:выбирают (S320), на основе пользовательского ввода, интересующую область (20), связанную с объектом (22), включенным в принятое первое видеоизображение; иselecting (S320), based on user input, the region of interest (20) associated with the object (22) included in the received first video image; andформируют (S320) информацию области относительно выбранной интересующей области (20); и опциональноgenerating (S320) region information regarding the selected region of interest (20); and optionalв котором при выборе (S320) интересующей области, когда касаются экрана (260) устройства (200), отображающего (S310) первое видеоизображение, выбирают интересующую область (20) таким образом, чтобы она включала в себя объект (22), включенный в принятое первое видеоизображение, при этом объект (22) включает в себя точку касания экрана (260); илиin which when selecting (S320) the region of interest, when the screen (260) of the device (200) touching the first video image is touched (S310), the region of interest (20) is selected so that it includes an object (22) included in the received the first video image, while the object (22) includes a touch point of the screen (260); orв котором при выборе интересующей области (20), когда касаются экрана (260) устройства (200), отображающего (S310) первое видеоизображение, выбирают область предварительно заданного диапазона вокруг точки касания экрана (260).in which, when selecting a region of interest (20), when the screen (260) of the device (200) touching the first video image is touched (S310), a region of a predetermined range around the touch point of the screen (260) is selected.16. Способ приема изображений по п. 14, в котором при предоставлении информации области, когда касаются экрана (260) устройства (200), отображающего (S310) первое видеоизображение, информация координат точки касания экрана (260) предоставляется во внешнее устройство (100).16. The method of receiving images according to claim 14, in which when providing area information, when the screen (260) of the device (200) touching the first video image is touched (S310), the information of the coordinates of the touch point of the screen (260) is provided to the external device (100) .17. Способ приема изображений по п. 14, дополнительно содержащий, когда касаются экрана (260) устройства, отображающего (S310) первое видеоизображение, этап, на котором отображают пользовательский интерфейс для выбора интересующей области (20).17. The method of receiving images according to claim 14, further comprising, when the screen (260) of the device displaying the first video image is touched (S310), the step of displaying a user interface for selecting an area of interest (20).18. Способ приема изображений по любому из пп. 14-17, в котором первое видеоизображение и второе видеоизображение предоставляются посредством внешнего устройства (100) на основе видеоизображения, захваченного посредством использования внешнего устройства (100);18. The method of receiving images according to any one of paragraphs. 14-17, in which the first video image and the second video image are provided by an external device (100) based on a video image captured by using an external device (100);при этом когда объект (22), который присутствует в захваченном изображении, исчезает из захваченного видеоизображения, часть первого видеоизображения модифицируется; иwhen the object (22), which is present in the captured image, disappears from the captured video image, part of the first video image is modified; andпри этом способ приема изображений дополнительно содержит этап, на котором:while the method of receiving images further comprises a step on which:принимают, из внешнего устройства (100), второе видеоизображение, включающее в себя только модифицированную часть; и опциональноreceiving, from an external device (100), a second video image including only the modified part; and optionalспособ дополнительно содержит, когда объект (22), который исчез из захваченного видеоизображения, повторно появляется в захваченном видеоизображении, этап, на котором принимают, из внешнего устройства (100), второе видеоизображение, включающее в себя только часть, включающую в себя объект (22), который появляется повторно.the method further comprises, when an object (22) that has disappeared from the captured video image reappears in the captured video image, the step of receiving, from the external device (100), a second video image including only a part including the object (22 ) that reappears.19. Устройство (100) предоставления изображений, содержащее:19. An image providing device (100), comprising:запоминающее устройство, выполненное с возможностью хранить по меньшей мере одну программу; иa storage device configured to store at least one program; andпроцессор (180), выполненный с возможностью предоставлять захваченное видеоизображение во внешнее устройство (200) посредством выполнения по меньшей мере одной программы,a processor (180) configured to provide the captured video image to an external device (200) by executing at least one program,при этом по меньшей мере одна программа включает в себя команды для того, чтобы:wherein at least one program includes instructions in order to:передавать (S300) первое видеоизображение во внешнее устройство (200);transmit (S300) the first video image to an external device (200);принимать (S330), из внешнего устройства (200), информацию области относительно интересующей области (20) первого видеоизображения; иreceive (S330), from an external device (200), region information regarding a region of interest (20) of the first video image; andпредоставлять (S360), на основе информации области, второе видеоизображение, включающее в себя только часть первого видеоизображения, при этом упомянутая часть соответствует определенной области, соответствующей интересующей области (20); иprovide (S360), based on the area information, a second video image including only a portion of the first video image, said part corresponding to a specific area corresponding to the region of interest (20); andпри этом разрешение второго видеоизображения превышает разрешение части первого видеоизображения;wherein the resolution of the second video image exceeds the resolution of part of the first video image;при этом определяемая область определяется на основе информации области; иwherein the area to be determined is determined based on the area information; andпри этом интересующая область (20) выбирается посредством внешнего устройства (200) на основе идентифицированного (S320) объекта в первом видеоизображении; иwherein the region of interest (20) is selected by means of an external device (200) based on the identified (S320) object in the first video image; andпри этом размер интересующей области определяется на основе разрешения потоковой передачи данных.the size of the region of interest is determined based on the resolution of the streaming data.20. Устройство (200) приема изображений, содержащее:20. An image pickup device (200), comprising:запоминающее устройство, выполненное с возможностью хранить по меньшей мере одну программу; иa storage device configured to store at least one program; andпроцессор (290), выполненный с возможностью предоставлять видеоизображение во внешнее устройство (100) посредством выполнения по меньшей мере одной программы,a processor (290), configured to provide a video image to an external device (100) by executing at least one program,при этом по меньшей мере одна программа включает в себя команды для того, чтобы:wherein at least one program includes instructions in order to:принимать (S300) первое видеоизображение из внешнего устройства (100);receive (S300) a first video image from an external device (100);предоставлять (S330), во внешнее устройство (100), информацию области относительно интересующей области (20) принятого первого видеоизображения; иprovide (S330), to an external device (100), region information regarding a region of interest (20) of the received first video image; andпринимать (S360), из внешнего устройства, второе видеоизображение, включающее в себя только часть первого видеоизображения,receive (S360), from an external device, a second video image including only a portion of the first video image,при этом часть первого видеоизображения соответствует определенной области, соответствующей интересующей области (20);while part of the first video image corresponds to a certain region corresponding to the region of interest (20);при этом разрешение второго видеоизображения превышает разрешение части первого видеоизображения;wherein the resolution of the second video image exceeds the resolution of part of the first video image;при этом определяемая область определяется на основе информации области; иwherein the area to be determined is determined based on the area information; andпри этом интересующая область (20) выбирается внешним устройством (200) на основе идентифицированного (S320) объекта в первом видеоизображении; иwherein the region of interest (20) is selected by an external device (200) based on the identified (S320) object in the first video image; andпри этом размер интересующей области определяется на основе разрешения данных потоковой передачи.wherein the size of the region of interest is determined based on the resolution of the streaming data.21. Способ предоставления изображений, содержащий этапы, на которых:21. A method for providing images, comprising the steps of:передают (S300), во внешнее устройство (200), первое изображение с первым разрешением, соответствующим экрану выполнения приложения;transmitting (S300), to an external device (200), a first image with a first resolution corresponding to the application execution screen;принимают (S330) информацию области относительно интересующей области (20) первого изображения из внешнего устройства (200);receive (S330) region information regarding the region of interest (20) of the first image from the external device (200);определяют, на основе информации области, область, соответствующую интересующей области (20), при этом определенная область меньше первого изображения;determining, based on the information of the region, the region corresponding to the region of interest (20), wherein the determined region is smaller than the first image;преобразуют определенную область первого изображения во второе изображение с первым разрешением; иconverting a specific area of the first image into a second image with a first resolution; andпередают (S360) второе изображение во внешнее устройство (200);transmit (S360) a second image to an external device (200);при этом интересующую область (20) выбирают на основе идентифицируемого (S320) объекта в первом изображении посредством внешнего устройства (200); иwherein the region of interest (20) is selected based on the identifiable (S320) object in the first image by means of an external device (200); andпри этом размер интересующей области определяют на основе разрешения потоковой передачи данных.wherein the size of the region of interest is determined based on the resolution of the streaming data.

Images