KR20100014580A

Movatterモバイル変換

Info

Publication number: KR20100014580A
Application number: KR1020097020034A
Authority: KR
Inventors: 존 카포레일; 마이클 카포레일
Original assignee: 존 카포레일; 마이클 카포레일
Priority date: 2007-03-20
Filing date: 2007-03-20
Publication date: 2010-02-10
Also published as: JP5188515B2; JP2010526356A; WO2008115234A1

Abstract

Translated fromKorean

상호대화 환경의 각각의 사용자에 대한 하나 이상의 아바타를 실행시키고 훈련하는 시스템이 제공되며, 상기 시스템은 각각의 사용자가 상기 하나 이상의 아바타를 제어하는 동안, 상호대화 환경에서의 이벤트에 대한 각각의 사용자의 응답을 지속적으로 모니터링하는 지식 엔진과, 상호대화 환경에서의 이벤트에 대한 모니터링되는 각각의 사용자 응답을 저장하는 지식 베이스와, 상기 하나 이상의 아바타의 각각의 사용자의 제어에 관계없이, 저장된 모니터링된 응답을 기초로 하여, 상호대화 환경에서 각각의 사용자에 대한 하나 이상의 아바타의 하나 이상의 동작을 제어하는 동작 엔진을 포함한다.A system is provided for executing and training one or more avatars for each user of an interactive environment, wherein each system controls each user for events in the interactive environment while each user controls the one or more avatars. A knowledge base that continuously monitors responses, a knowledge base storing each monitored user response to events in an interactive environment, and a stored monitored response regardless of the control of each user of the one or more avatars. On the basis, the motion engine controls one or more motions of one or more avatars for each user in an interactive environment.

Description

Translated fromKorean

상호대화 환경에서 아바타를 제어하고 훈려하기 위한 시스템 및 방법{A SYSTEM AND METHOD FOR CONTROL AND TRAINING OF AVATARS IN AN INTERACTIVE ENVIRONMENT}A SYSTEM AND METHOD FOR CONTROL AND TRAINING OF AVATARS IN AN INTERACTIVE ENVIRONMENT}

본 발명은 넓게는 정보 처리(information processing)에 관한 것이며, 구체적으로는, 상호대화 환경에서 하나 이상의 아바타(avatar)의 제어, 훈련 및 자율적인 실행(autonomous execution)을 위한 시스템 및 방법에 관한 것이다. 그러나 이에 국한되지 않는다.FIELD OF THE INVENTION The present invention relates generally to information processing, and in particular, to systems and methods for control, training and autonomous execution of one or more avatars in an interactive environment. But it is not limited to this.

최근, 새롭고 강력한 컴퓨팅 플랫폼의 개발에 의해, 사용자가 광범위한 시뮬레이트된 활동을 할 수 있게 해주는 더 강력한 컴퓨터 시뮬레이션과 컴퓨터 게임이 개발될 수 있었다. 이러한 컴퓨팅 플랫폼은 상호대화 컴퓨터 환경에서의 사용자의 경험을 보강시킬 수 있는 다양한 형태의 인공 지능을 통합시키기 위해 시작되었다. 진보된 컴퓨팅 플랫폼이 제공하는 응용의 범위에서, 하나 이상의 자동화된 페르소나(automated person)와 지능기반 에이전트(intelligent agent)의 사용을 포함하는 것들이 있다. 이러한 페르소나, 또는 에이전트는, 특정 경우, “아바타”라고 일컬어질 수 있다. 왜냐하면, 이들은 상호대화 환경에서 다양한 인간 모습의 형상으로 묘사될 수 있기 때문이다.Recently, with the development of new and powerful computing platforms, more powerful computer simulations and computer games have been developed that allow users to perform a wide range of simulated activities. These computing platforms have begun to integrate various forms of artificial intelligence that can enhance the user's experience in interactive computer environments. In the range of applications provided by advanced computing platforms, there are those that include the use of one or more automated persons and intelligent agents. Such a persona, or agent, may in some cases be referred to as an "avatar". For they can be depicted in various human figures in an interactive environment.

상호대화 환경에서 지능기반 에이전트의 제어와 자율 동작에 관련된 연구는 복합적인 결과를 도출하였다. 컴퓨터에 의해 생성된 환경에서 렌더링될 수 있는 인간 움직임의 메커니즘을 완전히 이해하도록 상당한 수준의 연구 작업이 수행되었지만, 이러한 연구는 이들 지능기반 페르소나의 직접적인 제어에 관계없이 상호대화 환경 내에서 상기 페르소나가 자율적으로 동작하는 것을 가능하게 하기 위해 사용될 특징, 방법, 또는 기법을 정의하는데 거의 도움이 되지 못했다. 실제로, 인공 추론(artificial reasoning)의 최첨단 형태는 여전히 대부분이 초기 단계에 머물러 있으며, 사용자의 과거 및 현재 행동을 토대로, 연상 네트워크를 효과적으로 캡처, 분석, 구축하며, 콘텐츠의 형태로 조직된 저장 지식과 관련 메타-데이터를 연상 네트워크에 적용하여, 빠른 조직화, 검색, 상호대화 환경에서 이러한 지식을 지능기반 페르소나의 실시간 자율적 동작으로의 적용이 가능해질 수 있다.Studies on intelligence-based agent control and autonomous behavior in interactive environments have yielded complex results. While considerable research has been done to fully understand the mechanisms of human movement that can be rendered in a computer-generated environment, these studies are autonomous in the interactive environment, regardless of the direct control of these intelligence-based personas. Little help has been made in defining the features, methods, or techniques that will be used to enable it to work with. Indeed, the most advanced forms of artificial reasoning are still largely in their infancy, based on the past and present behavior of users, effectively capturing, analyzing, and building association networks, and storing knowledge organized in the form of content. By applying relevant meta-data to associative networks, this knowledge can be applied to real-time autonomous operation of intelligent persona in a fast organization, search, and interactive environment.

따라서 다양한 상호대화 환경에서, 지능기반 페르소나를 제어함에 있어 사용자의 직접 관여 여부와는 관계없이, 이벤트의 연속적인 모니터링을 제공할 수 있고, 상기 이벤트에 대한 사용자 응답을 능동적으로 모니터링하며, 제어된 동작을 지능기반 페르소나에게 적용하기 위한 시스템과 방법이 현재, 긴급하게 요구된다.Therefore, in various interactive environments, regardless of the direct involvement of the user in controlling the intelligent persona, it is possible to provide continuous monitoring of the event, actively monitor the user response to the event, and control the operation. There is a pressing need for a system and method for applying this to intelligence-based personas.

도 1은 하나의 실시예에서의 서버와 다양한 클라이언트 장치 간의 네트워크연결을 도시한 블록 다이어그램이다.1 is a block diagram illustrating a network connection between a server and various client devices in one embodiment.

도 2는 하나의 실시예에서의 스탠드얼론 클라이언트 장치를 도시한 블록 다이어그램이다.2 is a block diagram illustrating a standalone client device in one embodiment.

도 3은 하나의 실시예에서의 동작 엔진의 구성요소를 도시한 블록 다이어그램이다.3 is a block diagram illustrating components of an operation engine in one embodiment.

도 4는 하나의 실시예에서의 지식 엔진의 구성요소를 도시한 블록 다이어그램이다.4 is a block diagram illustrating components of the knowledge engine in one embodiment.

도 5A는 하나의 실시예에서의 서버 장치의 구성요소를 도시한 블록 다이어그램이다.5A is a block diagram illustrating components of a server apparatus in one embodiment.

도 5B는 하나의 실시예에서의 클라이언트 장치의 구성요소를 도시한 블록 다이어그램이다.5B is a block diagram illustrating components of a client device in one embodiment.

도 6A는 하나의 실시예에서의 서버 장치의 구성요소를 도시한 블록 다이어그 램이다.FIG. 6A is a block diagram illustrating components of a server device in one embodiment. FIG.

도 6B는 하나의 실시예에서 클라이언트 장치의 구성요소를 도시한 블록 다이어그램이다.6B is a block diagram illustrating components of a client device in one embodiment.

도 7은 하나의 실시예에서 사용자 응답을 모니터링하고, 분류하며, 저장하기 위한 방법을 도시하는 흐름도이다.7 is a flowchart illustrating a method for monitoring, classifying, and storing user responses in one embodiment.

도 8은 하나의 실시예에서 사용자 응답을 평가하고 평가된 사용자 응답을 기초로 아바타의 동작을 제어하는 방법을 도시한 흐름도이다.8 is a flowchart illustrating a method of evaluating a user response and controlling an operation of an avatar based on the evaluated user response in one embodiment.

도 9는 하나의 실시예에서 사용자 응답에 대한 패턴 분석을 적용하기 위한 방법을 도시한 흐름도이다.9 is a flow diagram illustrating a method for applying pattern analysis for a user response in one embodiment.

도 10은 하나의 실시예에서 사용에게 경보하고, 사용자 응답을 모니터링하기 위한 방법을 도시하는 흐름도이다.10 is a flow diagram illustrating a method for alerting for use and monitoring a user response in one embodiment.

도 11은 하나의 실시예에서 상호대화 환경의 작동 모드를 제어하기 위한 방법을 도시하는 흐름도이다.FIG. 11 is a flow diagram illustrating a method for controlling an operating mode of an interactive environment in one embodiment.

도 12는 하나의 실시예에서 상호대화 환경에서의 아바타의 자율 작동을 위한 방법을 도시한 흐름도이다.12 is a flowchart illustrating a method for autonomous operation of an avatar in an interactive environment in one embodiment.

도 13은 하나의 실시예에서 상호대화 환경의 경쟁적 작동 모드에서 아바타의 실행을 위한 동작을 결정하기 위한 방법을 도시하는 흐름도이다.FIG. 13 is a flow diagram illustrating a method for determining an action for execution of an avatar in a competitive mode of operation of an interactive environment in one embodiment.

도 14는 하나의 실시예에서 상호대화 환경의 조력 작동 모드에서 아바타의 실행을 위한 동작을 결정하는 방법을 도시하는 흐름도이다.FIG. 14 is a flow diagram illustrating a method of determining an action for execution of an avatar in a tidal mode of operation of an interactive environment in one embodiment.

다양한 동작들은 각각 기재된 실시예를 이해하는데 가장 도움이 되는 방식으로, 다수의 개별 단계들로 기재될 것이다. 그러나 기재의 순서는 이들 동작이 반드시 이 순서에 따라야 함을 의미하지 않는다. 특히, 이들 동작은 제공되는 순서로 수행될 필요가 없다.Various operations will be described in numerous discrete steps, in a manner that is most helpful in understanding each described embodiment. However, the order of description does not imply that these operations must be in this order. In particular, these operations need not be performed in the order in which they are presented.

다음의 설명은“하나의 실시예에서”라는 어구를 반복적으로 사용하지만, 보통 이러한 구문이 하나의 동일한 실시예를 일컫는 것은 아니다.The following description uses the phrase “in one embodiment” repeatedly, but this phrase does not usually refer to the same embodiment.

도 1은 다수의 클라이언트 장치(104a 내지 104d)와, 네트워크(106)와, 다수의 서버(102a 내지 102d)로 구성된 시스템(100)을 도시한다. 서버 장치(102a 내지 102d) 간의 상호대화 컴퓨팅 및 통신을 위한 시스템에 다양한 클라이언트 장치(104a 내지 104d)가 포함될 수 있다. 클라이언트 장치(104a)는 개인용 컴퓨터를 나타내며, 클라이언트 장치(104b)는 비디오 게임 스테이션(예를 들어, Microsoft Xbox, Microsoft Xbox 360, 또는 Nintendo play station)을 나타낸다. 클라이언트 장치(104c)는 핸드헬드 장치(가령, PDA, 또는 Sony PlayStation, 또는 Nintendo Game Boy 등의 다양한 핸드헬드 게임 장치 중 임의의 것)를 나타내고, 클라이언트 장치(104d)는 휴대용 컴퓨터(portable computer)를 나타낸다. 시스템(100)에 포함된 네트워크(106)는, 로컬 영역 네트워크, 광역 네트워크, 인터넷, 무선 네트워크, 또는 네트워킹 시스템(유선, 무선 및 광통신 채널 및 장치)의 조합 등의 다수의 네트워크 중 임의의 것일 수 있다.1 shows asystem 100 consisting of a number ofclient devices 104a-104d, anetwork 106, and a number ofservers 102a-102d.Various client devices 104a-104d may be included in a system for interactive computing and communication betweenserver devices 102a-102d.Client device 104a represents a personal computer, andclient device 104b represents a video game station (eg, Microsoft Xbox, Microsoft Xbox 360, or Nintendo play station).Client device 104c represents a handheld device (e.g., any of a variety of handheld game devices, such as a PDA or Sony PlayStation, or Nintendo Game Boy), andclient device 104d represents a portable computer. Indicates. Thenetwork 106 included in thesystem 100 may be any of a number of networks, such as a local area network, a wide area network, the Internet, a wireless network, or a combination of networking systems (wired, wireless, and optical communication channels and devices). have.

도 2는 스탠드얼론(standalone) 환경에서의 클라이언트 장치(104)를 도시한 다. 나타나는 바와 같이, 클라이언트 장치(104)가 하나 이상의 입력 장치(202)와, 통신 인터페이스(204)와, ROM(Read Only Memory)(206)와, 저장 장치(208)와, 중앙 처리 유닛(214)과, 하나 이상의 출력 장치(210)와, 프로그램 메모리(212)를 포함한다. 상기 하나 이상의 출력 장치(210)는 데스크탑 컴퓨터 모니터, 랩탑 컴퓨터의 디스플레이, 모바일 및 핸드헬드형 장치 디스플레이, 또는 컴퓨터 게임 장치(가령, Xbox, Xbox360 등)로 연결되는 텔레비전의 캐소드 레이 튜브(Cathode Ray Tube) 디스플레이 일 수 있다. 각각의 이러한 모듈은 모듈간 통신을 위해 통신 버스(216)로 통신가능하도록 연결된다. 프로그램 메모리(212)가 몇 개의 프로그램 구성요소를 포함하며, 이 구성요소는 상호대화 환경에서 사용자 응답 및 이벤트를 모니터링하고, 상기 상호대화 환경에서 하나 이상의 아바타의 동작을 제공하기 위해 사용될 소프트웨어-구현형 시스템을 포함한다. 도면에서 나타나다시피, 프로그램 메모리(212)는 지식 베이스(knowledge base, 218)와, 지식 엔진(knowledge engine, 220)과, 동작 엔진(action engine, 222)과, 상호대화 컴퓨터-발생형 환경(interactive computer-generated environment, 224)과, 운영 체제(operating system, 226)를 포함한다. 중앙 프로세서(214)는 커맨드를 송신하고, 프로그램 메모리(2121)로부터 통신 버스(216)를 통해 데이터를 수신함으로써, 프로그램 메모리(212)와 상호대화한다.2 shows aclient device 104 in a standalone environment. As shown, theclient device 104 may include one ormore input devices 202, acommunication interface 204, a read only memory (ROM) 206, astorage device 208, and acentral processing unit 214. And one ormore output devices 210 and aprogram memory 212. The at least oneoutput device 210 may be a cathode ray tube of a television connected to a desktop computer monitor, a display of a laptop computer, a mobile and handheld device display, or a computer game device (eg, Xbox, Xbox360, etc.). ) May be a display. Each such module is communicatively coupled to acommunication bus 216 for intermodule communication.Program memory 212 includes several program components, which are software-implemented that will be used to monitor user responses and events in an interactive environment and provide for the operation of one or more avatars in the interactive environment. It includes a system. As shown in the figure, theprogram memory 212 includes aknowledge base 218, aknowledge engine 220, anaction engine 222, and an interactive computer-generated environment. computer-generated environment (224) and operating system (226). Thecentral processor 214 interacts with theprogram memory 212 by sending commands and receiving data from the program memory 2121 via thecommunication bus 216.

도 2에서 도시된 것과 같은 스탠드얼론형 환경에서, 예를 들어, Sony PlayStation, 또는 Nintendo GameBoy와 같은 게임 스테이션(클라이언트 장치(104b))이 상호대화 환경(224)에서의 이벤트를 지속적으로 모니터링하고, 상기 상호대화 환경(224)의 이러한 이벤트에 대한 사용자 응답을 모니터링하기 위한 지식 엔진(220)을 포함한다. 지식 엔진(220)은 사용자 응답을 능동적으로 분석하고, 관련짓고, 분류하며, 사용자 응답의 이러한 분류된 연관성(association)을 지식 베이스(218)에 저장한다. 소프트웨어에 의해 구현되는 시스템에서, 상호대화 환경(224)에서 하나 이상의 아바타가 인간 사용자에 의해 제어될 수 있다. 그러나 지식 엔진(220)은 각각의 사용자의 응답을 능동적으로 모니터링하여, 상호대화 환경(224)에서 발생하는 무수한 이벤트에 대한 사용자 응답의 범위를 나타내는 응답과 이벤트 간의 연관성의 지식 베이스를 구축할 수 있다. 상호대화 환경(224)에서의 아바타의 동작의 실제 제어가, 지식 엔진(220)에 의한 요청의 발생 후에 동작 엔진(222)에 의해 수행된다.In a standalone environment such as that shown in FIG. 2, for example, a game station (client device 104b) such as a Sony PlayStation, or Nintendo GameBoy continuously monitors events in theinteractive environment 224,Knowledge engine 220 for monitoring a user response to this event of theinteractive environment 224.Knowledge engine 220 actively analyzes, correlates, and classifies user responses and stores this sorted association of user responses inknowledge base 218. In a system implemented by software, one or more avatars ininteractive environment 224 may be controlled by a human user. However, theknowledge engine 220 may actively monitor each user's response to build a knowledge base of associations between events and responses indicating the range of user responses to the myriad events occurring in theinteractive environment 224. . Actual control of the avatar's behavior in theinteractive environment 224 is performed by thebehavior engine 222 after the generation of the request by theknowledge engine 220.

도 3은 동작 엔진(222)을 포함하는 몇 개의 구성요소를 도시한다. 이들 구성요소는 소프트웨어에 의해 구현되는 시스템의 대안적 실시예 각각에 공통적이다. 나타나다시피, 스탠드얼론형의 특정 예시에서, 등록된 사용자가 상호대화 환경(224)에서 하나 이상의 아바타를 활성화하고, 사용할 수 있게 하도록, 각각의 새로운 가입자, 또는 사용자를 등록하기 위한 가입자 등록 구성요소(302)가 사용된다. 아바타 활성화 구성요소(304)가 상호대화 환경(224)에서 등록된 사용자에 의해 사용될 각각의 새로운 아바타를 활성화시키기 위해 사용된다. 등록된 사용자만 상호대화 환경(224)에서의 동작에 대해 아바타를 활성화시키도록 허가받는다. 동작 실행 구성요소(306)는, 지식 엔진(220)으로부터의 하나 이상의 요청을 기반으로 상호대화 환경(224)에서의 아바타의 동작을 제어하는 것을 담당한다. 동작 실행 구성 요소(306)에 의해 수행되는 동작은, 아바타 제어 규칙 데이터베이스(308)에 저장된 하나 이상의 제어 규칙을 기반으로 한다. 데이터베이스(308)는 상호대화 환경(224)에서의 아바타의 동작을 제어하기 위한 규칙의 레포지토리(repository)를 나타낸다. 지식 엔진 인터페이스(310)는 지식 엔진(220)과 동작 엔진(222) 사이의 통신 인터페이스이며, 동작 실행 구성요소(306)에 의한 실행을 위한, 지식 엔진(220)으로부터의 요청을 수신하도록 사용된다. 이들 요청은 아바타 제어 규칙 데이터베이스(308)에 저장된 하나 이상의 제어 규칙에 의해 구현된다.3 illustrates several components including anoperation engine 222. These components are common to each of the alternative embodiments of the system implemented by software. As can be seen, in a particular example of standalone, a registered user component for registering each new subscriber, or user, to enable registered users to activate and use one or more avatars ininteractive environment 224. 302 is used. Anavatar activation component 304 is used to activate each new avatar to be used by registered users in theinteractive environment 224. Only registered users are allowed to activate the avatar for actions in theinteractive environment 224. Theaction execution component 306 is responsible for controlling the action of the avatar in theinteractive environment 224 based on one or more requests from theknowledge engine 220. The actions performed by theaction execution component 306 are based on one or more control rules stored in the avatarcontrol rule database 308.Database 308 represents a repository of rules for controlling the behavior of avatars ininteractive environment 224.Knowledge engine interface 310 is a communication interface betweenknowledge engine 220 andaction engine 222 and is used to receive requests fromknowledge engine 220 for execution byaction execution component 306. . These requests are implemented by one or more control rules stored in the avatarcontrol rule database 308.

소프트웨어에 의해 구현되는 시스템의 특히 중요한 양태는, 동작 엔진은, 하나 이상의 전문가 시스템(expert system), 신경 네트워크, 또는 그 밖의 다른 형태의 컴퓨터 지능(computational intelligence)에 따르는 인공 지능 엔진으로서 구현될 수 있다는 것이다. 그러나 이러한 인공 지능 엔진은, 반드시 지식 엔진(220)에 의한 요청의 발생에 의해 지시받는다. 지식 엔진(220)은 이벤트와 사용자 응답 간의 저장된 연관성(association)과 통합되고, 상기 저장된 연관성을 능동적으로 검색하여, 상호대화 환경(224)에서의 자율적 작동 모드에서 동작할 때, 아바타에 의해 어떠한 동작이 구현되어야 하는가를 결정한다. 상호 대하 환경(224)에서의 이벤트에 대한 사용자 응답의 이전에 판단된 패턴을 기초로 하는 요청을 기반으로 동작 엔진(222) 내의 동작 실행 구성요소(306)가 동작을 구현함을 보장하기 위해, 지식 엔진(220)에 의해 요청이 발생된다. 이러한 방식으로, 사용자가 상호대화 환경(224)에서의 하나 이상의 아바타를 능동적으로 제어하지 않을 때, 상호대화 환경(224)에서의 하나 이상의 사용자의 아바타의 자율적 동작이 사용자의 응답을 거 의 정확하게 모방할 것이다.A particularly important aspect of a system implemented by software is that the operation engine may be implemented as an artificial intelligence engine that conforms to one or more expert systems, neural networks, or other forms of computer intelligence. will be. However, this artificial intelligence engine is always instructed by the generation of the request by theknowledge engine 220. Theknowledge engine 220 integrates with the stored association between the event and the user response, actively retrieves the stored association, and when operated in an autonomous mode of operation in theinteractive environment 224, operates by the avatar. Determine if this should be implemented. To ensure that theaction execution component 306 in theaction engine 222 implements the action based on a request based on a previously determined pattern of user response to the event in themutual interaction environment 224. The request is generated by theknowledge engine 220. In this way, when the user does not actively control one or more avatars in theinteractive environment 224, the autonomous behavior of one or more of the user's avatars in theinteractive environment 224 almost exactly mimics the user's response. something to do.

도 4는 지식 엔진(220)에 제공된 구성요소를 나타낸다. 스탠드얼론형 실시예에서의 지식 엔진(220)을 참조하였지만, 이러한 각각의 구성요소는 그 밖의 다른 구성요소와 함께 포함되거나, 다양한 동작 조합으로 더 적은 개수의 특정된 구성요소를 포함할 수 있다. 본 실시예에서, 지식 엔진(220)은 이벤트 모니터링 구성요소(402)와, 응답 모니터링 구성요소(404)와, 아바타 모드 관리 구성요소(406)와, 패턴 분석 구성요소(408)와, 분류 구성요소(410)와, 지식 베이스 제어기(412)와, 동작 엔진 제어기(414)를 포함한다. 이벤트 모니터링 구성요소(402)는 상호대화 환경(224)에서 발생하는 이벤트를 지속적으로, 그리고 능동적으로 모니터링한다. 더 상세히는, 이벤트 모니터링 구성요소(402)가 상호대화 환경(224)에서의 이벤트를 모니터링하고, 응답 모니터링 구성요소(404)와 상호 동작하여, 패턴 분석 구성요소(408)가 이벤트와 사용자 응답 간의 연관성뿐 아니라, 하나 이상의 메트릭(metric)에 따르는 사용자 응답의 분류 간의 연관성을 형성할 수 있게 할 수 있다. 이벤트 간의 이러한 연관성은, 동작 요청의 추후 검색 및 발생을 위해 지식 베이스(218)에 저장된다. 응답 모니터링 구성요소(404)는 상호대화 환경(224)에서의 모니터링되는 이벤트에 대한 사용자 응답을 지속적으로 모니터링한다.4 illustrates components provided to theknowledge engine 220. Although reference is made to theknowledge engine 220 in standalone embodiments, each of these components may be included with other components or may include fewer specific components in various combinations of operations. In this embodiment, theknowledge engine 220 includes anevent monitoring component 402, aresponse monitoring component 404, an avatarmode management component 406, apattern analysis component 408, and a classification configuration.Element 410,knowledge base controller 412, andoperation engine controller 414. Theevent monitoring component 402 continuously and actively monitors events occurring in theinteractive environment 224. More specifically, theevent monitoring component 402 monitors events in theinteractive environment 224 and interacts with theresponse monitoring component 404 such that thepattern analysis component 408 between the event and the user response. In addition to associations, it is possible to form associations between classifications of user responses according to one or more metrics. This association between events is stored inknowledge base 218 for later retrieval and generation of action requests.Response monitoring component 404 continuously monitors user responses to monitored events ininteractive environment 224.

다음은 분류 구성요소(410)에 의해 모니터링되는 사용자 응답에 적용될 수 있는 대표적인 메트릭의 목록이다. 이 목록이 모든 메트릭인 것은 아니며, 본원에서 논의되는 다양한 실시예에서 지식 엔진의 적용을 위한 메트릭의 대표적 샘플을 설명하기 위한 목적으로만 제공된다. 대안적 실시예에서, 목록의 메트릭의 서브셋 이 사용자 응답 분류를 위해 사용될 수 있고, 또 다른 실시예에서 이와 다르거나 추가적인 메트릭이 적용될 수 있다.The following is a list of representative metrics that may be applied to user responses monitored by theclassification component 410. This list is not all metrics, but is provided for the purpose of describing representative samples of metrics for application of the knowledge engine in the various embodiments discussed herein. In alternative embodiments, a subset of the metrics in the list may be used for classifying user responses, and in other embodiments different or additional metrics may be applied.

사용자 응답User response성과result결정decision감정emotion물체 뛰어 넘기Jumping over objectsxx물체 주변 맴돌기Hovering around an objectxx숨기(stealth) 사용하기Using stealthxx무기 고르기Choosing a weaponxx전략적 옵션 사용하기Use strategic optionsxx팀 구성원 도와주기Help team membersxxxx개인 안전을 무시하기Ignore personal safetyxxxx게임 플레이와 무관한 예의 없는 행동Courteous behavior independent of gameplayxx탐색 기술Navigation technologyxx선택을 이해할 능력Ability to understand choicesxxxx목적지까지의 최적 경로를 간파하기 위한 능력The ability to see the best route to your destinationxxxx사격술Shootingxx조종controlxx점프 완성Jump completionxx결정까지의 시간Time to decisionxx필요 버튼을 누르기까지의 시간Time to press required buttonxx자극에 대한 응답까지의 시간Time to response to stimulusxx스포츠맨쉽Sportsmanshipxxxx도덕적 의사 결정Moral decision-makingxxxx

점프나 도약 높이Jump or jump heightxx성공한 점프의 평균 개수Average number of successful jumpsxx해치운 것의 평균 개수Average number of things removedxx속도의 사용Use of speedxx드라이빙 기술Driving technologyxx펀치 기술Punch technologyxx검술fencexx습득 속도Acquisition speedxx알려진 데이터에 대한 비일반적인 선택Uncommon choice for known dataxxxx알려진 자극에 대한 비일반적인 선택Uncommon choice for known stimulixxxx팀 목표를 위한 희생Sacrifice for Team Goalsxxxx

상호대화 환경(224)은 컴퓨터 시뮬레이션이나 컴퓨터 비디오 게임을 실행할 때 사용되기 위한 컴퓨터에 의해 발생되는 환경이며, 여기서 컴퓨터에 의해 발생되는 다양한 이벤트, 또는 상호대화 환경(224)에서 그 밖의 다른 사용자에 의해 생성되는 이벤트가 발생할 수 있다. 이들 이벤트는 트리거(trigger)되거나, 사용자의 아바타 중 하나 이상이 자율 모드, 또는 조력 듀얼리티 모드(assisted duality mode), 또는 경쟁적 듀얼리티 모드(competitive duality mode)로 동작 중일 때, 상기 아바타로부터 응답을 필요로 한다. 아바타는 클라이언트 장치(104a 내지 104d)의 사용자에 의해 제어되거나, 자율적으로, 즉, 등록된 사용자의 로그-인 상태에 독립적으로 실행될 수 있다.Theinteractive environment 224 is an environment generated by a computer for use in executing computer simulations or computer video games, where various events generated by the computer, or by other users in theinteractive environment 224. The generated event may occur. These events are triggered, or response from the avatar when one or more of the user's avatars are operating in autonomous mode, assisted duality mode, or competitive duality mode. in need. The avatar may be controlled by the user of theclient devices 104a-104d or executed autonomously, ie independently of the logged-in state of the registered user.

아바타 모드 관리 구성요소(406)는 상호대화 환경(224)의 작동 모드를 기반으로 아바타의 제어를 조정한다. 각각의 등록된 사용자는 상호대화 환경(224)에서의 실행을 위한 하나 이상의 아바타를 가질 수 있으며, 그러나 이들 아바타의 동작은 상호대화 환경(224)의 작동 모드에 따라 달라질 수 있다. 사용자가 상호대화 환경(224)으로 능등적으로 로그-인하지 않을 때, 등록된 사용자의 아바타가 상호대화 환경(224)에서 여전히 동작하여, 자율 모드에서 이벤트 모니터링 구성요소(402)에 의해 모니터링되는 이벤트에 응답할 수 있을 것이다. 실제 사용자 모드(real user mode)에서, 각각의 아바타는, 등록된 사용자에 의해 직접 제어되며, 상기 등록된 사용자의, 상호대화 환경(224)에서의 이벤트에 대한 응답은 응답 모니터링 구성요소(404)에 의해 모니터링된다. 동작 엔진(222)의 제어 하에서, 아바타에 의해 특정 동작이 구현되고 실행되게 하는 요청이 발생하고, 동작 엔진(222)에게 발행될 때, 지식 베이스(218)에 포함되는 사용자 응답의 저장된 프로필, 또는 히스토리가 지식 엔진(220)에 의해 평가된다.The avatarmode management component 406 adjusts the control of the avatar based on the operating mode of theinteractive environment 224. Each registered user may have one or more avatars for execution in theinteractive environment 224, but the behavior of these avatars may vary depending on the mode of operation of theinteractive environment 224. When the user does not log in to theinteractive environment 224 competently, the registered user's avatar still operates in theinteractive environment 224, which is monitored by theevent monitoring component 402 in autonomous mode. Will be able to respond to events. In real user mode, each avatar is controlled directly by a registered user, and the registered user's response to the event ininteractive environment 224 is monitored byresponse monitoring component 404. Is monitored by. Under the control of theaction engine 222, a request is generated that causes a particular action to be implemented and executed by the avatar, and when issued to theaction engine 222, a stored profile of the user response included in theknowledge base 218, or The history is evaluated by theknowledge engine 220.

패턴 분석 구성요소(408)는, 모니터링되는 이벤트에 대한 특정 사용자 응답의 출현 빈도를 판단하는 방법을 부분적으로 기초로 하는 패턴 분석 기법을 적용한다. 또한 이들 기법은 특정 통계적 관련도 순위 결정(statistical relevance ranking)과, 사용자 응답들 간의 상관(correlation)을 적용하여, 모니터링되는 이벤트에 대한 사용자 응답에서 패턴을 판단할 수 있다. 패턴 분석 구성요소(408)는 모니터링되는 이벤트와 상기 모니터링되는 이벤트에 대한 하나 이상의 사용자 응답 간의 연관성을 형성한다. 이들 연관성은 실시간으로 판단되고, 응답 모니터링 구성요소(404)에 부합하는 정보를 바탕으로 하여 동적인 방식으로 업데이트된다.Thepattern analysis component 408 applies a pattern analysis technique based in part on how to determine the frequency of appearance of a particular user response to the monitored event. These techniques may also apply specific statistical relevance rankings and correlations between user responses to determine patterns in user responses to monitored events.Pattern analysis component 408 forms an association between the monitored event and one or more user responses to the monitored event. These associations are determined in real time and are updated in a dynamic manner based on information consistent withresponse monitoring component 404.

이벤트에 대한 사용자 응답의 연관 후, 분류 구성요소(410)에 의해, 사용자 응답은 하나 이상의 메트릭에 따라 분류될 것이다. 사용자 응답을 분류하기 위해 사용되는 특정 메트릭은, 성과 메트릭(performance metrics), 결정 메트릭(decision metrics) 및 감정 메트릭(emotion metrics)이 있다. 감정 메트릭은 성과 메트릭과 결정 메트릭을 부분적으로 기초로 한다. 다양한 타입의 성과 메트릭 중에, 이벤트 모니터링 구성요소(402)에 의해 모니터링되는 하나 이상의 이벤트를 기초로 하는 응답 모니터링 구성요소(404)에 의해 모니터링되는 각각의 사용자 응답을 위한 타이밍 측정치가 있다.After association of the user response to the event, by theclassification component 410, the user response will be classified according to one or more metrics. Specific metrics used to classify user responses include performance metrics, decision metrics, and emotion metrics. Emotion metrics are based in part on performance metrics and decision metrics. Among the various types of performance metrics, there are timing measures for each user response monitored byresponse monitoring component 404 based on one or more events monitored byevent monitoring component 402.

분류 구성요소(410)는 사용자 응답을 평가하고, 상기 사용자 응답을 적용 가능한 메트릭에 따라 분류한다. 예를 들어, 경쟁적 복싱 비디오 게임에서, 지식 엔진(220)은 이벤트(가령, 경쟁 아바타로부터 얼굴을 강타하는 잽)에 응답하여 사용자에 의해 취해진 동작을 능동적으로 모니터링할 것이며, 상호대화 환경(224)에서의 유사한 이벤트에 대한 사용자의 응답을 지속적으로 분석할 것이다. 통계적 기법에 따라 서로 다른 모니터링되는 이벤트에 대한 사용자 응답의 총체적 세트는 상관되고, 분류되어, 특정 이벤트에 대한 응답의 타이밍과, 특정 이벤트에 대한 응답 타입과, 상호대화 환경(224)에서의 동일하거나 유사한 이벤트가 존재할 때 유사한 응답이 발생한 빈도가 식별될 수 있다. 이들 분류된 응답은, 이벤트와 응답 간의 검색 가능한 연관성에 추가로, 지식 엔진(220)을 위한 독립적으로 검색 가능한 데이터셋(dataset)을 제공한다. 덧붙이자면, 분류 구성요소(410)에 의해 이벤트에 대한 사용자 응답의 속성은 평가되어, 각각의 응답과 연관된 감정 메트릭이 추론될 수 있을 것이다. 따라서 구성요소(410)에 의해, 지식 엔진(220)은 동작 엔진(222)으로의 요청을 발행할 수 있으며, 상기 동작 엔진(222)에 의해, 자율 모드에서 동작하는 아바타의 동작은, 특정 모니터링되는 이벤트에 대한 등록된 사용자의 응답의 감정적 특성을 모방할 수 있다. 사용자 응답의 타이밍 성과는 분류 구성요소(410)에 의해 “성과 메트릭”으로서 분류되며, 특정 이벤트에 대한 응답의 타입은, 구성요소(410)에 의해, “결정 메트릭”으로서 분류된다.Theclassification component 410 evaluates user responses and classifies the user responses according to applicable metrics. For example, in a competitive boxing video game, theknowledge engine 220 will actively monitor the action taken by the user in response to an event (eg, hitting a face from a competing avatar), and theinteractive environment 224 We will continue to analyze the user's response to similar events in. According to statistical techniques, the overall set of user responses for different monitored events is correlated and categorized to indicate the timing of responses to specific events, the type of responses to specific events, and the same ordifferent interaction environment 224. When similar events exist, the frequency at which similar responses occur can be identified. These classified responses provide an independently searchable dataset for theknowledge engine 220 in addition to the searchable association between the event and the response. In addition, the attributes of the user response to the event may be evaluated by theclassification component 410 so that the emotion metric associated with each response may be deduced. Thus, bycomponent 410,knowledge engine 220 may issue a request toaction engine 222, whereby action of an avatar operating in autonomous mode may be monitored by theaction engine 222. It can mimic the emotional characteristics of the registered user's response to the event being made. The timing performance of the user response is classified by theclassification component 410 as a “performance metric,” and the type of response to a particular event is classified by thecomponent 410 as a “decision metric.”

지식 베이스 제어기(412)가 추상 데이터형 및 관련 연산자의 다양한 형태로서 나타나는 “연관성”의 판독 및 기록을 제어한다. 이들 연관성은 저장되고, 패턴 분석 구성요소(408)에 의해 생성되는 연관성을 기초로 불러와진다. 동작 엔진 제어기(414)는 동작 엔진(222)으로의 요청의 송신을 제어하여, 응답 모니터링 구성요소(404)에 의해 모니터링되는 특정 모니터링된 사용자 응답, 또는 패턴 분석 구성요소(408)와 분류 구성요소(410)에 의해 요청된 동작을 기초로, 상호대화 환경(224)의 하나 이상의 아바타가 자율 모드로 동작 중일 때, 또는 사용자가 활성 상태로 로그-인되어 있지 않을 때, 또는 상호대화 환경(224)에서 발생하는 이벤트에 반응하여 동작을 취할 때 동작 엔진(222)에 의해 아바타의 명시적 동 작(explicit action)이 구현될 수 있게 한다.Knowledge base controller 412 controls the reading and writing of “associations” that appear as various forms of abstract data types and associated operators. These associations are stored and retrieved based on the associations generated by thepattern analysis component 408. Theaction engine controller 414 controls the transmission of the request to theaction engine 222 so that the specific monitored user response, orpattern analysis component 408 and classification component, monitored by theresponse monitoring component 404. Based on the action requested by 410, when one or more avatars of theinteractive environment 224 are operating in autonomous mode, or when the user is not logged in as active, or theinteractive environment 224 An explicit action of the avatar may be implemented by theaction engine 222 when the action is taken in response to an event occurring at the.

도 5A 및 5B는 클라이언트/서버 구성으로 소프트웨어에 의해 구현되는 시스템의 대안적 실시예를 도시한다. 구체적으로, 이 도면들은 클라이언트 장치(104)와 서버 장치(102)를 나타낸다. 도 5A는 하나 이사의 입력 장치(502)와, 통신 인터페이스(504)와, 판독 전용 메모리(read only memory, 506)와, 저장 장치(518)와, 프로세서(512)와, 프로그램 메모리(514)와, 하나 이상의 출력 장치(516)를 포함하는 서버 장치(102)를 나타낸다. 상기 서버 장치(102)의 각각의 구성요소는 통신 버스(510)로 통신 가능한 방식으로 연결된다. 프로그램 메모리(514)는 지식 베이스(518)와, 서버 지식 엔진(520)을 포함한다. 서버 지식 엔진(520)은 사용자 응답을 지속적으로 모니터링하고 분석하며, 클라이언트 지식 엔진(540)에 의해 모니터링되는 상호대화 환경(536)에서의 이벤트와 사용자 응답 간의 연관성을 형성한다. 또한 지식 엔진(520)은, 결정 메트릭, 성과 메트릭 및 감정 메트릭 등의 다양한 메트릭에 따라 사용자 응답을 분류하기 위한 프로세스를 적용한다. 지식 베이스(518)는 모니터링되는 이벤트와 모니터링되는 사용자 응답 간의 연관성을 저장하고, 사용자 응답이 적용 가능한 메트릭(즉, 결정, 또는 성과, 또는 감정)을 기초로 분류된 분류에 따르는 상기 연관된 이벤트와 응답의 구조화된 저장(organized storage)을 가능하게 한다.5A and 5B illustrate alternative embodiments of a system implemented by software in a client / server configuration. Specifically, these figures showclient device 104 andserver device 102. 5A shows aninput device 502, acommunication interface 504, a read onlymemory 506, astorage device 518, aprocessor 512, and aprogram memory 514. Andserver device 102 including one ormore output devices 516. Each component of theserver device 102 is connected in a communicative manner via acommunication bus 510. Theprogram memory 514 includes aknowledge base 518 and aserver knowledge engine 520. Theserver knowledge engine 520 continuously monitors and analyzes user responses, and forms an association between the user responses and the events in theinteractive environment 536 monitored by theclient knowledge engine 540. Theknowledge engine 520 also applies a process to classify user responses according to various metrics, such as decision metrics, performance metrics, and emotion metrics.Knowledge base 518 stores the association between the monitored event and the monitored user response, and the associated event and response according to a classification classified based on the metric (ie, decision, or outcome, or emotion) to which the user response is applicable. To allow for organized storage.

도 5B는 하나 이상의 입력 장치(522)와, 도 5A에서 도시된 서버 장치(102)와 통신하기 위한 통신 인터페이스와, 판독 전용 메모리(526)와, 저장 장치(528)와, 프로세서(532)와, 프로그램 메모리(534)와, 하나 이상의 출력 장치(530)를 포함하 는 클라이언트 장치(104)를 도시한다. 이들 각각의 구성요소는 통신 버스(525)로 연결되어, 구성요소 간 통신을 촉진시킬 수 있다. 프로그램 메모리(534)는 클라이언트 지식 엔진(540)과, 동작 엔진(542)과, 상호대화 환경(536)과, 운영 체제(538)를 포함한다. 프로그램 메모리(534)에 포함된 각각의 구성요소는, 상호대화 환경(536)의 실행을 위해 프로세서(532)에 의해 사용된다. 상호대화 환경(536)은 컴퓨터에 의해 발생되는 환경이며, 컴퓨터에 의해 발생되는 이벤트의 자율적인 실행을 제어한다. 하나의 실시예에서, 상호대화 환경(536)은 컴퓨터에 의해 발생되는 시뮬레이션 환경이며, 다른 실시예에서는, 상호대화 환경(536)이 컴퓨터에 의해 발생되는 비디오 게임 환경이다. 클라이언트 지식 엔진(540)이 상호대화 환경(536)에서의 이벤트를 지속적으로 모니터링하며, 상화 대화 환경(536)에 등록된 사용자가 로그인하고, 상기 이벤트에 능동적으로 응답할 때, 이들 이벤트에 대한 사용자 응답을 지속적으로 모니터링한다. 클라이언트 지식 엔진(540)은 사용자 응답의 프로파일을 컴파일(compile)하고, 분석, 연관 및 분류를 위해, 이들 응답을 서버의 지식 엔진(520)으로 능동적으로 보고한다. 몇 개의 서로 다른 메트릭, 가령, 결정 메트릭, 성과 메트릭 및 감정 메트릭에 의해, 사용자 응답이 분류된다. 분류 후, 하나 이상의 연관성과, 적용 가능한 메트릭에 따라 응답이 지식 베이스(518)에 저장된다.FIG. 5B illustrates one ormore input devices 522, a communication interface for communicating with theserver device 102 shown in FIG. 5A, a read-only memory 526, astorage device 528, and aprocessor 532. ,Client device 104 includingprogram memory 534 and one ormore output devices 530. Each of these components may be connected to acommunication bus 525 to facilitate communication between the components.Program memory 534 includes aclient knowledge engine 540, anoperation engine 542, aninteractive environment 536, and anoperating system 538. Each component included inprogram memory 534 is used byprocessor 532 for execution ofinteractive environment 536. Theinteractive environment 536 is an environment generated by a computer and controls the autonomous execution of events generated by the computer. In one embodiment,interactive environment 536 is a computer-generated simulation environment, and in other embodiments,interactive environment 536 is a computer-generated video game environment. Theclient knowledge engine 540 continuously monitors events in theinteractive environment 536, and when a user registered in theinteractive environment 536 logs in and actively responds to the events, the user for these events. Monitor the response continuously.Client knowledge engine 540 compiles profiles of user responses and actively reports these responses to server'sknowledge engine 520 for analysis, association, and classification. The user response is classified by several different metrics, such as decision metric, performance metric and emotion metric. After classification, responses are stored inknowledge base 518 according to one or more associations and applicable metrics.

도 6은 소프트웨어에 의해 구현되는 시스템을 위한 대안적 클라이언트/서버 실시예를 도시한다. 구체적으로, 이 실시예는 하나 이상의 서버 장치(102a 내지 102d)(도 6A)와, 하나 이상의 클라이언트 장치(104a-104d)(도 6B)를 포함한다. 서 버 장치(102)는 하나 이상의 입력 장치(602)와, 하나 이사의 클라이언트 장치(104)와 통신을 전송 및 수신하기 위한 통신 인터페이스(604)와, 판독 전용 메모리(606)와, 저장 장치(608)와, 프로세서(612)와, 프로그램 메모리(626)와, 하나 이상의 출력 장치(610)를 포함한다. 지식 베이스(616)와, 서버 지식 엔진(618)과, 동작 엔진(620)이 프로그램 메모리(626)에 저장된다. 동작 엔진(620)의 제어 하에서 아바타에 의해 수행되는 특정 동작으로 해석되는 요청을 발행함으로써, 서버 지식 엔진(618)은 동작 엔진(620)의 동작을 지시한다. 서버 지식 엔진(618)은 상호대화 환경(622)과 상호대화하며, 이는 운영 체제(624)에 의해 실행되어, 이 환경(622)에서 발생하는 이벤트를 모니터링할 수 있다. 서버의 지식 엔진(618)과 동작 엔진(620)에 의해 수행되는 동작의 실행을 위해, 그리고 연관성의 빠른 검색, 저장 및 불러오기(retrieval)와, 사용자 응답의 빠른 검색과 분류 메트릭에 따르는 평가를 위해 프로세서(612)가 프로그램 메모리(626)와 상호대화한다. 서버 장치(102)의 각각의 구성요소는 통신 버스(614)를 통해 통신 가능하도록 연결된다.6 illustrates an alternative client / server embodiment for a system implemented by software. Specifically, this embodiment includes one ormore server devices 102a through 102d (FIG. 6A) and one ormore client devices 104a-104d (FIG. 6B). Theserver device 102 includes one ormore input devices 602, acommunication interface 604 for transmitting and receiving communications with one ormore client devices 104, a read-only memory 606, and a storage device ( 608, aprocessor 612, aprogram memory 626, and one ormore output devices 610. Theknowledge base 616, theserver knowledge engine 618, and theoperation engine 620 are stored in theprogram memory 626. By issuing a request that translates to a specific action performed by the avatar under the control of theaction engine 620, theserver knowledge engine 618 directs the action of theaction engine 620.Server knowledge engine 618 interacts withinteractive environment 622, which may be executed by operatingsystem 624 to monitor events that occur in thisenvironment 622. For the execution of the actions performed by theknowledge engine 618 and theaction engine 620 of the server, and for the fast retrieval, storage and retrieval of associations, and the evaluation according to the fast retrieval and classification metrics of user responses.Processor 612 interacts withprogram memory 626. Each component of theserver device 102 is communicatively coupled via acommunication bus 614.

도 6A 및 6B에서 도시된 실시예에서, 서버 지식 엔진(618)과 클라이언트 지식 엔진(644)은 활발하게 상호 동작하여, 상호대화 환경(622)에서 발생하는 이벤트에 대한 사용자 응답을 모니터링할 수 있다. 클라이언트 지식 엔진(644)에 의해 클라이언트 장치(104) 상에서 사용자 응답이 모니터링되고, 로컬 프로그램 메모리(642)에 저장된다. 도 6B에서 도시되는 바와 같이, 클라이언트 장치(104)는 하나 이상의 입력 장치(628)와, 통신 인터페이스(630)와, 판독 전용 메모리(632)와, 저장 장치(634)와, 프로세서(636)와, 프로그램 메모리(642)와, 하나 이상의 출력 장 치(646)를 포함한다. 이들 구성요소는 통신 버스(640)를 통해 서로 통신 가능하도록 연결된다. 이 실시예에서, 사용자는 클라이언트 장치(104)의 입력 장치(628) 상에서 동작을 취함으로써(가령, 조이스틱을 이동, 또는 터치 스크린의 일부분을 건드림으로써), 상호대화 환경(622)의 이벤트에 응답하고, 이러한 응답은 클라이언트 지식 엔진(644)에 의해 능동적으로, 그리고 지속적으로 모니터링된다. 클라이언트 지식 엔진(644)이 클라이언트 장치(104) 상에서 사용자 응답을 모니터링할지라도, 이 실시예에서, 모니터링되는 응답의 기록(record)이 서버 지식 엔진(618)으로 전달되어, 응답과 이벤트의 분석이 이뤄지고, 응답과 이벤트 간의 연관성이 형성되며, 특정 메트릭에 따라 사용자 응답의 분류가 이뤄진다. 하나의 실시예에서, 상호대화 환경(622)은 서버 장치(102) 상에서 실행된다. 대안적 실시예에서, 상호대화 환경(622)은 다수의 서버 상에서 실행되며, 상기 다수의 서버 각각은, 등록된 사용자 및 자율적으로 실행 중인 아바타가 응답할 수 있는 상호대화 환경(622)에서의 이벤트의 실행을 관리함에 있어, 독립적이지만, 응집적인 역할을 갖는다. 서버 지식 엔진(618)은 클라이언트 장치(104)로부터 수신된 사용자 응답을 분석하고, 상호대화 환경(622)의 모니터링된 이벤트에 대한 각각의 사용자 응답을 연관시키고, 하나 이상의 결정 메트릭, 성과 메트릭 및 감정 메트릭에 따라 사용자 응답을 분류한다.In the embodiment shown in FIGS. 6A and 6B,server knowledge engine 618 andclient knowledge engine 644 may actively interact to monitor user responses to events that occur ininteractive environment 622. . The user response is monitored on theclient device 104 by theclient knowledge engine 644 and stored in thelocal program memory 642. As shown in FIG. 6B, theclient device 104 may include one ormore input devices 628, acommunication interface 630, a read-only memory 632, astorage device 634, aprocessor 636, and the like.Program memory 642 and one ormore output devices 646. These components are connected in communication with each other via acommunication bus 640. In this embodiment, the user takes action on theinput device 628 of the client device 104 (eg, by moving the joystick, or touching a portion of the touch screen) to an event of theinteractive environment 622. In response, this response is actively and continuously monitored by theclient knowledge engine 644. Although theclient knowledge engine 644 monitors the user response on theclient device 104, in this embodiment a record of the monitored response is passed to theserver knowledge engine 618 so that analysis of the response and the event can be performed. Associations are made between responses and events, and user responses are categorized according to specific metrics. In one embodiment,interactive environment 622 runs onserver device 102. In an alternative embodiment, theinteractive environment 622 runs on a plurality of servers, each of which is an event in theinteractive environment 622 to which registered users and autonomous running avatars can respond. In managing the implementation of, it has an independent but cohesive role.Server knowledge engine 618 analyzes user responses received fromclient device 104, correlates each user response to monitored events ininteractive environment 622, and includes one or more decision metrics, performance metrics, and emotions. Classify user responses according to metrics.

이 시스템에 제공되는 메트릭은 사용자 응답에 관한 다양한 타이밍 측정치(가령, 성과 메트릭)와, 상호대화 환경(622)의 모니터링되는 이벤트에 대한 특정 사용자 응답의 다양한 결과(가령, 결정 메트릭)를 나타낸다. 다양한 사용자 응답이 분류될 때 따르는 성과 메트릭과 결정 메트릭에 추가로, 사용자 응답은 또한 감정 메트릭에 따라 분류될 수 있다. 감정 메트릭은 하나 이상의 성과 메트릭과 결정 메트릭을 기초로 하며, 서버의 지식 엔진(618)에 의해 판단되고, 관련 이벤트에 대한 응답과 연관되는 복합 메트릭이다. 이러한 연관은 자율 모드에서 사용되어, 등록된 사용자와 연관된 하나 이상의 아바타의 동작을 제어하여, 아바타의 동작이 사용자의 과거 사용자 응답과 일치하는 방식으로 수행되게 할 수 있다. 본질적으로, 서버의 지식 엔진(618)은 사용자 응답의 활발하고, 진행 중이며, 지속적인 분석 정리(profiling)와, 상기 사용자 응답의 연관 및 분류를 가능하게 하여, 사용자가 로그인하고, 상호대화 환경(622)의 이벤트에 응답했을 때 사용자에 의해 디스플레이된 응답 및 상기 응답과 연관된 관련 감정과 일치하는 자율 작동 모드에서 아바타를 이용하는 동작을 판단하고, 적용할 수 있다.Metrics provided to the system represent various timing measures (eg, performance metrics) regarding user responses, and various results (eg, decision metrics) of specific user responses to monitored events ininteractive environment 622. In addition to the performance metrics and decision metrics that follow when various user responses are classified, the user responses can also be classified according to emotion metrics. The emotion metric is a composite metric based on one or more performance metrics and decision metrics and determined by theknowledge engine 618 of the server and associated with the response to the related event. This association may be used in autonomous mode to control the operation of one or more avatars associated with the registered user, such that the operation of the avatar is performed in a manner consistent with the user's past user response. In essence, the server'sknowledge engine 618 enables active, ongoing, ongoing analysis of user responses, associating and classifying the user responses, so that users log in, andinteractive environments 622 Determining and applying an action of using the avatar in an autonomous mode of operation consistent with the response displayed by the user and the associated emotion associated with the response when responding to the event.

도 7은 상호대화 환경에서 아바타를 모니터링하고 제어하기 위한 프로세스를 대략적으로 나타낸 흐름도이다. 이 프로세스는 단계(702)에서 시작하고, 상호대화 환경의 이벤트를 모니터링하는 단계(704)로 진행한다. 상호대화 환경의 이벤트를 모니터링하는 동안, 이들 이벤트에 대한 사용자 응답이 모니터링되고 측정되며(단계(706)), 이들 사용자 응답은, 하나 이상의 성과 메트릭, 결정 메트릭 및 감정 메트릭에 따라 컴파일되고, 분석되며, 분류될 것이다(단계(708)). 분류된 사용자 응답이 저장되어(단계(710)), 자율 모드를 운영하면서, 상호대화 환경에서의 하나 이상의 아바타의 동작을 제어하기 위한 요청을 공식할 때, 지식 엔진에 의해 추후에 검색 및 사용될 수 있다. 아바타가 등록된 가입자가 로그인되어 있지 않고, 상호대 화 환경의 모니터링되는 이벤트에 능동적으로 응답하지 않을 때, 상기 아바타는 자율 모드에서 동작을 수행한다. 사용자 응답이 분류화되고, 지식 베이스에 저장된 후, 상기 프로세스는 단계(712)에서 종료한다.7 is a flowchart schematically illustrating a process for monitoring and controlling an avatar in an interactive environment. This process begins atstep 702 and proceeds to step 704 of monitoring events in the interactive environment. While monitoring events in the interactive environment, user responses to these events are monitored and measured (step 706), and these user responses are compiled and analyzed according to one or more performance metrics, decision metrics, and emotion metrics. Will be sorted (step 708). The categorized user response is stored (step 710) so that it can later be retrieved and used by the knowledge engine when formulating a request to control the behavior of one or more avatars in an interactive environment while operating in autonomous mode. have. When the registered subscriber is not logged in and does not actively respond to the monitored event of the interactive environment, the avatar operates in autonomous mode. After the user response is categorized and stored in the knowledge base, the process ends atstep 712.

도 8은 이전 사용자 응답의 비교 평가 후, 이전 사용자 응답을 기초로 하여, 응답을 적용하기 위한 프로세스를 도시한다. 프로세스는 단계(802)에서 시작하며, 이때, 상호대화 환경의 이벤트를 모니터링한다(단계(804)). 이전 사용자 응답을 저장하는 지식 베이스가 검색되며, 이러한 응답은 평가되고, 기록(record)이 나타내는 이전에 모니터링된 이벤트에 대한 사용자 응답과 비교될 것이다(단계(806)). 지식 베이스에서의 이전 사용자 응답을 검색하고 평가할 때, 지식 엔진이, 특정 모니터링되는 이벤트에 대해 가장 가능성 높은 대안적 사용자 응답의 세트를 판단할 것이며(단계(808)), 상기 가장 가능성 높은 대안적 사용자 응답의 세트는 등록된 사용자에 대한 하나 이상의 아바타에 의해 적용될 수 있다. 각각의 모니터링되는 이벤트에 대한 가장 가능성 높은 대안적 사용자 응답의 세트는, 상호대화 환경에서의 과거의 이벤트에 대한 응답의 패턴을 분석하고, 이들 과거 이벤트를 모니터링되는 이벤트와 비교함으로써, 결정될 것이다. 하나 이상의 패턴 분석 기법이 적용될 수 있으며, 예를 들어, 이전에 모니터링된 이벤트의 타입에 대해 특정 타입의 응답의 출연 빈도를 분석하는 기법이 있다. 통계적 관련도 순위 결정 기법이 홀로 적용되거나, 출현 빈도 측정과 조합되어 적용되어, 모니터링되는 이벤트에 대해 가장 가능성 높은 응답, 또는 응답들의 세트를 결정할 수 있다. 가장 가능성 높은 응답이 결정되면, 등록된 사용자에 대한 하나 이상의 아바타에 의해 상호대화 환경에 선택 된 응답이 적용될 것이고(단계(810)), 단계(812)에서 프로세스는 종료하게 될 것이다. 본원에서 사용될 때, 용어 “응답(response)”은 상호대화 환경에서 등록된 사용자의 제어되는 동작에 일반적으로 적용되며, 이 용어는 또한, 이 환경에서, 사용자에 의해 제어되는 직접적인 활동이 없는 경우, 아바타에 의해 취해지는 특정 동작을 일컬을 수 있다.8 shows a process for applying a response based on a previous user response after comparative evaluation of the previous user response. The process begins atstep 802, where the events of the interactive environment are monitored (step 804). The knowledge base that stores previous user responses is retrieved, and these responses will be evaluated and compared to the user responses for previously monitored events represented by the record (step 806). When retrieving and evaluating previous user responses in the knowledge base, the knowledge engine will determine the set of most likely alternative user responses for the particular monitored event (step 808), wherein the most likely alternative user The set of responses may be applied by one or more avatars for registered users. The set of most likely alternative user responses for each monitored event will be determined by analyzing the pattern of responses to past events in the interactive environment and comparing these past events with the monitored events. One or more pattern analysis techniques can be applied, for example, a technique for analyzing the frequency of appearance of a particular type of response to a type of previously monitored event. Statistical relevance ranking techniques may be applied alone or in combination with frequency of appearance measures to determine the most likely response, or set of responses, to the monitored event. Once the most likely response is determined, the response selected in the interactive environment by one or more avatars for the registered user will be applied (step 810) and the process will end instep 812. As used herein, the term “response” generally applies to the controlled action of a registered user in an interactive environment, which also, in this environment, if there is no direct activity controlled by the user, It may refer to a specific action taken by the avatar.

도 9는 사용자 응답을 모니터링하고 보호되는 대기 상태로 들어갈 시점을 결정하기 위한 프로세스를 도시한다. 이 프로세스는 단계(902)에서 시작하며, 단계(904)에서, 사용자 응답이 모니터링되고, 단계(906)에서 각각의 모니터링된 응답이 지식 베이스에 저장된 응답과 비교된다. 상기 단계(906)에서 수행된 비교를 기초로 하여, 단계(908)에서 모니터링된 사용자 응답에 하나 이상의 패턴 분석 방법이 적용될 것이다. 이전에 모니터링된 유사한 이벤트에 대한 새로운 사용자 응답이 이러한 이벤트와 연관되고, 저장되어, 지식 베이스가 이벤트와 응답의 연관성의 실시간 활성 기록으로 업데이트되게 할 수 있다(단계(910)). 업데이트 후, 상호대화 환경이 모니터링되어, 사용자가 로그-오프(log-off) 상태인지의 여부를 판단할 수 있다(단계(912)). 사용자가 로그-오프가 아닌 경우, 사용자에 의해 수행된 마지막 동작의 발생과 현 시점 사이의 시간 길이가, 상호 대화 환경의 모니터링된 이벤트에 대한 사용자로부터의 응답을 수신하기 위한 대기 시간 임계치를 초과하는가의 여부를 판단하기 위해, 대기 시간(wait time)이 체크될 것이다(단계(914)). 대기 시간이 초과된 경우, 등록된 사용자에 대한 하나 이상의 아바타가 상호 대화 환경의 보호받는 대기 상태(protected wait state)가 되며, 사용자로부터의 동작을 취 하기 위한 커맨드, 또는 요청을 기다린다(단계(916)).9 shows a process for monitoring a user response and determining when to enter a protected wait state. This process begins atstep 902 where atstep 904 the user response is monitored and at 906 each monitored response is compared to the response stored in the knowledge base. Based on the comparison performed instep 906, one or more pattern analysis methods will be applied to the user responses monitored instep 908. New user responses to similar events previously monitored may be associated with these events and stored, causing the knowledge base to be updated with a real-time active record of the association of the event with the response (step 910). After the update, the interactive environment may be monitored to determine whether the user is in a log-off state (step 912). If the user is not logged off, does the length of time between the occurrence of the last action performed by the user and the current point of time exceed the latency threshold for receiving a response from the user for the monitored event in the interactive environment? To determine whether the wait time will be checked (step 914). If the wait time is exceeded, one or more avatars for the registered user are in the protected wait state of the interactive environment and wait for a command or request to take action from the user (step 916 )).

대안적으로, 단계(912)에서 나타나는 바와 같이, 사용자가 로그-오프한 경우, 사용자의 아바타가 상호대화 환경에서 보호받는 대기 상태가 될 것이다(단계(916)). 단계(914)에서 사용자가 동작을 취하는 시간이 대기 시간을 초과하지 않았다면, 단계(906)에서 나타나는 바와 같이, 사용자 응답은 계속 활발하게 모니터링되고, 지식 베이스의 저장된 응답의 기록에 비교될 것이다. 이러한 새롭게 모니터링된 응답을 이전에 저장된 모니터링된 응답에 비교하는 실시간 분석은, 상호대화 환경이 활성화 상태인 동안 계속되어, 이러한 환경의 이벤트에 대한 새롭고 다른 응답을 계속 식별하고, 연관하며, 분류할 수 있으며, 이러한 분석은 단계(908)에서 나타난다. 상호대화 환경의 이벤트에 대한 새로운 사용자 응답의 연관성으로, 지식 베이스를 업데이트하는 것이 단계(910)에서 나타난다. 사용자가 로그-오프 상태인 경우, 보호받는 대기 상태가 시작될 것이고(단계(196)), 프로세스는 단계(918)에서 종료할 것이다.Alternatively, as shown instep 912, if the user logs off, the user's avatar will be in a protected standby in the interactive environment (step 916). If the time the user takes an action instep 914 did not exceed the waiting time, as shown instep 906, the user response will continue to be actively monitored and compared to a record of the stored response in the knowledge base. Real-time analysis comparing these newly monitored responses to previously stored monitored responses continues while the interactive environment is active, allowing you to continue identifying, correlating, and classifying new and different responses to events in those environments. This analysis is shown atstep 908. With the association of the new user response to the events in the interactive environment, updating the knowledge base is indicated atstep 910. If the user is in the log-off state, the protected wait state will begin (step 196) and the process will end atstep 918.

도 10은 사용자가 상호대화 환경에 로그-인하지 않을 때, 아바타가 상기 사용자와 상호대화할 수 있게 해주는 프로세스를 도시한다. 상기 프로세스는 단계(1002)에서 시작하며, 단계(1004)에서, 아바타가 보호받는 대기 상태에 있는 동안 상호대화 환경의 이벤트를 모니터링한다. 단계(1006)에서 나타나는 바와 같이, 모니터링되는 이벤트에 따라, 아바타에 의해, 특정 동작이 요구될 수 있다. 어떠한 동작도 요구되지 않는 경우, 상호대화 환경의 이벤트가 계속 모니터링되고, 아바타가 보호받는 동작 대기 상태를 유지할 것이다. 그러나 동작이 요구되는 경우, 단 계(1008)에서 나타나는 바와 같이, 동작 경보(action alert)가 사용자에게 전송되고, 단계(1010)에서 나타난 바와 같이, 아바타가 사용자로부터의 응답을 기다린다. 어떠한 응답도 수신되지 않는 경우, 단계(1012)에서와 같이, 상기 아바타는 자율 작동 모드가 될 것이며, 이에 따라서, 지식 베이스에 저장된, 이벤트와 사용자 응답 간의 연관성의 총체적 레코드를 기반으로, 등록된 사용자의 아바타가 상호대화 환경의 이벤트와 상호대화할 것이다. 저장된 연관성의 지식 베이스로부터 적용될 가능성이 가장 높은 동작이 판단되며, 동작 엔진이 활성화되어, 도 3에서 도시된 아바타 제어 규칙 데이터베이스에 저장되어 있는 제어 규칙을 바탕으로 하여, 사용자의 아바타의 하나 이상의 동작의 실행을 명시적으로 제어할 것이다. 이 작동 모드에서, 지식 엔진은, 저장된 연관성을 바탕으로 하여, 동작 엔진에게 요청을 전송할 것이다. 이 모드에서, 지식 엔진 및 동작 엔진은 각각의 사용자의 아바타의 동작에 대한 배타적인 제어를 가질 것이다. 다른 한편으로는, 단계(1010)에서 나타나는 바와 같이, 사용자 응답이 수신된 경우, 프로세스가 도 11에서 나타난 단계로 이동할 것이며, 이 단계는 아래에서 설명된다.10 illustrates a process that allows an avatar to interact with the user when the user does not log in to the interactive environment. The process begins atstep 1002, and atstep 1004, monitors the events of the interactive environment while the avatar is in a protected standby state. As shown instep 1006, depending on the event being monitored, a specific action may be required by the avatar. If no action is required, events in the interactive environment will continue to be monitored and the avatar will remain in a protected action wait state. However, if an action is required, as shown instep 1008, an action alert is sent to the user, and as shown instep 1010, the avatar waits for a response from the user. If no response is received, then as instep 1012, the avatar will be in autonomous mode of operation and, accordingly, the registered user, based on the aggregate record of the association between the event and the user response, stored in the knowledge base. 'S avatar will interact with the events in the interactive environment. An action most likely to be applied is determined from a knowledge base of stored associations, and the action engine is activated, based on control rules stored in the avatar control rule database shown in FIG. 3, to determine one or more actions of the user's avatar. You will explicitly control execution. In this mode of operation, the knowledge engine will send a request to the operation engine based on the stored association. In this mode, the knowledge engine and motion engine will have exclusive control over the motion of each user's avatar. On the other hand, as shown instep 1010, if a user response is received, the process will move to the step shown in FIG. 11, which is described below.

단계(1008)로 다시 돌아가서, 등록된 사용자 아바타의 하나 이상에 의해, 동작 경보가, 각각의 사용자의 아바타로부터의 전자 메일 메시지, 또는 전화 콜(telephone call)의 형태로 발행될 수 있으며, 상기 동작 경보에서, 아바타의 합성 음성이 상호대화 환경의 이벤트를 사용자에게 설명한다. 또한 “긴급 동작 메시지(Emergency Action Message)”라고 일컬어지는 전자 메일 메시지는 특정 사용자 입력에 대한 요청을 포함하여, 상호대화 환경에서 긴급한 이벤트, 또는 위험에 응 답하여, 아바타가 동작을 취할 수 있게 할 수 있다.Returning to step 1008, by one or more of the registered user avatars, an action alert may be issued in the form of an e-mail message or a telephone call from each user's avatar, the action In the alert, the synthesized voice of the avatar describes the event of the interactive environment to the user. Email messages, also referred to as “emergency action messages,” may include requests for specific user input, allowing an avatar to take action in response to an urgent event or risk in an interactive environment. have.

사용자가 커맨드를 이용하여 전화 콜 상에 수신된 동작 경보에 응답하는 경우, 도 11의 단계(1102)에서 나타나는 바와 같이, 아바타는 상기 커맨드를 실행하도록 시도할 것이다. 단계(1114)에서 나타나는 바와 같이, 사용자 응답을 처리하는 동안, 지식 엔진은 독립적인 사용자 응답이 요구되는가의 여부를 판단할 것이다. 동작 경보를 발생시킨 아바타가, 상호대화 환경의 독립적인 사용자 동작 없이는, 수신된 사용자 커맨드에서 특정된 동작을 수행할 수 없을 경우, 독립적인 사용자 응답이 요구될 것이다. 이러한 경우, 상호대화 환경의 아바타의 작동 모드가 경쟁적 듀얼리티 모드로 변환될 것이다(단계(1106)). 이러한 작동 모드에서, 사용자가 상호대화 환경에서 로그-인 상태로 복귀하면, 아바타는 사용자의 동작과 직접적으로 경쟁하는 상호대화 환경의 독립적인 동작에 착수한다. 대안적 실시예에서, 아바타의 그룹은 사용자에 의해 제어될 수 있으며, 사용자에 의해 제어되는 그룹에 맞서는 팀으로서 경쟁하는 협력하는 아바타들의 팀이 형성될 수 있다. 사용자가 상호대화 환경에서 로그-인 상태로 복귀된 후, 사용자에 의해 제어되는 아바타의 그룹과 협력하는 아바타들의 팀이 또한 상호대화 환경의 이벤트에 경쟁적으로 응답할 수 있다.If the user responds to a motion alert received on the telephone call using a command, the avatar will attempt to execute the command, as indicated instep 1102 of FIG. As shown instep 1114, while processing a user response, the knowledge engine will determine whether an independent user response is required. An independent user response will be required if the avatar that generated the motion alert cannot perform the action specified in the received user command without an independent user action in the interactive environment. In this case, the mode of operation of the avatar in the interactive environment will be converted to a competitive duality mode (step 1106). In this mode of operation, when the user returns to the logged-in state in the interactive environment, the avatar initiates an independent operation of the interactive environment that competes directly with the user's motion. In alternative embodiments, a group of avatars can be controlled by the user, and a team of cooperating avatars can be formed that compete as a team against a group controlled by the user. After the user returns to the logged-in state in the interactive environment, a team of avatars collaborating with the group of avatars controlled by the user may also respond competitively to events in the interactive environment.

대안예에서, 독립적인 사용자 응답이 요구되지 않는 경우, 사용자와 사용자의 하나 이상의 아바타는, 조력 듀얼리티 모드(assisted duality mode)에서 상호대화 환경에서의 이벤트에 응답할 것이다(단계(1108)). 경쟁적 듀얼리티 모드는, 상호대화 환경의 사용자 응답이 사용자의 아바타의 하나 이상의 동작에 활발하게 경 쟁하는 작동 모드이다. 이러한 경우, 아바타와 사용자 모두, 상호대화 환경의 모니터링되는 이벤트에, 그리고 상기 상호대화 환경에서의 서로의 동작에 응답할 것이다. 조력 듀얼리티 모드에서, 사용자와 사용자의 아바타는 협력적인 방식으로 동작하고, 사용자의 아바타가 상호대화 환경에서의 모니터링되는 이벤트에 응답하는 동안, 사용자의 동작이 사용자의 아바타의 독립적인 동작을 보충할 것이다.In an alternative, if an independent user response is not required, the user and one or more avatars of the user will respond to the event in the interactive environment in assisted duality mode (step 1108). The competitive duality mode is an operating mode in which the user response of the interactive environment actively competes for one or more actions of the user's avatar. In this case, both the avatar and the user will respond to the monitored event of the interactive environment and to each other's actions in the interactive environment. In the assisted duality mode, the user and the user's avatar operate in a collaborative manner, and while the user's avatar responds to a monitored event in an interactive environment, the user's motion may supplement the independent motion of the user's avatar. will be.

도 11을 다시 참조하면, 사용자 응답(즉, 상호대화 환경의 사용자 동작)이, 사용자 커맨드(즉, 동작 경보를 발생하는 아바타를 지시하는 이메일, 또는 음성) 대신 수신되는 경우, 단계(1114)에서 나타나는 바와 같이, 상호대화 환경이 실제 사용자 작동 모드로 돌입하고, 단계(1116)에서 나타나는 바와 같이 복귀할 것이다. 사용자 응답은, 상호대화 환경에서 하나 이상의 아바타를 제어하고, 상기 환경에서의 모니터링되는 이벤트에 직접 응답하기 위해 사용자가 상호대화 환경으로 로그-인하는 절차를 포함한다.Referring back to FIG. 11, if a user response (ie, user action in an interactive environment) is received instead of a user command (ie, an email or voice indicating an avatar generating an action alert), atstep 1114. As shown, the interactive environment will enter the actual user mode of operation and will return as shown instep 1116. The user response includes a procedure for the user to log in to the interactive environment in order to control one or more avatars in the interactive environment and to directly respond to the monitored event in the environment.

도 12는 상호대화 환경에서의 아바타의 자율 동작을 위한 프로세스를 도시한다. 상기 프로세스는 단계(1202)에서 시작하고, 단계(1204)에서 상호대화 환경에서의 이벤트가 모니터링된다. 자율 작동 모드에서, 각각의 등록된 사용자의 하나 이상의 아바타가, 그 밖의 다른 등록된 사용자의 아바타에 대해 활발하게 계속 경쟁하며, 이는 이들 아바타의 사용자 로그-인, 또는 제어 상태에 관계없이 이뤄진다. 아바타는 개별 아바타의 경쟁에 착수하거나, 다른 그룹의 아바타와 경쟁하기 위해, 또는 상호대화 환경의 모니터링되는 이벤트에 응답하여 경쟁하기 위해 협력적인 아바타 팀을 스스로 조직할 수 있다. 이러한 작동 모드에서, 상호대화 환경에서의 선 택된 경쟁 이벤트에서의 성과 순위 결정을 위해, 모든 등록된 사용자의 아바타가 서로에 대해 활발하게 경쟁할 수 있게 하도록 다중 서버가 상호대화 환경을 호스팅할 수 있다. 경쟁적 이벤트는 다른 아바타의 동작에 응답하는 아바타들 간의 개별적인 경쟁과, 상호대화 환경에서의 모니터링되는 이벤트에 응답하여 이뤄지는 아바타의 경쟁적 평가와, 협력적 팀으로서 경쟁에 참가하거나 모니터링되는 이벤트에 응답하는 협력적인 아바타 팀의 형성을 포함할 수 있다. 이들 이벤트는 선-스케줄링된(prescheduled) 시간에서 발생되며, “World Olympic Avatar Competition(세계 올림픽 아바타 경쟁 대회)"라고 등록된 모든 사용자에게 발표될 수 있다. 따라서 단계(1206)에서, 이러한 경쟁으로의 참가에 대한 요청이 등록된 사용자에 의해 수신될 수 있다. 상기 요청은 아바타 경쟁 대회가 개최될 상호대화 환경의 관리자에 의해 발행된다.12 shows a process for autonomous operation of an avatar in an interactive environment. The process begins atstep 1202 and atstep 1204 the events in the interactive environment are monitored. In the autonomous mode of operation, one or more avatars of each registered user continue to compete vigorously for the avatars of other registered users, regardless of the user log-in or control status of these avatars. The avatar may self-organize a cooperative avatar team to enter competition of individual avatars, compete with other groups of avatars, or compete in response to monitored events in an interactive environment. In this mode of operation, multiple servers can host the interactive environment to enable all registered users' avatars to actively compete with each other for performance ranking at selected competitive events in the interactive environment. . Competitive events include individual competition between avatars responding to the actions of other avatars, competitive assessments of avatars in response to monitored events in an interactive environment, and cooperative teams participating in or responding to monitored events. The formation of an avatar team. These events occur at a pre-scheduled time and can be announced to all users registered as “World Olympic Avatar Competition.” Thus, instep 1206, into this competition A request for participation may be received by a registered user, the request being issued by an administrator of an interactive environment where an avatar competition will be held.

요청을 수락한 등록된 사용자의 아바타들 간의 경쟁이 단계(1208)에서 시작되고, 자율 작동 모드에서 이들 아바타는 이벤트에 대하여 응답하여 동작을 취할 것이다. 경쟁은, 상호대화 환경에서의 각각의 등록된 사용자의 아바타에 의한 서로에 대한 경쟁적 상호대화를 필요로 하는 다수의 상호대화 시나리오를 포함한다. 상호대화 시나리오에서의 아바타의 성과(performance)는 평가되고, 경쟁 순위를 결정하기 위해 사용될 것이다(단계(1210)). 이러한 자율 모드 상호대화 경쟁에서의 아바타의 동작은 지식 베이스에 저장된 이벤트와 사용자 응답 간의 연관성과, 선택된 메트릭에 따르는 이들 사용자 응답의 분류를 부분적으로 기초로 한다. 사용자가 상호대화 환경에서의 이벤트에 대한 응답을 제어 및 실행하는 동안, 지식 엔진은 사 용자 응답을 분류한다. 사용자 응답의 분류는 특정 성과 메트릭, 결정 메트릭 및 감정 메트릭을 기반으로 한다. 이들 메트릭은 아바타가 자율 경쟁 모드로 동작하면서, 상호대화 환경에서 동작을 어떻게 적용시킬 것인지에 영향을 미친다. 더 구체적으로, 자율 경쟁 모드에서 아바타에 의해 적용되는 동작은, 상호대화 환경에서의 모니터링되는 이벤트에 대한 응답이 최초로 만들어질 때의 지식 엔진에 의해 사용자 응답에 적용되는 패턴 분석을 기초로 한다(단계(1212)). 동작 엔진과 연합되어 동작하는 지식 엔진은 이러한 경쟁 모드에서 아바타의 동작을 배타적으로 제어할 것이다. 등록된 사용자는 정해지지 않은 시간 주기 동안 자율 모드, 또는 자율 경쟁 모드에서 동작을 수행하는 활성 아바타를 가질 수 있다. 하나의 실시예에서, 상기 정해지지 않은 시간 주기는 등록된 사용자의 수명 이상으로 확장될 수 있다. 아바타의 동작의 성과 순위가 컴파일될 것이며(단계(1214)), 상호대화 환경에서 자율적이고 완전히 호스팅된 경쟁에서 어느 아바타가 가장 높은 점수를 획득했는가에 대한 판단이 이뤄진다. 자율 경쟁 모드에서 아바타에 대한 성과 순위를 컴파일한 후, 프로세스가 단계(1216)에서 종료된다.Competition between the avatars of registered users who accepted the request begins atstep 1208, and in autonomous mode of operation these avatars will take action in response to the event. Competition includes a number of interactive scenarios that require competitive interaction with each other by the avatar of each registered user in an interactive environment. The performance of the avatar in the interactive scenario will be evaluated and used to determine the ranking of competition (step 1210). The behavior of the avatar in this autonomous mode interactive competition is based, in part, on the association between the events stored in the knowledge base and the user responses and the classification of these user responses according to the selected metric. The knowledge engine classifies user responses while the user controls and executes responses to events in an interactive environment. Classification of user responses is based on specific performance metrics, decision metrics, and emotion metrics. These metrics affect how the avatar will behave in an interactive environment while operating in autonomous competition mode. More specifically, the action applied by the avatar in autonomous competition mode is based on pattern analysis applied to the user response by the knowledge engine when the response to the monitored event in the interactive environment is first made (step). (1212)). The knowledge engine operating in conjunction with the motion engine will exclusively control the behavior of the avatar in this competitive mode. The registered user may have an active avatar that performs an operation in autonomous mode, or autonomous competition mode for an indefinite period of time. In one embodiment, the undefined time period may extend beyond the life of a registered user. A ranking of the performance of the avatar's movements will be compiled (step 1214), and a determination is made as to which avatar scored the highest in an autonomous and fully hosted competition in an interactive environment. After compiling the performance ranking for the avatar in autonomous competition mode, the process ends at 1216.

도 13은 경쟁적 작동 모드에 대한 프로세스의 하나의 실시예를 도시한다. 이 모드에서, 등록된 사용자는 상호대화 환경에서 사용자의 아바타 중 하나 이상과 적극적으로 경쟁한다. 이 프로세스는 단계(1302)에서 시작하며, 단계(1304)에서, 상호대화 환경에서의 이벤트가 모니터링된다. 다양한 분류의 메트릭, 가령, 성과 메트릭, 결정 메트릭 및 감정 메트릭에 따라, 사용자 응답이 모니터링되고, 측정되며, 상기 응답이 연관되고 분류된다. 상기 사용자 응답은, 특정 응답을 유발한 모 니터링되는 이벤트와 연관되며, 이러한 연관성은 저장되어, 업데이트되는 지식 베이스를 유지할 수 있다(단계(1308)). 업데이트 후, 인간의 뇌에 연관된 형태로 정보를 저장하는 것과 유사한 방식으로, 자율 모드에서, 응답과 이벤트의 총체적 연관성에 따라 지식 베이스가 검색될 것이다.13 illustrates one embodiment of a process for a competitive mode of operation. In this mode, the registered user actively competes with one or more of the user's avatars in an interactive environment. This process begins atstep 1302, and atstep 1304, the events in the interactive environment are monitored. According to various classification metrics, such as performance metrics, decision metrics, and emotion metrics, user responses are monitored, measured, and the responses are associated and classified. The user response is associated with the monitored event that caused the particular response, and this association may be stored to maintain the knowledge base updated (step 1308). After the update, in an autonomous mode, in a way similar to storing information in a form associated with the human brain, the knowledge base will be searched according to the overall association of the response with the event.

단계(1310)에서 나타나는 바와 같이, 모니터링되는 이벤트에 대한 사용자 응답에 대한 이러한 연관성을 검색하기 위해, 경쟁 작동 모드에서 가장 가능성 높은 사용자 응답을 결정하기 위해, 하나 이상의 패턴 분석 기법이 적용될 것이다. 앞서 지시된 바와 같이, 경쟁적 듀얼리티 모드에서, 사용자는 상호대화 환경에서 활성 상태이지만, 자신의 등록된 아바타 중, 상호대화 환경에서 인간 사용자의 동작뿐 아니라, 자동화된 이벤트에 응답하여 동작을 취하는 하나 이상의 아바타에 대항한다(단계(1312)). 상호대화 환경에서 이벤트를 지속적으로 모니터링하면서, 아바타의 동작을 제어하기 위해, 지식 엔진이 저장된 사용자 응답의 지식 베이스를 활발하게 검색하고, 모니터링된 이벤트와 이전 사용자 응답 간에 형성된 연관성을 기초로, 요청을 발행할 것이다.As shown instep 1310, to retrieve this association for the user response to the monitored event, one or more pattern analysis techniques will be applied to determine the most likely user response in the competitive mode of operation. As indicated above, in competitive duality mode, a user is active in an interactive environment, but among his registered avatars, takes action in response to an automated event as well as the human user's motion in the interactive environment. Oppose the avatar (step 1312). In order to continuously monitor events in an interactive environment, in order to control the behavior of the avatar, the knowledge engine actively searches the knowledge base of stored user responses, and requests based on the associations formed between the monitored events and previous user responses. Will issue.

아바타의 동작은, 지식 엔진에 의해 동작 엔진으로 만들어진 요청을 기반으로 하며, 이러한 요청은 사용자 응답과 이전에 모니터링된 이벤트의 연관성의 실시간 검색 및 식별을 기반으로 한다. 이들 연관성은 지식 엔진이 모니터링된 이벤트에 응답하여 어떠한 동작이 필요한지를 쉽게 판단할 수 있게 한다. 통계적 관련도 측정치, 또는 발생 빈도 측정치, 또는 모니터링되는 이벤트에 응답하여 사용자가 취할 가장 가능성 높은 응답을 실시간으로 결정하기 위해 적용되는 그 밖의 다른 적용 가능한 통계적 측정치로부터 적용 가능한 동작이 판단된다. 경쟁 작동 모드에서 상호대화 환경의 하나 이상의 아바타를 지시하기 위한 목적으로 동작 엔진에 의해 조정되는 제어된 동작에 의해, 이러한 응답이 적용될 것이다(단계(1314)). 가장 가능성 높은 사용자 응답을 기초로 아바타 동작을 제어한 후, 이 프로세스는 단계(1316)에서 종료한다.The operation of the avatar is based on a request made by the knowledge engine to the action engine, which request is based on a real-time search and identification of the association of the user response with the previously monitored event. These associations allow the knowledge engine to easily determine what action is required in response to the monitored event. Applicable actions are determined from statistical relevance measures, frequency of occurrence measures, or other applicable statistical measures that are applied to determine in real time the most likely response a user will take in response to a monitored event. This response will be applied by a controlled action coordinated by the action engine for the purpose of indicating one or more avatars of the interactive environment in a competitive mode of operation (step 1314). After controlling the avatar action based on the most likely user response, the process ends at 1316.

도 14는 조력 듀얼리티 작동 모드에서 아바타의 동작을 제어하기 위한 프로세스를 도시한다. 이 프로세서는 단계(1402)에서 시작하며, 단계(1404)에서 상호대화 환경에서의 이벤트가 지속적으로 모니터링되고, 단계(1406)에서 이러한 이벤트에 대한 사용자 응답의 모니터링과 측정이 수행된다. 상호대화 환경의 이벤트가 지속적으로 모니터링되기 때문에, 지식 베이스는 사용자 응답의 연관성(association)과 분류(categorization)로 계속 업데이트된다(단계(1408)). 저장된 연관성과 분류에 따라, 지식 엔진에 의해 상기 지식 베이스에서 사용자 응답이 검색되고(단계(1410)), 상호대화 환경에서의 모니터링된 이벤트에 대한 가장 가능성 높은 사용자 응답을 결정하기 위한 하나 이상의 패턴 분석 방법이 적용되고, 조력 듀얼리티 작동 모드로 이러한 응답이 상호대화 환경에 사용자의 아바타에 의해 적용될 것이다(단계(1412)).14 shows a process for controlling the operation of an avatar in a tidal duality mode of operation. The processor begins atstep 1402 where events in the interactive environment are continuously monitored atstep 1404, and monitoring and measurement of user responses to these events are performed atstep 1406. Since events in the interactive environment are constantly monitored, the knowledge base is constantly updated with association and categorization of user responses (step 1408). According to the stored associations and classifications, a user response is retrieved from the knowledge base by the knowledge engine (step 1410), and one or more patterns analyzed to determine the most likely user response to the monitored event in the interactive environment. The method is applied, and in an assisted duality mode of operation, this response will be applied by the user's avatar to the interactive environment (step 1412).

조력 듀얼리티 작동 모드에서, 사용자가 상호대화 환경에서 아바타를 활발하게 제어하는 동안, 사용자의 아바타는 사용자의 동작을 모니터링한다. 상호대화 환경에서의 이벤트에 대한 사용자의 동작을 모니터링할 때, 지식 엔진이 이들 동작을 지속적으로 측정하고, 상호대화 환경에서의 모니터링되는 이벤트에 대한 사용자 동 작들 간의 연관성을 구축하며, 성과 메트릭, 결정 메트릭 및 하나 이상의 감정 메트릭에 따라 동작을 분류할 것이다. 이러한 맥락에서, 사용자의 “동작”은 사용자에 의해, 상호대화 환경에서 발생하는 이벤트에 대해 만들어진 “응답”이다. 지식 엔진이 조력 듀얼리티 모드에서 아바타에 의해 적용될 가능성이 가장 높은 사용자 응답을 결정한 후, 동작 엔진에 의해 아바타가 동작을 실행할 것이며, 상기 동작은 상호대화 환경에서의 모니터링되는 이벤트에 대한 가장 가능성 높은 사용자 응답을 기초로 한다(단계(1414)). 가장 가능성 높은 응답을 기초로 하는 동작의 적용 후, 상기 프로세스는 단계(1416)에서 종료된다.In the assisted duality mode of operation, the user's avatar monitors the user's motion while the user actively controls the avatar in an interactive environment. When monitoring user behavior for events in an interactive environment, the knowledge engine continuously measures these behaviors, establishes correlations between user behaviors for monitored events in the interactive environment, and measures performance metrics and decisions. Behavior will be classified according to the metric and one or more emotion metrics. In this context, a user's "action" is a "response" made by the user to events that occur in an interactive environment. After the knowledge engine determines the user response that is most likely to be applied by the avatar in the assisted duality mode, the avatar will execute the action by the action engine, which action is the most likely user for the monitored event in the interactive environment. Is based on the response (step 1414). After application of the action based on the most probable response, the process ends atstep 1416.