영상처리 기술, 특히 다시점 영상들에서 사람의 동작을 인식하는 컴퓨터 비전 기술이 개시된다.Image processing technology, particularly computer vision technology for recognizing human motion in multi-view images, is disclosed.
'안무 평가 장치 및 방법'라는 명칭을 가진 특허 제1,962,045호는 깊이 영상(Depth Image) 데이터로부터 안무자와 학습자의 관절들의 위치를 검출하고 추적하여 관절 위치에 기초하여 안무자와 학습자의 안무 동작을 비교 평가하는 기술을 개시하고 있다. 이와 같이 사람의 자세나 동작을 인식하는 기술이 발전하고 있지만 대부분의 응용들은 자세나 동작의 기록이나 분석에 그치고 있다.Patent No. 1,962,045 entitled “Choreography Evaluation Device and Method” discloses a technique for detecting and tracking the positions of joints of a choreographer and a learner from depth image data and comparing and evaluating the choreography movements of the choreographer and learner based on the joint positions. Although technology for recognizing human posture or movement is developing, most applications are limited to recording or analyzing posture or movement.
제안된 발명은 행위자의 동작을 인식하여 해당 동작을 수행할 때 운동량 정보를 제공하는 것을 목적으로 한다.The proposed invention aims to recognize the motion of an actor and provide momentum information when performing the motion.
나아가 제안된 발명은 행위자의 동작을 인식하여 단위 동작별 운동량 정보를 제공하는 것을 하는 것을 목적으로 한다.Furthermore, the proposed invention aims to recognize the motion of an actor and provide momentum information for each unit motion.
나아가 제안된 발명은 제공하는 것을 목적으로 한다.Furthermore, the proposed invention aims to provide.
제안된 발명의 일 양상에 따르면,복수의 카메라에서 획득되는 다시점영상들로부터 관절점위치들을 결정하고, 이를 시간축 상에서 순차적으로 모델링신체에 적용하여 각 관절별로 운동량을 계산한다. 관절별 운동량을 합산하여 전체 신체의 운동량을 계산할 수 있다.According to one aspect of the proposed invention, joint point positions are determined from re-view images acquired from a plurality of cameras, and these are sequentially applied to a modeled body on the time axis to calculate the momentum for each joint. The momentum for the entire body can be calculated by adding up the momentum for each joint.
추가적인 양상에 따르면, 관절점위치들을 시간축상에서 분석하여 단위동작이 구분될 수 있다.In an additional aspect, unit movements can be distinguished by analyzing joint point positions on the time axis.
추가적인 양상에 따르면, 추정된 관절점들의 시간축상에서 움직임을 분석하여 각 관절별로 운동량을 계산하고 이를 합산하여 운동량을 계산할 수 있다.In an additional aspect, the momentum can be calculated by analyzing the movement of the estimated joint points on the time axis, calculating the momentum for each joint, and adding them up.
추가적인 양상에 따르면, 모델링신체에 적용된 각운동량의 관절별 분포를 분석하여 운동 위험도를 산출하여 제공할 수 있다.In an additional aspect, the risk of movement can be calculated and provided by analyzing the joint-wise distribution of angular momentum applied to the modeled body.
추가적인 양상에 따르면, 행위자와 비교행위자의 동작을 비교하여 일치도를 평가할 수 있다.In an additional aspect, the degree of agreement can be assessed by comparing the actions of the actor and the comparison actor.
제안된 발명에 따라, 스포츠나 무용과 같은 사람의 동작을 자동화 시스템에 의해 분석하여 관절별로 동작 범위나 운동량을 분석함으로써 잘못된 동작으로 인한 특정한 관절의 무리한 운동이나 부하집중에 따른 부상을 미연에 방지할 수 있다.According to the proposed invention, human movements, such as those in sports or dance, are analyzed by an automated system to analyze the range of motion or amount of exercise for each joint, thereby preventing injuries caused by excessive exercise or concentrated load on a specific joint due to incorrect movements.
도 1은 일 실시예에 따른 동작분석시스템의 전체적인 구성을 도시한다.
도 2는 일 실시예에 따른 동작분석시스템의 구성을 도시한 블록도이다.
도 3은 이러한 모델링신체에서 팔 부분을 예시한다.
도 4는 자세정보캡쳐부의 일 실시예를 도시한 블록도이다.
도 5는 등극선기하(Epipolar geometry)를 예시적으로 설명하는 도면이다.
도 6은 도 2의 운동량계산부의 일 실시예의 구성을 도시한 블록도이다.
도 7은 도 2의 운동정보분석부의 일 실시예의 구성을 도시한 블록도이다.
도 8은 일 실시예에 따른 동작분석방법의 구성을 도시한 흐름도이다.Figure 1 illustrates the overall configuration of a motion analysis system according to one embodiment.
FIG. 2 is a block diagram illustrating the configuration of a motion analysis system according to one embodiment.
Figure 3 illustrates the arm portion of this modeling body.
Figure 4 is a block diagram illustrating an embodiment of a detailed information capture unit.
Figure 5 is a drawing exemplarily explaining epipolar geometry.
Figure 6 is a block diagram illustrating the configuration of one embodiment of the momentum calculation unit of Figure 2.
Figure 7 is a block diagram illustrating the configuration of one embodiment of the motion information analysis unit of Figure 2.
Figure 8 is a flowchart illustrating the configuration of a motion analysis method according to one embodiment.
전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시예들을 통해 구체화된다. 각 실시예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시예 내에서 또는 타 실시예의 구성 요소들과 다양한 조합이 가능한 것으로 이해된다. 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 명세서 및 청구범위에 사용된 용어는 기재 내용 혹은 제안된 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.The above-described and additional aspects are concretized through embodiments described with reference to the attached drawings. It is understood that the components of each embodiment can be combined in various ways within the embodiment or with components of other embodiments unless there is any other mention or contradiction between them. Based on the principle that the inventor can appropriately define the concept of the term in order to explain his own invention in the best way, the terms used in this specification and claims should be interpreted as meanings and concepts that are consistent with the described content or the proposed technical idea. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the attached drawings.
<도 1의 설명><Description of Figure 1>
도 1은 일 실시예에 따른 동작분석시스템의 전체적인 구성을 도시한다. 도시된 바와 같이, 일 실시예에 따른 동작분석시스템은 행위자(20)를 서로 다른 시점에서 촬영하는 복수의 카메라들(30-1 ~ 30-5)과 또 이 카메라들과 네트워크를 통해 연결되는 서버 컴퓨터(50)를 포함한다. 복수의 카메라들은 다시점 영상을 생성하기 적합하도록 흔히 구면을 따라 배치되며, 정면,좌,우,상면,후면의 5개로 구성되거나 더 많은 수로 구성될 수도 있다. 복수의 카메라들(30-1 ~ 30-5)에서 출력되는 영상 신호들은 원거리의 서버 컴퓨터(50)로 전송하기에 적합하도록 촬영의 동기화를 제어하고 출력되는 영상들을 캡쳐하여 전송 포맷으로 구성하는 카메라제어부(10)를 포함할 수 있다. 카메라제어부(10)는 컴퓨터 형태일 수도 있으며, 복수의 카메라들(30-1 ~ 30-5)이 설치되는 스튜디오 내에 설치될 수 있다. 또 카메라제어부(100)는 각각의 카메라에서 획득되는 2차원 영상들을 처리하여 관절점들을 추정하고 각 2차원 영상들에서 추정된 관절점들을 융합하여 3차원 관절점을 추정하는 과정까지 처리하여 최종적으로 추정된 관절점 정보만 서버 컴퓨터(50)로 전송할 수도 있다.FIG. 1 illustrates the overall configuration of a motion analysis system according to one embodiment. As illustrated, the motion analysis system according to one embodiment includes a plurality of cameras (30-1 to 30-5) that film an actor (20) from different viewpoints and a server computer (50) connected to the cameras via a network. The plurality of cameras are usually arranged along a sphere so as to be suitable for generating multi-view images, and may be configured with five cameras for the front, left, right, top, and back, or may be configured with a greater number. The image signals output from the plurality of cameras (30-1 to 30-5) may include a camera control unit (10) that controls the synchronization of filming and captures the output images to form a transmission format so as to be suitable for transmission to a remote server computer (50). The camera control unit (10) may be in the form of a computer and may be installed in a studio where the plurality of cameras (30-1 to 30-5) are installed. In addition, the camera control unit (100) may process two-dimensional images acquired from each camera to estimate joint points, process the process to fuse the joint points estimated from each two-dimensional image to estimate three-dimensional joint points, and finally transmit only the estimated joint point information to the server computer (50).
스튜디오에서 이러한 과정을 관리하는 관리자들은 개인용컴퓨터(71)로 네트워크를 통해 서버 컴퓨터(50)로 접속하여 필요한 정보를 입력하거나 출력을 모니터링하거나 결과값을 확인할 수 있다. 또 동작에 대한 분석 결과는 무선인터넷 망을 통해 예를 들면 스마트폰(73)으로 확인할 수 있다.Managers who manage these processes in the studio can connect to the server computer (50) via a network using a personal computer (71) to input necessary information, monitor output, or check results. In addition, the analysis results for the operation can be checked via a wireless Internet network, for example, using a smartphone (73).
<청구항 1 발명의 설명><Description of the invention of claim 1>
도 2는 일 실시예에 따른 동작분석시스템의 구성을 도시한 블록도이다. 도시된 바와 같이, 일 실시예에 따른 동작분석시스템은 복수의 카메라들(30-1 ~ 30-5)과, 자세정보캡쳐부(210)와, 운동정보분석부(230)를 포함한다. 일 실시예에서, 운동정보분석부(230)는 운동량계산부(600)를 포함한다.FIG. 2 is a block diagram illustrating a configuration of a motion analysis system according to one embodiment. As illustrated, the motion analysis system according to one embodiment includes a plurality of cameras (30-1 to 30-5), a posture information capture unit (210), and a motion information analysis unit (230). In one embodiment, the motion information analysis unit (230) includes a momentum calculation unit (600).
자세정보캡쳐부(210)는 복수의 카메라들(30-1 ~ 30-5)에서 획득되는 다시점 영상들(Multiview images)로부터 행위자의 관절점(joint) 위치를 3차원 좌표로 출력한다. 다시점 영상들(Multiview images)로부터 사람의 자세(pose)를 추정하는 것은 각 영상에서 관절점을 찾아내고 그 관절점의 위치들로부터 3차원 관절점의 위치를 추정하는 것으로, 최근 발전하고 있는 기술이다. Z. Zhang, C. Wang, W. Qiu, W. Qin, and W. Zeng, “Adafuse: Adaptive multiview fusion for accurate human pose estimation in the wild,” IJCV, 2020 에는 다시점 2차원 영상들 각각에서 각 관절점의 위치를 추정하고 이들을 확률 히트맵(probability heatmap)에 의해 융합하여 3차원 관절점을 추정하는 기술을 개시하고 있다. 자세정보캡쳐부(210)는 이러한 알려진 기술 중의 하나를 이용하여 각각의 다시점 이미지 프레임들에서 행위자의 관절점을 추정하고 그 3차원 좌표를 출력한다.The posture information capture unit (210) outputs the joint point positions of the actor as three-dimensional coordinates from multiview images acquired from multiple cameras (30-1 to 30-5). Estimating a person's pose from multiview images is a technology that is being developed recently by finding joint points in each image and estimating the positions of three-dimensional joint points from the positions of the joint points. Z. Zhang, C. Wang, W. Qiu, W. Qin, and W. Zeng, “Adafuse: Adaptive multiview fusion for accurate human pose estimation in the wild,” IJCV, 2020, discloses a technology for estimating the positions of each joint point in each of multiview two-dimensional images and estimating three-dimensional joint points by fusion using a probability heatmap. The detailed information capture unit (210) estimates the actor's joint points from each of the re-point image frames using one of these known techniques and outputs their three-dimensional coordinates.
운동량계산부(600)는 자세정보캡쳐부(210)에서 출력되는 관절점 위치들을 시간축상에서 순차적으로 모델링신체에 적용하여 각 관절별로 운동량을 계산하고 이를 합산하여 운동량을 계산한다. 모델링신체 정보는 데이터베이스(640)에 저장되어 관리될 수 있다. 도 3은 이러한 모델링신체에서 팔 부분을 예시한다. 모델링신체는 인체를 근사적으로 몇 개의 부분으로 나누고 각 부분의 질량을 부피가 0이고 무게만 있는 무게추(320, 340, 360)로 모델링한다. 관절 사이의 신체 부분은 질량이 무게추에 집중되어 있는 와이어(313, 335, 359)로 단순화된다. 신체 부분의 형상에 따라 와이어 모델에서 무게추들(320, 340, 360)의 위치는 결정될 수 있다. 소멸된 특허제915,606호는 특정한 사람과 운동역학적으로 근사한 모델링신체를 구성하는 기술을 개시하고 있다. 제안된 발명은 예를 들면 이 개시된 모델링신체를 제안된 발명에 의해 추정되는 관절점만을 포함하는 모델로 조금 더 단순화하여 적용할 수 있다. 관절을 중심으로 관절별로 운동량을 계산하는 것은 단순하지 않다. 신체를 구성하는 관절들은 모두 연결되어 있으므로 예를 들어 팔의 운동량은 손목 관절(350)의 운동량과 팔꿈치 관절(330)의 운동량과 어깨 관절(310)의 운동량의 합이지만 팔꿈치 관절(330)의 운동량은 하박 뿐 아니라 손까지 감안해야 하고 손목관절(350)의 움직임에 따라 모멘텀이 달라진다. 제안된 발명에서는 이러한 연결된 관절들의 운동량 계산을 단순화하기 위해 관절의 형태가 크게 변하지 않는 미소 변위(ΔФ) 단위로 운동량을 계산하여 이를 누적함으로써 특정한 시간 간격 동안의 운동량을 계산한다. 운동량을 계산하는 관점에서 미소 변위 동안은 신체의 형상이 변하지 않는 것으로 가정할 수 있다. 이에 따르면 팔꿈치 관절(330)의 미소 변위 동안 운동량을 계산할 때 손목 관절(350)은 움직이지 않는 것으로 가정된다.The momentum calculation unit (600) calculates the momentum for each joint by sequentially applying the joint point positions output from the posture information capture unit (210) to the modeling body on the time axis and calculates the momentum by adding them up. The modeling body information can be stored and managed in the database (640). Fig. 3 shows an arm part of the modeling body as an example. The modeling body roughly divides the human body into several parts and models the mass of each part as a weight (320, 340, 360) that has a volume of 0 and only weight. The body part between the joints is simplified into a wire (313, 335, 359) whose mass is concentrated on the weight. The positions of the weights (320, 340, 360) in the wire model can be determined depending on the shape of the body part. The expired Patent No. 915,606 discloses a technology for constructing a modeling body that is kinematically approximate to a specific person. The proposed invention can be applied by simplifying the disclosed modeling body a little bit more, for example, to a model that includes only the joint points estimated by the proposed invention. It is not simple to calculate the momentum for each joint centered on the joint. Since all the joints that make up the body are connected, for example, the momentum of the arm is the sum of the momentum of the wrist joint (350), the momentum of the elbow joint (330), and the momentum of the shoulder joint (310), but the momentum of the elbow joint (330) must consider not only the forearm but also the hand, and the momentum changes depending on the movement of the wrist joint (350). In the proposed invention, in order to simplify the calculation of the momentum of these connected joints, the momentum is calculated in units of micro-displacement (ΔФ) in which the shape of the joint does not change significantly, and the momentum is calculated for a specific time interval by accumulating it. From the perspective of calculating the momentum, it can be assumed that the shape of the body does not change during the micro-displacement. Accordingly, when calculating the momentum during the micro-displacement of the elbow joint (330), the wrist joint (350) is assumed not to move.
사용자 인터페이스부(250)는 분석된 결과를 제공하고 필요한 지시나 정보를 입력 받는다. 도시된 실시예에서, 사용자 인터페이스부(250)는 키보드(251)와 디스플레이(253)를 포함한다. 사용자 인터페이스부(250)는 이러한 디바이스는 물론 디바이스를 제어하는 프로그램과, 결과를 그래픽으로 표시하거나 사용자의 입력을 받아들이는 그래픽 사용자 인터페이스(Graphic User Interface)를 생성하는 컴퓨터 프로그램 명령어를 포함할 수 있다.The user interface unit (250) provides analyzed results and receives necessary instructions or information. In the illustrated embodiment, the user interface unit (250) includes a keyboard (251) and a display (253). The user interface unit (250) may include such devices as well as programs for controlling the devices and computer program commands for generating a graphical user interface (GUI) that graphically displays results or accepts user input.
<청구항 2 발명의 설명><Description of the invention of claim 2>
도 4는 자세정보캡쳐부의 일 실시예를 도시한 블록도이다. 일 실시예에 따른 자세정보캡쳐부는 복수의 2차원자세추정부(340-1, 340-2, … , 340-N)와, 복수의 매치확률분포생성부(350-1, 350-2, … , 350-N)와, 다시점히트맵융합부(390)를 포함할 수 있다. 복수의 2차원자세추정부(340-1, 340-2, … , 340-N)각각은 대응되는 카메라에서 출력되는 2차원 영상에서 행위자의 각 관절점의 위치를 추정하여 출력한다. 2차원 영상에서 정해진 개수의 신체의 관절점을 추정하는 방식은 알려진 기술이므로 상세한 설명은 생략한다. 2차원자세추정부(340-1, 340-2, … , 340-N))에서 추정하는 관절점은 실제 공간상의 관절점 위치가 아니라 그 2차원 카메라 영상에서의 위치이므로 2차원 이미지 좌표계에서의 좌표값이다.FIG. 4 is a block diagram illustrating an embodiment of a posture information capture unit. According to an embodiment, a posture information capture unit may include a plurality of two-dimensional posture estimation units (340-1, 340-2, ..., 340-N), a plurality of match probability distribution generation units (350-1, 350-2, ..., 350-N), and a re-view heat map fusion unit (390). Each of the plurality of two-dimensional posture estimation units (340-1, 340-2, ..., 340-N) estimates and outputs the positions of each joint point of the actor from a two-dimensional image output from a corresponding camera. Since the method of estimating a fixed number of joint points of a body from a two-dimensional image is a known technology, a detailed description thereof will be omitted. The joint points estimated by the 2D pose estimation unit (340-1, 340-2, …, 340-N) are not the positions of the joint points in real space, but rather the positions in the 2D camera image, and therefore are coordinate values in the 2D image coordinate system.
매치확률분포생성부(350-1, 350-2, … , 350-N)는 대응하는 2차원자세추정부에서 출력된 2차원 영상 상의 관절점들을 카메라 파라메터를 반영하여 배치하고, 각 등극선(epipolar line) 주변에서 픽셀별로 참 관절점의 확률을 표현하는 히트맵정보를 생성한다. 도 5는 등극선기하(Epipolar geometry)를 예시적으로 설명하는 도면이다. 등극선기하에 따르면, 카메라들의 정렬각을 반영하여 두 카메라 위치에 촬영된 2D 이미지 평면들을 배치하고, 카메라 렌즈의 광중심(optical center)(C1, C2)을 서로 연결한다. 상이한 두 2D 이미지 평면 상의 대응하는 관절점들(x,x')을 각각의 광중심점으로부터 연장한 직선인 두 등극선들(epipolar lines)의 교차점으로부터 참 관절점(true joint)(X)을 구할 수 있다. 실제로는 2차원자세추정부(340-1, 340-2, … , 340-N)에서 추정된 2D 이미지 평면 상의 관절점 위치가 정확하지 않기 때문에 등극선 주변에서 참 관절점의 존재 확률로 표현할 수 있다. 보다 구체적인 설명은 전술한 Adafuse 논문에서 찾아볼 수 있다. 이에 따르면, 등극선 주변에서 참 관절점의 존재 확률은 2차원 가우스분포(Gaussian distribution)로 표현된다.The match probability distribution generation unit (350-1, 350-2, …, 350-N) arranges joint points on a 2D image output from a corresponding 2D pose estimation unit by reflecting the camera parameters, and generates heat map information expressing the probability of a true joint point for each pixel around each epipolar line. Fig. 5 is a drawing exemplarily explaining epipolar geometry. According to the epipolar geometry, 2D image planes captured at two camera positions are arranged by reflecting the alignment angles of the cameras, and the optical centers (C1 , C2 ) of the camera lenses are connected to each other. The true joint point (X) can be obtained from the intersection of two epipolar lines, which are straight lines extending from each optical center point of corresponding joint points (x, x') on two different 2D image planes. In reality, since the positions of the joint points on the 2D image plane estimated by the 2D pose estimation unit (340-1, 340-2, ..., 340-N) are not accurate, they can be expressed as the existence probability of the true joint point around the epipolar line. A more detailed explanation can be found in the aforementioned Adafuse paper. According to it, the existence probability of the true joint point around the epipolar line is expressed as a 2D Gaussian distribution.
다시점히트맵융합부(390)는 각 2차원 영상의 히트맵정보를 융합하여 확률이 높은 매치점을 관절점으로 결정하여 출력한다. 각 2D 이미지 평면의 2D 관절점의 등극선으로부터 생성된 히트맵들을 융합하여 가장 확률이 높은 픽셀을 선택하는 방식으로 참 관절점이 결정될 수 있다.The re-point heat map fusion unit (390) fuses the heat map information of each 2D image to determine and output a high probability matching point as a joint point. The true joint point can be determined by fusion of heat maps generated from the epipolar lines of 2D joint points of each 2D image plane and selecting the pixel with the highest probability.
<청구항 3 발명의 설명><Description of the invention of claim 3>
일 양상에 따르면, 자세정보캡쳐부는 복수의 사람검출부(330-1, 330-2, … , 330-N)를 더 포함할 수 있다. 사람검출부(330-1, 330-2, … , 330-N)는 각각의 카메라에서 출력되는 2차원 영상에서 사람 영역을 추출하여 대응하는 2차원자세추정부(340-1, 340-2, … , 340-N)로 출력한다. 이미지에서 사람 영역을 추출하는 것은 잘 알려진 기술이므로 설명은 생략한다. 사전에 사람 영역을 추출하여 2차원자세를 추정함으로써 2차원 영상에서 관절점 추정의 신뢰도를 높일 수 있다.According to one aspect, the detailed information capturing unit may further include a plurality of person detection units (330-1, 330-2, ..., 330-N). The person detection units (330-1, 330-2, ..., 330-N) extract a person region from a two-dimensional image output from each camera and output it to a corresponding two-dimensional pose estimation unit (340-1, 340-2, ..., 340-N). Extracting a person region from an image is a well-known technique, so a description thereof is omitted. By extracting a person region in advance and estimating a two-dimensional pose, the reliability of joint point estimation in a two-dimensional image can be increased.
<청구항 4 발명의 설명><Description of the invention of claim 4>
추가적인 양상에 따르면, 운동량계산부는 추정된 관절점들을 시간축상에서 분석하여 각 관절별로 운동량을 계산하고 이를 합산하여 운동량을 계산할 수 있다. 도 6은 도 2의 운동량계산부의 일 실시예의 구성을 도시한 블록도이다. 일 실시예에 따른 운동량계산부(600)는 단위동작구분처리부(610)와, 단위동작별 운동량분석부(631)를 포함할 수 있다. 단위동작구분처리부(610)는 관절점들을 시간축상에서 분석하여 생성되는 동작정보로부터 단위동작을 식별하여 구분한다. 이러한 단위동작은 발레에 있어서는 표준적인 단위 동작들이 정의되어 있고 축구나 배구 등 스포츠에서도 사람들은 나름의 기준에 따라 구분할 수 있다. 시간축상에서 연이어 공급되는 3차원 관절점 프레임들을 추적(tracking)하여 움직임이 잠시 멈추는 구간을 검출하여 구분 후보점들을 제시하고, 사람의 도움을 받아 그 중 최종 구분점을 결정하는 방식으로 수작업을 병행하여 처리할 수 있다. 이러한 데이터가 쌓이면 각각의 단위동작별로 학습된 예를 들면 순환신경망회로(RNN : Recurrent Neural Network)를 이용하여 움직임 속도가 정규화된 3차원 프레임들의 모든 구간을 처리하여 가장 높은 확률값을 출력하는 구간을 단위동작으로 결정할 수 있다. 단위동작의 개수가 수백개인 발레와 같은 동작에 있어서 이러한 처리는 매우 높은 처리부하를 초래할 수 있으나, 비교적 적은 수의 단위 동작을 가진 스포츠에 있어서는 적용 가능하다. 행위자의 동작에서 단위동작을 식별함으로써 직선으로 표시된 시간축 상에서 단위동작을 기초로 시연시간의 구간을 구분하여 각 구간의 단위동작을 텍스트로 표시하는 그래픽 사용자인터페이스로 시각화하여 출력할 수 있다. 또 구간별로 재생을 선택하는 선택버튼을 두어 선택될 경우 해당 구간의 3차원 관절점 프레임을 모델링 신체를 통해 재생하거나 동영상의 해당 구간을 재생하도록 구성할 수 있다.According to an additional aspect, the momentum calculation unit can calculate the momentum for each joint by analyzing the estimated joint points on the time axis and calculating the momentum by adding them up. FIG. 6 is a block diagram illustrating the configuration of an embodiment of the momentum calculation unit of FIG. 2. The momentum calculation unit (600) according to an embodiment may include a unit motion classification processing unit (610) and a unit motion-by-unit motion momentum analysis unit (631). The unit motion classification processing unit (610) identifies and distinguishes unit motions from motion information generated by analyzing joint points on the time axis. In ballet, standard unit motions are defined, and people can distinguish these unit motions according to their own standards in sports such as soccer and volleyball. It is possible to process manually in parallel by tracking 3D joint point frames continuously supplied on the time axis, detecting sections where movement stops for a moment, presenting candidate points for distinction, and determining the final point for distinction among them with the help of a person. When this data is accumulated, for example, a recurrent neural network (RNN) learned for each unit movement can be used to process all sections of 3D frames whose movement speed is normalized, and the section that outputs the highest probability value can be determined as the unit movement. For movements such as ballet with hundreds of unit movements, this processing can result in a very high processing load, but it is applicable to sports with a relatively small number of unit movements. By identifying the unit movements in the actor's movements, the unit movements can be divided into sections of the demonstration time based on the unit movements on the time axis represented by a straight line, and the unit movements of each section can be visualized and output as a graphical user interface that displays them as text. In addition, a selection button that selects playback by section can be placed, and when selected, the 3D joint point frame of the corresponding section can be played through the modeled body or the corresponding section of the video can be played.
단위동작별 운동량분석부(631)는 구분된 단위동작에 대해 각 관절별로 운동량을 계산하고 이를 모델링신체에 걸쳐 합산하여 단위동작별 운동량을 계산한다. 모델링 신체를 기준으로 운동량을 계산하는 방법에 대해서는 전술한 바 있다. 모델링신체에 포함된 모든 관절에 대해 미소 변위별로 운동량을 계산하여 누적하는 과정을 단위동작 구간에 대해 반복하여 단위동작구간별 운동량을 계산할 수 있다. 이에 의해 행위자가 시연 중에 동일한 단위동작을 몇 번 반복했는지, 그 몇 차례의 단위동작 시연에 있어서 운동량의 차이를 시각화할 수 있다. 또 안무의 평가에 있어서 창작된 특정한 단위동작이 어느 관절의 움직임이 과도한지 부족한지를 평가할 수 있다. 예를 들어 단위동작별 관절별 움직임의 정도를 모델링 신체의 각 관절에 색상을 부여하는 컬러맵으로 표시할 수 있다.The unit motion-by-unit motion analysis unit (631) calculates the momentum for each joint for each divided unit motion and adds it up across the modeling body to calculate the momentum for each unit motion. The method of calculating the momentum based on the modeling body has been described above. The process of calculating the momentum for each micro-displacement for all joints included in the modeling body and accumulating it can be repeated for each unit motion section to calculate the momentum for each unit motion section. This makes it possible to visualize how many times the actor repeated the same unit motion during the demonstration and the difference in momentum for each of the several unit motion demonstrations. In addition, in evaluating the choreography, it is possible to evaluate whether the movement of a specific created unit motion is excessive or insufficient for a certain joint. For example, the degree of movement for each joint for each unit motion can be displayed as a color map that assigns a color to each joint of the modeling body.
<청구항 5 발명의 설명><Description of the invention in claim 5>
추가적으로, 운동량계산부(600)는 총운동량분석부(633)를 더 포함할 수 있다. 총운동량분석부(633)는 단위동작별 운동량을 합산하여 시연 전체에 걸친 운동량을 계산하여 출력한다. 예를 들어 발레에 있어서 특정한 안무의 전체 시연에 있어서 관절별 운동량의 누적치를 정량화할 수 있다. 나아가 특정한 안무가 어느 관절에 무리를 초래하는지 파악할 수 있고, 스포츠에 있어서 무리가 초래되는 관절을 식별하여 부상을 예방할 수도 있다.In addition, the momentum calculation unit (600) may further include a total momentum analysis unit (633). The total momentum analysis unit (633) calculates and outputs the momentum for the entire demonstration by adding the momentum for each unit movement. For example, in ballet, the accumulated momentum for each joint in the entire demonstration of a specific choreography can be quantified. Furthermore, it is possible to identify which joints are strained by a specific choreography, and in sports, it is possible to prevent injuries by identifying the joints that are strained.
<청구항 6,7 발명의 설명><Description of the invention in claims 6 and 7>
운동정보분석부(230)는 추가적으로 소모칼로리계산부(650)를 더 포함할 수 있다. 일 실시예에서, 소모칼로리계산부(650)는 단위동작별 소모칼로리계산부(651)를 포함할 수 있다. 단위동작별 소모칼로리계산부(651)는 단위동작별 운동량으로부터 모델링신체를 기준으로 단위동작별 소모칼로리를 계산하여 출력한다. 운동량 정보는 바로 칼로리로 환산될 수 있다. 추가적으로, 소모칼로리계산부(650)는 총 소모칼로리계산부(653)를 포함할 수 있다. 총 소모칼로리계산부(653)는 단위동작별 소모칼로리를 합산하여 전체 소모 칼로리를 계산하여 출력할 수 있다.The exercise information analysis unit (230) may additionally include a calorie consumption calculation unit (650). In one embodiment, the calorie consumption calculation unit (650) may include a calorie consumption calculation unit (651) for each unit movement. The calorie consumption calculation unit (651) for each unit movement calculates and outputs the calorie consumption for each unit movement based on the modeling body from the exercise amount for each unit movement. The exercise amount information can be directly converted into calories. Additionally, the calorie consumption calculation unit (650) may include a total calorie consumption calculation unit (653). The total calorie consumption calculation unit (653) may calculate and output the total calorie consumption by adding up the calorie consumption for each unit movement.
<청구항 8 발명의 설명><Description of the invention in claim 8>
도 7은 도 2의 운동정보분석부의 일 실시예의 구성을 도시한 블록도이다. 추가적인 양상에 따르면, 운동정보분석부는 관절별로 운동 위험도를 산출하여 제공할 수 있다. 일 실시예에 따른 운동정보분석부(230)는 운동위험도분석부(231)를 더 포함할 수 있다. 운동위험도분석부(231)는 운동량계산부(600)에서 출력되는 각 관절별 운동량 정보 중 관절별 운동 각도범위와 각속도를 시간축에서 분석하여 위험도를 산출하고 관절별운동위험도정보로 출력한다. 위험도는 하나 혹은 복수의 위험도 함수로 산출할 수 있다. 예를 들어 위험도 함수는 관절의 운동 각도범위와 각속도 및 무게를 반영한 각운동량의 크기일 수 있다. 또 다른 예로, 위험도 함수는 관절점들의 위치로부터 산출되는 신체균형도, 즉 무게배치의 균일도를 정량화한 값일 수 있다. 위험도는 관절별 운동량의 집중도를 반영한다. 즉 운동량이 전체 관절에 대해 균등하게 배분되지 않고 특정한 몇 개의 관절에 집중되는 경우, 특히 신체에서 약한 관절에 집중되는 경우 위험도가 높아질 수 있다.FIG. 7 is a block diagram illustrating a configuration of an embodiment of the motion information analysis unit of FIG. 2. According to an additional aspect, the motion information analysis unit may calculate and provide motion risk for each joint. The motion information analysis unit (230) according to one embodiment may further include a motion risk analysis unit (231). The motion risk analysis unit (231) analyzes the motion angle range and angular velocity of each joint among the motion amount information of each joint output from the motion amount calculation unit (600) on the time axis to calculate the risk and outputs it as motion risk information for each joint. The risk may be calculated as one or more risk functions. For example, the risk function may be the size of the angular momentum that reflects the motion angle range and angular velocity of the joint and the weight. As another example, the risk function may be a value that quantifies the body balance, i.e., the uniformity of weight distribution, calculated from the positions of joint points. The risk reflects the concentration of the motion amount for each joint. That is, if the momentum is not distributed evenly across all joints but is concentrated on a few specific joints, especially weak joints in the body, the risk may increase.
<청구항 9 발명의 설명><Description of the invention in claim 9>
추가적인 양상에 따르면, 행위자와 비교행위자의 동작을 비교하여 일치도를 평가할 수 있다. 운동정보분석부(230)는 동작비교평가부(233)를 더 포함할 수 있다. 동작비교평가부(233)는 자세정보캡쳐부에서 출력되는 좌표들을 저장된 비교행위자의 캡쳐된 동작정보(motion information)와 비교하여 일치도를 평가한다. 비교행위자의 동작정보도 관절점들의 위치좌표가 해당 타임스탬프와 함께 저장된 형태일 수 있다. 일 양상에 따라, 동작 일치도의 평가는 동적시간와핑(Dynamic Time Warping)을 적용하여 처리될 수 있다. 행위자의 3차원 관절점 프레임과 대응되는 비교행위자의 동작 프레임을 결정하고 대응되는 동작 프레임의 관절점들의 좌표의 일치도를 누적차분거리개념으로 정량화할 수 있다. 동적시간와핑을 적용한 동작 유사도의 정량화와 관련하여서는 임준석 and 김진헌. 2020, "동영상에서 추출한 키포인트 정보의 동적 시간워핑(DTW)을이용한 인체 동작 유사도의 정량화 기법", 전기전자학회논문지, vol.24, no.4 pp.1109-1116. 에 개시된 기술을 예로 들 수 있다.According to an additional aspect, the motions of the actor and the comparison actor can be compared to evaluate the consistency. The motion information analysis unit (230) may further include a motion comparison evaluation unit (233). The motion comparison evaluation unit (233) evaluates the consistency by comparing the coordinates output from the posture information capture unit with the captured motion information of the comparison actor stored. The motion information of the comparison actor may also be in a form in which the position coordinates of the joint points are stored together with the corresponding timestamp. According to an aspect, the evaluation of the motion consistency can be processed by applying dynamic time warping. The motion frame of the comparison actor corresponding to the 3D joint point frame of the actor can be determined, and the consistency of the coordinates of the joint points of the corresponding motion frames can be quantified using the concept of accumulated difference distance. Regarding the quantification of motion similarity using dynamic time warping, see Lim Jun-seok and Kim Jin-heon. 2020, "Quantification of Human Motion Similarity Using Dynamic Time Warping (DTW) of Keypoint Information Extracted from Videos", Journal of the Institute of Electrical and Electronics Engineers, vol.24, no.4 pp.1109-1116.
<청구항 11 발명의 설명><Description of the invention in claim 11>
도 8은 일 실시예에 따른 동작분석방법의 구성을 도시한 흐름도이다. 일 실시예에 따른 행위자의 동작분석방법은 컴퓨터에서 실행되는 컴퓨터 프로그램 명령어로 구현될 수 있다. 도시된 바와 같이, 일 실시예에 따른 행위자의 동작분석방법은 자세(pose)정보캡쳐 단계(810)와, 운동정보분석 단계(830)를 포함한다. 자세(pose)정보캡쳐 단계(810)에서 컴퓨터는 행위자(actor)를 서로 다른 시점에서 촬영하는 복수의 카메라들에서 획득되는 다시점 영상들(Multiview images)로부터 행위자의 관절점(joint) 위치를 3차원 좌표로 출력한다. 운동정보분석 단계(830)는 운동량계산단계(850)를 포함한다. 운동량계산단계(850)에서 컴퓨터는 자세정보캡쳐 단계(810)에서 출력되는 관절점위치들을 시간축상에서 순차적으로 모델링신체에 적용하여 각 관절별로 운동량을 계산하고 이를 합산하여 운동량을 계산한다. 이들에 대해서는 도 2를 참조하여 설명한 바 있다.FIG. 8 is a flow chart illustrating a configuration of a motion analysis method according to one embodiment. The motion analysis method of an actor according to one embodiment can be implemented as a computer program command executed on a computer. As illustrated, the motion analysis method of an actor according to one embodiment includes a pose information capture step (810) and a motion information analysis step (830). In the pose information capture step (810), the computer outputs the joint point positions of the actor as three-dimensional coordinates from multiview images acquired from multiple cameras that capture the actor from different viewpoints. The motion information analysis step (830) includes a momentum calculation step (850). In the momentum calculation step (850), the computer applies the joint point positions output from the pose information capture step (810) to the modeling body sequentially on the time axis, calculates the momentum for each joint, and calculates the momentum by adding them up. These have been described with reference to FIG. 2.
일 양상에 따라, 자세정보캡쳐 단계(810)는 2차원 영상별 2차원자세추정 단계(810)와, 매치확률분포생성단계(815)와, 다시점히트맵융합단계(817)를 포함할 수 있다. 2차원 영상별 2차원자세추정 단계(810)에서 컴퓨터는 각각의 카메라에서 출력되는 2차원 영상에서 행위자의 각 관절점의 위치를 추정하여 출력한다. 매치확률분포생성단계(815)에서 컴퓨터는 대응하는 2차원자세추정 단계에서 각각 출력되는 2차원 영상 상의 관절점들을 카메라 파라메터를 반영하여 배치하고, 각 등극선(epipolar line) 주변에서 픽셀별로 참 관절점의 확률을 표현하는 히트맵정보를 생성한다. 다시점히트맵융합단계(817)에서 컴퓨터는 각 2차원 영상의 히트맵정보를 융합하여 확률이 높은 매치점을 관절점으로 결정하여 출력한다. 추가적인 양상에 따라, 자세정보캡쳐 단계(810)는 2차원자세추정 단계 이전에 사람검출단계(811)를 더 포함할 수 있다. 사람검출단계(811)에서 컴퓨터는 각각의 카메라에서 출력되는 2차원 영상에서 사람 영역을 추출하여 출력한다. 이에 따라 2차원 자세추정 단계(813)는 2차원 영상이 아니라 이에서 추출된 사람 영역들에 대해 수행될 수 있다. 이에에 대해서는 도 3과 도 4 및 도 5를 참조하여 상세히 설명한 바 있다.According to an aspect, the detail information capture step (810) may include a 2D posture estimation step (810) for each 2D image, a match probability distribution generation step (815), and a re-viewpoint heat map fusion step (817). In the 2D posture estimation step (810) for each 2D image, the computer estimates the positions of each joint point of the actor from each 2D image output from each camera and outputs them. In the match probability distribution generation step (815), the computer arranges the joint points on each 2D image output from each corresponding 2D posture estimation step by reflecting the camera parameters, and generates heat map information expressing the probability of the true joint point for each pixel around each epipolar line. In the re-viewpoint heat map fusion step (817), the computer fuses the heat map information of each 2D image to determine a match point with a high probability as a joint point and outputs it. According to an additional aspect, the detail information capture step (810) may further include a person detection step (811) before the two-dimensional detail estimation step. In the person detection step (811), the computer extracts and outputs a person region from the two-dimensional image output from each camera. Accordingly, the two-dimensional detail estimation step (813) may be performed on the person regions extracted from the two-dimensional image, not on the two-dimensional image. This has been described in detail with reference to FIGS. 3, 4, and 5.
추가적인 양상에 따라, 운동량계산단계(850)는 단위동작구분처리단계(851)와, 단위동작구간별 운동량분석단계(853)를 포함할 수 있다. 단위동작구분처리단계(851)에서 컴퓨터는 관절점들을 시간축상에서 분석하여 생성되는 동작정보로부터 단위동작을 식별하여 구분한다. 단위동작구간별 운동량분석단계(853)에서 컴퓨터는 구분된 단위동작에 대해 각 관절별로 운동량을 계산하고 이를 모델링 신체에 걸쳐 합산하여 단위동작별 운동량을 계산한다. 추가적으로 운동량계산단계(850)는 총운동량분석단계(855)를 더 포함할 수 있다. 총운동량분석단계(855)에서 컴퓨터는 단위동작별 운동량을 합산하여 전체 운동량을 계산하여 출력한다.According to additional aspects, the momentum calculation step (850) may include a unit motion classification processing step (851) and a unit motion section-by-section momentum analysis step (853). In the unit motion classification processing step (851), the computer identifies and distinguishes unit motions from motion information generated by analyzing joint points on the time axis. In the unit motion section-by-section momentum analysis step (853), the computer calculates momentum for each joint for the classified unit motions and adds them up across the modeled body to calculate momentum for each unit motion. Additionally, the momentum calculation step (850) may further include a total momentum analysis step (855). In the total momentum analysis step (855), the computer adds up momentum for each unit motion to calculate and output the total momentum.
추가적인 양상에 따라, 운동정보분석 단계(830)는 운동위험도분석 단계(833)를 더 포함할 수 있다. 운동위험도분석 단계(833)에서 컴퓨터는 운동량계산 단계(850)에서 출력되는 각 관절별 운동량 정보 중 관절별 운동 각도범위와 각속도를 시간축에서 분석하여 위험도를 산출하고 관절별운동위험도정보로 출력한다. 이에 대해서는 도 6과 도 7을 참조하여 설명한 바 있다.According to additional aspects, the motion information analysis step (830) may further include a motion risk analysis step (833). In the motion risk analysis step (833), the computer analyzes the motion angle range and angular velocity of each joint among the motion amount information of each joint output from the motion amount calculation step (850) on the time axis to calculate the risk and outputs it as motion risk information of each joint. This has been described with reference to FIGS. 6 and 7.
이상에서 본 발명을 첨부된 도면을 참조하는 실시예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형예들을 포괄하도록 의도되었다.Although the present invention has been described above through embodiments with reference to the attached drawings, it is not limited thereto, and should be interpreted to encompass various modifications that can be obviously derived from these by those skilled in the art. The scope of the patent claims is intended to encompass such modifications.
10 : 카메라제어부 20 : 행위자
30-1 ~ 30-5 : 다시점 카메라들
50 : 서버컴퓨터
71 : 개인용 컴퓨터73 : 스마트폰
210 : 자세정보 캡쳐부230 : 운동정보분석부
231 : 운동량계산부 233 : 동작비교평가부
250 : 사용자 인터페이스부
251 : 키코드 253 : 디스플레이
310, 330, 350 : 관절320, 340, 360 : 무게추
313, 335, 359 : 와이어
600 : 운동량계산부
610 : 단위동작구분처리부631 ; 단위동작별운동량분석부
640 : 모델링신체
633 : 총 운동량분석부
650 : 소모칼로리계산부
651 : 단위동작별 소모칼로리계산부
653 : 총 소모칼로리계산부10: Camera control unit 20: Actor
30-1 ~ 30-5 : Re-point cameras
50 : Server computer
71: Personal computer 73: Smartphone
210: Detailed information capture section 230: Exercise information analysis section
231: Momentum calculation section 233: Motion comparison evaluation section
250 : User Interface Section
251 : Key code 253 : Display
310, 330, 350 : Joints 320, 340, 360 : Weights
313, 335, 359 : Wire
600 : Momentum Calculation Unit
610: Unit motion classification processing unit 631; Unit motion-by-unit momentum analysis unit
640 : Modeling body
633: Total momentum analysis department
650: Calorie Consumption Calculator
651: Calculation of calories consumed by each unit of movement
653: Total calories burned calculation section
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210169419AKR102715450B1 (en) | 2021-11-30 | 2021-11-30 | human motion analysis system |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210169419AKR102715450B1 (en) | 2021-11-30 | 2021-11-30 | human motion analysis system |
| Publication Number | Publication Date |
|---|---|
| KR20230081395A KR20230081395A (en) | 2023-06-07 |
| KR102715450B1true KR102715450B1 (en) | 2024-10-11 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210169419AActiveKR102715450B1 (en) | 2021-11-30 | 2021-11-30 | human motion analysis system |
| Country | Link |
|---|---|
| KR (1) | KR102715450B1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102108405B1 (en)* | 2019-08-23 | 2020-05-08 | 박하연 | System for measuring body information, posture information and range of motion and method thereof |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102226623B1 (en)* | 2019-03-12 | 2021-03-11 | 주식회사 피앤씨솔루션 | Calculation system of momentum using camera for indoor sports |
| KR102416709B1 (en)* | 2019-03-15 | 2022-07-05 | 주식회사 앨리스헬스케어 | Method for extracting joint information using machine learning based on cloud server and apparatus thereof |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102108405B1 (en)* | 2019-08-23 | 2020-05-08 | 박하연 | System for measuring body information, posture information and range of motion and method thereof |
| Publication number | Publication date |
|---|---|
| KR20230081395A (en) | 2023-06-07 |
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | Seeing invisible poses: Estimating 3d body pose from egocentric video | |
| EP4002198B1 (en) | Posture acquisition method and device, and key point coordinate positioning model training method and device | |
| US8448056B2 (en) | Validation analysis of human target | |
| CN102317977A (en) | Method and system for gesture recognition | |
| JP5225870B2 (en) | Emotion analyzer | |
| KR102508765B1 (en) | User-customized meta content providing system based on artificial neural network and method therefor | |
| EP0847201B1 (en) | Real time tracking system for moving bodies on a sports field | |
| CN104598012B (en) | A kind of interactive advertising equipment and its method of work | |
| CN119722998A (en) | Training method and system based on multimodal IoT perception and virtual-real symbiosis | |
| US20220091676A1 (en) | Video processing device, video processing method and non-transitory computer readable recording medium | |
| KR102667880B1 (en) | beauty educational content generating apparatus and method therefor | |
| KR102715450B1 (en) | human motion analysis system | |
| KR20220124490A (en) | Device and method for evaluating motion similarity | |
| Seer et al. | Kinects and human kinetics: a new approach for studying crowd behavior | |
| Hori et al. | EventPointMesh: Human Mesh Recovery Solely From Event Point Clouds | |
| Schlattmann et al. | Markerless 4 gestures 6 DOF real‐time visual tracking of the human hand with automatic initialization | |
| CN112667088B (en) | Gesture application identification method and system based on VR walking platform | |
| Wang et al. | Research and implementation of the sports analysis system based on 3D image technology | |
| JP7500333B2 (en) | GENERATION DEVICE, GENERATION METHOD, AND PROGRAM | |
| JP7330114B2 (en) | OBJECT POSITIONING SYSTEM AND OBJECT POSITIONING METHOD | |
| Chen et al. | An integrated sensor network method for safety management of construction workers | |
| KR102786086B1 (en) | Apparatus and method for real-time identification of golf swing segment using artificial intelligence model | |
| JP7694895B2 (en) | Motion analysis data acquisition method and motion analysis data acquisition system | |
| KR20250106406A (en) | Experiential digital three-dimensional space user motion tracking management system | |
| Lin | Action Analysis Framework Based on Human Skeleton Detection |
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | St.27 status event code:A-0-1-A10-A12-nap-PA0109 | |
| PA0201 | Request for examination | St.27 status event code:A-1-2-D10-D11-exm-PA0201 | |
| D13-X000 | Search requested | St.27 status event code:A-1-2-D10-D13-srh-X000 | |
| D14-X000 | Search report completed | St.27 status event code:A-1-2-D10-D14-srh-X000 | |
| PG1501 | Laying open of application | St.27 status event code:A-1-1-Q10-Q12-nap-PG1501 | |
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection | St.27 status event code:A-1-2-D10-D21-exm-PE0902 | |
| T11-X000 | Administrative time limit extension requested | St.27 status event code:U-3-3-T10-T11-oth-X000 | |
| E13-X000 | Pre-grant limitation requested | St.27 status event code:A-2-3-E10-E13-lim-X000 | |
| P11-X000 | Amendment of application requested | St.27 status event code:A-2-2-P10-P11-nap-X000 | |
| P13-X000 | Application amended | St.27 status event code:A-2-2-P10-P13-nap-X000 | |
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration | St.27 status event code:A-1-2-D10-D22-exm-PE0701 | |
| PR0701 | Registration of establishment | St.27 status event code:A-2-4-F10-F11-exm-PR0701 | |
| PR1002 | Payment of registration fee | Fee payment year number:1 St.27 status event code:A-2-2-U10-U11-oth-PR1002 | |
| PG1601 | Publication of registration | St.27 status event code:A-4-4-Q10-Q13-nap-PG1601 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-5-5-R10-R18-oth-X000 |