KR102689375B1 - Skeleton estimate apparatus using multiple x-ray views and method thereof - Google Patents

Abstract

Translated fromKorean

전자 장치가 개시된다. 본 전자 장치는 동일한 객체에 대해서 다방향에서 촬영된 복수의 엑스선 영상을 수신하는 통신 장치. 골격의 형상을 구성하기 위한 복수의 위치에 대한 포인트 정보 및 복수의 위치 각각의 밀도 값을 갖는 밀도 정보를 저장하는 메모리, 및 수신된 복수의 엑스선 영상을 이용하여 골격의 3차원 자세를 예측하고, 포인트 정보, 밀도 정보 및 예측된 3차원 자세에 기초하여 DRR을 생성하고, 생성된 DRR과 복수의 엑스선 영상을 비교하여 골격 자세 및 형상을 추정하는 프로세서를 포함한다.An electronic device is disclosed. This electronic device is a communication device that receives multiple X-ray images taken from multiple directions for the same object. Predicting the three-dimensional posture of the skeleton using a memory that stores point information about a plurality of positions for configuring the shape of the skeleton and density information having a density value for each of the plurality of positions, and a plurality of received X-ray images, It includes a processor that generates DRR based on point information, density information, and predicted 3D posture, and estimates skeletal posture and shape by comparing the generated DRR with a plurality of X-ray images.

Description

Translated fromKorean

다방향 엑스선 영상을 이용한 영상 내 골격 추정 장치 및 방법{SKELETON ESTIMATE APPARATUS USING MULTIPLE X-RAY VIEWS AND METHOD THEREOF}Apparatus and method for estimating skeleton within an image using multi-directional X-ray images {SKELETON ESTIMATE APPARATUS USING MULTIPLE X-RAY VIEWS AND METHOD THEREOF}

본 개시는 다방향 엑스선 영상을 이용한 영상 내 골격 추정 장치 및 방법에 관한 것으로, 구체적으로, 다방향에서 연속으로 촬영한 엑스선 영상으로부터 관절을 이루는 골격의 형상, 밀도, 자세를 예측할 수 있는 골격 추정 장치 및 방법에 관한 것이다.The present disclosure relates to an apparatus and method for estimating bone in an image using multidirectional and methods.

최근에는 비침습적인 디바이스들의 출현으로 인해 운동 중 생체 내 운동학 데이터 수집이 가능하게 되었다. 피험자의 생체 내 데이터를 사용하면 관절의 이상 증세를 보다 정확하게 판단할 수 있다.Recently, the advent of non-invasive devices has made it possible to collect in vivo kinematic data during exercise. Using the subject's in vivo data, symptoms of joint abnormalities can be more accurately determined.

이러한 비침습적 도구 중 하나는 엑스선을 이용한 일반 방사선 사진이다. 이러한 엑스선은 정형외과 검사 과정에서 많이 사용하는데, 정형외과 검사 과정에서는 한 장의 엑스선 영상만을 이용하였다. 그리고 해당 영상은 정적 위치에서 촬영되어, 기존의 엑스선 촬영 방식을 이용해서는 동적 정보를 수집하기 어려운 점이 있었다.One of these non-invasive tools is plain radiography using X-rays. These X-rays are often used in the orthopedic examination process, but only one X-ray image is used in the orthopedic examination process. Additionally, the image was taken at a static location, making it difficult to collect dynamic information using existing X-ray imaging methods.

또한, 일반 방사선 사진은 3D 공간 데이터를 2D 평면으로 만든 것으로, 한 방향에서 촬영된 방사선 사진으로는 정확한 3D 위치를 얻기 어려운 점이 있었다.In addition, general radiographs are made by converting 3D spatial data into a 2D plane, so it was difficult to obtain an accurate 3D position with a radiograph taken in one direction.

따라서 본 개시는 상술한 바와 같은 문제점을 해결하기 위해 고안된 것으로, 다방향에서 연속으로 촬영한 엑스선 영상으로부터 관절을 이루는 골격의 형상, 밀도, 자세를 예측할 수 있는 골격 추정 장치 및 방법을 제공하는 데 있다.Therefore, the present disclosure is designed to solve the problems described above, and provides a skeleton estimation device and method that can predict the shape, density, and posture of the joint skeleton from X-ray images taken continuously in multiple directions. .

이상과 같은 목적을 달성하기 위하여, 본 개시의 일 실시 예에 따른 전자 장치는 동일한 객체에 대해서 다방향에서 촬영된 복수의 엑스선 영상을 수신하는 통신 장치, 골격의 형상을 구성하기 위한 복수의 위치에 대한 포인트 정보 및 상기 복수의 위치 각각의 밀도 값을 갖는 밀도 정보를 저장하는 메모리, 및 상기 수신된 복수의 엑스선 영상을 이용하여 골격의 3차원 자세를 예측하고, 상기 포인트 정보, 밀도 정보 및 상기 예측된 3차원 자세에 기초하여 DRR을 생성하고, 상기 생성된 DRR과 상기 복수의 엑스선 영상을 비교하여 골격 자세 및 형상을 추정하는 프로세서를 포함한다.In order to achieve the above object, an electronic device according to an embodiment of the present disclosure is a communication device that receives a plurality of X-ray images taken in multiple directions for the same object, and a plurality of positions for configuring the shape of the skeleton. A memory for storing point information and density information having density values for each of the plurality of positions, and predicting a three-dimensional posture of a skeleton using the plurality of received X-ray images, and predicting the three-dimensional posture of the skeleton using the point information, density information, and the prediction and a processor that generates a DRR based on the 3D posture and estimates the skeletal posture and shape by comparing the generated DRR with the plurality of X-ray images.

이 경우, 상기 포인트 정보는 상기 골격의 표면 내부에 위치하는 복수의 포인트에 대한 좌표 정보를 포함하고, 상기 밀도 정보는 상기 복수의 포인트 각각에 대해서 해당 포인트를 구성하는 기설정된 크기의 공간의 밀도 값을 가질 수 있다.In this case, the point information includes coordinate information about a plurality of points located inside the surface of the skeleton, and the density information is a density value of a space of a preset size constituting the point for each of the plurality of points. You can have

한편, 상기 프로세서는 상기 예측된 자세에 기초하여 엑스선 통과 축을 결정하고, 상기 결정된 엑스선 통과 축 방향의 복수의 위치 및 상기 복수의 위치 각각의 밀도 값에 기초하여 엑스선 감쇠량을 계산하여 상기 DRR을 생성할 수 있다.Meanwhile, the processor determines an X-ray passing axis based on the predicted posture, calculates the amount of You can.

이 경우, 상기 프로세서는 상기 예측된 자세를 기준으로 6 자유도의 매개변수를 변경하여, 복수의 DRR을 생성할 수 있다.In this case, the processor may generate a plurality of DRRs by changing parameters of the 6 degrees of freedom based on the predicted posture.

이 경우, 상기 프로세서는 상기 생성된 복수의 DRR과 상기 복수의 엑스선 영상을 비교하고, 유사도가 높은 DRR의 매개변수를 이용하여 상기 객체의 골격 자세를 추정할 수 있다.In this case, the processor may compare the generated plurality of DRRs with the plurality of X-ray images and estimate the skeletal posture of the object using parameters of the DRRs with high similarity.

이 경우, 상기 프로세서는 구조적 유사성 지수(structural similarity index)를 포함한 이미지 간 유사도를 이용하여 엑스선 영상과 DRR을 비교할 수 있다.In this case, the processor can compare the X-ray image and DRR using similarity between images, including a structural similarity index.

한편, 상기 통신 장치는 복수의 촬영 장치의 위치 및 방향 정보를 수신하고, 상기 프로세서는 상기 수신한 위치 및 방향 정보를 이용하여 공간 투영 행렬을 연산할 수 있다.Meanwhile, the communication device may receive location and direction information of a plurality of photographing devices, and the processor may calculate a spatial projection matrix using the received location and direction information.

이 경우, 상기 프로세서는 상기 수신된 복수의 엑스선 영상에서 골격 특징점 및 3차원 골격 영역을 추출하고, 상기 공간 투영 행렬, 상기 추출된 골격 특징점 및 3차원 골격 영역에 기초하여 골격의 3차원 자세를 예측할 수 있다.In this case, the processor extracts skeletal feature points and 3D skeletal regions from the plurality of received X-ray images, and predicts a 3D posture of the skeleton based on the spatial projection matrix and the extracted skeletal feature points and 3D skeletal regions. You can.

이 경우, 상기 프로세서는 표준 다관절 골격 모델을 이용하여 골격의 생리학적 자세별 골격 자세 및 골격 특징점들의 3차원 위치를 생성하고, 상기 생성된 골격 자세 및 골격 특징점들을 상기 수신한 복수의 엑스선 영상에 투영하여 상기 엑스선 영상에서 추출된 골격 특징점 및 3차원 골격 영역과 비교하고, 상기 비교 결과에 따라 골격의 3차원 자세를 예측할 수 있다.In this case, the processor generates 3D positions of skeletal postures and skeletal feature points for each physiological posture of the skeleton using a standard multi-joint skeleton model, and stores the generated skeletal postures and skeletal feature points in the received X-ray images. The projection is compared with the skeletal feature points and 3D skeletal area extracted from the X-ray image, and the 3D posture of the skeleton can be predicted according to the comparison result.

한편, 상기 통신 장치는 상기 객체의 이동중에 연속 및 다방향으로 촬영된 복수의 엑스선 영상을 수신하고, 상기 프로세서는 시간대별 추정된 골격 형상 및 자세에 기초하여 상기 객체의 자세 변화를 추정할 수 있다.Meanwhile, the communication device receives a plurality of X-ray images taken continuously and in multiple directions while the object is moving, and the processor can estimate the change in posture of the object based on the estimated skeletal shape and posture over time. .

이 경우, 상기 프로세서는 특정 시간대에 대한 골격 형상 및 자세가 추정되면, 상기 시간대 이후의 추정과정에서는 상기 추정된 골격 형상 및 자세를 고려하여 각 골격의 자세 변수를 설정할 수 있다.In this case, if the skeletal shape and posture for a specific time period are estimated, the processor may set the posture variables of each skeleton by considering the estimated skeletal shape and posture in the estimation process after the time period.

한편, 본 개시의 일 실시 예에 따른 골격 추정 방법은 동일한 객체에 대해서 다방향에서 촬영된 복수의 엑스선 영상을 수신하는 단계, 골격의 형상을 구성하기 위한 복수의 위치에 대한 포인트 정보 및 상기 복수의 위치 각각의 밀도 값을 갖는 밀도 정보를 저장하는 단계, 상기 수신된 복수의 엑스선 영상을 이용하여 골격의 3차원 자세를 예측하는 단계, 상기 포인트 정보, 밀도 정보 및 상기 예측된 3차원 자세에 기초하여 DRR을 생성하는 단계, 및 상기 생성된 DRR과 상기 복수의 엑스선 영상을 비교하여 골격 자세 및 형상을 추정하는 단계를 포함한다.Meanwhile, the skeleton estimation method according to an embodiment of the present disclosure includes receiving a plurality of X-ray images taken in multiple directions for the same object, point information about a plurality of positions for configuring the shape of the skeleton, and the plurality of Storing density information having a density value for each position, predicting a three-dimensional posture of a skeleton using the plurality of received X-ray images, based on the point information, density information, and the predicted three-dimensional posture. It includes generating a DRR, and estimating a skeletal posture and shape by comparing the generated DRR with the plurality of X-ray images.

이 경우, 상기 DRR을 생성하는 단계는 상기 예측된 자세에 기초하여 엑스선 통과 축을 결정하고, 상기 결정된 엑스선 통과 축 방향의 복수의 위치 및 상기 복수의 위치 각각의 밀도 값에 기초하여 엑스선 감쇠량을 계산하여 상기 DRR을 생성할 수 있다.In this case, the step of generating the DRR includes determining an X-ray passing axis based on the predicted posture, and calculating an X-ray attenuation amount based on a plurality of positions in the determined The DRR can be generated.

이 경우, 상기 DRR을 생성하는 단계는 상기 예측된 자세를 기준으로 6 자유도의 매개변수를 변경하여, 복수의 DRR을 생성할 수 있다.In this case, the step of generating the DRR may generate a plurality of DRRs by changing parameters of 6 degrees of freedom based on the predicted posture.

이 경우, 상기 골격 자세 및 형상을 추정하는 단계는 상기 생성된 복수의 DRR과 상기 복수의 엑스선 영상을 비교하고, 유사도가 높은 DRR의 매개변수를 이용하여 상기 객체의 골격 자세를 추정할 수 있다.In this case, the step of estimating the skeletal posture and shape may compare the generated plurality of DRRs with the plurality of X-ray images, and estimate the skeletal posture of the object using parameters of DRRs with high similarity.

한편, 본 골격 추정 방법은 복수의 촬영 장치의 위치 및 방향 정보를 수신하는 단계, 및 상기 수신한 위치 및 방향 정보를 이용하여 공간 투영 행렬을 연산하는 단계를 더 포함할 수 있다.Meanwhile, the present skeleton estimation method may further include receiving position and direction information of a plurality of imaging devices, and calculating a spatial projection matrix using the received position and direction information.

이 경우, 상기 3차원 자세를 예측하는 단계는 상기 수신된 복수의 엑스선 영상에서 골격 특징점 및 3차원 골격 영역을 추출하고, 상기 공간 투영 행렬, 상기 추출된 골격 특징점 및 3차원 골격 영역에 기초하여 골격의 3차원 자세를 예측할 수 있다.In this case, the step of predicting the 3D posture includes extracting skeletal feature points and 3D skeletal regions from the plurality of received The 3D posture can be predicted.

한편, 상기 수신하는 단계는 상기 객체의 이동중에 연속 및 다방향으로 촬영된 복수의 엑스선 영상을 수신하고, 상기 골격 추정 방법은 시간대별 추정된 골격 형상 및 자세에 기초하여 상기 객체의 자세 변화를 추정하는 단계를 더 포함할 수 있다.Meanwhile, the receiving step involves receiving a plurality of X-ray images taken continuously and in multiple directions while the object is moving, and the skeleton estimation method estimates a change in posture of the object based on the estimated skeleton shape and posture for each time period. Additional steps may be included.

이 경우, 본 골격 추정 방법은 특정 시간대에 대한 골격 형상 및 자세가 추정되면, 상기 시간대 이후의 추정과정에서는 상기 추정된 골격 형상 및 자세를 고려하여 각 골격의 자세 변수를 설정하는 단계를 더 포함할 수 있다.In this case, the present skeleton estimation method may further include, when the skeleton shape and posture for a specific time period are estimated, setting the posture variables of each skeleton in consideration of the estimated skeleton shape and posture in the estimation process after the time period. You can.

한편, 본 개시의 일 실시 예에 따른 골격 추정 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 골격 추정 방법은 골격의 형상을 구성하기 위한 복수의 위치에 대한 포인트 정보 및 상기 복수의 위치 각각의 밀도 값을 갖는 밀도 정보를 저장하는 단계, 동일한 객체에 대해서 다방향에서 촬영된 복수의 엑스선 영상이 수신되면, 상기 수신된 복수의 엑스선 영상을 이용하여 골격의 3차원 자세를 예측하는 단계, 상기 포인트 정보, 밀도 정보 및 상기 예측된 3차원 자세에 기초하여 DRR을 생성하는 단계, 및 상기 생성된 DRR과 상기 복수의 엑스선 영상을 비교하여 골격 자세 및 형상을 추정하는 단계를 포함한다.Meanwhile, in a computer-readable recording medium including a program for executing a skeleton estimation method according to an embodiment of the present disclosure, the skeleton estimation method includes point information on a plurality of positions for configuring the shape of the skeleton and the Storing density information with density values for each of a plurality of positions. When a plurality of X-ray images taken in multiple directions for the same object are received, predicting the three-dimensional posture of the skeleton using the received plurality of X-ray images. generating a DRR based on the point information, density information, and the predicted 3D posture, and comparing the generated DRR with the plurality of X-ray images to estimate the skeletal posture and shape. .

이상과 같은 본 개시의 다양한 실시 예들에 따르면, 두 방향 연속 엑스선 영상에서 추출한 정밀한 골격의 3차원 운동 정보를 이용하여 관절의 동적 불안정성을 측정할 수 있다. 이를 이용하여 임상적 치료 방법을 결정하는데 도움을 줄 수 있다.According to various embodiments of the present disclosure as described above, dynamic instability of a joint can be measured using precise 3D motion information of the skeleton extracted from two-directional continuous X-ray images. This can be used to help determine clinical treatment methods.

도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도,
도 2는 본 개시의 전자 장치에서의 골격 예측 동작을 설명하기 위한 도면,
도 3 및 도 4는 본 개시의 일 실시 예에 따른 정렬 동작을 설명하기 위한 도면,
도 5는 본 개시에 따라 생성된 3D 모델의 예를 도시한 도면,
도 6 및 도 7은 본 개시의 제1 일 실시 예에 따른 모델 내부의 레이어를 스태킹하는 방법을 설명하기 위한 도면,
도 8 및 도 9는 본 개시의 제2 일 실시 예에 따른 모델 내부의 레이어를 스태킹하는 방법을 설명하기 위한 도면,
도 10은 본 개시의 일 실시 예에 따른 SSIM의 생성 동작을 설명하기 위한 도면,
도 11은 본 개시의 일 실시 예에 따른 DRR의 생성 동작을 설명하기 위한 도면,
도 12는 본 개시의 일 실시 예에 따른 DRR의 생성 동작을 설명하기 위한 도면,
도 13 내지 15는 본 개시의 일 실시 예에 따른 생성한 DRR의 실험 결과를 도시한 도면,
도 16은 본 개시의 일 실시 예에 따른 자세 변화를 측정하기 위한 환경을 설명하기 위한 도면,
도 17 내지 도 26은 자세 추정 동작의 실험 결과를 도시한 도면, 그리고,
도 27은 본 개시의 일 실시 예에 따른 골격 추정 방법을 설명하기 위한 흐름도이다.1 is a block diagram showing the configuration of an electronic device according to an embodiment of the present disclosure;
2 is a diagram for explaining a skeleton prediction operation in the electronic device of the present disclosure;
3 and 4 are diagrams for explaining an alignment operation according to an embodiment of the present disclosure;
5 is a diagram showing an example of a 3D model created according to the present disclosure;
6 and 7 are diagrams for explaining a method of stacking layers inside a model according to a first embodiment of the present disclosure;
8 and 9 are diagrams for explaining a method of stacking layers inside a model according to a second embodiment of the present disclosure;
10 is a diagram for explaining the creation operation of SSIM according to an embodiment of the present disclosure;
11 is a diagram for explaining a DRR generation operation according to an embodiment of the present disclosure;
12 is a diagram for explaining a DRR generation operation according to an embodiment of the present disclosure;
13 to 15 are diagrams showing experimental results of DRR generated according to an embodiment of the present disclosure;
16 is a diagram illustrating an environment for measuring a change in posture according to an embodiment of the present disclosure;
17 to 26 are diagrams showing experimental results of posture estimation operations, and
Figure 27 is a flowchart for explaining a skeleton estimation method according to an embodiment of the present disclosure.

이하에서는 첨부 도면을 참조하여 본 개시에 대해서 자세하게 설명한다. 본 개시에서 수행되는 정보(데이터) 전송 과정은 필요에 따라서 암호화/복호화가 적용될 수 있으며, 본 개시 및 특허청구범위에서 정보(데이터) 전송 과정을 설명하는 표현은 별도로 언급되지 않더라도 모두 암호화/복호화하는 경우도 포함하는 것으로 해석되어야 한다. 본 개시에서 "A로부터 B로 전송(전달)" 또는 "A가 B로부터 수신"과 같은 형태의 표현은 중간에 다른 매개체가 포함되어 전송(전달) 또는 수신되는 것도 포함하며, 반드시 A로부터 B까지 직접 전송(전달) 또는 수신되는 것만을 표현하는 것은 아니다.Hereinafter, the present disclosure will be described in detail with reference to the accompanying drawings. Encryption/decryption may be applied to the information (data) transmission process performed in this disclosure as necessary, and in the present disclosure and patent claims, all expressions describing the information (data) transmission process are encryption/decryption even if not separately mentioned. It should be interpreted to include cases as well. In the present disclosure, expressions such as “transmitted from A to B” or “received by A from B” also include transmission (transmission) or reception with another medium in between, and must be transmitted from A to B. It does not express only what is directly transmitted (delivered) or received.

본 개시의 설명에 있어서 각 단계의 순서는 선행 단계가 논리적 및 시간적으로 반드시 후행 단계에 앞서서 수행되어야 하는 경우가 아니라면 각 단계의 순서는 비제한적으로 이해되어야 한다. 즉, 위와 같은 예외적인 경우를 제외하고는 후행 단계로 설명된 과정이 선행단계로 설명된 과정보다 앞서서 수행되더라도 개시의 본질에는 영향이 없으며 권리범위 역시 단계의 순서에 관계없이 정의되어야 한다. 그리고 본 명세서에서 "A 또는 B"라고 기재한 것은 A와 B 중 어느 하나를 선택적으로 가리키는 것뿐만 아니라 A와 B 모두를 포함하는 것도 의미하는 것으로 정의된다. 또한, 본 개시에서 "포함"이라는 용어는 포함하는 것으로 나열된 요소 이외에 추가로 다른 구성요소를 더 포함하는 것도 포괄하는 의미를 가진다.In the description of the present disclosure, the order of each step should be understood as non-limiting unless the preceding step must be performed logically and temporally prior to the subsequent step. In other words, except for the above exceptional cases, even if the process described as a subsequent step is performed before the process described as a preceding step, the nature of disclosure is not affected, and the scope of rights must also be defined regardless of the order of the steps. In this specification, the term “A or B” is defined not only to selectively indicate either A or B, but also to include both A and B. In addition, in the present disclosure, the term "includes" has the meaning of including further other components in addition to the elements listed as included.

본 개시에서는 본 개시의 설명에 필요한 필수적인 구성요소만을 설명하며, 본 개시의 본질과 관계가 없는 구성요소는 언급하지 아니한다. 그리고 언급되는 구성요소만을 포함하는 배타적인 의미로 해석되어서는 안 되며 다른 구성요소도 포함할 수 있는 비배타적인 의미로 해석되어야 한다.In this disclosure, only essential elements necessary for description of the present disclosure are described, and components that are unrelated to the essence of the present disclosure are not mentioned. And it should not be interpreted in an exclusive sense that includes only the mentioned components, but in a non-exclusive sense that can include other components as well.

후술하는 본 개시의 각 단계의 수학적 연산 및 산출은 해당 연산 또는 산출을 하기 위해 공지되어 있는 코딩 방법 및/또는 본 개시에 적합하게 고안된 코딩에 의해서 컴퓨터 연산으로 구현될 수 있다.The mathematical operations and calculations of each step of the present disclosure described later may be implemented as computer operations using known coding methods and/or coding designed to be suitable for the present disclosure to perform the corresponding operations or calculations.

이하에서는 첨부된 도면을 이용하여 본 개시의 다양한 실시 예들에 대하여 구체적으로 설명한다.Hereinafter, various embodiments of the present disclosure will be described in detail using the attached drawings.

도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.1 is a block diagram illustrating the configuration of an electronic device according to an embodiment of the present disclosure.

도 1을 참조하면, 전자 장치(100)는 통신 장치(110), 메모리(120), 디스플레이(130), 조작 입력장치(140) 및 프로세서(150)로 구성될 수 있다. 여기서 전자 장치(100)는 이미지 프로세싱이 가능한 PC, 노트북 PC, 스마트폰, 서버 등일 수 있다.Referring to FIG. 1 , the electronic device 100 may be comprised of a communication device 110, a memory 120, a display 130, a manipulation input device 140, and a processor 150. Here, the electronic device 100 may be a PC capable of image processing, a laptop PC, a smartphone, a server, etc.

통신 장치(110)는 촬영 장치와 연결되며, 엑스선 영상을 수신할 수 있다. 구체적으로, 통신 장치(110)는 전자 장치(100)를 외부 장치와 연결하기 위해 형성되고, 근거리 통신망(LAN: Local Area Network) 및 인터넷망을 통해 모바일 장치에 접속되는 형태뿐만 아니라, USB(Universal Serial Bus) 포트를 통하여 접속되는 형태도 가능하다.The communication device 110 is connected to an imaging device and can receive X-ray images. Specifically, the communication device 110 is formed to connect the electronic device 100 with an external device, and is connected to a mobile device through a local area network (LAN) and an Internet network, as well as a USB (Universal) device. It is also possible to connect through a Serial Bus port.

또한, 통신 장치(110)는 유선 방식뿐만 아니라, 공용 인터넷망에 연결되는 라우터 또는 공유기를 경유하여 다른 전자 장치에 연결될 수 있으며, 라우터 또는 공유기와는 유선 방식뿐만 아니라 와이파이, 블루투스, 셀룰러 통신 등의 무선 방식으로도 연결될 수 있다. 여기서 셀룰러 통신은 예를 들면, LTE(Long-Term Evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications)을 포함할 수 있다.In addition, the communication device 110 can be connected to other electronic devices not only through a wired method, but also through a router or router connected to a public Internet network, and the router or router can be connected not only through a wired method, but also through Wi-Fi, Bluetooth, cellular communication, etc. It can also be connected wirelessly. Here, cellular communications include, for example, Long-Term Evolution (LTE), LTE Advance (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), universal mobile telecommunications system (UMTS), and wireless broadband (WiBro). ), or GSM (Global System for Mobile Communications).

통신 장치(110)는 엑스선 촬영 장치로부터 다방향에서 촬영된 복수의 엑스선 영상을 수신할 수 있다. 그리고 통신 장치(110)는 복수의 엑스선 영상에 대한 캘리브레이션을 위한 공간 투영 행렬에 대한 정보를 수신할 수 있다. 한편, 구현시에는 직접 공간 투영 행렬 정보를 수신할 수 있으며, 복수의 촬영 장치의 위치 및 방향 정보를 수신하고, 수신된 위치 및 방향 정보에 기초하여 투영 행렬 정보를 생성하여 이용할 수도 있다.The communication device 110 may receive a plurality of X-ray images captured in multiple directions from an X-ray imaging device. Additionally, the communication device 110 may receive information about a spatial projection matrix for calibration of a plurality of X-ray images. Meanwhile, when implemented, spatial projection matrix information can be directly received, position and direction information of a plurality of photographing devices can be received, and projection matrix information can be generated and used based on the received position and direction information.

그리고 통신 장치(100)는 동일한 시간대에 촬영된 한 쌍의 엑스선 영상을 순차적(또는 연속적)으로 수신할 수 있다.And the communication device 100 may sequentially (or continuously) receive a pair of X-ray images taken at the same time.

그리고 통신 장치(100)는 후술하는 과정에서 산출된 추정된 골격 자세, 형상 및 3차원 자세 변화를 전송할 수 있다.Additionally, the communication device 100 may transmit the estimated skeletal posture, shape, and 3D posture change calculated in a process described later.

메모리(120)는 전자 장치(100)를 구동하기 위한 O/S나 피험자별 골격 형상 및 자세를 생성하기 위한 소프트웨어, AI 알고리즘, 데이터 등을 저장하기 위한 구성요소이다. 메모리(120)는 RAM이나 ROM, 플래시 메모리, HDD, 외장 메모리, 메모리 카드 등과 같은 다양한 형태로 구현될 수 있으며, 어느 하나로 한정되는 것은 아니다.The memory 120 is a component for storing O/S for driving the electronic device 100, software for generating skeletal shape and posture for each subject, AI algorithms, data, etc. The memory 120 may be implemented in various forms such as RAM, ROM, flash memory, HDD, external memory, memory card, etc., and is not limited to any one.

메모리(120)는 엑스선 영상을 저장한다. 구체적으로, 메모리(120)는 통신 장치(110)를 통하여 수신한 다방향에서 촬영된 한 쌍의 엑스선 영상을 저장할 수 있다. 외부 장치로부터 연속적으로 엑스선 영상이 전송되는 경우, 메모리(120)는 시간 순서에 따라 해당 데이터를 구분하여 저장할 수 있다.The memory 120 stores X-ray images. Specifically, the memory 120 may store a pair of X-ray images received through the communication device 110 and captured in multiple directions. When X-ray images are continuously transmitted from an external device, the memory 120 can separate and store the corresponding data according to time order.

또한, 메모리(120)는 후술하는 과정에서 생성한 DRR(Digitally Reconstructed Radiograph 또는 디지털 재구성 방사선 투과 사진)을 저장할 수 있다. 그리고 메모리(120)는 DRR을 생성하기 위한 SSIM(Statistical Shape and Intensity model, 통계적 형상 밀도 모델)을 저장할 수 있다. 여기서 SSIM은 골격의 형상을 구성하기 위한 복수의 위치에 대한 포인트 정보 및 복수의 위치 각각의 밀도 값을 갖는 밀도 정보를 저장할 수 있다. 이러한 SSIM은 여러 사람으로부터 획득한 골격의 복수의 포인트 및 밀도 정보를 이용하여 생성할 수 있다. SSIM의 구체적인 내용에 대해서는 후술한다.Additionally, the memory 120 may store a Digitally Reconstructed Radiograph (DRR) generated in a process described later. And the memory 120 can store SSIM (Statistical Shape and Intensity model) for generating DRR. Here, SSIM can store point information about a plurality of positions for configuring the shape of the skeleton and density information with density values for each of the plurality of positions. This SSIM can be created using multiple points and density information of the skeleton obtained from multiple people. The specific contents of SSIM will be described later.

그리고 포인트 정보는 골격의 표면 내부에 위치하는 복수의 포인트에 대한 좌표 정보를 포함하고, 밀도 정보는 복수의 포인트 각각에 대해서 해당 포인트를 구성하는 기설정된 크기의 공간의 밀도 값을 갖는다.And the point information includes coordinate information about a plurality of points located inside the surface of the skeleton, and the density information has a density value of a space of a preset size constituting the point for each of the plurality of points.

디스플레이(130)는 전자 장치(100)가 지원하는 기능을 선택받기 위한 사용자 인터페이스 창을 표시한다. 구체적으로, 디스플레이(130)는 전자 장치(100)가 제공하는 각종 기능을 선택받기 위한 사용자 인터페이스 창을 표시할 수 있다. 이러한 디스플레이(130)는 LCD, CRT, OLED 등과 같은 모니터일 수 있으며, 후술할 조작 입력장치(140)의 기능을 동시에 수행할 수 있는 터치 스크린으로 구현될 수도 있다.The display 130 displays a user interface window for selecting a function supported by the electronic device 100. Specifically, the display 130 may display a user interface window for selecting various functions provided by the electronic device 100. This display 130 may be a monitor such as LCD, CRT, OLED, etc., and may also be implemented as a touch screen that can simultaneously perform the functions of the manipulation input device 140, which will be described later.

디스플레이(130)는 SSIM에 따른 3차원 영상을 표시할 수 있으며, 특정 관점으로 투영된 DRR을 표시할 수도 있다.The display 130 can display a 3D image according to SSIM and can also display DRR projected from a specific viewpoint.

조작 입력장치(140)는 사용자로부터 전자 장치(100)의 기능 선택 및 해당 기능에 대한 제어 명령을 입력받을 수 있다. 구체적으로, 조작 입력장치(140)는 초기 자세 이용할 필터 값 등을 입력받을 수 있다. 이러한 사용자 제어 명령은 상술한 사용자 인터페이스 창을 통하여 입력될 수 있다.The manipulation input device 140 can select a function of the electronic device 100 and receive a control command for the function from the user. Specifically, the manipulation input device 140 may receive an input of an initial posture, a filter value to be used, etc. These user control commands can be input through the user interface window described above.

프로세서(150)는 전자 장치(100) 내의 각 구성에 대한 제어를 수행한다. 구체적으로, 프로세서(150)는 사용자로부터 부팅 명령이 입력되면, 메모리(120)에 저장된 운영체제를 이용하여 부팅을 수행할 수 있다.The processor 150 controls each component within the electronic device 100. Specifically, when a boot command is input from the user, the processor 150 may perform booting using the operating system stored in the memory 120.

프로세서(150)는 영상 정보를 수신하면, 수신된 영상 정보를 이용하여 SSIM을 생성할 수 있다. 여기서 수신되는 영상 정보는 CT 정보일 수 있다.When the processor 150 receives image information, it can generate SSIM using the received image information. The image information received here may be CT information.

그리고 프로세서(150)는 엑스선 영상이 수신되면, 수신된 엑스선 영상과 SSIM을 이용하여 객체의 골격 자세 및 형상을 추정할 수 있다.When an X-ray image is received, the processor 150 can estimate the skeletal posture and shape of the object using the received X-ray image and SSIM.

이를 위하여, 먼저, 프로세서(150)는 수신된 복수의 엑스선 영상을 이용하여 골격의 3차원 자세를 예측한다. 3차원 자세를 예측하기 위하여, 외부 장치 또는 사용자로부터 촬영 장치의 위치 및 방향 정보를 입력받으면, 입력받은 정보를 기초로 공간 투영 행렬을 생성할 수 있다.To this end, first, the processor 150 predicts the three-dimensional posture of the skeleton using a plurality of received X-ray images. In order to predict a 3D posture, when location and direction information of a photographing device is input from an external device or a user, a spatial projection matrix can be generated based on the input information.

그리고 프로세서(150)는 공간 투영 행렬과 수신된 복수의 엑스선을 이용하여, 골격의 특징점과 3차원 골격 영역을 추출하고, 추출된 특징점과 3차원 골격 영역에 기초하여 골격의 3차원 초기 자세를 예측할 수 있다. 구체적으로, 프로세서(150)는 표준 다관절 골격 모델을 이용하여 3차원 생리학적 자세에 따른 특징점의 위치와 골격의 볼륨을 엑스선 영상에 투영하여 특징점과 영역을 생성하고, 상기 생성된 특징점과 영역을 추출된 특징점 및 3차원 골격 영역과 비교하여 골격의 3차원 자세를 예측할 수 있다.Then, the processor 150 extracts feature points and a 3D skeleton area of the skeleton using a spatial projection matrix and a plurality of received X-rays, and predicts the 3D initial posture of the skeleton based on the extracted feature points and the 3D skeleton area. You can. Specifically, the processor 150 uses a standard multi-joint skeleton model to project the location of the feature points and the volume of the skeleton according to the three-dimensional physiological posture onto the X-ray image to generate feature points and regions, and the generated feature points and regions are The 3D posture of the skeleton can be predicted by comparing the extracted feature points and the 3D skeleton area.

그리고 프로세서(150)는 포인트 정보, 밀도 정보 및 예측된 3차원 자세에 기초하여 DRR을 생성한다. 구체적으로, 프로세서(150)는 예측된 자세에 기초하여 엑스선 통과 축을 결정하고, 결정된 엑스선 통과 축 방향의 복수의 위치 및 복수의 위치 각각의 밀도 값에 기초하여 엑스선 감쇠량을 계산하여 DRR을 생성할 수 있다. 이때, 프로세서(150)는 자세 비교를 위하여, 최초 생성된 DRR과 다른 골격 자세에서의 복수의 DDR을 생성할 수 있다.Then, the processor 150 generates DRR based on point information, density information, and predicted 3D posture. Specifically, the processor 150 may determine the X-ray passing axis based on the predicted posture, and calculate the X-ray attenuation amount based on the plurality of positions in the direction of the determined there is. At this time, the processor 150 may generate a plurality of DDRs in a skeletal posture different from the initially generated DRR for posture comparison.

그리고 프로세서(150)는 생성된 DRR과 복수의 엑스선 영상을 비교하여 골격 자세, 밀도 및 형상을 추정한다. 구체적으로, 프로세서(150)는 생성된 복수의 DRR과 복수의 엑스선 영상을 비교하고, 유사도가 높은 DRR의 매개변수를 이용하여 객체의 골격 자세를 추정할 수 있다. 이때 프로세서(150)는 이미지 유사도를 측정하여 엑스선 영상과 DRR을 비교할 수 있다.Then, the processor 150 estimates the skeletal posture, density, and shape by comparing the generated DRR with a plurality of X-ray images. Specifically, the processor 150 may compare a plurality of generated DRRs with a plurality of X-ray images and estimate the skeletal posture of the object using the parameters of the DRRs with high similarity. At this time, the processor 150 can compare the X-ray image and DRR by measuring image similarity.

한편, 이상에서는 하나의 시간대에서 촬영된 엑스선 영상을 이용하여 골격 자세를 추정하는 것을 설명하였지만, 복수의 시간대에서 촬영된 엑스선 영상이 입력되면, 프로세서(150)는 골격 형상과 복수의 시간대의 골격 자세를 동시에 추정할 수 있다.Meanwhile, in the above description, estimating the skeletal posture using an can be estimated simultaneously.

이와 같이 본 실시 예에 따른 전자 장치(100)는 복수의 엑스선 영상을 이용하여 객체의 골격 형상 및 자세를 추정하는 것이 가능하다. 또한, 연속 촬영된 엑스선 영상을 이용하여 자세 변화를 추정할 수 있다.In this way, the electronic device 100 according to this embodiment is capable of estimating the skeletal shape and posture of an object using a plurality of X-ray images. Additionally, changes in posture can be estimated using continuously captured X-ray images.

한편, 도 1을 설명함에 있어서, 전자 장치(100)가 골격 자세, 밀도, 형상을 모두 추정하는 것으로 설명하였지만, 구현시에는 3가지 중 일부 특징만, 예를 들어, 골격 자세만 추정, 밀도만 추정, 형상만 추정하는 것도 가능하며, 일부 조합(예를 들어, 자세와 밀도, 자세와 형상, 밀도와 형상)만을 추정하는 것도 가능하다.Meanwhile, in describing FIG. 1, it is explained that the electronic device 100 estimates all of the skeletal posture, density, and shape, but when implemented, only some of the three features, for example, only the skeletal posture and density, are estimated. It is possible to estimate only the estimation and shape, and it is also possible to estimate only some combinations (e.g., posture and density, posture and shape, density and shape).

도 2는 본 개시의 전자 장치에서의 골격 예측 동작을 설명하기 위한 도면이다.FIG. 2 is a diagram for explaining a skeleton prediction operation in the electronic device of the present disclosure.

먼저, 다수의 연속 엑스선 영상 촬영 장치를 이용하여 엑스선 영상을 촬영할 수 있다(201). 이들은 외부 신호 발생기에 의해 시간 동기화가 되어 촬영할 수 있다. 또한, 인체 관절(촬영 대상물)이 운동하는 동안 고속으로 연속 엑스선 영상 촬영을 수행할 수 있다.First, an X-ray image can be captured using a plurality of continuous X-ray imaging devices (201). They can be captured in time synchronization by an external signal generator. Additionally, continuous X-ray imaging can be performed at high speed while the human body joints (object to be imaged) are in motion.

촬영 공간에서 각 엑스선 영상 촬영 장치의 위치와 방향 및 공간 투영 행렬 (카메라 캘리브레이션)을 생성할 수 있다(202).The position, direction, and spatial projection matrix (camera calibration) of each X-ray imaging device in the imaging space can be generated (202).

앞서 획득된 엑스선 영상에서, 개별 골격의 특징점들과 영역들을 추출할 수 있다(203).From the previously acquired X-ray image, feature points and regions of individual skeletons can be extracted (203).

그리고 관절을 구성하는 다수의 표준 다관절 골격 모델들을 이용하여 3차원 생리학적 자세를 생성할 수 있다(204). 이 다관절 골격 모델들은 위 3의 골격 특징점에 해당하는 점들의 3차원 위치 정보를 포함할 수 있다.Additionally, a three-dimensional physiological posture can be created using a number of standard multi-joint skeleton models constituting joints (204). These multi-joint skeletal models may include 3D position information of points corresponding to the skeletal feature points in 3 above.

앞서 얻어진 각 영상 촬영 장치의 공간 투영 행렬을 이용하여, 3차원 관절의 생리학적 자세에 있는 골격들과 골격 특징점들이 2차원 평면에 투영되었을 때의 골격 영역과 골격 특징점의 위치를 계산할 수 있다. 이 투영된 골격 특징점들과 영역들은 앞서 추출한 골격 특징점들 및 영역들과 비교할 수 있다.Using the spatial projection matrix of each imaging device obtained previously, the positions of the skeletal area and skeletal feature points when the skeletons and skeletal feature points in the physiological posture of the 3D joint are projected onto the 2D plane can be calculated. These projected skeletal feature points and regions can be compared with previously extracted skeletal feature points and regions.

이때, 3차원 관절의 생리학적 자세를 바꾸며 상술한 동작을 반복함으로써 골격의 특징점들과 영역들이 최대한 일치하도록 하는 3차원 골격 자세를 계산할 수 있다(S205). 이를 각 시간 프레임에 대해 반복하거나, 모든 시간 프레임에서 얻은 영상들에 대해 동시에 적용할 수 있다.At this time, by changing the physiological posture of the 3D joint and repeating the above-described motion, the 3D skeletal posture that matches the feature points and regions of the skeleton as much as possible can be calculated (S205). This can be repeated for each time frame, or applied simultaneously to images obtained from all time frames.

그리고 개별 골격 또는 관절을 구성하는 모든 골격의 생리학적인 형상과 밀도를 동시에 생성할 수 있다(S206).And the physiological shape and density of all bones that make up an individual skeleton or joint can be created simultaneously (S206).

기생성한 골격의 SSIM을 계산한 골격의 초기 자세에 배치하고, 계산한 공간 투영 행렬을 이용하여 2차원 평면에 투영하여 DRR을 생성할 수 있다(207). 그리고 이 장치는 위 6번을 반복하여 골격의 형상과 밀도를 바꾸며, 비교를 반복하여 골격 형상과의 밀도 분포가 최대한 일치하도록 할 수 있다. 그리고 이와 같은 동작을 각 시간 프레임에 대해 반복하거나, 모든 시간 프레임에서 얻은 영상들에 대해 동시에 적용할 수 있다.DRR can be generated by placing the SSIM of the parasitic skeleton in the calculated initial posture of the skeleton and projecting it onto a two-dimensional plane using the calculated spatial projection matrix (207). This device can change the shape and density of the skeleton by repeating step 6 above, and repeat the comparison to ensure that the density distribution matches the shape of the skeleton as much as possible. And this same operation can be repeated for each time frame, or applied simultaneously to images obtained from all time frames.

한편, 도 2에 도시된 각 구성은 하나의 장치에서 수행될 수 있으며, 복수의 장치를 통하여 수행할 수도 있다.Meanwhile, each configuration shown in FIG. 2 can be performed in one device or through multiple devices.

이하에서는 본 개시에 따른 SSIM을 생성하는 방법을 설명한다.Below, a method for generating SSIM according to the present disclosure will be described.

본 개시에서는 골격에 대한 통계적 형상 모델(Statistical shape Model, SSM) 및 SSIM(Statistical Shape and Intensity model)(또는 통계적 형상 및 밀도 모델)을 생성하고, 획득된 엑스선 영상을 사용하여 골격 형상 및 밀도를 높은 정확도로 예측하는 것을 목표로 한다.In the present disclosure, a statistical shape model (SSM) and a statistical shape and intensity model (SSIM) (or statistical shape and density model) for the skeleton are generated, and the skeleton shape and density are high using the acquired X-ray image. The goal is to predict with accuracy.

이를 위하여, 첫번째로 CT로부터 SSIM으로의 변환 및 SSIM으로부터 CT로의 변환에 대한 확인. 두번째로, SSIM을 위한 DDR 생성 알고리즘 설명. 마지막으로, 밀도 유사성 측정으로부터 비용 함수의 볼록성(convexity)를 확인하여, 최적화가 실측(gound truth) 형상에 도달하는지의 확인이 필요하다.For this purpose, first check the conversion from CT to SSIM and the conversion from SSIM to CT. Second, a description of the DDR generation algorithm for SSIM. Lastly, it is necessary to check whether the optimization reaches the ground truth shape by checking the convexity of the cost function from density similarity measurements.

먼저, SSIM에 대해서 설명한다.First, SSIM will be explained.

의료 영상 분석은 공간 모델들의 품질이나 정확성에 민감하다. 암시적 및 명시적 해부학적 지식이 모델 피팅 프로세서에 적용하면, 품질이나 정확성을 강건하게 한다. 이러한 과정은 대상 객체의 형상, 위치 및 크기를 정합시키고, 이러한 특성들의 예상되는 변화를 반영할 수 있다. 이러한 이유로 변경 가능한 모델이 필요하면, 그에 따라 정확성, 일관성 및 재현성을 보정하면서, 모델 매개변수를 얻기 위한 노력을 저감할 수 있다.Medical image analysis is sensitive to the quality and accuracy of spatial models. Implicit and explicit anatomical knowledge applied to the model fitting processor ensures quality and accuracy. This process can match the shape, position, and size of the target object and reflect expected changes in these characteristics. For this reason, if a changeable model is required, the effort to obtain model parameters can be reduced while calibrating accuracy, consistency and reproducibility accordingly.

모델-기반 정합 방식은 영상 분석을 위한 가장 성공적인 방법 중 하나이다. 분할은 모델을 새 영상의 구조의 예상 패턴 및 형상에 대한 정보와 매칭함으로써 수행된다. 기존의 저-수준의 알고리즘은 데이터 자체에 의존하며, 고유한 사전 정보로 인해 로컬 영상 결점들에 대해 안정적이다. 단일 템플릿 양식은 자연적 변동성으로 인해 생물학적 객체 감지에 실패하기 쉽다는 점에서, 사용 가능한 변형들에 대한 정보가 포함되어야 한다. 이 정보를 수집하는 쉬운 방법은 SSM과 같이 통계학적 수단을 이용하는 것이다.Model-based registration method is one of the most successful methods for image analysis. Segmentation is performed by matching the model with information about the expected patterns and shapes of the structures in the new image. Existing low-level algorithms rely on the data itself and are stable against local image defects due to unique prior information. Given that a single template format is prone to failure in detecting biological objects due to natural variability, information about available variants should be included. An easy way to collect this information is to use statistical tools such as SSM.

일반 통계적 형상 모델에 대한 데이터 훈련은 일반적인 볼륨 영상(volumetric image)의 분할에서 시작된다. 훈련 데이터세트의 생성 과정에서는 분산 포인트 세트를 출력할 수 있다. 이 포인트들은 형상의 표면에 있으며, 그에 따라 각 모델의 표면의 전체 형상을 나타낸다. 포인트들이 3차원 공간에 있으면, 포인트들이 3차원 표면에 있게 된다. 그리고 포인트들이 2차원 공간에 있으면, 포인트들의 형상은 윤곽에 있게 된다.Data training for a general statistical shape model begins with segmentation of a general volumetric image. During the creation process of the training dataset, a set of distributed points can be output. These points are on the surface of the feature and thus represent the overall shape of the surface of each model. If the points are in three-dimensional space, then the points are on a three-dimensional surface. And if the points are in two-dimensional space, the shape of the points is in the contour.

형상을 나타내는데 사용되는 포인트들을 결정하는 것은 중요하다. 표면에서 포인트들을 선택하기 위한 일반적인 방법은 표면상에 랜드마크를 위치시키는 것이다. 이 방식은 각 피사체 간의 정확한 대응이 있어야 한다.It is important to determine the points used to represent the shape. A common way to select points on a surface is to place landmarks on the surface. This method requires an accurate correspondence between each subject.

이러한 랜드마크를 찾아내는 방법은 수동 방식인지, 자동 방식인지에 따라 다를 수 있다. 랜드마크 포인트를 선택하는 방식에 따라 모델링의 품질이 결정될 수 있다. 라벨링이 완벽하지 않고, 대응이 완벽하게 보장되지 않으면, 형상의 변형을 나타낼 수 없으면, 불일치로 인한 변형이 발생할 수 있다.The method of finding these landmarks may vary depending on whether it is a manual or automatic method. The quality of modeling can be determined depending on how landmark points are selected. If labeling is not perfect, correspondence is not perfectly guaranteed, and shape deformation cannot be represented, deformation due to inconsistency may occur.

아래와 같은 기준으로 포인트가 선택되면 더 많은 내부 형상 정보를 가질 수 있다.If a point is selected based on the criteria below, it can have more internal shape information.

1. 형상의 주요한 위치를 나타내는 포인트. 특정 형상의 중심이나 날카로운 모서리와 같이 어떤 객체가 사용되는지에 따라 위치가 상이할 수 있다.1. A point that indicates the main location of a shape. The location may vary depending on which object is used, such as the center of a particular shape or a sharp edge.

2. 포인트는 경계의 최고점, 최저점 또는 특정 방향의 극단 위치들과 같은 어플리케이션-독립적인 위치들에 대응할 수 있다.2. Points may correspond to application-independent locations, such as the highest point of a boundary, the lowest point, or extreme locations in a specific direction.

3. 앞선 과정에서 선택한 포인트들에서 보간할 수 있는 포인트. 포인트들이 균일하고 규칙적으로 퍼지는 방식은 변형 가능한 모델이 어떻게 연결되는지를 결정할 수 있다.3. Points that can be interpolated from the points selected in the previous process. The way the points are spread out evenly and regularly can determine how the deformable model is connected.

여기서, X_i는 포인트 세트이다.Here, X_i is a set of points.

포인트 세트를 계산하기 전에, 측 세트와 정렬되어야 한다. 포인트 자체에는 형상, 위치 등과 같은 정보 조각들이 있을 수 있다. 피사체별 상대적 위치 정보는 관심 대상이 아니므로 통계적 형상 모델에는 위치 차이의 영향이 포함되지 않아야 한다. 즉, 객체의 회전 및 병진 결과들이 제거되어야 하며, 정렬들은 위치 변화의 결과를 방지할 수 있다.Before computing a point set, it must be aligned with the side set. The point itself may contain pieces of information such as shape, location, etc. Since relative position information for each subject is not of interest, the statistical shape model should not include the influence of position differences. That is, the resulting rotation and translation of the object must be eliminated, and alignments can prevent the resulting change in position.

이 정렬 절차는 한 피사체가 다른 피사체와 같은 방향을 갖도록 만드는데 사용할 수 있으며, 프로크루스테스(Procrustes) 방법을 이용할 수 있다. 프로크루스테스(Procrustes) 방법은 포인트들의 거리를 최소화하는 방법이다.This alignment procedure can be used to make one object have the same orientation as another object, using the Procrustes method. The Procrustes method is a method of minimizing the distance between points.

각 피사체는 형상과 관련된 랜드마크를 갖는다. 피사체를 다른 피사체와 정렬하려면 회전, 평행 이동 및 스케일링이 요구된다. 2차원 공간에서 회전 각도(θ_j) 평행 이동 벡터(

) 및 스케일링 팩터(s_j)는 템플릿으로서 X_i와 정렬되도록 할 수 있다.Each subject has landmarks associated with its shape. Aligning an object with another object requires rotation, translation, and scaling. In two-dimensional space, rotation angle (θ_j ) translation vector (

) and the scaling factor (s_j ) can be aligned with X_i as a template.

비용함수는 템플릿과 조정된 모델 간의 자세 차이에 대한 가중치의 합이다. 가중치는 해당 포인트들이 얼마나 중요한지, 형상을 나타내는데 중요한지에 따라 결정될 수 있다.The cost function is the sum of weights for the pose differences between the template and the adjusted model. The weight can be determined based on how important the points are and how important they are in representing the shape.

여기서, E_j는 비용함수, X_j는 템플릿, s_j는 스케일링 팩터, θ_j회전각도, T_j는 평행 이동 벡터이다Here, E_j is the cost function, X_j is the template, s_j is the scaling factor, θ_{j is} the rotation angle, and T_j is the translation vector.

회전각도, 스케일링 팩터, 평행 이동 백터를 찾아 최적화하면, 정렬된 포인트 세트는 다음과 같이 표현될 수 있다.After finding and optimizing the rotation angle, scaling factor, and translation vector, the aligned point set can be expressed as follows.

여기서, X'_j는 정렬된 포인트 세트이다.Here, X'_j is a sorted set of points.

이러한 수학식 3은 j 번째 피사체의 새로운 포인트 세트에 사용될 수 있다.This Equation 3 can be used for a new point set of the j-th subject.

총 N개의 피사체가 있다고 하면, N 개의 형상이 있게 된다. 주성분 분석(Principal Component Analysis , PCA)은 평균 형상과 변형 형상의 분산을 위해 사용될 수 있다. 평균 형상은 다음과 같은 수학식 4와 같이 표현될 수 있다.If there are a total of N subjects, there will be N shapes. Principal Component Analysis (PCA) can be used to determine the variance of the average shape and deformed shape. The average shape can be expressed as Equation 4 below.

주성분은 아래와 같은 수학식 5를 참조하여 계산될 수 있다.The principal component can be calculated with reference to Equation 5 below.

여기서, P, b는 가중치 벡터로,,이다.Here, P, b are weight vectors, , am.

P_k는 공간적 변화로, 형상에 대한 각 주성분의 효과는 모델의 최종 형상을 변형시킬 수 있다. 일반적으로 피사체의 수는 포인트 수보다 많으므로, 주성분의 수가 피사체의 수가 된다. 고유 값이 작은 주성분은 고유 값이 큰 주성분보다 영향을 덜 받게 된다.P_k is a spatial change, and the effect of each principal component on the shape can transform the final shape of the model. Generally, the number of subjects is greater than the number of points, so the number of principal components becomes the number of subjects. Principal components with small eigenvalues are less affected than principal components with large eigenvalues.

이하에서는, 통계 형상 분석에 대해서 설명한다.Below, statistical shape analysis will be explained.

통계적 형상 모델에서, SPHARM-PDM은 다른 피사체들의 포인트들 간의 매칭을 찾는 도구 중 하나이다. 해당 도구는 3차원 형상 분석을 위한 계층적 글로벌 다중 스케일링 표면 처리를 수행할 수 있다. 3차원 복셀(voxel)은 복셀 매쉬(voxel mesh)로 변환되고, 구현 매개변수(spherical parameter)는 면적 보존 최적화 및 각도 왜곡 최소화 조건으로 계산될 수 있다. 단순 조화 함수(simple harmonic function)sms 푸리에 변환의 기본 함수이지만, 구형 조화 함수(spherical harmonic function)는 3차원 형상을 나타내는 기본 함수로 사용될 수 있다.In statistical shape models, SPHARM-PDM is one of the tools to find matches between points of different objects. The tool can perform hierarchical global multi-scaling surface processing for 3D shape analysis. A 3D voxel is converted into a voxel mesh, and spherical parameters can be calculated under the conditions of optimizing area preservation and minimizing angular distortion. The simple harmonic function is the basic function of the Fourier transform, but the spherical harmonic function can be used as a basic function representing a three-dimensional shape.

푸리에 변환 주파수가 넓을수록 원래 함수의 정확한 재구성을 달성할 수 있으며, 상이한 각도에서 구형 조화를 트렁케이션(truncation)하면 객체의 원래 형상의 세부적인 사항을 나타낼 수 있게 된다.The wider the Fourier transform frequency, the more accurate reconstruction of the original function can be achieved, and the truncation of spherical harmonics at different angles makes it possible to reveal details of the original shape of the object.

볼륨 모델의 매개변수화는 상술한 도구를 구축하는 첫번째 단계이다. 이 과정에 대한 입력은 관심 있는 골격 구조의 이진 볼륨 분할 세트이다. 매개변수화의 첫번째는 분할 토폴러지의 유효성을 확인하는 것이다. 볼륨 내부에 빈 공간이 있거나 모퉁이 뚫린 구멍이 있을 수 있다. 토폴러지가 내부에 채워지지 않았으면, 파손된 부분은 수정해야 하는 경우, 프로그램은 최소한의 작업으로 채우기를 시도할 수 있다.Parameterization of the volume model is the first step in building the above-described tool. The input to this process is a set of binary volume segments of the skeletal structure of interest. The first step in parameterization is to check the validity of the partitioning topology. There may be empty space inside the volume or a hole in the corner. If the topology is not internally filled, and any broken parts need to be fixed, the program can attempt to fill it in with minimal work.

스무딩 작업 후, 볼륨은 포인트들로 변환되고, 표면은 등가 표면으로 매쉬된다. 왜곡 최소화 및 면적 보전 방법들을 사용하여 구형 매개변수가 계산될 수 있다. 표면 모델들은 구형 조화 함수로 설명할 수 있다.After the smoothing operation, the volume is converted to points and the surface is meshed into an equivalent surface. Spherical parameters can be calculated using distortion minimization and area conservation methods. Surface models can be described by spherical harmonic functions.

동시에 1차원 타원체 매개변수를 변경하고 내부 알고리즘들은 면적 및 왜곡 조건이 충족될 때까지 최적화될 수 있다. 해당 도구의 디스크립션은 프로세서에서 계산되면 삼각형 표면으로 세분화되는 정다면체로 샘플링될 수 있다. 이 과정에서 프로크루스테스 정렬이 형상 간의 대응을 매칭하기 위하여 적용될 수 있다.At the same time, the one-dimensional ellipsoid parameters can be changed and the internal algorithms can be optimized until the area and distortion conditions are met. The tool's description can be sampled as a regular polyhedron that, once computed on the processor, is subdivided into triangular surfaces. In this process, Procrustes sorting can be applied to match correspondences between shapes.

수학적으로 3차원 공간에서 구형 조화 함수를 사용한다. 구형 조화 함수는 다음과 같은 수학식 6과 같이 정의될 수 있다.Mathematically, it uses spherical harmonic functions in three-dimensional space. The spherical harmonic function can be defined as Equation 6 below.

여기서 Y_l^m은 구형 조화 함수, l은 차수(degree), m은 오더(order),이다. 그리고 A*는 A의 켤레 복소수이다. 그리고 Pa_l^m은 다음의 수학식 7과 같다.Here, Y_l^m is a spherical harmonic function, l is degree, m is order, am. And A* is the complex conjugate of A. And Pa_l^m is as shown in Equation 7 below.

객체의 표면을 나타내는 포인트들은 도구를 통해 분해될 수 있다. 분해된 표면은 아래와 같은 수학식 8과 같은 계수로 표현될 수 있다.Points representing the surface of an object can be decomposed using tools. The decomposed surface can be expressed by coefficients as shown in Equation 8 below.

여기서,는 표면이다.here, is the surface.

이론적으로 도구는 무한 차수까지 합산하여 원래 형상을 완벽하게 재구성할 수 있지만, 실제로는 불가능하다. 다만, 차수가 증가함에 따라 형상이 보다 구체적이게 된다는 점을 이용하여 형상을 일정 수준 이상까지 재구성할 수 있다.In theory, the tool can perfectly reconstruct the original shape by summing up to infinite orders, but in practice this is not possible. However, by taking advantage of the fact that the shape becomes more specific as the order increases, the shape can be reconstructed to a certain level or higher.

두번째 단계는 매개변수화에서 표면 모델을 구축하는 것이다. 이전 과정에서 계산된 SPHARM 디스크립션 계수를 사용하여, 구에서 균일한 샘플링을 통해 삼각 측량 표면을 얻을 수 있다. 정다면체의 세분화 수준은 정다면체의 포인트들과 포인트들 수로 시작하여 샘플링할 포인트를 결정할 수 있다.The second step is to build the surface model from the parameterization. Using the SPHARM description coefficients calculated in the previous process, the triangulated surface can be obtained through uniform sampling on the sphere. The level of granularity of a regular polyhedron can be determined starting with the points of the regular polyhedron and the number of points to sample.

세분화 수준이 증가함에 따라 보다 구형적인 형상을 가질 수 있다. 따라서, 샘플링할 포인트가 결정되면, 모델이 재귀적으로 세분될 때 세분화 수준(표 1에 도시됨)이 곱해질 수 있다. 임의의 재귀 수준은 일부 세분화 수준에 대응하지만 그 반대로는 유효하지 않다. 세분화 수준이 더 많은 재귀 수준에 대응하는 더 큰 값을 갖는 경우, 더 많은 계산이 필요하게 된다.As the level of granularity increases, it can have a more spherical shape. Therefore, once the points to sample are determined, the levels of refinement (shown in Table 1) can be multiplied as the model is recursively refined. Any level of recursion corresponds to some level of granularity, but the converse is not valid. If the level of granularity has larger values corresponding to more levels of recursion, more computations are required.

Recusive LevelRecusive LevelSubdivision levelSubdivision levelNumber of Points on the surfaceNumber of Points on the surface1One1One1212222242423344162162448864264255161625622562

통계적 형상 모델은 알려지지 않은 객체의 초기 형상을 재구성하거나 예측하는데 사용된다. 통계적 형상 모델에서 매개변수를 찾기 위한 단서는 많은 계산이 필요하지 않음으로, 적절한 시간 내에 최적화될 수 있다. 통계적 형상 모델은 객체 표면의 공간 데이터의 정보를 사용하지만, 전체 공간에 대한 밀도 데이터는 컴퓨팅 리소스가 충분한 경우에 유용하다. 밀도 기반 매칭에서는 각 복셀의 밀도 값이 사용될 수 있다. 따라서, 밀도 정보를 사용하기 위하여, 밀도 정보로 공간 영상을 만들기 위한 변형 가능한 모델이 요구된다.Statistical shape models are used to reconstruct or predict the initial shape of an unknown object. The clue to finding parameters in a statistical shape model does not require many calculations, so it can be optimized in a reasonable amount of time. Statistical shape models use information from spatial data on the object's surface, but density data for the entire space is useful when computing resources are sufficient. In density-based matching, the density value of each voxel can be used. Therefore, in order to use density information, a deformable model is required to create a spatial image using density information.

SSIM이 SSM의 주요한 차이점은 포인트들이 객체와 표면 내부에서 샘플링되고, 밀도 정보를 포함한다는 것이다. SSM을 생성하려면, 표면에 있는 포인트들의 대응이 충족되어야 한다. 마찬가지로, 객체 내부의 포인트들의 대응도 SSIM의 정확도에 큰 영향을 미칠 수 있다. 포인트들이 내부에서 샘플링된 후, 밀도 값들이 포인트 세트 벡터(X_j)에 스태킹될 수 있다.The main difference between SSIM and SSM is that points are sampled from inside objects and surfaces and include density information. To create an SSM, the correspondence of points on the surface must be satisfied. Likewise, the correspondence of points inside an object can also greatly affect the accuracy of SSIM. After the points are sampled internally, the density values can be stacked into the point set vector (X_j ).

통계적 형상 모델을 위한 모든 데이터 세트는 28개의 하지 CT 영상이 이용될 수 있다. 그리고, CT 영상에 대해서 경골, 거골 및 종골의 분할이 수행될 수 있다.All data sets for statistical shape models include 28 lower extremity CT images. Additionally, segmentation of the tibia, talus, and calcaneus can be performed on the CT image.

앞서 설명한 바와 같이 실패한 정렬은 객체 자체의 위치 변화로 설명될 수 있다. 형상의 랜드마크의 위치 변화는 중요하기 때문에, 피사체들 간의 정렬은 필수적이다.As explained earlier, failed alignment can be explained by changes in the position of the object itself. Because changes in the position of geometric landmarks are important, alignment between subjects is essential.

이진 공간 형식으로 데이터를 정렬하는 것은 이진 공간이 어레이 인덱스들로부터 공간 정보를 가지고 있기 때문에, 상대적으로 어렵지만, 다각형 매쉬 모델을 활용하여 정렬된 모델을 만들 수 있다.Sorting data in binary space format is relatively difficult because binary space contains spatial information from array indices, but it is possible to create a sorted model by utilizing a polygon mesh model.

도 3 및 도 4는 본 개시의 일 실시 예에 따른 정렬 동작을 설명하기 위한 도면이다.3 and 4 are diagrams for explaining an alignment operation according to an embodiment of the present disclosure.

프로크루스테스 정렬은 널리 사용되는 정렬 도구 중 하나지만, 도 3과 같이 초기 자세가 올바른 자세와 상이하면 잘못된 로컬 최소 값에서 최적화될 수 있다.Procrustes alignment is one of the widely used alignment tools, but it can be optimized at the wrong local minimum if the initial posture is different from the correct posture, as shown in Figure 3.

정렬의 잘못을 방지하기 위하여, SICP(scaled iterative closest point) 및 PCA를 수행할 수 있다. 이와 같은 과정을 통하여 수행된 정렬 결과는 도 4와 같다.To prevent alignment errors, SICP (scaled iterative closest point) and PCA can be performed. The alignment results performed through this process are shown in Figure 4.

정렬 이후에, 골격 모델의 표면에 있는 포인트들을 샘플링한다. 이를 위한 입력 파일은 이진 볼륨 영상이고, 출력값은 각 포인트의 3차원 위치 및 포인트들의 삼각 측량 인덱스를 포함하는 매쉬 모델이다. 매쉬들의 포인트들은 통계적 형상 모델의 하나의 백터가 될 수 있다.After alignment, we sample points on the surface of the skeleton model. The input file for this is a binary volume image, and the output value is a mesh model that includes the 3D location of each point and the triangulation index of the points. The points of the meshes can become a vector of a statistical shape model.

도 5는 본 개시에 따라 생성된 3D 모델의 예를 도시한 도면이다. 구체적으로, 도 5는 1차 주성분의 가중치 매개변수에 따라 생성된 통계적 형상 모델(SSM) 및 형상 변화의 예를 도시한다.Figure 5 is a diagram showing an example of a 3D model created according to the present disclosure. Specifically, Figure 5 shows an example of a statistical shape model (SSM) and shape changes generated according to the weight parameters of the first principal component.

형상의 표면만을 고려한 통계적 형상 모델의 설정은 상술한 과정을 통해 수행할 수 있다. 이후에는 모델 내부의 포인트들을 샘플링하는 과정이 필요하다. 또한, 도시에 피사체들 간의 대응을 위하여, 올바른 포인트를 선택해야 한다.Setting up a statistical shape model considering only the surface of the shape can be performed through the above-described process. Afterwards, a process of sampling the points inside the model is necessary. Additionally, for correspondence between subjects in the city, the correct point must be selected.

표면 아래의 레이어를 이용하는 이 문제를 해결할 수 있다. 피사체와 피사체 간의 상관관계가 알려졌다면, 침식된 모델들도 상관된 형상들로 가정할 수 있다.This problem can be solved by using a layer below the surface. If the correlation between objects is known, the eroded models can also be assumed to have correlated shapes.

이 가정은 표면들 내부에 포인트를 생성하는 것이다. 한 가지 종류의 골격에 대한 모든 피사체들은 동일한 수의 레이어를 가져야 하며, SPHARM-PDM은 각 레이어에 대해서 개별적인 포인트를 생성할 수 있다.This assumption is to create points inside surfaces. All subjects for one type of skeleton must have the same number of layers, and SPHARM-PDM can generate individual points for each layer.

모델 내부에 레이어들을 스테킹하기 위하여 두 가지 방법이 이용될 수 있다. 하나가는 볼륨의 골격을 사용하는 것이다. 각 골격에는 골격 구조가 있으며, 골격은 이진 볼륨 데이터 세트로 검색될 수 있다. 골격 형상은 피사체들에 따라 상이하므로 골격의 일반적인 가지 구조를 비교하여 주요 브랜치를 선택하고, 이 브랜치를 스무딩하고, 노이즈가 있는 트위그(twig)를 잘라냄으로써 템플릿 골격을 생성할 수 있다. 도 6은 선택된 주요 브랜치(1410)와 스무딩 처리된 결과(1420)을 도시한다.Two methods can be used to stack layers inside a model. One way is to use a volume skeleton. Each skeleton has a skeletal structure, and the skeleton can be retrieved as a binary volume data set. Since the shape of the skeleton varies depending on the subject, a template skeleton can be created by comparing the general branch structure of the skeleton, selecting major branches, smoothing these branches, and cutting out noisy twigs. Figure 6 shows the selected main branch 1410 and the smoothed result 1420.

그리고 도 7에 도시된 바와 같이 표면의 포인트와 골격의 가장 가까운 포인트들 사이의 선을 여러 레이어로 분리할 수 있다. 구체적으로, 1510과 같이 골격의 브랜치가 결정되면, 1520과 같이 해당 브랜치를 기준으로 표면의 포인트와 골격의 가장 가까운 포인트들이 결정될 수 있다. 그리고 1530과 같이 앞서 결정된 브랜치와 포인트를 이용하여 골격을 여러 레이어로 분리할 수 있다. 이와 같은 과정을 통하여 피사체들 간의 대응 관계를 상실하지 않고, 포인트들을 샘플링 할 수 있다.And as shown in Figure 7, the lines between the points on the surface and the closest points of the skeleton can be separated into several layers. Specifically, when a branch of the skeleton is determined as in 1510, the closest points of the surface and the skeleton may be determined based on the branch as in 1520. And, as shown in 1530, the skeleton can be separated into several layers using the branches and points determined previously. Through this process, points can be sampled without losing the correspondence between subjects.

한편, 스테킹을 위한 다른 방법은 거리 지도(distance map)를 사용하는 방법이다. 각 복셀은 표면 깊이를 가지며, 깊이 값에 따라 영역이 분할될 수 있다. 깊이 값은 사람마다 다를 수 있다. 볼륨이 분리하는 임계 값은 최대 값으로 정규화될 수 있다. 최대 값은 5일 수 있으며, 레이어 수가 10개인 경우, 영역 분할 기준은 0.5, 1, ... 4.5, 5일 수 있다. 이와 같은 스태킹 방법에 따른 처리 결과(1620)는 도 8과 같다.Meanwhile, another method for staking is to use a distance map. Each voxel has a surface depth, and the region can be divided according to the depth value. Depth values may vary from person to person. The threshold at which the volumes separate can be normalized to the maximum value. The maximum value can be 5, and when the number of layers is 10, the area division criteria can be 0.5, 1, ... 4.5, 5. The processing result 1620 according to this stacking method is shown in FIG. 8.

다만, 이 방식은 레이어의 일부분이 뾰족해질 수 있으며, 전체 볼륨이 두개로 분리되거나 구멍이 형성될 수 있는 것과 같이 토폴러지가 상이할 수 있다. 복셀들의 스파이크는 SPHARM-PDM 품질에 영향을 미칠 수 있는데, 이는 형상을 모두 표현하기 위해서는 더 높은 수준의 구형 조화 함수가 필요하기 때문이다.However, in this method, the topology may be different, such as a portion of the layer may be sharp, the entire volume may be divided into two, or a hole may be formed. Spikes in voxels can affect SPHARM-PDM quality because higher level spherical harmonic functions are needed to fully represent the shape.

따라서 거리 지도를 이용하는 경우에는 스무딩 처리를 추가적으로 수행할 수 있다. 더 깊은 레이어를 처리하는 경우, 스무딩 밀도는 더 커질 수 있다. 즉, 더 깊은 레이어는 형상 및 밀도에 대한 정보가 적어야 하기 때문이다. 도 9에는 스무딩 처리의 전(1710) 및 후(1720)의 이미지를 도시한다.Therefore, when using a distance map, smoothing processing can be additionally performed. When processing deeper layers, the smoothing density can be larger. That is, deeper layers require less information about shape and density. Figure 9 shows images before (1710) and after (1720) smoothing processing.

이와 같이 골격 내부에 대한 포인트가 산출되었으며, 밀도 정보가 병합되어야 한다. 각 포인트에 대해서 하나의 밀도 값으로 대응될 수 있다. 매쉬 및 볼륨의 두 좌표계 사이의 관계를 이용하여 특정 위치의 밀도 값을 얻을 수 있다. 좌표 위치 및 방향, 픽셀 크기들 및 슬라이스 두께와 같은 CT의 공간 정보가 원시 CT 영상에 저장되어 있다. 위의 정보를 잘 결합함으로써, 도 10과 같이 CT와 매쉬를 중첩할 수 있다. 구체적으로, 각 포인트의 밀도(CT Hounsfield unit)를 측정하고, 포인트들과 함께 측정된 밀도 값을 저장할 수 있다. PCA를 수행하기 위한 벡터에는 각 포인트의 좌표 및 CT 하운스 필드 단위(hounsfield unit)가 포함될 수 있다.In this way, points for the interior of the skeleton have been calculated, and the density information must be merged. Each point can be corresponded to one density value. Using the relationship between the two coordinate systems of the mesh and volume, the density value at a specific location can be obtained. Spatial information of CT, such as coordinate position and orientation, pixel sizes, and slice thickness, is stored in the raw CT image. By combining the above information well, CT and mesh can be overlapped as shown in Figure 10. Specifically, the density (CT Hounsfield unit) of each point can be measured and the measured density value can be stored along with the points. Vectors for performing PCA may include the coordinates of each point and CT Hounsfield units.

이러한 방식으로 개발된 SSIM은 엑스선 영상을 사용하여 2D-3D 처리를 수행하고, 엑스선 영상과 처리 결과를 비교하여 골격의 위치를 탐색하였다.SSIM developed in this way performed 2D-3D processing using X-ray images, and compared the X-ray images and processing results to explore the location of the skeleton.

본 개시에서는 CT 또는 CT로부터 생성한 골격 모델을 사용하지 않고, 앞서 생성한 SSIM만으로 골격을 정합하는 것이 가능하다.In the present disclosure, it is possible to register the skeleton only with the previously generated SSIM, without using CT or the skeleton model generated from CT.

엑스레이 이미지와 SSIM 간의 상관을 확인하기 위해서는 비용 함수가 계산되어야 한다. 비선형 최적화 문제는 계산된 비용함수를 이용하여 해결해야 한다. 이 과정을 위해서 모델에서 얻은 엑스선 영상과 유사한 영상이 필요하며, 이러한 영상은 DRR이다.To confirm the correlation between X-ray images and SSIM, a cost function must be calculated. Nonlinear optimization problems must be solved using the calculated cost function. For this process, images similar to the X-ray images obtained from the model are required, and these images are DRR.

먼저, 기존의 DRR의 생성 동작을 설명한다.First, the creation operation of the existing DRR is explained.

DRR은 CT에서 얻어진 볼륨 영상과 엑스선 영상을 대응하는데 사용된다. CT를 이용하여 골격의 데이터가 생성되면, 3D 그리드 내부의 밝기 값이 저장된다. DRR을 생성하는 알려진 방법은 광선 추적 방법이다. 해당 방법은 광선의 길이 및 복셀 중첩을 이용한다. 대응하는 복셀 밀도 값을 곱하고 순차적인 덧셈을 이용하여 높은 정확도를 갖는다. 그러나 CT와 같은 볼륨 데이터는 3차원 그리드의 경계에서 밀도 값이 불연속적으로 가변하면, 동일한 복셀 내에서 일정한 밀도 값이 가정되기 때문에, 실제 엑스선 영상하고 완전히 매칭되지는 않는다.DRR is used to correspond to volume images obtained from CT and X-ray images. When skeletal data is generated using CT, the brightness value inside the 3D grid is stored. A known method for generating DRR is ray tracing. The method uses ray length and voxel overlap. It has high accuracy by multiplying the corresponding voxel density values and using sequential addition. However, volume data such as CT does not completely match an actual X-ray image because if the density value varies discontinuously at the boundary of a 3D grid, a constant density value is assumed within the same voxel.

또한, 2차원-3차원 처리 등 다수의 영상을 연속적으로 생성하는 프로세서에서는 많은 양의 계산이 필요한 특성을 갖는다.Additionally, processors that continuously generate multiple images, such as 2D-3D processing, require a large amount of calculations.

한편, DRR을 생성하는 다른 방법은 삼선형 보간(trilinear interpolation) 을 사용하는 광선 추적 방식이다. 투영된 엑스선들에서 일정한 길이들로 포인트를 샘플링하고, 포인트의 밀도 값은 삼선형 보간을 통해 포인트 주변의 복셀로부터 얻을 수 있다. 엑스선의 감쇠는 얻은 밀도에 고정된 일정한 길이를 곱하고, 이를 누적하여 계산하는 방식이다. 앞선 방식과 비교할 때, 계산량을 감소시키지만 보간법을 사용하여 밀도 값을 얻는 만큼 영상의 품질은 저하되고, 밀도 값의 샘플링 역시 드물다. 삼선형 보간-기반 방법은 2차원-3차원 처리를 목표로 하는 연구에서 주로 사용되고 있다.Meanwhile, another method for generating DRR is a ray tracing method using trilinear interpolation. Points are sampled at constant lengths from the projected X-rays, and the density value of the point can be obtained from voxels around the point through trilinear interpolation. Attenuation of X-rays is calculated by multiplying the obtained density by a fixed length and accumulating it. Compared to the previous method, the amount of calculation is reduced, but the quality of the image deteriorates as the density value is obtained using interpolation, and sampling of the density value is also rare. Trilinear interpolation-based methods are mainly used in research targeting 2D-3D processing.

본 개시에서는 자 형상의 볼륨에서 DRR을 생성한다. 볼륨에서 DRR을 생성하는 것이 아니라, 포인트 및 밀도 값으로 구성된 SSIM을 이용한다. 이러한 점에서, 그리드 형상의 볼륨이 아닌 임의의 포인트 클라우드에서 DRR을 생성하는 방법이 요구된다.In this disclosure, DRR is generated from a ruler-shaped volume. Rather than generating DRR from the volume, it uses SSIM consisting of point and density values. In this respect, a method for generating DRR from a random point cloud rather than a grid-shaped volume is required.

기존의 광선 축적 방법을 사용하기 위해서, 데이터를 그리드 형태로 변화할 수 있지만, 보간을 통해 포인트 세트를 3차원 볼륨 형태로 변환하려면 많은 계산 리소스가 요구된다.To use traditional ray accumulation methods, the data can be transformed into a grid, but converting the point set into a three-dimensional volume through interpolation requires a lot of computational resources.

삼선형 보간을 사용한 광선 추적은, 인접한 복셀들의 밀도 값을 사용하여 스텝 길이를 곱하여 전체 광선을 통과하면서 감쇄를 계산한다. 각 복셀에 대응되는 포인트들은 그리드 포인트의 중심에 존재하지만, 그리드 포인트의 중심이 아니어도 본 방법을 사용할 때 사용할 수 있다. 따라서, 삼선형 보간으로 광선 추적을 방식을 모방하여 포인트 세트 및 밀도로 구성되는 SSIM의 광선 추적 방법을 이하에서 설명한다.Ray tracing using trilinear interpolation uses the density values of adjacent voxels and multiplies the step length to calculate attenuation as it passes through the entire ray. The points corresponding to each voxel exist at the center of the grid point, but they can be used when using this method even if they are not the center of the grid point. Therefore, the ray tracing method of SSIM, which consists of a point set and density by imitating the ray tracing method with trilinear interpolation, is described below.

카메라의 중심, 모델 및 영상 평면의 위치는 하나의 엑스선 영상을 생성하여, 알고리즘은 어떤 복셀들이 볼륨의 단일 엑스선에 의해 전송되는지 결정하여야 한다.The positions of the camera's center, model, and imaging plane produce a single X-ray image, so the algorithm must determine which voxels are transmitted by a single X-ray in the volume.

감쇠를 계산하려면 대응하는 복셀과의 중첩을 선행적으로 계산해야 한다. 통과된 복셀들의 밀도 값은 선형 보간을 사용하여 계산할 수 있다. 이때, 카메라의 중심이 볼륨 그리드 축을 따라 무한 거리에 있거나 엑스선이 볼륨 그리드 축에 수직 방향으로 조사된다는 가정한다. 이와 같은 과정은 복셀이 통과하는지 확인하면서 DRR을 생성하는데 필요한 계산량을 줄일 수 있다.To calculate attenuation, overlap with the corresponding voxel must be calculated in advance. Density values of passed voxels can be calculated using linear interpolation. At this time, it is assumed that the center of the camera is at an infinite distance along the volume grid axis or that X-rays are radiated in a direction perpendicular to the volume grid axis. This process can reduce the amount of computation required to generate DRR while checking whether voxels pass.

도 11은 다양한 투영 방향을 도시한 도면이다. 구체적으로, 도 11의 상단은 투영된 방향이 복셀의 축에 평행한 경우를 도시하고, 도 11의 하단은 투영된 방향이 복셀의 축에 평행하지 않는 경우를 도시한다.Figure 11 is a diagram showing various projection directions. Specifically, the top of FIG. 11 shows a case where the projected direction is parallel to the axis of the voxel, and the bottom of FIG. 11 shows a case where the projected direction is not parallel to the axis of the voxel.

도 11을 참조하면, 엑스선이 볼륨 그리드에 수직하지 않는다고 가정한다면, 엑스선이 복셀을 통과하는지 결정하는 것이 필요하나, 위에 도시된 바와 같이 수직 방향으로 조사된다는 가정을 하면, 어떤 복셀을 통과하는지를 결정하는데 필요한 계산량을 줄일 수 있게 된다.Referring to FIG. 11, if it is assumed that the X-ray is not perpendicular to the volume grid, it is necessary to determine whether the X-ray passes through a voxel, but if it is assumed that the The amount of calculation required can be reduced.

본 개시에서는 볼륨 데이터를 사용하지 않고, 3차원 포인트 그룹을 사용하기 때문에, 모든 포인트들의 좌표에 투영 행렬을 곱함으로써 프로젝터의 위치 중심을 변경할 수 있다.Since the present disclosure does not use volume data but uses a 3D point group, the position center of the projector can be changed by multiplying the coordinates of all points by a projection matrix.

따라서, 영상 평면의 위치와 카메라 중심의 좌표가 주어지면, 해당 투영 행렬을 계산하여 모든 포인트를 곱하고, 엑스선 감쇠 누적시 필요한 계산량을 단순화할 수 있다.Therefore, given the position of the image plane and the coordinates of the camera center, the corresponding projection matrix can be calculated, all points can be multiplied, and the amount of calculations required for X-ray attenuation accumulation can be simplified.

엑스선 감쇠량을 계산하기 위해서는 엑스선이 투과되는 객체의 선형 감쇠 계수(Linear Attenuation Coefficient, LAC)와 객체의 두께 정보가 필요하다. 투과 계체가 두 개 이상인 경우, 두께와 LAC를 곱한 값을 순차적으로 더하여, 수학식 9와 같이 최종 감쇠량을 계산할 수 있다. SSIM은 CT 하운드필드 단위의 정보를 가지고 있으며, 포인트들 사이에 엑스선이 통과한다. 해당 단위를 이용하여 각 포인트의 LAC가 수학식 10을 통하여 산출될 수 있다.In order to calculate the amount of X-ray attenuation, the Linear Attenuation Coefficient (LAC) of the object through which X-rays are transmitted and the thickness information of the object are required. If there are two or more penetrating bodies, the final attenuation can be calculated as shown in Equation 9 by sequentially adding the product of the thickness and LAC. SSIM has information in CT Houndfield units, and X-rays pass between the points. Using that unit, the LAC of each point can be calculated through Equation 10.

여기서, l은 객체의 두께이다.Here, l is the thickness of the object.

여기서, μ는 LAC이다.Here, μ is LAC.

엑스선이 통과한다고 판단되는 여러 포인트를 선택하여, 엑스선과 평행한 방향의 좌표 값들의 차이, 즉, 포인트들이 해당 포인트들의 LAC 사이의 거리를 수학식 9의 지수 항 내의 속하는 값으로 계산할 수 있다. 엑스선이 통과하는 포인트를 결정하는 기준은 그 포인트가 영상 평면으로부터, 엑스선이 통과하는 픽셀에서 특정 픽셀 반경 미만으로 투영되는지 여부이다.By selecting several points through which the X-ray is determined to pass, the difference between the coordinate values in the direction parallel to the The criterion for determining the point through which the X-ray passes is whether the point projects from the image plane to less than a certain pixel radius from the pixel through which the X-ray passes.

인접한 포인트들 사이의 거리를 계산하기 전에 영상 평면에서 가장 먼 포인트에서 가장 가까운 포인트들까지 거리 순서대로 포인트들을 정렬해야 한다. 포인트들 사이의 거리는 정렬된 순서에 따라 순차적으로 계산될 수 있다. 이 간격을 통과하는 동안, 두 포인트의 LAC 평균값에 해당하는 재료를 통과한 것으로 간주할 수 있다. 최종 엑스선 감쇠는 LAC와 거리의 곱을 순차적으로 추가하여 얻을 수 있다.Before calculating the distance between adjacent points, we need to sort the points in order of distance from the furthest point to the nearest point in the image plane. Distances between points can be calculated sequentially according to the sorted order. While passing through this interval, material equivalent to the LAC average of the two points can be considered to have passed. The final X-ray attenuation can be obtained by sequentially adding the product of LAC and distance.

모든 픽셀에 대해서 상술한 바와 같은 동작을 수행하면, 하나의 영상을 얻을 수 있다. 도 12는 상술한 바와 같은 동작을 정리한 알고리즘(2100)을 도시한 도면이다.If the above-described operation is performed for all pixels, one image can be obtained. FIG. 12 is a diagram illustrating an algorithm 2100 that summarizes the operations described above.

이하에서는 상술한 방식으로 생성된 DRR을 검증한다.Below, the DRR generated in the above-described manner is verified.

DRR이 올바르게 만들어졌는지를 확인하기 위하여, CT에서 생성된 DRR과 본 개시에 따라 일 실시 예에 따라 생성한 DRR을 상호 비교하였다. 유사성 비교 방식에는 상호 정보(Mutual information, MI), 그래디언트 차이(Gradient difference, GD), 그래디언트 교차 상관(Gradient crosos-correlation, GC) 등과 같은 다양한 비교 방식이 있다.In order to confirm whether the DRR was created correctly, the DRR generated in CT and the DRR generated according to an embodiment according to the present disclosure were compared. There are various similarity comparison methods such as mutual information (MI), gradient difference (GD), and gradient cross-correlation (GC).

이하에서는 각 비교 방식의 특징을 설명한다.Below, the characteristics of each comparison method are explained.

교차 상관은 영상의 각 픽셀의 밀도 값을 그대로 사용하므로, 영상들 간의 밀도 차이가 그 값에 있어서 큰 차이를 만들 수 있다. 마찬가지로, 이것은 노이즈에 민감한 비용 함수이다. 예를 들어, 사람의 눈에 똑같이 검은색으로 보이는 배경에서 약간 튀는 값이 있는 경우, NCC는 민감하게 반응한다.Since cross-correlation uses the density value of each pixel of an image, the difference in density between images can make a big difference in the value. Likewise, this is a cost function that is sensitive to noise. For example, if there is a value that stands out slightly from a background that appears equally black to the human eye, NCC reacts sensitively.

그래디언트 차이(GD)를 사용하려면, 이 메트릭에 Sobel 감지를 통한 경계가 필요하다. 3x3 Sobel 행렬은 영상에 컨볼루션이며, 그 결과가 영상들 간에 비교될 수 있다.To use gradient difference (GD), this metric requires bounding through Sobel detection. The 3x3 Sobel matrix is a convolution on the image, and the results can be compared across images.

그래디언트 상관을 사용하는 방법은 Sobel 감지를 통해 경계를 찾아내고 영상에 대한 3x3 Sobel 행렬의 컨볼루션을 찾아내서 교차 상관 수학식을 이용한다. 그래디언트 상관은 교차 상관 특성을 가지고 있기 때문에, 노이즈에 취약하고, 양호한 성능을 얻기 위해서는 필터링이 필요하다.The method using gradient correlation finds the boundary through Sobel detection, finds the convolution of the 3x3 Sobel matrix for the image, and uses the cross-correlation equation. Because gradient correlation has cross-correlation characteristics, it is vulnerable to noise and requires filtering to obtain good performance.

한편, 인간의 시각은 영상에서 구조를 도출하는데 특화되어 있기 때문에, 구조 정보의 왜곡 정도는 인식의 품질에 큰 영향을 미친다. 이것이 SSIM의 기본 가설이다. 구체적으로, 원본 영상 x와 왜곡된 영상 y의 휘도(l), 콘트라스트(c) 및 구조(s)를 비교할 수 있다.Meanwhile, since human vision is specialized in deriving structures from images, the degree of distortion of structural information has a significant impact on the quality of recognition. This is the basic hypothesis of SSIM. Specifically, the luminance (l), contrast (c), and structure (s) of the original image x and the distorted image y can be compared.

이하에서는 도 13을 참조하여 상술한 비교 결과를 설명한다.Hereinafter, the above-described comparison results will be described with reference to FIG. 13.

도 13 내지 15는 본 개시의 일 실시 예에 따른 생성한 DRR의 실험 결과를 도시한 도면이다. 구체적으로, 도 13의 제1 이미지(2210)는 기존의 방식으로 생성된 DRR이고, 제2 이미지 내지 제4 이미지는 제안된 방법으로 각각 (100000, 50000, 10000) 포인트를 이용하여 생성한 DRR이다.Figures 13 to 15 are diagrams showing experimental results of DRR generated according to an embodiment of the present disclosure. Specifically, the first image 2210 in FIG. 13 is a DRR generated using the existing method, and the second to fourth images are DRR generated using the proposed method using (100000, 50000, 10000) points, respectively. .

그리고 도 14은 생성된 DRR에 대하여 측정된 유사성을 도시한 도면이다.And Figure 14 is a diagram showing the similarity measured for the generated DRR.

도 13 및 도 14에서, 구조적 유사성 지수는 1에 가까울수록 원본에 유사하며, 나머지 지수들은 두 영상의 차이를 나타내므로 0에 가까울수록 원본에 유사함을 나타낸다.In Figures 13 and 14, the closer the structural similarity index is to 1, the more similar it is to the original. The remaining indices indicate the difference between the two images, so the closer they are to 0, the more similar they are to the original.

도 13을 참조하면, 본 개시에 따른 DRR은 이용하는 포인트의 수가 증가함에 따라서, 유사성이 향상됨을 확인할 수 있다. 즉, 사용한 포인트가 충분히 많은 상황에서는 기존의 DRR과 매우 높음을 확인할 수 있다.Referring to FIG. 13, it can be seen that the DRR according to the present disclosure improves similarity as the number of points used increases. In other words, in a situation where there are enough points used, it can be confirmed that the DRR is very high compared to the existing DRR.

도 15는 포인트 수와 DRR 생성에 필요한 시간과의 관계를 설명하기 위한 도면이다.Figure 15 is a diagram to explain the relationship between the number of points and the time required to generate DRR.

도 15를 참조하면, 각 포인트들에 대한 알고리즘의 반복 제약으로 인해 계산량은 포인트 수가 증가함에 따라 선형적으로 증가함을 확인할 수 있다.Referring to FIG. 15, it can be seen that the amount of calculation increases linearly as the number of points increases due to the algorithm's repetition constraints for each point.

도 13 내지 도 15의 내용을 종합적으로 살펴보면, 본 개시에 따른 DRR은 사용한 포인트가 많아 질수록 품질이 향상되나, 반대로 포인트가 많아 질수록 연산량 증가함에 따라 처리 시간이 증가한다. 이러한 점에서, 적절한 포인트 수를 이용하여 DRR을 사용하는 것이 필요하다.Looking at the contents of FIGS. 13 to 15 comprehensively, the quality of DRR according to the present disclosure improves as the number of points used increases, but on the contrary, as the number of points increases, the processing time increases as the amount of computation increases. In this respect, it is necessary to use DRR using an appropriate number of points.

도 14의 유사성 측정 메트릭의 그래프를 참조하면, 70000개 이상의 포인트들에서는 유의한 유사성 개선이 확인되지 않았다. 즉, 필요한 시간에 비해 영상의 정확도가 크게 높아지지 않는다는 점에서, 70000개의 포인트를 이용할 수 있으며, 7만 개 포인트보다 작은 4만 내지 7만 개 범위 내에서 DRR을 구현할 수 있다. 한편, 상술한 방식으로 단일 DRR을 생성하는데 22-25ms 가 소요되면, 기존의 DRR의 생성 시간이 14-19ms 라는 점과 비교하였을 때, 크게 상이한 수치는 아니다.Referring to the graph of the similarity measurement metric in FIG. 14, no significant similarity improvement was confirmed for more than 70000 points. In other words, given that the accuracy of the image does not increase significantly compared to the required time, 70,000 points can be used, and DRR can be implemented within the range of 40,000 to 70,000 points, which is less than 70,000 points. On the other hand, if it takes 22-25ms to generate a single DRR in the above-described manner, it is not a significantly different figure compared to the existing DRR generation time of 14-19ms.

이하에서는 골격 형상 및 자세 추정 방법에 대해서 설명한다.Below, the skeletal shape and posture estimation method will be described.

2D-3D 처리는 2차원 영상에서 골격의 3차원 위치를 찾는 일련의 방식이다. 대부분의 수술 계획 및 수술 이후의 평가는 엑스선 영상을 통하여 이루어진다. 엑스선 영상의 결과를 확인하고, 영상에 선을 그려 골격의 각도를 측정하고, 수술 후 목표 각도를 영상에 표시하는 등의 처리를 수행한다.2D-3D processing is a series of methods for finding the 3D position of a skeleton in a 2D image. Most surgical planning and post-operative evaluation are done through X-ray images. Processing such as checking the results of the X-ray image, measuring the angle of the skeleton by drawing a line on the image, and displaying the target angle after surgery on the image is performed.

2D-3D 처리 프로세서는 크게 두 가지 종류로 분류될 수 있다. 하나는 특징-기반 2D-3D 처리이고, 다른 하나는 밀도 기반 2D-3D 처리이다. 특징-기반 2D-3D 처리는 엑스선 영상에서 윤곽, 특징 포인트들 및 선과 같은 각종 특징을 찾고, 이러한 특징을 비교하는 것이다. 이 방법을 사용하려면 특징을 확실하게 찾아야 하는 제약이 있다. 윤곽을 사용하는 대부분의 정합 방법은 캐니 에지(canny edge)를 찾는 것으로 시작하여, 몇 가지 기술을 통해 골격의 윤곽을 더욱 두드러지게 하는 방법을 이용한다. 특징 포인트들을 사용하는 경우, 수동 검색 방법을 이용하거나, 기계 학습이나 신경망 모델을 이용하여 특징 포인트를 감지할 수도 있다.2D-3D processing processors can be broadly classified into two types. One is feature-based 2D-3D processing, and the other is density-based 2D-3D processing. Feature-based 2D-3D processing finds various features such as contours, feature points, and lines in X-ray images and compares these features. The limitation of using this method is that features must be found reliably. Most registration methods that use contours start by finding canny edges and then use several techniques to make the outlines of the skeleton more prominent. When using feature points, a manual search method may be used, or a machine learning or neural network model may be used to detect the feature points.

그러나 윤곽을 기반으로 한 처리 방법은 에지를 찾을 때 이상 값이 발생하고, 이러한 이상 값이 처리의 정밀도에 영향을 미친다. 그러나 에러 자체에서 이상 값을 제거하는 것은 어렵다. 2D-3D 처리를 위한 다른 방식인 밀도 기반 2D-3D 처리는 엑스선 영상 자체와 모델에서 얻은 DRR을 비교하고, DRR이 엑스선 영상과 유사하도록 위치를 변경하는 것이다. 기존의 DRR의 원본 영상은 CT 볼륨이고, 각 복셀은 밀도 값으로 채워지면, CT에서 엑스선 감쇠를 계산하여 DRR을 얻는 프로세스가 포함된다. 두 영상을 서로 비교해야 하기 때문에, 영상과 3차원 위치를 비교하는데 걸리는 시간이 특징 기반 처리보다 오래 걸린다. 따라서, 전체 처리 시간은 상대적으로 길지만, 전체 영상의 모든 정보가 활용된다는 점에서 장점이 있으며, 영상 내에서 수동으로 추가로 분할할 필요도 없다.However, contour-based processing methods generate outliers when finding edges, and these outliers affect the precision of processing. However, it is difficult to remove outliers from the error itself. Density-based 2D-3D processing, another method for 2D-3D processing, compares the X-ray image itself with the DRR obtained from the model, and changes the position of the DRR so that it is similar to the X-ray image. The original image of the existing DRR is a CT volume, and each voxel is filled with a density value, and the process of calculating the X-ray attenuation in the CT to obtain the DRR is included. Because the two images must be compared to each other, the time it takes to compare the image and 3D location takes longer than feature-based processing. Therefore, although the overall processing time is relatively long, the advantage is that all information in the entire image is utilized, and there is no need for additional manual segmentation within the image.

본 개시에서 이용하는 2D-3D 처리 방법은 다방향 또는 여러 방향으로 촬영한 엑스선 영상들에 사용하며, 골격의 형상이 결정되지 않았으면 골격의 형상, 위치 및 방향을 조정하여 초기 자세를 선택하여 찾아낼 수 있다.The 2D-3D processing method used in the present disclosure is used for You can.

투시 조영 영상(fluoroscopy image)에서 골격의 위치, 자세 및 형상을 찾으려면 다음과 같은 문제를 극복하여야 한다.To find the position, posture, and shape of the skeleton in a fluoroscopy image, the following problems must be overcome.

DRR을 생성할 때, 감쇠가 선형적으로 발생하는 것을 가정한다. 매체를 통과하는 길이 및 LAC도 추정값으로 실제 엑스레이 영상과 차이가 있을 수 있다. 또한, 실제 엑스선 영상은 산란, 빔 경화, 베일링 그레어(veiling glare) 효과의 영향으로 전체적으로 또는 부분적으로 밝아지거나 어두워지기 때문에 DRR에 의해 생성된 영상과 차이가 있다.When generating DRR, it is assumed that attenuation occurs linearly. The length and LAC passing through the medium are estimated values and may differ from actual X-ray images. Additionally, actual X-ray images differ from images generated by DRR because they are brightened or darkened entirely or partially due to scattering, beam hardening, and veiling glare effects.

피사체들이 움직이는 동안 투시 조영 영상을 촬영하기 때문에, 노출 시간에 따라 모션 블러가 발생할 수 있다. 발목 관절과 같이 크게 움직이지 않는 관절은 상대적으로 블러링이 적을 수 있으나, 엉덩이, 무릎, 관절 및 요추 등은 블러링(blurring)이 영향을 미칠수 있다.Because fluoroscopic contrast images are captured while the subjects are moving, motion blur may occur depending on the exposure time. Joints that do not move much, such as the ankle joint, may have relatively less blurring, but blurring may affect the hips, knees, joints, and lumbar spine.

생성된 SSIM에는 피부 또는 살 정보가 아닌 골격 정보만을 포함한다. 엑스선 영상에서 살, 힘줄, 피부의 영향은 골격에 비해 상대적으로 작으나, DRR과의 차이를 발생할 수 있다. 예를 들어, 발목과 같은 작은 골격이 있는 관절은, 골격들과 다른 골격들 사이의 중첩은 처리 과정에서 악영향을 미칠 수 있다.The generated SSIM contains only skeletal information, not skin or flesh information. The influence of flesh, tendons, and skin in X-ray images is relatively small compared to the skeleton, but may cause differences with DRR. For example, in joints with small bones, such as the ankle, the overlap between the bones and other bones can have detrimental effects during processing.

엑스선 관은 시야각이 제한되고, 시야각이 좁을수록 사람에게 방출되는 방사선량이 적어 영상의 모든 관심 영역을 촬영하는 것이 어렵다. 또한, 움직이는 상황에서 촬영되기 때문에, 관심 있는 관절이나 골격이 화면에 항상 나타나는 것은 아니다. 예를 들어, 골격이 절반만 보이거나, 화면에서 잘릴 수 있는데, 이러한 경우, 골격에 대한 완전한 정보가 없이 위치 및 형상이 정합되기 때문에 정확도가 떨어질 수 있다.The viewing angle of an Additionally, because the images are taken in a moving situation, the joints or bones of interest do not always appear on the screen. For example, the skeleton may be half visible or cut off on the screen, which can result in lower accuracy because the position and shape are matched without complete information about the skeleton.

영상을 비교할 때, MI, GD, GC, PI 등과 같은 영상들 간의 유사성을 계산하는 함수를 사용할 수 있다. 이중 최적화할 때는 가장 볼록한 메트릭을 선택하여 비용 함수로 사용할 수 있다. 최적화는 올바른 자세 및 형상을 찾아나기 위해 메트릭을 최대화하거나 최소화하는 매개변수를 검색할 수 있다. 이 매개변수는 영상을 만드는데 이용되며, 카메라 위치, 영상 평면의 공간 좌표, 해상도 및 골격 모델에 대한 정보를 포함할 수 있다.When comparing images, you can use functions that calculate the similarity between images, such as MI, GD, GC, PI, etc. When performing double optimization, the most convex metric can be selected and used as the cost function. Optimization can search for parameters that maximize or minimize metrics to find the correct pose and shape. These parameters are used to create the image and may include information about the camera position, spatial coordinates of the image plane, resolution, and skeletal model.

도 16은 2개의 엑스레이 영상을 이용하는 예를 설명하기 위한 도면이다.Figure 16 is a diagram for explaining an example of using two X-ray images.

도 16을 참조하면, 사람이 걸을 때, 다방향에서 발목에 엑스선을 통과시켜 엑스선 영상을 얻을 수 있다. 두 쌍의 엑스선 방사 수신기들에 대한 위치, 영상 평면의 좌표, 캘리브레이션 팬텀을 사용하여 저장될 수 있다.Referring to FIG. 16, when a person walks, an X-ray image can be obtained by passing X-rays through the ankle from multiple directions. The positions of the two pairs of X-ray radiation receivers, coordinates of the image plane, and a calibration phantom can be stored.

이와 같은 과정을 통하여 다방향에서 촬영된 영상을 획득할 수 있으며, 별도의 CT 영상을 통하여 표면 형상에 대한 데이터를 획득할 수 있다.Through this process, images taken in multiple directions can be acquired, and data on the surface shape can be obtained through a separate CT image.

그리고 각 골격의 3차원 자세와 형상의 결정을 위하여, 앞서 설명한 SSIM을 사용하여 DRR을 만들 수 있다. 이때, 생성한 DRR과 원본 엑스선 영상을 비교하였다. 이와 같은 과정을 통하여 생성한 DRR과 원본 엑스선 영상의 비교 결과는 도 17 내지 도 22와 같다.And to determine the 3D posture and shape of each skeleton, DRR can be created using the SSIM described above. At this time, the generated DRR was compared with the original X-ray image. The comparison results between the DRR generated through this process and the original X-ray image are shown in Figures 17 to 22.

6 자유도 매개변수를 하나씩 변경하여 50 쌍의 다방향 엑스선 영상들에 대해 생성되는 DRR과의 차이를 측정한 결과가 표시된다. 사용된 모든 유사성 메트릭은 영상들이 유사하므로 더 작은 값을 갖는다. 도시된 그림의 x 축은 6 자유도 매개변수 중 하나가 -5에서 5로 변경된 것을 나타낸다. y 축은 DRR과 실제 엑스선 영상 간의 유사성 메트릭의 계산된 값을 나타낸다.The results of measuring the difference from the DRR generated for 50 pairs of multidirectional X-ray images by changing the 6 degrees of freedom parameters one by one are displayed. All similarity metrics used have smaller values because the images are similar. The x-axis of the figure shown indicates that one of the six degree-of-freedom parameters is changed from -5 to 5. The y-axis represents the calculated value of the similarity metric between the DRR and the actual X-ray image.

빨간색 실선은 각 프레임에 대해 얻은 유사성의 평균이며, 밝은 빨간색 부분은 표준 편차를 나타낸다. 대부분의 유사성 메트릭이 6 자유도 매개변수의 참값을 가지면, 유사성 측정 값이 최소임을 확인할 수 있다. 구조적 유사성 지수는 각 프레임에 대한 6 가지 유사성 메트릭들 중 가장 볼록한 것으로 나타났다. 이러한 점에서, 2D-3D 정합 실험을 수행할 때 사용할 비용 함수로 구조적 유사성 지수(Structural similarity index)를 이용할 수 있다.The solid red line is the average of the similarities obtained for each frame, and the bright red part represents the standard deviation. If most of the similarity metrics have a true value of 6 degrees of freedom parameter, we can confirm that the similarity measure has a minimal value. The structural similarity index was found to be the most convex among the six similarity metrics for each frame. In this respect, the structural similarity index can be used as a cost function to be used when performing 2D-3D matching experiments.

영상을 만들 때의 자유도는 6이었다. 이들은 3개의 상대 위치 매개변수와 3개의 회전 매개변수이다. 병진 및 회전 매개변수의 규칙은 앞선 실험과 유사하다. 실험 2에서는 모델의 형상과 관련된 매개변수인 추가 매개변수가 필요하다. SSIM에서 모델을 생성할 때 사용할 수 있는 매개변수의 수는 27개이다.The degree of freedom when making the video was 6. These are three relative position parameters and three rotation parameters. The rules of translation and rotation parameters are similar to the previous experiment. In Experiment 2, an additional parameter is needed, a parameter related to the shape of the model. The number of parameters that can be used when creating a model in SSIM is 27.

그러나 PCA 특성으로 인해 27 개의 매개변수를 모두 사용하는 것은 이전의 여러 주요 성분들이 모델의 분산을 표현하기 때문에 최적화에 있어서 효율적이지 않다. 모든 골격의 발현율을 90 % 이상으로 만들기 위한 SSIM의 주요 성분의 개수는 10 개 이상이었으며, SSIM 구성시 10 개의 매개변수를 사용하도록 설정했다. 따라서, 이 실험에서 최적화된 매개변수의 수는 16 개이다.However, due to the nature of PCA, using all 27 parameters is not efficient in optimization because several previous principal components represent the model's variance. The number of main components of SSIM to make the expression rate of all skeletons more than 90% was more than 10, and 10 parameters were set to be used when constructing SSIM. Therefore, the number of optimized parameters in this experiment is 16.

2D-3D 정합 외에도, 대부분의 최적화 문제는 그 초기 값에 따라 다른 결과를 나타낸다. 따라서 여러 초기 값에서 최적화 성공 여부를 확인하고 이를 위해 무작위로 교란을 주었다. 교란의 크기를 설정하고 [-magnitude, +magnitude] 범위 내에서 동일한 확률로 16 개를 선택하고, 이 값을 실제 값에 더하여 초기 값을 설정하였다. 왜곡 크기의 단위는 변환 매개변수는 mm, 회전 매개변수는 각도, 형상 매개변수는 SSIM의 PCA 가중치이다. 실험은 각각 10, 15 및 20으로 설정된 교란 크기로 수행되었다. 실험은 두 부분으로 나뉜다. 하나는 형상 파라미터의 교란이 0으로 설정되어 있는 경우이고, 다른 하나는 형상 파라미터에 교란을 준 상태에서 정합이 수행되었는지 확인하는 것이다.Besides 2D-3D registration, most optimization problems show different results depending on their initial values. Therefore, we checked whether optimization was successful at various initial values and randomly perturbed for this purpose. The size of the disturbance was set and 16 were selected with equal probability within the [-magnitude, +magnitude] range, and this value was added to the actual value to set the initial value. The unit of the distortion size is mm for the translation parameter, angle for the rotation parameter, and SSIM's PCA weight for the shape parameter. Experiments were performed with the perturbation size set to 10, 15, and 20, respectively. The experiment is divided into two parts. One is when the disturbance of the shape parameter is set to 0, and the other is to check whether matching was performed with the shape parameter disturbed.

16 개의 매개변수를 최적화할 때, PSO(Particle Swarm Optimization)가 옵티마이저로서 사용될 수 있다.When optimizing the 16 parameters, PSO (Particle Swarm Optimization) can be used as the optimizer.

6 자유도 정합 결과를 정량화하고, 길이 오차 및 각도 오차의 크기를 계산할 수 있다. 그러나 SSIM 매개변수만으로 형상에 대한 최적화가 성공적으로 수행되었는지를 결정하기가 어렵기 때문에 Hausdorff 거리가 형상을 비교하기 위한 메트릭으로써 활용되었다. 이것은 3D 모델들 간의 거리를 측정하는 방법이다. 이것은 2D의 볼록 다각형과 3D의 볼록 다각형 모델 사이의 거리를 측정하는데 사용된다. 결과적으로 6 자유도 오차와 Hausdorff 거리가 제공된다The 6 degrees of freedom registration result can be quantified and the size of the length error and angle error can be calculated. However, because it is difficult to determine whether the optimization of the shape was successfully performed using only SSIM parameters, the Hausdorff distance was used as a metric to compare the shapes. This is a way to measure the distance between 3D models. It is used to measure the distance between a 2D convex polygon and a 3D convex polygon model. As a result, 6 degrees of freedom error and Hausdorff distance are given.

각 그래프의 y 축은 6 자유도 매개변수의 정합 오차를 나타낸다. 형상 매개변수가 고정된 경우, x, y, z의 중앙 변환 오차는 0.43, 0.27, 0.39 (mm)이며 x, y, z 축의 중앙 회전 오차는 각각 1.13, 0.62, 0.72 ˚이다. 형상 매개변수가 동시에 변경되는 경우, x, y, z의 중앙 변환 오차는 1.79, 2.06, 0.77 (mm)이며, x, y, z 축의 중앙 회전 오차는 각각 3.33, 3.38, 2.08 ˚이다. 정합된 모델의 중앙 Hausdorff 거리는 5.03mm이다.The y-axis of each graph represents the registration error of the six degree-of-freedom parameters. When the shape parameters are fixed, the central translation errors of x, y, and z are 0.43, 0.27, and 0.39 (mm), and the central rotation errors of x, y, and z axes are 1.13, 0.62, and 0.72 ˚, respectively. When the shape parameters change simultaneously, the central translation errors of x, y, and z are 1.79, 2.06, and 0.77 (mm), and the central rotation errors of the x, y, and z axes are 3.33, 3.38, and 2.08 ˚, respectively. The central Hausdorff distance of the registered model is 5.03 mm.

도 23은 형상 교란 없는 종골의 병진 오차 및 회전 오차를 도시한 도면, 도 24는 다양한 조건에 따른 엑스선 영상의 예를 도시한 도면이고, 도 25는 다양한 조건에 따른 모델링 형상의 예를 도시한 도면이다. 그리고 도 26은 형상 교란이 있는 종골의 병진, 회전 및 형상 오차를 도시한 도면이다.FIG. 23 is a diagram showing translation and rotation errors of the calcaneus without shape disturbance, FIG. 24 is a diagram showing examples of X-ray images according to various conditions, and FIG. 25 is a diagram showing examples of modeling shapes according to various conditions. am. And Figure 26 is a diagram showing the translation, rotation, and shape error of the calcaneus with shape disturbance.

도 23을 참조하면, 왼쪽 열은 본 제안된 방법에서 형상과 위치가 정렬된 예들 중 하나를 도시하고, 중간 열은 실측의 위치와 형상을 보여주고 오른쪽 열은 정합 전 초기 자세와 초기 형상을 보여준다.Referring to Figure 23, the left column shows one of the examples where the shape and position are aligned in the proposed method, the middle column shows the ground truth position and shape, and the right column shows the initial pose and initial shape before registration. .

형상 매개변수를 변경하지 않았을 때 평균 축 병진 오차와 평균 축 회전 오차는 각각 0.36mm와 0.82˚이고 그 결과는 도 32와 같다. 도 23은 형상 파라미터도 동시에 조정한 경우이다. 이 경우 평균 축 변환 오차와 평균 축 회전 오차는 1.54mm 및 2.98˚이고 평균 Hausdorff 거리는 5.93mm이다. 형상 매개변수가 동시에 조정되지 않는 상황의 결과에 비해 변환 및 회전 오차가 상대적으로 큼을 확인할 수 있다.When the shape parameters are not changed, the average axis translation error and average axis rotation error are 0.36 mm and 0.82 degrees, respectively, and the results are shown in Figure 32. Figure 23 shows a case where shape parameters are also adjusted simultaneously. In this case, the average axis translation error and average axis rotation error are 1.54 mm and 2.98 degrees, and the average Hausdorff distance is 5.93 mm. It can be seen that the translation and rotation errors are relatively large compared to the results in a situation where shape parameters are not adjusted simultaneously.

도 27은 본 개시의 일 실시 예에 따른 골격 예측 방법을 설명하기 위한 흐름도이다.Figure 27 is a flowchart for explaining a skeleton prediction method according to an embodiment of the present disclosure.

먼저, 동일한 객체에 대해서 다방향에서 촬영된 복수의 엑스선 영상을 수신한다(S3610). 이때, 복수의 촬영 장치의 위치 및 방향 정보가 함께 수신될 수 있으며, 이를 기초로 공간 투영 행렬을 연산할 수 있다. 구현시에는 외부 장치로부터 공간 투영 행렬에 대한 정보를 수신받을 수 있다.First, multiple X-ray images taken from multiple directions for the same object are received (S3610). At this time, location and direction information of a plurality of imaging devices may be received together, and a spatial projection matrix may be calculated based on this. When implemented, information about the spatial projection matrix can be received from an external device.

그리고 골격의 형상을 구성하기 위한 복수의 위치에 대한 포인트 정보 및 복수의 위치 각각의 밀도 값을 갖는 밀도 정보를 저장한다. 한편, 구현시에 포인트 정보 및 밀도 정보의 저장은 상술한 엑스선 영상의 수신 전에 수행될 수 있다.In addition, point information about a plurality of positions for configuring the shape of the skeleton and density information having a density value for each of the plurality of positions are stored. Meanwhile, when implemented, storage of point information and density information may be performed before receiving the above-described X-ray image.

그리고 수신된 복수의 엑스선 영상을 이용하여 골격의 3차원 자세를 예측한다. 구체적으로, 공간 투영 행렬과 수신된 복수의 엑스선 영상에서 계산된 골격의 특징점과 영역(구체적으로, 3차원 골격 영역)을 이용하여, 3차원 골격의 특징점 위치와 영역을 추출하고, 이에 기초하여 골격의 3차원 자세를 예측할 수 있다.Then, the three-dimensional posture of the skeleton is predicted using the plurality of received X-ray images. Specifically, the feature point positions and areas of the 3D skeleton are extracted using the spatial projection matrix and the feature points and areas of the skeleton calculated from the plurality of received X-ray images (specifically, the 3D skeleton area), and based on this, the skeleton The 3D posture can be predicted.

그리고 포인트 정보, 밀도 정보 및 예측된 3차원 자세에 기초하여 DRR을 생성한다. 구체적으로, 예측된 자세에 기초하여 엑스선 통과 축을 결정하고, 결정된 엑스선 통과 축 방향의 복수의 위치 및 복수의 위치 각각의 밀도 값에 기초하여 엑스선 감쇠량을 계산하여 DRR을 생성할 수 있다. 이때, 예측된 자세를 기준으로 6 자유도(Degree of Freedom)의 매개변수를 변경하여, 복수의 DRR을 생성할 수 있다.Then, DRR is generated based on point information, density information, and predicted 3D posture. Specifically, the X-ray passing axis may be determined based on the predicted posture, and the X-ray attenuation amount may be calculated based on the plurality of positions in the direction of the determined X-ray passing axis and the density values of each of the plurality of positions to generate the DRR. At this time, multiple DRRs can be generated by changing the parameters of 6 degrees of freedom based on the predicted posture.

생성된 DRR과 복수의 엑스선 영상을 비교하여(S3620), 골격 자세 및 형상을 추정한다(S3630). 구체적으로, 생성된 복수의 DRR과 복수의 엑스선 영상을 비교하고, 유사도가 높은 DRR의 매개변수를 이용하여 객체의 골격 자세를 추정할 수 있다.By comparing the generated DRR with multiple X-ray images (S3620), the skeletal posture and shape are estimated (S3630). Specifically, a plurality of generated DRRs can be compared with a plurality of X-ray images, and the skeletal posture of the object can be estimated using the parameters of the DRR with high similarity.

한편, 상술한 단계는 시간대에 따라 연속적으로 수행될 수 있으며, 시간대에 따라 추정된 골격 자세를 이용하여 객체의 자세 변화를 추정할 수 있다. 이와 과정 중에서 초기 골격 자세가 추정되면, 추정된 초기 골격 자세를 기준으로 DRR의 매개변수(또는 골격의 자세 변수)를 설정할 수 있다.Meanwhile, the above-described steps can be performed continuously depending on the time zone, and the change in the posture of the object can be estimated using the skeletal posture estimated according to the time zone. If the initial skeletal posture is estimated during this process, the DRR parameters (or skeletal posture variables) can be set based on the estimated initial skeletal posture.

따라서, 본 실시 예에 따른 골격 추정 방법은 두 방향 연속 엑스선 영상에서 추출한 정밀한 골격의 3차원 운동 정보를 이용하여 관절의 동적 불안정성을 측정할 수 있다. 이를 이용하여 임상적 치료 방법을 결정하는데 도움을 줄 수 있다. 도 27과 같은 골격 추정 방법은 도 1의 구성을 가지는 전자 장치상에서 실행될 수 있으며, 그 밖의 다른 구성을 가지는 전자 장치상에서도 실행될 수 있다.Therefore, the skeletal estimation method according to this embodiment can measure the dynamic instability of joints using precise 3D motion information of the skeleton extracted from two-directional continuous X-ray images. This can be used to help determine clinical treatment methods. The skeleton estimation method shown in FIG. 27 can be executed on an electronic device having the configuration of FIG. 1, and can also be executed on an electronic device having another configuration.

또한, 상술한 바와 같은 골격 추정 방법은 컴퓨터에서 실행될 수 있는 실행 가능한 알고리즘을 포함하는 프로그램으로 구현될 수 있고, 상술한 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.In addition, the skeleton estimation method as described above may be implemented as a program including an executable algorithm that can be executed on a computer, and the above-described program may be stored and provided in a non-transitory computer readable medium. You can.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.A non-transitory readable medium refers to a medium that stores data semi-permanently and can be read by a device, rather than a medium that stores data for a short period of time, such as registers, caches, and memories. Specifically, programs for performing the various methods described above may be stored and provided in non-transitory readable media such as CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, etc.

또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.In addition, although the preferred embodiments of the present disclosure have been shown and described above, the present disclosure is not limited to the specific embodiments described above, and the technical field to which the disclosure pertains without departing from the gist of the present disclosure as claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be understood individually from the technical idea or perspective of the present disclosure.

100 : 전자 장치 110 : 통신 장치
120 : 메모리130 : 디스플레이
140 : 조작 입력 장치150 : 프로세서100: electronic device 110: communication device
120: memory 130: display
140: operation input device 150: processor

Claims (20)

Translated fromKorean

동일한 객체에 대해서 다방향에서 촬영된 복수의 엑스선 영상을 수신하는 통신 장치;
골격의 형상을 구성하기 위한 복수의 위치에 대한 포인트 정보 및 상기 복수의 위치 각각의 밀도 값을 갖는 밀도 정보를 저장하는 메모리; 및
상기 수신된 복수의 엑스선 영상을 이용하여 골격의 3차원 자세를 예측하고, 상기 포인트 정보, 밀도 정보 및 상기 예측된 3차원 자세에 기초하여 DRR을 생성하고, 상기 생성된 DRR과 상기 복수의 엑스선 영상을 비교하여 골격 자세 및 형상을 추정하는 프로세서;를 포함하고,
상기 포인트 정보는 상기 골격의 표면 내부에 위치하는 복수의 포인트에 대한 좌표 정보를 포함하고,
상기 밀도 정보는,
상기 복수의 포인트 각각에 대해서 해당 포인트를 구성하는 기설정된 크기의 공간의 밀도 값을 갖는 전자 장치.A communication device that receives a plurality of X-ray images taken from multiple directions for the same object;
a memory that stores point information about a plurality of positions for configuring the shape of a skeleton and density information having a density value for each of the plurality of positions; and
Predicting a three-dimensional posture of a skeleton using the received plurality of X-ray images, generating a DRR based on the point information, density information, and the predicted three-dimensional posture, and generating the generated DRR and the plurality of X-ray images. A processor that compares and estimates the skeletal posture and shape;
The point information includes coordinate information for a plurality of points located inside the surface of the skeleton,
The density information is,
An electronic device having, for each of the plurality of points, a density value of a space of a preset size constituting the point.삭제delete동일한 객체에 대해서 다방향에서 촬영된 복수의 엑스선 영상을 수신하는 통신 장치;
골격의 형상을 구성하기 위한 복수의 위치에 대한 포인트 정보 및 상기 복수의 위치 각각의 밀도 값을 갖는 밀도 정보를 저장하는 메모리; 및
상기 수신된 복수의 엑스선 영상을 이용하여 골격의 3차원 자세를 예측하고, 상기 포인트 정보, 밀도 정보 및 상기 예측된 3차원 자세에 기초하여 DRR을 생성하고, 상기 생성된 DRR과 상기 복수의 엑스선 영상을 비교하여 골격 자세 및 형상을 추정하는 프로세서;를 포함하고,
상기 프로세서는,
상기 예측된 자세에 기초하여 엑스선 통과 축을 결정하고, 상기 결정된 엑스선 통과 축 방향의 복수의 위치 및 상기 복수의 위치 각각의 밀도 값에 기초하여 엑스선 감쇠량을 계산하여 상기 DRR을 생성하는 전자 장치.A communication device that receives a plurality of X-ray images taken from multiple directions for the same object;
a memory that stores point information about a plurality of positions for configuring the shape of a skeleton and density information having a density value for each of the plurality of positions; and
Predicting a three-dimensional posture of a skeleton using the received plurality of X-ray images, generating a DRR based on the point information, density information, and the predicted three-dimensional posture, and generating the generated DRR and the plurality of X-ray images. A processor that compares and estimates the skeletal posture and shape;
The processor,
An electronic device that generates the DRR by determining an X-ray passing axis based on the predicted posture and calculating an X-ray attenuation amount based on a plurality of positions in the determined X-ray passing axis direction and density values of each of the plurality of positions.제3항에 있어서,
상기 프로세서는,
상기 예측된 자세를 기준으로 6 자유도의 매개변수를 변경하여, 복수의 DRR을 생성하는 전자 장치.According to paragraph 3,
The processor,
An electronic device that generates a plurality of DRRs by changing parameters of 6 degrees of freedom based on the predicted posture.제4항에 있어서,
상기 프로세서는,
상기 생성된 복수의 DRR과 상기 복수의 엑스선 영상을 비교하고, 유사도가 높은 DRR의 매개변수를 이용하여 상기 객체의 골격 자세를 추정하는 전자 장치.According to paragraph 4,
The processor,
An electronic device that compares the generated plurality of DRRs with the plurality of X-ray images and estimates the skeletal posture of the object using parameters of the DRRs with high similarity.제5항에 있어서,
상기 프로세서는,
구조적 유사성 지수(structural similarity index)를 포함한 이미지 간 유사도를 이용하여 엑스선 영상과 DRR을 비교하는 전자 장치.According to clause 5,
The processor,
An electronic device that compares X-ray images and DRR using similarity between images, including the structural similarity index.동일한 객체에 대해서 다방향에서 촬영된 복수의 엑스선 영상을 수신하는 통신 장치;
골격의 형상을 구성하기 위한 복수의 위치에 대한 포인트 정보 및 상기 복수의 위치 각각의 밀도 값을 갖는 밀도 정보를 저장하는 메모리; 및
상기 수신된 복수의 엑스선 영상을 이용하여 골격의 3차원 자세를 예측하고, 상기 포인트 정보, 밀도 정보 및 상기 예측된 3차원 자세에 기초하여 DRR을 생성하고, 상기 생성된 DRR과 상기 복수의 엑스선 영상을 비교하여 골격 자세 및 형상을 추정하는 프로세서;를 포함하고,
상기 통신 장치는,
복수의 촬영 장치의 위치 및 방향 정보를 수신하고,
상기 프로세서는,
상기 수신한 위치 및 방향 정보를 이용하여 공간 투영 행렬을 연산하는 전자 장치.A communication device that receives a plurality of X-ray images taken from multiple directions for the same object;
a memory that stores point information about a plurality of positions for configuring the shape of a skeleton and density information having a density value for each of the plurality of positions; and
Predicting a three-dimensional posture of a skeleton using the received plurality of X-ray images, generating a DRR based on the point information, density information, and the predicted three-dimensional posture, and generating the generated DRR and the plurality of X-ray images. A processor that compares and estimates the skeletal posture and shape;
The communication device is,
Receive location and direction information of a plurality of photographing devices,
The processor,
An electronic device that calculates a spatial projection matrix using the received position and direction information.제7항에 있어서,
상기 프로세서는,
상기 수신된 복수의 엑스선 영상에서 골격 특징점 및 3차원 골격 영역을 추출하고, 상기 공간 투영 행렬, 상기 추출된 골격 특징점 및 3차원 골격 영역에 기초하여 골격의 3차원 자세를 예측하는 전자 장치.In clause 7,
The processor,
An electronic device for extracting skeletal feature points and 3D skeletal regions from the plurality of received X-ray images, and predicting a 3D posture of the skeleton based on the spatial projection matrix and the extracted skeletal feature points and 3D skeletal regions.제8항에 있어서,
상기 프로세서는,
표준 다관절 골격 모델을 이용하여 골격의 생리학적 자세별 골격 자세 및 골격 특징점들의 3차원 위치를 생성하고, 상기 생성된 골격 자세 및 골격 특징점들을 상기 수신한 복수의 엑스선 영상에 투영하여 상기 엑스선 영상에서 추출된 골격 특징점 및 3차원 골격 영역과 비교하고, 상기 비교 결과에 따라 골격의 3차원 자세를 예측하는 전자 장치.According to clause 8,
The processor,
Using a standard multi-joint skeleton model, the three-dimensional positions of skeletal postures and skeletal feature points for each physiological posture of the skeleton are generated, and the generated skeletal postures and skeletal feature points are projected onto the received plurality of X-ray images. An electronic device that compares extracted skeletal feature points and 3D skeletal areas and predicts the 3D posture of the skeleton according to the comparison result.동일한 객체에 대해서 다방향에서 촬영된 복수의 엑스선 영상을 수신하는 통신 장치;
골격의 형상을 구성하기 위한 복수의 위치에 대한 포인트 정보 및 상기 복수의 위치 각각의 밀도 값을 갖는 밀도 정보를 저장하는 메모리; 및
상기 수신된 복수의 엑스선 영상을 이용하여 골격의 3차원 자세를 예측하고, 상기 포인트 정보, 밀도 정보 및 상기 예측된 3차원 자세에 기초하여 DRR을 생성하고, 상기 생성된 DRR과 상기 복수의 엑스선 영상을 비교하여 골격 자세 및 형상을 추정하는 프로세서;를 포함하고,
상기 통신 장치는,
상기 객체의 이동중에 연속 및 다방향으로 촬영된 복수의 엑스선 영상을 수신하고,
상기 프로세서는,
시간대별 추정된 골격 형상 및 자세에 기초하여 상기 객체의 자세 변화를 추정하는 전자 장치.A communication device that receives a plurality of X-ray images taken from multiple directions for the same object;
a memory that stores point information about a plurality of positions for configuring the shape of a skeleton and density information having a density value for each of the plurality of positions; and
Predicting a three-dimensional posture of a skeleton using the received plurality of X-ray images, generating a DRR based on the point information, density information, and the predicted three-dimensional posture, and generating the generated DRR and the plurality of X-ray images. A processor that compares and estimates the skeletal posture and shape;
The communication device is,
Receiving a plurality of X-ray images taken continuously and in multiple directions while the object is moving,
The processor,
An electronic device that estimates a change in posture of the object based on the estimated skeletal shape and posture over time.제10항에 있어서,
상기 프로세서는,
특정 시간대에 대한 골격 형상 및 자세가 추정되면, 상기 시간대 이후의 추정과정에서는 상기 추정된 골격 형상 및 자세를 고려하여 각 골격의 자세 변수를 설정하는 전자 장치.According to clause 10,
The processor,
An electronic device that, when the skeletal shape and posture for a specific time period are estimated, sets the posture variables of each skeleton in consideration of the estimated skeletal shape and posture in the estimation process after the time period.동일한 객체에 대해서 다방향에서 촬영된 복수의 엑스선 영상을 수신하는 단계;
골격의 형상을 구성하기 위한 복수의 위치에 대한 포인트 정보 및 상기 복수의 위치 각각의 밀도 값을 갖는 밀도 정보를 저장하는 단계;
상기 수신된 복수의 엑스선 영상을 이용하여 골격의 3차원 자세를 예측하는 단계;
상기 포인트 정보, 밀도 정보 및 상기 예측된 3차원 자세에 기초하여 DRR을 생성하는 단계; 및
상기 생성된 DRR과 상기 복수의 엑스선 영상을 비교하여 골격 자세 및 형상을 추정하는 단계;를 포함하고,
상기 포인트 정보는 상기 골격의 표면 내부에 위치하는 복수의 포인트에 대한 좌표 정보를 포함하고,
상기 밀도 정보는,
상기 복수의 포인트 각각에 대해서 해당 포인트를 구성하는 기설정된 크기의 공간의 밀도 값을 갖는 골격 추정 방법.Receiving a plurality of X-ray images taken in multiple directions for the same object;
Storing point information about a plurality of positions for configuring the shape of a skeleton and density information having a density value for each of the plurality of positions;
predicting a three-dimensional posture of a skeleton using the received plurality of X-ray images;
generating a DRR based on the point information, density information, and the predicted 3D posture; and
Comprising the generated DRR and the plurality of X-ray images to estimate the skeletal posture and shape,
The point information includes coordinate information for a plurality of points located inside the surface of the skeleton,
The density information is,
A skeleton estimation method that has, for each of the plurality of points, a density value of a space of a preset size constituting the point.동일한 객체에 대해서 다방향에서 촬영된 복수의 엑스선 영상을 수신하는 단계;
골격의 형상을 구성하기 위한 복수의 위치에 대한 포인트 정보 및 상기 복수의 위치 각각의 밀도 값을 갖는 밀도 정보를 저장하는 단계;
상기 수신된 복수의 엑스선 영상을 이용하여 골격의 3차원 자세를 예측하는 단계;
상기 포인트 정보, 밀도 정보 및 상기 예측된 3차원 자세에 기초하여 DRR을 생성하는 단계; 및
상기 생성된 DRR과 상기 복수의 엑스선 영상을 비교하여 골격 자세 및 형상을 추정하는 단계;를 포함하고,
상기 DRR을 생성하는 단계는,
상기 예측된 자세에 기초하여 엑스선 통과 축을 결정하고, 상기 결정된 엑스선 통과 축 방향의 복수의 위치 및 상기 복수의 위치 각각의 밀도 값에 기초하여 엑스선 감쇠량을 계산하여 상기 DRR을 생성하는 골격 추정 방법.Receiving a plurality of X-ray images taken in multiple directions for the same object;
Storing point information about a plurality of positions for configuring the shape of a skeleton and density information having a density value for each of the plurality of positions;
predicting a three-dimensional posture of a skeleton using the received plurality of X-ray images;
generating a DRR based on the point information, density information, and the predicted 3D posture; and
Comprising the generated DRR and the plurality of X-ray images to estimate the skeletal posture and shape,
The step of generating the DRR is,
A skeleton estimation method for generating the DRR by determining an X-ray passing axis based on the predicted posture and calculating an X-ray attenuation amount based on a plurality of positions in the determined X-ray passing axis direction and density values of each of the plurality of positions.제13항에 있어서,
상기 DRR을 생성하는 단계는,
상기 예측된 자세를 기준으로 6 자유도의 매개변수를 변경하여, 복수의 DRR을 생성하는 골격 추정 방법.According to clause 13,
The step of generating the DRR is,
A skeleton estimation method that generates multiple DRRs by changing parameters of 6 degrees of freedom based on the predicted posture.제14항에 있어서,
상기 골격 자세 및 형상을 추정하는 단계는,
상기 생성된 복수의 DRR과 상기 복수의 엑스선 영상을 비교하고, 유사도가 높은 DRR의 매개변수를 이용하여 상기 객체의 골격 자세를 추정하는 골격 추정 방법.According to clause 14,
The step of estimating the skeletal posture and shape is,
A skeletal estimation method for comparing the generated plurality of DRRs with the plurality of X-ray images and estimating the skeletal posture of the object using parameters of DRRs with high similarity.골격 추정 방법에 있어서,
동일한 객체에 대해서 다방향에서 촬영된 복수의 엑스선 영상을 수신하는 단계;
골격의 형상을 구성하기 위한 복수의 위치에 대한 포인트 정보 및 상기 복수의 위치 각각의 밀도 값을 갖는 밀도 정보를 저장하는 단계;
상기 수신된 복수의 엑스선 영상을 이용하여 골격의 3차원 자세를 예측하는 단계;
상기 포인트 정보, 밀도 정보 및 상기 예측된 3차원 자세에 기초하여 DRR을 생성하는 단계; 및
상기 생성된 DRR과 상기 복수의 엑스선 영상을 비교하여 골격 자세 및 형상을 추정하는 단계;를 포함하고,
상기 골격 추정 방법은,
복수의 촬영 장치의 위치 및 방향 정보를 수신하는 단계; 및
상기 수신한 위치 및 방향 정보를 이용하여 공간 투영 행렬을 연산하는 단계;를 더 포함하는 골격 추정 방법.In the skeleton estimation method,
Receiving a plurality of X-ray images taken in multiple directions for the same object;
Storing point information about a plurality of positions for configuring the shape of a skeleton and density information having a density value for each of the plurality of positions;
predicting a three-dimensional posture of a skeleton using the received plurality of X-ray images;
generating a DRR based on the point information, density information, and the predicted 3D posture; and
Comprising the generated DRR and the plurality of X-ray images to estimate the skeletal posture and shape,
The skeleton estimation method is,
Receiving location and direction information of a plurality of photographing devices; and
A skeleton estimation method further comprising calculating a spatial projection matrix using the received position and direction information.제16항에 있어서,
상기 3차원 자세를 예측하는 단계는,
상기 수신된 복수의 엑스선 영상에서 골격 특징점 및 3차원 골격 영역을 추출하고, 상기 공간 투영 행렬, 상기 추출된 골격 특징점 및 3차원 골격 영역에 기초하여 골격의 3차원 자세를 예측하는 골격 추정 방법.According to clause 16,
The step of predicting the 3D posture is,
A skeleton estimation method for extracting skeletal feature points and 3D skeletal regions from the plurality of received X-ray images, and predicting a 3D posture of the skeleton based on the spatial projection matrix and the extracted skeletal feature points and 3D skeletal regions.골격 추정 방법에 있어서,
동일한 객체에 대해서 다방향에서 촬영된 복수의 엑스선 영상을 수신하는 단계;
골격의 형상을 구성하기 위한 복수의 위치에 대한 포인트 정보 및 상기 복수의 위치 각각의 밀도 값을 갖는 밀도 정보를 저장하는 단계;
상기 수신된 복수의 엑스선 영상을 이용하여 골격의 3차원 자세를 예측하는 단계;
상기 포인트 정보, 밀도 정보 및 상기 예측된 3차원 자세에 기초하여 DRR을 생성하는 단계; 및
상기 생성된 DRR과 상기 복수의 엑스선 영상을 비교하여 골격 자세 및 형상을 추정하는 단계;를 포함하고,
상기 수신하는 단계는,
상기 객체의 이동중에 연속 및 다방향으로 촬영된 복수의 엑스선 영상을 수신하고,
상기 골격 추정 방법은,
시간대별 추정된 골격 형상 및 자세에 기초하여 상기 객체의 자세 변화를 추정하는 단계;를 더 포함하는 골격 추정 방법.In the skeleton estimation method,
Receiving a plurality of X-ray images taken in multiple directions for the same object;
Storing point information about a plurality of positions for configuring the shape of a skeleton and density information having a density value for each of the plurality of positions;
predicting a three-dimensional posture of a skeleton using the received plurality of X-ray images;
generating a DRR based on the point information, density information, and the predicted 3D posture; and
Comprising the generated DRR and the plurality of X-ray images to estimate the skeletal posture and shape,
The receiving step is,
Receiving a plurality of X-ray images taken continuously and in multiple directions while the object is moving,
The skeleton estimation method is,
Skeleton estimation method further comprising: estimating a change in posture of the object based on the estimated skeletal shape and posture over time.제18항에 있어서,
특정 시간대에 대한 골격 형상 및 자세가 추정되면, 상기 시간대 이후의 추정과정에서는 상기 추정된 골격 형상 및 자세를 고려하여 각 골격의 자세 변수를 설정하는 단계;를 더 포함하는 골격 추정 방법.According to clause 18,
When the skeletal shape and posture are estimated for a specific time period, in the estimation process after the time period, setting the posture variables of each skeleton by considering the estimated skeletal shape and posture.골격 추정 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서,
상기 골격 추정 방법은,
골격의 형상을 구성하기 위한 복수의 위치에 대한 포인트 정보 및 상기 복수의 위치 각각의 밀도 값을 갖는 밀도 정보를 저장하는 단계;
동일한 객체에 대해서 다방향에서 촬영된 복수의 엑스선 영상이 수신되면, 상기 수신된 복수의 엑스선 영상을 이용하여 골격의 3차원 자세를 예측하는 단계;
상기 포인트 정보, 밀도 정보 및 상기 예측된 3차원 자세에 기초하여 DRR을 생성하는 단계; 및
상기 생성된 DRR과 상기 복수의 엑스선 영상을 비교하여 골격 자세 및 형상을 추정하는 단계;를 포함하고,
상기 포인트 정보는 상기 골격의 표면 내부에 위치하는 복수의 포인트에 대한 좌표 정보를 포함하고,
상기 밀도 정보는,
상기 복수의 포인트 각각에 대해서 해당 포인트를 구성하는 기설정된 크기의 공간의 밀도 값을 갖는 컴퓨터 판독가능 기록매체.

In the computer-readable recording medium containing a program for executing a skeletal estimation method,
The skeleton estimation method is,
Storing point information about a plurality of positions for configuring the shape of a skeleton and density information having a density value for each of the plurality of positions;
When receiving a plurality of X-ray images taken in multiple directions for the same object, predicting a three-dimensional posture of a skeleton using the received plurality of X-ray images;
generating a DRR based on the point information, density information, and the predicted 3D posture; and
Comprising the generated DRR and the plurality of X-ray images to estimate the skeletal posture and shape,
The point information includes coordinate information for a plurality of points located inside the surface of the skeleton,
The density information is,
A computer-readable recording medium having, for each of the plurality of points, a density value of a space of a preset size constituting the point.