본 발명은 환자 맞춤형 3차원 모델 생성 방법에 관한 것으로, 보다 상세하게는, 전기 자극 요법(electrotherapeutic)에 대한 치료계획(treatment planning)을 세우거나 체내 물리량에 대해 시뮬레이션(simulation)을 하기 위한 환자 맞춤형 3차원 모델 생성 방법에 관한 것이다.The present invention relates to a method for generating a patient-customized three-dimensional model, and more specifically, to create a treatment plan for electrotherapeutic therapy or to simulate physical quantities in the body. It is about how to create a dimensional model.
경두개 직류자극술(Transcranial Direct Current Stimulation), 경두개 자기자극술(Transcranial Magnetic Stimulation), 전기장 종양치료술(Tumor Treating Fields) 및 고주파 온열 암치료술(Hyperthermia) 등의 전기 자극 요법에 대한 치료 계획을 세우기 위해서는 타겟 볼륨의 내부 또는 표면에서의 특정 물리량(전압, 전류, 전기장, 온도, 또는 열유량)을 계산할 필요가 있다. 체내에 전달되는 물리량의 분포를 계산하기 위해 유한요소법(Finite Element Method)이나 유한차분법(Finite Difference Method)을 사용할 수 있으며, 이를 위해서는 환자에 대한 3차원 모델을 세울 필요가 있다.To create a treatment plan for electrical stimulation therapies such as Transcranial Direct Current Stimulation, Transcranial Magnetic Stimulation, Tumor Treatment Fields, and Hyperthermia, target It is necessary to calculate certain physical quantities (voltage, current, electric field, temperature, or heat flow) inside or on the surface of the volume. The finite element method or finite difference method can be used to calculate the distribution of physical quantities transmitted to the body, and for this, it is necessary to establish a three-dimensional model of the patient.
의료영상을 인체의 해부학적 기관(organ)이나 조직(tissue) 같은 관심 볼륨(volume of interest, 이하 VOI)으로 분할(segmentation)하고 이들을 재구성함으로써 3차원 모델을 생성할 수 있다. 여기서 VOI를 표현하는 방법은 크게 폴리곤(coplanar polygon)으로 구성된 컨투어 시퀀스(contour sequence)로 대표하는 방법과 3차원 복셀(voxel)로 구성된 레이블 맵(label map)으로 대표하는 방법으로 나눌 수 있다. (비특허문헌 001 참고)A three-dimensional model can be created by segmenting medical images into volumes of interest (VOI), such as human anatomical organs or tissues, and reconstructing them. Here, the method of expressing VOI can be broadly divided into a method represented by a contour sequence composed of polygons (coplanar polygons) and a method represented by a label map composed of 3D voxels. (Refer to non-patent document 001)
디지털 의료영상 전송 장치(Digital Imaging Communications in Medicine, 이하 DICOM)의 표준은 위 각 표현 방식의 저장을 위해 RT Structure Set(이하 DICOM RTSS)과 Segmentation Object(DICOM SEG) 2개의 모달리티(modality)를 제공한다. 위 각 표현 방식은 오차(tolerance) 한계 안에서 서로 변환할 수 있다.The standard for Digital Imaging Communications in Medicine (DICOM) provides two modalities: RT Structure Set (DICOM RTSS) and Segmentation Object (DICOM SEG) to store each of the above expression methods. . Each of the above expression methods can be converted to each other within tolerance limits.
그런데, 3차원 모델의 물리량을 2차원에서 표현하고, 비교 분석하기 위해서는 각 복셀에서의 값으로 표현하기가 쉬운 레이블 맵을 사용하는 것이 바람직할 수 있다. 그러나, 컨투어 시퀀스는 레이블 맵보다 적은 데이터 크기로 VOI를 표현할 수 있고 VOI 간의 상호 관계에 대해서 정의하기 쉬우므로 상용 치료계획 시스템(Treatment Planning System, 이하 TPS)에서 일반적으로 사용된다.However, in order to express and compare the physical quantities of a 3D model in 2D, it may be desirable to use a label map that is easy to express as a value in each voxel. However, contour sequences can express VOIs with a smaller data size than label maps and are easy to define the interrelationships between VOIs, so they are commonly used in commercial treatment planning systems (TPS).
DICOM RTSS는 일반적으로 방사선 치료계획시스템에서 평가를 위해 사용되기 때문에 VOI는 서로 겹치는 것이 허용된다. 그런데, 3D 모델을 만들기 위한 VOI는 서로 겹쳐서는 안 된다. 한 조직의 경계면이 다른 조직을 침범하면 3D 모델이 수밀 메시(closed water-tight mesh) 조건을 만족하지 못하고 3차원 볼륨 메시를 생성할 수 없다. 이 문제를 해결하기 위해서는 매우 비싼 비용을 치러야 한다. 따라서, DICOM RTSS를 사용하여 환자 맞춤형 3차원 모델을 생성할 필요가 있는 TPS에서, VOI는 3D 모델을 만들기 위한 관심 조직(structure of interest, 이하 SOI)과 평가 비교 분석을 위한 VOI로 구분할 필요가 있다. 평가를 위한 VOI는 3D 모델을 만들기 위한 SOI를 포함할 수 있다.Because DICOM RTSS is generally used for evaluation in radiation treatment planning systems, VOIs are allowed to overlap each other. However, VOIs to create a 3D model must not overlap each other. If the interface of one tissue invades another tissue, the 3D model does not satisfy the closed water-tight mesh condition and a 3D volume mesh cannot be generated. To solve this problem, you have to pay a very high cost. Therefore, in TPS, which requires the creation of a patient-specific 3D model using DICOM RTSS, VOI needs to be divided into structure of interest (SOI) for creating a 3D model and VOI for evaluation and comparative analysis. . VOI for evaluation may include SOI for creating a 3D model.
다만, 아직도 전기 자극 요법에 대한 치료계획을 세우거나 체내 물리량에 대해 시뮬레이션을 하기 위한 3차원 모델을 생성하는 효율적인 방법이 필요한 실정이다.However, there is still a need for an efficient method to create a three-dimensional model for creating a treatment plan for electrical stimulation therapy or simulating physical quantities in the body.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 전기 자극 요법에 대한 치료계획을 세우거나 체내 물리량에 대해 시뮬레이션을 하기 위한 환자 맞춤형 3차원 모델 생성 방법을 제공하는 것이다.The purpose of the present invention to solve the above problems is to provide a method of generating a patient-customized three-dimensional model for making a treatment plan for electrical stimulation therapy or simulating physical quantities in the body.
위와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 환자 맞춤형 3차원 모델 생성 방법은 3차원 대상체에 대한 의료영상으로부터 환자 맞춤형 3차원 모델을 생성하는 방법에 있어서, 1) 복수의 2차원 이미지를 포함하는 적어도 하나의 의료영상을 입력 받는 단계; 2) 상기 적어도 하나의 의료영상에서, 적어도 하나의 관심 조직을 분할하는 단계; 3) 상기 분할된 적어도 하나의 관심 조직을 서로 겹치지 않도록 편집하는 단계; 및 4) 상기 편집된 관심 조직으로부터 3차원 메시(3D polygonal mesh)를 생성하는 단계;를 포함하는 것일 수 있다.A method of generating a patient-customized 3D model according to an embodiment of the present invention to solve the above problems includes: 1) a plurality of two-dimensional images; Receiving at least one medical image including; 2) segmenting at least one tissue of interest in the at least one medical image; 3) editing the divided at least one tissue of interest so that they do not overlap each other; and 4) generating a 3D polygonal mesh from the edited tissue of interest.
여기에서, 3) 상기 분할된 적어도 하나의 관심 조직을 서로 겹치지 않도록 편집하는 단계는 3a) 상기 하나의 관심 조직을 선택하는 과정; 3b) 상기 선택된 관심 조직을 수정하는 과정; 3c) 상기 수정된 관심 조직과 수정 전후의 경계선을 공유하는 이웃 관심 조직을 식별하는 과정; 및 3d) 상기 이웃 관심 조직과의 경계를 수정하는 과정;을 포함하는 것일 수 있다.Here, 3) editing the divided at least one tissue of interest so that they do not overlap each other includes 3a) selecting the one tissue of interest; 3b) modifying the selected tissue of interest; 3c) a process of identifying neighboring tissues of interest that share a boundary line before and after modification with the modified tissue of interest; and 3d) a process of modifying the boundary with the neighboring organization of interest.
여기에서, 상기 3b) 과정에서, 상기 수정 방법은 2차원 이미지에서 상기 선택된 관심 조직의 전체 또는 일부를 확장(dilation)하거나 축소(erosion)하여 수정하는 방법 및 상기 선택된 관심 조직의 경계선 일부를 변경하여 수정하는 방법 중 적어도 하나를 이용하는 것일 수 있다.Here, in the process 3b), the correction method is a method of modifying all or part of the selected tissue of interest in a two-dimensional image by dilating or eroding and changing a portion of the boundary line of the selected tissue of interest. It may be possible to use at least one of the correction methods.
여기에서, 상기 3d) 과정에서, 미리 정해진 관심 조직 간의 포함 또는 위치 관계에 따라, 관심 조직 간의 겹치는 부분을 제거하는 부울 연산(Boolean operation)을 통해, 서로 겹치지 않는 관심 조직으로 구성하는 것일 수 있다.Here, in the process 3d), the tissues of interest that do not overlap each other may be configured through a Boolean operation that removes the overlapping portion between the tissues of interest according to the inclusion or positional relationship between the tissues of interest that is predetermined.
여기에서, 상기 미리 정해진 관심 조직 간의 포함 관계는 상기 관심 조직이 머리(head)인 경우에, 바디(body, scalp), 머리뼈(skull), 뇌척수액(cerebrospinal fluid), 회백질(gray matter) 및 백질(white matter) 조직 순으로 포함 관계가 정해진 것일 수 있다.Here, the inclusion relationship between the predetermined tissues of interest is the body, scalp, skull, cerebrospinal fluid, gray matter, and white matter when the tissue of interest is the head. (white matter) The inclusion relationship may be determined by organization order.
여기에서, 미리 정해진 관심 조직 간의 포함 또는 위치 관계는 상기 관심 조직이 흉부(chest) 및 복부(abdomen) 인 경우에, 기관(organs), 뼈(bones), 혈관(vessels), 근육(muscles) 내지 지방(fat) 조직이 포함 관계 없이 위치하며, 상기 기관(organs), 뼈(bones), 혈관(vessels), 근육(muscles) 내지 지방(fat) 조직은 서로 경계를 공유하며, 바디(body)는 상기 기관(organs), 뼈(bones), 혈관(vessels), 근육(muscles) 및 지방(fat)을 포함하는 것일 수 있다.Here, the inclusion or positional relationship between the predetermined tissues of interest includes organs, bones, vessels, muscles, etc., when the tissues of interest are the chest and abdomen. Fat tissue is located regardless of its inclusion, and the organs, bones, blood vessels, muscles, and fat tissue share boundaries with each other, and the body is It may include the organs, bones, vessels, muscles, and fat.
것을 특징으로 하는 환자 맞춤형 3차원 모델 생성 방법.A method for generating a patient-customized 3D model, characterized in that:
여기에서, 1) 복수의 2차원 이미지를 포함하는 적어도 하나의 의료영상을 입력 받는 단계에서, 상기 의료영상은 CT, MRI, PET, SPECT 및 f-MRI(Functional MRI) 중 적어도 하나의 방법으로 생성된 의료영상인 것일 수 있다.Here, 1) in the step of receiving at least one medical image including a plurality of two-dimensional images, the medical image is generated by at least one method among CT, MRI, PET, SPECT, and f-MRI (Functional MRI). It may be a medical image.
여기에서, 상기 의료영상이 복수 개인 경우, 기준 의료영상을 선택하고, 상기 선택된 기준 의료영상과의 정합을 통해, 다른 의료영상의 좌표계를 보정하는 것일 수 있다.Here, when there are multiple medical images, a reference medical image may be selected and the coordinate system of another medical image may be corrected through matching with the selected reference medical image.
여기에서, 2) 상기 적어도 하나의 의료영상에서, 적어도 하나의 관심 조직을 분할하는 단계는 2a) 상기 적어도 하나의 의료영상 중에서 하나의 의료영상을 선택하는 과정; 2b) 상기 선택된 의료영상에 포함된 복수의 2차원 이미지 중에서 하나의 2차원 이미지를 선택하는 과정; 및 2c) 상기 선택된 2차원 이미지로부터 적어도 하나의 관심 조직을 분할하는 과정;을 포함하고, 상기 2a) 과정부터 2c) 과정까지, 상기 모든 2차원 이미지가 선택되도록 반복하여 수행하는 것일 수 있다.Here, 2) segmenting at least one tissue of interest from the at least one medical image includes: 2a) selecting one medical image from the at least one medical image; 2b) a process of selecting one two-dimensional image from among a plurality of two-dimensional images included in the selected medical image; and 2c) segmenting at least one tissue of interest from the selected two-dimensional image. Steps 2a) through 2c) may be repeatedly performed to select all of the two-dimensional images.
여기에서, 상기 관심 조직은 해부학적 조직 유형이거나, 동질 물성(homogeneous physical properties)을 공유하는 동질 물성 볼륨인 것일 수 있다.Here, the tissue of interest may be an anatomical tissue type or a homogeneous physical volume sharing homogeneous physical properties.
여기에서, 상기 동질 물성은 전기 전도도(electrical conductivity) 및 유전율(permittivity) 중 적어도 하나를 포함하는 전기적 특성(electrical properties)이거나, 열전도도(thermal conductivity) 및 열용량(heat capacity) 중 적어도 하나를 포함하는 열적 특성(thermal properties)인 것일 수 있다.Here, the homogeneous physical properties are electrical properties including at least one of electrical conductivity and permittivity, or include at least one of thermal conductivity and heat capacity. It may be thermal properties.
여기에서, 상기 관심 조직은 3차원 레이블 맵으로 표현하거나, 2차원 이미지 상에서 각 관심 조직을 폴리곤(coplanar polygon)으로 구성된 컨투어 시퀀스(sequence of contours)로 표현하는 것일 수 있다.Here, the tissue of interest may be expressed as a 3D label map, or each tissue of interest may be expressed as a sequence of contours composed of polygons (coplanar polygons) on a 2D image.
여기에서, 상기 2c) 과정에서, 상기 선택된 2차원 이미지로부터 적어도 하나의 관심 조직을 분할하는 것은 상기 의료영상의 데이터베이스를 이용하여, 상기 의료영상을 구성하는 요소인 3차원 복셀(voxel)이 어느 영역에 속하는지 분석하는 과정을 통해서, 상기 2차원 이미지에서 관심 조직을 획득하는 것일 수 있다.Here, in process 2c), segmenting at least one tissue of interest from the selected two-dimensional image uses the database of the medical image to determine which region is a three-dimensional voxel, which is an element constituting the medical image. The tissue of interest may be obtained from the two-dimensional image through the process of analyzing whether it belongs to the tissue.
여기에서, 상기 2c) 과정에서, 상기 선택된 2차원 이미지로부터 적어도 하나의 관심 조직을 분할하는 것은 상기 2차원 이미지에 표현된 각각의 관심 조직을 폴리곤으로 구성된 컨투어 시퀀스로 표시하고, 상기 표시된 컨투어를 관심 부위에 일치하도록 근사시키는 방법으로 상기 2차원 이미지에서 관심 조직을 획득하는 것일 수 있다.Here, in the process 2c), segmenting at least one tissue of interest from the selected two-dimensional image displays each tissue of interest expressed in the two-dimensional image as a contour sequence composed of polygons, and marks the displayed contour as a sequence of interest. The tissue of interest may be acquired from the two-dimensional image by approximating it to match the area.
여기에서, 상기 2c) 과정에서, 상기 2차원 이미지가 CT의 방법으로 생성된 경우에는, 각 관심 조직의 하운스필드 유닛(Hounsfield unit, 이하 HU)에 기초하여 미리 정해진 임계값을 이용하여 관심 조직으로 분할하는 것일 수 있다. (비특허문헌 002 참고)Here, in the process 2c), when the two-dimensional image is generated by the CT method, the tissue of interest is selected using a predetermined threshold based on the Hounsfield unit (HU) of each tissue of interest. It may be divided into . (Refer to non-patent document 002)
여기에서, 상기 의료영상이 조영제가 적용된 이미지인 경우, 상기 조영제가 적용된 의료영상으로부터 종양 관심 조직을 분할하는 것일 수 있다.Here, when the medical image is an image to which a contrast agent has been applied, the tumor tissue of interest may be segmented from the medical image to which the contrast agent has been applied.
여기에서, 4) 상기 편집된 관심 조직으로부터 3차원 메시(mesh)를 생성하는 단계는, 상기 컨투어 시퀀스로 표현되는 관심 조직을 3차원 이산 스칼라 필드(3D discrete scalar field)로 변환하여, 마칭큐브(marching cubes) 또는 마칭큐브와 유사한 알고리즘을 이용하여 3차원 표면 메시를 생성하는 것일 수 있다. (특허문헌 002 참고)Here, 4) generating a 3D mesh from the edited tissue of interest converts the tissue of interest represented by the contour sequence into a 3D discrete scalar field, forming a marching cube ( marching cubes) or a 3D surface mesh may be created using an algorithm similar to marching cubes. (Refer to patent document 002)
본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에 따르면, 전기 자극 요법에 대한 치료계획을 세우거나 체내 물리량에 대해 시뮬레이션을 하기 위한 환자 맞춤형 3차원 모델을 생성할 수 있는 효과가 있다.According to the method for generating a patient-customized 3D model according to an embodiment of the present invention, it is possible to create a patient-customized 3D model for making a treatment plan for electrical stimulation therapy or simulating physical quantities in the body.
더불어, 컨투어 시퀀스로 표현된 관심 조직은 의료영상의 2차원 뷰에서는 채우기 규칙(even odd fill rule)을 이용하여 복합도형으로 표현할 수 있으며, 편집할 수 있고, 서로 겹치지 않게 만들 수 있다. 즉, 관심 조직 간의 상호 관계와 부울 연산을 이용하여 각 관심 조직이 서로 겹치지 않고 공유하는 경계선 또는 경계면을 수정할 수 있는 효과가 있다.In addition, the tissue of interest expressed as a contour sequence can be expressed as a complex shape using an even odd fill rule in the two-dimensional view of the medical image, can be edited, and can be made not to overlap each other. In other words, there is an effect of modifying the boundary line or boundary surface that each organization of interest shares without overlapping with each other by using the interrelationship between the organizations of interest and Boolean operations.
또한, 인공지능의 학습이나 또 다른 방법에 따라 얻어진 레이블 맵을 컨투어 시퀀스로 변환하여, 쉽게 편집할 수 있으며, 더 작은 데이터의 양으로 저장할 수 있다.Additionally, the label map obtained through artificial intelligence learning or another method can be converted into a contour sequence, easily edited, and stored as a smaller amount of data.
특히, 각 관심 조직에 전도도, 유전율 같은 물성에 대한 속성값을 정의할 수 있고, 생성된 3차원 볼륨 메시의 각 관심 조직에 속하는 요소(element)에 속성값을 할당할 수 있다. 따라서, 유한요소법이나 유한차분법으로 체내에 전달되는 물리량을 시뮬레이션할 수 있다.In particular, property values for physical properties such as conductivity and dielectric constant can be defined for each tissue of interest, and property values can be assigned to elements belonging to each tissue of interest in the generated 3D volume mesh. Therefore, the physical quantities transmitted to the body can be simulated using the finite element method or the finite difference method.
도 1은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법을 설명하기 위한 순서도이다.
도 2는 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 관심 조직을 분할하는 단계를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 관심 조직을 서로 겹치지 않도록 편집하는 단계를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 컨투어 편집 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 관심 조직 편집을 위한 컨투어 획득 및 편집을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 컨투어 생성 과정을 통해 얻은 컨투어를 임의의 슬라이스에서 바라본 모습을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 도 6의 컨투어 간의 계층 구조를 스즈키(Suzuki) 알고리즘 트리로 표현하고, 트리의 계층 구조를 바탕으로 상호 간의 관계를 표현한 테이블을 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 도 6의 컨투어를 조직 기반으로 해석하여 관계를 재구성한 그래프 및 포함 관계를 테이블로 정리한 도면이다.
도 9는 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 선택된 관심 조직의 이너 컨투어 갱신의 순서도이다.
도 10은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 선택된 관심 조직의 이너 컨투어 갱신을 설명하기 위한 도면이다.
도 11은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 선택된 관심 조직이 수정되었을 때, 포함관계에 있거나 경계선을 공유하는 관심 조직을 갱신하는 작업의 순서도이다.
도 12는 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 선택된 S 관심 조직이 수정되었을 때, 포함관계에 있거나 경계선을 공유하는 관심 조직을 갱신하는 작업을 설명하기 위한 도면이다.
도 13은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 실제 치료계획시스템에서 컨투어 변경이 적용되는 과정을 나타내는 도면이다.
도 14는 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 실제 치료계획시스템에서 컨투어 변경이 적용된 결과를 나타내는 도면이다.1 is a flowchart illustrating a method for generating a patient-customized 3D model according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating the step of segmenting a tissue of interest in a method for generating a patient-customized 3D model according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating the step of editing tissues of interest so that they do not overlap each other in the method for generating a patient-customized 3D model according to an embodiment of the present invention.
Figure 4 is a diagram illustrating the contour editing process in the method for generating a patient-customized 3D model according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating acquisition and editing of a contour for editing a tissue of interest in a method for generating a patient-customized 3D model according to an embodiment of the present invention.
Figure 6 is a diagram illustrating a view of the contour obtained through the contour creation process in the patient-customized 3D model generation method according to an embodiment of the present invention as viewed from an arbitrary slice.
Figure 7 is a table expressing the hierarchical structure between the contours of Figure 6 as a Suzuki algorithm tree in the method of generating a patient-customized 3D model according to an embodiment of the present invention, and expressing the relationships between them based on the hierarchical structure of the tree. This is a drawing showing .
FIG. 8 is a diagram illustrating a graph in which the relationship is reconstructed by analyzing the contour of FIG. 6 based on tissue in the method of generating a patient-customized 3D model according to an embodiment of the present invention, and the included relationship is organized in a table.
Figure 9 is a flowchart of updating the inner contour of a selected tissue of interest in the method for generating a patient-customized 3D model according to an embodiment of the present invention.
FIG. 10 is a diagram illustrating updating the inner contour of a selected tissue of interest in a method for generating a patient-customized 3D model according to an embodiment of the present invention.
Figure 11 is a flowchart of the operation of updating the tissue of interest that is included or shares a boundary line when the selected tissue of interest is modified in the method for generating a patient-customized 3D model according to an embodiment of the present invention.
FIG. 12 is a diagram illustrating the operation of updating the tissue of interest that is included or shares a boundary line when the selected S tissue of interest is modified in the method for generating a patient-customized 3D model according to an embodiment of the present invention.
Figure 13 is a diagram showing the process of applying contour change in the actual treatment planning system in the patient-customized 3D model generation method according to an embodiment of the present invention.
Figure 14 is a diagram showing the results of applying contour changes in the actual treatment planning system in the method for generating a patient-customized 3D model according to an embodiment of the present invention.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention. The present invention may be implemented in many different forms and is not limited to the embodiments described herein.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly explain the present invention, parts that are not relevant to the description are omitted, and identical or similar components are assigned the same reference numerals throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우 뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to be "connected" to another part, this includes not only cases where it is "directly connected," but also cases where it is "electrically connected" with another element in between. . Additionally, when a part "includes" a certain component, this means that it may further include other components rather than excluding other components, unless specifically stated to the contrary.
어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.When a part is referred to as being “on” another part, it may be directly on top of the other part or it may be accompanied by another part in between. In contrast, when a part is said to be "directly above" another part, it does not entail any other parts in between.
제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.Terms such as first, second, and third are used to describe, but are not limited to, various parts, components, regions, layers, and/or sections. These terms are used only to distinguish one part, component, region, layer or section from another part, component, region, layer or section. Accordingly, the first part, component, region, layer or section described below may be referred to as the second part, component, region, layer or section without departing from the scope of the present invention.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.The terminology used herein is only intended to refer to specific embodiments and is not intended to limit the invention. As used herein, singular forms include plural forms unless phrases clearly indicate the contrary. As used in the specification, the meaning of "comprising" refers to specifying a particular characteristic, area, integer, step, operation, element and/or ingredient, and the presence or presence of another characteristic, area, integer, step, operation, element and/or ingredient. This does not exclude addition.
"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90도 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.Terms indicating relative space, such as “below” and “above,” can be used to more easily describe the relationship of one part shown in the drawing to another part. These terms are intended to include other meanings or operations of the device in use along with the meaning intended in the drawings. For example, if the device in the drawing is turned over, some parts described as being “below” other parts will be described as being “above” other parts. Accordingly, the exemplary term “down” includes both upward and downward directions. The device may be rotated by 90 degrees or other angles, and terms indicating relative space are interpreted accordingly.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.Although not defined differently, all terms including technical and scientific terms used herein have the same meaning as those generally understood by those skilled in the art in the technical field to which the present invention pertains. Terms defined in commonly used dictionaries are further interpreted as having meanings consistent with related technical literature and currently disclosed content, and are not interpreted in ideal or very formal meanings unless defined.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein.
도 1은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법을 설명하기 위한 순서도이다. 도 2는 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 관심 조직을 분할하는 단계를 설명하기 위한 도면이다. 도 3은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 관심 조직을 서로 겹치지 않도록 편집하는 단계를 설명하기 위한 도면이다.1 is a flowchart illustrating a method for generating a patient-customized 3D model according to an embodiment of the present invention. FIG. 2 is a diagram illustrating the step of segmenting a tissue of interest in a method for generating a patient-customized 3D model according to an embodiment of the present invention. FIG. 3 is a diagram illustrating the step of editing tissues of interest so that they do not overlap each other in the method for generating a patient-customized 3D model according to an embodiment of the present invention.
도 4는 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 컨투어 편집 과정을 설명하기 위한 도면이다. 도 5는 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 관심 조직 편집을 위한 컨투어 획득 및 편집을 설명하기 위한 도면이다. 도 6은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 컨투어 생성 과정을 통해 얻은 컨투어를 임의의 슬라이스에서 바라본 모습을 설명하기 위한 도면이다. 도 7은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 도 6의 컨투어 간의 계층 구조를 스즈키(Suzuki) 알고리즘 트리로 표현하고, 트리의 계층 구조를 바탕으로 상호 간의 관계를 표현한 테이블을 나타낸 도면이다. 도 8은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 도 6의 컨투어를 조직 기반으로 해석하여 관계를 재구성한 그래프 및 포함 관계를 테이블로 정리한 도면이다.Figure 4 is a diagram illustrating the contour editing process in the method for generating a patient-customized 3D model according to an embodiment of the present invention. FIG. 5 is a diagram illustrating acquisition and editing of a contour for editing a tissue of interest in a method for generating a patient-customized 3D model according to an embodiment of the present invention. Figure 6 is a diagram illustrating a view of the contour obtained through the contour creation process in the patient-customized 3D model generation method according to an embodiment of the present invention as viewed from an arbitrary slice. Figure 7 is a table expressing the hierarchical structure between the contours of Figure 6 as a Suzuki algorithm tree in the method of generating a patient-customized 3D model according to an embodiment of the present invention, and expressing the relationships between them based on the hierarchical structure of the tree. This is a drawing showing . FIG. 8 is a diagram illustrating a graph in which the relationship is reconstructed by analyzing the contour of FIG. 6 based on tissue in the method of generating a patient-customized 3D model according to an embodiment of the present invention, and the included relationship is organized in a table.
도 9는 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 선택된 관심 조직의 이너(Inner) 컨투어 갱신의 순서도이다. 도 10은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 선택된 관심 조직의 이너 컨투어 갱신을 설명하기 위한 도면이다. 도 11은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 선택된 관심 조직이 수정되었을 때, 포함관계에 있거나 경계선을 공유하는 관심 조직을 갱신하는 작업의 순서도이다. 도 12는 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 선택된 S 관심 조직이 수정되었을 때, 포함관계에 있거나 경계선을 공유하는 관심 조직을 갱신하는 작업을 설명하기 위한 도면이다. 도 13은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 실제 치료계획시스템에서 컨투어 변경이 적용되는 과정을 나타내는 도면이다. 도 14는 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 실제 치료계획시스템에서 컨투어 변경이 적용된 결과를 나타내는 도면이다.Figure 9 is a flowchart of updating the inner contour of a selected tissue of interest in the method for generating a patient-customized 3D model according to an embodiment of the present invention. FIG. 10 is a diagram illustrating updating the inner contour of a selected tissue of interest in a method for generating a patient-customized 3D model according to an embodiment of the present invention. Figure 11 is a flowchart of the operation of updating the tissue of interest that is included or shares a boundary line when the selected tissue of interest is modified in the method for generating a patient-customized 3D model according to an embodiment of the present invention. FIG. 12 is a diagram illustrating the operation of updating the tissue of interest that is included or shares a boundary line when the selected S tissue of interest is modified in the method for generating a patient-customized 3D model according to an embodiment of the present invention. Figure 13 is a diagram showing the process of applying contour change in the actual treatment planning system in the patient-customized 3D model generation method according to an embodiment of the present invention. Figure 14 is a diagram showing the results of applying contour changes in the actual treatment planning system in the method for generating a patient-customized 3D model according to an embodiment of the present invention.
도 1 내지 도 14를 함께 참조하면, 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법은 3차원 대상체에 대한 의료영상으로부터 환자 맞춤형 3차원 모델을 생성하는 방법에 있어서, 1) 복수의 2차원 이미지를 포함하는 적어도 하나의 의료영상을 입력 받는 단계(S110); 2) 상기 적어도 하나의 의료영상에서, 적어도 하나의 관심 조직을 분할하는 단계(S120); 3) 상기 분할된 적어도 하나의 관심 조직을 서로 겹치지 않도록 편집하는 단계(S130); 및 4) 상기 편집된 관심 조직으로부터 3차원 메시(3D polygonal mesh)를 생성하는 단계(S140);를 포함하는 것일 수 있다.Referring to FIGS. 1 to 14 together, the method for generating a patient-customized 3D model according to an embodiment of the present invention includes: 1) a plurality of methods for generating a patient-customized 3D model from medical images of a 3D object; Receiving at least one medical image including a two-dimensional image (S110); 2) segmenting at least one tissue of interest in the at least one medical image (S120); 3) editing the divided at least one tissue of interest so that they do not overlap each other (S130); and 4) generating a 3D polygonal mesh from the edited tissue of interest (S140).
먼저, 복수의 2차원 이미지를 포함하는 적어도 하나의 의료영상을 입력 받는 단계(S110)는 적어도 하나의 의료영상을 입력 받는 것으로, 복수의 2차원 이미지를 포함하는 의료영상을 입력 받는 것일 수 있다.First, the step of receiving at least one medical image including a plurality of two-dimensional images (S110) means receiving at least one medical image, which may be receiving a medical image including a plurality of two-dimensional images.
더불어, 1) 복수의 2차원 이미지를 포함하는 적어도 하나의 의료영상을 입력 받는 단계(S110)에서, 상기 의료영상은 CT, MRI, PET, SPECT 및 f-MRI(Functional MRI) 중 적어도 하나의 방법으로 생성된 의료영상인 것일 수 있다. 즉, 상기 의료영상은 적어도 하나의 방법으로 생성된 의료영상으로 복수의 의료영상을 입력 받을 수 있다는 특징이 있을 것이다.In addition, 1) in the step of receiving at least one medical image including a plurality of two-dimensional images (S110), the medical image is processed by at least one method among CT, MRI, PET, SPECT, and f-MRI (Functional MRI) It may be a medical image created by . That is, the medical image may be a medical image generated by at least one method and may have the characteristic of being able to receive a plurality of medical images.
특히, 상기 의료영상이 복수 개인 경우, 기준 의료영상을 선택하고, 상기 선택된 기준 의료영상과의 정합을 통해, 다른 의료영상의 좌표계를 보정하는 것일 수 있다. 이것은 기준 의료영상을 선택하여, 기준 의료영상에 다른 의료영상을 결합하여 이용하기 위한 것으로, 2개의 의료영상의 좌표계를 일치시키기 위한 것일 수 있다.In particular, when there are multiple medical images, a reference medical image may be selected and the coordinate system of another medical image may be corrected through matching with the selected reference medical image. This is to select a reference medical image and use it by combining the reference medical image with another medical image, and may be to match the coordinate systems of the two medical images.
2) 적어도 하나의 관심 조직을 분할하는 단계(S120)는 상기 적어도 하나의 의료영상에서, 하나의 의료영상을 선택하고, 선택한 의료영상에서 관심 조직을 분할하는 것일 수 있을 것이다.2) The step of segmenting at least one tissue of interest (S120) may include selecting one medical image from the at least one medical image and segmenting the tissue of interest from the selected medical image.
보다 상세하게 살펴보면, 2) 상기 적어도 하나의 의료영상에서, 적어도 하나의 관심 조직을 분할하는 단계(S120)는 2a) 상기 적어도 하나의 의료영상 중에서 하나의 의료영상을 선택하는 과정(S121); 2b) 상기 선택된 의료영상에 포함된 복수의 2차원 이미지 중에서 하나의 2차원 이미지를 선택하는 과정(S122); 및 2c) 상기 선택된 2차원 이미지로부터 적어도 하나의 관심 조직을 분할하는 과정(S123);을 포함하고, 상기 2a) 과정부터 2c) 과정까지, 상기 모든 2차원 이미지가 선택되도록 반복하여 수행하는 것일 수 있다.In more detail, 2) segmenting at least one tissue of interest from the at least one medical image (S120) includes 2a) selecting one medical image from the at least one medical image (S121); 2b) a process of selecting one two-dimensional image from among a plurality of two-dimensional images included in the selected medical image (S122); and 2c) segmenting at least one tissue of interest from the selected two-dimensional image (S123), where the steps from 2a) to 2c) may be repeated so that all of the two-dimensional images are selected. there is.
여기에서, 상기 관심 조직은 해부학적 조직 유형이거나, 동질 물성(homogeneous properties)을 공유하는 동질 물성 볼륨인 것일 수 있으며, 상기 동질 물성은 전기 전도도(electrical conductivity) 및 유전율(permittivity) 중 적어도 하나를 포함하는 전기적 특성(electrical properties)이거나, 열전도도(thermal conductivity) 및 열용량(heat capacity) 중 적어도 하나를 포함하는 열적 특성(thermal properties)인 것일 수 있다.Here, the tissue of interest may be an anatomical tissue type or a homogeneous physical volume sharing homogeneous properties, and the homogeneous properties include at least one of electrical conductivity and permittivity. It may be electrical properties, or thermal properties including at least one of thermal conductivity and heat capacity.
한편, 상기 관심 조직은 3차원 레이블 맵으로 표현되거나, 2차원 이미지 상에서 각 관심 조직을 폴리곤(coplanar polygon)으로 구성된 컨투어 시퀀스(sequence of contours)로 표현되는 것일 수 있다.Meanwhile, the tissue of interest may be expressed as a 3D label map, or each tissue of interest may be represented as a sequence of contours composed of polygons (coplanar polygons) on a 2D image.
상기 3차원 레이블 맵은 3차원 복셀(voxel)로 구성된 것을 말하며, 상기 복셀(voxel)은 체적 요소이며, 3차원 공간에서 정규 격자 단위의 값을 나타낸다. 복셀이라는 용어는 부피(volume)와 픽셀(pixel)을 조합한 혼성어이다. 이것은 2차원 이미지 데이터가 픽셀로 표시되는 것에 대응한다.The 3D label map is composed of 3D voxels, and the voxels are volume elements and represent values of regular grid units in 3D space. The term voxel is a portmanteau combining the words volume and pixel. This corresponds to two-dimensional image data being displayed in pixels.
또한, 상기 컨투어 시퀀스는 폴리곤(coplanar polygon)으로 구성된 것을 말한다. 상기 폴리곤은 주로 3D 컴퓨터 그래픽에서 면(점, 선, 면 할 때의 그 면)의 조합으로 물체를 표현하는 것을 말한다.Additionally, the contour sequence refers to one composed of polygons (coplanar polygons). The polygon mainly refers to expressing an object as a combination of surfaces (points, lines, and surfaces) in 3D computer graphics.
특히, 상기 2c) 과정에서, 상기 선택된 2차원 이미지로부터 적어도 하나의 관심 조직을 분할하는 것은 상기 의료영상의 데이터베이스를 이용하여, 상기 의료영상을 구성하는 요소인 3차원 복셀(voxel)이 어느 영역에 속하는지 분석하는 과정을 통해서, 상기 2차원 이미지에서 관심 조직을 획득하는 것일 수 있다.In particular, in the process 2c), segmenting at least one tissue of interest from the selected two-dimensional image uses the database of the medical image to determine which area the three-dimensional voxel, which is an element constituting the medical image, is located. The tissue of interest may be obtained from the two-dimensional image through the process of analyzing whether it belongs.
한편, 상기 2c) 과정에서, 상기 선택된 2차원 이미지로부터 적어도 하나의 관심 조직을 분할하는 것은 상기 2차원 이미지에 표현된 각각의 관심 조직을 폴리곤(coplanar polygon)으로 구성된 컨투어 시퀀스(contour sequence)로 표시하고, 상기 표시된 컨투어를 관심 부위에 일치하도록 근사시키는 방법으로 상기 2차원 이미지에서 관심 조직을 획득하는 것일 수 있다.Meanwhile, in the process 2c), segmenting at least one tissue of interest from the selected two-dimensional image displays each tissue of interest expressed in the two-dimensional image as a contour sequence composed of polygons (coplanar polygons). And, the tissue of interest may be acquired from the two-dimensional image by approximating the displayed contour to match the area of interest.
결국, 상기 관심 조직에 대한 표현 방법에 따라, 3차원 복셀(voxel)로 구성된 3차원 레이블 맵으로 표현되는 경우와, 폴리곤(coplanar polygon)으로 구성된 컨투어 시퀀스(sequence of contours)로 표현되는 경우에 따라, 각각의 2차원 이미지에서 관심 조직을 획득하는 방법을 달리하는 것일 수 있다.Ultimately, depending on the expression method for the tissue of interest, it may be expressed as a 3D label map composed of 3D voxels or as a sequence of contours composed of polygons (coplanar polygons). , the method of acquiring the tissue of interest in each two-dimensional image may be different.
또한, 상기 2c) 과정에서, 상기 2차원 이미지가 CT의 방법으로 생성된 경우에는, 각 관심 조직의 HU 값에 기초하여 미리 정해진 임계값을 이용하여 관심 조직으로 분할하는 것일 수 있다. 상기 HU 값은 컴퓨터 단층 촬영을 한 영상에서 각 화소 안에 포함되어 있는 숫자 정보를 말한다. 이것은 영상화된 조직의 조성이나 성질과 관련되어 있고 조직의 밀도를 나타내는 데 사용된다. 컴퓨터 단층 촬영에 있어서 몸에서 화적소를 통하여 엑스선의 감쇠를 나타내고 영상에 상응하는 화적소로 할당되는 숫자 또는 값에 해당한다.Additionally, in process 2c), if the two-dimensional image is generated using a CT method, it may be divided into tissues of interest using a predetermined threshold based on the HU value of each tissue of interest. The HU value refers to numerical information included in each pixel in an image obtained by computed tomography. It is related to the composition or properties of the imaged tissue and is used to indicate the density of the tissue. In computed tomography, it represents the attenuation of X-rays through a pixel in the body and corresponds to a number or value assigned to the pixel corresponding to the image.
특히, 상기 의료영상이 조영제가 적용된 이미지인 경우, 상기 조영제가 적용된 의료영상으로부터 종양 관심 조직을 분할하는 것일 수 있다. 조영제가 적용된 의료영상은 종양 관심 조직을 다른 영역에 비하여 구별될 수 있도록 표현할 수 있으므로, 이러한 특징을 이용하는 것이다.In particular, when the medical image is an image to which a contrast agent has been applied, the tumor tissue of interest may be segmented from the medical image to which the contrast agent has been applied. Medical images to which a contrast agent is applied can express tumor tissue of interest so that it can be distinguished from other areas, so this feature is used.
3) 상기 분할된 적어도 하나의 관심 조직을 서로 겹치지 않도록 편집하는 단계(S130)는 3a) 상기 하나의 관심 조직을 선택하는 과정(S131); 3b) 상기 선택된 관심 조직을 수정하는 과정(S132); 3c) 상기 수정된 관심 조직과 수정 전후의 경계선을 공유하는 이웃 관심 조직을 식별하는 과정(S133); 및 3d) 상기 이웃 관심 조직과의 경계를 수정하는 과정(S134);을 포함하는 것일 수 있다.3) The step of editing the divided at least one tissue of interest so that they do not overlap each other (S130) includes 3a) the process of selecting the one tissue of interest (S131); 3b) Process of modifying the selected tissue of interest (S132); 3c) a process of identifying neighboring tissues of interest that share a boundary line before and after modification with the modified organization of interest (S133); and 3d) a process of modifying the boundary with the neighboring organization of interest (S134).
특히, 상기 3b) 과정에서, 상기 수정 방법은 2차원 이미지에서 상기 선택된 관심 조직의 전체 또는 일부를 확장하거나 축소하여 수정하는 방법 및 상기 선택된 관심 조직의 경계선 일부를 변경하여 수정하는 방법 중 적어도 하나를 이용하는 것일 수 있다.In particular, in the process 3b), the correction method includes at least one of a method of modifying the selected tissue of interest by expanding or reducing all or part of the selected tissue of interest in the two-dimensional image and a method of modifying the selected tissue of interest by changing part of its boundary line. It may be used.
또한, 상기 3d) 과정에서, 미리 정해진 관심 조직 간의 포함 또는 위치 관계에 따라, 관심 조직 간의 겹치는 부분을 제거하는 부울 연산(Boolean operation)을 통해, 서로 겹치지 않는 관심 조직으로 구성하는 것일 수 있다.Additionally, in the process 3d), the tissues of interest that do not overlap each other may be configured through a Boolean operation that removes overlapping parts between the tissues of interest according to the inclusion or positional relationship between the tissues of interest that are predetermined.
한편, 상기 미리 정해진 관심 조직 간의 포함 관계는 상기 관심 조직이 머리(head)인 경우에, 바디(body, scalp), 머리뼈(skull), 뇌척수액(cerebrospinal fluid), 회백질(gray matter) 및 백질(white matter) 조직 순으로 포함 관계가 정해진 것일 수 있다. 또한, 미리 정해진 관심 조직 간의 포함 또는 위치 관계는 상기 관심 조직이 흉부(chest) 및 복부(abdomen) 인 경우에, 기관(organs), 뼈(bones), 혈관(vessels), 근육(muscles) 내지 지방(fat) 조직이 포함 관계 없이 위치하며, 상기 기관(organs), 뼈(bones), 혈관(vessels), 근육(muscles) 내지 지방(fat) 조직은 서로 경계를 공유하며, 바디(body)는 상기 기관(organs), 뼈(bones), 혈관(vessels), 근육(muscles) 및 지방(fat)을 포함하는 것일 수 있다.Meanwhile, the inclusion relationship between the predetermined tissues of interest is, when the tissue of interest is the head, the body, scalp, skull, cerebrospinal fluid, gray matter, and white matter ( white matter) The inclusion relationship may be determined in the order of organization. In addition, the inclusion or positional relationship between predetermined tissues of interest may include organs, bones, vessels, muscles, or fat when the tissues of interest are the chest and abdomen. (fat) tissue is located regardless of inclusion, the organs, bones, blood vessels, muscles, or fat tissue share boundaries with each other, and the body is It may include organs, bones, vessels, muscles, and fat.
4) 상기 편집된 관심 조직으로부터 3차원 메시(3D polygonal mesh)를 생성하는 단계(S140)는 상기 컨투어 시퀀스로 표현되는 관심 조직을 3차원 이산 스칼라 필드(3D discrete scalar field)로 변환하여, 마칭큐브(marching cubes) 또는 마칭큐브와 유사한 알고리즘을 이용하여 3차원 표면 메시를 생성하는 것일 수 있다.4) The step of generating a 3D polygonal mesh from the edited tissue of interest (S140) converts the tissue of interest represented by the contour sequence into a 3D discrete scalar field, forming a marching cube. A 3D surface mesh may be created using (marching cubes) or an algorithm similar to marching cubes.
한편, 도 4 내지 도 14를 함께 참조하면서 본 발명의 실시예를 상세하게 설명한다.Meanwhile, an embodiment of the present invention will be described in detail with reference to FIGS. 4 to 14.
도 4는 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 컨투어 편집 과정을 설명하기 위한 도면이다. 도 4를 참조하면, 일실시예에 따른 의료영상 이미지 입력, 컨투어 및 조직 배치 그래프 생성, 컨투어 편짐, 3D 모델 생성으로 구성된다.Figure 4 is a diagram illustrating the contour editing process in the method for generating a patient-customized 3D model according to an embodiment of the present invention. Referring to FIG. 4, according to one embodiment, it consists of inputting a medical image, generating a contour and tissue arrangement graph, editing a contour, and creating a 3D model.
상기 의료영상 이미지 입력은, 대상체의 해부학적 구조에 맞추어서 3차원 모델을 만들기 위해 참조하기 위함으로, 상기 의료영상은 CT(Computer Tomography), MRI(Magnetic Resonance Imaging)과 같은 의료영상 장치의 촬영을 통해 원시 데이터를 컴퓨터와 같은 연산부 및 기억부가 존재하는 장치에서 전달하여 재구성 알고리즘을 사용하여 획득할 수 있다.The medical image input is for reference to create a three-dimensional model according to the anatomical structure of the object. The medical image is obtained through imaging with medical imaging devices such as CT (Computer Tomography) and MRI (Magnetic Resonance Imaging). Raw data can be obtained using a reconstruction algorithm by transferring it from a device that has an operation unit and a memory unit, such as a computer.
상기 대상체는 해부학적 구조를 가진 포유류, 즉 사람과 동물을 포함할 수 있으며, 상기 의료영상은 CT와 MRI 이외의 다른 촬영 매체를 통해 얻은 영상을 포함될 수 있다.The objects may include mammals with anatomical structures, that is, humans and animals, and the medical images may include images obtained through imaging media other than CT and MRI.
또한, 상기 의료영상 이미지 입력에서 의료영상의 기관이나 티슈 같은 관심 조직을 얻을 수 있으며, 상기 관심 조직은 표현 방법에 따라, 크게 폴리곤(coplanar polygon)으로 구성된 컨투어 시퀀스(sequence of contours)로 대표하는 방법과 3차원 복셀(voxel)로 구성된 레이블 맵(label map)으로 대표하는 방법으로 나눌 수 있다.In addition, the tissue of interest, such as an organ or tissue, can be obtained from the medical image input, and the tissue of interest is largely represented by a sequence of contours composed of polygons (coplanar polygons), depending on the expression method. It can be divided into a method represented by a label map composed of 3D voxels.
관심 조직은 상기 의료영상을 참조하여 자동/반자동/수동 조직분할 알고리즘을 통해서 획득할 수 있다. 자동 조직분할의 경우에는, 의료영상을 학습된 모델에 인풋 데이터로 전달하여, 모델이 상기 의료영상의 각 요소인 복셀이 어느 영역에 속하는지 추론하는 과정을 통해서 레이블 맵의 형태로 관심 조직을 획득할 수 있다. 수동 및 반자동 조직분할의 경우에는, 사용자가 조직분할 툴을 이용해서 의료영상에 표현된 목적 부위를 컨투어로 대략적으로 표시할 수 있고, 상기 표시된 컨투어를 목적 부위에 일치하도록 근사 시키면서 이루어질 수 있다. 한편, CT의 경우에는, 각 조직이 가진 밀도 값, HU 값을 바탕으로 임계값을 설정하여 필요한 조직을 추출할 수 있으며, MRI의 경우에는 조영제가 투입된 이미지에서 종양과 비종양을 구분하는 알고리즘을 사용해서 종양 부분을 추출할 수 있다. 그 이외에도 다양한 알고리즘을 통해서 의료영상을 참조하여 컨투어 혹은 레이블 맵을 획득할 수 있다.Tissues of interest can be obtained through automatic/semi-automatic/manual tissue segmentation algorithms by referring to the medical images. In the case of automatic tissue segmentation, medical images are passed as input data to the learned model, and the model acquires the tissue of interest in the form of a label map through the process of inferring which region each element of the medical image, a voxel, belongs to. can do. In the case of manual and semi-automatic tissue segmentation, the user can roughly mark the target area expressed in the medical image as a contour using a tissue segmentation tool, and this can be done by approximating the displayed contour to match the target area. Meanwhile, in the case of CT, the necessary tissues can be extracted by setting a threshold based on the density value and HU value of each tissue, and in the case of MRI, an algorithm is used to distinguish tumors and non-tumors in images with contrast agent injected. It can be used to extract tumor parts. In addition, contour or label maps can be obtained by referring to medical images through various algorithms.
상기 컨투어 및 조직 배치 그래프 생성에서는, 관심 조직을 효율적으로 편집하기 위해서 레이블 맵 혹은 RTSS 데이터로부터 컨투어 데이터로 변환하고, 관심 조직 상호간의 포함 관계를 나타내는 테이블을 생성한다. 컨투어를 수정하면서 변경된 폴리곤이 상호 포함 관계가 있는 관심 조직에 영향을 준다면 영향을 받은 관심 조직을 포함관계 테이블을 참조하여 갱신한다.In the creation of the contour and tissue arrangement graph, in order to efficiently edit the tissue of interest, label map or RTSS data is converted into contour data, and a table representing the inclusion relationship between the tissue of interest is created. If the polygon changed while modifying the contour affects the tissue of interest that has a mutual inclusion relationship, the affected tissue of interest is updated by referring to the inclusion relationship table.
도 5는 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 관심 조직 편집을 위한 컨투어 획득 및 편집을 설명하기 위한 도면이다. 좌측 상단 분기는 상기 관심 조직을 레이블 맵에서 컨투어로 변환하는 부분을 나타내고, 우측 상단 분기는 RTSS에서 컨투어를 획득하는 부분을 나타낸다.FIG. 5 is a diagram illustrating acquisition and editing of a contour for editing a tissue of interest in a method for generating a patient-customized 3D model according to an embodiment of the present invention. The upper left branch represents the part that converts the tissue of interest from the label map to a contour, and the upper right branch represents the part that acquires the contour from RTSS.
상기 레이블 맵에서 컨투어로 변환화기 위해서, 참조된 의료영상에서 좌표의 원점(Patient Position), 각 슬라이스의 높이에 해당하는 좌표값(Slice Location), 차원(Dimensions)을 추출하고 하나의 슬라이스에서 가로(Width) 세로(Height) 픽셀의 간격(Pixel Spacing) 정보를 획득한다. 상기 획득한 정보를 바탕으로 각 복셀의 좌표값을 설정해준다.In order to convert the label map into a contour, the origin of the coordinates (Patient Position), coordinates corresponding to the height of each slice (Slice Location), and dimensions are extracted from the referenced medical image and the horizontal ( Width) Acquire pixel spacing information. Based on the obtained information, the coordinate value of each voxel is set.
레이블 맵이 나타내는 조직의 레이블 값에 따라 나누고, 각각 독립적으로 마칭스퀘어(Marching square)를 이용해 조직을 둘러싼 컨투어를 생성하거나, 마칭큐브(Marching cubes)를 이용해 3차원 모델을 만든 후 슬라이싱을 통해서 슬라이스가 존재하는 위치의 컨투어를 추출하여 레이블 맵이 표현하고 있는 모든 영역에 대하여 컨투어로 변환할 수 있다.Divide according to the label value of the organization indicated by the label map, and independently create a contour surrounding the organization using marching squares, or create a 3D model using marching cubes, and then slice through slicing. The contour of an existing location can be extracted and converted into a contour for all areas represented by the label map.
상기 컨투어는 종래의 방사선 치료 계획 소프트웨어에서 보편적으로 사용되는 DICOM RTSS의 포맷으로 다루어질 수 있고, 상기 레이블 맵은 nifti 포맷 혹은 다차원 배열에 저장할 수 있는 포맷에 저장되어 다루어진다. 혹은, DICOM SEG 포맷을 사용하여 컨투어 혹은 레이블 맵을 저장하고 데이터를 처리할 수 있다.The contour can be handled in the DICOM RTSS format, which is commonly used in conventional radiation treatment planning software, and the label map is stored and handled in a nifti format or a format that can be stored in a multidimensional array. Alternatively, you can save the contour or label map and process the data using the DICOM SEG format.
상기 관심 조직을 자동/반자동/수동 조직분할 알고리즘을 통해서 획득하게 되면, 상기 의료영상에서 나타내는 조직의 실제 영역과 일치하는지 확인하고 편집하는 과정을 통해 실제 영역과의 오차를 줄일 수 있다.When the tissue of interest is acquired through an automatic/semi-automatic/manual tissue segmentation algorithm, errors with the actual area can be reduced through a process of confirming and editing whether it matches the actual area of the tissue shown in the medical image.
도 6은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 컨투어 생성 과정을 통해 얻은 컨투어를 임의의 슬라이스에서 바라본 모습을 설명하기 위한 도면이다. 상기 A, B, C, D, E, F는 각 관심 조직을 나타내는 컨투어이며, 상호 간의 포함 관계를 나타낼 수 있고, 완전히 포함하지 않고 특정 부분이 겹쳐있는 경우에는 경계선을 공유하는 관계로 나타낼 수 있다.Figure 6 is a diagram illustrating a view of the contour obtained through the contour creation process in the patient-customized 3D model generation method according to an embodiment of the present invention as viewed from an arbitrary slice. The A, B, C, D, E, and F are contours representing each tissue of interest, and can represent an inclusive relationship between them. If they are not completely included and certain parts overlap, they can be represented as a relationship sharing a boundary line. .
도 6에서 F 영역은 A, B, C, E 영역을 포함하고, C 영역은 D 영역을 포함하고, C, B, E 영역은 경계를 마주한 상태. 각각의 영역은 아우터 컨투어만 입력된 것으로 간주한다.In Figure 6, area F includes areas A, B, C, and E, area C includes area D, and areas C, B, and E face the boundary. Each area is considered to have only the outer contour input.
도 5에서 조직 배치 그래프 생성은, 컨투어 상호간의 포함관계 및 경계선 공유 관계를 나타내는 테이블을 통해 생성할 수 있으며, 이를 도 7과 도 8을 참조하여 상술한다.The organization arrangement graph in FIG. 5 can be created through a table representing the inclusion relationship and boundary sharing relationship between contours, which will be described in detail with reference to FIGS. 7 and 8.
상기 관심 조직은 컨투어의 계층구조로 나타내는 방법이 있고, 각 관심 조직 간의 상관관계로 나타내는 방법이 있다.There is a way to represent the organization of interest as a hierarchical structure of a contour, and there is a way to represent it as a correlation between each organization of interest.
컨투어의 계층구조로 나타내는 대표적인 방법으로 스즈키 알고리즘이 존재한다(Suzuki S, Abe K (1985) Topological structural analysis of digitized binary images by border following. Comput Vis Graph Image Process 30:32-46). 스즈키 알고리즘은 아우터 컨투어와 이너 컨투어가 항상 1대1 대응이라는 점을 이용하여 연결되어 있는 요소를 추출하고 이를 컨투어의 계층구조로 만드는 알고리즘이다. 혹은, 상기 알고리즘의 수정된 버전은 다른 이너 컨투어에 둘러싸여 있지 않은 가장 바깥쪽의 아우터 컨투어만 참조하는 방법이 존재한다.The Suzuki algorithm exists as a representative method for representing the hierarchical structure of contours (Suzuki S, Abe K (1985) Topological structural analysis of digitized binary images by border following. Comput Vis Graph Image Process 30:32-46). The Suzuki algorithm is an algorithm that extracts connected elements and creates a hierarchical structure of the contour by using the fact that the outer contour and the inner contour always correspond one to one. Alternatively, a modified version of the above algorithm exists that refers only to the outermost outer contour that is not surrounded by other inner contours.
도 7은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 도 6의 컨투어를 계층 구조를 스즈키 알고리즘을 이용하여 트리로 표현하고, 트리의 계층 구조를 바탕으로 상호 간의 관계를 표현한 테이블을 나타낸 도면이다. 도 6에서 F가 모든 컨투어를 포함하므로 0번 계층에 위치하게 되고, F가 포함하는 A, B, C, E 는 1번 계층, C가 포함하는 D는 2번 계층이 된다.FIG. 7 is a table in which the contour of FIG. 6 is expressed as a tree using the hierarchical structure of the Suzuki algorithm in the method of generating a patient-customized 3D model according to an embodiment of the present invention, and the relationships between them are expressed based on the hierarchical structure of the tree. This is a drawing showing . In Figure 6, since F includes all contours, it is located in layer 0, A, B, C, and E included in F are in layer 1, and D included in C is in layer 2.
상기 계층 구조를 표현한 트리는 상호 간의 연결 관계를 참조하여 다음 형제 노드(Next Sibling node), 이전 형제 노드(Previous Sibling node), 첫 번째 자식 노드(First child node), 부모 노드(Parent node)를 각 노드 별로 알 수 있고 이를 테이블로 표현할 수 있다. 예를 들면, 도 5에서 A의 다음 형제 노드는 B이고 이전 형제 노드와 자식 노드가 존재하지 않으므로 0, 부모 노드가 F로 표현될 수 있다.The tree expressing the hierarchical structure refers to the connection relationships between each node and categorizes the next sibling node, previous sibling node, first child node, and parent node into each node. This can be known and expressed in a table. For example, in Figure 5, the next sibling node of A is B, and since the previous sibling node and child node do not exist, the parent node can be expressed as 0 and F.
상기 스즈키 알고리즘은 요소의 개수 세기, 축소, 그리고 토폴로지 구조 분석 등에 유용하게 사용될 수 있다. 하지만, 의료영상과 같이 조직 기반으로 이미지를 해석해야 하는 경우에는 하나의 조직에 여러 개의 컨투어 계층(아우터 컨투어와 이너 컨투어)이 존재할 수 있고 컨투어 사이의 경계선 공유 관계를 정의할 수 없기 때문에, 상기 스즈키 알고리즘과 같은 컨투어 기반의 관계를 해석하는 방법은 적합하지 않다. 그러므로 상기 의료영상은 컨투어 기반이 아닌 조직 기반으로 SOI를 해석하고 관계를 재구성하는 것이 필요하다.The Suzuki algorithm can be useful for counting elements, reducing them, and analyzing topological structures. However, in cases where images must be interpreted based on tissue, such as in medical imaging, multiple contour layers (outer contour and inner contour) may exist in one tissue and the boundary sharing relationship between contours cannot be defined, so the Suzuki Methods for interpreting contour-based relationships, such as algorithms, are not suitable. Therefore, it is necessary to interpret the SOI and reconstruct the relationship in the medical image based on tissue rather than contour.
도 8은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 도 6의 컨투어를 조직 기반으로 해석하여 관계를 재구성한 그래프 및 포함 관계를 테이블로 정리한 도면이다. 상기 그래프의 각 노드는 각 관심 조직을 나타내며, 포함 관계를 정의하기 위해 그래프는 방향을 가진 그래프를 사용할 수 있다. 또한 임의의 제1 관심 조직이 제2 관심 조직을 포함한다면, 제2 관심 조직을 시점, 제1 관심 조직을 종점으로 하는 화살표(제1 관심 조직 → 제2 관심조직)를 그려 나타낼 수 있고, 임의의 제1 관심 조직이 제2 관심 조직을 포함하지는 않으나, 제2 관심 조직의 경계면을 공유하고 있는 경우라면, 제1 관심 조직을 시점, 제2 관심 조직을 종점으로 하는 화살표와 제2 관심 조직을 시점, 제1 관심 조직을 종점으로 하는 화살표로 나타낼 수 있다. 편의상 양방향 화살표를 이용하여 제1 관심 조직 ↔ 제2 관심조직으로 표현하고자 한다. 상기 화살표의 시점에 존재하는 노드는 화살표의 종점에 연결된 노드에 접근이 가능함을 의미한다. 도 8에서 A 관심 조직은 F 관심 조직에 포함되므로 A→F로 표현되고, B 관심 조직은 F 관심 조직에 포함되고 C, E 관심 조직과 경계를 공유하므로 B→F, B↔C, B↔E로 표현되고, C 관심 조직은 F 관심 조직에 포함되고 D 관심 조직을 포함하고 B, E 관심 조직과 경계를 공유하므로 C→F, C←D, C↔B, C↔E로 표현되고, D 관심 조직은 C 관심 조직에 포함되므로 D→C로 표현되고, E 관심 조직은 F 관심 조직에 포함되고 B, C 관심 조직과 경계를 공유하므로 E→F, E↔B, E↔C로 표현되고, F 관심 조직은 A, B, C, E 관심 조직을 포함하므로 F←A, F←B, F←C, F←E로 표현된다.FIG. 8 is a diagram illustrating a graph in which the relationship is reconstructed by analyzing the contour of FIG. 6 based on tissue in the method of generating a patient-customized 3D model according to an embodiment of the present invention, and the included relationship is organized in a table. Each node of the graph represents each organization of interest, and the graph can be a directed graph to define the inclusion relationship. In addition, if the first organization of interest includes the second organization of interest, it can be indicated by drawing an arrow (first organization of interest → second organization of interest) with the second organization of interest as the starting point and the first organization of interest as the end point, and If the first tissue of interest does not include the second tissue of interest, but shares the boundary of the second tissue of interest, an arrow with the first tissue of interest as the starting point and the second tissue of interest as the end point and the second tissue of interest are used. The starting point can be expressed as an arrow with the first tissue of interest as the end point. For convenience, we will use a two-way arrow to express the first organization of interest ↔ the second organization of interest. The node that exists at the starting point of the arrow means that the node connected to the end point of the arrow is accessible. In Figure 8, organization of interest A is included in organization of interest F, so it is expressed as A→F, and organization of interest B is included in organization of interest F and shares boundaries with organizations of interest C and E, so it is expressed as B→F, B↔C, B↔. It is expressed as E, and C interest organization is included in F interest organization, D interest organization is included, and shares boundaries with B and E interest organizations, so it is expressed as C→F, C←D, C↔B, C↔E, An organization of interest D is included in an organization of interest C, so it is expressed as D→C. An organization of interest E is included in an organization of interest F, and shares boundaries with organizations of interest B and C, so it is expressed as E→F, E↔B, E↔C. Since F interest organization includes A, B, C, and E interest organizations, it is expressed as F←A, F←B, F←C, and F←E.
상기 조직 기반으로 포함 관계를 정리한 테이블은, 상기 그래프에 임의의 제1 노드가 접근할 수 있는 노드를 참조하여 생성할 수 있다. 예를 들어, 도 8에서 A열은 F노드에 접근이 가능하므로 A열의 F행을 1로 나타내며, 접근이 불가능한 노드는 0으로 표현하고, C는 B, E, F와 접근이 가능하므로 C열의 B, E, F행을 1로 표현하고, 접근이 불가능한 노드는 0으로 표현한다.A table organizing inclusion relationships based on the organization can be created by referring to nodes in the graph that can be accessed by any first node. For example, in Figure 8, column A is accessible to node F, so row F in column A is represented as 1, and inaccessible nodes are represented as 0. Since column C is accessible to B, E, and F, row F in column C is represented as 1. Rows B, E, and F are expressed as 1, and inaccessible nodes are expressed as 0.
또한, 상기 테이블을 행의 관점에서 바라보면, 포함 및 경계선을 공유하고 있는 노드를 참조할 수 있다. 예를 들어, C행은 B, D, E를 포함하거나 경계선을 공유하고 있으므로 C행 B, D, E열을 1로 표현하며, F행은 A, B, C, E를 포함하거나 경계선을 공유하고 있으므로 F행 A, B, C, E열을 1로 표현할 수 있다.Additionally, if we look at the table from the perspective of rows, we can refer to nodes that share containment and boundaries. For example, row C contains columns B, D, and E or shares a boundary line, so row C columns B, D, and E are expressed as 1, and row F contains columns A, B, C, and E or shares a boundary line. Therefore, row F and columns A, B, C, and E can be expressed as 1.
상기 그래프는 자기 자신을 순환할 수 없기 때문에, 테이블에서 자기 자신에 대한 포함 관계 및 경계선 공유 관계는 계산하지 않는다.Since the graph cannot cycle around itself, it does not compute inclusion relationships and borderline sharing relationships to itself in the table.
상기 컨투어 편집은 관심 조직을 나타내는 컨투어를 생성/제거/변경하는 작업이며, 선택한 관심 조직의 영역을 확장하거나 축소하기 위해서는 상용 방사선 치료계획시스템에서 일반적으로 사용되는 러버밴드(rubberband) 툴을 사용할 수 있다. 컨투어 편집은 상기 조직 기반의 연결 관계 테이블을 참조하여 컨투어를 조정하는 작업을 수행하며, 이를 도 9, 도 10, 도 11, 도 12, 도 13, 도 14를 참조하여 상술한다.The contour editing is an operation to create/remove/change the contour representing the tissue of interest. To expand or reduce the area of the selected tissue of interest, a rubberband tool commonly used in commercial radiation treatment planning systems can be used. . Contour editing involves adjusting the contour with reference to the tissue-based connection table, which will be described in detail with reference to FIGS. 9, 10, 11, 12, 13, and 14.
치료계획시스템에서는 컨투어 생성을 위해 특별히 고안된 편집 도구들을 제공하며 사용자는 이들 편집 도구들을 사용하여 2차원 슬라이스 이미지 위에 컨투어를 정의할 수 있다. 컨투어 편집 도구들은 전통적으로 Pen, Rubber, Cut, Remove 등이 있다. Pen은 마우스 클릭 및 드래그로 포인트와 패스를 만들고 원하는 모양으로 움직이며 컨투어를 그릴 수 있다. Rubber는 원형의 컨트롤을 움직여 컨투어를 안으로 밀어 넣거나 밖으로 확장시키는 것을 가능하게 하는 도구이다. Cut는 컨투어의 일정 부분만 자르고 재정의할 수 있게 하며, Remove는 선택한 컨투어를 지울 수 있는 도구이다. 또한 HU 값을 이용하여 마우스 클릭한 부분과 허용 범위 내의 같은 값들을 컨투어로 생성하는 Magic wand등이 있다. 컨투어 편집에는 마우스, 키보드, 터치스크린 등의 입력을 포함한다.The treatment planning system provides editing tools specifically designed for contour creation, and users can use these editing tools to define contours on two-dimensional slice images. Contour editing tools traditionally include Pen, Rubber, Cut, and Remove. The Pen can create points and paths by clicking and dragging the mouse, move it to the desired shape, and draw a contour. Rubber is a tool that allows you to push the contour in or expand it outward by moving a circular control. Cut allows you to cut and redefine only a certain portion of the contour, and Remove is a tool that allows you to erase the selected contour. There is also a magic wand that uses the HU value to create a contour of the area where the mouse was clicked and the same values within the allowable range. Contour editing includes inputs such as mouse, keyboard, and touch screen.
컨투어는 사용 용도에 따라 관심 조직과 관심 볼륨으로 나누어지며, 관심 조직은 각 기관(organ)이나 티슈(tissue) 같은 조직을 나타내고 평가에 사용된다. 관심 볼륨은 반드시 조직을 의미하지 않지만, 사용자가 평가 목적으로 관심을 가질 수 있는 영역을 나타낸다. 이때, 관심 조직 컨투어는 하나의 복셀에 하나의 조직을 나타내기 위해 아우터 컨투어와 이너 컨투어로 정의될 수 있다. 아우터 컨투어는 한 조직의 외부 윤곽선을 표시하며, 이너 컨투어는 상기 조직의 내부에 존재하는 다른 조직과의 경계선을 나타내는데, 상기 조직의 내부에 존재하는 다른 조직이 없다면 이너 컨투어를 정의하지 않을 수 있다.Contours are divided into tissue of interest and volume of interest depending on their intended use, and tissue of interest represents tissue such as each organ or tissue and is used for evaluation. Volume of interest does not necessarily refer to an organization, but represents an area that users may be interested in for evaluation purposes. At this time, the tissue contour of interest may be defined as an outer contour and an inner contour to represent one tissue in one voxel. The outer contour indicates the external outline of a tissue, and the inner contour indicates a boundary with other tissues existing inside the tissue. If there are no other tissues existing inside the tissue, the inner contour may not be defined.
도 9는 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 선택된 관심 조직의 이너 컨투어 갱신의 순서도이다. 선택된 관심 조직의 이너 컨투어를 갱신하고자 할 때, 도 8과 같이 조직 기반으로 연결 관계를 나타낸 테이블을 참조하여 상기 선택된 제1 관심 조직이 포함하는 제2 관심 조직을 참조하여 상기 제2 관심 조직들을 합집합(union, ∪ operator)한 후에 상기 제1 관심 조직에서 빼기 부울 연산을 수행함으로써 제1 관심 조직의 이너 컨투어를 갱신할 수 있다. 예를 들어, 도 10에서 F의 이너 컨투어를 갱신하기 위해서는, F가 포함하고 있는 관심 조직이 A, B, C, E임을 알 수 있고, C는 D를 포함하고 있으므로, F에 포함되어 있는 관심 조직으로 간주한다. F가 포함하고 있는 관심 조직이 A, B, C, D, E이므로 이를 합집합한 영역이 도 10에서 색칠된 부분을 의미한다. 상기 합집합 영역을 F에서 빼기 부울 연산(difference, ― operator)을 수행하면 이너 컨투어를 갱신할 수 있다.Figure 9 is a flowchart of updating the inner contour of a selected tissue of interest in the method for generating a patient-customized 3D model according to an embodiment of the present invention. When trying to update the inner contour of a selected organization of interest, refer to a table showing connection relationships based on organizations as shown in FIG. 8, refer to the second organization of interest included in the selected first organization of interest, and merge the second organizations of interest. After (union, ∪ operator), the inner contour of the first tissue of interest can be updated by performing a subtraction Boolean operation on the first tissue of interest. For example, in order to update the inner contour of F in Figure 10, it can be seen that the tissues of interest included in F are A, B, C, and E, and since C includes D, the tissues of interest included in F Considered an organization. Since the tissues of interest included in F are A, B, C, D, and E, the area where they are combined represents the colored portion in FIG. 10. The inner contour can be updated by performing a Boolean operation (difference, - operator) to subtract the union area from F.
도 11은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 선택된 관심 조직이 수정되었을 때, 포함관계에 있거나 경계선을 공유하는 관심 조직을 갱신하는 작업의 순서도이다. 조직 기반 포함 관계 테이블을 참조하여 선택된 관심 조직을 시점으로 하는 화살표를 참조하여 종점에 있는 노드들이 경계선 공유 관계인지 포함 관계인지 판단한다. 만약 상기 종점에 있는 노드가 경계선 공유 관계라면, 부울 빼기 연상을 통해 상기 선택된 노드를 빼어 갱신하고, 포함관계에 있어서 상기 종점의 노드가 상기 선택된 노드를 포함하고 있는 경우에는 종점의 노드의 이너 컨투어를 갱신해준다. 예를 들어, 도 12 상단 그림에서 B를 시점으로 하는 화살표를 참조하면 C, E, F를 확인할 수 있는데, C와 E는 경계선을 공유하고 있는 관계이기 때문에, C에서 B를 빼주어 C를 갱신, E에서 B를 빼주어 B를 갱신한다. 또한 F는 B를 포함하고 있는 관계이기 때문에, F의 이너 컨투어를 갱신하기 위해서 F가 포함하고 있는 노드를 합집합하여 F에서 빼줌으로써 갱신할 수 있다. 도 12의 하단 그림은 관심 조직 수정 후에 변경된 컨투어를 나타낸다.Figure 11 is a flowchart of the operation of updating the tissue of interest that is included or shares a boundary line when the selected tissue of interest is modified in the method for generating a patient-customized 3D model according to an embodiment of the present invention. Refer to the organization-based inclusion relationship table and refer to the arrow with the selected organization of interest as the starting point to determine whether the nodes at the endpoint are in a borderline sharing relationship or an inclusion relationship. If the node at the end point has a boundary sharing relationship, the selected node is subtracted and updated through Boolean subtraction association, and if the node at the end point includes the selected node in the inclusion relationship, the inner contour of the node at the end point is updated. Update it. For example, if you refer to the arrow with B as the starting point in the upper picture of Figure 12, you can see C, E, and F. Since C and E share a boundary line, C is updated by subtracting B from C. , update B by subtracting B from E. Also, because F is a relationship that includes B, in order to update the inner contour of F, the nodes included in F can be updated by unioning the nodes and subtracting them from F. The bottom picture in Figure 12 shows the changed contour after tissue of interest modification.
상기 선택된 관심 조직을 수정하는 과정에서, 조직 기반의 포함 관계 테이블을 참조하여 선택된 관심 조직과 포함 관계에 있지 않고, 경계선을 공유하고 있는 관계에 있지 않다면, 상기 선택된 관심 조직이 연관성이 없는 조직으로 간주하고 빼기 부울 연산을 수행하지 않는다.In the process of modifying the selected organization of interest, if it is not in an inclusion relationship with the organization of interest selected by referring to the organization-based inclusion relationship table and is not in a relationship sharing a boundary line, the selected organization of interest is regarded as an unrelated organization. and does not perform the subtraction Boolean operation.
도 13은 본 발명의 일실시예에 따른 환자 맞춤형 3차원 모델 생성 방법에서 실제 치료계획시스템에서 컨투어 변경이 적용되는 과정을 나타내는 도면이다. 도면에서 좌측의 빨간색 아우터 컨투어는 Scalp를 나타내고, 이너 컨투어는 CSF와의 경계선을 나타낸다. 그리고 우측의 노란색 컨투어는 CSF를 나타낸다. 만약에 우측의 CSF 컨투어를 수동 조직 분할 도구를 이용하여 우측 하단과 같이 변경하게 되면, 조직 기반 포함 관계 테이블을 참조하여 CSF와 경계선 공유 관계에 있거나, 포함 관계에 있는 관심 조직을 찾게 되고, 해당 그림에서는 CSF를 포함하고 있는 관심 조직으로서 Scalp를 확인하게 된다. Scalp가 CSF를 포함하고 있으므로, Scalp의 이너 컨투어를 갱신하는 작업을 수행하면 좌측 하단의 컨투어로 갱신할 수 있다.Figure 13 is a diagram showing the process of applying contour change in the actual treatment planning system in the patient-customized 3D model generation method according to an embodiment of the present invention. In the drawing, the red outer contour on the left represents the scalp, and the inner contour represents the boundary line with the CSF. And the yellow contour on the right represents CSF. If the CSF contour on the right is changed as shown in the bottom right using the manual tissue segmentation tool, the organization of interest that is in a borderline sharing or inclusion relationship with the CSF can be found by referring to the tissue-based inclusion relationship table, and Scalp is identified as an organization of interest containing CSF. Since Scalp includes CSF, if you update Scalp's inner contour, you can update it to the lower left contour.
상기 3D 모델 생성은 상기 편집 과정을 통해 얻은 관심 조직을 이용하여 3차원 모델을 재구성하는 작업이다. 상기 관심 조직이 컨투어인 경우에는, Reconstruction of surfaces from planar contours through contour interpolation을 이용하여 3차원 모델로 재구성할 수 있다. 이는 슬라이스와 슬라이스 사이에 존재하는 컨투어를 연결하는 메시를 생성하여, 모든 슬라이스에 대해서 상하 관계에 있는 컨투어들을 연결하게 되면 관심 조직 전체를 표현하는 3차원 모델을 생성할 수 있다.The 3D model creation is a task of reconstructing a 3D model using the tissue of interest obtained through the editing process. If the tissue of interest is a contour, it can be reconstructed into a three-dimensional model using Reconstruction of surfaces from planar contours through contour interpolation. This creates a mesh that connects the contours that exist between slices, and by connecting the contours in a vertical relationship for all slices, a three-dimensional model that represents the entire tissue of interest can be created.
상기 관심 조직이 레이블 맵인 경우에는, 3차원 모델을 복셀 기반의 레이블 맵으로부터 만드는 알고리즘을 사용할 수 있다. 마칭큐브나 M3C(Multi-material marching cube)는 대표적인 복셀 기반 3차원 모델 재구성 알고리즘으로, 레이블 맵을 구성하는 복셀의 정점에 저장된 레이블 값을 확인하고, 레이블의 종류에 따라 영역을 나누는 메시를 복셀 별로 생성한다. 레이블 맵을 구성하는 전체 복셀에 대해서 이와 같은 작업을 반복하고 토폴로지(topology)와 기하학적(geometric) 조건을 맞추어 주면 3차원 모델을 재구성할 수 있다. (비특허문헌 003 참고)If the tissue of interest is a label map, an algorithm that creates a 3D model from a voxel-based label map can be used. Marching cube or M3C (Multi-material marching cube) is a representative voxel-based 3D model reconstruction algorithm. It checks the label values stored at the vertices of the voxels that make up the label map, and creates a mesh that divides the area according to the type of label for each voxel. Create. By repeating this operation for all voxels that make up the label map and matching topology and geometric conditions, a 3D model can be reconstructed. (Refer to non-patent document 003)
상기 관심 조직이 컨투어일 때, 레이블 맵 복셀 기반 3차원 모델 재구성 알고리즘을 사용하기 위해 레이블 맵으로 변환할 수 있어야 하며 복셀화(Voxelization) 과정을 통해서 수행될 수 있다.When the tissue of interest is a contour, it must be converted to a label map in order to use a label map voxel-based 3D model reconstruction algorithm and can be performed through a voxelization process.
만약 전도도맵이나 비저항맵을 레이블 맵 형태로 보유하고 있다면 상기 3차원 모델과 대응시켜 계산에 활용할 수 있다.If you have a conductivity map or resistivity map in the form of a label map, you can use it for calculations by matching it with the 3D model.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 예를 들어 당업자는 각 구성요소의 재질, 크기 등을 적용 분야에 따라 변경하거나, 개시된 실시형태들을 조합 또는 치환하여 본 발명의 실시예에 명확하게 개시되지 않은 형태로 실시할 수 있으나, 이 역시 본 발명의 범위를 벗어나지 않는 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것으로 한정적인 것으로 이해해서는 안 되며, 이러한 변형 실시예들은 본 발명의 특허청구범위에 기재된 기술사상에 포함된다고 하여야 할 것이다.Although embodiments of the present invention have been described above with reference to the attached drawings, those skilled in the art will understand that the present invention can be implemented in other specific forms without changing the technical idea or essential features. You will be able to understand it. For example, a person skilled in the art may change the material, size, etc. of each component depending on the field of application, or combine or substitute the disclosed embodiments to implement the present invention in a form not clearly disclosed in the embodiments of the present invention, but this also may be done in a form not clearly disclosed in the embodiments of the present invention. It does not go beyond the scope of the invention. Therefore, the embodiments described above are illustrative in all respects and should not be understood as limiting, and such modified embodiments should be considered to be included in the technical idea described in the claims of the present invention.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220116958 | 2022-09-16 | ||
| KR20220116958 | 2022-09-16 |
| Publication Number | Publication Date |
|---|---|
| KR20240038600Atrue KR20240038600A (en) | 2024-03-25 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230119855APendingKR20240038600A (en) | 2022-09-16 | 2023-09-08 | Method for creating a patient specific 3D model |
| Country | Link |
|---|---|
| KR (1) | KR20240038600A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102806505B1 (en)* | 2024-08-20 | 2025-05-16 | 주식회사 필드큐어 | Method and system for determining the medical image scan range for medical image-based 3D modeling |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4710876A (en) | 1985-06-05 | 1987-12-01 | General Electric Company | System and method for the display of surface structures contained within the interior region of a solid body |
| KR20120111871A (en) | 2011-03-29 | 2012-10-11 | 삼성전자주식회사 | Method and apparatus for creating medical image using 3d deformable model |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4710876A (en) | 1985-06-05 | 1987-12-01 | General Electric Company | System and method for the display of surface structures contained within the interior region of a solid body |
| KR20120111871A (en) | 2011-03-29 | 2012-10-11 | 삼성전자주식회사 | Method and apparatus for creating medical image using 3d deformable model |
| Title |
|---|
| Seeram, Euclid. "Computed tomography: a technical review." Radiologic technology 89.3 (2018): 279CT-302CT. |
| Shapey, Jonathan, et al. "Segmentation of vestibular schwannoma from MRI, an open annotated dataset and baseline algorithm." Scientific Data 8.1 (2021): 286. |
| Wu, Ziji, and John M. Sullivan Jr. "Multiple material marching cubes algorithm." International Journal for Numerical Methods in Engineering 58.2 (2003): 189-207. |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102806505B1 (en)* | 2024-08-20 | 2025-05-16 | 주식회사 필드큐어 | Method and system for determining the medical image scan range for medical image-based 3D modeling |
| Publication | Publication Date | Title |
|---|---|---|
| Marescaux et al. | Virtual reality applied to hepatic surgery simulation: the next revolution | |
| Yoo | Three-dimensional surface reconstruction of human bone using a B-spline based interpolation approach | |
| Khan et al. | A methodological review of 3D reconstruction techniques in tomographic imaging | |
| Kalra | Developing fe human models from medical images | |
| Zhang | Virtual reality technology | |
| Wust et al. | Evaluation of segmentation algorithms for generation of patient models in radiofrequency hyperthermia | |
| Vonach et al. | A method for rapid production of subject specific finite element meshes for electrical impedance tomography of the human head | |
| CN107209794A (en) | Finite Element Modeling of Anatomical Structures | |
| KR20240038600A (en) | Method for creating a patient specific 3D model | |
| US12136181B2 (en) | Method for visualizing at least a zone of an object in at least one interface | |
| Zhang et al. | Virtual reality surgery simulation: A survey on patient specific solution | |
| CN110148208B (en) | A teaching model construction method for nasopharyngeal radiotherapy based on Chinese digital human | |
| Balashova et al. | 3D organ shape reconstruction from Topogram images | |
| Tan et al. | Computer assisted system for precise lung surgery based on medical image computing and mixed reality | |
| Sowell et al. | Volume viewer: an interactive tool for fitting surfaces to volume data | |
| Masero et al. | Volume reconstruction for health care: a survey of computational methods | |
| Paulo et al. | 3D Reconstruction from CT Images Using Free Software Tools | |
| Kim et al. | Biomedical image visualization and display technologies | |
| Galeano et al. | 3D reconstruction of organ from CT images and visualization in a virtual reality environment | |
| Galeano et al. | Alternative Tool for the Diagnosis of Diseases Through Virtual Reality | |
| Joseph et al. | An affinity propagated clustering aided computerized Inherent Seeded Region Growing and Deep learned Marching Cubes Algorithm (ISRG‐DMCA) based three dimensional image reconstruction approach | |
| Montilla et al. | Computer assisted planning using dependent texture mapping and multiple rendering projections in medical applications | |
| Kerr et al. | “True” color surface anatomy: mapping the Visible Human to patient-specific CT data | |
| de Araujo Buck et al. | 3-D segmentation of medical structures by integration of raycasting with anatomic knowledge | |
| Drakopoulos et al. | Tetrahedral image-to-mesh conversion for anatomical modeling and surgical simulations |
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | Patent event code:PA01091R01D Comment text:Patent Application Patent event date:20230908 | |
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application |