본 발명은 수술용 내비게이션에 관한 것으로서, 구체적으로는 수술용 내비게이션의 인공 지능 기반 초기 정합 장치 및 방법에 관한 것에 관한 것이다.The present invention relates to surgical navigation, and specifically to an artificial intelligence-based initial registration device and method for surgical navigation.
수술용 내비게이션에서는 의사가 수술용 의료 장비 상에 나타나는 의료 영상 공간을 보고 수술대 위의 실제 환자의 수술이 가능하게 하는 지원하는 장치이다.Surgical navigation is a device that allows a doctor to view the medical image space displayed on surgical medical equipment and perform surgery on an actual patient on the operating table.
이러한 과정에서 의료 영상 공간과 실제 환자 공간의 정합이 선행되어야 한다. 도 1의 왼쪽 도면에서와 같이 이러한 의료 영상 공간과 실제 환자 공간 간의 부정합이 나타날 수 있다. 이러한 공간 간의 정합이 되지 않을 경우, 상당한 문제를 초래하게 된다.In this process, registration of the medical image space and the actual patient space must take precedence. As shown in the left drawing of FIG. 1, mismatch between the medical image space and the actual patient space may appear. If these spaces are not aligned, it can cause significant problems.
이러한 정합은 매우 정밀하게 이루어져야 하는데, 초기(coarse) 정합과 표면 정합의 2 단계를 거쳐 이루어지게 된다. 초기 정합은 의료 영상 공간과 환자 공간을 대략적으로 정합시키는 과정으로서, 도 1에서와 같이 환자 공간의 적외선 영상과 의료 공간 영상을 회전, 이동 등의 과정을 거쳐 정합시킨다.This registration must be done very precisely, and is accomplished through two stages: initial (coarse) registration and surface registration. Initial registration is a process of roughly matching the medical image space and the patient space. As shown in FIG. 1, the infrared image of the patient space and the medical space image are aligned through processes such as rotation and movement.
다시 말하면, 도 1에서 보듯이 서로 다른 공간에 존재하는 두 점군집을 완벽하게는 아니어도 하나의 공간으로 이동시켜 대략적으로 정합하는 과정이다. 그 이후에는 보다 면밀하게 표면 정합을 하게 된다.In other words, as shown in Figure 1, it is a process of roughly matching two point clusters existing in different spaces by moving them into one space, although not completely. After that, surface registration is performed more closely.
이때, 도 2에서와 같이 적외선 영상과 의료 공간 영상의 각각의 특징점을 추출하여 초기 정합을 수행하는데, 눈의 양 옆, 입 주변, 코와 같은 특징점 4-8개를 기준으로 정합을 수행한다. 여기서, 환자 공간의 점군집과 의료 영상 공간의 점군집은 정확히 대응되는 관계이기 때문에 초기 정렬을 위한 회전 이동 행렬을 획득하고, 이를 이용하여 기존의 두 공간의 점군집을 초기 정렬시킬 수 있다.At this time, as shown in FIG. 2, initial registration is performed by extracting each feature point of the infrared image and medical space image, and registration is performed based on 4 to 8 feature points such as both sides of the eyes, around the mouth, and nose. Here, since the point cloud in the patient space and the point cloud in the medical image space correspond exactly to each other, a rotational movement matrix for initial alignment can be obtained, and this can be used to initially align the point clouds in the two existing spaces.
그런데, 이러한 특징점의 위치는 각 사람의 해부적인 특징으로 인해 3차원적으로 다양한 위치의 편차를 가지고 있다. 이에 따라, 초기 정합을 하는 과정에서 3차원적으로 정확하게 정합이 되지 않고 오차를 발생시키는 문제점이 있다.However, the positions of these feature points have various three-dimensional differences in position due to the anatomical characteristics of each person. Accordingly, there is a problem that during the initial registration process, the registration is not accurate in three dimensions and errors are generated.
이는 궁극적으로는 수술 내비게이션의 정확도를 떨어뜨리는 치명적인 문제를 유발한다.This ultimately causes a fatal problem that reduces the accuracy of surgical navigation.
상술한 바와 같은 문제점을 해결하기 위한 본 발명은 수술용 내비게이션의 인공 지능 기반 초기 정합 장치 및 방법을 제공하는 것이다.The present invention to solve the problems described above is to provide an artificial intelligence-based initial matching device and method for surgical navigation.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned can be clearly understood by those skilled in the art from the description below.
상술한 과제를 해결하기 위한 본 발명은 의료 영상을 입력받아 의료 영상 공간 상의 점군집을 확보하는 의료영상공간 점군집 확보 모듈, 상기 점군집에 기반하여 환자 공간의 다수의 가상 점군집을 확보하는 환자공간 가상 점군집 확보 모듈 및 상기 점군집 및 상기 다수의 가상 점군집으로 구성되는 입력 데이터 셋과 상기 다수의 가상 점군집의 거리 행렬 및 회전 행렬로 구성되는 타겟 데이터 셋을 이용하여 인공지능 학습을 수행하고 초기 정합 인공지능모델을 실시간 생성하는 초기 정합 인공지능 학습 모듈을 포함할 수 있다.The present invention to solve the above-mentioned problems is a medical image space point cloud securing module that receives a medical image and secures a point cloud in the medical image space, and a patient secures a plurality of virtual point clouds in the patient space based on the point cloud. Perform artificial intelligence learning using a spatial virtual point cloud acquisition module and an input data set consisting of the point cloud and the plurality of virtual point clouds, and a target data set consisting of a distance matrix and a rotation matrix of the plurality of virtual point clouds. and may include an initial matching artificial intelligence learning module that generates an initial matching artificial intelligence model in real time.
또한, 상기 초기 정합 인공지능모델을 이용하여 실제 환자 공간과 상기 의료 영상 공간의 초기 정합을 자동으로 수행하는 초기 정합 자동화 모듈을 더 포함하도록 구성될 수 있다.In addition, it may be configured to further include an initial registration automation module that automatically performs initial registration of the actual patient space and the medical image space using the initial registration artificial intelligence model.
또한, 상기 환자공간 가상 점군집 확보 모듈은, 다수의 2차원의 미스터리 커브를 생성하는 미스터리 커브 생성부, 상기 다수의 2차원의 미스터리 커브 중 적어도 하나를 상기 점군집에 정사영하여 상기 점군집의 3차원 정보에 대응되는 3차원의 미스터리 커브를 생성하는 의료영상 방향 정사영부, 상기 3차원 미스터리 커브를 상기 의료영상공간 점군집 확보 모듈에서 확보된 점군집으로부터 각각 다른 3차원 위치로 이동시키기 위한 3차원 거리 행렬 및 3차원 회전 행렬을 임의 생성하는 3차원 거리행렬/회전행렬 임의 생성부, 상기 3차원 미스터리 커브에 대해 상기 3차원 거리행렬/회전행렬 임의 생성부에서 임의 생성된 3차원 거리 행렬 및 3차원 회전 행렬을 각각 적용하는 3차원 거리행렬/회전행렬 적용부 및 상기 3차원 거리 행렬 및 3차원 회전 행렬이 각각 적용된 3차원 미스터리 커브에 상응하는 환자공간의 다수의 가상 점군집을 출력하는 환자공간 가상 점군집 출력부를 포함하도록 구성될 수 있다.In addition, the patient space virtual point cluster securing module includes a mystery curve generator that generates a plurality of two-dimensional mystery curves, and orthogonally projects at least one of the plurality of two-dimensional mystery curves onto the point cloud to form three of the point clouds. A medical image direction orthogonal projection that generates a 3D mystery curve corresponding to dimensional information, and a 3D screen for moving the 3D mystery curve to a different 3D location from the point cloud secured in the medical image space point cloud acquisition module. A 3D distance matrix/rotation matrix random generator for randomly generating a distance matrix and a 3D rotation matrix, a 3D distance matrix randomly generated from the 3D distance matrix/rotation matrix random generator for the 3D mystery curve, and 3 A 3D distance matrix/rotation matrix application unit that applies a 3D rotation matrix, respectively, and a patient space that outputs a plurality of virtual point clusters in the patient space corresponding to a 3D mystery curve to which the 3D distance matrix and 3D rotation matrix are respectively applied. It may be configured to include a virtual point cloud output unit.
또한, 상기 미스터리 커브 생성부는, 연속적인 시계열 데이터로 구성되는 2차원의 미스터리 커브를 생성하도록 구성될 수 있다.Additionally, the mystery curve generator may be configured to generate a two-dimensional mystery curve composed of continuous time series data.
또한, 상기 초기 정합 인공지능 학습 모듈은, 상기 점군집의 특징을 추출하는 의료영상공간 점군집 특징 추출부, 상기 다수의 가상 점군집의 특징을 추출하는 환자공간 가상 점군집 특징 추출부, 상기 점군집의 특징 및 상기 다수의 가상 점군집의 특징을 각각 결합하여 가상 점군집의 3차원 거리행렬을 예측하는 3차원 거리행렬 예측부, 상기 점군집의 특징 및 상기 다수의 가상 점군집의 특징을 각각 결합하여 가상 점군집의 3차원 회전행렬을 예측하는 3차원 회전행렬 예측부 및 상기 예측된 3차원 거리행렬 및 상기 예측된 3차원 회전행렬을 이용하여 상기 초기 정합 인공지능모델을 실시간 생성하는 초기 정합 인공지능모델 생성부를 포함하도록 구성될 수 있다.In addition, the initial matching artificial intelligence learning module includes a medical image space point cluster feature extraction unit for extracting features of the point cluster, a patient space virtual point cluster feature extraction unit for extracting features of the plurality of virtual point clusters, and the point cluster. A 3D distance matrix prediction unit that predicts a 3D distance matrix of a virtual point cluster by combining the characteristics of the cluster and the characteristics of the plurality of virtual point clusters, respectively, and the characteristics of the point cluster and the characteristics of the plurality of virtual point clusters, respectively. A 3D rotation matrix prediction unit that combines to predict the 3D rotation matrix of a virtual point cluster, and an initial registration that generates the initial registration artificial intelligence model in real time using the predicted 3D distance matrix and the predicted 3D rotation matrix. It may be configured to include an artificial intelligence model creation unit.
또한, 상술한 과제를 해결하기 위한 본 발명은 수술용 내비게이션의 인공 지능 기반 초기 정합 장치에서 수행되는 방법에 있어서, 의료영상공간 점군집 확보 모듈이 의료 영상을 입력받아 의료 영상 공간 상의 점군집을 확보하는 단계, 환자공간 가상 점군집 확보 모듈이 상기 점군집에 기반하여 환자 공간의 다수의 가상 점군집을 확보하는 단계 및 초기 정합 인공지능 학습 모듈이 상기 점군집 및 상기 다수의 가상 점군집으로 구성되는 입력 데이터 셋과 상기 다수의 가상 점군집의 거리 행렬 및 회전 행렬로 구성되는 타겟 데이터 셋을 이용하여 인공지능 학습을 수행하고 초기 정합 인공지능모델을 실시간 생성하는 단계를 포함할 수 있다.In addition, the present invention to solve the above-described problem is a method performed in an artificial intelligence-based initial registration device for surgical navigation, wherein a medical image space point cluster securing module receives a medical image and secures a point cluster in the medical image space. a step of securing a plurality of virtual point clouds in the patient space based on the point cloud, where the patient space virtual point cloud securing module secures a plurality of virtual point clouds in the patient space based on the point cloud, and an initial matching artificial intelligence learning module is composed of the point cloud and the plurality of virtual point clusters. It may include performing artificial intelligence learning using an input data set and a target data set consisting of a distance matrix and a rotation matrix of the plurality of virtual point clusters and generating an initial matching artificial intelligence model in real time.
또한, 초기 정합 자동화 모듈이 상기 초기 정합 인공지능모델을 이용하여 실제 환자 공간과 상기 의료 영상 공간의 초기 정합을 자동으로 수행하는 단계를 더 포함하도록 구성될 수 있다.Additionally, the initial registration automation module may be configured to further include automatically performing initial registration of the actual patient space and the medical image space using the initial registration artificial intelligence model.
또한, 상기 다수의 가상 점군집 확보 단계는, 미스터리 커브 생성부가 다수의 2차원의 미스터리 커브를 생성하는 단계, 의료영상 방향 정사영부가 상기 다수의 2차원의 미스터리 커브 중 적어도 하나를 상기 점군집에 정사영하여 상기 점군집의 3차원 정보에 대응되는 3차원의 미스터리 커브를 생성하는 단계, 3차원 거리행렬/회전행렬 임의 생성부가 상기 각각의 3차원 미스터리 커브를 상기 점군집으로부터 각각 다른 3차원 위치로 이동시키기 위한 3차원 거리 행렬 및 3차원 회전 행렬을 임의 생성하는 단계, 3차원 거리행렬/회전행렬 적용부가 상기 3차원 미스터리 커브에 대해 상기 3차원 거리 행렬 및 3차원 회전 행렬을 각각 적용하는 단계 및 환자공간 가상 점군집 출력부가 상기 3차원 거리 행렬 및 3차원 회전 행렬이 각각 적용된 3차원 미스터리 커브에 상응하는 환자공간의 다수의 가상 점군집을 출력하는 단계를 포함하도록 구성될 수 있다.In addition, the step of securing a plurality of virtual point clusters includes a mystery curve generating unit generating a plurality of two-dimensional mystery curves, and a medical image direction orthographic projection unit orthographically projecting at least one of the plurality of two-dimensional mystery curves onto the point cloud. generating a 3D mystery curve corresponding to the 3D information of the point cluster, and a 3D distance matrix/rotation matrix random generator moving each 3D mystery curve from the point cluster to a different 3D location. randomly generating a 3D distance matrix and a 3D rotation matrix, a 3D distance matrix/rotation matrix applying unit applying the 3D distance matrix and a 3D rotation matrix to the 3D mystery curve, respectively, and a patient The spatial virtual point cluster output unit may be configured to include the step of outputting a plurality of virtual point clusters in the patient space corresponding to the 3D mystery curve to which the 3D distance matrix and the 3D rotation matrix are respectively applied.
또한, 상기 다수의 2차원의 미스터리 커브 생성 단계는, 연속적인 시계열 데이터로 구성되는 2차원의 미스터리 커브를 생성하도록 구성될 수 있다.Additionally, the plurality of two-dimensional mystery curve generating steps may be configured to generate two-dimensional mystery curves composed of continuous time series data.
또한, 상기 초기 정합 인공지능모델 실시간 생성 단계는, 의료영상공간 점군집 특징 추출부가 상기 점군집의 특징을 추출하는 단계, 환자공간 가상 점군집 특징 추출부가 상기 다수의 가상 점군집의 특징을 추출하는 단계, 3차원 거리행렬 예측부 및 3차원 회전행렬 예측부가 상기 점군집의 특징 및 상기 다수의 가상 점군집의 특징을 각각 결합하여 각 가상 점군집의 3차원 거리행렬 및 3차원 회전행렬을 예측하는 단계 및 초기 정합 인공지능모델 생성부가 상기 3차원 거리행렬 및 상기 3차원 회전행렬 예측부에서 예측된 3차원 회전행렬을 이용하여 상기 초기 정합 인공지능모델을 실시간 생성하는 단계를 포함할 수 있다.In addition, the real-time creation of the initial matching artificial intelligence model includes a medical image space point cloud feature extraction unit extracting features of the point cloud, and a patient space virtual point cloud feature extraction unit extracting features of the plurality of virtual point clusters. Step, the 3D distance matrix prediction unit and the 3D rotation matrix prediction unit combine the characteristics of the point cluster and the characteristics of the plurality of virtual point clusters to predict the 3D distance matrix and 3D rotation matrix of each virtual point cluster. It may include the step of the initial matching artificial intelligence model generating unit generating the initial matching artificial intelligence model in real time using the 3D distance matrix and the 3D rotation matrix predicted by the 3D rotation matrix prediction unit.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition to this, another method for implementing the present invention, another system, and a computer-readable recording medium recording a computer program for executing the method may be further provided.
상기와 같은 본 발명에 따르면, 기존처럼 단순히 2차원적인 몇 개의 특징점으로 초기 정합을 수행하는 것이 아니라 미스터리 커브에 3차원적인 위치 및 곡면의 특성을 내포시켜 미스터리 커브를 의료 영상 공간의 주변에 거리 이동 및 회전 이동을 시켜 인공지능학습 데이터를 생성하여 학습함으로써, 기존과 달리 초기 정렬에서 3차원적인 위치 오차의 발생을 방지하고 정확도를 높일 수 있는 초기 정합 인공지능모델을 생성할 수 있는 효과가 있다.According to the present invention as described above, rather than simply performing initial registration with a few two-dimensional feature points as before, the mystery curve is moved a distance around the medical image space by embedding three-dimensional position and curved surface characteristics in the mystery curve. By generating and learning artificial intelligence learning data by rotating and moving, unlike existing methods, it is possible to create an initial alignment artificial intelligence model that can prevent the occurrence of three-dimensional position errors in initial alignment and increase accuracy.
또한, 이러한 초기 정합 인공지능모델은 개별적인 수술 대상에 대해 실시간으로 생성되어 수술 시 적용될 수 있으므로, 수술 대상의 3차원 형상이 복잡하더라도 정확도 높은 초기 정합을 할 수 있고, 초기 정합의 시간도 줄일 수 있는 효과가 있다.In addition, this initial registration artificial intelligence model can be generated in real time for each individual surgical subject and applied during surgery, so that high-accuracy initial registration can be performed even if the three-dimensional shape of the surgical subject is complex, and the initial registration time can be reduced. It works.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1 및 도 2는 종래 기술에 따른 수술용 내비게이션이 초기 정합 방법을 나타내는 모식도이다.
도 3은 본 발명에 따른 수술용 내비게이션의 인공 지능 기반 초기 정합 장치에 대해 계략적으로 나타낸 블록도이다.
도 4 내지 도 11은 본 발명에 따른 수술용 내비게이션의 인공 지능 기반 초기 정합 알고리즘을 설명하기 위한 예시도이다.
도 12는 본 발명에 따른 수술용 내비게이션의 인공 지능 기반 초기 정합 방법을 나타낸 흐름도이다.Figures 1 and 2 are schematic diagrams showing the initial registration method of surgical navigation according to the prior art.
Figure 3 is a block diagram schematically showing the artificial intelligence-based initial registration device for surgical navigation according to the present invention.
Figures 4 to 11 are exemplary diagrams for explaining the artificial intelligence-based initial matching algorithm of the surgical navigation according to the present invention.
Figure 12 is a flowchart showing an artificial intelligence-based initial registration method for surgical navigation according to the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure of the present invention is complete and to provide a general understanding of the technical field to which the present invention pertains. It is provided to fully inform the skilled person of the scope of the present invention, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for describing embodiments and is not intended to limit the invention. As used herein, singular forms also include plural forms, unless specifically stated otherwise in the context. As used in the specification, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other elements in addition to the mentioned elements. Like reference numerals refer to like elements throughout the specification, and “and/or” includes each and every combination of one or more of the referenced elements. Although “first”, “second”, etc. are used to describe various components, these components are of course not limited by these terms. These terms are merely used to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may also be a second component within the technical spirit of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which the present invention pertains. Additionally, terms defined in commonly used dictionaries are not to be interpreted ideally or excessively unless clearly specifically defined.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.
설명에 앞서 본 명세서에서 사용하는 용어의 의미를 간략히 설명한다. 그렇지만 용어의 설명은 본 명세서의 이해를 돕기 위한 것이므로, 명시적으로 본 발명을 한정하는 사항으로 기재하지 않은 경우에 본 발명의 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.Prior to explanation, the meaning of terms used in this specification will be briefly explained. However, since the explanation of terms is intended to aid understanding of the present specification, it should be noted that if it is not explicitly described as limiting the present invention, it is not used in the sense of limiting the technical idea of the present invention.
도 3은 본 발명에 따른 수술용 내비게이션의 인공 지능 기반 초기 정합 장치에 대해 계략적으로 나타낸 블록도이다. 그리고 도 4 내지 도 11은 본 발명에 따른 수술용 내비게이션의 인공 지능 기반 초기 정합 알고리즘을 설명하기 위한 예시도이다.Figure 3 is a block diagram schematically showing the artificial intelligence-based initial registration device for surgical navigation according to the present invention. And Figures 4 to 11 are exemplary diagrams for explaining the artificial intelligence-based initial matching algorithm of the surgical navigation according to the present invention.
도 3을 참조하면, 본 발명에 따른 수술용 내비게이션의 인공 지능 기반 초기 정합 장치(100)는 의료영상공간 점군집 확보 모듈(110), 환자공간 가상 점군집 확보 모듈(120), 초기정합 인공지능 학습 모듈(130) 및 초기 정합 자동화 모듈(140)을 포함할 수 있다. 다만, 몇몇 실시예에서 암호화 시스템은 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.Referring to FIG. 3, the artificial intelligence-based initial registration device 100 for surgical navigation according to the present invention includes a medical image space point cluster securing module 110, a patient space virtual point cluster securing module 120, and initial registration artificial intelligence. It may include a learning module 130 and an initial matching automation module 140. However, in some embodiments, the encryption system may include fewer or more components than those shown in FIG. 1.
의료영상공간 점군집 확보 모듈(110)은 의료 영상을 입력받아 의료 영상 공간 상의 점군집을 확보하도록 구성될 수 있다. 도 4는 의료 영상 공간 상의 점군집을 예시하고 있다.The medical image space point cluster securing module 110 may be configured to receive a medical image and secure a point cluster in the medical image space. Figure 4 illustrates a point cluster in medical image space.
환자공간 가상 점군집 확보 모듈(120)은 의료영상공간 점군집 확보 모듈(110)에서 확보된 점군집에 기반하여 환자 공간의 다수의 가상 점군집을 확보하도록 구성될 수 있다.The patient space virtual point cloud securing module 120 may be configured to secure a plurality of virtual point clusters in the patient space based on the point clouds secured by the medical image space point cloud securing module 110.
구체적으로는 환자공간 가상 점군집 확보 모듈(120)은 미스터리 커브 생성부(121), 의료영상 방향 정사영부(122), 3차원 거리행렬/회전행렬 임의 생성부(123), 3차원 거리행렬/회전행렬 적용부(124) 및 환자공간 가상 점군집 데이터 출력부(125)를 포함하도록 구성될 수 있다.Specifically, the patient space virtual point cluster acquisition module 120 includes a mystery curve generator 121, a medical image direction projection unit 122, a 3D distance matrix/rotation matrix random generator 123, and a 3D distance matrix/rotation matrix random generator. It may be configured to include a rotation matrix application unit 124 and a patient space virtual point cluster data output unit 125.
먼저, 미스터리 커브 생성부(121)는 복수의 2차원의 미스터리 커브를 생성하도록 구성될 수 있다. 도 5는 다양한 형상의 2차원의 미스터리 커브를 나타낸다. 2차원의 미스터리 커브는 연속적인 시계열 데이터로 구성될 수 있다.First, the mystery curve generator 121 may be configured to generate a plurality of two-dimensional mystery curves. Figure 5 shows two-dimensional mystery curves of various shapes. A two-dimensional mystery curve can be composed of continuous time series data.
여기서, 2차원 미스터리 커브의 형상은 하나만 이용될 수도 있지만, 다양한 여러 개의 형상의 2차원 미스터리 커브가 이용될 수 있다. 이는 수술 대상 예를 들어, 다양한 얼굴의 형상을 담아내기 위해서는 그만큼 다양한 미스터리 커브가 이용되는 것이 바람직할 수 있다.Here, only one shape of the two-dimensional mystery curve may be used, but multiple two-dimensional mystery curves of various shapes may be used. For example, in order to capture the shape of various faces of surgical subjects, it may be desirable to use a variety of mystery curves.
미스터리 커브 생성부(121)는 다음의 수학식 1 및 수학식 2에 의해 다양한 형상의 미스터리 커브를 생성할 수 있다.The mystery curve generator 121 can generate mystery curves of various shapes using the following equations 1 and 2.
미스터리 커브는 위 수학식 1에 따라 푸리에(Fourier) 급수를 기반으로 x와 y를 주기가 있는 임의의 함수로 나타낼 수 있다.The mystery curve can be expressed as an arbitrary function with a period of x and y based on the Fourier series according to Equation 1 above.
그리고 다음 수학식 2와 같이 복소지수함수 형태로 변환하여 기하학적인 모양의 커브를 생성해낼 수 있다.Then, a curve of a geometric shape can be created by converting it into a complex exponential function as shown in Equation 2 below.
위 수학식 2의 오른쪽 식의 차수에 따라 미스터리 보형이 결정되며, 차수를 다양하게 적용하여 커브의 형태를 다양하게 확보할 수 있다. 차수 설정은 a는 -3 ~ 15, b는 0 ~ 16, c는 -14 ~ -3으로 설정하도록 구성될 수 있다.The mystery shape is determined according to the degree of the equation on the right side of Equation 2 above, and various shapes of the curve can be secured by applying various degrees. The order setting can be configured to set a to -3 to 15, b to 0 to 16, and c to -14 to -3.
다음으로, 의료영상 방향 정사영부(122)는 미스터리 커브 생성부(121)에서 생성된 복수의 2차원의 미스터리 커브 중 적어도 하나를 의료영상공간 점군집 확보 모듈(110)에서 확보된 점군집에 정사영하여 점군집의 3차원 정보에 대응되는 3차원의 미스터리 커브를 생성하도록 구성될 수 있다. 도 6은 의료영상공간 점군집의 앞면에 2차원 미스터리 커브를 배치한 후 의료영상공간 점군집에 정사영하여 3차원의 미스터리 커브를 생성하는 것을 나타낸다.Next, the medical image direction projection unit 122 orthogonally projects at least one of the plurality of two-dimensional mystery curves generated by the mystery curve generator 121 onto the point cloud secured by the medical image space point cloud acquisition module 110. Thus, it can be configured to generate a 3D mystery curve corresponding to the 3D information of the point cloud. Figure 6 shows that a 2-dimensional mystery curve is placed on the front of a medical image space point cloud and then orthogonally projected onto the medical image space point cloud to generate a 3-dimensional mystery curve.
여기서, 3차원의 미스터리 커브는 의료영상공간 점군집의 3차원적 위치 정보를 보다 정확하게 담아낼 수 있다. 도 7은 다양한 형상의 3차원의 미스터리 커브를 예시하고 있다.Here, the 3D mystery curve can more accurately capture the 3D location information of the point cluster in medical image space. Figure 7 illustrates three-dimensional mystery curves of various shapes.
다음으로, 3차원 거리행렬/회전행렬 임의 생성부(123)는 의료영상 방향 정사영부(122)에서 생성된 각각의 3차원 미스터리 커브를 의료영상공간 점군집 확보 모듈(110)에서 확보된 점군집으로부터 각각 다른 3차원 위치로 이동시키기 위한 3차원 거리 행렬 및 3차원 회전 행렬을 임의 생성하도록 구성될 수 있다.Next, the 3D distance matrix/rotation matrix random generator 123 converts each 3D mystery curve generated by the medical image direction projection unit 122 into a point cluster secured by the medical image space point cluster acquisition module 110. It can be configured to randomly generate a 3D distance matrix and a 3D rotation matrix for movement to different 3D positions.
다음으로, 3차원 거리행렬/회전행렬 적용부(124)는 의료영상 방향 정사영부(122)에서 생성된 각각의 3차원 미스터리 커브에 대해 3차원 거리행렬/회전행렬 임의 생성부(123)에서 임의 생성된 3차원 거리 행렬 및 3차원 회전 행렬을 각각 적용하도록 구성될 수 있다. 도 8은 3차원 미스터리 커브에 다양한 3차원 거리 행렬 및 3차원 회전 행렬을 각각 적용되어 다양한 거리 이동과 회전 이동을 하는 것을 나타낸다.Next, the 3D distance matrix/rotation matrix application unit 124 randomly generates a random number from the 3D distance matrix/rotation matrix generator 123 for each 3D mystery curve generated by the medical image direction projection unit 122. It may be configured to apply the generated 3D distance matrix and 3D rotation matrix, respectively. Figure 8 shows various distance movements and rotation movements by applying various 3D distance matrices and 3D rotation matrices to the 3D mystery curve, respectively.
본 발명에서는 인공지능학습을 위해 대략 2,000개의 3차원 미스터리 커브의 정사영과 3차원 거리 이동 및 3차원 회전 이동이 이루어지는 것을 상정한다.In the present invention, it is assumed that orthogonal projection, 3D distance movement, and 3D rotation movement of approximately 2,000 3D mystery curves are performed for artificial intelligence learning.
다음으로, 환자공간 가상 점군집 데이터 출력부(125)는 3차원 거리행렬/회전행렬 적용부(124)에서 3차원 거리 행렬 및 3차원 회전 행렬이 각각 적용된 3차원 미스터리 커브에 상응하는 환자공간의 다수의 가상 점군집을 출력하도록 구성될 수 있다.Next, the patient space virtual point cluster data output unit 125 outputs the patient space corresponding to the 3D mystery curve to which the 3D distance matrix and 3D rotation matrix are respectively applied in the 3D distance matrix/rotation matrix application unit 124. It may be configured to output a plurality of virtual point clouds.
여기서, 1개의 의료 영상 공간의 점군집과 실제의 환자 공간의 2,000개의 가상 점군집은 인공지능학습을 위한 입력 데이터로 활용될 수 있다. 그리고 그 3차원 거리 행렬과 3차원 회전 행렬은 인공지능학습을 위한 타겟 데이터로 활용될 수 있다. 결국, 본 발명은 학습을 통해 3차원 거리 행렬과 3차원 회전 행렬을 신속하고 정확하게 찾아내어 초기 정합을 수행하는 것이다.Here, a point cloud in one medical image space and 2,000 virtual point clouds in the actual patient space can be used as input data for artificial intelligence learning. And the 3D distance matrix and 3D rotation matrix can be used as target data for artificial intelligence learning. Ultimately, the present invention quickly and accurately finds the 3D distance matrix and 3D rotation matrix through learning and performs initial registration.
초기정합 인공지능 학습 모듈(130)은 의료영상공간 점군집 확보 모듈(110)에서 확보된 점군집 및 환자공간 가상 점군집 확보 모듈(120)에서 확보된 다수의 가상 점군집으로 구성되는 입력 데이터 셋과 환자공간 가상 점군집 확보 모듈(120)에서 확보된 다수의 가상 점군집의 거리 행렬 및 회전 행렬로 구성되는 타겟 데이터 셋을 이용하여 인공지능 학습을 수행하고 초기 정합 인공지능모델을 실시간 생성하도록 구성될 수 있다.The initial registration artificial intelligence learning module 130 is an input data set consisting of a point cloud obtained from the medical image space point cloud acquisition module 110 and a plurality of virtual point clouds obtained from the patient space virtual point cloud acquisition module 120. And the patient space virtual point cluster acquisition module 120 uses a target data set consisting of a distance matrix and a rotation matrix of a plurality of virtual point clouds secured to perform artificial intelligence learning and generate an initial matching artificial intelligence model in real time. It can be.
구체적으로는 초기정합 인공지능 학습 모듈(130)은 의료영상공간 점군집 특징 추출부(131), 환자공간 가상 점군집 특징 추출부(132), 3차원 거리행렬 예측부(133), 3차원 회전행렬 예측부(134) 및 초기 정합 인공지능모델 생성부(135)를 포함하도록 구성될 수 있다.Specifically, the initial registration artificial intelligence learning module 130 includes a medical image space point cluster feature extraction unit 131, a patient space virtual point cluster feature extraction unit 132, a 3D distance matrix prediction unit 133, and a 3D rotation. It may be configured to include a matrix prediction unit 134 and an initial matching artificial intelligence model generation unit 135.
먼저, 의료영상공간 점군집 특징 추출부(131)는 의료영상공간 점군집 확보 모듈(110)에서 확보된 점군집의 특징을 추출하도록 구성될 수 있다.First, the medical image space point cluster feature extraction unit 131 may be configured to extract the features of the point cluster secured by the medical image space point cluster acquisition module 110.
다음으로, 환자공간 가상 점군집 특징 추출부(132)는 환자공간 가상 점군집 출력부(131)에서 출력된 환자공간의 다수의 가상 점군집의 특징을 추출하도록 구성될 수 있다.Next, the patient space virtual point cluster feature extraction unit 132 may be configured to extract features of a plurality of virtual point clusters of the patient space output from the patient space virtual point cluster output unit 131.
다음으로, 3차원 거리행렬 예측부(133)는 의료영상공간 점군집 특징 추출부(131)에서 추출된 특징 및 환자공간 가상 점군집 특징 추출부(132)에서 추출된 다수의 가상 점군집의 특징을 각각 결합하여 각 가상 점군집의 3차원 거리행렬을 예측하도록 구성될 수 있다.Next, the 3D distance matrix prediction unit 133 extracts the features extracted from the medical image space point cluster feature extraction unit 131 and the features of a plurality of virtual point clusters extracted from the patient space virtual point cluster feature extraction unit 132. It can be configured to predict the 3D distance matrix of each virtual point cluster by combining them.
다음으로, 3차원 회전행렬 예측부(134)는 의료영상공간 점군집 특징 추출부(131)에서 추출된 특징 및 환자공간 가상 점군집 특징 추출부(132)에서 추출된 다수의 가상 점군집의 특징을 각각 결합하여 각 가상 점군집의 3차원 회전행렬을 예측하도록 구성될 수 있다.Next, the 3D rotation matrix prediction unit 134 extracts the features extracted from the medical image space point cluster feature extraction unit 131 and the features of a plurality of virtual point clusters extracted from the patient space virtual point cluster feature extraction unit 132. It can be configured to predict the 3D rotation matrix of each virtual point cluster by combining them.
다음으로, 초기 정합 인공지능모델 생성부(135)는 3차원 거리행렬 예측부(133)에서 예측된 3차원 거리행렬 및 3차원 회전행렬 예측부(134)에서 예측된 3차원 회전행렬을 이용하여 초기 정합 인공지능모델을 실시간 생성하도록 구성될 수 있다.Next, the initial matching artificial intelligence model generation unit 135 uses the 3D distance matrix predicted by the 3D distance matrix prediction unit 133 and the 3D rotation matrix predicted by the 3D rotation matrix prediction unit 134. It can be configured to generate an initial matching artificial intelligence model in real time.
초기 정합 자동화 모듈(140)은 초기 정합 인공지능 학습 모듈(130)에 의해 생성된 초기 정합 인공지능모델을 이용하여 실제 환자 공간과 의료 영상 공간의 초기 정합을 자동으로 수행하도록 구성될 수 있다. 즉, 초기 정합 자동화 모듈(140)은 적외선 영상의 실제 환자 공간의 점군집과 의료 영상 공간의 점군집의 부정합을 신속하고 정확하게 초기 정합하도록 구성될 수 있다.The initial registration automation module 140 may be configured to automatically perform initial registration of the actual patient space and medical image space using the initial registration artificial intelligence model generated by the initial registration artificial intelligence learning module 130. That is, the initial registration automation module 140 may be configured to quickly and accurately initialize the mismatch between the point cloud of the actual patient space of the infrared image and the point cloud of the medical image space.
여기서, 도 9는 인공지능모델에 의해 초기 정합을 수행하는 것을 예시하고 있다. 도 10은 인공지능모델에 의해 찾아낸 초기 정합을 위한 3차원 거리 이동값과 3차원 회전 이동값이다. 그리고 도 11은 본 발명에 따른 초기 정합의 경우 기존에 비해 오차가 줄었으며, 이에 후속되는 표면 정합 역시 오차가 줄어들었음을 나타내고 있다.Here, Figure 9 illustrates performing initial matching by an artificial intelligence model. Figure 10 shows the 3D distance shift and 3D rotation shift values for initial registration found by the artificial intelligence model. And Figure 11 shows that in the case of the initial registration according to the present invention, the error was reduced compared to the existing one, and the error in the subsequent surface registration was also reduced.
도 12는 본 발명에 따른 수술용 내비게이션의 인공 지능 기반 초기 정합 방법을 나타낸 흐름도이다.Figure 12 is a flowchart showing an artificial intelligence-based initial registration method for surgical navigation according to the present invention.
도 12를 참조하면, 의료영상공간 점군집 확보 모듈(110)이 의료 영상을 입력받아 의료 영상 공간 상의 점군집을 확보할 수 있다(S110).Referring to FIG. 12, the medical image space point cluster securing module 110 may receive a medical image and secure a point cluster in the medical image space (S110).
다음으로, 환자공간 가상 점군집 확보 모듈(120)이 의료영상공간 점군집 확보 모듈(110)에서 확보된 점군집에 기반하여 환자 공간의 다수의 가상 점군집을 확보할 수 있다(S120).Next, the patient space virtual point cloud securing module 120 may secure a plurality of virtual point clusters in the patient space based on the point clouds secured by the medical image space point cloud securing module 110 (S120).
구체적으로는 미스터리 커브 생성부(121)가 다수의 2차원의 미스터리 커브를 생성하고(S121), 의료영상 방향 정사영부(122)가 미스터리 커브 생성부(121)에서 생성된 2차원의 미스터리 커브를 의료영상공간 점군집 확보 모듈(110)에서 확보된 점군집에 정사영하여 점군집의 3차원 정보에 대응되는 3차원의 미스터리 커브를 생성하고(S122), 3차원 거리행렬/회전행렬 임의 생성부(123)가 의료영상 방향 정사영부(122)에서 생성된 각각의 3차원 미스터리 커브를 의료영상공간 점군집 확보 모듈(110)에서 확보된 점군집으로부터 각각 다른 3차원 위치로 이동시키기 위한 3차원 거리 행렬 및 3차원 회전 행렬을 임의 생성하고(S123), 3차원 거리행렬/회전행렬 적용부(124)가 의료영상 방향 정사영부(122)에서 생성된 각각의 3차원 미스터리 커브에 대해 3차원 거리행렬/회전행렬 임의 생성부(123)에서 임의 생성된 3차원 거리 행렬 및 3차원 회전 행렬을 각각 적용하고(S124), 환자공간 가상 점군집 출력부(125)가 3차원 거리행렬/회전행렬 적용부(124)에서 3차원 거리 행렬 및 3차원 회전 행렬이 각각 적용된 3차원 미스터리 커브에 상응하는 환자공간의 다수의 가상 점군집을 출력할 수 있다(S125). 그리고 2차원 미스터리 커브는 연속적인 시계열 데이터로 구성될 수 있다.Specifically, the mystery curve generator 121 generates a plurality of two-dimensional mystery curves (S121), and the medical image direction projection unit 122 generates the two-dimensional mystery curves generated by the mystery curve generator 121. A 3-dimensional mystery curve corresponding to the 3-dimensional information of the point cluster is generated by orthogonal projection on the point cluster obtained from the medical image space point cluster acquisition module 110 (S122), and a 3-dimensional distance matrix/rotation matrix random generator ( 123) is a 3D distance matrix for moving each 3D mystery curve generated in the medical image direction projection unit 122 to a different 3D location from the point cluster secured in the medical image space point cluster acquisition module 110. And a 3D rotation matrix is randomly generated (S123), and the 3D distance matrix/rotation matrix application unit 124 generates a 3D distance matrix/rotation matrix for each 3D mystery curve generated by the medical image direction projection unit 122. The rotation matrix random generator 123 applies the randomly generated 3D distance matrix and 3D rotation matrix respectively (S124), and the patient space virtual point cluster output unit 125 uses the 3D distance matrix/rotation matrix application unit (S124). 124), a plurality of virtual point clusters in the patient space corresponding to the 3D mystery curve to which the 3D distance matrix and 3D rotation matrix are respectively applied can be output (S125). And the two-dimensional mystery curve can be composed of continuous time series data.
다음으로, 초기 정합 인공지능 학습 모듈(130)이 의료영상공간 점군집 확보 모듈(110)에서 확보된 점군집 및 환자공간 가상 점군집 확보 모듈(120)에서 확보된 다수의 가상 점군집으로 구성되는 입력 데이터 셋과 환자공간 가상 점군집 확보 모듈(120)에서 확보된 다수의 가상 점군집의 거리 행렬 및 회전 행렬로 구성되는 타겟 데이터 셋을 이용하여 인공지능 학습을 수행하고 초기 정합 인공지능모델을 실시간 생성할 수 있다(S130).Next, the initial matching artificial intelligence learning module 130 is composed of a point cloud secured from the medical image space point cloud securing module 110 and a plurality of virtual point clouds secured from the patient space virtual point cloud securing module 120. Perform artificial intelligence learning using the input data set and the target data set consisting of the distance matrix and rotation matrix of multiple virtual point clusters obtained from the patient space virtual point cluster acquisition module 120, and create the initial matching artificial intelligence model in real time. Can be created (S130).
구체적으로는 의료영상공간 점군집 특징 추출부(131)가 의료영상공간 점군집 확보 모듈(110)에서 확보된 점군집의 특징을 추출하고(S131), 환자공간 가상 점군집 특징 추출부(132)가 환자공간 가상 점군집 출력부(125)에서 출력된 환자공간의 다수의 가상 점군집의 특징을 추출하고(S132), 3차원 거리행렬 예측부(133) 및 3차원 회전행렬 예측부(134)가 의료영상공간 점군집 특징 추출부(131)에서 추출된 특징 및 환자공간 가상 점군집 특징 추출부(132)에서 추출된 다수의 가상 점군집의 특징을 각각 결합하여 각 가상 점군집의 3차원 거리행렬 및 3차원 회전행렬을 예측하고(S133), 초기 정합 인공지능모델 생성부(135)가 3차원 거리행렬 예측부(133)에서 예측된 3차원 거리행렬 및 3차원 회전행렬 예측부(134)에서 예측된 3차원 회전행렬을 이용하여 초기 정합 인공지능모델을 실시간 생성할 수 있다(S134).Specifically, the medical image space point cluster feature extraction unit 131 extracts the features of the point cluster secured in the medical image space point cluster acquisition module 110 (S131), and the patient space virtual point cluster feature extraction unit 132 The features of a plurality of virtual point clusters in the patient space output from the patient space virtual point cluster output unit 125 are extracted (S132), and the 3D distance matrix prediction unit 133 and the 3D rotation matrix prediction unit 134 The three-dimensional distance of each virtual point cluster is obtained by combining the features extracted from the medical image space point cluster feature extraction unit 131 and the features of multiple virtual point clusters extracted from the patient space virtual point cluster feature extraction unit 132. The matrix and 3D rotation matrix are predicted (S133), and the initial matching artificial intelligence model generation unit 135 predicts the 3D distance matrix and 3D rotation matrix prediction unit 134 from the 3D distance matrix prediction unit 133. The initial matching artificial intelligence model can be created in real time using the 3D rotation matrix predicted in (S134).
다음으로, 초기 정합 자동화 모듈(140)이 초기 정합 인공지능 학습 모듈(130)에 의해 생성된 초기 정합 인공지능모델을 이용하여 실제 환자 공간과 의료 영상 공간의 초기 정합을 자동으로 수행할 수 있다(S140).Next, the initial registration automation module 140 can automatically perform initial registration of the actual patient space and medical image space using the initial registration artificial intelligence model generated by the initial registration artificial intelligence learning module 130 ( S140).
도 12에서는 단계 S110 내지 단계 S140을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 12에 기재된 순서를 변경하여 실행하거나 단계 S110 내지 단계 S140중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 12는 시계열적인 순서로 한정되는 것은 아니다.In FIG. 12, steps S110 to S140 are described as being sequentially executed, but this is merely an illustrative explanation of the technical idea of this embodiment, and those skilled in the art will understand the steps of this embodiment. Since it is possible to apply various modifications and modifications by changing the order shown in FIG. 12 or executing one or more of steps S110 to S140 in parallel without departing from the essential characteristics, FIG. 12 is shown in a time-serial order. It is not limited.
이상에서 전술한 본 발명에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.The method according to the present invention described above may be implemented as a program (or application) and stored in a medium in order to be executed in conjunction with a server, which is hardware.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The above-mentioned program is C, C++, JAVA, machine language, etc. that can be read by the processor (CPU) of the computer through the device interface of the computer in order for the computer to read the program and execute the methods implemented in the program. It may include code coded in a computer language. These codes may include functional codes related to functions that define the necessary functions for executing the methods, and include control codes related to execution procedures necessary for the computer's processor to execute the functions according to predetermined procedures. can do. In addition, these codes may further include memory reference-related codes that indicate at which location (address address) in the computer's internal or external memory additional information or media required for the computer's processor to execute the above functions should be referenced. there is. In addition, if the computer's processor needs to communicate with any other remote computer or server in order to execute the above functions, the code uses the computer's communication module to determine how to communicate with any other remote computer or server. It may further include communication-related codes regarding whether communication should be performed and what information or media should be transmitted and received during communication.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium refers to a medium that stores data semi-permanently and can be read by a device, rather than a medium that stores data for a short period of time, such as a register, cache, or memory. Specifically, examples of the storage medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., but are not limited thereto. That is, the program may be stored in various recording media on various servers that the computer can access or on various recording media on the user's computer. Additionally, the medium may be distributed to computer systems connected to a network, and computer-readable code may be stored in a distributed manner.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of the method or algorithm described in connection with embodiments of the present invention may be implemented directly in hardware, implemented as a software module executed by hardware, or a combination thereof. The software module may be RAM (Random Access Memory), ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), Flash Memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer-readable recording medium well known in the art to which the present invention pertains.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.Above, embodiments of the present invention have been described with reference to the attached drawings, but those skilled in the art will understand that the present invention can be implemented in other specific forms without changing its technical idea or essential features. You will be able to understand it. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive.
110: 의료영상공간 점군집 확보 모듈
120: 환자공간 가상 점군집 확보 모듈
121: 미스터리 커브 생성부
122: 의료영상 방향 정사영부
123: 3차원 거리행렬/회전행렬 임의 생성부
124: 3차원 거리행렬/회전행렬 적용부
125: 환자공간 가상 점군집 데이터 출력부
130: 초기정합 인공지능 학습 모듈
131: 의료영상공간 점군집 특징 추출부
132: 환자공간 가상 점군집 특징 추출부
133: 3차원 거리행렬 예측부
134: 3차원 회전행렬 예측부
135: 초기 정합 인공지능모델 생성부
140: 초기 정합 자동화 모듈110: Medical image space point cluster acquisition module
120: Patient space virtual point cluster acquisition module
121: Mystery curve generation unit
122: Orthogonal projection of medical images
123: 3D distance matrix/rotation matrix random generator
124: 3D distance matrix/rotation matrix application unit
125: Patient space virtual point cluster data output unit
130: Initial registration artificial intelligence learning module
131: Medical image space point cluster feature extraction unit
132: Patient space virtual point cluster feature extraction unit
133: 3D distance matrix prediction unit
134: 3D rotation matrix prediction unit
135: Initial matching artificial intelligence model generation unit
140: Initial matching automation module
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220003238AKR102666380B1 (en) | 2022-01-10 | 2022-01-10 | Artificial intelligence-based initial registration apparatus and method for surgical navigation |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220003238AKR102666380B1 (en) | 2022-01-10 | 2022-01-10 | Artificial intelligence-based initial registration apparatus and method for surgical navigation |
| Publication Number | Publication Date |
|---|---|
| KR20230107982A KR20230107982A (en) | 2023-07-18 |
| KR102666380B1true KR102666380B1 (en) | 2024-05-24 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220003238AActiveKR102666380B1 (en) | 2022-01-10 | 2022-01-10 | Artificial intelligence-based initial registration apparatus and method for surgical navigation |
| Country | Link |
|---|---|
| KR (1) | KR102666380B1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102683018B1 (en)* | 2024-04-15 | 2024-07-10 | 주식회사 비엠이코리아 | Methods for improving coarse registration accuracy in surgical navigation systems |
| CN118444328A (en)* | 2024-05-07 | 2024-08-06 | 常熟理工学院 | Configuration estimation method, system and storage medium for dynamic guided point set registration |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200258227A1 (en)* | 2016-05-18 | 2020-08-13 | Siemens Healthcare Gmbh | Method and System for Image Registration Using an Intelligent Artificial Agent |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102302483B1 (en) | 2020-02-17 | 2021-09-14 | 숭실대학교산학협력단 | Method for fine face registration for 3d surgical navigation system, recording medium and device for performing the method |
| KR102233585B1 (en) | 2020-02-26 | 2021-03-30 | (주)레벨소프트 | Image registration apparatus and method using multiple candidate points |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200258227A1 (en)* | 2016-05-18 | 2020-08-13 | Siemens Healthcare Gmbh | Method and System for Image Registration Using an Intelligent Artificial Agent |
| Title |
|---|
| Avinash Kori 외 1인, Zero Shot Learning for Multi-Modal Real Time Image Registration(2019) 1부.* |
| Yasuhiro Aoki 외 3인, PointNetLK: Robust & Efficient Point Cloud Registration using PointNet(2019) 1부. |
| 유학제 외 1인, A Deep Learning-Based Approach for Automated Coarse Registration (ACR) of Image-Guided Surgical Navigation(2022.10.31.) 1부. |
| Publication number | Publication date |
|---|---|
| KR20230107982A (en) | 2023-07-18 |
| Publication | Publication Date | Title |
|---|---|---|
| US11557391B2 (en) | Systems and methods for human pose and shape recovery | |
| EP4329296B1 (en) | System and methods for extrinsic calibration of cameras and diffractive optical elements | |
| KR101997500B1 (en) | Method and apparatus for generating personalized 3d face model | |
| EP3622481B1 (en) | Method and system for calibrating a velocimetry system | |
| KR102270949B1 (en) | 3d human body model reconstruction apparatus and method | |
| US20180174311A1 (en) | Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation | |
| KR101744079B1 (en) | The face model generation method for the Dental procedure simulation | |
| KR102666380B1 (en) | Artificial intelligence-based initial registration apparatus and method for surgical navigation | |
| US20100316281A1 (en) | Method and device for determining the pose of a three-dimensional object in an image and method and device for creating at least one key image for object tracking | |
| KR102476016B1 (en) | Apparatus and method for determining position of eyes | |
| CN112419419B (en) | System and method for human pose and shape estimation | |
| CN119273875A (en) | A method and system for overlaying and presenting bone images based on augmented reality technology | |
| WO2017180097A1 (en) | Deformable registration of intra and preoperative inputs using generative mixture models and biomechanical deformation | |
| CN119092058B (en) | A fracture reduction path auxiliary planning method and system based on augmented reality technology | |
| KR102583320B1 (en) | Method of brain deformation prediction for external ventricular drain surgery based on augmented reality recording medium and device for performing the method | |
| US10492872B2 (en) | Surgical navigation system, surgical navigation method and program | |
| KR20230047759A (en) | Method and apparatus of improving depth map | |
| CN117974744A (en) | Coronary three-dimensional reconstruction method based on generation of antagonism network and neural network radiation field | |
| Guyot et al. | Non-rigid 2D-3D registration using anisotropic error ellipsoids to account for projection uncertainties during aortic surgery | |
| Ahmadian et al. | An efficient method for estimating soft tissue deformation based on intraoperative stereo image features and point‐based registration | |
| KR102466803B1 (en) | Method and apparatus for automation of coarse registration based on deep learning in surgical navigation system | |
| CN113674838A (en) | Medical image processing apparatus, medical image processing method, and recording medium | |
| US20250218209A1 (en) | Systems and methods for generating partial body model based on detected body part in an image | |
| JP2025000449A (en) | Image processing apparatus, image processing method, and program | |
| CN120203766A (en) | Registration method, device, equipment and storage medium |
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | Patent event code:PA01091R01D Comment text:Patent Application Patent event date:20220110 | |
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection | Comment text:Notification of reason for refusal Patent event date:20240226 Patent event code:PE09021S01D | |
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration | Patent event code:PE07011S01D Comment text:Decision to Grant Registration Patent event date:20240507 | |
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment | Comment text:Registration of Establishment Patent event date:20240510 Patent event code:PR07011E01D | |
| PR1002 | Payment of registration fee | Payment date:20240510 End annual number:3 Start annual number:1 | |
| PG1601 | Publication of registration |