본 명세서는 영상을 이용하여 로봇을 제어하는 기술에 관한 것으로, 특히 영상 기반 제어를 통해 검체를 자동으로 채취하는 방법 및 장치에 관한 것이다.This specification relates to a technology for controlling a robot using images, and more particularly, to a method and device for automatically collecting a specimen using image-based control.
2019년 코로나바이러스감염증-19(COVID-19)는 전 세계적으로 4억 3,000만 건 이상의 사례가 발생하는 세계적 대유행이 되었으며 사회 및 경제 위기를 일으키고 있다. 조기 진단은 코로나19의 급속한 확산을 막는 가장 중요한 요소이나, 광범위한 면봉 샘플링은 환자와의 긴밀한 접촉으로 인한 교차 감염의 높은 위험을 초래할 수 있다. 또한 의료 전문가의 과중한 업무 부담은 의료 부담을 증가시킨다.The 2019 coronavirus disease-19 (COVID-19) has become a global pandemic with more than 430 million cases worldwide, causing social and economic crises. Early diagnosis is the most important factor in preventing the rapid spread of COVID-19, but extensive swab sampling can lead to a high risk of cross-infection due to close contact with patients. In addition, the excessive workload of healthcare professionals increases the medical burden.
이와 같이, 검체 채취 과정에서 발생하는 의료진의 교차 감염이나 의료 업무 가중의 문제를 해결하기 위해서는 의료진의 개입이 최소화되도록 하는 기술적 수단이 요구된다. 이를 위해, 로봇을 활용한 검체 채취 시스템이 개발되고 있으며, 선행기술문헌을 통해 제시된 최근 연구에 따르면, 코로나19 검체 채취 자동화는 안전하고 효율적인 방식으로 수행됨으로써 상기된 문제를 해결할 수 있다고 제안하였다. 예를 들어, 자가 관리 검체 채취 로봇의 경우, 면봉(swab) 삽입 및 인출 작업은 자동화되고 나머지 절차는 환자에 의해 제어될 수 있으며, 또한, 원격으로 작동되는 검체 채취 로봇도 제안되었다.In this way, in order to solve the problem of cross-infection of medical staff or increased medical workload that occurs during the specimen collection process, a technical means is required to minimize the intervention of medical staff. To this end, a specimen collection system using a robot is being developed, and according to recent studies presented in the prior art literature, it has been suggested that automation of COVID-19 specimen collection can solve the above problem by performing it in a safe and efficient manner. For example, in the case of a self-managed specimen collection robot, the swab insertion and withdrawal operations can be automated and the remaining procedures can be controlled by the patient, and a remotely operated specimen collection robot has also been proposed.
비록 이러한 원격 조작이 교차 감염의 위험을 줄이고 통제하는 동안 의료진의 경험을 활용할 수 있지만, 의료진이 개입하여야 한다는 부담은 여전히 남아 있다. 또한, 여전히 표준 검체 채취 방법인 비강(비인두도말) 검체 채취 과정을 완전히 자동화하는 기술은 제한적이다.Although these remote operations can leverage the experience of healthcare providers while reducing and controlling the risk of cross-infection, the burden of intervention by healthcare providers remains. In addition, technologies to fully automate the nasal (nasopharyngeal swab) sampling process, which is still the standard method of specimen collection, are limited.
본 명세서의 실시예들이 해결하고자 하는 기술적 과제는, 의료진에 의한 검체 채취 방법이 갖는 교차 감염이나 업무 부하의 문제를 해결하고, 종래의 검체 채취용 로봇의 경우 검체 채취 수단의 변형, 센서와 로봇 기구부 간의 정합 오차로 인해 좁은 영역에서의 검체 채취가 용이하지 않다는 한계를 극복하고자 한다.The technical problems that the embodiments of the present specification seek to solve are to solve the problems of cross-infection and workload inherent in the specimen collection method by medical staff, and to overcome the limitations of conventional specimen collection robots in that it is not easy to collect specimens in narrow areas due to deformation of the specimen collection means and alignment errors between the sensor and the robot mechanism.
상기 기술적 과제를 해결하기 위하여, 본 명세서의 일 실시예에 따른 검체 채취 방법은, 검체 채취 장치가 대상을 포함하는 영상을 획득하는 단계; 상기 검체 채취 장치가 획득된 상기 영상으로부터 검체 채취 영역 및 검체 채취 수단을 검출하는 단계; 상기 검체 채취 장치가 상기 검체 채취 수단에 연결된 구동 수단을 이용하여 상기 검체 채취 수단을 검출된 상기 검체 채취 영역으로 접근시키는 단계; 및 상기 검체 채취 장치가 접근에 따라 변화하는 상기 검체 채취 수단의 말단과 상기 검체 채취 영역 간의 영상 내의 오차를 실시간으로 보상하는 단계;를 포함한다.In order to solve the above technical problem, a specimen collection method according to one embodiment of the present specification includes: a step of allowing a specimen collection device to acquire an image including a subject; a step of allowing the specimen collection device to detect a specimen collection area and a specimen collection means from the acquired image; a step of allowing the specimen collection device to approach the specimen collection means to the detected specimen collection area using a driving means connected to the specimen collection means; and a step of compensating in real time an error in an image between a distal end of the specimen collection means and the specimen collection area, which changes as the specimen collection device approaches.
일 실시예에 따른 검체 채취 방법에서, 상기 검체 채취 영역 및 검체 채취 수단을 검출하는 단계는, 획득된 상기 영상으로부터 검체 채취 영역의 2D 및 3D 위치 및 상기 검체 채취 수단의 말단의 2D 위치를 획득할 수 있다. 여기서, 획득된 상기 영상의 이미지 정보 및 깊이 정보에 기반하여 상기 검체 채취 영역의 2D 및 3D 위치를 추정하고, 상기 영상의 이미지 정보 및 상기 구동 수단의 기구학(kinematics) 정보에 기반하여 상기 검체 채취 수단의 말단의 2D 위치를 추정할 수 있다.In a specimen collection method according to one embodiment, the step of detecting the specimen collection area and the specimen collection means can acquire 2D and 3D positions of the specimen collection area and the 2D position of the end of the specimen collection means from the acquired image. Here, the 2D and 3D positions of the specimen collection area are estimated based on image information and depth information of the acquired image, and the 2D position of the end of the specimen collection means can be estimated based on image information of the image and kinematics information of the driving means.
일 실시예에 따른 검체 채취 방법에서, 상기 검체 채취 영역 및 검체 채취 수단을 검출하는 단계는, 캐스케이드(cascade) 방식의 머신 러닝을 이용하여, 획득된 상기 영상으로부터 검체 채취 영역을 포함하도록 미리 설정된 관심 영역(region of interest, ROI)을 탐지한 후 탐지된 상기 관심 영역 내에서 상기 검체 채취 영역을 탐지하는 단계; 및 구동 수단 및 검체 채취 수단의 기구학적 체인(kinematic chain)으로부터 상기 검체 채취 수단의 말단의 3D 위치를 추정하고, 상기 구동 수단 및 상기 영상 간의 보정을 이용하여 상기 영상에 상기 말단의 3D 위치를 재투영(reprojection)하여 상기 말단의 2D 관심 영역을 생성한 후 상기 말단을 식별하는 단계;를 포함할 수 있다.In a specimen collection method according to one embodiment, the step of detecting the specimen collection area and the specimen collection means may include: a step of detecting a region of interest (ROI) preset to include the specimen collection area from the acquired image using cascade-type machine learning, and then detecting the specimen collection area within the detected region of interest; and a step of estimating a 3D position of an end of the specimen collection means from a kinematic chain of the driving means and the specimen collection means, reprojecting the 3D position of the end onto the image using correction between the driving means and the image, and then generating a 2D region of interest of the end, and then identifying the end.
일 실시예에 따른 검체 채취 방법에서, 상기 검체 채취 수단을 검출된 상기 검체 채취 영역으로 접근시키는 단계는, 상기 검체 채취 영역의 3D 위치를 상기 구동 수단 및 상기 영상 간의 좌표계 정합을 통해 상기 구동 수단의 좌표계 상의 3D 좌표로 변환하여 최초 목표 위치를 설정하는 단계; 및 상기 구동 수단을 이용하여 상기 최초 목표 위치를 향해 상기 검체 채취 수단을 이송시키는 단계;를 포함할 수 있다.In a specimen collection method according to one embodiment, the step of causing the specimen collection means to approach the detected specimen collection area may include the step of converting a 3D position of the specimen collection area into 3D coordinates on a coordinate system of the driving means through coordinate system alignment between the driving means and the image to set an initial target position; and the step of moving the specimen collection means toward the initial target position using the driving means.
일 실시예에 따른 검체 채취 방법에서, 상기 오차를 실시간으로 보상하는 단계는, 상기 검체 채취 수단의 접근에 따라, 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치를 추적하는 단계; 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치가 일치하도록 상기 구동 수단을 제어하는 단계; 및 수정된 상기 구동 수단의 포즈에 따라 목표 위치로 점진적인 접근을 유도하는 단계;를 포함할 수 있다.In a specimen collection method according to one embodiment, the step of compensating for the error in real time may include: a step of tracking a 2D position of the specimen collection area and a 2D position of the end of the specimen collection means according to an approach of the specimen collection means; a step of controlling the driving means so that the 2D position of the specimen collection area and the 2D position of the end of the specimen collection means match; and a step of inducing a gradual approach to the target position according to the modified pose of the driving means.
또한, 상기 목표 위치로 점진적인 접근을 유도하는 단계는, 수정된 상기 구동 수단의 포즈에 따라 새로운 접근 방향을 설정하고, 상기 검체 채취 영역의 깊이 정보를 이용하여 깊이 방향 전진 값을 결정하고, 설정된 상기 새로운 접근 방향에 따라 접근하였을 때 상기 검체 채취 수단의 말단의 3D 포즈를 산출하여 상기 구동 수단의 목표 위치로 설정함으로써 접근 제어를 수행하되, 상기 검체 채취 수단의 말단이 상기 검체 채취 영역에 도달할 때까지 상기 접근 제어를 반복할 수 있다.In addition, the step of inducing a gradual approach to the target position sets a new approach direction according to the pose of the modified driving means, determines a depth direction advancement value using depth information of the sample collection area, and calculates a 3D pose of the end of the sample collection means when approaching according to the set new approach direction and sets the pose as the target position of the driving means, thereby performing access control, wherein the access control can be repeated until the end of the sample collection means reaches the sample collection area.
일 실시예에 따른 검체 채취 방법은, 상기 검체 채취 장치가 상기 검체 채취 영역을 통해 상기 검체 채취 수단을 삽입하여 검체를 채취하는 동작을 수행하는 단계;를 더 포함할 수 있다.A method for collecting a sample according to one embodiment may further include a step of the sample collecting device performing an operation of collecting a sample by inserting the sample collecting means through the sample collecting area.
나아가, 이하에서는 상기 기재된 검체 채취 방법을 제어하는 명령을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.Furthermore, the following provides a computer-readable recording medium having recorded thereon a program for causing a computer to execute a command for controlling the above-described specimen collection method.
상기 기술적 과제를 해결하기 위하여, 본 명세서의 일 실시예에 따른 검체 채취 장치는, 대상을 포함하는 영상을 획득하는 센서; 검체 채취 수단을 검체 채취 영역에 접근시키는 구동 수단; 및 획득된 상기 영상을 이용하여 상기 구동 수단을 제어하는 명령을 수행하는 제어기;를 포함하고, 상기 제어기는, 획득된 상기 영상으로부터 검체 채취 영역 및 검체 채취 수단을 검출하고, 상기 검체 채취 수단에 연결된 상기 구동 수단을 이용하여 상기 검체 채취 수단을 검출된 상기 검체 채취 영역으로 접근시키되, 접근에 따라 변화하는 상기 검체 채취 수단의 말단과 상기 검체 채취 영역 간의 영상 내의 오차를 실시간으로 보상한다.In order to solve the above technical problem, a specimen collection device according to one embodiment of the present specification includes: a sensor for acquiring an image including a subject; a driving means for causing a specimen collection means to approach a specimen collection area; and a controller for executing a command for controlling the driving means using the acquired image; wherein the controller detects a specimen collection area and the specimen collection means from the acquired image, and causes the specimen collection means to approach the detected specimen collection area using the driving means connected to the specimen collection means, while compensating in real time for an error in the image between an end of the specimen collection means and the specimen collection area that changes according to the approach.
일 실시예에 따른 검체 채취 장치에서, 상기 제어기는, 획득된 상기 영상의 이미지 정보 및 깊이 정보에 기반하여 상기 검체 채취 영역의 2D 및 3D 위치를 추정하고, 상기 영상의 이미지 정보 및 상기 구동 수단의 기구학(kinematics) 정보에 기반하여 상기 검체 채취 수단의 말단의 2D 위치를 추정할 수 있다.In a specimen collection device according to one embodiment, the controller can estimate 2D and 3D positions of the specimen collection area based on image information and depth information of the acquired image, and can estimate 2D positions of the end of the specimen collection means based on image information of the image and kinematics information of the driving means.
일 실시예에 따른 검체 채취 장치에서, 상기 제어기는, 캐스케이드(cascade) 방식의 머신 러닝을 이용하여, 획득된 상기 영상으로부터 검체 채취 영역을 포함하도록 미리 설정된 관심 영역(region of interest, ROI)을 탐지한 후 탐지된 상기 관심 영역 내에서 상기 검체 채취 영역을 탐지하고, 구동 수단 및 검체 채취 수단의 기구학적 체인(kinematic chain)으로부터 상기 검체 채취 수단의 말단의 3D 위치를 추정하고, 상기 구동 수단 및 상기 영상 간의 보정을 이용하여 상기 영상에 상기 말단의 3D 위치를 재투영(reprojection)하여 상기 말단의 2D 관심 영역을 생성한 후 상기 말단을 식별할 수 있다.In one embodiment, in a specimen collection device, the controller detects a region of interest (ROI) preset to include a specimen collection area from the acquired image using cascade-style machine learning, and then detects the specimen collection area within the detected region of interest, estimates a 3D position of an end of the specimen collection means from a kinematic chain of a driving means and a specimen collection means, and reprojects the 3D position of the end onto the image using correction between the driving means and the image to generate a 2D region of interest of the end, and then identifies the end.
일 실시예에 따른 검체 채취 장치에서, 상기 제어기는, 상기 검체 채취 영역의 3D 위치를 상기 구동 수단 및 상기 영상 간의 좌표계 정합을 통해 상기 구동 수단의 좌표계 상의 3D 좌표로 변환하여 최초 목표 위치를 설정하고, 상기 구동 수단을 이용하여 상기 최초 목표 위치를 향해 상기 검체 채취 수단을 이송시킬 수 있다.In a specimen collection device according to one embodiment, the controller may set an initial target position by converting a 3D position of the specimen collection area into a 3D coordinate on a coordinate system of the driving means through coordinate system alignment between the driving means and the image, and may move the specimen collection means toward the initial target position using the driving means.
일 실시예에 따른 검체 채취 장치에서, 상기 제어기는, 상기 검체 채취 수단의 접근에 따라, 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치를 추적하고, 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치가 일치하도록 상기 구동 수단을 제어하며, 수정된 상기 구동 수단의 포즈에 따라 목표 위치로 점진적인 접근을 유도함으로써, 상기 오차를 실시간으로 보상할 수 있다. 또한, 상기 제어기는, 수정된 상기 구동 수단의 포즈에 따라 새로운 접근 방향을 설정하고, 상기 검체 채취 영역의 깊이 정보를 이용하여 깊이 방향 전진 값을 결정하고, 설정된 상기 새로운 접근 방향에 따라 접근하였을 때 상기 검체 채취 수단의 말단의 3D 포즈를 산출하여 상기 구동 수단의 목표 위치로 설정함으로써 접근 제어를 수행하되, 상기 검체 채취 수단의 말단이 상기 검체 채취 영역에 도달할 때까지 상기 접근 제어를 반복함으로써, 상기 목표 위치로 점진적인 접근을 유도할 수 있다.In a specimen collection device according to one embodiment, the controller tracks a 2D position of the specimen collection area and a 2D position of a terminal of the specimen collection means according to an approach of the specimen collection means, controls the driving means so that the 2D position of the specimen collection area and the 2D position of the terminal of the specimen collection means match, and induces a gradual approach to a target position according to the modified pose of the driving means, thereby compensating for the error in real time. In addition, the controller sets a new approach direction according to the modified pose of the driving means, determines a depth direction advancement value using depth information of the specimen collection area, and calculates a 3D pose of the terminal of the specimen collection means when approaching according to the set new approach direction and sets the pose as the target position of the driving means, thereby performing access control, and repeating the access control until the terminal of the specimen collection means reaches the specimen collection area, thereby inducing a gradual approach to the target position.
일 실시예에 따른 검체 채취 장치에서, 상기 제어기는, 상기 구동 수단을 제어하여, 상기 검체 채취 영역을 통해 상기 검체 채취 수단을 삽입하여 검체를 채취할 수 있다.In a specimen collection device according to one embodiment, the controller controls the driving means to insert the specimen collection means through the specimen collection area to collect a specimen.
일 실시예에 따른 검체 채취 장치에서, 상기 구동 수단은, 상기 검체 채취 수단의 말단을 3D 배치하기 위한 3-자유도(degrees-of-freedom, DOF) 모션을 제공하고, 상기 검체 채취 수단의 말단을 상기 검체 채취 영역으로 삽입하는 각도를 조정하기 위한 2-자유도 모션을 제공하며, 검체 채취를 위한 축 방향 움직임에 관한 적어도 1-자유도 모션을 제공할 수 있다.In a specimen collection device according to one embodiment, the driving means may provide a three-degrees-of-freedom (DOF) motion for 3D positioning of a distal end of the specimen collection means, a two-degrees-of-freedom motion for adjusting an angle at which the distal end of the specimen collection means is inserted into the specimen collection region, and at least a one-degree-of-freedom motion with respect to an axial movement for specimen collection.
본 명세서의 실시예들은, 로봇을 이용한 검체 채취의 자동화를 통해 의료진의 교차 감염과 업무 과중 문제를 완화하고, 별도의 가이드 도구(guide tool) 없이 다양한 상용 면봉을 활용할 수 있으며, 영상에서 콧구멍과 면봉을 실시간으로 동시에 검출하고 이미지 상에 콧구멍과 면봉의 말단을 일치시키면서 면봉을 전진시키는 영상 기반의 제어를 구현함으로써 면봉의 초기 변형이나 카메라-로봇 간 정합 오차에 상관없이 정확한 검체 채취가 가능하다.Embodiments of the present specification alleviate the problems of cross-infection and workload of medical staff through automation of specimen collection using a robot, enable the use of various commercially available swabs without a separate guide tool, and implement image-based control that simultaneously detects a nostril and a swab in real time in an image and advances the swab while aligning the nostril and the tip of the swab on the image, thereby enabling accurate specimen collection regardless of initial deformation of the swab or alignment error between the camera and the robot.
도 1은 로봇을 이용한 자동 검체 채취 과정을 개괄적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 기반 제어를 이용한 검체 채취 방법을 도시한 흐름도이다.
도 3은 영상 기반 제어를 이용한 검체 채취 과정에서 활용되는 정보의 유형을 설명하기 위한 도면이다.
도 4는 시각적 서보 제어(visual servo control)를 위한 객체 검출 과정을 도시한 흐름도이다.
도 5는 검체 채취 수단을 검체 채취 영역으로 접근시키는 과정을 보다 구체적으로 도시한 흐름도이다.
도 6 및 도 7은 시각적 서보 제어의 과정을 설명하기 위한 도면이다.
도 8은 시각적 서보 제어를 이용한 자동화된 검체 채취 과정을 도시한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 영상 기반 제어를 이용한 검체 채취 장치를 도시한 블록도이다.
도 10은 본 발명의 일 실시예에 따른 검체 채취 장치를 구현한 실험 장비를 예시한 도면이다.
도 11 및 도 12는 개-루프(open-loop) 제어와 본 발명의 일 실시예에 따른 시각적 서보 제어의 실험 결과를 비교하여 도시한 도면이다.Figure 1 is a schematic diagram illustrating an automatic sample collection process using a robot.
FIG. 2 is a flowchart illustrating a method for collecting a specimen using image-based control according to one embodiment of the present invention.
Figure 3 is a diagram illustrating the types of information utilized in the sample collection process using image-based control.
Figure 4 is a flowchart illustrating an object detection process for visual servo control.
Figure 5 is a flow chart illustrating in more detail the process of bringing a specimen collection means close to a specimen collection area.
Figures 6 and 7 are drawings for explaining the process of visual servo control.
Figure 8 is a flow chart illustrating an automated sampling process using visual servo control.
FIG. 9 is a block diagram illustrating a specimen collection device using image-based control according to one embodiment of the present invention.
FIG. 10 is a drawing illustrating an experimental device implementing a specimen collection device according to one embodiment of the present invention.
FIGS. 11 and 12 are diagrams comparing experimental results of open-loop control and visual servo control according to one embodiment of the present invention.
본 명세서의 실시예들을 구체적으로 설명하기에 앞서, 본 명세서의 실시예들이 구현되는 검체 채취를 위한 로봇 기술 분야에서 나타나는 목표와 이를 해결하기 위해 고려될 수 있는 기술적 수단을 순차적으로 소개하도록 한다.Before specifically describing the embodiments of the present specification, the goals emerging in the field of robotic technology for specimen collection in which the embodiments of the present specification are implemented and the technical means that can be considered for solving them will be sequentially introduced.
앞서 소개한 바와 같이, 의료진의 최소한의 개입으로 구강인두(oropharyngeal) 또는 비인두(nasopharyngeal) 검체 채취를 수행할 수 있는 완전 자동화 시스템의 도입을 고려할 수 있다. 예를 들어, 컴퓨터 비전을 사용하여 인후의 면봉 부위를 식별하고 힘을 제어하여 부드러운 면봉을 수행하는 전자동 인후 검체 채취 로봇을 개발할 수 있다.As previously introduced, the introduction of a fully automated system that can perform oropharyngeal or nasopharyngeal swab collection with minimal intervention by medical staff can be considered. For example, a fully automated throat swab collection robot can be developed that uses computer vision to identify the throat swab site and control the force to perform a gentle swab.
비인두 면봉이 중증 급성 호흡기 증후군 코로나바이러스 2를 탐지하기 위한 참조 샘플링 방법이지만 완전 자동화된 비인두 검체 채취 방법에 대한 기술적 수단을 고려할 수 있다. 예를 들어, 비인두 목표 위치에서 표본을 수집하기 위해 환자의 얼굴 구조와 정확한 콧구멍 위치를 식별할 수 있는 전자동 비인두 면봉 로봇을 구현할 수 있다. 그러나, 이러한 로봇 시스템에는 추가 안내 도구가 필요하며, 환자는 비강 클립을 착용하여 작동되는 기계에 대한 주요 기준점을 제공해야 한다는 불편이 존재한다.Although nasopharyngeal swab is the reference sampling method for detecting severe acute respiratory syndrome coronavirus 2, technological means for fully automated nasopharyngeal specimen collection methods can be considered. For example, a fully automated nasopharyngeal swab robot that can identify the patient's facial structure and the exact nostril location to collect the specimen from the nasopharyngeal target location can be implemented. However, such a robotic system requires additional guidance tools, and the patient must wear a nasal clip to provide a primary reference point for the operating machine.
구강인두 면봉과 달리 비인두 면봉의 완전 자동화는 작은 콧구멍을 정확하게 탐지하고 면봉을 작은 구멍에 삽입하는 데 여전히 어려움이 있다. 콧구멍의 평균 크기는 10-12mm인 반면, 뭉쳐진 면봉의 직경은 약 3mm이다. 따라서 면봉은 3~4mm의 오차 범위 내에서 콧구멍에 정확히 위치해야 한다. 로봇 시스템을 정밀하게 제어하여 정확한 위치를 지정할 수 있지만 카메라와 로봇 좌표 사이의 등록 오류로 인해 대상에 면봉을 정확하게 위치시키는 데 방해가 될 수 있다. 또한, 편향된 면봉으로 인한 불가피한 기구학적 오류가 제어에 포함될 수 있으며, 이는 실제로 완전히 자동화된 비인두 검체 채취를 상당히 방해한다. 직진형 검체 채취 모델은 일반적으로 기구학(kinematics)을 해결하는 데 사용된다. 그러나 가느다란 플라스틱 샤프트로 만든 샘플링 면봉은 상당히 약하기 때문에 면봉은 샘플 수집 전에 초기 변형(예를 들어, 휘어짐)을 겪을 수 있다.Unlike oropharyngeal swabs, fully automated nasopharyngeal swabs still face challenges in accurately detecting the small nostrils and inserting the swab into the small nostrils. The average nostril size is 10–12 mm, while the diameter of a clumped swab is approximately 3 mm. Therefore, the swab must be accurately positioned in the nostrils within a margin of error of 3–4 mm. Although precise control of the robotic system can provide precise positioning, registration errors between the camera and robot coordinates can interfere with accurately positioning the swab on the target. In addition, unavoidable kinematic errors due to the biased swab can be included in the control, which significantly impedes fully automated nasopharyngeal sampling in practice. Straight-line sampling models are commonly used to address the kinematics. However, sampling swabs made of thin plastic shafts are quite fragile, and the swabs can undergo initial deformation (e.g., bending) before sample collection.
본 명세서에서는 비인두 검체 채취의 완전 자동화를 위해, 면봉을 좁은 영역(예를 들어, 콧구멍)에 배치할 때 주로 발생하는 문제를 다룬다. 샘플링 면봉을 콧구멍에 정확하게 배치하기 위해 딥 러닝 기반 콧구멍 탐지와 함께 시각적 서보 제어(visual servo control) 프레임워크를 제안한다. 제안된 시각적 서보 제어는 맞춤형 6-자유도(degrees-of-freedom, DOF) 로봇 팔과 라이다(LiDAR) 깊이 카메라를 사용하여 실시간으로 검증되었다. 다중 자유도 로봇의 시각적 서보를 위해 자동화된 비인두 면봉에 적용할 수 있는 분할된 시각적 서보 방식을 소개한다. 시각적 서보 방식은 초기 편향이 다른 무작위로 선택된 면봉을 사용하여 헤드 팬텀 모델에서 테스트한 다음, 면봉을 탐지된 콧구멍 대상에 단순히 3D로 배치하는 위치 제어와 비교 실험하였다.In this paper, we address the problem that commonly arises when placing a swab in a narrow area (e.g., the nostril) for fully automated nasopharyngeal swab collection. We propose a visual servo control framework along with deep learning-based nostril detection to accurately place the sampling swab in the nostril. The proposed visual servo control is validated in real-time using a custom 6-DOF robotic arm and a LiDAR depth camera. We introduce a segmented visual servo approach that can be applied to automated nasopharyngeal swabs for visual servoing of multi-DOF robots. The visual servo approach is tested on a head phantom model using randomly selected swabs with different initial biases, and compared with position control that simply places the swab in 3D on the detected nostril targets.
이하에서는 도면을 참조하여 본 명세서의 실시예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 실시예들의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 덧붙여, 명세서 전체에서, 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Hereinafter, embodiments of the present specification will be specifically described with reference to the drawings. However, detailed descriptions of well-known functions or configurations that may obscure the gist of the embodiments in the following description and the attached drawings will be omitted. In addition, throughout the specification, the term "including" a component does not exclude other components unless specifically stated to the contrary, but rather means that other components may be included.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 명세서를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구비하다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the present disclosure. The singular expression includes the plural expression unless the context clearly indicates otherwise. In this application, it should be understood that the terms "comprises" or "includes" and the like are intended to specify the presence of a described feature, number, step, operation, component, part, or combination thereof, but do not exclude in advance the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.
특별히 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 명세서가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless specifically defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this specification belongs. Terms defined in commonly used dictionaries, such as those defined in common usage, should be interpreted as having a meaning consistent with the meaning they have in the context of the relevant art, and shall not be interpreted in an idealized or overly formal sense unless explicitly defined herein.
이하에서 제시되는 본 명세서의 실시예들은, 예를 들어, 검체 채취 수단으로 면봉(swab)을 사용하고, 검체 채취 영역으로 콧구멍을 예시하였다. 따라서, 검체 채취 수단의 말단은 면봉 팁(tip)이 될 수 있다. 또한, 검체 채취의 난이도가 높은 비인두(nasopharyngeal)를 대상으로 하고 있으나, 이에 한정되지 않는다.The embodiments of the present specification presented below use, for example, a swab as a sample collection means, and exemplify the nostril as a sample collection area. Accordingly, the end of the sample collection means may be a swab tip. In addition, the nasopharyngeal, where sample collection is difficult, is targeted, but is not limited thereto.
도 1은 로봇을 이용한 자동 검체 채취 과정을 개괄적으로 도시한 도면이다. 우선, 콧구멍을 검출하고, 면봉을 콧구멍에 삽입하기 위한 경로 계획을 수립한다(111). 그런 다음, 콧구멍 앞에 면봉을 위치시킴으로써(112) 검체 채취를 위한 준비가 완료된다. 이제, 비강 내에 면봉을 삽입하고, 예를 들어, 면봉을 회전시킴으로써 검체를 채취한다(120). 마지막으로 비강으로부터 면봉을 제거함으로써 검체 채취 절차를 종료한다. 앞서, 소개한 바와 같이, 검체 채취 수단(면봉)을 좁은 콧구멍에 삽입하기 위해 로봇을 제어하는 과정에 어려움이 존재하므로, 이하에서 기술되는 본 명세서의 실시예들은 도 1의 초기 2 단계(110)에 집중하여 구체적인 구성을 설명하도록 한다.Fig. 1 is a schematic diagram illustrating an automatic sample collection process using a robot. First, a nostril is detected, and a path plan for inserting a swab into the nostril is established (111). Then, preparation for sample collection is completed by positioning the swab in front of the nostril (112). Now, the swab is inserted into the nasal cavity, and a sample is collected by, for example, rotating the swab (120). Finally, the sample collection procedure is completed by removing the swab from the nasal cavity. As previously introduced, since there is difficulty in controlling the robot to insert a sample collection means (swab) into a narrow nostril, the embodiments of the present specification described below focus on the initial two steps (110) of Fig. 1 and explain the specific configuration.
도 2는 본 발명의 일 실시예에 따른 영상 기반 제어를 이용한 검체 채취 방법을 도시한 흐름도로서, 시각적 서보 제어를 이용한 검체 채취 장치를 통해 구현될 수 있다. 이러한 검체 채취 장치는, 맞춤형 로봇 팔, 라이다(LiDAR) 깊이 카메라 및 로봇의 샘플링 면봉을 수용하기 위한 면봉 어댑터로 구성될 수 있다. 로봇 팔은 자동화된 비인두 면봉 샘플링을 위해 요구되는 자유도(degrees-of-freedom, DOF) 모션(motion), 예를 들어, 6-자유도 모션을 제공할 수 있다.FIG. 2 is a flowchart illustrating a method for collecting a specimen using image-based control according to one embodiment of the present invention, which may be implemented through a specimen collection device using visual servo control. The specimen collection device may be composed of a customized robotic arm, a LiDAR depth camera, and a swab adapter for receiving a sampling swab of the robot. The robotic arm may provide degrees-of-freedom (DOF) motion required for automated nasopharyngeal swab sampling, for example, 6-DOF motion.
S210 단계에서, 검체 채취 장치는 대상을 포함하는 영상을 획득한다. 여기서, 영상은 단지 2D 위치 정보 및 3D 위치를 정보를 도출하기 위한 자료가 되며, 예를 들어, 깊이 정보 및 이미지 정보를 포함할 수 있다.In step S210, the specimen collection device acquires an image including the target. Here, the image is only data for deriving 2D position information and 3D position information, and may include, for example, depth information and image information.
S230 단계에서, 상기 검체 채취 장치는 S210 단계를 통해 획득된 상기 영상으로부터 검체 채취 영역 및 검체 채취 수단을 검출한다. 이 과정에서는, 획득된 상기 영상으로부터 검체 채취 영역의 2D 및 3D 위치 및 상기 검체 채취 수단의 말단의 2D 위치를 획득할 수 있다. 이를 위해, 딥 러닝 기반 콧구멍 탐지와 캐스케이드(cascade) 접근 방식을 통합하여 실시간으로 높은 정확도로 콧구멍을 안정적으로 식별하는 기술적 수단을 제안한다.In step S230, the specimen collection device detects the specimen collection area and the specimen collection means from the image acquired through step S210. In this process, the 2D and 3D positions of the specimen collection area and the 2D position of the end of the specimen collection means can be acquired from the acquired image. To this end, a technical means for stably identifying the nostrils with high accuracy in real time is proposed by integrating deep learning-based nostril detection and a cascade approach.
S250 단계에서, 상기 검체 채취 장치는 상기 검체 채취 수단에 연결된 구동 수단을 이용하여 상기 검체 채취 수단을 검출된 상기 검체 채취 영역으로 접근시킨다. 또한, S270 단계에서, 상기 검체 채취 장치는 접근에 따라 변화하는 상기 검체 채취 수단의 말단과 상기 검체 채취 영역 간의 영상 내의 오차를 실시간으로 보상한다. 구동 수단으로서 다중 자유도 로봇 팔을 사용하여 콧구멍에서 샘플링 면봉(swab)을 정확하게 배치하기 위해 이미지 기반 시각적 서보와 축 제어를 결합한 분할된 시각적 서보 방식을 구현하였다. 시각적 서보는 검출된 콧구멍과 면봉 사이의 오차를 최소화하도록 설계되어 부정확한 카메라-로봇 보정으로 인한 위치 오차, 불가피한 면봉 편향에 의한 기구학적 오차 등 실제 작동 시 발생할 수 있는 오차를 보상할 수 있다.In step S250, the specimen collection device uses a driving means connected to the specimen collection means to cause the specimen collection means to approach the detected specimen collection area. Further, in step S270, the specimen collection device compensates in real time for an error in an image between the end of the specimen collection means and the specimen collection area that changes according to the approach. A segmented visual servo method combining image-based visual servo and axis control is implemented to accurately place a sampling swab in a nostril using a multi-degree-of-freedom robot arm as the driving means. The visual servo is designed to minimize the error between the detected nostril and the swab, thereby compensating for errors that may occur during actual operation, such as positional errors due to inaccurate camera-robot compensation and kinematic errors due to inevitable swab deflection.
마지막으로, 상기 검체 채취 장치는 상기 검체 채취 영역을 통해 상기 검체 채취 수단을 삽입하여 검체를 채취하는 동작을 수행할 수 있다.Finally, the above-described specimen collection device can perform an operation of collecting a specimen by inserting the above-described specimen collection means through the above-described specimen collection area.
도 3은 영상 기반 제어를 이용한 검체 채취 과정에서 활용되는 정보의 유형을 설명하기 위한 도면이다.Figure 3 is a diagram illustrating the types of information utilized in the sample collection process using image-based control.
본 명세서의 실시예들은, 검체 채취 영역 및 검체 채취 수단을 검출함에 있어서, 센서를 통해 획득된 영상으로부터 검체 채취 영역(예를 들어, 콧구멍)의 2D 및 3D 위치(310) 및 검체 채취 수단(예를 들어, 면봉)의 말단의 2D 위치(320)를 획득할 수 있다. 이를 위해, 재료가 되는 정보가 필요한데, 도 3에는 깊이 정보, 이미지 정보 및 로봇 기구학(kinematics) 정보의 세 가지 유형의 정보를 제시하였다.The embodiments of the present specification can obtain 2D and 3D positions (310) of a specimen collection area (e.g., a nostril) and a 2D position (320) of a terminal of a specimen collection means (e.g., a swab) from an image obtained through a sensor in detecting a specimen collection area and a specimen collection means. To this end, material information is required, and FIG. 3 presents three types of information: depth information, image information, and robot kinematics information.
먼저, 획득된 영상의 이미지 정보 및 깊이 정보에 기반하여 상기 검체 채취 영역의 2D 및 3D 위치(310)를 추정할 수 있다. 또한, 영상의 이미지 정보 및 구동 수단의 기구학(kinematics) 정보에 기반하여 검체 채취 수단의 말단의 2D 위치(320)를 추정할 수 있다. 그런 다음, 영상 기반 제어가 수행되고, 로봇의 위치 제어가 진행된다.First, the 2D and 3D positions (310) of the sample collection area can be estimated based on the image information and depth information of the acquired image. In addition, the 2D position (320) of the end of the sample collection means can be estimated based on the image information of the image and the kinematics information of the driving means. Then, image-based control is performed, and the position control of the robot is performed.
검체 채취 영역(콧구멍) 탐지Detection of the specimen collection area (nostril)
콧구멍의 정확한 탐지는 로봇이 자동으로 콧구멍 표적을 획득하고 면봉을 콧구멍에 삽입하는 자동화된 비인두 면봉 샘플링의 원활한 작동에 매우 중요한다. 그러나 매우 다양한 인간의 콧구멍을 고정밀도로 탐지하는 것은 어려운 일이다. 콧구멍의 모양과 크기는 사람마다 다르며, 또한 코의 각도와 그림자는 이미지에서 콧구멍의 모양에 영향을 준다. 따라서 기하학적 모양이나 색상을 기반으로 하는 콧구멍 탐지 알고리즘은 실패하기 쉽다. 예를 들어, 일반적으로 얼굴 탐지에 사용되는 Viola-Jones 알고리즘의 콧구멍 탐지 정확도가 24%에 불과한 것으로 나타난 실험 결과도 있다.Accurate detection of nostrils is crucial for the smooth operation of automated nasopharyngeal swab sampling, where the robot automatically acquires nostril targets and inserts the swab into the nostril. However, it is difficult to detect the nostrils of humans with high accuracy, which are very diverse. The shape and size of nostrils vary from person to person, and the angle and shadow of the nose also affect the appearance of the nostrils in the image. Therefore, nostril detection algorithms based on geometric shapes or colors are prone to failure. For example, experimental results have shown that the Viola-Jones algorithm, which is commonly used for face detection, has a nostril detection accuracy of only 24%.
따라서, 정확한 콧구멍 탐지를 위해 캐스케이드(cascade) 방식의 딥 러닝 기반 방법을 소개한다. 제안하는 방법은 관심 영역(region of interest, ROI)에 대한 코 피사체를 가장 먼저 탐지하고 관심 영역에서 콧구멍을 구하는 방법이다. 예비 테스트를 기반으로 하는 이 캐스케이드 방식은 전체 이미지에서 콧구멍을 직접 검색하는 것보다 콧구멍 탐지 정확도를 크게 향상시킨다. 예를 들어, 콧구멍으로 탐지된 눈이나 입과 같은 위양성(false-positive) 사례를 완화한다.Therefore, we introduce a cascade-based deep learning-based method for accurate nostril detection. The proposed method first detects the nose object in the region of interest (ROI) and then extracts the nostril from the region of interest. Based on preliminary tests, this cascade method significantly improves the nostril detection accuracy compared to directly searching for nostrils in the entire image. For example, it mitigates false-positive cases such as eyes or mouths detected as nostrils.
다양한 물체 탐지 알고리즘과 비교하여 YOLOv4 small-one-stage 탐지기를 채택할 수 있으며, 코와 콧구멍의 고정밀 실시간 탐지가 가능하다. 네트워크 학습을 위해 FFHQ(Flickr-Faces-HQ Dataset)에서 다수의 얼굴 사진으로 구성된 훈련 데이터 세트를 고려하고, 데이터 증강으로 생성된 다수의 사진을 사용할 수 있다.Compared with various object detection algorithms, YOLOv4 small-one-stage detector can be adopted, and high-precision real-time detection of nose and nostrils is possible. For network learning, a training data set consisting of a large number of face photos from FFHQ (Flickr-Faces-HQ Dataset) can be considered, and a large number of photos generated by data augmentation can be used.
충분한 프레임 수(예를 들어, 30FPS) 내에서 코와 콧구멍의 연속적인 탐지가 제한될 수 있으므로 코 탐지는 필요한 경우에만 실행될 수 있다. 첫째, 자동화 시술 초기에 코 탐지를 수행하며, 탐지된 코는 콧구멍 검색에 대한 관심 영역을 제공한다. 관심 영역을 고려하여 콧구멍이 탐지되면 즉시 칼만(Kalman) 필터를 통해 콧구멍 중 하나를 추적하여 관심 영역의 위치를 갱신한다. 이때, 오른쪽 또는 왼쪽 콧구멍을 선택적으로 사용할 수 있다. 그렇지 않으면 새로운 관심 영역이 발견될 때까지 코 탐지가 반복된다.Since continuous detection of nose and nostrils can be limited within a sufficient frame rate (e.g., 30 FPS), nose detection can be performed only when necessary. First, nose detection is performed early in the automated procedure, and the detected nose provides a region of interest for nostril search. Once a nostril is detected considering the region of interest, one of the nostrils is immediately tracked through a Kalman filter to update the position of the region of interest. At this time, the right or left nostril can be used selectively. Otherwise, nose detection is repeated until a new region of interest is found.
검체 채취 수단(면봉 팁) 탐지Detection of specimen collection device (swab tip)
샘플링 면봉의 시각적 서보링을 위해 콧구멍 탐지 외에도 면봉 팁(tip)을 탐지하고 추적한다. 예를 들어, 면봉은 길이 150mm로 쉽게 구부릴 수 있는 막대기로 끝 부분에 직경 3mm의 뭉쳐진 머리를 포함하도록 구현될 수 있다. 면봉을 실시간으로 안정적으로 감지하기 위해 도 6의 사각형 상자에 표시된 대로 면봉 팁의 3D 위치에서 관심 영역을 설정할 수 있다. 팁의 3D 위치는, 스왑 어댑터에 부착된 직선형의 강성 샤프트라고 가정하고, 로봇과 면봉의 기구학적 체인(kinematic chain)으로부터 추정된다. 그 후, 3D 팁 위치는 TCP/IP 통신을 통해 비전(vision) 시스템으로 스트리밍된다. 카메라-로봇 보정(camera-robot calibration)을 사용하여 이미지에 3D 팁 위치를 재투영(reprojection)하면, 이미지에서 팁을 검색하기 위한 2D 관심 영역이 생성된다. 2D 관심 영역을 고려하여 면봉을 식별하고, HSV 색상 임계값으로 이진화하여 밝은 흰색의 면봉을 얻을 수 있다. 스퓨리어스(spurious) 픽셀을 제거하기 위해, 면봉이 특정 너비 임계값을 갖는 1차 다항식이라고 가정하면서 RANSAC 알고리즘을 사용한다. 면봉에 대한 픽셀 포인트 집합을 고려할 때, 선에 투영된 포인트 중 끝점은 이미지의 팁 위치로 간주된다. 팁 탐지가 때때로 불안정하거나 탐지되지 않을 수 있으므로 2D 면봉 팁 위치에 칼만 추적을 적용한다.In addition to nostril detection, the swab tip is also detected and tracked for visual servoing of the sampling swab. For example, the swab can be implemented as a 150 mm long, easily bendable rod with a 3 mm diameter balled head at the end. To reliably detect the swab in real time, a region of interest can be set at the 3D position of the swab tip as indicated by the square box in Fig. 6. The 3D position of the tip is estimated from the kinematic chain of the robot and the swab, assuming a straight rigid shaft attached to the swap adapter. The 3D tip position is then streamed to the vision system via TCP/IP communication. By reprojecting the 3D tip position onto the image using camera-robot calibration, a 2D region of interest is generated to search for the tip in the image. The swab is identified by considering the 2D region of interest, and the swab is binarized by HSV color thresholding to obtain a bright white swab. To remove spurious pixels, we use the RANSAC algorithm, assuming that the swab is a first-order polynomial with a certain width threshold. Given a set of pixel points for the swab, the endpoints of the projected points on the line are considered as the tip locations in the image. Since tip detection can sometimes be unstable or undetected, we apply Kalman tracking to the 2D swab tip locations.
도 4는 시각적 서보 제어(visual servo control)를 위한 객체 검출 과정을 도시한 흐름도로서, 콧구멍 및 면봉 탐지를 위한 전체 절차를 보여준다.Figure 4 is a flowchart illustrating the object detection process for visual servo control, showing the overall procedure for nostril and cotton swab detection.
콧구멍 검출 및 추적 과정을 살펴보면, S411 단계에서 관심 영역이 유효한지를 검사하고, S412 단계를 통해 관심 영역 내에서 콧구멍이 검출되었는지를 검사한다. 관심 영역이 유효하지 않거나 콧구멍이 검출되지 않았다면, S413 단계에서 코를 먼저 검출한다. 그런 다음, S417 단계로 진행하여 콧구멍 탐지를 위한 관심 영역을 설정한다. 한편, 콧구멍이 검출된 후, S413 단계에서는, 2D 콧구멍 대상을 위치화한다(localize). 그리고, S415 단계에서, 2D 콧구멍 대상을 추적한다. 이제, S416 단계에서 콧구멍 추적으로부터 관심 영역을 갱신하고, S417 단계로 진행한다.Looking at the nostril detection and tracking process, in step S411, it is checked whether the region of interest is valid, and in step S412, it is checked whether the nostril is detected within the region of interest. If the region of interest is invalid or the nostril is not detected, the nose is first detected in step S413. Then, the process proceeds to step S417 to set the region of interest for nostril detection. Meanwhile, after the nostril is detected, in step S413, the 2D nostril target is localized. Then, in step S415, the 2D nostril target is tracked. Now, in step S416, the region of interest is updated from the nostril tracking, and the process proceeds to step S417.
면봉 팁 검출 및 추적 과정을 살펴보면, TCP/IP 메시지를 수신하고, S421 단계에서 현재의 면봉 팁을 재투영한다(reprojection). S422 단계에서는 면봉 검출을 위한 관심 영역을 설정하고, S423 단계에서 면봉을 검출한다. S424 단계를 통해, 팁이 검출되었다면 S425 단계로 진행하여 2D 팁 위치를 위치화하고, S426 단계에서 2D 팁 위치를 추적한다. 만약 S424 단계에서 팁이 검출되지 않았다면, S426 단계로 진행한다.Looking at the swab tip detection and tracking process, a TCP/IP message is received, and the current swab tip is reprojected in step S421. In step S422, a region of interest for swab detection is set, and the swab is detected in step S423. In step S424, if the tip is detected, the process proceeds to step S425 to localize the 2D tip position, and in step S426, the 2D tip position is tracked. If the tip is not detected in step S424, the process proceeds to step S426.
다음으로, S430 단계로 진행하여, S415 단계를 통해 추적되는 2D 콧구멍 대상과 S426 단계를 통해 추적되는 2D 팁 위치를 기반으로 양자의 2D 오차를 산출하고, 시각적 서보 제어를 수행하게 된다.Next, in step S430, the 2D error of both is calculated based on the 2D nostril target tracked through step S415 and the 2D tip position tracked through step S426, and visual servo control is performed.
요약하건대, 검체 채취 영역 및 검체 채취 수단을 검출하는 과정은, 캐스케이드(cascade) 방식의 머신 러닝을 이용하여, 획득된 상기 영상으로부터 검체 채취 영역을 포함하도록 미리 설정된 관심 영역(region of interest, ROI)을 탐지한 후 탐지된 상기 관심 영역 내에서 상기 검체 채취 영역을 탐지할 수 있다. 또한, 구동 수단 및 검체 채취 수단의 기구학적 체인(kinematic chain)으로부터 상기 검체 채취 수단의 말단의 3D 위치를 추정하고, 상기 구동 수단 및 상기 영상 간의 보정을 이용하여 상기 영상에 상기 말단의 3D 위치를 재투영(reprojection)하여 상기 말단의 2D 관심 영역을 생성한 후 상기 말단을 식별할 수 있다.In summary, the process of detecting the specimen collection area and the specimen collection means can detect a region of interest (ROI) preset to include the specimen collection area from the acquired image using cascade-style machine learning, and then detect the specimen collection area within the detected region of interest. In addition, the 3D position of the end of the specimen collection means can be estimated from a kinematic chain of the driving means and the specimen collection means, and the 3D position of the end can be reprojected onto the image using correction between the driving means and the image to generate a 2D region of interest of the end, and then the end can be identified.
도 5는 검체 채취 수단을 검체 채취 영역으로 접근시키는 과정을 보다 구체적으로 도시한 흐름도로서, 2D 이미지 상에서 위치를 확인하되, 콧구멍에 면봉이 접근하는 경우 깊이 및 위치 정보에 기반하여 방향 벡터를 조정하는 하이브리드 방식의 시각적 서보 제어 방식을 제시하였다. 이러한 시각적 서보 제어는, 단지 면봉 팁만을 정합하더라도 도구의 축이 정렬되지 않은 경우 면봉 진행에 따른 변위가 변동(fluctuation)하는 현상이 발생할 수 있으므로, 축(axis) 자체를 보정/정합시켜야만 오차를 지속적으로 감소시킬 수 있다는 점에 착안하여 안출되었다.Fig. 5 is a flowchart illustrating in more detail the process of approaching a specimen collection means to a specimen collection area, and proposes a hybrid visual servo control method that confirms the position on a 2D image and adjusts the direction vector based on the depth and position information when the swab approaches the nostril. This visual servo control was devised based on the idea that even if only the swab tip is aligned, a phenomenon of fluctuation in displacement due to the progress of the swab may occur if the axis of the tool is not aligned, and therefore the error can be continuously reduced only by correcting/aligning the axis itself.
S510 단계를 통해, 콧구멍과 면봉 팁의 2D 오차 및 콧구멍의 깊이 정보를 포함하는 센싱 정보가 입력된다. S520 단계에서는 이미지 기반의 시각적 서보를 통해 콧구멍과 면봉 팁의 2D 오차를 최소화하기 위한 로봇 포즈 제어가 수행되고, S530 단계에서 수정된 로봇 포즈에 따라 새로운 접근 방향(즉, 축 방향 제어)이 설정될 수 있다. 그런 다음, S540 단계에서, 면봉 팁의 3D 목표 포즈가 산출된다. 이제 S550 단계를 통해 면봉 팁이 콧구멍에 도달하였는지를 검사하고, 아직 팁이 도달하지 않은 경우, 이상과 하이브리드 시각적 서보 제어 과정을 반복한다. 면봉 팁이 콧구멍에 도달하였다면, S560 단계에서 검체 채취 동작을 수행한다.Through step S510, sensing information including 2D error of the nostril and the swab tip and depth information of the nostril are input. In step S520, robot pose control is performed to minimize the 2D error of the nostril and the swab tip through image-based visual servo, and a new approach direction (i.e., axial control) can be set according to the modified robot pose in step S530. Then, in step S540, a 3D target pose of the swab tip is derived. Now, through step S550, it is checked whether the swab tip has reached the nostril, and if the tip has not yet reached, the above and hybrid visual servo control processes are repeated. If the swab tip has reached the nostril, a specimen collection motion is performed in step S560.
보다 구체적으로, 검체 채취 수단을 검출된 검체 채취 영역으로 접근시키는 과정은, 검체 채취 영역의 3D 위치를 구동 수단 및 영상 간의 좌표계 정합을 통해 구동 수단의 좌표계 상의 3D 좌표로 변환하여 최초 목표 위치를 설정하고, 상기 구동 수단을 이용하여 상기 최초 목표 위치를 향해 상기 검체 채취 수단을 이송시킬 수 있다. 또한, 오차를 실시간으로 보상하는 과정은, 상기 검체 채취 수단의 접근에 따라, 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치를 추적하고, 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치가 일치하도록 상기 구동 수단을 제어하며, 수정된 상기 구동 수단의 포즈에 따라 목표 위치로 점진적인 접근을 유도할 수 있다.More specifically, the process of approaching the specimen collection means to the detected specimen collection area may include: converting the 3D position of the specimen collection area into 3D coordinates on the coordinate system of the driving means through coordinate system alignment between the driving means and the image to set an initial target position; and moving the specimen collection means toward the initial target position using the driving means. In addition, the process of compensating for an error in real time may include: tracking the 2D position of the specimen collection area and the 2D position of the end of the specimen collection means according to the approach of the specimen collection means; controlling the driving means so that the 2D position of the specimen collection area and the 2D position of the end of the specimen collection means match; and inducing a gradual approach to the target position according to the modified pose of the driving means.
여기서, 구동 수단을 제어하는 과정은, 크게 두 가지 실시예로서 구현될 수 있다. 첫째, 검체 채취 영역의 2D 위치 및 검체 채취 수단의 말단의 2D 위치 사이의 오차를 감소시키는 방향으로 구동 수단의 요(yaw) 및 피치(pitch)의 각도를 조정하는 회전(rotation)을 제어할 수 있다. 둘째, 검체 채취 영역의 2D 위치 및 검체 채취 수단의 말단의 2D 위치 사이의 오차를 감소시키는 방향으로 구동 수단의 병진(translation)을 제어할 수 있다.Here, the process of controlling the driving means can be implemented largely in two embodiments. First, the rotation of the driving means can be controlled to adjust the angles of the yaw and pitch in a direction that reduces the error between the 2D position of the specimen collection area and the 2D position of the end of the specimen collection means. Second, the translation of the driving means can be controlled in a direction that reduces the error between the 2D position of the specimen collection area and the 2D position of the end of the specimen collection means.
또한, 목표 위치로 점진적인 접근을 유도하는 과정은, 수정된 상기 구동 수단의 포즈에 따라 새로운 접근 방향을 설정하고, 상기 검체 채취 영역의 깊이 정보를 이용하여 깊이 방향 전진 값을 결정하고, 설정된 상기 새로운 접근 방향에 따라 접근하였을 때 상기 검체 채취 수단의 말단의 3D 포즈를 산출하여 상기 구동 수단의 목표 위치로 설정함으로써 접근 제어를 수행하되, 상기 검체 채취 수단의 말단이 상기 검체 채취 영역에 도달할 때까지 상기 접근 제어를 반복할 수 있다.In addition, the process of inducing a gradual approach to the target position sets a new approach direction according to the pose of the modified driving means, determines a depth direction advancement value using depth information of the sample collection area, and calculates a 3D pose of the end of the sample collection means when approaching according to the set new approach direction and sets the pose as the target position of the driving means, thereby performing access control, but the access control can be repeated until the end of the sample collection means reaches the sample collection area.
시각적 서보 제어Visual servo control
앞에서 언급했듯이, 잠재적인 오류 원인, 예를 들어, 1) 직렬 로봇 매니퓰레이터(serial robot manipulator)의 엔드 이펙터(end-effector)의 위치 오류, 2) 라이다 깊이 카메라의 탐지 오류, 3) 카메라와 로봇 좌표 간의 등록 오류, 4) 면봉 편향으로 인한 기구학적 모델 오류 등으로 인해 몇 밀리미터의 오류 범위 내에서 3D 콧구멍 타겟에 면봉을 정확하게 배치하는 것은 어렵다. 이러한 오류 원인 중 본 명세서의 실시예들은 특정 수준에서 피할 수 없는 등록 오류 및 면봉 편향에 중점을 두었다. 이하에서는 도 6 및 도 7을 참조하여, 시각적 서보 제어의 과정을 구체적으로 설명한다.As mentioned above, it is difficult to accurately place a swab on a 3D nostril target within an error range of several millimeters due to potential error sources, such as 1) position error of the end-effector of a serial robot manipulator, 2) detection error of a lidar depth camera, 3) registration error between camera and robot coordinates, and 4) kinematic model error due to swab deflection. Among these error sources, the embodiments of the present specification focus on the registration error and swab deflection, which are unavoidable at a certain level. Hereinafter, the process of the visual servo control will be described in detail with reference to FIGS. 6 and 7.
로봇 (세계) 프레임에 대한 카메라의 회전(rotation)(즉, 방향(orientation)) 및 병진(translation)으로 설명되는 로봇과 카메라 좌표 간의 공간 변환을 찾는 과정에서 등록 오류가 발생할 수 있다. 등록의 번역 오류로 인해 면봉을 3D로 배치할 때 비례 오류가 발생한다. 또한 회전에서 발견된 방향 오류는 엔드 이펙터의 위치 오류를 추가로 발생시킨다. ToF (Time of Flight) 원리를 이용하여 깊이를 검출하기 위해서는 카메라가 물체로부터 일정 거리(예를 들어, 약 300mm) 떨어져 있어야 하기 때문에 작은 각도 오차로도 면봉의 위치를 결정할 때 큰 변위 오차가 발생한다. 예를 들어, 1.0°보다 큰 각도 오류에 직면한 카메라는 팁에서 5.2mm 이상의 위치 오류가 발생할 수 있다. 더욱이, 구부러진 면봉으로 인한 기구학적 모델 오류는 자동화된 면봉 제어 중에 더 두드러지게 된다. 손상되지 않은 면봉은 변형되기 쉽다. 예를 들어, 면봉의 말단이 중심축에서 2.0°만 벗어나 있으면, 5.2mm 표적 오류가 발생할 수 있으며, 면봉을 콧구멍에 삽입하지 못하게 될 수 있다. 도 6은 콧구멍에 접근하면서 이상적인 면봉 위치(630 선 참조)를 재투영하여 생성된 실제 면봉(610) 및 가상 면봉을 보여준다. 이상적인 로봇 기구학 및 직선 면봉을 가정한 로봇 카메라 등록을 통해 재투영이 계산된다.Registration errors can occur in the process of finding the spatial transformation between the robot and camera coordinates, which is described by the rotation (i.e., orientation) and translation of the camera with respect to the robot (world) frame. Translational errors in registration lead to proportional errors when positioning the swab in 3D. Additionally, orientation errors found in the rotations lead to additional positioning errors of the end effector. Since the camera must be at a certain distance (e.g., approximately 300 mm) from the object to detect depth using the Time of Flight (ToF) principle, even small angular errors lead to large displacement errors when determining the swab position. For example, a camera facing an angular error greater than 1.0° can experience a positioning error of more than 5.2 mm at the tip. Furthermore, kinematic model errors due to bent swabs become more pronounced during automated swab control. Intact swabs are prone to deformation. For example, if the tip of the swab is only 2.0° off center, a 5.2 mm targeting error can occur, resulting in the swab not being inserted into the nostril. Figure 6 shows an actual swab (610) and a virtual swab generated by reprojecting the ideal swab position (see line 630) as it approaches the nostril. The reprojection is computed using ideal robot kinematics and robot camera registration assuming a straight swab.
본 명세서의 일 실시예는 자동화된 비인두 검체 채취 절차와 관련된 근본적인 오류를 보상할 수 있는 시각적 서보 기법을 제안한다. 시각적 서보는 면봉이 콧구멍에 삽입될 때까지 2D 카메라 이미지를 사용하여 면봉을 콧구멍에 점차적으로 위치시키는 것을 목표로 한다. 그러나, 다중 자유도 로봇을 제어하기 위해 연속적인 이미지 프레임에서 탐지된 공통 특징점에 의존하는 일반적인 시각적 서보 응용 프로그램과 달리, 면봉 제어를 위한 새로운 시각적 서보 프레임워크가 필요한다. 단일 특징점(예를 들어, 콧구멍 타겟(640))의 오차만 얻을 수 있기 때문에, 6-자유도 로봇의 2-자유도 제어는 이미지-기반 시각적 서보(image-based visual servoing, IBVS)를 통해서만 허용된다. 따라서 본 명세서의 일 실시예는 분할된 시각적 서보 방식을 채택한다. 면봉 팁의 6자유도 모션은 팁(620)에서의 2자유도 팬(pan)-틸트(tilt) 모션, 로봇 헤드의 3자유도 병진(translational) 모션 및 면봉 축에 따른 1자유도 모션으로 분리된다. 그런 다음, 분리된 2-자유도 동작은 IBVS를 통해 제어되어 카메라를 사용하여 탐지된 콧구멍 위치에 면봉 팁을 위치시킨다.An embodiment of the present disclosure proposes a visual servo technique that can compensate for the fundamental errors associated with an automated nasopharyngeal swab collection procedure. The visual servo aims to gradually position a swab into a nostril using 2D camera images until the swab is inserted into the nostril. However, unlike typical visual servo applications that rely on common features detected from successive image frames to control a multi-DOF robot, a novel visual servo framework for swab control is required. Since only the error of a single feature (e.g., the nostril target (640)) can be obtained, 2-DOF control of a 6-DOF robot is allowed only via image-based visual servoing (IBVS). Therefore, an embodiment of the present disclosure adopts a segmented visual servo approach. The six-degree-of-freedom motion of the swab tip is decomposed into a two-degree-of-freedom pan-tilt motion at the tip (620), a three-degree-of-freedom translational motion of the robot head, and a one-degree-of-freedom motion along the swab axis. The decomposed two-degree-of-freedom motion is then controlled via the IBVS to position the swab tip at the nostril location detected using the camera.
이미지-기반 시각적 서보의 경우, 먼저 얼굴에 평행한 작업 평면에서 분석 이미지 7자코비안(analytical image Jacobian)을 공식화하여 수학식 1에서와 같이 차동 움직임(differential motion)에 대한 인터랙션 행렬을 생성한다.For image-based visual servo, we first formulate the analytical image Jacobian in the working plane parallel to the face to generate an interaction matrix for differential motion as in Equation 1.
여기서 및는 각각 이미지 평면(image plane) 및 작업 평면(task plane)의 차동 움직임(differential motion)이다.Here and are the differential motions of the image plane and the task plane, respectively.
인터랙션 행렬를 유도하기 위해 수학식 2에서와 같이 기준(base) u와 v를 포함하는 작업 평면에서 두 개의 차동 움직임 및가 정의된다.Interaction matrix To derive the two differential motions in the working plane including the base u and v as in Equation 2, and is defined.
이미지 평면에서 해당 차동 움직임 및는 또한 카메라 로봇 보정에서 제공하는 투영 행렬(projection matrix)을 사용하여 정의된다.The corresponding differential motion in the image plane and is also defined using the projection matrix provided in the camera robot calibration.
차동 움직임 및는 작업 평면 좌표의 정준 기준(canonical base)을 따라 달라지므로 행렬는 수학식 4에서와 같이 두 벡터 및로 구성된다.Differential movement and Since it depends on the canonical base of the working plane coordinates, the matrix are two vectors as in mathematical formula 4. and It consists of.
여기서는 단위 행렬(identity matrix)을 나타낸다. 그 후, 전체 순위를 갖는 행렬의 역행렬을 고려하여 인터랙션 행렬의 역행렬을 얻을 수 있다. 따라서, 작업 평면에서 콧구멍 타겟과 현재 면봉 팁 사이의 3D 위치 오차는 수학식 5에서와 같이 이미지 평면에서의 대응하는 2D 오차로부터 추정될 수 있다.Here represents the identity matrix. Then, the matrix with the overall rank Inverse of the interaction matrix by considering the inverse of can be obtained. Therefore, the 3D position error between the nostril target and the current swab tip in the working plane is the corresponding 2D error in the image plane as in Equation 5. can be inferred from.
면봉 어댑터 주위에 작은 각도로 면봉의 회전 운동(pivotal motion)을 가정하고 면봉 길이를로 가정하여, 오류를 수정하기 위한 조인트 각도(joint angle)는 수학식 6의로 근사된다.Assuming a pivotal motion of the swab around the swab adapter at a small angle, the swab length is Assuming that, the joint angle for correcting the error is given by Equation 6. It is approximated as .
마지막으로, 수학식 7에서와 같이, 이미지 평면 상의 콧구멍 타겟 및 현재 팁 위치 사이의 2D 오류에 대해 수학식 5를 수학식 6에 대입하여 조인트 각도를 제어하는 이미지 자코비안 J를 얻었다.Finally, the 2D error between the nostril target and the current tip position on the image plane, as in Equation 7. Substitute equation 5 into equation 6 to obtain the joint angle We obtained the image Jacobian J controlling .
여기서,이다. 피치(pitch) 및 요(yaw) 제어를 위한 조인트 각도는 수학식 8의 PD 컨트롤러에 의해 조절되며, 이는 현재 면봉 팁과 콧구멍 위치 사이의 오류를 최소화한다.Here, The joint angles for pitch and yaw control are adjusted by the PD controller of Equation 8, which minimizes the error between the current swab tip and nostril positions.
그 후, 로봇 팔의 순 기구학(forward kinematics)을 통해 조인트 각도를 미리 계획된 다른 조인트 각도와 결합하여 시각적 서보 제어에 의해 조절되는 목표 위치를 정의했다.Afterwards, the joint angles are determined through the forward kinematics of the robot arm. Target position controlled by visual servo control in combination with other pre-planned joint angles. was defined.
면봉이 작업 평면에 수직이 아닌 경우, 기울어진 면봉이 콧구멍을 향해 전진하면 다음 이미지 프레임에서 오류가 발생할 수 있다. 따라서 시각적 서보링 중에 면봉의 축 제어를 도입하였다. 축 제어는 면봉이 콧구멍과 목표 위치, 각각 및에 의해 설명된 축을 따라 움직이도록 한다. 결과적으로 최종 목표 위치는 수학식 10과 같이 축방향 이동을 가함으로써 정의된다.If the swab is not perpendicular to the working plane, an error may occur in the next image frame when the tilted swab advances toward the nostril. Therefore, axis control of the swab was introduced during visual servoing. Axis control is used to control the swab to the nostril and target positions, respectively. and to move along the axis described by , resulting in the final target position. is defined by applying axial movement as in mathematical expression 10.
여기서 및는 i번째 제어 루프 틱(control-loop tick)에서 미리 계획된 팁 위치이다. 그런 다음,에 대한 해당 조인트 각도가 로봇 팔의 역 기구학을 사용하여 계산되고 제어 입력으로 사용된다. 해당 표기법 및 제어 절차는 도 6 및 도 7에 도시되었다.Here and is the tip position planned in advance at the i-th control-loop tick. Then, The corresponding joint angles for are calculated using the inverse kinematics of the robot arm and used as control inputs. The corresponding notation and control procedures are illustrated in Figs. 6 and 7.
도 8은 시각적 서보 제어를 이용한 자동화된 검체 채취 과정을 도시한 흐름도로서, 검체 채취를 위한 전체 시스템 및 제어 흐름을 보여준다.Figure 8 is a flow chart illustrating an automated sample collection process using visual servo control, showing the entire system and control flow for sample collection.
3-자유도 모션은 주로 면봉의 끝을 3D로 배치하는 데 사용되며 2-자유도 모션은 콧구멍으로의 삽입 각도(팬(pan) 및 틸트(tilt))를 조정하는 데 사용된다. 나머지 자유도는 샘플 수집을 위해 면봉을 회전하는 데 사용된다. 현재 면봉의 팁에서 목표 포즈까지의 궤적(3D 콧구멍 위치 및 삽입 각도)은 목표에 도달하기 위해 지정된 시간 동안 그때마다 즉시로(inline) 계획된다. 궤적을 고려하여 모든 제어 시간 틱(time tick)에 대한 해당 조인트 각도(joint angle)는 6-자유도 로봇 팔의 역기구학(inverse kinematics)을 사용하여 계산될 수 있다. 로봇 팔은 로봇 운영 체제에서 (예를 들어, 100Hz로 실행되는) 호스트 PC에 의해 제어될 수 있다.The 3-DOF motion is mainly used to position the swab tip in 3D, and the 2-DOF motion is used to adjust the insertion angle (pan and tilt) into the nostril. The remaining DOFs are used to rotate the swab for sample collection. The trajectory (3D nostril position and insertion angle) from the current swab tip to the target pose is planned inline for a given time to reach the target. Considering the trajectory, the corresponding joint angles for every control time tick can be computed using the inverse kinematics of the 6-DOF robot arm. The robot arm can be controlled by a host PC (running at, for example, 100 Hz) in the robot operating system.
3D에서 콧구멍 타겟 위치를 결정하기 위해 비전(vision) 시스템은 먼저 2D 이미지에서 콧구멍을 탐지한 다음, 라이다에서 획득한 깊이 맵에서 해당 3D 위치를 추출한다. 로봇 팔을 제어하기 전에 로봇 팔의 말단부에 부착된 체크보드(checkboard)를 사용하여 RGB 카메라와 로봇 팔 사이의 좌표 등록이 수행된다. 이 두 시스템은 TCP/IP 통신을 통해 2D 및 3D의 콧구멍 위치, 현재 면봉 위치, 현재 로봇 조인트 각도 등의 데이터를 서로 교환한다.To determine the nostril target position in 3D, the vision system first detects the nostril in the 2D image, and then extracts its 3D position from the depth map acquired by the lidar. Before controlling the robotic arm, coordinate registration between the RGB camera and the robotic arm is performed using a checkboard attached to the distal end of the robotic arm. These two systems exchange data such as 2D and 3D nostril positions, current swab positions, and current robot joint angles via TCP/IP communication.
면봉의 시각적 서보 제어를 위해 면봉의 끝 부분을 탐지하여 2D 영상에서 팁과 콧구멍 사이의 오차를 최소화하도록 제어한다. 시각적 서보를 통해 팁 위치를 수정하면 궤적을 그때마다 즉시로 다시 계획할 수 있다.For visual servo control of the swab, the tip of the swab is detected and controlled to minimize the error between the tip and the nostril in the 2D image. When the tip position is corrected through visual servo, the trajectory can be re-planned on the fly.
도 9는 본 발명의 일 실시예에 따른 영상 기반 제어를 이용한 검체 채취 장치(10)를 도시한 블록도로서, 도 2의 검체 채취 방법을 하드웨어 구성의 관점에서 재구성한 것이다. 따라서, 여기서는 설명을 중복을 피하고자 각 구성의 동작 및 기능을 약술하도록 한다.FIG. 9 is a block diagram illustrating a specimen collection device (10) using image-based control according to one embodiment of the present invention, which is a reconstruction of the specimen collection method of FIG. 2 from the perspective of hardware configuration. Therefore, in order to avoid duplication of explanation, the operation and function of each configuration will be briefly described herein.
센서(10)는, 대상을 포함하는 영상을 획득하는 구성으로, 예를 들어, RGB-D 카메라로 구현될 수 있다. 센서(10)를 통해, 2D/3D 콧구멍 위치 및 2D 면봉 말단 위치를 얻을 수 있다.The sensor (10) is configured to acquire an image including an object and can be implemented as, for example, an RGB-D camera. Through the sensor (10), 2D/3D nostril positions and 2D swab tip positions can be acquired.
구동 수단(20)은, 검체 채취 수단(미도시)을 검체 채취 영역에 접근시키는 구성으로, 로봇 시스템에 포함되어 구현될 수 있다. 구현의 관점에서, 구동 수단(20)은, 검체 채취 수단의 말단을 3D 배치하기 위한 3-자유도(degrees-of-freedom, DOF) 모션을 제공하고, 상기 검체 채취 수단의 말단을 상기 검체 채취 영역으로 삽입하는 각도를 조정하기 위한 2-자유도 모션을 제공하며, 검체 채취를 위한 축 방향 움직임에 관한 적어도 1-자유도 모션을 제공할 수 있다.The driving means (20) may be implemented as included in the robot system, with a configuration for bringing the specimen collection means (not shown) closer to the specimen collection area. In terms of implementation, the driving means (20) may provide a 3-degrees-of-freedom (DOF) motion for 3D positioning the end of the specimen collection means, a 2-degrees-of-freedom motion for adjusting the angle at which the end of the specimen collection means is inserted into the specimen collection area, and at least a 1-degree-of-freedom motion for axial movement for specimen collection.
제어기(30)는, 센서(10)를 통해 획득된 상기 영상을 이용하여 상기 구동 수단(20)을 제어하는 명령을 수행하는 구성이다. 제어기(30)는, 획득된 상기 영상으로부터 검체 채취 영역 및 검체 채취 수단을 검출하고, 상기 검체 채취 수단에 연결된 상기 구동 수단(20)을 이용하여 상기 검체 채취 수단을 검출된 상기 검체 채취 영역으로 접근시키되, 접근에 따라 변화하는 상기 검체 채취 수단의 말단과 상기 검체 채취 영역 간의 영상 내의 오차를 실시간으로 보상한다. 또한, 제어기(30)는, 상기 구동 수단(20)을 제어하여, 상기 검체 채취 영역을 통해 상기 검체 채취 수단을 삽입하여 검체를 채취할 수 있다.The controller (30) is configured to execute a command to control the driving means (20) using the image acquired through the sensor (10). The controller (30) detects a specimen collection area and a specimen collection means from the acquired image, and approaches the specimen collection means to the detected specimen collection area using the driving means (20) connected to the specimen collection means, while compensating in real time for an error in the image between the end of the specimen collection means and the specimen collection area that changes according to the approach. In addition, the controller (30) can control the driving means (20) to insert the specimen collection means through the specimen collection area to collect a specimen.
제어기(30)는, 획득된 상기 영상의 이미지 정보 및 깊이 정보에 기반하여 상기 검체 채취 영역의 2D 및 3D 위치를 추정하고, 상기 영상의 이미지 정보 및 상기 구동 수단(20)의 기구학(kinematics) 정보에 기반하여 상기 검체 채취 수단의 말단의 2D 위치를 추정할 수 있다.The controller (30) can estimate the 2D and 3D positions of the sample collection area based on the image information and depth information of the acquired image, and can estimate the 2D position of the end of the sample collection means based on the image information of the image and the kinematics information of the driving means (20).
제어기(30)는, 캐스케이드(cascade) 방식의 머신 러닝을 이용하여, 획득된 상기 영상으로부터 검체 채취 영역을 포함하도록 미리 설정된 관심 영역(region of interest, ROI)을 탐지한 후 탐지된 상기 관심 영역 내에서 상기 검체 채취 영역을 탐지하고, 구동 수단(20) 및 검체 채취 수단의 기구학적 체인(kinematic chain)으로부터 상기 검체 채취 수단의 말단의 3D 위치를 추정하고, 상기 구동 수단 및 상기 영상 간의 보정을 이용하여 상기 영상에 상기 말단의 3D 위치를 재투영(reprojection)하여 상기 말단의 2D 관심 영역을 생성한 후 상기 말단을 식별할 수 있다.The controller (30) detects a region of interest (ROI) preset to include a sample collection area from the acquired image using cascade-style machine learning, and then detects the sample collection area within the detected region of interest, estimates a 3D position of the end of the sample collection means from a kinematic chain of the driving means (20) and the sample collection means, and reprojects the 3D position of the end onto the image using correction between the driving means and the image to generate a 2D region of interest of the end, and then identifies the end.
제어기(30)는, 상기 검체 채취 영역의 3D 위치를 상기 구동 수단 및 상기 영상 간의 좌표계 정합을 통해 상기 구동 수단(20)의 좌표계 상의 3D 좌표로 변환하여 최초 목표 위치를 설정하고, 상기 구동 수단(20)을 이용하여 상기 최초 목표 위치를 향해 상기 검체 채취 수단을 이송시킬 수 있다.The controller (30) sets an initial target position by converting the 3D position of the sample collection area into 3D coordinates on the coordinate system of the drive means (20) through coordinate system alignment between the drive means and the image, and can move the sample collection means toward the initial target position using the drive means (20).
제어기(30)는, 상기 검체 채취 수단의 접근에 따라, 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치를 추적하고, 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치가 일치하도록 상기 구동 수단을 제어하며, 수정된 상기 구동 수단의 포즈에 따라 목표 위치로 점진적인 접근을 유도함으로써, 상기 오차를 실시간으로 보상할 수 있다.The controller (30) tracks the 2D position of the sample collection area and the 2D position of the end of the sample collection means according to the approach of the sample collection means, controls the driving means so that the 2D position of the sample collection area and the 2D position of the end of the sample collection means match, and induces a gradual approach to the target position according to the modified pose of the driving means, thereby compensating for the error in real time.
이때, 상기 제어기(30)는, 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치 사이의 오차를 감소시키는 방향으로 상기 구동 수단의 요(yaw) 및 피치(pitch)의 각도를 조정하는 회전(rotation)을 제어할 수 있다. 또는, 상기 제어기(30)는, 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치 사이의 오차를 감소시키는 방향으로 상기 구동 수단의 병진(translation)을 제어할 수 있다.At this time, the controller (30) can control the rotation to adjust the angle of the yaw and pitch of the driving means in a direction that reduces the error between the 2D position of the sample collection area and the 2D position of the end of the sample collection means. Alternatively, the controller (30) can control the translation of the driving means in a direction that reduces the error between the 2D position of the sample collection area and the 2D position of the end of the sample collection means.
제어기(30)는, 수정된 상기 구동 수단의 포즈에 따라 새로운 접근 방향을 설정하고, 상기 검체 채취 영역의 깊이 정보를 이용하여 깊이 방향 전진 값을 결정하고, 설정된 상기 새로운 접근 방향에 따라 접근하였을 때 상기 검체 채취 수단의 말단의 3D 포즈를 산출하여 상기 구동 수단의 목표 위치로 설정함으로써 접근 제어를 수행하되, 상기 검체 채취 수단의 말단이 상기 검체 채취 영역에 도달할 때까지 상기 접근 제어를 반복함으로써, 상기 목표 위치로 점진적인 접근을 유도할 수 있다.The controller (30) sets a new approach direction according to the pose of the modified driving means, determines a depth direction advancement value using depth information of the sample collection area, calculates a 3D pose of the end of the sample collection means when approaching according to the set new approach direction, and sets the pose as the target position of the driving means, thereby performing approach control. By repeating the approach control until the end of the sample collection means reaches the sample collection area, a gradual approach to the target position can be induced.
도 10은 본 발명의 일 실시예에 따른 검체 채취 장치를 구현한 실험 장비를 예시한 도면이다. 자동화된 비인두 검체 채취에서 제안된 시각적 서보의 성능을 검증하기 위해, 콧구멍에서의 면봉 배치를 사람을 대신하는 머리 팬텀(phantom) 모델에서 실험하였다. 6-자유도의 로봇 암에 구비된 어댑터를 통해 면봉이 연결되었다. 센서를 통해 시각적으로 감지된 영상이 디스플레이 장치를 통해 제어 GUI와 함께 표시되고 있다.Fig. 10 is a drawing illustrating an experimental device implementing a specimen collection device according to one embodiment of the present invention. In order to verify the performance of the proposed visual servo in automated nasopharyngeal specimen collection, the placement of a swab in the nostril was tested on a head phantom model representing a human. The swab was connected via an adapter equipped on a six-degree-of-freedom robot arm. The image visually detected via the sensor is displayed together with a control GUI via a display device.
실험 절차는, 1) 콧구멍 타겟 위치를 식별하고, 2) 시각적 서보 제어를 사용하여 콧구멍에 면봉의 위치를 지정한다. 첫째, 3D 콧구멍 타겟 위치는 2D에서 딥 러닝 기반 콧구멍 탐지 및 이미지 좌표에서 3D 라이다 좌표로의 후속 매핑으로 식별되었다. 그런 다음, 라이다 좌표의 3D 대상 위치를 카메라-로봇 보정을 통해 로봇 좌표로 변환하고 실시간으로/지속적으로 갱신했다. 로봇 좌표에서 콧구멍의 3D 목표 위치를 고려하여, 2D에서 탐지된 면봉의 시각적 서보링을 통해 6-자유도 로봇 팔을 제어하여 콧구멍에서 샘플링 면봉을 정확하게 찾는다. 초기 면봉 변형을 고려하기 위해 30개의 온전한 비인두 면봉에 대해 실험을 반복하였다.The experimental procedure is to 1) identify the nostril target location, and 2) position the swab in the nostril using visual servo control. First, the 3D nostril target location was identified by deep learning-based nostril detection in 2D and subsequent mapping from image coordinates to 3D lidar coordinates. Then, the 3D target location in lidar coordinates was converted to robot coordinates via camera-to-robot calibration and updated in real-time/continuously. Considering the 3D target location of the nostril in robot coordinates, the 6-DOF robot arm is controlled via visual servoing of the swab detected in 2D to accurately locate the sampling swab in the nostril. The experiment was repeated for 30 intact nasopharyngeal swabs to account for initial swab deformation.
이제, 시각적 서보 제어의 결과를 위치 제어의 결과와 비교하였다. 도 11 및 도 12는 개-루프(open-loop) 제어와 본 발명의 일 실시예에 따른 시각적 서보 제어의 실험 결과를 비교하여 도시한 도면이다. 위치 제어는 시각적 피드백 없이 로봇의 초기 위치에서 3D로 감지된 콧구멍 목표까지 사전 계획된 궤적을 따른다. 절차의 실행 시간은 10초로 설정되었으며, 추가 분석을 위해 테스트 중 비디오를 사용하여 콧구멍과 면봉 위치를 기록했다.Now, the results of the visual servo control are compared with the results of the position control. Figures 11 and 12 are diagrams comparing the experimental results of the open-loop control and the visual servo control according to one embodiment of the present invention. The position control follows a pre-planned trajectory from the initial position of the robot to the 3D-detected nostril target without visual feedback. The execution time of the procedure was set to 10 seconds, and the nostril and swab positions were recorded using the video during the test for further analysis.
도 11을 참조하면, 시각적 서보 제어와 위치 제어에 대한 실험에서 수집된 정지 영상을 보여준다. 카메라 이미지에 표시된 실제 면봉은 이미지의 사각형 상자로 표시된 것처럼 이상적인 기구학적 모델의 재투영과는 다르다. 그럼에도 불구하고, 시각적 서보를 사용하면 면봉 팁이 2D 이미지에서 1.0초 이내에 콧구멍 표적에 수렴할 수 있다(이미지의 빨간색(콧구멍 표적) 및 노란색(팁) 마커 참조). 그러나 위치 제어의 경우 이러한 초기 불일치로 인해 면봉 팁에서 최종 위치 오류가 발생했다.Referring to Fig. 11, still images collected in the experiments for visual servo control and position control are shown. The actual swab shown in the camera image is different from the reprojection of the ideal kinematic model, as indicated by the square box in the image. Nevertheless, using visual servo, the swab tip can converge to the nostril target in the 2D image within 1.0 s (see the red (nostril target) and yellow (tip) markers in the image). However, in the case of position control, this initial mismatch resulted in the final position error at the swab tip.
자동화된 면봉 배치의 실험 결과를 비교하여 예시하면 다음의 표 1과 같다.An example comparing the experimental results of automated swab placement is shown in Table 1 below.
평균 위치 오차는 시각적 서보 제어의 경우 1.74픽셀(1.11mm 오류에 해당)인 반면, 시각적 피드백이 없는 순수 위치 제어의 경우 16.54픽셀(10.58mm)로 크게 증가했다. 시술의 실패는 환자에게 피해를 줄 수 있기 때문에 안전 관점에서 최대 오류는 중요한 지표가 될 수 있다. 시각적 서보 제어의 최대 오류는 약 2mm이므로, 30번의 시도가 모두 성공적이었다. 또한, 시각적 서보 제어에 의한 최종 면봉 위치는 콧구멍 타겟 주변에 잘 밀집되어 있는 반면, 개방 루프 제어에 의한 면봉 위치는 도 12와 같이 타겟의 왼쪽에 흩어져 있다. 대상으로부터의 일관된 오프셋(offset)은 주로 카메라 로봇 보정에 의해 유도될 수 있지만 이러한 분산 패턴은 면봉 편향의 변화로 인해 발생할 수 있다.The average position error was 1.74 pixels (corresponding to an error of 1.11 mm) for visual servo control, whereas it significantly increased to 16.54 pixels (10.58 mm) for pure position control without visual feedback. From a safety perspective, the maximum error can be an important metric since a failed procedure can harm the patient. Since the maximum error of visual servo control is about 2 mm, all 30 attempts were successful. In addition, the final swab positions by visual servo control are well-populated around the nostril target, whereas the swab positions by open-loop control are scattered to the left of the target, as shown in Fig. 12. The consistent offset from the target can be mainly induced by the camera robot calibration, but this scatter pattern can be caused by the variation in the swab deflection.
상기된 본 명세서의 실시예들에 따르면, 로봇을 이용한 검체 채취의 자동화를 통해 의료진의 교차 감염과 업무 과중 문제를 완화하고, 별도의 가이드 도구(guide tool) 없이 다양한 상용 면봉을 활용할 수 있으며, 영상에서 콧구멍과 면봉을 실시간으로 동시에 검출하고 이미지 상에 콧구멍과 면봉의 말단을 일치시키면서 면봉을 전진시키는 영상 기반의 제어를 구현함으로써 면봉의 초기 변형이나 카메라-로봇 간 정합 오차에 상관없이 정확한 검체 채취가 가능하다.According to the embodiments of the present specification described above, the problems of cross-infection and workload of medical staff are alleviated through automation of specimen collection using a robot, various commercially available swabs can be utilized without a separate guide tool, and image-based control is implemented to simultaneously detect a nostril and a swab in real time in an image and advance the swab while aligning the nostril and the tip of the swab on the image, thereby enabling accurate specimen collection regardless of initial deformation of the swab or alignment error between the camera and the robot.
본 명세서에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 명세서의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다. 펌웨어나 소프트웨어에 의한 구현의 경우, 본 명세서의 일 실시예는 이상에서 설명된 능력 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.Embodiments according to the present specification may be implemented by various means, for example, hardware, firmware, software, or a combination thereof. In case of implementation by hardware, an embodiment of the present specification may be implemented by one or more ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays), processors, controllers, microcontrollers, microprocessors, etc. In case of implementation by firmware or software, an embodiment of the present specification may be implemented in the form of a module, procedure, function, etc. that performs the capabilities or operations described above. Software codes may be stored in a memory and executed by a processor. The memory may be located inside or outside the processor, and may exchange data with the processor by various means already known.
한편, 본 명세서의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 명세서가 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Meanwhile, the embodiments of the present specification can be implemented as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording devices that store data that can be read by a computer system. Examples of the computer-readable recording medium include ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, etc. In addition, the computer-readable recording medium can be distributed over network-connected computer systems, so that the computer-readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the embodiments can be easily inferred by programmers in the technical field to which the present specification belongs.
이상에서 본 명세서에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 명세서에 속하는 기술 분야에서 통상의 지식을 가진 자는 다양한 실시예들이 본 명세서의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 명세서의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 명세서에 포함된 것으로 해석되어야 할 것이다.In the above, the present specification has been examined with a focus on various embodiments thereof. Those skilled in the art pertaining to the present specification will understand that various embodiments can be implemented in modified forms without departing from the essential characteristics of the present specification. Therefore, the disclosed embodiments should be considered from an illustrative rather than a restrictive perspective. The scope of the present specification is indicated by the claims, not the foregoing description, and all differences within the equivalent scope should be interpreted as being included in the present specification.
900: 검체 채취 장치
10: 센서
20: 구동 수단
30: 제어기900: Specimen collection device
10: Sensor
20: Driving means
30: Controller
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220190170AKR102801294B1 (en) | 2022-12-30 | 2022-12-30 | Method and apparatus for collecting specimen using vision-based control |
| PCT/KR2023/010961WO2024143739A1 (en) | 2022-12-30 | 2023-07-27 | Sample collection method and apparatus using image-based control |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220190170AKR102801294B1 (en) | 2022-12-30 | 2022-12-30 | Method and apparatus for collecting specimen using vision-based control |
| Publication Number | Publication Date |
|---|---|
| KR20240107476A KR20240107476A (en) | 2024-07-09 |
| KR102801294B1true KR102801294B1 (en) | 2025-05-02 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220190170AActiveKR102801294B1 (en) | 2022-12-30 | 2022-12-30 | Method and apparatus for collecting specimen using vision-based control |
| Country | Link |
|---|---|
| KR (1) | KR102801294B1 (en) |
| WO (1) | WO2024143739A1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112237449A (en) | 2020-09-18 | 2021-01-19 | 台州学院 | A fully automatic throat swab collection device |
| CN111631754B (en)* | 2020-05-26 | 2021-07-09 | 清华大学 | A throat swab automatic sampling system |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230106912A1 (en)* | 2020-01-23 | 2023-04-06 | Promaxo, Inc. | Mri-guided robotic systems and methods for biopsy |
| KR102350049B1 (en)* | 2020-04-21 | 2022-01-12 | 한국기계연구원 | Remote respiratory sample collecting apparatus driven with multiple degree of freedom |
| KR102394884B1 (en)* | 2020-05-07 | 2022-05-04 | 한양대학교 산학협력단 | Specimen collection method, robot and system |
| KR102570097B1 (en)* | 2020-11-12 | 2023-08-24 | 주식회사 제우기술 | Sampling system and method using robot arm |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111631754B (en)* | 2020-05-26 | 2021-07-09 | 清华大学 | A throat swab automatic sampling system |
| CN112237449A (en) | 2020-09-18 | 2021-01-19 | 台州学院 | A fully automatic throat swab collection device |
| Publication number | Publication date |
|---|---|
| WO2024143739A1 (en) | 2024-07-04 |
| KR20240107476A (en) | 2024-07-09 |
| Publication | Publication Date | Title |
|---|---|---|
| CN113855286B (en) | A dental implant robot navigation system and method | |
| US20230000565A1 (en) | Systems and methods for autonomous suturing | |
| US20200261155A1 (en) | Image based robot guidance | |
| JP5814938B2 (en) | Calibration-free visual servo using real-time speed optimization | |
| Zhang et al. | Autonomous scanning for endomicroscopic mosaicing and 3D fusion | |
| Wengert et al. | Fully automatic endoscope calibration for intraoperative use | |
| Sundaresan et al. | Automated extraction of surgical needles from tissue phantoms | |
| JP2021531910A (en) | Robot-operated surgical instrument location tracking system and method | |
| US20220415006A1 (en) | Robotic surgical safety via video processing | |
| KR20100106308A (en) | Robot, medical work station, and method for projecting an image onto the surface of an object | |
| KR20080027256A (en) | Methods and systems for performing three-dimensional tool tracking by fusion with data derived from sensors and / or cameras during minimally invasive robotic surgery | |
| JP2013516264A5 (en) | ||
| CN114730454A (en) | Scene Awareness System and Method | |
| CN115089302A (en) | Surgical robotic system and method | |
| Ge et al. | Autonomous system for tumor resection (astr)-dual-arm robotic midline partial glossectomy | |
| Dagnino et al. | A vision-based system for fast and accurate laser scanning in robot-assisted phonomicrosurgery | |
| Dehghani et al. | Colibridoc: An eye-in-hand autonomous trocar docking system | |
| JP2019077026A (en) | Control device, robot system, and control device operating method and program | |
| CN102768541B (en) | The control method of operating robot and system | |
| CN113925613A (en) | A mirror-holding robot system for laparoscopic surgery | |
| Hwang et al. | Visual servo control of COVID-19 nasopharyngeal swab sampling robot | |
| Kam et al. | Autonomous system for vaginal cuff closure via model-based planning and markerless tracking techniques | |
| KR102801294B1 (en) | Method and apparatus for collecting specimen using vision-based control | |
| Krupa et al. | Autonomous retrieval and positioning of surgical instruments in robotized laparoscopic surgery using visual servoing and laser pointers | |
| Staub et al. | Contour-based surgical instrument tracking supported by kinematic prediction |
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | Patent event code:PA01091R01D Comment text:Patent Application Patent event date:20221230 | |
| PA0201 | Request for examination | Patent event code:PA02011R01I Patent event date:20221230 Comment text:Patent Application | |
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection | Comment text:Notification of reason for refusal Patent event date:20241018 Patent event code:PE09021S01D | |
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration | Patent event code:PE07011S01D Comment text:Decision to Grant Registration Patent event date:20250421 | |
| PG1601 | Publication of registration |