본 명세서는 영상을 이용하여 로봇을 제어하는 기술에 관한 것으로, 특히 영상 기반 제어를 통해 검체를 자동으로 채취하는 방법 및 장치에 관한 것이다.This specification relates to technology for controlling a robot using images, and in particular to a method and device for automatically collecting samples through image-based control.
2019년 코로나바이러스감염증-19(COVID-19)는 전 세계적으로 4억 3,000만 건 이상의 사례가 발생하는 세계적 대유행이 되었으며 사회 및 경제 위기를 일으키고 있다. 조기 진단은 코로나19의 급속한 확산을 막는 가장 중요한 요소이나, 광범위한 면봉 샘플링은 환자와의 긴밀한 접촉으로 인한 교차 감염의 높은 위험을 초래할 수 있다. 또한 의료 전문가의 과중한 업무 부담은 의료 부담을 증가시킨다.In 2019, coronavirus disease-19 (COVID-19) has become a global pandemic with more than 430 million cases worldwide and is causing a social and economic crisis. Early diagnosis is the most important factor in preventing the rapid spread of COVID-19, but extensive swab sampling can lead to a high risk of cross-infection due to close contact with patients. Additionally, the heavy workload of medical professionals increases the medical burden.
이와 같이, 검체 채취 과정에서 발생하는 의료진의 교차 감염이나 의료 업무 가중의 문제를 해결하기 위해서는 의료진의 개입이 최소화되도록 하는 기술적 수단이 요구된다. 이를 위해, 로봇을 활용한 검체 채취 시스템이 개발되고 있으며, 선행기술문헌을 통해 제시된 최근 연구에 따르면, 코로나19 검체 채취 자동화는 안전하고 효율적인 방식으로 수행됨으로써 상기된 문제를 해결할 수 있다고 제안하였다. 예를 들어, 자가 관리 검체 채취 로봇의 경우, 면봉(swab) 삽입 및 인출 작업은 자동화되고 나머지 절차는 환자에 의해 제어될 수 있으며, 또한, 원격으로 작동되는 검체 채취 로봇도 제안되었다.Likewise, in order to solve the problem of cross-infection of medical staff or increased medical workload that occurs during the sample collection process, technical means are required to minimize the intervention of medical staff. To this end, a sample collection system using a robot is being developed, and according to recent research presented through prior art literature, it has been suggested that automation of COVID-19 sample collection can solve the above problems by being performed in a safe and efficient manner. For example, in the case of self-administered specimen collection robots, swab insertion and retrieval operations can be automated and the rest of the procedure controlled by the patient. Remotely operated specimen collection robots have also been proposed.
비록 이러한 원격 조작이 교차 감염의 위험을 줄이고 통제하는 동안 의료진의 경험을 활용할 수 있지만, 의료진이 개입하여야 한다는 부담은 여전히 남아 있다. 또한, 여전히 표준 검체 채취 방법인 비강(비인두도말) 검체 채취 과정을 완전히 자동화하는 기술은 제한적이다.Although these remote operations can utilize the experience of medical staff while reducing and controlling the risk of cross-infection, the burden of medical staff involvement still remains. Additionally, there is limited technology to fully automate the nasal (nasopharyngeal swab) specimen collection process, which is still the standard specimen collection method.
본 명세서의 실시예들이 해결하고자 하는 기술적 과제는, 의료진에 의한 검체 채취 방법이 갖는 교차 감염이나 업무 부하의 문제를 해결하고, 종래의 검체 채취용 로봇의 경우 검체 채취 수단의 변형, 센서와 로봇 기구부 간의 정합 오차로 인해 좁은 영역에서의 검체 채취가 용이하지 않다는 한계를 극복하고자 한다.The technical problem to be solved by the embodiments of the present specification is to solve the problems of cross-infection and workload in the sample collection method by medical staff, and in the case of a conventional sample collection robot, the modification of the sample collection means, the sensor, and the robot mechanism. We aim to overcome the limitation that it is not easy to collect samples from a narrow area due to registration errors between livers.
상기 기술적 과제를 해결하기 위하여, 본 명세서의 일 실시예에 따른 검체 채취 방법은, 검체 채취 장치가 대상을 포함하는 영상을 획득하는 단계; 상기 검체 채취 장치가 획득된 상기 영상으로부터 검체 채취 영역 및 검체 채취 수단을 검출하는 단계; 상기 검체 채취 장치가 상기 검체 채취 수단에 연결된 구동 수단을 이용하여 상기 검체 채취 수단을 검출된 상기 검체 채취 영역으로 접근시키는 단계; 및 상기 검체 채취 장치가 접근에 따라 변화하는 상기 검체 채취 수단의 말단과 상기 검체 채취 영역 간의 영상 내의 오차를 실시간으로 보상하는 단계;를 포함한다.In order to solve the above technical problem, a sample collection method according to an embodiment of the present specification includes: acquiring an image including a target by a sample collection device; detecting a sample collection area and sample collection means from the image obtained by the sample collection device; A step of the sample collection device approaching the sample collection means to the detected sample collection area using a driving means connected to the sample collection means; and compensating in real time for an error in the image between the tip of the sample collection means and the sample collection area, which changes as the sample collection device approaches.
일 실시예에 따른 검체 채취 방법에서, 상기 검체 채취 영역 및 검체 채취 수단을 검출하는 단계는, 획득된 상기 영상으로부터 검체 채취 영역의 2D 및 3D 위치 및 상기 검체 채취 수단의 말단의 2D 위치를 획득할 수 있다. 여기서, 획득된 상기 영상의 이미지 정보 및 깊이 정보에 기반하여 상기 검체 채취 영역의 2D 및 3D 위치를 추정하고, 상기 영상의 이미지 정보 및 상기 구동 수단의 기구학(kinematics) 정보에 기반하여 상기 검체 채취 수단의 말단의 2D 위치를 추정할 수 있다.In the sample collection method according to one embodiment, the step of detecting the sample collection area and the sample collection means includes obtaining the 2D and 3D positions of the sample collection area and the 2D position of the end of the sample collection means from the acquired image. You can. Here, the 2D and 3D positions of the sample collection area are estimated based on the image information and depth information of the acquired image, and the sample collection means is estimated based on the image information of the image and the kinematics information of the driving means. The 2D position of the end of can be estimated.
일 실시예에 따른 검체 채취 방법에서, 상기 검체 채취 영역 및 검체 채취 수단을 검출하는 단계는, 캐스케이드(cascade) 방식의 머신 러닝을 이용하여, 획득된 상기 영상으로부터 검체 채취 영역을 포함하도록 미리 설정된 관심 영역(region of interest, ROI)을 탐지한 후 탐지된 상기 관심 영역 내에서 상기 검체 채취 영역을 탐지하는 단계; 및 구동 수단 및 검체 채취 수단의 기구학적 체인(kinematic chain)으로부터 상기 검체 채취 수단의 말단의 3D 위치를 추정하고, 상기 구동 수단 및 상기 영상 간의 보정을 이용하여 상기 영상에 상기 말단의 3D 위치를 재투영(reprojection)하여 상기 말단의 2D 관심 영역을 생성한 후 상기 말단을 식별하는 단계;를 포함할 수 있다.In the sample collection method according to one embodiment, the step of detecting the sample collection area and the sample collection means includes a preset interest to include the sample collection area from the acquired image using cascade machine learning. detecting a region of interest (ROI) and then detecting the sample collection area within the detected region of interest; and estimating the 3D position of the distal end of the sample collection means from the kinematic chain of the driving means and the sample collecting means, and re-locating the 3D position of the distal end in the image using correction between the driving means and the image. It may include generating a 2D region of interest of the distal end through projection and then identifying the distal end.
일 실시예에 따른 검체 채취 방법에서, 상기 검체 채취 수단을 검출된 상기 검체 채취 영역으로 접근시키는 단계는, 상기 검체 채취 영역의 3D 위치를 상기 구동 수단 및 상기 영상 간의 좌표계 정합을 통해 상기 구동 수단의 좌표계 상의 3D 좌표로 변환하여 최초 목표 위치를 설정하는 단계; 및 상기 구동 수단을 이용하여 상기 최초 목표 위치를 향해 상기 검체 채취 수단을 이송시키는 단계;를 포함할 수 있다.In the sample collection method according to one embodiment, the step of approaching the sample collection means to the detected sample collection area includes determining the 3D position of the sample collection area of the drive means through coordinate system matching between the drive means and the image. Setting the initial target position by converting it to 3D coordinates on the coordinate system; and transporting the sample collection means toward the initial target location using the driving means.
일 실시예에 따른 검체 채취 방법에서, 상기 오차를 실시간으로 보상하는 단계는, 상기 검체 채취 수단의 접근에 따라, 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치를 추적하는 단계; 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치가 일치하도록 상기 구동 수단을 제어하는 단계; 및 수정된 상기 구동 수단의 포즈에 따라 목표 위치로 점진적인 접근을 유도하는 단계;를 포함할 수 있다.In the sample collection method according to one embodiment, the step of compensating for the error in real time includes tracking the 2D position of the sample collection area and the 2D position of the end of the sample collection means according to the approach of the sample collection means. ; Controlling the driving means so that the 2D position of the sample collection area matches the 2D position of the end of the sample collection means; and inducing a gradual approach to the target position according to the modified pose of the driving means.
또한, 상기 목표 위치로 점진적인 접근을 유도하는 단계는, 수정된 상기 구동 수단의 포즈에 따라 새로운 접근 방향을 설정하고, 상기 검체 채취 영역의 깊이 정보를 이용하여 깊이 방향 전진 값을 결정하고, 설정된 상기 새로운 접근 방향에 따라 접근하였을 때 상기 검체 채취 수단의 말단의 3D 포즈를 산출하여 상기 구동 수단의 목표 위치로 설정함으로써 접근 제어를 수행하되, 상기 검체 채취 수단의 말단이 상기 검체 채취 영역에 도달할 때까지 상기 접근 제어를 반복할 수 있다.In addition, the step of inducing a gradual approach to the target position includes setting a new approach direction according to the modified pose of the driving means, determining a depth direction advance value using depth information of the sample collection area, and determining the depth direction advance value. When approaching according to a new approach direction, access control is performed by calculating the 3D pose of the end of the sample collection means and setting it as the target position of the driving means, when the end of the sample collection means reaches the sample collection area. The above access control can be repeated until.
일 실시예에 따른 검체 채취 방법은, 상기 검체 채취 장치가 상기 검체 채취 영역을 통해 상기 검체 채취 수단을 삽입하여 검체를 채취하는 동작을 수행하는 단계;를 더 포함할 수 있다.The sample collection method according to an embodiment may further include performing an operation of collecting a sample by the sample collection device inserting the sample collection means through the sample collection area.
나아가, 이하에서는 상기 기재된 검체 채취 방법을 제어하는 명령을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.Furthermore, hereinafter, a computer-readable recording medium is provided that records a program for executing commands for controlling the sample collection method described above on a computer.
상기 기술적 과제를 해결하기 위하여, 본 명세서의 일 실시예에 따른 검체 채취 장치는, 대상을 포함하는 영상을 획득하는 센서; 검체 채취 수단을 검체 채취 영역에 접근시키는 구동 수단; 및 획득된 상기 영상을 이용하여 상기 구동 수단을 제어하는 명령을 수행하는 제어기;를 포함하고, 상기 제어기는, 획득된 상기 영상으로부터 검체 채취 영역 및 검체 채취 수단을 검출하고, 상기 검체 채취 수단에 연결된 상기 구동 수단을 이용하여 상기 검체 채취 수단을 검출된 상기 검체 채취 영역으로 접근시키되, 접근에 따라 변화하는 상기 검체 채취 수단의 말단과 상기 검체 채취 영역 간의 영상 내의 오차를 실시간으로 보상한다.In order to solve the above technical problem, a sample collection device according to an embodiment of the present specification includes a sensor that acquires an image including an object; Drive means for bringing the sample collection means closer to the sample collection area; and a controller that performs a command to control the driving means using the acquired image, wherein the controller detects a sample collection area and a sample collection means from the acquired image, and is connected to the sample collection means. The driving means is used to bring the sample collection means closer to the detected sample collection area, and an error in the image between the end of the sample collection means and the sample collection area, which changes depending on the approach, is compensated for in real time.
일 실시예에 따른 검체 채취 장치에서, 상기 제어기는, 획득된 상기 영상의 이미지 정보 및 깊이 정보에 기반하여 상기 검체 채취 영역의 2D 및 3D 위치를 추정하고, 상기 영상의 이미지 정보 및 상기 구동 수단의 기구학(kinematics) 정보에 기반하여 상기 검체 채취 수단의 말단의 2D 위치를 추정할 수 있다.In the sample collection device according to one embodiment, the controller estimates the 2D and 3D positions of the sample collection area based on the image information and depth information of the acquired image, and the image information of the image and the driving means. The 2D position of the distal end of the sample collection means can be estimated based on kinematics information.
일 실시예에 따른 검체 채취 장치에서, 상기 제어기는, 캐스케이드(cascade) 방식의 머신 러닝을 이용하여, 획득된 상기 영상으로부터 검체 채취 영역을 포함하도록 미리 설정된 관심 영역(region of interest, ROI)을 탐지한 후 탐지된 상기 관심 영역 내에서 상기 검체 채취 영역을 탐지하고, 구동 수단 및 검체 채취 수단의 기구학적 체인(kinematic chain)으로부터 상기 검체 채취 수단의 말단의 3D 위치를 추정하고, 상기 구동 수단 및 상기 영상 간의 보정을 이용하여 상기 영상에 상기 말단의 3D 위치를 재투영(reprojection)하여 상기 말단의 2D 관심 영역을 생성한 후 상기 말단을 식별할 수 있다.In the sample collection device according to one embodiment, the controller detects a region of interest (ROI) preset to include a sample collection area from the acquired image using cascade-type machine learning. Then detect the sampling area within the detected region of interest, estimate the 3D position of the end of the sampling means from the kinematic chain of the driving means and the sampling means, and Using inter-image correction, the 3D position of the extremity can be reprojected onto the image to create a 2D region of interest for the extremity, and then the extremity can be identified.
일 실시예에 따른 검체 채취 장치에서, 상기 제어기는, 상기 검체 채취 영역의 3D 위치를 상기 구동 수단 및 상기 영상 간의 좌표계 정합을 통해 상기 구동 수단의 좌표계 상의 3D 좌표로 변환하여 최초 목표 위치를 설정하고, 상기 구동 수단을 이용하여 상기 최초 목표 위치를 향해 상기 검체 채취 수단을 이송시킬 수 있다.In the sample collection device according to one embodiment, the controller sets an initial target position by converting the 3D position of the sample collection area into 3D coordinates on the coordinate system of the driving means through coordinate system matching between the driving means and the image, , the sample collection means can be transported toward the initial target position using the driving means.
일 실시예에 따른 검체 채취 장치에서, 상기 제어기는, 상기 검체 채취 수단의 접근에 따라, 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치를 추적하고, 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치가 일치하도록 상기 구동 수단을 제어하며, 수정된 상기 구동 수단의 포즈에 따라 목표 위치로 점진적인 접근을 유도함으로써, 상기 오차를 실시간으로 보상할 수 있다. 또한, 상기 제어기는, 수정된 상기 구동 수단의 포즈에 따라 새로운 접근 방향을 설정하고, 상기 검체 채취 영역의 깊이 정보를 이용하여 깊이 방향 전진 값을 결정하고, 설정된 상기 새로운 접근 방향에 따라 접근하였을 때 상기 검체 채취 수단의 말단의 3D 포즈를 산출하여 상기 구동 수단의 목표 위치로 설정함으로써 접근 제어를 수행하되, 상기 검체 채취 수단의 말단이 상기 검체 채취 영역에 도달할 때까지 상기 접근 제어를 반복함으로써, 상기 목표 위치로 점진적인 접근을 유도할 수 있다.In the sample collection device according to one embodiment, the controller tracks the 2D position of the sample collection area and the 2D position of the end of the sample collection means according to the approach of the sample collection means, and tracks the 2D position of the sample collection area. The driving means is controlled so that the position and the 2D position of the end of the sample collection means match, and the error can be compensated in real time by gradually approaching the target position according to the modified pose of the driving means. In addition, the controller sets a new approach direction according to the modified pose of the driving means, determines the depth direction advance value using the depth information of the sample collection area, and approaches according to the set new approach direction. Access control is performed by calculating the 3D pose of the end of the sample collection means and setting it as the target position of the driving means, and repeating the access control until the end of the sample collection means reaches the sample collection area, A gradual approach to the target location can be induced.
일 실시예에 따른 검체 채취 장치에서, 상기 제어기는, 상기 구동 수단을 제어하여, 상기 검체 채취 영역을 통해 상기 검체 채취 수단을 삽입하여 검체를 채취할 수 있다.In the sample collection device according to one embodiment, the controller may control the driving means to insert the sample collection means through the sample collection area to collect a sample.
일 실시예에 따른 검체 채취 장치에서, 상기 구동 수단은, 상기 검체 채취 수단의 말단을 3D 배치하기 위한 3-자유도(degrees-of-freedom, DOF) 모션을 제공하고, 상기 검체 채취 수단의 말단을 상기 검체 채취 영역으로 삽입하는 각도를 조정하기 위한 2-자유도 모션을 제공하며, 검체 채취를 위한 축 방향 움직임에 관한 적어도 1-자유도 모션을 제공할 수 있다.In the sample collection device according to one embodiment, the driving means provides 3-degrees-of-freedom (DOF) motion for 3D positioning the end of the sample collection means, and the end of the sample collection means It may provide a 2-degree-of-freedom motion for adjusting the angle of insertion into the sample collection area, and may provide at least 1-degree-of-freedom motion regarding axial movement for sample collection.
본 명세서의 실시예들은, 로봇을 이용한 검체 채취의 자동화를 통해 의료진의 교차 감염과 업무 과중 문제를 완화하고, 별도의 가이드 도구(guide tool) 없이 다양한 상용 면봉을 활용할 수 있으며, 영상에서 콧구멍과 면봉을 실시간으로 동시에 검출하고 이미지 상에 콧구멍과 면봉의 말단을 일치시키면서 면봉을 전진시키는 영상 기반의 제어를 구현함으로써 면봉의 초기 변형이나 카메라-로봇 간 정합 오차에 상관없이 정확한 검체 채취가 가능하다.Embodiments of the present specification alleviate the problems of cross-infection and work overload of medical staff through automation of sample collection using robots, allow the use of various commercial swabs without a separate guide tool, and enable detection of nostrils and swabs in images. By simultaneously detecting the swab in real time and implementing image-based control to advance the swab while matching the nostril and the end of the swab on the image, accurate sample collection is possible regardless of the initial deformation of the swab or registration error between the camera and robot. .
도 1은 로봇을 이용한 자동 검체 채취 과정을 개괄적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 기반 제어를 이용한 검체 채취 방법을 도시한 흐름도이다.
도 3은 영상 기반 제어를 이용한 검체 채취 과정에서 활용되는 정보의 유형을 설명하기 위한 도면이다.
도 4는 시각적 서보 제어(visual servo control)를 위한 객체 검출 과정을 도시한 흐름도이다.
도 5는 검체 채취 수단을 검체 채취 영역으로 접근시키는 과정을 보다 구체적으로 도시한 흐름도이다.
도 6 및 도 7은 시각적 서보 제어의 과정을 설명하기 위한 도면이다.
도 8은 시각적 서보 제어를 이용한 자동화된 검체 채취 과정을 도시한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 영상 기반 제어를 이용한 검체 채취 장치를 도시한 블록도이다.
도 10은 본 발명의 일 실시예에 따른 검체 채취 장치를 구현한 실험 장비를 예시한 도면이다.
도 11 및 도 12는 개-루프(open-loop) 제어와 본 발명의 일 실시예에 따른 시각적 서보 제어의 실험 결과를 비교하여 도시한 도면이다.Figure 1 is a diagram schematically showing the automatic sample collection process using a robot.
Figure 2 is a flowchart showing a sample collection method using image-based control according to an embodiment of the present invention.
Figure 3 is a diagram to explain the types of information used in the sample collection process using image-based control.
Figure 4 is a flowchart showing an object detection process for visual servo control.
Figure 5 is a flowchart illustrating in more detail the process of approaching the sample collection means to the sample collection area.
Figures 6 and 7 are diagrams for explaining the process of visual servo control.
Figure 8 is a flow chart showing the automated sample collection process using visual servo control.
Figure 9 is a block diagram showing a sample collection device using image-based control according to an embodiment of the present invention.
Figure 10 is a diagram illustrating experimental equipment implementing a sample collection device according to an embodiment of the present invention.
Figures 11 and 12 are diagrams comparing experimental results of open-loop control and visual servo control according to an embodiment of the present invention.
본 명세서의 실시예들을 구체적으로 설명하기에 앞서, 본 명세서의 실시예들이 구현되는 검체 채취를 위한 로봇 기술 분야에서 나타나는 목표와 이를 해결하기 위해 고려될 수 있는 기술적 수단을 순차적으로 소개하도록 한다.Before describing the embodiments of the present specification in detail, we will sequentially introduce the goals that appear in the field of robot technology for sample collection in which the embodiments of the present specification are implemented and the technical means that can be considered to solve them.
앞서 소개한 바와 같이, 의료진의 최소한의 개입으로 구강인두(oropharyngeal) 또는 비인두(nasopharyngeal) 검체 채취를 수행할 수 있는 완전 자동화 시스템의 도입을 고려할 수 있다. 예를 들어, 컴퓨터 비전을 사용하여 인후의 면봉 부위를 식별하고 힘을 제어하여 부드러운 면봉을 수행하는 전자동 인후 검체 채취 로봇을 개발할 수 있다.As previously introduced, the introduction of a fully automated system that can perform oropharyngeal or nasopharyngeal specimen collection with minimal intervention by medical staff can be considered. For example, computer vision could be used to develop a fully automated throat swab robot that identifies the swab site in the throat and controls force to perform a gentle swab.
비인두 면봉이 중증 급성 호흡기 증후군 코로나바이러스 2를 탐지하기 위한 참조 샘플링 방법이지만 완전 자동화된 비인두 검체 채취 방법에 대한 기술적 수단을 고려할 수 있다. 예를 들어, 비인두 목표 위치에서 표본을 수집하기 위해 환자의 얼굴 구조와 정확한 콧구멍 위치를 식별할 수 있는 전자동 비인두 면봉 로봇을 구현할 수 있다. 그러나, 이러한 로봇 시스템에는 추가 안내 도구가 필요하며, 환자는 비강 클립을 착용하여 작동되는 기계에 대한 주요 기준점을 제공해야 한다는 불편이 존재한다.Although nasopharyngeal swab is the reference sampling method for detection of severe acute respiratory syndrome coronavirus 2, technical means for fully automated nasopharyngeal specimen collection methods may be considered. For example, a fully automated nasopharyngeal swab robot can be implemented that can identify the patient's facial structure and precise nostril location to collect specimens from a nasopharyngeal target location. However, these robotic systems require additional guidance tools, and the patient must wear a nasal clip to provide a key reference point for the operating machine.
구강인두 면봉과 달리 비인두 면봉의 완전 자동화는 작은 콧구멍을 정확하게 탐지하고 면봉을 작은 구멍에 삽입하는 데 여전히 어려움이 있다. 콧구멍의 평균 크기는 10-12mm인 반면, 뭉쳐진 면봉의 직경은 약 3mm이다. 따라서 면봉은 3~4mm의 오차 범위 내에서 콧구멍에 정확히 위치해야 한다. 로봇 시스템을 정밀하게 제어하여 정확한 위치를 지정할 수 있지만 카메라와 로봇 좌표 사이의 등록 오류로 인해 대상에 면봉을 정확하게 위치시키는 데 방해가 될 수 있다. 또한, 편향된 면봉으로 인한 불가피한 기구학적 오류가 제어에 포함될 수 있으며, 이는 실제로 완전히 자동화된 비인두 검체 채취를 상당히 방해한다. 직진형 검체 채취 모델은 일반적으로 기구학(kinematics)을 해결하는 데 사용된다. 그러나 가느다란 플라스틱 샤프트로 만든 샘플링 면봉은 상당히 약하기 때문에 면봉은 샘플 수집 전에 초기 변형(예를 들어, 휘어짐)을 겪을 수 있다.Unlike oropharyngeal swabs, full automation of nasopharyngeal swabs remains difficult to accurately detect small nostrils and insert the swab into the small opening. The average size of a nostril is 10-12 mm, while the diameter of a balled up cotton swab is about 3 mm. Therefore, the cotton swab must be positioned accurately in the nostril within an error range of 3 to 4 mm. Although the robotic system can be precisely controlled to achieve precise positioning, registration errors between camera and robot coordinates can interfere with accurately positioning the swab on the target. Additionally, inevitable kinematic errors due to biased swabs may be incorporated into the control, which significantly hinders fully automated nasopharyngeal specimen collection in practice. Straight-forward sampling models are commonly used to solve kinematics. However, because sampling swabs made of thin plastic shafts are quite fragile, the swabs may undergo initial deformation (e.g. bending) before sample collection.
본 명세서에서는 비인두 검체 채취의 완전 자동화를 위해, 면봉을 좁은 영역(예를 들어, 콧구멍)에 배치할 때 주로 발생하는 문제를 다룬다. 샘플링 면봉을 콧구멍에 정확하게 배치하기 위해 딥 러닝 기반 콧구멍 탐지와 함께 시각적 서보 제어(visual servo control) 프레임워크를 제안한다. 제안된 시각적 서보 제어는 맞춤형 6-자유도(degrees-of-freedom, DOF) 로봇 팔과 라이다(LiDAR) 깊이 카메라를 사용하여 실시간으로 검증되었다. 다중 자유도 로봇의 시각적 서보를 위해 자동화된 비인두 면봉에 적용할 수 있는 분할된 시각적 서보 방식을 소개한다. 시각적 서보 방식은 초기 편향이 다른 무작위로 선택된 면봉을 사용하여 헤드 팬텀 모델에서 테스트한 다음, 면봉을 탐지된 콧구멍 대상에 단순히 3D로 배치하는 위치 제어와 비교 실험하였다.This specification addresses issues that primarily arise when placing swabs in small areas (e.g., nostrils) to fully automate nasopharyngeal specimen collection. We propose a visual servo control framework with deep learning-based nostril detection to accurately place the sampling swab in the nostril. The proposed visual servo control was validated in real time using a custom six-degrees-of-freedom (DOF) robotic arm and LiDAR depth camera. For visual servoting of multi-degree-of-freedom robots, we introduce a segmented visual servo method applicable to automated nasopharyngeal swabs. The visual servo method was tested on a head phantom model using randomly selected swabs with different initial biases and then compared to position control where the swabs were simply positioned in 3D over the detected nostril target.
이하에서는 도면을 참조하여 본 명세서의 실시예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 실시예들의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 덧붙여, 명세서 전체에서, 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Hereinafter, embodiments of the present specification will be described in detail with reference to the drawings. However, detailed descriptions of known functions or configurations that may obscure the gist of the embodiments are omitted in the following description and attached drawings. In addition, throughout the specification, 'including' a certain component does not mean excluding other components unless specifically stated to the contrary, but rather means that other components may be further included.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 명세서를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구비하다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this specification are only used to describe specific embodiments and are not intended to limit the specification. Singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “comprise” are intended to designate the presence of the described features, numbers, steps, operations, components, parts, or combinations thereof, but are not intended to indicate the presence of one or more other features or It should be understood that this does not exclude in advance the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.
특별히 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 명세서가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless specifically defined differently, all terms used herein, including technical or scientific terms, have the same meaning as generally understood by those skilled in the art to which this specification pertains. Terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and unless clearly defined in this specification, should not be interpreted as having an ideal or excessively formal meaning. .
이하에서 제시되는 본 명세서의 실시예들은, 예를 들어, 검체 채취 수단으로 면봉(swab)을 사용하고, 검체 채취 영역으로 콧구멍을 예시하였다. 따라서, 검체 채취 수단의 말단은 면봉 팁(tip)이 될 수 있다. 또한, 검체 채취의 난이도가 높은 비인두(nasopharyngeal)를 대상으로 하고 있으나, 이에 한정되지 않는다.Examples of the present specification presented below, for example, use a swab as a sample collection means and illustrate the nostril as a sample collection area. Accordingly, the end of the sample collection means may be a cotton swab tip. In addition, it is targeted at the nasopharyngeal, where specimen collection is difficult, but is not limited to this.
도 1은 로봇을 이용한 자동 검체 채취 과정을 개괄적으로 도시한 도면이다. 우선, 콧구멍을 검출하고, 면봉을 콧구멍에 삽입하기 위한 경로 계획을 수립한다(111). 그런 다음, 콧구멍 앞에 면봉을 위치시킴으로써(112) 검체 채취를 위한 준비가 완료된다. 이제, 비강 내에 면봉을 삽입하고, 예를 들어, 면봉을 회전시킴으로써 검체를 채취한다(120). 마지막으로 비강으로부터 면봉을 제거함으로써 검체 채취 절차를 종료한다. 앞서, 소개한 바와 같이, 검체 채취 수단(면봉)을 좁은 콧구멍에 삽입하기 위해 로봇을 제어하는 과정에 어려움이 존재하므로, 이하에서 기술되는 본 명세서의 실시예들은 도 1의 초기 2 단계(110)에 집중하여 구체적인 구성을 설명하도록 한다.Figure 1 is a diagram schematically showing the automatic sample collection process using a robot. First, the nostril is detected and a route plan is established to insert the cotton swab into the nostril (111). Then, preparations for sample collection are completed by placing the swab in front of the nostril (112). Now, insert the swab into the nasal cavity and collect the sample by, for example, rotating the swab (120). Finally, the specimen collection procedure is completed by removing the swab from the nasal cavity. As previously introduced, there are difficulties in the process of controlling the robot to insert the sample collection means (cotton swab) into the narrow nostril, so the embodiments of the present specification described below are performed in the initial two steps (110) of FIG. ) and explain the specific configuration.
도 2는 본 발명의 일 실시예에 따른 영상 기반 제어를 이용한 검체 채취 방법을 도시한 흐름도로서, 시각적 서보 제어를 이용한 검체 채취 장치를 통해 구현될 수 있다. 이러한 검체 채취 장치는, 맞춤형 로봇 팔, 라이다(LiDAR) 깊이 카메라 및 로봇의 샘플링 면봉을 수용하기 위한 면봉 어댑터로 구성될 수 있다. 로봇 팔은 자동화된 비인두 면봉 샘플링을 위해 요구되는 자유도(degrees-of-freedom, DOF) 모션(motion), 예를 들어, 6-자유도 모션을 제공할 수 있다.Figure 2 is a flowchart showing a sample collection method using image-based control according to an embodiment of the present invention, and can be implemented through a sample collection device using visual servo control. These specimen collection devices can be comprised of a custom robotic arm, a LiDAR depth camera, and a swab adapter to accommodate the robot's sampling swab. The robotic arm can provide the degrees-of-freedom (DOF) motion required for automated nasopharyngeal swab sampling, for example, 6-DOF motion.
S210 단계에서, 검체 채취 장치는 대상을 포함하는 영상을 획득한다. 여기서, 영상은 단지 2D 위치 정보 및 3D 위치를 정보를 도출하기 위한 자료가 되며, 예를 들어, 깊이 정보 및 이미지 정보를 포함할 수 있다.In step S210, the sample collection device acquires an image including the target. Here, the image is merely data for deriving 2D location information and 3D location information, and may include, for example, depth information and image information.
S230 단계에서, 상기 검체 채취 장치는 S210 단계를 통해 획득된 상기 영상으로부터 검체 채취 영역 및 검체 채취 수단을 검출한다. 이 과정에서는, 획득된 상기 영상으로부터 검체 채취 영역의 2D 및 3D 위치 및 상기 검체 채취 수단의 말단의 2D 위치를 획득할 수 있다. 이를 위해, 딥 러닝 기반 콧구멍 탐지와 캐스케이드(cascade) 접근 방식을 통합하여 실시간으로 높은 정확도로 콧구멍을 안정적으로 식별하는 기술적 수단을 제안한다.In step S230, the sample collection device detects the sample collection area and sample collection means from the image acquired through step S210. In this process, the 2D and 3D positions of the sample collection area and the 2D position of the end of the sample collection means can be obtained from the acquired image. To this end, we propose a technical means to reliably identify nostrils with high accuracy in real time by integrating deep learning-based nostril detection and a cascade approach.
S250 단계에서, 상기 검체 채취 장치는 상기 검체 채취 수단에 연결된 구동 수단을 이용하여 상기 검체 채취 수단을 검출된 상기 검체 채취 영역으로 접근시킨다. 또한, S270 단계에서, 상기 검체 채취 장치는 접근에 따라 변화하는 상기 검체 채취 수단의 말단과 상기 검체 채취 영역 간의 영상 내의 오차를 실시간으로 보상한다. 구동 수단으로서 다중 자유도 로봇 팔을 사용하여 콧구멍에서 샘플링 면봉(swab)을 정확하게 배치하기 위해 이미지 기반 시각적 서보와 축 제어를 결합한 분할된 시각적 서보 방식을 구현하였다. 시각적 서보는 검출된 콧구멍과 면봉 사이의 오차를 최소화하도록 설계되어 부정확한 카메라-로봇 보정으로 인한 위치 오차, 불가피한 면봉 편향에 의한 기구학적 오차 등 실제 작동 시 발생할 수 있는 오차를 보상할 수 있다.In step S250, the sample collection device uses a driving means connected to the sample collection means to approach the sample collection means to the detected sample collection area. Additionally, in step S270, the sample collection device compensates in real time for errors in the image between the tip of the sample collection means and the sample collection area, which changes depending on approach. Using a multi-degree-of-freedom robotic arm as a driving means, a segmented visual servo approach combining image-based visual servo and axial control was implemented to accurately position the sampling swab in the nostril. The visual servo is designed to minimize the error between the detected nostril and the cotton swab, and can compensate for errors that may occur in actual operation, such as positional error due to inaccurate camera-robot calibration and kinematic error due to inevitable cotton swab deflection.
마지막으로, 상기 검체 채취 장치는 상기 검체 채취 영역을 통해 상기 검체 채취 수단을 삽입하여 검체를 채취하는 동작을 수행할 수 있다.Finally, the sample collection device may perform an operation of collecting a sample by inserting the sample collection means through the sample collection area.
도 3은 영상 기반 제어를 이용한 검체 채취 과정에서 활용되는 정보의 유형을 설명하기 위한 도면이다.Figure 3 is a diagram to explain the types of information used in the sample collection process using image-based control.
본 명세서의 실시예들은, 검체 채취 영역 및 검체 채취 수단을 검출함에 있어서, 센서를 통해 획득된 영상으로부터 검체 채취 영역(예를 들어, 콧구멍)의 2D 및 3D 위치(310) 및 검체 채취 수단(예를 들어, 면봉)의 말단의 2D 위치(320)를 획득할 수 있다. 이를 위해, 재료가 되는 정보가 필요한데, 도 3에는 깊이 정보, 이미지 정보 및 로봇 기구학(kinematics) 정보의 세 가지 유형의 정보를 제시하였다.Embodiments of the present specification, in detecting the sample collection area and sample collection means, 2D and 3D positions 310 and sample collection means (e.g., nostrils) of the sample collection area (e.g., nostril) from images acquired through a sensor For example, the 2D location 320 of the end of a cotton swab can be obtained. For this, material information is needed, and FIG. 3 presents three types of information: depth information, image information, and robot kinematics information.
먼저, 획득된 영상의 이미지 정보 및 깊이 정보에 기반하여 상기 검체 채취 영역의 2D 및 3D 위치(310)를 추정할 수 있다. 또한, 영상의 이미지 정보 및 구동 수단의 기구학(kinematics) 정보에 기반하여 검체 채취 수단의 말단의 2D 위치(320)를 추정할 수 있다. 그런 다음, 영상 기반 제어가 수행되고, 로봇의 위치 제어가 진행된다.First, the 2D and 3D positions 310 of the sample collection area can be estimated based on the image information and depth information of the acquired image. Additionally, the 2D position 320 of the end of the sample collection means can be estimated based on the image information of the image and the kinematics information of the driving means. Then, image-based control is performed and position control of the robot proceeds.
검체 채취 영역(콧구멍) 탐지Detection of sample collection area (nostrils)
콧구멍의 정확한 탐지는 로봇이 자동으로 콧구멍 표적을 획득하고 면봉을 콧구멍에 삽입하는 자동화된 비인두 면봉 샘플링의 원활한 작동에 매우 중요한다. 그러나 매우 다양한 인간의 콧구멍을 고정밀도로 탐지하는 것은 어려운 일이다. 콧구멍의 모양과 크기는 사람마다 다르며, 또한 코의 각도와 그림자는 이미지에서 콧구멍의 모양에 영향을 준다. 따라서 기하학적 모양이나 색상을 기반으로 하는 콧구멍 탐지 알고리즘은 실패하기 쉽다. 예를 들어, 일반적으로 얼굴 탐지에 사용되는 Viola-Jones 알고리즘의 콧구멍 탐지 정확도가 24%에 불과한 것으로 나타난 실험 결과도 있다.Accurate detection of the nostrils is critical to the smooth operation of automated nasopharyngeal swab sampling, where a robot automatically acquires the nostril target and inserts the swab into the nostril. However, it is difficult to detect the wide variety of human nostrils with high precision. The shape and size of the nostrils vary from person to person, and the angle and shadow of the nose also affects the shape of the nostrils in the image. Therefore, nostril detection algorithms based on geometric shapes or colors are prone to failure. For example, experimental results show that the nostril detection accuracy of the Viola-Jones algorithm, commonly used for face detection, is only 24%.
따라서, 정확한 콧구멍 탐지를 위해 캐스케이드(cascade) 방식의 딥 러닝 기반 방법을 소개한다. 제안하는 방법은 관심 영역(region of interest, ROI)에 대한 코 피사체를 가장 먼저 탐지하고 관심 영역에서 콧구멍을 구하는 방법이다. 예비 테스트를 기반으로 하는 이 캐스케이드 방식은 전체 이미지에서 콧구멍을 직접 검색하는 것보다 콧구멍 탐지 정확도를 크게 향상시킨다. 예를 들어, 콧구멍으로 탐지된 눈이나 입과 같은 위양성(false-positive) 사례를 완화한다.Therefore, we introduce a cascade-based deep learning-based method for accurate nostril detection. The proposed method first detects the nose subject for the region of interest (ROI) and then obtains the nostrils from the region of interest. Based on preliminary tests, this cascade approach significantly improves nostril detection accuracy compared to directly searching for nostrils in the entire image. For example, it mitigates false-positive cases such as eyes or mouth detected as nostrils.
다양한 물체 탐지 알고리즘과 비교하여 YOLOv4 small-one-stage 탐지기를 채택할 수 있으며, 코와 콧구멍의 고정밀 실시간 탐지가 가능하다. 네트워크 학습을 위해 FFHQ(Flickr-Faces-HQ Dataset)에서 다수의 얼굴 사진으로 구성된 훈련 데이터 세트를 고려하고, 데이터 증강으로 생성된 다수의 사진을 사용할 수 있다.Compared with various object detection algorithms, YOLOv4 small-one-stage detector can be adopted, and high-precision real-time detection of nose and nostrils is possible. For network training, we consider a training dataset consisting of multiple face photos from the Flickr-Faces-HQ Dataset (FFHQ), and multiple photos generated by data augmentation can be used.
충분한 프레임 수(예를 들어, 30FPS) 내에서 코와 콧구멍의 연속적인 탐지가 제한될 수 있으므로 코 탐지는 필요한 경우에만 실행될 수 있다. 첫째, 자동화 시술 초기에 코 탐지를 수행하며, 탐지된 코는 콧구멍 검색에 대한 관심 영역을 제공한다. 관심 영역을 고려하여 콧구멍이 탐지되면 즉시 칼만(Kalman) 필터를 통해 콧구멍 중 하나를 추적하여 관심 영역의 위치를 갱신한다. 이때, 오른쪽 또는 왼쪽 콧구멍을 선택적으로 사용할 수 있다. 그렇지 않으면 새로운 관심 영역이 발견될 때까지 코 탐지가 반복된다.Continuous detection of the nose and nostrils within a sufficient number of frames (e.g., 30FPS) may be limited, so nose detection can only be performed when necessary. First, nose detection is performed at the beginning of the automated procedure, and the detected nose provides a region of interest for nostril search. Considering the region of interest, when a nostril is detected, one of the nostrils is immediately tracked through a Kalman filter to update the position of the region of interest. At this time, the right or left nostril can be selectively used. Otherwise, nose detection is repeated until a new region of interest is found.
검체 채취 수단(면봉 팁) 탐지Detection of specimen collection instrument (swab tip)
샘플링 면봉의 시각적 서보링을 위해 콧구멍 탐지 외에도 면봉 팁(tip)을 탐지하고 추적한다. 예를 들어, 면봉은 길이 150mm로 쉽게 구부릴 수 있는 막대기로 끝 부분에 직경 3mm의 뭉쳐진 머리를 포함하도록 구현될 수 있다. 면봉을 실시간으로 안정적으로 감지하기 위해 도 6의 사각형 상자에 표시된 대로 면봉 팁의 3D 위치에서 관심 영역을 설정할 수 있다. 팁의 3D 위치는, 스왑 어댑터에 부착된 직선형의 강성 샤프트라고 가정하고, 로봇과 면봉의 기구학적 체인(kinematic chain)으로부터 추정된다. 그 후, 3D 팁 위치는 TCP/IP 통신을 통해 비전(vision) 시스템으로 스트리밍된다. 카메라-로봇 보정(camera-robot calibration)을 사용하여 이미지에 3D 팁 위치를 재투영(reprojection)하면, 이미지에서 팁을 검색하기 위한 2D 관심 영역이 생성된다. 2D 관심 영역을 고려하여 면봉을 식별하고, HSV 색상 임계값으로 이진화하여 밝은 흰색의 면봉을 얻을 수 있다. 스퓨리어스(spurious) 픽셀을 제거하기 위해, 면봉이 특정 너비 임계값을 갖는 1차 다항식이라고 가정하면서 RANSAC 알고리즘을 사용한다. 면봉에 대한 픽셀 포인트 집합을 고려할 때, 선에 투영된 포인트 중 끝점은 이미지의 팁 위치로 간주된다. 팁 탐지가 때때로 불안정하거나 탐지되지 않을 수 있으므로 2D 면봉 팁 위치에 칼만 추적을 적용한다.In addition to nostril detection, the swab tip is detected and tracked for visual servoing of the sampling swab. For example, a cotton swab can be implemented as an easily bendable stick with a length of 150 mm, with a clump of hair with a diameter of 3 mm at the end. To reliably detect the swab in real time, a region of interest can be set at the 3D position of the swab tip, as shown in the square box in Figure 6. The 3D position of the tip is estimated from the kinematic chain of the robot and swab, assuming a straight, rigid shaft attached to the swab adapter. The 3D tip position is then streamed to the vision system via TCP/IP communication. Reprojection of the 3D tip position onto the image using camera-robot calibration creates a 2D region of interest for searching the tip in the image. By considering the 2D region of interest, the swab can be identified and binarized with the HSV color threshold to obtain a bright white swab. To remove spurious pixels, we use the RANSAC algorithm, assuming that the swab is a first-order polynomial with a certain width threshold. Considering a set of pixel points for a cotton swab, the endpoint of the points projected onto the line is considered the tip location in the image. Kalman tracking is applied to the 2D swab tip position because tip detection can sometimes be unstable or not detected.
도 4는 시각적 서보 제어(visual servo control)를 위한 객체 검출 과정을 도시한 흐름도로서, 콧구멍 및 면봉 탐지를 위한 전체 절차를 보여준다.Figure 4 is a flowchart showing the object detection process for visual servo control, showing the overall procedure for nostril and swab detection.
콧구멍 검출 및 추적 과정을 살펴보면, S411 단계에서 관심 영역이 유효한지를 검사하고, S412 단계를 통해 관심 영역 내에서 콧구멍이 검출되었는지를 검사한다. 관심 영역이 유효하지 않거나 콧구멍이 검출되지 않았다면, S413 단계에서 코를 먼저 검출한다. 그런 다음, S417 단계로 진행하여 콧구멍 탐지를 위한 관심 영역을 설정한다. 한편, 콧구멍이 검출된 후, S413 단계에서는, 2D 콧구멍 대상을 위치화한다(localize). 그리고, S415 단계에서, 2D 콧구멍 대상을 추적한다. 이제, S416 단계에서 콧구멍 추적으로부터 관심 영역을 갱신하고, S417 단계로 진행한다.Looking at the nostril detection and tracking process, in step S411 it is checked whether the region of interest is valid, and in step S412 it is checked whether a nostril has been detected within the region of interest. If the region of interest is invalid or the nostril is not detected, the nose is detected first in step S413. Then, proceed to step S417 to set a region of interest for nostril detection. Meanwhile, after the nostril is detected, in step S413, the 2D nostril object is localized. Then, in step S415, the 2D nostril object is tracked. Now, the region of interest is updated from the nostril tracking in step S416, and the process proceeds to step S417.
면봉 팁 검출 및 추적 과정을 살펴보면, TCP/IP 메시지를 수신하고, S421 단계에서 현재의 면봉 팁을 재투영한다(reprojection). S422 단계에서는 면봉 검출을 위한 관심 영역을 설정하고, S423 단계에서 면봉을 검출한다. S424 단계를 통해, 팁이 검출되었다면 S425 단계로 진행하여 2D 팁 위치를 위치화하고, S426 단계에서 2D 팁 위치를 추적한다. 만약 S424 단계에서 팁이 검출되지 않았다면, S426 단계로 진행한다.Looking at the swab tip detection and tracking process, a TCP/IP message is received, and the current swab tip is reprojected in step S421. In step S422, a region of interest for cotton swab detection is set, and in step S423, the cotton swab is detected. If a tip is detected in step S424, the process proceeds to step S425 to locate the 2D tip position, and the 2D tip position is tracked in step S426. If the tip is not detected in step S424, the process proceeds to step S426.
다음으로, S430 단계로 진행하여, S415 단계를 통해 추적되는 2D 콧구멍 대상과 S426 단계를 통해 추적되는 2D 팁 위치를 기반으로 양자의 2D 오차를 산출하고, 시각적 서보 제어를 수행하게 된다.Next, in step S430, both 2D errors are calculated based on the 2D nostril object tracked in step S415 and the 2D tip position tracked in step S426, and visual servo control is performed.
요약하건대, 검체 채취 영역 및 검체 채취 수단을 검출하는 과정은, 캐스케이드(cascade) 방식의 머신 러닝을 이용하여, 획득된 상기 영상으로부터 검체 채취 영역을 포함하도록 미리 설정된 관심 영역(region of interest, ROI)을 탐지한 후 탐지된 상기 관심 영역 내에서 상기 검체 채취 영역을 탐지할 수 있다. 또한, 구동 수단 및 검체 채취 수단의 기구학적 체인(kinematic chain)으로부터 상기 검체 채취 수단의 말단의 3D 위치를 추정하고, 상기 구동 수단 및 상기 영상 간의 보정을 이용하여 상기 영상에 상기 말단의 3D 위치를 재투영(reprojection)하여 상기 말단의 2D 관심 영역을 생성한 후 상기 말단을 식별할 수 있다.In summary, the process of detecting the sample collection area and sample collection means uses cascade-type machine learning to create a region of interest (ROI) preset to include the sample collection area from the acquired image. After detecting, the sample collection area can be detected within the detected region of interest. In addition, the 3D position of the distal end of the sample collecting means is estimated from the kinematic chain of the driving means and the sample collecting means, and the 3D position of the distal end in the image is calculated using correction between the driving means and the image. The extremity can be identified after reprojection to create a 2D region of interest of the extremity.
도 5는 검체 채취 수단을 검체 채취 영역으로 접근시키는 과정을 보다 구체적으로 도시한 흐름도로서, 2D 이미지 상에서 위치를 확인하되, 콧구멍에 면봉이 접근하는 경우 깊이 및 위치 정보에 기반하여 방향 벡터를 조정하는 하이브리드 방식의 시각적 서보 제어 방식을 제시하였다. 이러한 시각적 서보 제어는, 단지 면봉 팁만을 정합하더라도 도구의 축이 정렬되지 않은 경우 면봉 진행에 따른 변위가 변동(fluctuation)하는 현상이 발생할 수 있으므로, 축(axis) 자체를 보정/정합시켜야만 오차를 지속적으로 감소시킬 수 있다는 점에 착안하여 안출되었다.Figure 5 is a flow chart illustrating in more detail the process of approaching the sample collection means to the sample collection area. The location is confirmed on the 2D image, but when the swab approaches the nostril, the direction vector is adjusted based on depth and location information. presented a hybrid visual servo control method. This type of visual servo control can cause fluctuations in displacement as the swab progresses if the axis of the tool is not aligned even if only the cotton swab tip is aligned. Therefore, the axis itself must be corrected/aligned to maintain the error. It was designed with the idea that it could be reduced to .
S510 단계를 통해, 콧구멍과 면봉 팁의 2D 오차 및 콧구멍의 깊이 정보를 포함하는 센싱 정보가 입력된다. S520 단계에서는 이미지 기반의 시각적 서보를 통해 콧구멍과 면봉 팁의 2D 오차를 최소화하기 위한 로봇 포즈 제어가 수행되고, S530 단계에서 수정된 로봇 포즈에 따라 새로운 접근 방향(즉, 축 방향 제어)이 설정될 수 있다. 그런 다음, S540 단계에서, 면봉 팁의 3D 목표 포즈가 산출된다. 이제 S550 단계를 통해 면봉 팁이 콧구멍에 도달하였는지를 검사하고, 아직 팁이 도달하지 않은 경우, 이상과 하이브리드 시각적 서보 제어 과정을 반복한다. 면봉 팁이 콧구멍에 도달하였다면, S560 단계에서 검체 채취 동작을 수행한다.Through step S510, sensing information including the 2D error of the nostril and the swab tip and the depth information of the nostril are input. In step S520, robot pose control is performed to minimize the 2D error of the nostril and swab tip through image-based visual servo, and a new approach direction (i.e., axial control) is set according to the modified robot pose in step S530. It can be. Then, in step S540, the 3D target pose of the swab tip is calculated. Now, through step S550, it is checked whether the swab tip has reached the nostril, and if the tip has not yet arrived, the above and hybrid visual servo control processes are repeated. If the swab tip reaches the nostril, the sample collection operation is performed in step S560.
보다 구체적으로, 검체 채취 수단을 검출된 검체 채취 영역으로 접근시키는 과정은, 검체 채취 영역의 3D 위치를 구동 수단 및 영상 간의 좌표계 정합을 통해 구동 수단의 좌표계 상의 3D 좌표로 변환하여 최초 목표 위치를 설정하고, 상기 구동 수단을 이용하여 상기 최초 목표 위치를 향해 상기 검체 채취 수단을 이송시킬 수 있다. 또한, 오차를 실시간으로 보상하는 과정은, 상기 검체 채취 수단의 접근에 따라, 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치를 추적하고, 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치가 일치하도록 상기 구동 수단을 제어하며, 수정된 상기 구동 수단의 포즈에 따라 목표 위치로 점진적인 접근을 유도할 수 있다.More specifically, the process of approaching the sample collection means to the detected sample collection area involves converting the 3D position of the sample collection area into 3D coordinates on the coordinate system of the drive means through coordinate system matching between the drive means and the image to set the initial target position. And, the sample collection means can be transported toward the initial target position using the driving means. In addition, the process of compensating for errors in real time tracks the 2D position of the sample collection area and the 2D position of the end of the sample collection means according to the approach of the sample collection means, and tracks the 2D position of the sample collection area and the The driving means is controlled so that the 2D position of the end of the sample collection means matches, and a gradual approach to the target position can be induced according to the modified pose of the driving means.
여기서, 구동 수단을 제어하는 과정은, 크게 두 가지 실시예로서 구현될 수 있다. 첫째, 검체 채취 영역의 2D 위치 및 검체 채취 수단의 말단의 2D 위치 사이의 오차를 감소시키는 방향으로 구동 수단의 요(yaw) 및 피치(pitch)의 각도를 조정하는 회전(rotation)을 제어할 수 있다. 둘째, 검체 채취 영역의 2D 위치 및 검체 채취 수단의 말단의 2D 위치 사이의 오차를 감소시키는 방향으로 구동 수단의 병진(translation)을 제어할 수 있다.Here, the process of controlling the driving means can be largely implemented in two embodiments. First, the rotation can be controlled to adjust the angle of the yaw and pitch of the driving means in a direction that reduces the error between the 2D position of the sample collection area and the 2D position of the end of the sample collection means. there is. Second, the translation of the driving means can be controlled in a direction that reduces the error between the 2D position of the sample collection area and the 2D position of the end of the sample collection means.
또한, 목표 위치로 점진적인 접근을 유도하는 과정은, 수정된 상기 구동 수단의 포즈에 따라 새로운 접근 방향을 설정하고, 상기 검체 채취 영역의 깊이 정보를 이용하여 깊이 방향 전진 값을 결정하고, 설정된 상기 새로운 접근 방향에 따라 접근하였을 때 상기 검체 채취 수단의 말단의 3D 포즈를 산출하여 상기 구동 수단의 목표 위치로 설정함으로써 접근 제어를 수행하되, 상기 검체 채취 수단의 말단이 상기 검체 채취 영역에 도달할 때까지 상기 접근 제어를 반복할 수 있다.In addition, the process of inducing a gradual approach to the target position includes setting a new approach direction according to the modified pose of the driving means, determining a depth direction advance value using depth information of the sample collection area, and setting the new approach direction. Access control is performed by calculating the 3D pose of the end of the sample collection means when approaching according to the approach direction and setting it as the target position of the driving means, until the end of the sample collection means reaches the sample collection area. The above access control can be repeated.
시각적 서보 제어Visual servo control
앞에서 언급했듯이, 잠재적인 오류 원인, 예를 들어, 1) 직렬 로봇 매니퓰레이터(serial robot manipulator)의 엔드 이펙터(end-effector)의 위치 오류, 2) 라이다 깊이 카메라의 탐지 오류, 3) 카메라와 로봇 좌표 간의 등록 오류, 4) 면봉 편향으로 인한 기구학적 모델 오류 등으로 인해 몇 밀리미터의 오류 범위 내에서 3D 콧구멍 타겟에 면봉을 정확하게 배치하는 것은 어렵다. 이러한 오류 원인 중 본 명세서의 실시예들은 특정 수준에서 피할 수 없는 등록 오류 및 면봉 편향에 중점을 두었다. 이하에서는 도 6 및 도 7을 참조하여, 시각적 서보 제어의 과정을 구체적으로 설명한다.As previously mentioned, there are potential sources of error, such as 1) positional error of the end-effector of the serial robot manipulator, 2) detection error of the lidar depth camera, and 3) camera and robot. It is difficult to accurately place the swab on the 3D nostril target within an error range of a few millimeters due to registration errors between coordinates, 4) kinematic model errors due to swab deflection, etc. Among these sources of error, the embodiments herein focus on registration errors and swab bias, which are unavoidable at certain levels. Hereinafter, the process of visual servo control will be described in detail with reference to FIGS. 6 and 7.
로봇 (세계) 프레임에 대한 카메라의 회전(rotation)(즉, 방향(orientation)) 및 병진(translation)으로 설명되는 로봇과 카메라 좌표 간의 공간 변환을 찾는 과정에서 등록 오류가 발생할 수 있다. 등록의 번역 오류로 인해 면봉을 3D로 배치할 때 비례 오류가 발생한다. 또한 회전에서 발견된 방향 오류는 엔드 이펙터의 위치 오류를 추가로 발생시킨다. ToF (Time of Flight) 원리를 이용하여 깊이를 검출하기 위해서는 카메라가 물체로부터 일정 거리(예를 들어, 약 300mm) 떨어져 있어야 하기 때문에 작은 각도 오차로도 면봉의 위치를 결정할 때 큰 변위 오차가 발생한다. 예를 들어, 1.0°보다 큰 각도 오류에 직면한 카메라는 팁에서 5.2mm 이상의 위치 오류가 발생할 수 있다. 더욱이, 구부러진 면봉으로 인한 기구학적 모델 오류는 자동화된 면봉 제어 중에 더 두드러지게 된다. 손상되지 않은 면봉은 변형되기 쉽다. 예를 들어, 면봉의 말단이 중심축에서 2.0°만 벗어나 있으면, 5.2mm 표적 오류가 발생할 수 있으며, 면봉을 콧구멍에 삽입하지 못하게 될 수 있다. 도 6은 콧구멍에 접근하면서 이상적인 면봉 위치(630 선 참조)를 재투영하여 생성된 실제 면봉(610) 및 가상 면봉을 보여준다. 이상적인 로봇 기구학 및 직선 면봉을 가정한 로봇 카메라 등록을 통해 재투영이 계산된다.Registration errors can occur in the process of finding spatial transformations between robot and camera coordinates, which are described by the rotation (i.e. orientation) and translation of the camera with respect to the robot (world) frame. Translation errors in registration cause proportional errors when placing the swab in 3D. Additionally, orientation errors found in rotation cause additional position errors in the end effector. In order to detect depth using the ToF (Time of Flight) principle, the camera must be a certain distance away from the object (for example, about 300 mm), so even a small angle error causes a large displacement error when determining the position of the swab. . For example, a camera facing an angular error greater than 1.0° may experience a position error of more than 5.2 mm at the tip. Moreover, kinematic model errors due to bent swabs become more prominent during automated swab control. Undamaged cotton swabs are prone to deformation. For example, if the tip of the swab is just 2.0° off the central axis, a 5.2 mm target error may occur and the swab may not be inserted into the nostril. Figure 6 shows a real swab 610 and a virtual swab created by reprojecting the ideal swab position (see line 630) as it approaches the nostril. Reprojections are calculated through robot camera registration assuming ideal robot kinematics and a straight swab.
본 명세서의 일 실시예는 자동화된 비인두 검체 채취 절차와 관련된 근본적인 오류를 보상할 수 있는 시각적 서보 기법을 제안한다. 시각적 서보는 면봉이 콧구멍에 삽입될 때까지 2D 카메라 이미지를 사용하여 면봉을 콧구멍에 점차적으로 위치시키는 것을 목표로 한다. 그러나, 다중 자유도 로봇을 제어하기 위해 연속적인 이미지 프레임에서 탐지된 공통 특징점에 의존하는 일반적인 시각적 서보 응용 프로그램과 달리, 면봉 제어를 위한 새로운 시각적 서보 프레임워크가 필요한다. 단일 특징점(예를 들어, 콧구멍 타겟(640))의 오차만 얻을 수 있기 때문에, 6-자유도 로봇의 2-자유도 제어는 이미지-기반 시각적 서보(image-based visual servoing, IBVS)를 통해서만 허용된다. 따라서 본 명세서의 일 실시예는 분할된 시각적 서보 방식을 채택한다. 면봉 팁의 6자유도 모션은 팁(620)에서의 2자유도 팬(pan)-틸트(tilt) 모션, 로봇 헤드의 3자유도 병진(translational) 모션 및 면봉 축에 따른 1자유도 모션으로 분리된다. 그런 다음, 분리된 2-자유도 동작은 IBVS를 통해 제어되어 카메라를 사용하여 탐지된 콧구멍 위치에 면봉 팁을 위치시킨다.One embodiment of the present specification proposes a visual servo technique that can compensate for fundamental errors associated with automated nasopharyngeal specimen collection procedures. Visual Servo aims to gradually position the swab into the nostril using 2D camera images until the swab is inserted into the nostril. However, unlike typical visual servo applications that rely on common feature points detected in successive image frames to control multi-degree-of-freedom robots, a new visual servo framework for swab control is needed. Because only the error of a single feature point (e.g., nostril target 640) can be obtained, 2-DOF control of a 6-DOF robot can only be achieved through image-based visual servicing (IBVS). It is allowed. Therefore, one embodiment of the present specification adopts a divided visual servo method. The 6-degree-of-freedom motion of the swab tip is separated into a 2-degree-of-freedom pan-tilt motion at the tip 620, a 3-degree-of-freedom translational motion of the robot head, and a 1-degree-of-freedom motion along the swab axis. do. A separate two-degree-of-freedom motion is then controlled through the IBVS to position the swab tip at the nostril location detected using the camera.
이미지-기반 시각적 서보의 경우, 먼저 얼굴에 평행한 작업 평면에서 분석 이미지 7자코비안(analytical image Jacobian)을 공식화하여 수학식 1에서와 같이 차동 움직임(differential motion)에 대한 인터랙션 행렬을 생성한다.For image-based visual servo, first formulate the analytical image Jacobian in the work plane parallel to the face to generate the interaction matrix for differential motion as shown in Equation 1.
여기서 및는 각각 이미지 평면(image plane) 및 작업 평면(task plane)의 차동 움직임(differential motion)이다.here and are the differential motion of the image plane and task plane, respectively.
인터랙션 행렬를 유도하기 위해 수학식 2에서와 같이 기준(base) u와 v를 포함하는 작업 평면에서 두 개의 차동 움직임 및가 정의된다.interaction matrix Two differential movements in the work plane containing the base u and v as in Equation 2 to derive and is defined.
이미지 평면에서 해당 차동 움직임 및는 또한 카메라 로봇 보정에서 제공하는 투영 행렬(projection matrix)을 사용하여 정의된다.Corresponding differential motion in the image plane and is also defined using the projection matrix provided by the camera robot calibration.
차동 움직임 및는 작업 평면 좌표의 정준 기준(canonical base)을 따라 달라지므로 행렬는 수학식 4에서와 같이 두 벡터 및로 구성된다.differential movement and varies depending on the canonical base of the work plane coordinates, so the matrix are two vectors as in equation 4 and It consists of
여기서는 단위 행렬(identity matrix)을 나타낸다. 그 후, 전체 순위를 갖는 행렬의 역행렬을 고려하여 인터랙션 행렬의 역행렬을 얻을 수 있다. 따라서, 작업 평면에서 콧구멍 타겟과 현재 면봉 팁 사이의 3D 위치 오차는 수학식 5에서와 같이 이미지 평면에서의 대응하는 2D 오차로부터 추정될 수 있다.here represents an identity matrix. After that, the matrix with the overall rank Inverse matrix of the interaction matrix, considering the inverse matrix of can be obtained. Therefore, the 3D position error between the nostril target and the current swab tip in the work plane. is the corresponding 2D error in the image plane as in Equation 5 It can be estimated from
면봉 어댑터 주위에 작은 각도로 면봉의 회전 운동(pivotal motion)을 가정하고 면봉 길이를로 가정하여, 오류를 수정하기 위한 조인트 각도(joint angle)는 수학식 6의로 근사된다.Assuming pivotal motion of the swab around the swab adapter at a small angle, adjust the swab length. Assuming, the joint angle to correct the error is in Equation 6: It is approximated as
마지막으로, 수학식 7에서와 같이, 이미지 평면 상의 콧구멍 타겟 및 현재 팁 위치 사이의 2D 오류에 대해 수학식 5를 수학식 6에 대입하여 조인트 각도를 제어하는 이미지 자코비안 J를 얻었다.Finally, the 2D error between the nostril target and the current tip position on the image plane, as in Equation 7: For the joint angle by substituting Equation 5 into Equation 6 Obtained an image Jacobian J to control .
여기서,이다. 피치(pitch) 및 요(yaw) 제어를 위한 조인트 각도는 수학식 8의 PD 컨트롤러에 의해 조절되며, 이는 현재 면봉 팁과 콧구멍 위치 사이의 오류를 최소화한다.here, am. The joint angles for pitch and yaw control are adjusted by the PD controller in Equation 8, which minimizes the error between the current swab tip and nostril position.
그 후, 로봇 팔의 순 기구학(forward kinematics)을 통해 조인트 각도를 미리 계획된 다른 조인트 각도와 결합하여 시각적 서보 제어에 의해 조절되는 목표 위치를 정의했다.Then, the joint angle is determined by the forward kinematics of the robot arm. Target position regulated by visual servo control in combination with other pre-planned joint angles defined.
면봉이 작업 평면에 수직이 아닌 경우, 기울어진 면봉이 콧구멍을 향해 전진하면 다음 이미지 프레임에서 오류가 발생할 수 있다. 따라서 시각적 서보링 중에 면봉의 축 제어를 도입하였다. 축 제어는 면봉이 콧구멍과 목표 위치, 각각 및에 의해 설명된 축을 따라 움직이도록 한다. 결과적으로 최종 목표 위치는 수학식 10과 같이 축방향 이동을 가함으로써 정의된다.If the swab is not perpendicular to the work plane, errors may occur in the next image frame as the tilted swab advances toward the nostril. Therefore, axial control of the swab during visual servoing was introduced. Axial control allows the swab to move into the nostril and target location, respectively. and Let it move along the axis described by . As a result, the final target location is defined by applying axial movement as shown in Equation 10.
여기서 및는 i번째 제어 루프 틱(control-loop tick)에서 미리 계획된 팁 위치이다. 그런 다음,에 대한 해당 조인트 각도가 로봇 팔의 역 기구학을 사용하여 계산되고 제어 입력으로 사용된다. 해당 표기법 및 제어 절차는 도 6 및 도 7에 도시되었다.here and is the pre-planned tip position at the ith control-loop tick. after that, The corresponding joint angle for is calculated using the inverse kinematics of the robot arm and used as control input. The corresponding notation and control procedure are shown in Figures 6 and 7.
도 8은 시각적 서보 제어를 이용한 자동화된 검체 채취 과정을 도시한 흐름도로서, 검체 채취를 위한 전체 시스템 및 제어 흐름을 보여준다.Figure 8 is a flow chart showing the automated sample collection process using visual servo control, showing the overall system and control flow for sample collection.
3-자유도 모션은 주로 면봉의 끝을 3D로 배치하는 데 사용되며 2-자유도 모션은 콧구멍으로의 삽입 각도(팬(pan) 및 틸트(tilt))를 조정하는 데 사용된다. 나머지 자유도는 샘플 수집을 위해 면봉을 회전하는 데 사용된다. 현재 면봉의 팁에서 목표 포즈까지의 궤적(3D 콧구멍 위치 및 삽입 각도)은 목표에 도달하기 위해 지정된 시간 동안 그때마다 즉시로(inline) 계획된다. 궤적을 고려하여 모든 제어 시간 틱(time tick)에 대한 해당 조인트 각도(joint angle)는 6-자유도 로봇 팔의 역기구학(inverse kinematics)을 사용하여 계산될 수 있다. 로봇 팔은 로봇 운영 체제에서 (예를 들어, 100Hz로 실행되는) 호스트 PC에 의해 제어될 수 있다.The 3-DOF motion is mainly used to position the tip of the swab in 3D, and the 2-DOF motion is used to adjust the insertion angle (pan and tilt) into the nostril. The remaining degrees of freedom are used to rotate the swab for sample collection. The trajectory (3D nostril position and insertion angle) from the tip of the current swab to the target pose is planned inline each time over a specified period of time to reach the target. Considering the trajectory, the corresponding joint angle for every control time tick can be calculated using the inverse kinematics of a 6-DOF robotic arm. The robotic arm may be controlled by a host PC (e.g. running at 100Hz) on the robot operating system.
3D에서 콧구멍 타겟 위치를 결정하기 위해 비전(vision) 시스템은 먼저 2D 이미지에서 콧구멍을 탐지한 다음, 라이다에서 획득한 깊이 맵에서 해당 3D 위치를 추출한다. 로봇 팔을 제어하기 전에 로봇 팔의 말단부에 부착된 체크보드(checkboard)를 사용하여 RGB 카메라와 로봇 팔 사이의 좌표 등록이 수행된다. 이 두 시스템은 TCP/IP 통신을 통해 2D 및 3D의 콧구멍 위치, 현재 면봉 위치, 현재 로봇 조인트 각도 등의 데이터를 서로 교환한다.To determine the nostril target location in 3D, the vision system first detects the nostril in the 2D image and then extracts the corresponding 3D location from the depth map obtained from the lidar. Before controlling the robot arm, coordinate registration between the RGB camera and the robot arm is performed using a checkboard attached to the distal end of the robot arm. These two systems exchange data such as 2D and 3D nostril position, current swab position, and current robot joint angle through TCP/IP communication.
면봉의 시각적 서보 제어를 위해 면봉의 끝 부분을 탐지하여 2D 영상에서 팁과 콧구멍 사이의 오차를 최소화하도록 제어한다. 시각적 서보를 통해 팁 위치를 수정하면 궤적을 그때마다 즉시로 다시 계획할 수 있다.For visual servo control of the cotton swab, the tip of the cotton swab is detected and controlled to minimize the error between the tip and the nostril in the 2D image. By modifying the tip position via visual servo, the trajectory can be re-planned on the fly.
도 9는 본 발명의 일 실시예에 따른 영상 기반 제어를 이용한 검체 채취 장치(10)를 도시한 블록도로서, 도 2의 검체 채취 방법을 하드웨어 구성의 관점에서 재구성한 것이다. 따라서, 여기서는 설명을 중복을 피하고자 각 구성의 동작 및 기능을 약술하도록 한다.FIG. 9 is a block diagram showing a sample collection device 10 using image-based control according to an embodiment of the present invention, and is a reconstruction of the sample collection method of FIG. 2 from the perspective of hardware configuration. Therefore, here, the operation and function of each component will be outlined to avoid duplication of explanation.
센서(10)는, 대상을 포함하는 영상을 획득하는 구성으로, 예를 들어, RGB-D 카메라로 구현될 수 있다. 센서(10)를 통해, 2D/3D 콧구멍 위치 및 2D 면봉 말단 위치를 얻을 수 있다.The sensor 10 is a component that acquires an image including an object and may be implemented as, for example, an RGB-D camera. Through the sensor 10, 2D/3D nostril position and 2D swab tip position can be obtained.
구동 수단(20)은, 검체 채취 수단(미도시)을 검체 채취 영역에 접근시키는 구성으로, 로봇 시스템에 포함되어 구현될 수 있다. 구현의 관점에서, 구동 수단(20)은, 검체 채취 수단의 말단을 3D 배치하기 위한 3-자유도(degrees-of-freedom, DOF) 모션을 제공하고, 상기 검체 채취 수단의 말단을 상기 검체 채취 영역으로 삽입하는 각도를 조정하기 위한 2-자유도 모션을 제공하며, 검체 채취를 위한 축 방향 움직임에 관한 적어도 1-자유도 모션을 제공할 수 있다.The driving means 20 is configured to bring a sample collection means (not shown) close to the sample collection area, and may be implemented by being included in a robot system. In terms of implementation, the driving means (20) provides three degrees-of-freedom (DOF) motion for 3D positioning of the distal end of the sampling means and moves the distal end of the sampling means to the sampling means. It may provide two degrees of freedom motion for adjusting the angle of insertion into the area and at least one degree of freedom motion for axial movement for sample collection.
제어기(30)는, 센서(10)를 통해 획득된 상기 영상을 이용하여 상기 구동 수단(20)을 제어하는 명령을 수행하는 구성이다. 제어기(30)는, 획득된 상기 영상으로부터 검체 채취 영역 및 검체 채취 수단을 검출하고, 상기 검체 채취 수단에 연결된 상기 구동 수단(20)을 이용하여 상기 검체 채취 수단을 검출된 상기 검체 채취 영역으로 접근시키되, 접근에 따라 변화하는 상기 검체 채취 수단의 말단과 상기 검체 채취 영역 간의 영상 내의 오차를 실시간으로 보상한다. 또한, 제어기(30)는, 상기 구동 수단(20)을 제어하여, 상기 검체 채취 영역을 통해 상기 검체 채취 수단을 삽입하여 검체를 채취할 수 있다.The controller 30 is configured to execute commands to control the driving means 20 using the image acquired through the sensor 10. The controller 30 detects a sample collection area and a sample collection means from the acquired image, and approaches the sample collection means to the detected sample collection area using the drive means 20 connected to the sample collection means. However, errors in the image between the tip of the sample collection means and the sample collection area, which change depending on the approach, are compensated for in real time. Additionally, the controller 30 can control the driving means 20 to insert the sample collection means through the sample collection area to collect a sample.
제어기(30)는, 획득된 상기 영상의 이미지 정보 및 깊이 정보에 기반하여 상기 검체 채취 영역의 2D 및 3D 위치를 추정하고, 상기 영상의 이미지 정보 및 상기 구동 수단(20)의 기구학(kinematics) 정보에 기반하여 상기 검체 채취 수단의 말단의 2D 위치를 추정할 수 있다.The controller 30 estimates the 2D and 3D positions of the sample collection area based on the image information and depth information of the acquired image, and calculates the image information of the image and kinematics information of the driving means 20. Based on this, the 2D position of the end of the sample collection means can be estimated.
제어기(30)는, 캐스케이드(cascade) 방식의 머신 러닝을 이용하여, 획득된 상기 영상으로부터 검체 채취 영역을 포함하도록 미리 설정된 관심 영역(region of interest, ROI)을 탐지한 후 탐지된 상기 관심 영역 내에서 상기 검체 채취 영역을 탐지하고, 구동 수단(20) 및 검체 채취 수단의 기구학적 체인(kinematic chain)으로부터 상기 검체 채취 수단의 말단의 3D 위치를 추정하고, 상기 구동 수단 및 상기 영상 간의 보정을 이용하여 상기 영상에 상기 말단의 3D 위치를 재투영(reprojection)하여 상기 말단의 2D 관심 영역을 생성한 후 상기 말단을 식별할 수 있다.The controller 30 uses cascade-type machine learning to detect a region of interest (ROI) preset to include a sample collection area from the acquired image, and then detects a region of interest (ROI) within the detected region of interest. Detect the sample collection area, estimate the 3D position of the end of the sample collection means from the driving means 20 and the kinematic chain of the sample collection means, and use correction between the drive means and the image. Thus, the 3D position of the extremity can be reprojected onto the image to create a 2D region of interest of the extremity, and then the extremity can be identified.
제어기(30)는, 상기 검체 채취 영역의 3D 위치를 상기 구동 수단 및 상기 영상 간의 좌표계 정합을 통해 상기 구동 수단(20)의 좌표계 상의 3D 좌표로 변환하여 최초 목표 위치를 설정하고, 상기 구동 수단(20)을 이용하여 상기 최초 목표 위치를 향해 상기 검체 채취 수단을 이송시킬 수 있다.The controller 30 converts the 3D position of the sample collection area into 3D coordinates on the coordinate system of the driving means 20 through coordinate system matching between the driving means and the image to set an initial target position, and the driving means ( 20) can be used to transport the sample collection means toward the initial target location.
제어기(30)는, 상기 검체 채취 수단의 접근에 따라, 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치를 추적하고, 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치가 일치하도록 상기 구동 수단을 제어하며, 수정된 상기 구동 수단의 포즈에 따라 목표 위치로 점진적인 접근을 유도함으로써, 상기 오차를 실시간으로 보상할 수 있다.The controller 30 tracks the 2D position of the sample collection area and the 2D position of the end of the sample collection means, according to the approach of the sample collection means, and tracks the 2D position of the sample collection area and the end of the sample collection means. The error can be compensated in real time by controlling the driving means to match the 2D position and inducing a gradual approach to the target position according to the modified pose of the driving means.
이때, 상기 제어기(30)는, 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치 사이의 오차를 감소시키는 방향으로 상기 구동 수단의 요(yaw) 및 피치(pitch)의 각도를 조정하는 회전(rotation)을 제어할 수 있다. 또는, 상기 제어기(30)는, 상기 검체 채취 영역의 2D 위치 및 상기 검체 채취 수단의 말단의 2D 위치 사이의 오차를 감소시키는 방향으로 상기 구동 수단의 병진(translation)을 제어할 수 있다.At this time, the controller 30 adjusts the yaw and pitch angles of the driving means in a direction that reduces the error between the 2D position of the sample collection area and the 2D position of the end of the sample collection means. The rotation can be controlled. Alternatively, the controller 30 may control translation of the driving means in a direction that reduces the error between the 2D position of the sample collection area and the 2D position of the end of the sample collection means.
제어기(30)는, 수정된 상기 구동 수단의 포즈에 따라 새로운 접근 방향을 설정하고, 상기 검체 채취 영역의 깊이 정보를 이용하여 깊이 방향 전진 값을 결정하고, 설정된 상기 새로운 접근 방향에 따라 접근하였을 때 상기 검체 채취 수단의 말단의 3D 포즈를 산출하여 상기 구동 수단의 목표 위치로 설정함으로써 접근 제어를 수행하되, 상기 검체 채취 수단의 말단이 상기 검체 채취 영역에 도달할 때까지 상기 접근 제어를 반복함으로써, 상기 목표 위치로 점진적인 접근을 유도할 수 있다.The controller 30 sets a new approach direction according to the modified pose of the driving means, determines the depth direction advance value using the depth information of the sample collection area, and approaches according to the set new approach direction. Access control is performed by calculating the 3D pose of the end of the sample collection means and setting it as the target position of the driving means, and repeating the access control until the end of the sample collection means reaches the sample collection area, A gradual approach to the target location can be induced.
도 10은 본 발명의 일 실시예에 따른 검체 채취 장치를 구현한 실험 장비를 예시한 도면이다. 자동화된 비인두 검체 채취에서 제안된 시각적 서보의 성능을 검증하기 위해, 콧구멍에서의 면봉 배치를 사람을 대신하는 머리 팬텀(phantom) 모델에서 실험하였다. 6-자유도의 로봇 암에 구비된 어댑터를 통해 면봉이 연결되었다. 센서를 통해 시각적으로 감지된 영상이 디스플레이 장치를 통해 제어 GUI와 함께 표시되고 있다.Figure 10 is a diagram illustrating experimental equipment implementing a sample collection device according to an embodiment of the present invention. To verify the performance of the proposed visual servo in automated nasopharyngeal specimen collection, swab placement in the nostrils was tested on a human head phantom model. The cotton swab was connected through an adapter provided on the 6-degree-of-freedom robot arm. The image visually detected through the sensor is displayed along with the control GUI through the display device.
실험 절차는, 1) 콧구멍 타겟 위치를 식별하고, 2) 시각적 서보 제어를 사용하여 콧구멍에 면봉의 위치를 지정한다. 첫째, 3D 콧구멍 타겟 위치는 2D에서 딥 러닝 기반 콧구멍 탐지 및 이미지 좌표에서 3D 라이다 좌표로의 후속 매핑으로 식별되었다. 그런 다음, 라이다 좌표의 3D 대상 위치를 카메라-로봇 보정을 통해 로봇 좌표로 변환하고 실시간으로/지속적으로 갱신했다. 로봇 좌표에서 콧구멍의 3D 목표 위치를 고려하여, 2D에서 탐지된 면봉의 시각적 서보링을 통해 6-자유도 로봇 팔을 제어하여 콧구멍에서 샘플링 면봉을 정확하게 찾는다. 초기 면봉 변형을 고려하기 위해 30개의 온전한 비인두 면봉에 대해 실험을 반복하였다.The experimental procedure is to 1) identify the nostril target location, and 2) position the swab in the nostril using visual servo control. First, 3D nostril target locations were identified by deep learning-based nostril detection in 2D and subsequent mapping from image coordinates to 3D lidar coordinates. Then, the 3D target position in LiDAR coordinates was converted to robot coordinates through camera-robot calibration and updated in real time/continuously. Considering the 3D target position of the nostril in robot coordinates, a six-degree-of-freedom robotic arm is controlled through visual servoing of the detected swab in 2D to accurately locate the sampling swab in the nostril. The experiment was repeated on 30 intact nasopharyngeal swabs to account for initial swab deformation.
이제, 시각적 서보 제어의 결과를 위치 제어의 결과와 비교하였다. 도 11 및 도 12는 개-루프(open-loop) 제어와 본 발명의 일 실시예에 따른 시각적 서보 제어의 실험 결과를 비교하여 도시한 도면이다. 위치 제어는 시각적 피드백 없이 로봇의 초기 위치에서 3D로 감지된 콧구멍 목표까지 사전 계획된 궤적을 따른다. 절차의 실행 시간은 10초로 설정되었으며, 추가 분석을 위해 테스트 중 비디오를 사용하여 콧구멍과 면봉 위치를 기록했다.Now, the results of visual servo control are compared with the results of position control. Figures 11 and 12 are diagrams comparing experimental results of open-loop control and visual servo control according to an embodiment of the present invention. Position control follows a pre-planned trajectory from the robot's initial position to the 3D detected nostril target without visual feedback. The execution time of the procedure was set to 10 seconds, and nostril and swab positions were recorded using video during the test for further analysis.
도 11을 참조하면, 시각적 서보 제어와 위치 제어에 대한 실험에서 수집된 정지 영상을 보여준다. 카메라 이미지에 표시된 실제 면봉은 이미지의 사각형 상자로 표시된 것처럼 이상적인 기구학적 모델의 재투영과는 다르다. 그럼에도 불구하고, 시각적 서보를 사용하면 면봉 팁이 2D 이미지에서 1.0초 이내에 콧구멍 표적에 수렴할 수 있다(이미지의 빨간색(콧구멍 표적) 및 노란색(팁) 마커 참조). 그러나 위치 제어의 경우 이러한 초기 불일치로 인해 면봉 팁에서 최종 위치 오류가 발생했다.Referring to Figure 11, it shows still images collected in experiments on visual servo control and position control. The actual swab shown in the camera image differs from the reprojection of the ideal kinematic model, as indicated by the square box in the image. Nonetheless, using a visual servo, the swab tip can converge on the nostril target in less than 1.0 s in the 2D image (see red (nostril target) and yellow (tip) markers in the image). However, in the case of position control, this initial mismatch resulted in a final position error at the swab tip.
자동화된 면봉 배치의 실험 결과를 비교하여 예시하면 다음의 표 1과 같다.An example comparison of the experimental results of automated swab placement is shown in Table 1 below.
평균 위치 오차는 시각적 서보 제어의 경우 1.74픽셀(1.11mm 오류에 해당)인 반면, 시각적 피드백이 없는 순수 위치 제어의 경우 16.54픽셀(10.58mm)로 크게 증가했다. 시술의 실패는 환자에게 피해를 줄 수 있기 때문에 안전 관점에서 최대 오류는 중요한 지표가 될 수 있다. 시각적 서보 제어의 최대 오류는 약 2mm이므로, 30번의 시도가 모두 성공적이었다. 또한, 시각적 서보 제어에 의한 최종 면봉 위치는 콧구멍 타겟 주변에 잘 밀집되어 있는 반면, 개방 루프 제어에 의한 면봉 위치는 도 12와 같이 타겟의 왼쪽에 흩어져 있다. 대상으로부터의 일관된 오프셋(offset)은 주로 카메라 로봇 보정에 의해 유도될 수 있지만 이러한 분산 패턴은 면봉 편향의 변화로 인해 발생할 수 있다.The average position error was 1.74 pixels (corresponding to an error of 1.11 mm) for visual servo control, while it increased significantly to 16.54 pixels (corresponding to an error of 1.11 mm) for pure position control without visual feedback. From a safety perspective, maximum error can be an important indicator because failure of the procedure can cause harm to the patient. The maximum error in visual servo control is approximately 2 mm, so all 30 attempts were successful. Additionally, the final swab positions by visual servo control are well clustered around the nostril target, whereas the swab positions by open loop control are scattered to the left of the target, as shown in Figure 12. A consistent offset from the target may be primarily driven by camera robot calibration, but this dispersion pattern may also result from changes in swab deflection.
상기된 본 명세서의 실시예들에 따르면, 로봇을 이용한 검체 채취의 자동화를 통해 의료진의 교차 감염과 업무 과중 문제를 완화하고, 별도의 가이드 도구(guide tool) 없이 다양한 상용 면봉을 활용할 수 있으며, 영상에서 콧구멍과 면봉을 실시간으로 동시에 검출하고 이미지 상에 콧구멍과 면봉의 말단을 일치시키면서 면봉을 전진시키는 영상 기반의 제어를 구현함으로써 면봉의 초기 변형이나 카메라-로봇 간 정합 오차에 상관없이 정확한 검체 채취가 가능하다.According to the above-described embodiments of the present specification, the problems of cross-infection and work overload of medical staff can be alleviated through automation of sample collection using robots, various commercial swabs can be used without a separate guide tool, and imaging By simultaneously detecting the nostril and the swab in real time and implementing image-based control to advance the swab while matching the nostril and the end of the swab on the image, accurate specimen collection is achieved regardless of the initial deformation of the swab or registration error between the camera and robot. Collection is possible.
본 명세서에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 명세서의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다. 펌웨어나 소프트웨어에 의한 구현의 경우, 본 명세서의 일 실시예는 이상에서 설명된 능력 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.Embodiments according to the present specification may be implemented by various means, for example, hardware, firmware, software, or a combination thereof. In the case of implementation by hardware, an embodiment of the present specification includes one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and FPGAs ( It can be implemented by field programmable gate arrays, processors, controllers, microcontrollers, microprocessors, etc. In the case of implementation by firmware or software, an embodiment of the present specification may be implemented in the form of a module, procedure, function, etc. that performs the capabilities or operations described above. Software code can be stored in memory and run by a processor. The memory is located inside or outside the processor and can exchange data with the processor through various known means.
한편, 본 명세서의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 명세서가 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Meanwhile, embodiments of the present specification can be implemented as computer-readable codes on a computer-readable recording medium. Computer-readable recording media include all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. Additionally, the computer-readable recording medium can be distributed across computer systems connected to a network, so that computer-readable code can be stored and executed in a distributed manner. And functional programs, codes, and code segments for implementing embodiments can be easily deduced by programmers in the technical field to which this specification pertains.
이상에서 본 명세서에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 명세서에 속하는 기술 분야에서 통상의 지식을 가진 자는 다양한 실시예들이 본 명세서의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 명세서의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 명세서에 포함된 것으로 해석되어야 할 것이다.In the above, the present specification was examined focusing on its various embodiments. Those skilled in the art of the present specification will understand that various embodiments may be implemented in modified forms without departing from the essential characteristics of the present specification. Therefore, the disclosed embodiments should be considered from an illustrative rather than a restrictive perspective. The scope of the present specification is indicated in the claims rather than the foregoing description, and all differences within the equivalent scope should be construed as being included in the present specification.
900: 검체 채취 장치
10: 센서
20: 구동 수단
30: 제어기900: Sample collection device
10: sensor
20: Drive means
30: controller
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220190170AKR102801294B1 (en) | 2022-12-30 | 2022-12-30 | Method and apparatus for collecting specimen using vision-based control |
| PCT/KR2023/010961WO2024143739A1 (en) | 2022-12-30 | 2023-07-27 | Sample collection method and apparatus using image-based control |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220190170AKR102801294B1 (en) | 2022-12-30 | 2022-12-30 | Method and apparatus for collecting specimen using vision-based control |
| Publication Number | Publication Date |
|---|---|
| KR20240107476Atrue KR20240107476A (en) | 2024-07-09 |
| KR102801294B1 KR102801294B1 (en) | 2025-05-02 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220190170AActiveKR102801294B1 (en) | 2022-12-30 | 2022-12-30 | Method and apparatus for collecting specimen using vision-based control |
| Country | Link |
|---|---|
| KR (1) | KR102801294B1 (en) |
| WO (1) | WO2024143739A1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112237449A (en)* | 2020-09-18 | 2021-01-19 | 台州学院 | A fully automatic throat swab collection device |
| CN111631754B (en)* | 2020-05-26 | 2021-07-09 | 清华大学 | A throat swab automatic sampling system |
| KR20210136385A (en)* | 2020-05-07 | 2021-11-17 | 한양대학교 산학협력단 | Specimen collection method, robot and system |
| KR20220131311A (en)* | 2020-01-23 | 2022-09-27 | 프로맥소 인크. | MRI-guided robotic systems and methods for biopsy |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102350049B1 (en)* | 2020-04-21 | 2022-01-12 | 한국기계연구원 | Remote respiratory sample collecting apparatus driven with multiple degree of freedom |
| KR102570097B1 (en)* | 2020-11-12 | 2023-08-24 | 주식회사 제우기술 | Sampling system and method using robot arm |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220131311A (en)* | 2020-01-23 | 2022-09-27 | 프로맥소 인크. | MRI-guided robotic systems and methods for biopsy |
| KR20210136385A (en)* | 2020-05-07 | 2021-11-17 | 한양대학교 산학협력단 | Specimen collection method, robot and system |
| CN111631754B (en)* | 2020-05-26 | 2021-07-09 | 清华大学 | A throat swab automatic sampling system |
| CN112237449A (en)* | 2020-09-18 | 2021-01-19 | 台州学院 | A fully automatic throat swab collection device |
| Title |
|---|
| A. Gao et al., "Progress in robotics for combating infectious diseases," Sci. Robot., vol. 6, no. 52, 2021. |
| Y. Shen et al., "Robots under COVID-19 Pandemic: A Comprehensive Survey," IEEE Access, vol. 9, pp. 1590-1615, 2021. |
| Publication number | Publication date |
|---|---|
| WO2024143739A1 (en) | 2024-07-04 |
| KR102801294B1 (en) | 2025-05-02 |
| Publication | Publication Date | Title |
|---|---|---|
| Seita et al. | Fast and reliable autonomous surgical debridement with cable-driven robots using a two-phase calibration procedure | |
| CN112006777B (en) | Robotic system and control method for nailing surgery based on surface tracking | |
| CN113855286B (en) | A dental implant robot navigation system and method | |
| US20200261155A1 (en) | Image based robot guidance | |
| US20150223725A1 (en) | Mobile maneuverable device for working on or observing a body | |
| US12279841B2 (en) | Robotic surgical safety via video processing | |
| Sundaresan et al. | Automated extraction of surgical needles from tissue phantoms | |
| JP2013516264A (en) | Calibration-free visual servo using real-time speed optimization | |
| Qin et al. | davincinet: Joint prediction of motion and surgical state in robot-assisted surgery | |
| US11682122B2 (en) | Auto-tracker characterization with robotics applications | |
| CN114730454A (en) | Scene Awareness System and Method | |
| Dehghani et al. | Colibridoc: An eye-in-hand autonomous trocar docking system | |
| CN115089302A (en) | Surgical robotic system and method | |
| Ge et al. | Autonomous system for tumor resection (astr)-dual-arm robotic midline partial glossectomy | |
| Dagnino et al. | A vision-based system for fast and accurate laser scanning in robot-assisted phonomicrosurgery | |
| JP2019077026A (en) | Control device, robot system, and control device operating method and program | |
| Kam et al. | Autonomous system for vaginal cuff closure via model-based planning and markerless tracking techniques | |
| Hwang et al. | Visual servo control of COVID-19 nasopharyngeal swab sampling robot | |
| CN114523471B (en) | Error detection method and robot system based on correlation identification | |
| Krupa et al. | Autonomous retrieval and positioning of surgical instruments in robotized laparoscopic surgery using visual servoing and laser pointers | |
| CN113729944A (en) | Automated surgical device using monocular positioning tracker | |
| Staub et al. | Contour-based surgical instrument tracking supported by kinematic prediction | |
| KR102801294B1 (en) | Method and apparatus for collecting specimen using vision-based control | |
| Sun et al. | Development of a novel intelligent laparoscope system for semi‐automatic minimally invasive surgery | |
| Doignon et al. | The role of insertion points in the detection and positioning of instruments in laparoscopy for robotic tasks |
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | Patent event code:PA01091R01D Comment text:Patent Application Patent event date:20221230 | |
| PA0201 | Request for examination | Patent event code:PA02011R01I Patent event date:20221230 Comment text:Patent Application | |
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection | Comment text:Notification of reason for refusal Patent event date:20241018 Patent event code:PE09021S01D | |
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration | Patent event code:PE07011S01D Comment text:Decision to Grant Registration Patent event date:20250421 | |
| PG1601 | Publication of registration |