KR101953730B1 - Medical non-contact interface system and method of controlling the same - Google Patents

Abstract

Translated fromKorean

본 개시는 의료용 비접촉 인터페이스 시스템에 있어서, 동작정보를 인식하는 비접촉 센서; 시술자의 동작정보가 저장된 저장부; 비접촉 센서로부터 인식된 동작정보와 저장부에 저장된 시술자의 동작정보를 비교하는 판단부; 판단부에 의해 비접촉 센서로부터 인식된 동작정보와 저장부에 저장된 시술자의 동작정보가 일치하는 경우 비접촉 센서에서 인식된 동작정보와 관련된 메시지를 선택하는 메시지 선택부; 그리고 선택된 메시지를 프로그램에 전달하는 전송부;를 포함하는 의료용 비접촉 인터페이스 시스템 및 이의 제어방법에 관한 것이다.The present disclosure relates to a medical contactless interface system, comprising: a contactless sensor for recognizing operation information; A storage unit for storing operation information of a practitioner; A judging unit for comparing the operation information recognized by the non-contact sensor with the operation information of the practitioner stored in the storage unit; A message selection unit for selecting a message related to the operation information recognized by the non-contact sensor when the operation information recognized by the non-contact sensor matches the operation information of the practitioner stored in the storage unit by the determination unit; And a transmission unit for transmitting the selected message to the program, and a control method thereof.

Description

Translated fromKorean

의료용 비접촉 인터페이스 시스템{MEDICAL NON-CONTACT INTERFACE SYSTEM AND METHOD OF CONTROLLING THE SAME}[0001] MEDICAL NON-CONTACT INTERFACE SYSTEM AND METHOD OF CONTROLLING THE SAME [0002]

본 개시(Disclosure)는 의료용 비접촉 인터페이스 시스템 및 이의 제어방법에 대한 것이다. 특히 시술자의 편리성과 환자의 안전을 향상시키는 의료용 비접촉 인터페이스 시스템 및 이의 제어방법에 대한 것이다.Disclosure relates to a medical contactless interface system and a control method thereof. And more particularly, to a medical contactless interface system and a control method thereof for improving the convenience of a practitioner and the safety of a patient.

여기서는, 본 개시에 관한 배경기술이 제공되며, 이들이 반드시 공지기술을 의미하는 것은 아니다(This section provides background information related to the present disclosure which is not necessarily prior art). 또한 본 명세서에서 상측/하측, 위/아래 등과 같은 방향 표시는 도면을 기준으로 한다.Herein, the background art relating to the present disclosure is provided, and these are not necessarily meant to be known arts. Also, in this specification, directional indication such as up / down, up / down, etc. is based on the drawings.

의료영상을 사용하여 수술장에서 의료영상에 의해 의료도구를 가이드 또는 모니터링하거나 수술장 외의 공간(예 : 의료영상 판독실)에서 의료영상을 사용하여 병변을 연구 또는 상태를 평가하는 등의 방법이 사용되고 있다.A medical image is used to guide or monitor a medical tool by a medical image in a surgical field or a medical image is used in a space outside a surgical field (for example, a medical image reading room) to study a lesion or to evaluate a condition have.

도 1은 미국 공개특허공보 제2012/0265071호에 개시된 의료 워크스테이션의 일 예를 나타내는 도면으로서, 로봇암에 이미징 장치(2)와 의료도구(7)가 구비되어 있고, 제어 장치(3)는 이미징 장치가 의료도구를 따라 움직이도록 로봇팔을 제어한다. 이와 같은 수술장에서는 복수의 의료영상을 모니터링 하면서 시술자나 보조자가 의료영상을 제어하게 된다. 이러한 의료영상에는 의료도구에 구비된 이미징 장치로부터 전달된 이미지뿐만 아니라 진단 및/또는 수술 계획에 사용된 의료영상들이 필요에 따라 디스플레이되며, 제어될 필요가 있다.1 is a diagram showing an example of a medical work station disclosed in U.S. Patent Application Publication No. 2012/0265071, in which a robot arm is provided with animaging device 2 and amedical tool 7, And controls the robot arm so that the imaging device moves along with the medical instrument. In such an operation site, a surgeon or an assistant controls medical images while monitoring a plurality of medical images. Such medical images need to be displayed and controlled as needed, as well as medical images used in diagnosis and / or surgery planning, as well as images transmitted from imaging devices provided in medical instruments.

도 2는 미국 공개특허공보 제2009/0217207호에 개시된 의료 이미지 디스플레이의 일 예를 나타내는 도면으로서, 의료 이미지 디스플레이는 프로세싱유닛, 디스플레이(6), 리모트 콘트롤(10), 커뮤니케이션 인터페이스 및 소프트웨어 모듈을 포함한다. 프로세싱 유닛은 의료영상을 처리하고 디스플레이에 표시한다. 리모트 콘트롤은 적어도 하나의 모션 감지 센서에 의해 시술자의 움직임을 등록한다. 커뮤니케이션 인터페이스는 시술자의 움직임을 프로세싱 유닛으로 전송한다. 소프트웨어 모듈은 시술자의 움직임과 디스플레이된 의료영상을 조화시켜 시술자 움직임을 의료영상의 움직임으로 재생한다. 그러나 시술자가 손으로 리모트 콘트롤을 만지는 것은 무균상태(aseptic condition)를 저해하며, 시술자가 리모트 콘트롤을 조작하면 시술을 집중하는데 방해가 된다. 추가로 보조자를 두어 보조자가 리모트 콘트롤을 사용하면, 시술자가 원하는 것을 따로 지시를 하거나 요청을 해야하는 불편함이 있다.2 shows an example of a medical image display as disclosed in U.S. Patent Application Publication No. 2009/0217207, which includes a processing unit, adisplay 6, aremote control 10, a communication interface and a software module do. The processing unit processes the medical image and displays it on the display. The remote control registers the operator's movement by at least one motion detection sensor. The communication interface transmits the movement of the operator to the processing unit. The software module reproduces the operator's movements as the motion of the medical image by matching the movement of the operator with the displayed medical image. However, when the operator touches the remote control by hand, it disturbs the aseptic condition and interferes with the concentration of the operation when the operator manipulates the remote control. If an assistant is additionally provided and the assistant uses the remote control, there is a disadvantage that the practitioner needs to separately instruct or make a request.

한편, 의료영상과 관련된 프로그램 이외에도 시술 및/또는 수술장 내에서는 시술 및/또는 수술과 관련된 다양한 프로그램(예 : 의료영상 관련 프로그램인 3D PACS, 파워포인트, PACS 프로그램, 사진 뷰어 프로그램 등)을 운영하고 이를 제어할 필요가 있다. 그러나 시술 및/또는 수술장 내에서는 무균적 환경을 유지하기 위해서 마우스나 키보드와 같이 손으로 접촉하여 이러한 프로그램을 제어하는 것은 환자에게 바람직하지 않으며 시술자에게도 불편함이 있다.In addition to programs relating to medical images, various programs related to procedures and / or operations (e.g., 3D PACS, PowerPoint, PACS programs, and photo viewer programs, etc.) related to medical images are operated within a procedure and / You need to control it. However, it is inconvenient for the operator to control such a program by hand contact with a mouse or a keyboard in order to maintain an aseptic environment in the procedure and / or operation field.

본 개시는 종래의 이러한 문제점을 해결하여 환자의 안전을 향상시키고 시술자의 편리성을 제공하고자 시술 및/또는 수술과 관련된 프로그램을 시술자가 손으로 접촉하지 않고 제어할 수 있는 비접촉 인터페이스 시스템 및 이의 제어방법을 제공하고자 한다. 특히 본 발명은 키보드 및 마우스와 같은 입력 수단을 대체하거나 키보드 및 마우스와 같은 입력 수단과 함께 사용할 수 있으며, 더 나아가 시술 및/또는 수술과 관련된 프로그램의 소스 코드를 수정할 필요가 없는 장점을 갖고 있다.The present disclosure relates to a noncontact interface system and a control method therefor, which can prevent a practitioner from touching a program related to a procedure and / or surgery in order to improve the safety of a patient and provide convenience for a practitioner, . In particular, the present invention has the advantage that it can replace input means such as a keyboard and a mouse, or can be used with input means such as a keyboard and a mouse, and furthermore, there is no need to modify the source code of a program related to procedure and / or surgery.

이에 대하여 '발명의 실시를 위한 구체적인 내용'의 후단에 기술한다.This will be described later in the Specification for Implementation of the Invention.

여기서는, 본 개시의 전체적인 요약(Summary)이 제공되며, 이것이 본 개시의 외연을 제한하는 것으로 이해되어서는 아니된다(This section provides a general summary of the disclosure and is not a comprehensive disclosure of its full scope or all of its features).SUMMARY OF THE INVENTION Herein, a general summary of the present disclosure is provided, which should not be construed as limiting the scope of the present disclosure. of its features).

본 개시에 따른 일 태양에 의하면(According to one aspect of the present disclosure), 의료용 비접촉 인터페이스 시스템에 있어서, 동작정보를 인식하는 비접촉 센서; 시술자의 동작정보가 저장된 저장부; 비접촉 센서로부터 인식된 동작정보와 저장부에 저장된 시술자의 동작정보를 비교하는 판단부; 판단부에 의해 비접촉 센서로부터 인식된 동작정보와 저장부에 저장된 시술자의 동작정보가 일치하는 경우 비접촉 센서에서 인식된 동작정보와 관련된 메시지를 선택하는 메시지 선택부; 그리고 선택된 메시지를 프로그램에 전달하는 전송부;를 포함하는 의료용 비접촉 인터페이스 시스템이 제공된다.According to one aspect of the present disclosure, there is provided a medical contactless interface system comprising: a contactless sensor that recognizes motion information; A storage unit for storing operation information of a practitioner; A judging unit for comparing the operation information recognized by the non-contact sensor with the operation information of the practitioner stored in the storage unit; A message selection unit for selecting a message related to the operation information recognized by the non-contact sensor when the operation information recognized by the non-contact sensor matches the operation information of the practitioner stored in the storage unit by the determination unit; And a transmission unit for transmitting the selected message to the program.

본 개시에 따른 다른 태양에 의하면(According to another aspect of the present disclosure), 의료용 비접촉 인터페이스 시스템의 제어방법에 있어서, 시술자의 동작정보를 저장부에 저장하는 단계; 비접촉 센서가 동작정보를 인식하는 단계; 비접촉 센서가 인식한 동작정보와 저장부에 저장된 시술자의 동작정보를 판단부가 비교하는 단계; 비접촉 센서가 인식한 동작정보와 저장부에 저장된 시술자의 동작정보가 일치하는 경우 비접촉 센서가 인식한 동작정보와 관련된 메시지를 선택하는 단계; 그리고 선택된 메시지를 프로그램에 전송하는 단계;를 포함하는 의료용 비접촉 인터페이스 시스템의 제어방법이 제공된다.According to another aspect of the present disclosure, there is provided a method of controlling a medical contactless interface system, comprising: storing operation information of a practitioner in a storage unit; The non-contact sensor recognizing the operation information; Comparing the operation information recognized by the non-contact sensor with the operation information of the operator stored in the storage unit; Selecting a message related to the operation information recognized by the non-contact sensor when the operation information recognized by the non-contact sensor coincides with the operation information of the operator stored in the storage unit; And transmitting the selected message to the program.

이에 대하여 '발명의 실시를 위한 구체적인 내용'의 후단에 기술한다.This will be described later in the Specification for Implementation of the Invention.

도 1은 미국 공개특허공보 제2012/0265071호에 개시된 의료 워크스테이션의 일 예를 나타내는 도면,
도 2는 미국 공개특허공보 제2009/0217207호에 개시된 의료 이미지 디스플레이의 일 예를 나타내는 도면,
도 3은 본 개시에 따른 의료용 비접촉 인터페이스 시스템의 일 예를 보여주는 블록도,
도 4는 본 개시에서 사용되는 동작정보의 일 예를 보여주는 도면,
도 5는 본 개시에서 시술자의 동작정보를 저장부에 저장하는 방법의 일 예를 설명하는 도면,
도 6은 본 개시에 따른 비접촉 인터페이스 시스템의 제어방법을 나타내는 흐름도,
도 7은 본 개시에 따른 비접촉 인터페이스 시스템의 사용 예를 보여주는 도면,
도 8은 본 개시에 따른 비접촉 인터페이스 시스템의 다른 사용 예를 보여주는 도면
도 9는 본 개시에 따른 비접촉 인터페이스 시스템의 다른 사용 예를 보여주는 도면.1 is a diagram illustrating an example of a medical workstation disclosed in U.S. Patent Application Publication No. 2012/0265071,
2 is a diagram showing an example of a medical image display disclosed in U.S. Patent Application Publication No. 2009/0217207,
3 is a block diagram showing an example of a medical contactless interface system according to the present disclosure;
4 is a diagram showing an example of operation information used in the present disclosure;
5 is a view for explaining an example of a method of storing operation information of a practitioner in a storage unit in the present disclosure;
6 is a flowchart showing a control method of the contactless interface system according to the present disclosure;
7 is a diagram showing an example of using the contactless interface system according to the present disclosure,
8 is a view showing another use example of the contactless interface system according to the present disclosure;
9 is a diagram showing another use example of the contactless interface system according to the present disclosure;

이하, 본 개시를 첨부된 도면을 참고로 하여 자세하게 설명한다(The present disclosure will now be described in detail with reference to the accompanying drawing(s)).The present disclosure will now be described in detail with reference to the accompanying drawings.

도 3은 본 개시에 따른 의료용 비접촉 인터페이스 시스템의 일 예를 보여주는 블록도이다.3 is a block diagram showing an example of a medical contactless interface system according to the present disclosure;

의료용 비접촉 인터페이스 시스템(100)은 동작정보를 인식하는 비접촉 센서(110), 시술자의 동작정보가 저장된 저장부(120), 비접촉 센서(110)로부터 인식된 동작정보와 저장부(120)에 저장된 시술자의 동작정보를 비교하는 판단부(130), 판단부(130)에 의해 비접촉 센서(110)로부터 인식된 동작정보와 저장부(120)에 저장된 시술자의 동작정보가 일치하는 경우 비접촉 센서(110)에서 인식된 동작정보로 프로그램을 제어하고자 하는 메시지를 선택하는 메시지 선택부(140) 및 선택된 메시지를 프로그램에 전송하는 전송부(150)를 포함한다. 동작정보는 손동작 정보와 손가락 정보를 포함한다. 손동작 정보와 손가락 정보에 대해서는 도 4에서 설명한다. 동작정보를 인식하는 비접촉 센서(110)는 사람이나 물체의 동작을 접촉하지 않고서 인식할 수 있는 것이라면 어느 것이라도 가능하다. 예를 들어 사람의 동작을 인식하는 립모션(Leapmotion), Kinect senor, Myo(근육 EMG sensor + Gyro sensor) 등이 있으며 사람의 음성을 인식(speech recognition)하는 것 등이 있을 수 있다. 시술자의 동작정보가 저장된 저장부(120)는 일반적으로 디지털 정보를 저장하는 것으로 예를 들어 SSD(Solid State Drive), USB(Universal Serial Bus) 등이 있다. 시술자의 동작정보를 저장부(120)에 저장하는 방법에 대해서는 도 5에서 설명한다. 비접촉 센서(110)로부터 인식된 동작정보와 저장부(120)에 저장된 시술자의 동작정보를 비교하는 판단부(130)는 시술 및/또는 수술장 내에 복수의 사람들이 있는 경우, 여러 사람의 동작정보가 비접촉 센서(110)에 의해 인식될 수 있을 때 시술자의 동작정보만을 시술 및/또는 수술을 위해 사용하는 프로그램을 제어하는 동작정보로 인식할 수 있도록 한다. 판단부(130)는 다양한 기계학습(Machine learning) 알고리즘을 통해 스스로 학습을 진행하여 판단 오류를 줄여나갈 수 있다. 기계학습(Machine learning) 알고리즘으로는 예를 들어 딥러닝(Deep learning-CNN, RNN), SVM(Support Vector Machine), HMM(Hiedden Markov Model), Randon Forest 등이 있다. 메시지 선택부(140)는 판단부(130)에서 시술자의 동작정보로 판단한 동작정보가 시술 및/또는 수술을 위해 사용하는 프로그램을 제어하기 위한 메시지를 선택한다. 예를 들어 시술자가 제어하고자 하는 프로그램이 의료영상과 관련된 프로그램인 경우 시술자의 동작정보가 의료영상을 확대하기 위한 것인지, 축소하기 위한 것인지 아니면 회전하기 위한 것인지 등 시술자의 동작정보가 갖는 메시지를 선택한다. 이후 전송부(150)는 메시지 선택부(140)에 의해 선택된 메시지를 프로그램에 전송한다. 메시지는 프로그램을 제어하는 제어신호일 수 있다. 본 개시에 따른 비접촉 인터페이스 시스템을 통해서 수술 및/또는 시술을 위해 사용되는 프로그램에 전송되는 제어신호는 접촉형 인터페이스인 마우스나 키보드를 통해 전송되는 제어신호와 유사한 방식의 제어신호이기 때문에 수술 및/또는 시술을 위해 사용되는 기존의 프로그램은 본 개시에 따른 비접촉 인터페이스 시스템에 사용되기 위해서 별도로 소스코드를 변경할 필요가 없다. 즉 본 개시에 따른 비접촉 인터페이스 시스템을 사용해도 기존의 프로그램을 그대로 사용할 수 있다. 비접촉 인터페이스 시스템(100)에서 저장부(120), 판단부(130), 메시지 선택부(140) 및 전송부(150) 등은 일반적인 컴퓨터의 일부 장치(예 : 저장부로서 USB, SDD 등)이거나 컴퓨터에서 사용하는 소프트웨어(예 : 딥러닝, SVM 등) 일 수 있다.The medicalcontactless interface system 100 includes acontactless sensor 110 for recognizing operation information, astorage unit 120 for storing operation information of a practitioner, operation information recognized from thecontactless sensor 110,Contact sensor 110 when the operation information recognized by thenon-contact sensor 110 by thedetermination unit 130 and the operation information of the practitioner stored in thestorage unit 120 coincide with each other, Amessage selection unit 140 for selecting a message to be controlled by the operation information recognized by the received operation information, and atransmission unit 150 for transmitting the selected message to the program. The action information includes hand gesture information and finger information. Hand motion information and finger information will be described with reference to FIG. Thenon-contact sensor 110 that recognizes the operation information can be any one that can recognize the operation of a person or an object without touching. For example, there are Leapmotion, Kinect senor, Myo (muscle EMG sensor + Gyro sensor) that recognizes human motion, and speech recognition of human voice. Thestorage unit 120 storing operation information of a practitioner generally stores digital information, for example, a solid state drive (SSD) and a universal serial bus (USB). A method of storing operation information of a practitioner in thestorage unit 120 will be described with reference to FIG. Thedetermination unit 130, which compares the operation information recognized by thenon-contact sensor 110 with the operation information of the practitioner stored in thestorage unit 120, determines whether or not there is a plurality of people in the procedure and /Contact sensor 110, it is possible to recognize only the operation information of the operator as operation information for controlling a program used for surgery and / or surgery. Thedetermination unit 130 can perform self learning through various machine learning algorithms to reduce judgment errors. Machine learning algorithms include Deep Learning (CNN, RNN), SVM (Support Vector Machine), HMM (Hiedden Markov Model) and Randon Forest. Themessage selecting unit 140 selects a message for controlling a program used for operation and / or operation by the operation information determined by the determiningunit 130 as operation information of the operator. For example, if a program to be controlled by a practitioner is a program related to a medical image, a message of the operator's operation information such as whether the operation information of the operator is for expanding the medical image, for reducing or rotating the medical image is selected . Then, the transmittingunit 150 transmits the message selected by themessage selecting unit 140 to the program. The message may be a control signal that controls the program. Since the control signal transmitted to the program used for the surgery and / or the procedure through the contactless interface system according to the present disclosure is a control signal similar to the control signal transmitted through the mouse or the keyboard as the contact interface, Existing programs used for the procedures do not need to be separately modified for use in the contactless interface system according to the present disclosure. That is, even if the contactless interface system according to the present disclosure is used, the existing program can be used as it is. Thestorage unit 120, thedetermination unit 130, themessage selection unit 140 and thetransmission unit 150 in thecontactless interface system 100 may be a part of a general computer (e.g., USB, SDD, etc. as a storage unit) It can be software used by a computer (for example, deep running, SVM, etc.).

도 4는 본 개시에서 사용되는 동작정보의 일 예를 보여주는 도면이다.4 is a diagram showing an example of operation information used in the present disclosure.

본 개시에서 사용되는 동작정보는 손동작 정보 및 손가락 정보를 포함한다. 도 4(a)는 손동작 정보의 일 예를 보여준다. 도 4(a)에서는 5 가지의 손동작 정보를 보여준다. 손동작 정보는 5 가지를 초과하거나 미만으로 정할 수 있다. 또한 도시하지는 않았지만 손동작 정보는 도 4(a)에 도시한 5 가지를 전후좌우로 움직이거나 회전하는 것도 포함할 수 있다. 손동작 정보는 수술 및/또는 시술을 위해 사용되는 프로그램을 제어하는 메시지를 나타낼 수 있다. 예를 들어 특정 손동작 정보는 수술 및/또는 시술을 위해 사용되는 프로그램이 의료영상을 제어하는 프로그램인 경우 의료영상을 회전시키거나 확대하거나 축소하는 것 등과 같은 메시지를 포함할 수 있으며 이에 대한 예를 도 8에서 설명한다. 그러나 손동작 정보는 시술 및/또는 수술장 내에 다수의 사람이 있는 경우 여러 사람이 동시에 유사한 손동작 정보를 실행할 수 있다. 손동작 정보가 시술자의 손동작 정보인 것을 판단하기 위해서 손가락 정보가 필요하다. 도 4(b)는 손가락 정보와 관련된 용어를 설명하기 위한 손가락 구조를 보여주는 도면이며 도 4(c)는 손가락 정보를 설명하는 도면이다. 손가락 정보는 손가락 수, 손가락 끝 점(200)과 손가락 바닥 점(201) 간의 거리(210), 손가락 바닥 점(201) 간의 거리(220), 손가락의 두께(230), 이웃한 손가락 사이의 각도(240) 및 손바닥 위치(202)에서 이웃하지 않은 손가락 끝점(201) 간의 각도(250) 중 적어도 하나를 포함한다. 즉 손동작 정보를 통해 메시지를 정하고 손동작 정보를 실행하는 손가락의 손가락 정보를 통해 손동작 정보를 실행하는 사람이 시술자인지 여부를 판단하는 것이다. 손가락 정보 6개를 종합적으로 비교하여 시술자의 손동작 정보인지를 판단한다. 예를 들어 도 4(d)와 같은 손동작 정보에서 손가락 정보로서 손가락의 두께(230) 및 손가락 끝 점(200)과 손가락 바닥 점(201) 간의 거리(210) 등을 통해 손동작 정보를 실행하는 사람이 시술자인지 아닌지 여부를 판단하는 것이다.The motion information used in the present disclosure includes hand gesture information and finger information. 4 (a) shows an example of hand gesture information. Fig. 4 (a) shows five kinds of handwriting information. The hand operation information may be set to be more than or less than 5 kinds. Although not shown, the hand movement information may include moving or rotating the five kinds of information shown in Fig. 4 (a) in the front, rear, left, and right directions. The hand gesture information may indicate a message that controls the program used for surgery and / or procedures. For example, the specific hand gesture information may include a message such as rotating, magnifying or reducing the medical image if the program used for surgery and / or procedure is a program that controls the medical image, 8. However, the hand gesture information can be used by a plurality of people to simultaneously perform similar hand gesture information when there are a large number of people in the procedure and / or operation field. Finger information is required to determine that the hand-operated information is the hand-operative information of the practitioner. Fig. 4 (b) is a diagram showing a finger structure for explaining terms related to finger information, and Fig. 4 (c) is a diagram for explaining finger information. The finger information includes the number of fingers, thedistance 210 between thefingertip point 200 and thefingertip point 201, thedistance 220 between the fingertip points 201, the thickness of thefinger 230, (250) between the fingertip position (240) and the non-adjacent fingertip (201) at the palm position (202). That is, it is determined whether the person who executes the hand-operation information through the finger information of the finger that determines the message through the hand-operation information and executes the hand-operation information is the operator. The finger information is comprehensively compared to judge whether the information is the operator's hand operation information. For example, in the hand operation information as shown in Fig. 4 (d), a person who executes the hand operation information through thethickness 230 of the finger, thedistance 210 between thefingertip point 200 and the fingerbottom point 201, It is to judge whether it is this practitioner or not.

도 5는 본 개시에서 시술자의 동작정보를 저장부에 저장하는 방법의 일 예를 설명하는 도면이다.5 is a view for explaining an example of a method of storing operation information of a practitioner in a storage unit in the present disclosure.

시술자의 동작정보, 즉 손동작 정보와 손가락 정보를 저장부에 저장하기 위해서 먼저 시술자의 동작정보를 비접촉 센서를 통해 인식한다. 도 5(a)는 비접촉 센서인 립모션(300)을 이용해서 시술자의 동작정보(310)를 인식하는 것을 보여준다. 도 5(a)와 같이 인식된 동작정보(310)를 도 5(b)와 같이 립모션(300)에 있는 Tool을 이용하여 손동작 정보 및 손가락 정보를 저장한다. 시술자의 다양한 동작정보를 도 5(a) 및 도 5(b)와 같은 방법을 사용하여 시술자의 동작정보를 저장부에 저장한다.In order to store the operation information of the operator, that is, the hand operation information and the finger information in the storage unit, the operation information of the operator is first recognized through the non-contact sensor. 5 (a) shows theoperation information 310 of the operator by using thelip motion 300, which is a non-contact sensor. The hand operation information and the finger information are stored by using the tool in thelip motion 300 as shown in FIG. 5 (b) as theoperation information 310 recognized as shown in FIG. 5 (a). The operation information of the practitioner is stored in the storage unit by using the method of FIG. 5 (a) and FIG. 5 (b).

도 6은 본 개시에 따른 의료용 비접촉 인터페이스 시스템의 제어방법을 나타내는 흐름도이다.6 is a flowchart showing a control method of the medical contactless interface system according to the present disclosure.

의료용 비접촉 인터페이스를 사용하기 위해서는, 먼저 시술자의 동작정보를 저장부에 저장한다(S1). 시술자의 동작정보를 저장하는 방법은 도 5에서 설명하였다. 이후 비접촉 센서가 동작정보를 인식한다(S2). 비접촉 센서는 시술자 이외에 수술장 내에 있는 여러 사람의 동작정보를 인식할 수 있다. 이후 비접촉 센서가 인식한 동작정보와 저장부에 저장된 시술자의 동작정보를 판단부가 비교를 한다(S3). 이후 현재 사용중인 프로그램을 자동으로 감지(S4)하여 프로그램에 맞는 시술자의 동작정보가 갖는 메시지를 메시지 선택부에서 선택한다(S5). 이후 선택된 메시지를 프로그램에 전송한다(S6). 메시지는 프로그램을 제어하는 제어신호일 수 있다. 추가로 새로운 시술자가 본 개시에 따른 비접촉 인터페이스 시스템을 사용하고자 하는 경우에는 S1 단계 내지 S6 단계를 반복한다(S7). 또는 저장부에 여러 명의 시술자 동작정보를 저장한 상태에서 실제 시술장에 들어가는 시술자의 저장정보를 사용할 수도 있다. 또는 이동형 저장장치(USB)를 사용하여 시술장 내에 설치된 컴퓨터에 연결하여 시술장 내에서 직접 시술을 하는 시술자의 동작정보에만 비접촉형 인터페이스 시스템이 반응하도록 할 수도 있다.In order to use the medical contactless interface, first, the operation information of the operator is stored in the storage unit (S1). The method of storing the operation information of the operator is described in FIG. Then, the non-contact sensor recognizes the operation information (S2). The non-contact sensor can recognize operation information of various persons in the operation field in addition to the operator. Thereafter, the determination unit compares the operation information recognized by the non-contact sensor and the operation information of the operator stored in the storage unit (S3). Thereafter, the currently used program is automatically detected (S4), and a message having the operator's operation information suitable for the program is selected by the message selection unit (S5). Thereafter, the selected message is transmitted to the program (S6). The message may be a control signal that controls the program. If the new practitioner wishes to use the contactless interface system according to the present disclosure, stepsS 1 toS 6 are repeated (S 7). Or, it is possible to use the stored information of the practitioner entering the actual procedure field in a state where a plurality of operator operation information is stored in the storage section. Alternatively, the non-contact type interface system may respond to only the operation information of a practitioner who performs a procedure directly within the procedure field by connecting to a computer installed in the procedure field using a portable storage device (USB).

도 7은 본 개시에 따른 의료용 비접촉 인터페이스 시스템의 사용 예를 보여주는 도면이다.7 is a view showing an example of use of the medical contactless interface system according to the present disclosure.

도 7에는 의료영상의 제공방법이 실행되는 구체적인 의료영상 제공 시스템이 예시되어 있다. 예를 들어, 의료영상 제공 시스템은 환자로부터 의료영상을 획득하는 의료영상 촬영 장치(400)를 구비하며, 디스플레이(410) 장치가 구비되어 있고, 비접촉 센서(420)로서 립모션 장치(420)가 예시되어 있다. 의료영상 촬영 장치(400), 디스플레이(410), 비접촉 센서(420)는 컴퓨터(430)에 의해 연동될 수 있다. 앞서 언급했듯이 컴퓨터(430)에 비접촉 인터페이스 시스템의 저장부, 판단부, 메시지 선택부 및 전송부가 포함될 수 있다. 물론 의료영상 제공 시스템과는 별도로 비접촉 인터페이스 시스템의 저장부, 판단부, 메시지 선택부 및 전송부를 포함하는 컴퓨터를 구비할 수도 있다.7 shows a specific medical image providing system in which a medical image providing method is executed. For example, the medical image providing system includes a medicalimage capturing apparatus 400 for acquiring a medical image from a patient, and includes adisplay 410, and alip motion device 420 as anon-contact sensor 420 Are illustrated. The medicalimage capturing device 400, thedisplay 410, and thenon-contact sensor 420 may be interlocked by thecomputer 430. As described above, thecomputer 430 may include a storage unit, a determination unit, a message selection unit, and a transmission unit of the contactless interface system. Aside from the medical image providing system, a computer including a storage unit, a determination unit, a message selection unit, and a transmission unit of the contactless interface system may be provided.

도 8은 본 개시에 따른 비접촉 인터페이스 시스템의 다른 사용 예를 보여주는 도면이다8 is a diagram showing another use example of the contactless interface system according to the present disclosure

시술자의 손동작 정보(500)에 의해 의료영상(510) 내에 뇌 영상, 폐 영상, 간 영상, 뼈 영상 등의 의료영상(510)이 회전한다. 도 8에는 는 두개골 영상이 예시되어 있다. 시술자의 손동작 정보와 제어신호인 메시지를 매칭하는데 있어서 손동작 정보는 디스플레이(520)를 기준으로 좌우(H), 상하(V), 앞뒤(D) 동작 등 병진 운동이 기본이 될 수 있으며, 이와 다른 회전 등의 손동작 정보가 사용될 수도 있다. 다만, 의료영상의 제어의 안정성을 위해 간단 명료한 손동작 정보를 제어신호인 메시지로 매칭하는 것이 좋을 것이다. 예를 들어, 손동작 정보로서 활짝 편 손이 우측으로 이동하면 도 8(a)에 도시된 바와 같이 두개골 영상이 우측으로 회전하고, 활짝 편 손이 좌측으로 이동하면 도 8(b)에 도시된 바와 같이 두개골 영상이 좌측으로 회전한다. 따라서 시술자는 편리하고 안정적으로 보고자 하는 방향에서 의료영상을 볼 수 있다. 활짝 편 손을 상하로 움직이면 두개골 영상이 위로 및 아래로 회전하도록 매칭할 수 있는 것은 물론이며, 사선 방향으로 회전하는 것도 물론 가능하다. 또는 도 4(a)에 도시된 5 개의 손동작 정보와 매칭할 수도 있다.Themedical image 510 such as a brain image, a lung image, a liver image, and a bone image rotates in themedical image 510 by the operator'shand operation information 500. [ FIG. 8 illustrates a skull image. In matching the hand operation information of a practitioner with a message as a control signal, the hand movement information may be based on translational motion such as left and right (H), up and down (V), and back and forth (D) operations based on thedisplay 520, Hand motion information such as rotation may be used. However, in order to secure the control of the medical image, it is preferable to match simple and clear hand motion information with a message which is a control signal. For example, when the left hand as the hand motion information moves to the right, the skull image rotates to the right as shown in FIG. 8 (a), and when the right hand moves to the left, as shown in FIG. 8 Likewise, the skull image rotates to the left. Therefore, the practitioner can view medical images in a convenient and stable manner. It is of course possible to match the skull image so that the image of the skull is rotated up and down when the open hand is moved up and down, and it is of course possible to rotate in the oblique direction. Or may be matched with the five pieces of handwritten information shown in Fig. 4 (a).

도 9는 본 개시에 따른 비접촉 인터페이스 시스템의 다른 사용 예를 보여주는 도면이다.9 is a view showing another use example of the contactless interface system according to the present disclosure.

도 5에서는 시술자의 동작정보를 저장부에 저장하는 방법의 일 예를 설명하였다. 도 9는 도 5에서 설명하고 있는 시술자의 동작정보를 저장부에 저장하여 본 개시에 따른 비접촉 인터페이스 시스템을 사용한 경우 시술장 내에서 직접 시술을 하는 시술자의 동작정보에만 비접촉형 인터페이스 시스템이 반응하는 것을 보여주는 사용 예를 보여 준다. 도 9(a)는 저장부에 시술자의 동작정보가 저장된 경우 시술자가 시술장 내에서 동작정보를 주었을 때 발생하는 에러(error, 600)를 보여준다. 도 9(b)는 저장부에 시술자가 아닌 타인의 동작정보가 저장된 경우 시술자가 시술장 내에서 동작정보를 주었을 때 발생하는 에러(600, 601)를 보여준다. 도 9(b)에서 더 많은 에러가 발생하는 것을 알 수 있다. 즉 저장부가 갖고 있는 동작정보와 관련된 사람과 시술자가 동일한 경우에 비접촉 인터페이스 시스템이 동작정보를 인식할 때 발생하는 에러(600, 601)가 적으며, 이러한 에러도 기계학습(Machine learning) 알고리즘을 통해 점점 줄여가게 되어 저장부에 저장된 동작정보를 갖는 사람과 시술자가 동일한 경우에 비접촉 인터페이스 시스템은 에러가 없이 반응하게 되는 것이다. 에러의 종류는 다양하며 예를 들어 손동작 변경 시 발생하는 leap motion의 지연 에러(600), 잘못된 결과 예측으로 인한 prediction 에러(601)가 있을 수 있다. 특히 잘못된 결과 예측으로 인한 prediction 에러(601)는 시술자가 동작정보를 통해 전달하고자 하는 메시지를 잘못 인식하게 되는 것으로 시술시 중요한 에러가 될 수 있는데 본 개시에 따른 비접촉 인터페이스 시스템을 사용하는 경우 leap motion의 지연 에러(600)는 일부 발생하지만 잘못된 결과 예측으로 인한 prediction 에러(601)는 거의 발생하지 않으며 이러한 에러 마저도 기계학습(Machine learning) 알고리즘을 통해 제거될 수 있다.5, an example of a method of storing operation information of a practitioner in a storage unit has been described. FIG. 9 is a flowchart illustrating the operation of the non-contact interface system in which only the operation information of the practitioner performing the procedure directly in the procedure field is used when the non-contact interface system according to the present disclosure is stored in the storage unit, Show example usage. FIG. 9A shows an error (error 600) generated when the operator gives the operation information in the procedure field when the operation information of the operator is stored in the storage unit. FIG. 9B shows errors (600, 601) that occur when the operator gives motion information in the procedure field when operation information of the non-operator is stored in the storage unit. It can be seen that more errors occur in Fig. 9 (b). That is, when there is a person and a practitioner who are related to the operation information of the storage unit are the same, errors (600, 601) that occur when the contactless interface system recognizes the operation information are small. The contactless interface system responds with no error when the operator and the operator have the same operation information stored in the storage unit. There are various kinds of errors, for example, there may be a delay error (600) of a leap motion generated when a hand movement is changed, and a prediction error (601) due to a wrong result prediction. In particular, the prediction error (601) due to the incorrect prediction result may be an important error in the procedure because the operator recognizes the message to be transmitted through the operation information by mistake. In case of using the contactless interface system according to the present disclosure, Although thedelay error 600 is partially generated, theprediction error 601 due to the incorrect result prediction hardly occurs, and even such an error can be eliminated through the machine learning algorithm.

이하 본 개시의 다양한 실시 형태에 대하여 설명한다.Various embodiments of the present disclosure will be described below.

(1) 의료용 비접촉 인터페이스 시스템에 있어서, 동작정보를 인식하는 비접촉 센서;(1) A medical contactless interface system, comprising: a contactless sensor for recognizing operation information;

시술자의 동작정보가 저장된 저장부; 비접촉 센서로부터 인식된 동작정보와 저장부에 저장된 시술자의 동작정보를 비교하는 판단부; 판단부에 의해 비접촉 센서로부터 인식된 동작정보와 저장부에 저장된 시술자의 동작정보가 일치하는 경우 비접촉 센서에서 인식된 동작정보와 관련된 메시지를 선택하는 메시지 선택부; 그리고 선택된 메시지를 프로그램에 전달하는 전송부;를 포함하는 의료용 비접촉 인터페이스 시스템.A storage unit for storing operation information of a practitioner; A judging unit for comparing the operation information recognized by the non-contact sensor with the operation information of the practitioner stored in the storage unit; A message selection unit for selecting a message related to the operation information recognized by the non-contact sensor when the operation information recognized by the non-contact sensor matches the operation information of the practitioner stored in the storage unit by the determination unit; And a transmission unit for transmitting the selected message to the program.

(2) 동작정보는 손동작 정보와 손가락 정보를 포함하는 의료용 비접촉 인터페이스 시스템.(2) The operation-related information includes hand-operation information and finger information.

(3) 손가락 정보는 손가락 수, 손가락 끝 점과 손가락 바닥 점 간의 거리, 손가락 바닥 점 간의 거리, 손가락의 두께, 이웃한 손가락 사이의 각도 및 손바닥 위치에서 이웃하지 않은 손가락 끝점 간의 각도 중 적어도 하나인 것을 포함하는 의료용 비접촉 인터페이스 시스템.(3) The finger information includes at least one of the number of fingers, the distance between the fingertip point and the finger bottom point, the distance between the finger bottom points, the thickness of the finger, the angle between the adjacent fingers, and the angle between the non- Contactless interface system.

(4) 판단부는 기계학습 알고리즘을 포함하는 의료용 비접촉 인터페이스 시스템.(4) The judging unit includes a machine learning algorithm.

(5) 기계학습 알고리즘은 딥러닝(Deep learning) 및 SVM(Support Vector Machine)중 하나인 의료용 비접촉 인터페이스 시스템.(5) Machine learning algorithm is one of Deep learning and SVM (Support Vector Machine).

(6) 의료용 비접촉 인터페이스 시스템의 제어방법에 있어서, 시술자의 동작정보를 저장부에 저장하는 단계; 비접촉 센서가 동작정보를 인식하는 단계; 비접촉 센서가 인식한 동작정보와 저장부에 저장된 시술자의 동작정보를 판단부가 비교하는 단계; 비접촉 센서가 인식한 동작정보와 저장부에 저장된 시술자의 동작정보가 일치하는 경우 비접촉 센서가 인식한 동작정보와 관련된 메시지를 선택하는 단계; 그리고 선택된 메시지를 프로그램에 전송하는 단계;를 포함하는 의료용 비접촉 인터페이스 시스템 제어방법.(6) A control method for a medical contactless interface system, comprising: storing operation information of a practitioner in a storage unit; The non-contact sensor recognizing the operation information; Comparing the operation information recognized by the non-contact sensor with the operation information of the operator stored in the storage unit; Selecting a message related to the operation information recognized by the non-contact sensor when the operation information recognized by the non-contact sensor coincides with the operation information of the operator stored in the storage unit; And transmitting the selected message to the program.

(7) 동작정보는 손동작 정보와 손가락 정보를 포함하는 의료용 비접촉 인터페이스 시스템 제어방법.(7) The method for controlling noncontact interface system for medical use, wherein the operation information includes handwriting information and finger information.

(8) 손가락 정보는 손가락 수, 손가락 끝 점과 손가락 바닥 점 간의 거리, 손가락 바닥 점 간의 거리, 손가락의 두께, 이웃한 손가락 사이의 각도 및 손바닥 위치에서 이웃하지 않은 손가락 끝점 간의 각도 중 적어도 하나인 것을 포함하는 의료용 비접촉 인터페이스 시스템 제어방법.(8) The finger information includes at least one of the number of fingers, the distance between the fingertip point and the finger bottom point, the distance between the finger bottom points, the thickness of the finger, the angle between neighboring fingers, and the angle between the non- Wherein the medical contactless interface system control method comprises:

(9) 비접촉 센서가 인식한 동작정보와 저장부에 저장된 시술자의 동작정보를 비교 판단하는 단계에서 비교 판단은 기계학습 알고리즘에 따르는 의료용 비접촉 인터페이스 시스템 제어방법.(9) A method for controlling noncontact interface system according to a machine learning algorithm for comparing and judging operation information recognized by a noncontact sensor and operation information of a practitioner stored in a storage unit.

(10) 기계학습 알고리즘은 딥러닝(Deep learning) 및 SVM(Support Vector Machine)중 하나인 의료용 비접촉 인터페이스 시스템 제어방법.(10) The machine learning algorithm is one of Deep learning and SVM (Support Vector Machine).

본 개시에 따른 의료용 비접촉 인터페이스 시스템에 의하면, 시술자는 편리하고 환자는 안전하게 시술자가 시술 및/또는 수술장 내에 사용되는 프로그램을 제어할 수 있다.According to the medical contactless interface system according to the present disclosure, the practitioner can conveniently and patiently control the program that the practitioner uses in the procedure and / or operation field.

100: 의료용 비접촉 인터페이스 시스템
110: 비접촉 센서
120: 저장부
130: 판단부
140: 메시지 선택부
150 : 전송부100: Medical contactless interface system
110: Non-contact sensor
120:
130:
140: message selector
150:

Claims (3)

Translated fromKorean

의료용 비접촉 인터페이스 시스템에 있어서,
손동작 정보와 손가락 정보를 포함하는 동작정보를 인식하는 비접촉 센서;
시술자의 손동작 정보와 손가락 정보를 포함하는 동작정보가 저장된 저장부;
비접촉 센서로부터 인식된 시술장 또는 수술장 내의 복수의 사람들의 손동작 정보와 손가락 정보를 포함하는 동작정보와 저장부에 저장된 시술자의 손동작 정보와 손가락 정보를 포함하는 동작정보를 비교하는 판단부;
판단부에 의해 비접촉 센서로부터 인식된 손가락 정보와 저장부에 저장된 시술자의 손가락 정보가 일치하는 것으로 판단된 시술자의 손동작 정보와 관련된 메시지를 선택하는 메시지 선택부; 그리고
선택된 메시지를 프로그램에 전달하는 전송부;를 포함하며
손동작 정보는 손가락으로 만든 손 모양이며,
손가락 정보는 손가락 수, 손가락 끝 점과 손가락 바닥 점 간의 거리, 손가락 바닥 점 간의 거리, 손가락의 두께, 이웃한 손가락 사이의 각도 및 손바닥 위치에서 이웃하지 않은 손가락 끝점 간의 각도를 포함하는 의료용 비접촉 인터페이스 시스템.1. A medical contactless interface system comprising:
A non-contact sensor for recognizing operation information including hand movement information and finger information;
A storage unit for storing operation information including hand operation information of a practitioner and finger information;
A judging unit for comparing the operation information including the hand operation information and the finger information of the plurality of people in the procedure field or the operation field recognized from the non-contact sensor, and the operation information including the hand operation information of the operator stored in the storage unit and the finger information;
A message selection unit for selecting a message related to the hand operation information of the operator determined by the determination unit to match the finger information recognized by the non-contact sensor and the finger information of the operator stored in the storage unit; And
And a transfer unit for transferring the selected message to the program
Handwriting information is a finger-shaped hand,
The finger information includes a number of fingers, a distance between a fingertip point and a finger bottom point, a distance between the finger bottom points, a thickness of the finger, an angle between neighboring fingers, and an angle between the non- .청구항 1에 있어서,
판단부는 기계학습 알고리즘을 포함하는 의료용 비접촉 인터페이스 시스템.The method according to claim 1,
The judging unit includes a machine learning algorithm and a medical contactless interface system.청구항 2에 있어서,
기계학습 알고리즘은 딥러닝(Deep learning) 및 SVM(Support Vector Machine)중 하나인 의료용 비접촉 인터페이스 시스템.The method of claim 2,
The machine learning algorithm is one of Deep learning and SVM (Support Vector Machine).

Images