RU2767174C1 - Method for tracking flexible surgical instrument based on inertial microelectromechanical sensors (mems) - Google Patents

Abstract

FIELD: medicine.SUBSTANCE: present invention relates to medical equipment, namely to development of positioning of surgical instruments based on inertial microelectromechanical (MEMS) sensors, namely to means of positioning, orientation and tracking of surgical instruments. Disclosed method implements the use of a surgical instrument unit with MEMS sensors and a computing unit. Surgical instrument unit with MEMS sensors includes a flexible surgical instrument 1, MEMS sensors 2, power and data buses 3. Computing unit includes microcontroller 4, data transmission unit 5, computing module 6, power supply 7, software 8, personal computer with software for 3D modelling 9 and display 10.EFFECT: technical result is the creation of a system for inertial positioning and tracking of surgical instruments based on MEMS sensors in real time.1 cl, 2 dwg

Description

Translated fromRussian

Настоящее изобретение относится к медицинской технике, а именно к разработке способа позиционирования хирургических инструментов на основе инерциальных микроэлектромеханических (МЭМС) датчиков, а именно к средствам позиционирования, ориентирования и отслеживания перемещения гибких хирургических инструментов.The present invention relates to medical technology, namely to the development of a method for positioning surgical instruments based on inertial microelectromechanical (MEMS) sensors, namely to means for positioning, orienting and tracking the movement of flexible surgical instruments.

Данная задача решается за счет того, хирургические инструменты позиционируются с помощью различных методов, таких как электромагнитные системы позиционирования, вычислительная геометрия и векторная алгебра, и система инерциального позиционирования. В методике электромагнитных систем позиционирования используются приемники и передатчики напряженности магнитного поля, которые воздействуют на металлические хирургические инструменты, что, в результате, приводит к ошибкам в определении положения хирургического инструмента. В методике вычислительной геометрии и векторной алгебры используется дополнительный математический метод триангуляции, который использует систему оптической локализации, маркеры и опорные точки.This problem is solved by having surgical instruments positioned using various methods such as electromagnetic positioning systems, computational geometry and vector algebra, and an inertial positioning system. The technique of electromagnetic positioning systems uses magnetic field strength receivers and transmitters that act on metal surgical instruments, which, as a result, leads to errors in determining the position of the surgical instrument. The method of computational geometry and vector algebra uses an additional mathematical method of triangulation, which uses an optical localization system, markers and reference points.

Известен способ определения положения и ориентации перемещающегося объекта с использованием магнитного поля, где применяются дипольные передающие антенны, генерирующие либо переменные, либо импульсные магнитные поля, измеряемые закрепленными на объекте датчиками, причем показания датчиков затем используются для вычисления ориентации, определяемой в общем случае тремя угловыми координатами (азимут, угол места и крена), и тремя линейными координатами объекта [1].A method is known for determining the position and orientation of a moving object using a magnetic field, where dipole transmitting antennas are used that generate either alternating or pulsed magnetic fields measured by sensors attached to the object, and the sensor readings are then used to calculate the orientation, which is generally determined by three angular coordinates (azimuth, elevation and roll), and three linear coordinates of the object [1].

Однако при наличии вблизи источника магнитного поля электропроводящих материалов точность таких систем в значительной степени подвержена влиянию вторичных магнитных полей, генерируемых наводимыми вихревыми токами, при этом величина и распределение поля существенно искажаются в случае присутствия вблизи рабочей области материалов с высокой магнитной проницаемостью. Поэтому предварительно осуществляют магнитное картографирование области перемещения объекта, что заключается в измерении значений компонент магнитного поля с построением карты магнитного поля помех в области перемещения объекта. и в основном применяется в авиационной технике, следящих и охранных системах и мультимедийных компьютерных технологиях. немножкоHowever, if there are electrically conductive materials near the source of the magnetic field, the accuracy of such systems is largely affected by secondary magnetic fields generated by induced eddy currents, while the magnitude and distribution of the field are significantly distorted if materials with high magnetic permeability are present near the working area. Therefore, magnetic mapping of the area of movement of the object is preliminarily carried out, which consists in measuring the values of the components of the magnetic field with the construction of a map of the magnetic field of interference in the area of movement of the object. and is mainly used in aviation technology, tracking and security systems and multimedia computer technologies. a little

В данном способе используются много вычислительных блоков, таких как источник рабочего поля (ИРП) с устройством управления, соединенным с бортовым компьютером летательного аппарата, приемник, содержащий девять однокомпонентных дифференциальных датчиков, устройство в виде печатной платы с микроконтроллером для передачи показаний датчиков на компьютер и трехкомпонентный датчик поля Земли, располагаемый на удалении от ИРП. С точки зрения себестоимости и сложности схемотехнических решений (технических решений) использование этой методики становится затруднительным. Кроме того, область перемещения подвижного объекта в пространстве ограничена, причем его отдаление от рабочей области приводит к снижению точности измерений. Однако нет возможности прикреплять данный датчик на конструкцию хирургического инструмента, так как имеет большие по сравнению с местом крепления размеры, вследствие того, что приемник содержит девять однокомпонентных дифференциальных датчиков и устройство в виде печатной платы с микроконтроллером для передачи показаний датчиков.This method uses many computing units, such as a working field source (IRS) with a control device connected to the on-board computer of the aircraft, a receiver containing nine single-component differential sensors, a device in the form of a printed circuit board with a microcontroller for transmitting sensor readings to a computer, and a three-component Earth field sensor, located at a distance from the IRS. From the point of view of the cost and complexity of circuit solutions (technical solutions), the use of this technique becomes difficult. In addition, the area of movement of a moving object in space is limited, and its distance from the working area leads to a decrease in measurement accuracy. However, it is not possible to attach this sensor to the structure of a surgical instrument, since it has large dimensions compared to the attachment point, due to the fact that the receiver contains nine single-component differential sensors and a device in the form of a printed circuit board with a microcontroller for transmitting sensor readings.

Известен способ определения ориентации объекта с помощью инерциального измерительного модуля, который вычисляет корректирующие сигналы позиционной коррекции и решает кинематические уравнения для вычисления оценок углов ориентации, к корректирующим сигналам позиционной коррекции добавляют перекрестные сигналы коррекции в каждом канале, коэффициенты которых задаются исходя из необходимых динамических свойств системы, целью которого является повышение точности автономного определения параметров ориентации подвижных объектов. Инерциальный измерительный модуль состоит из трехосного блока магнитометров, трехосного блока акселерометров и трехосного блока гироскопов [2].There is a known method for determining the orientation of an object using an inertial measuring module that calculates position correction signals and solves kinematic equations for calculating estimates of orientation angles; cross correction signals in each channel are added to the position correction correction signals, the coefficients of which are set based on the necessary dynamic properties of the system, the purpose of which is to increase the accuracy of autonomous determination of the orientation parameters of moving objects. The inertial measurement module consists of a triaxial magnetometer unit, a triaxial accelerometer unit, and a triaxial gyroscope unit [2].

Данный способ позволяет повысить точность решения задачи автономной ориентации подвижных объектов за счет асимптотической устойчивости системы по всем трем углам ориентации, возможности настройки системы на период Шулера для компенсации баллистических погрешностей без введения интегральной коррекции, возможности настройки системы как фильтр нижних частот по всем входам и выходам.This method improves the accuracy of solving the problem of autonomous orientation of moving objects due to the asymptotic stability of the system in all three orientation angles, the ability to tune the system for the Schuler period to compensate for ballistic errors without introducing integral correction, the ability to tune the system as a low-pass filter for all inputs and outputs.

Недостатком данного способа является обширная область использования; относится к приборостроению, именно к области приборов и систем ориентации, и может быть применен в системах управления подвижными объектами. Предлагаемый способ относится только к области медицинской техники, а именно для определения и слежения гибкого хирургического инструмента в пространстве; кроме того, описаны назначение, подключение, принцип и состав каждого блока, а также расположение МЭМС датчиков вдоль хирургического инструмента.The disadvantage of this method is the extensive area of use; relates to instrumentation, specifically to the field of instruments and orientation systems, and can be applied in control systems for moving objects. The proposed method relates only to the field of medical technology, namely to determine and track a flexible surgical instrument in space; in addition, the purpose, connection, principle and composition of each unit, as well as the location of MEMS sensors along the surgical instrument are described.

Кроме того, другим недостатком данного способа является автономная ориентация и навигация подвижных объектов в условиях отсутствия возможности применения спутниковых навигационных систем, возможное использование в авиационной, морской и наземной техниках. Однако предлагаемый способ относится к области медицинской техники, поскольку медучреждения находятся в зоне спутниковых навигационных систем, кроме тех случаев, когда возможно по специальному назначению находиться на наземных или морских площадках.In addition, another disadvantage of this method is the autonomous orientation and navigation of moving objects in the absence of the possibility of using satellite navigation systems, possible use in aviation, marine and ground technology. However, the proposed method relates to the field of medical technology, since medical facilities are located in the area of satellite navigation systems, except in cases where it is possible for a special purpose to be on land or sea sites.

Наиболее близким к заявленному техническому решению является способ автономной ориентации подвижного объекта с помощью инерциального измерительного модуля.Closest to the claimed technical solution is a method of autonomous orientation of a moving object using an inertial measuring module.

Из изученной научно-технической и патентной информации не известен способ определения ориентации и положения гибкого хирургического инструмента в трехмерном пространстве с указанными в формуле изобретения отличительными признаками. Это дает основание сделать вывод о соответствии заявляемого способа критериям изобретения.From the studied scientific, technical and patent information, no method is known for determining the orientation and position of a flexible surgical instrument in three-dimensional space with the distinctive features indicated in the claims. This gives grounds to conclude that the proposed method meets the criteria of the invention.

Задачей, на решение которой направлено заявляемое изобретение, является упростить работу врача-хирурга и избежать нанесения повреждений пациенту.The task to be solved by the claimed invention is to simplify the work of the surgeon and avoid causing damage to the patient.

Технический результат – определение и отслеживание положения гибкого хирургического инструмента в трехмерном пространстве на основе инерциальных МЭМС датчиков в режиме реального времени.EFFECT: determining and tracking the position of a flexible surgical instrument in three-dimensional space based on inertial MEMS sensors in real time.

Технический результат достигается тем, что способ трекинга гибкого хирургического инструмента, включающий использование составного модуля, реализованного в виде единой цифровой МЭМС микросхемы, включающей трехосевой магнитометр, трехосевой гироскоп и трехосевой акселерометр, согласно изобретению инерциальные МЭМС датчики в виде отдельной цифровой МЭМС микросхемы, которые располагают вдоль хирургического инструмента, после чего фиксируют определённую координату хирургического инструмента в пространстве и определяют его положение в каждой точке; причем количество МЭМС датчиков зависит от длины хирургического инструмента, а расстояние между двумя из них определяется требуемой точностью позиционирования элементов инструмента и составляет от 2 до 10 мм, в микроконтроллер по шинам питания и данных передаются зафиксированные МЭМС датчиками значения, которые затем принимаются в блоке передачи данных; в качестве блока передачи данных можно использовать проводной и беспроводной виды соединений, после чего через шины питания и данных полученные значения передаются к вычислительному модулю; в вычислительном модуле осуществляется обработка данных, затем через интерфейс передачи информации передаются в персональный компьютер, и на платформе разработки 3D-приложений в реальном времени отрисовывается положение хирургического инструмента в трехмерном пространстве и отображается на мониторе персонального компьютера; с помощью источника питания обеспечивается подача электрической энергии вычислительному модулю, блоку передачи данных и микроконтроллеру; в микроконтроллере, модуле для беспроводной передачи и приема данных и вычислительном модуле по назначению прошивается программное обеспечение.The technical result is achieved by the fact that the method of tracking a flexible surgical instrument, including the use of a composite module implemented in the form of a single digital MEMS microcircuit, including a three-axis magnetometer, a three-axis gyroscope and a three-axis accelerometer, according to the invention, inertial MEMS sensors in the form of a separate digital MEMS microcircuit, which are located along surgical instrument, after which a certain coordinate of the surgical instrument in space is fixed and its position is determined at each point; moreover, the number of MEMS sensors depends on the length of the surgical instrument, and the distance between two of them is determined by the required positioning accuracy of the instrument elements and ranges from 2 to 10 mm, the values recorded by the MEMS sensors are transmitted to the microcontroller via the power and data buses, which are then received in the data transmission unit ; as a data transmission unit, you can use wired and wireless types of connections, after which the obtained values are transmitted through the power and data buses to the computing module; data processing is carried out in the computing module, then the information is transferred to a personal computer through the transmission interface, and the position of the surgical instrument in three-dimensional space is drawn in real time on the 3D application development platform and displayed on the personal computer monitor; with the help of a power source, electrical energy is supplied to the computing module, data transmission unit and microcontroller; in the microcontroller, the module for wireless transmission and reception of data and the computing module, the software is flashed as intended.

Сущность изобретения поясняется чертежами, на которых изображено:The essence of the invention is illustrated by drawings, which show:

на фиг.1 изображен блок хирургического инструмента с МЭМС датчиками, на фиг.2 изображен вычислительный блок.figure 1 shows a block of a surgical instrument with MEMS sensors, figure 2 shows a computing unit.

Предлагаемое устройство, состоящее из блока хирургического инструмента с МЭМС датчиками (трехосевой акселерометр, трехосевой гироскоп и трехосевой магнетометр) (фиг.1) включает в себя гибкий хирургический инструмент 1, МЭМС датчики 2, шины питания и данных 3. Вычислительный блок (фиг.2) включает в себя микроконтроллер 4, блок передачи данных 5, вычислительного модуля 6, источника питания 7, программного обеспечения 8, персонального компьютера с программным обеспечением для 3D-моделирования 9 и дисплея 10.The proposed device, consisting of a surgical instrument unit with MEMS sensors (three-axis accelerometer, three-axis gyroscope and three-axis magnetometer) (figure 1) includes a flexiblesurgical instrument 1,MEMS sensors 2, power anddata buses 3. Computing unit (figure 2 ) includes amicrocontroller 4, adata transmission unit 5, acomputing module 6, apower supply 7,software 8, a personal computer with software for3D modeling 9 and adisplay 10.

На фиг.1 приведено расположение МЭМС датчиков 2 в гибком хирургическом инструменте 1. МЭМС датчики располагаются вдоль хирургического инструмента 1, количество МЭМС датчиков зависит от типа хирургического инструмента. С точки зрения сложности схемотехнического решения, влияния внешних шумов, соотношения массогабаритных показателей и себестоимости наиболее лучшим вариантом является использование составного модуля, реализованного в виде единой цифровой МЭМС микросхемы, включающей трехосевой магнитометр, трехосевой гироскоп и трехосевой акселерометр. Несмотря на то, что по строению хирургические инструменты бывают гибкие и жесткие, датчики можно использовать в обоих случаях. Расстояние между двумя составным модулями определяется требуемой точностью позиционирования элементов инструмента и составляет от 2 до 10 мм. Шины питания и данных 3 соединяют МЭМС датчики с внешней средой. На фиг.2 приведен вычислительный блок, который проводит дальнейшую обработку получаемого значения с блока хирургического инструмента с МЭМС датчиками (фиг.1). Блок хирургического инструмента с МЭМС датчиками через шины питания и данных 3 подключаются к микроконтроллеру 4. Микроконтроллер 4 принимает зафиксированные МЭМС датчиками значения и передает их в блок передачи данных 5. В качестве блока передачи данных можно использовать проводной и беспроводной виды соединений. В случае применения проводного соединения через шины питания и данных полученные значения передаются к вычислительному модулю 6. В случае применения беспроводного соединения можно использовать модуль для беспроводной передачи и приема данных, который представляет из себя ведущий - передатчик и ведомый - приемник. Ведущий - передатчик подключается к микроконтроллеру, а ведомый - приемник подключается к вычислительному модулю. Данные от ведущего – передатчика передаются к ведомому - приемника, и после чего их принимает вычислительный модуль. В вычислительном модуле осуществляется обработка данных, затем через интерфейс передачи информации передаются в персональный компьютер 9. На платформе разработки 3D-приложений в реальном времени отрисовывается положение хирургического инструмента в трехмерном пространстве и отображается на мониторе персонального компьютера 11. С помощью источника питания 7 обеспечивается подача электрической энергии вычислительному модулю, блоку передачи данных и микроконтроллеру. В микроконтроллере 4, модуле для беспроводной передачи и приема данных и вычислительном модуле 6 по назначению прошивается программное обеспечение 8.Figure 1 shows the location ofMEMS sensors 2 in a flexiblesurgical instrument 1. MEMS sensors are located along thesurgical instrument 1, the number of MEMS sensors depends on the type of surgical instrument. From the point of view of the complexity of the circuit design, the influence of external noise, the ratio of weight and size indicators and the cost, the best option is to use a composite module implemented as a single digital MEMS microcircuit, including a three-axis magnetometer, a three-axis gyroscope and a three-axis accelerometer. Despite the fact that the structure of surgical instruments is flexible and rigid, sensors can be used in both cases. The distance between two composite modules is determined by the required positioning accuracy of the tool elements and ranges from 2 to 10 mm. Power anddata buses 3 connect MEMS sensors to the external environment. Figure 2 shows the computing unit, which carries out further processing of the received value from the block of the surgical instrument with MEMS sensors (figure 1). The surgical instrument unit with MEMS sensors is connected to themicrocontroller 4 via the power anddata buses 3. Themicrocontroller 4 receives the values recorded by the MEMS sensors and transfers them to thedata transmission unit 5. Wired and wireless connections can be used as a data transmission unit. In the case of using a wired connection through the power and data buses, the obtained values are transmitted to thecomputing module 6. In the case of using a wireless connection, you can use a module for wireless transmission and reception of data, which is a master - transmitter and a slave - receiver. The master - the transmitter is connected to the microcontroller, and the slave - the receiver is connected to the computing module. Data from the master - transmitter is transmitted to the slave - receiver, and then they are received by the computing module. The data is processed in the computing module, then the information is transferred to thepersonal computer 9 through the transmission interface. On the platform for developing 3D applications, the position of the surgical instrument in three-dimensional space is drawn in real time and displayed on the monitor of the personal computer 11.Power supply 7 provides electrical energy to the computing module, data transmission unit and microcontroller. In themicrocontroller 4, the module for wireless transmission and reception of data and thecomputing module 6, thesoftware 8 is flashed as intended.

Устройство работает следующим образом: вдоль хирургического инструмента 1 будут располагаться (прикрепляться) чувствительные элементы микроэлектромеханических систем (МЭМС) 2. Каждый датчик фиксирует определённую координату хирургического инструмента в пространстве. По полученным значениям в режиме реального времени составляется трехмерное изображение гибкого хирургического инструмента в пространстве и определяется его положение в каждой точке.The device works as follows: sensitive elements of microelectromechanical systems (MEMS) 2 will be located (attached) along thesurgical instrument 1. Each sensor captures a certain coordinate of the surgical instrument in space. Based on the obtained values, a three-dimensional image of a flexible surgical instrument in space is compiled in real time and its position at each point is determined.

Приведенная совокупность признаков, обеспечивает создание системы инерциального позиционирования и слежения хирургических инструментов на основе МЭМС датчиков в режиме реального времени.The above set of features ensures the creation of a system for inertial positioning and tracking of surgical instruments based on MEMS sensors in real time.

ЛитератураLiterature

1. Патент РФ № 2241958. МПК G01C21/00. СПОСОБ (ВАРИАНТЫ) И СЛЕДЯЩАЯ СИСТЕМА ДЛЯ ОПРЕДЕЛЕНИЯ ПОЛОЖЕНИЯ И ОРИЕНТАЦИИ ПОДВИЖНОГО ОБЪЕКТА/ Амосков В.М. Заявл.02.12.2003. Опубл. 10.12.2004. Бюл. № 34. – 20 с.1. Patent of the Russian Federation No. 2241958. IPC G01C21 / 00. METHOD (VERSIONS) AND FOLLOWING SYSTEM FOR DETERMINING THE POSITION AND ORIENTATION OF A MOVING OBJECT/ Amoskov V.M. Appl. 02.12.2003. Published 12/10/2004. Bull. No. 34. - 20 p.

2. Патент РФ № 2738342. МПК G01M7/00. Способ автономной ориентации подвижного объекта с помощью инерциального измерительного модуля/ Амосков В.М. Заявл.30.12.2019. Опубл. 11.12.2020. Бюл. № 35. – 15 с.2. RF patent No. 2738342. IPC G01M7/00. The method of autonomous orientation of a moving object using an inertial measuring module / Amoskov V.M. Appl. 30.12.2019. Published 12/11/2020. Bull. No. 35. - 15 p.

Claims (1)

Translated fromRussian

Способ трекинга гибкого хирургического инструмента, включающий использование составного модуля, реализованного в виде единой цифровой МЭМС микросхемы, включающей трехосевой магнитометр, трехосевой гироскоп и трехосевой акселерометр, отличающийся тем, что инерциальные МЭМС датчики в виде отдельной цифровой МЭМС микросхемы, которые располагают вдоль хирургического инструмента, после чего фиксируют определённую координату хирургического инструмента в пространстве и определяют его положение в каждой точке; причем количество МЭМС датчиков зависит от длины хирургического инструмента, а расстояние между двумя из них определяется требуемой точностью позиционирования элементов инструмента и составляет от 2 до 10 мм, в микроконтроллер по шинам питания и данных передаются зафиксированные МЭМС датчиками значения, которые затем принимаются в блоке передачи данных; блок передачи данных использует проводной и беспроводной виды соединений, после чего через шины питания и данных полученные значения передаются к вычислительному модулю; в вычислительном модуле осуществляется обработка данных, затем через интерфейс передачи информации передаются в персональный компьютер,и на платформе разработки 3D-приложений в реальном времени отрисовывается положение хирургического инструмента в трехмерном пространстве и отображается на мониторе персонального компьютера; с помощью источника питания обеспечивается подача электрической энергии вычислительному модулю, блоку передачи данных и микроконтроллеру; в микроконтроллере, модуле для беспроводной передачи и приема данных и вычислительном модуле по назначению прошивается программное обеспечение.A method for tracking a flexible surgical instrument, which includes the use of a composite module implemented in the form of a single digital MEMS microcircuit, including a three-axis magnetometer, a three-axis gyroscope and a three-axis accelerometer, characterized in that inertial MEMS sensors in the form of a separate digital MEMS microcircuit, which are located along the surgical instrument, after which fix a certain coordinate of the surgical instrument in space and determine its position at each point; moreover, the number of MEMS sensors depends on the length of the surgical instrument, and the distance between two of them is determined by the required positioning accuracy of the instrument elements and ranges from 2 to 10 mm, the values recorded by the MEMS sensors are transmitted to the microcontroller via the power and data buses, which are then received in the data transmission unit ; the data transmission unit uses wired and wireless connections, after which the received values are transmitted through the power and data buses to the computing module; data processing is carried out in the computing module, then the information is transferred to a personal computer through the transmission interface, and the position of the surgical instrument in three-dimensional space is drawn in real time on the 3D application development platform and displayed on the personal computer monitor; with the help of a power source, electrical energy is supplied to the computing module, data transmission unit and microcontroller; in the microcontroller, the module for wireless transmission and reception of data and the computing module, the software is flashed as intended.

Images