本開示は、心臓内の特定の構造の位置を自動的に検出することに関連する人工知能及び機械学習に関し、より好ましくは、心臓内のヒス束の位置を自動的に検出することに関する。The present disclosure relates to artificial intelligence and machine learning related to automatically detecting the location of specific structures within the heart, and more particularly, to automatically detecting the location of the His bundle within the heart.
アブレーションカテーテルを使用して、心組織内に組織壊死を生じさせ、（心房細動、心房粗動、心房頻拍、及び心室頻拍を含むがこれらに限定されない）心不整脈を矯正することは周知である。不整脈は、様々な病気及び更には死につながり得る、不規則的な心拍数、同期的な房室収縮の損失、及び血流の鬱血を含む様々な危険な状態を生じさせることがある。多くの不整脈の主要な原因は、１つ又は２つ以上の心腔内の漂遊電気信号であると考えられる。It is well known to use ablation catheters to cause tissue necrosis within cardiac tissue and correct cardiac arrhythmias (including, but not limited to, atrial fibrillation, atrial flutter, atrial tachycardia, and ventricular tachycardia). Arrhythmias can result in a variety of dangerous conditions, including irregular heart rate, loss of synchronized atrioventricular contractions, and congestion of blood flow, which can lead to a variety of illnesses and even death. Stray electrical signals within one or more heart chambers are thought to be the primary cause of many arrhythmias.
心臓アブレーションの間、患者の心臓の組織内に、損傷が生成される。損傷を生成するために、カテーテルが組織に接触して、電磁高周波（electromagnetic radiofrequency、ＲＦ）エネルギーがカテーテル電極から組織内に注入されるようにカテーテルを心臓内に挿入し、アブレーション及び損傷の生成を行う。During cardiac ablation, lesions are created in the tissue of a patient's heart. To create the lesions, a catheter is inserted into the heart so that the catheter contacts the tissue and electromagnetic radiofrequency (RF) energy is injected into the tissue from the catheter electrodes, performing the ablation and creating the lesions.
ヒス束は、他にはヒスの束として既知であるが、冠状静脈洞（coronary sinus、ＣＳ）のオリフィス付近に由来する心筋の一部である。ヒス束は、心房と心室との間に位置する房室（atrioventricular、ＡＶ）結節から心臓の心室に電気インパルスを伝達する役割を果たすという点で、心臓の電気伝導系の重要な部分である。The bundle of His, otherwise known as the bundle of His, is a portion of the myocardium that originates near the orifice of the coronary sinus (CS). The bundle of His is an important part of the cardiac electrical conduction system in that it is responsible for transmitting electrical impulses from the atrioventricular (AV) node, located between the atria and ventricles, to the ventricles of the heart.
ヒス束は、心臓内の脆弱な位置に位置付けられており、誤ってアブレーションされた場合、心臓の電気伝導系に有害かつ望ましくない影響をもたらすことがある。従来のアブレーション処置の間、医師は、多くの場合、アブレーション処置中にヒス束を回避することができるように、心臓内のその位置を識別するためにヒス束を手動でタグ付けする。ヒス束のそのような手動タグ付けは、面倒かつ時間がかかる。加えて、手動タグ付けは、心電図（electrocardiogram、ＥＣＧ）信号がヒス束インパルスのように見えるように出現するが実際にはそうではない、偽陽性読み取りをもたらすことがある。The His bundle is located in a vulnerable position within the heart and, if incorrectly ablated, can cause harmful and undesirable effects on the heart's electrical conduction system. During conventional ablation procedures, physicians often manually tag the His bundle to identify its location within the heart so that it can be avoided during the ablation procedure. Such manual tagging of the His bundle is tedious and time-consuming. Additionally, manual tagging can result in false-positive readings, in which the electrocardiogram (ECG) signal appears to resemble a His bundle impulse but is not.
人工知能及び／又は機械学習を利用して正確にヒス束を自動的に検出する自動かつ信頼性の高いシステム及び方法に対する必要性が存在する。There is a need for an automated and reliable system and method that utilizes artificial intelligence and/or machine learning to automatically and accurately detect the His bundle.
心臓内の特定の構造の位置を自動的に検出するための方法、装置、システム、及びモデルが、本明細書に記載される。Described herein are methods, devices, systems, and models for automatically detecting the location of specific structures within the heart.
一態様によれば、本明細書に開示される主題は、心構造を自動的に検出するためのシステムに関する。このシステムは、好ましくは、第１の心構造に関する電気生理学的データを受信するように心臓内に位置付けられた第１のカテーテルと、心臓内の所定の位置に位置する第２のカテーテルと、ニューラルネットワークを含むプロセッサと、を含む。ニューラルネットワークは、第１のカテーテルから電気生理学的データを受信し、第１のカテーテルと第２のカテーテルとの間の距離に関する距離データを受信し、第１の心構造に関する電気生理学的データが関心対象の心構造の所定の電気生理学的データと一致しているか否かを判定し、第１のカテーテルと第２のカテーテルとの間の距離が所定の閾値未満であるか否かを判定し、電気生理学的データ及び距離データに基づいて、第１の心構造が関心対象の心構造であるか否かを判定する。According to one aspect, the subject matter disclosed herein relates to a system for automatically detecting cardiac structures. The system preferably includes a first catheter positioned within the heart to receive electrophysiological data related to a first cardiac structure, a second catheter positioned at a predetermined location within the heart, and a processor including a neural network. The neural network receives the electrophysiological data from the first catheter, receives distance data related to the distance between the first and second catheters, determines whether the electrophysiological data related to the first cardiac structure matches predetermined electrophysiological data for a cardiac structure of interest, determines whether the distance between the first and second catheters is less than a predetermined threshold, and determines whether the first cardiac structure is a cardiac structure of interest based on the electrophysiological data and the distance data.
別の態様によれば、本明細書に開示される主題は、心構造を自動的に検出するようにニューラルネットワークを訓練するためのシステムに関する。システムは、訓練データを受信するニューラルネットワーク訓練モデルを含むプロセッサを備える。訓練データは、以前にマッピングされた関心対象の心構造の位置と、心臓内に位置付けられた第１のカテーテルによって受信された第１の心構造に関する電気生理学的データと、関心対象の心構造の所定の電気生理学的データと、第１のカテーテルと第２のカテーテルとの間の距離に関する距離データと、第１のカテーテル上の点と第２のカテーテル上の点との間の距離に関する所定の閾値と、を含む。ニューラルネットワーク訓練モデルは、電気生理学的データが関心対象の心構造の所定の電気生理学的データと一致しているか否かを判定し、距離データが所定の値未満であるか否かを判定し、かつ訓練データに基づいて、第１の心構造が関心対象の心構造であるか否かを判定するように訓練される。According to another aspect, the subject matter disclosed herein relates to a system for training a neural network to automatically detect cardiac structures. The system includes a processor including a neural network training model that receives training data. The training data includes a previously mapped location of a cardiac structure of interest, electrophysiological data for the first cardiac structure received by a first catheter positioned within the heart, predetermined electrophysiological data for the cardiac structure of interest, distance data for a distance between the first catheter and a second catheter, and a predetermined threshold for a distance between a point on the first catheter and a point on the second catheter. The neural network training model is trained to determine whether the electrophysiological data is consistent with the predetermined electrophysiological data for the cardiac structure of interest, determine whether the distance data is less than a predetermined value, and determine whether the first cardiac structure is the cardiac structure of interest based on the training data.
更に別の態様によれば、本明細書に開示される主題は、心構造を自動的に検出するようにニューラルネットワークモデルを訓練する方法に関する。この方法は、ニューラルネットワークモデルを含むプロセッサによって訓練データを受信することを含む。訓練データは、以前にマッピングされた関心対象の心構造の位置と、心臓内に位置付けられた第１のカテーテルによって受信された第１の心構造に関する電気生理学的データと、関心対象の心構造の所定の電気生理学的データと、第１のカテーテルと第２のカテーテルとの間の距離に関する距離データと、第１のカテーテル上の点と第２のカテーテル上の点との間の距離に関する所定の閾値と、を含む。この方法は、訓練データを用いてニューラルネットワークモデルを訓練することを更に含む。訓練は、電気生理学的データが関心対象の心構造の所定の電気生理学的データと一致しているか否かを判定することと、距離データが所定の値未満であるか否かを判定することと、訓練データに基づいて、第１の心構造が関心対象の心構造であるか否かを判定することと、を含む。According to yet another aspect, the subject matter disclosed herein relates to a method for training a neural network model to automatically detect cardiac structures. The method includes receiving training data by a processor including the neural network model. The training data includes a previously mapped location of a cardiac structure of interest, electrophysiological data for the first cardiac structure received by a first catheter positioned within the heart, predetermined electrophysiological data for the cardiac structure of interest, distance data for a distance between the first catheter and a second catheter, and a predetermined threshold for a distance between a point on the first catheter and a point on the second catheter. The method further includes training the neural network model using the training data. The training includes determining whether the electrophysiological data is consistent with the predetermined electrophysiological data for the cardiac structure of interest, determining whether the distance data is less than a predetermined value, and determining whether the first cardiac structure is the cardiac structure of interest based on the training data.
更に別の態様によれば、関心対象の心構造は、ヒス束である。According to yet another aspect, the cardiac structure of interest is the bundle of His.
更に別の態様によれば、第１のカテーテルは、ヒス束マッピングカテーテルを含む。According to yet another aspect, the first catheter includes a His bundle mapping catheter.
更に別の態様によれば、第１のカテーテルによって受信された第１の心構造に関する電気生理学的データは、電位図、より具体的には、ヒス束電位図を含む。According to yet another aspect, the electrophysiological data regarding the first cardiac structure received by the first catheter includes an electrogram, more specifically, a His bundle electrogram.
更に別の態様によれば、第２のカテーテルは、冠状静脈洞カテーテル、より具体的には、位置センサを含む。According to yet another aspect, the second catheter includes a coronary sinus catheter, and more specifically, a position sensor.
更に別の態様によれば、訓練データは、表面身体電極によって生成された心電図データを更に含む。According to yet another aspect, the training data further includes electrocardiogram data generated by surface body electrodes.
更に別の態様によれば、ニューラルネットワークは、心電図データが関心対象の心構造の所定の電気生理学的データと一致しているか否かを判定するように訓練される。According to yet another aspect, the neural network is trained to determine whether the electrocardiogram data is consistent with predetermined electrophysiological data for the cardiac structure of interest.
更に別の態様によれば、ニューラルネットワークは、第１の心構造に関する電気生理学的データが関心対象の心構造の所定の電気生理学的データと一致し、かつ距離データが所定の値未満であるときに、第１の心構造が関心対象の心構造であると判定するように訓練される。According to yet another aspect, the neural network is trained to determine that a first cardiac structure is a cardiac structure of interest when electrophysiological data for the first cardiac structure matches predetermined electrophysiological data for the cardiac structure of interest and the distance data is less than a predetermined value.
更に別の態様によれば、ニューラルネットワークは、第１の心構造に関する電気生理学的データが関心対象の心構造の所定の電気生理学的データと一致しない、又は距離データが所定の値よりも大きいときに、第１の心構造が関心対象の心構造ではないと判定するように訓練される。According to yet another aspect, the neural network is trained to determine that the first cardiac structure is not the cardiac structure of interest when the electrophysiological data for the first cardiac structure does not match the predetermined electrophysiological data for the cardiac structure of interest or when the distance data is greater than a predetermined value.
更に別の態様によれば、関心対象の心構造の所定の電気生理学的データは、ニューラルネットワークと通信するデータベースに記憶される。According to yet another aspect, the predetermined electrophysiological data for the cardiac structure of interest is stored in a database in communication with the neural network.
更に別の態様によれば、ニューラルネットワークは、畳み込みニューラルネットワーク又は長・短期記憶ニューラルネットワークである。According to yet another aspect, the neural network is a convolutional neural network or a long-short-term memory neural network.
更に別の態様によれば、ニューラルネットワーク訓練モデルは、第１の心構造が関心対象の心構造であると判定し、この判定は、判定の精度を検証するために、既知の心構造の位置のデータベースと比較される。判定の精度が所定の精度閾値を上回る場合、ニューラルネットワーク訓練モデルは、心臓マッピングシステムの標準として検証される。According to yet another aspect, the neural network training model determines that the first cardiac structure is a cardiac structure of interest, and this determination is compared to a database of locations of known cardiac structures to verify the accuracy of the determination. If the accuracy of the determination exceeds a predetermined accuracy threshold, the neural network training model is verified as the standard for cardiac mapping systems.
更に別の態様によれば、本明細書に開示される主題は、訓練データを受信するニューラルネットワーク訓練モデルを含むプロセッサを含む、関心対象の心構造を自動的に検出するようにニューラルネットワークを訓練するためのシステムに関する。訓練データは、心臓内に位置付けられた第１のカテーテルの電極によって受信された第１の心構造に関する第１の電気生理学的データを含む第１の入力と、第１の心構造に関する第２のデータを含む第２の入力と、を含む。ニューラルネットワーク訓練モデルは、出力として、訓練データに基づいて、第１の心構造が関心対象の心構造であるか否かの判定を生成する。According to yet another aspect, the subject matter disclosed herein relates to a system for training a neural network to automatically detect a cardiac structure of interest, including a processor including a neural network training model that receives training data. The training data includes a first input including first electrophysiological data regarding the first cardiac structure received by an electrode of a first catheter positioned within the heart, and a second input including second data regarding the first cardiac structure. The neural network training model generates as an output, based on the training data, a determination of whether the first cardiac structure is the cardiac structure of interest.
より詳細な理解は、添付の図面と併せて例として示される以下の説明より得ることができ、図中の同様の参照番号は、同様の要素を示す。
心臓内の特定の構造の位置を自動的に検出すること、より好ましくは、心臓内のヒス束の位置を自動的に検出すること、及びニューラルネットワークを訓練して、心臓内のそのような特定の構造の位置を自動的に検出することを提供する方法、システム、及びプログラムが提供される。Methods, systems, and programs are provided that automatically detect the location of specific structures within the heart, more preferably automatically detect the location of the His bundle within the heart, and train a neural network to automatically detect the location of such specific structures within the heart.
図１は、患者の生体指標（すなわち、患者データ）を遠隔監視及び通信するための例示的なシステム１００のブロック図である。図１に示す例では、システム１００は、患者１０４に関連付けられた患者生体計測監視及び処理装置１０２と、ローカルコンピューティングデバイス１０６と、遠隔コンピューティングシステム１０８と、第１のネットワーク１１０と、第２のネットワーク１２０と、を備える。FIG. 1 is a block diagram of an exemplary system 100 for remotely monitoring and communicating patient biometric indicators (i.e., patient data). In the example shown in FIG. 1, the system 100 includes a patient biometric monitoring and processing device 102 associated with a patient 104, a local computing device 106, a remote computing system 108, a first network 110, and a second network 120.
例示的な一実施形態によれば、監視及び処理装置１０２は、患者の身体の内部にある装置（例えば、皮下移植可能）であってもよい。監視及び処理装置１０２は、経口注射、静脈又は動脈を介した外科的挿入、内視鏡処置、又は腹腔鏡処置を含む任意の適用可能な方法を介して患者に挿入されてもよい。According to one exemplary embodiment, the monitoring and processing device 102 may be a device internal to the patient's body (e.g., subcutaneously implantable). The monitoring and processing device 102 may be inserted into the patient via any applicable method, including oral injection, surgical insertion via a vein or artery, endoscopic procedure, or laparoscopic procedure.
例示的な一実施形態によれば、監視及び処理装置１０２は、患者の外部にある装置であってもよい。例えば、以下により詳細に記載されるように、監視及び処理装置１０２は、取り付け可能なパッチ（例えば、患者の皮膚に取り付けられる）を含んでもよい。監視及び処理装置１０２はまた、１つ又は２つ以上の電極を有するカテーテル、プローブ、血圧カフ、体重計、ブレスレット又はスマートウォッチ生体計測トラッカ、グルコースモニタ、連続正気道圧力（continuous positive airway pressure、ＣＰＡＰ）マシン、又は患者の健康若しくは生体指標に関する入力を提供し得る実質上任意のデバイスを含んでもよい。According to one exemplary embodiment, the monitoring and processing device 102 may be a device external to the patient. For example, as described in more detail below, the monitoring and processing device 102 may include an attachable patch (e.g., attached to the patient's skin). The monitoring and processing device 102 may also include a catheter with one or more electrodes, a probe, a blood pressure cuff, a weight scale, a bracelet or smartwatch biometric tracker, a glucose monitor, a continuous positive airway pressure (CPAP) machine, or virtually any device that can provide input regarding the patient's health or biometric indicators.
例示的な一実施形態によれば、監視及び処理装置１０２は、患者の内部にある構成要素及び患者の外部にある構成要素の両方を含むことができる。According to one exemplary embodiment, the monitoring and processing system 102 may include both components internal to the patient and components external to the patient.
単一の監視及び処理装置１０２が、図１に示されている。しかしながら、例示的なシステムは、複数の患者生体計測監視及び処理装置を含んでもよい。患者生体計測監視及び処理装置は、１つ又は２つ以上の他の患者生体計測監視及び処理装置と通信してもよい。追加的に又は代替的に、患者生体計測監視及び処理装置は、ネットワーク１１０と通信してもよい。A single monitoring and processing device 102 is shown in FIG. 1. However, an exemplary system may include multiple patient biometric monitoring and processing devices. A patient biometric monitoring and processing device may communicate with one or more other patient biometric monitoring and processing devices. Additionally or alternatively, a patient biometric monitoring and processing device may communicate with a network 110.
１つ又は２つ以上の監視及び処理装置１０２は、患者生体計測データ（例えば、電気信号、血圧、体温、血糖値又は他の生体計測データ）を取得することができ、かつ取得された患者の生体指標を表す患者生体計測データの少なくとも一部分、並びに１つ又は２つ以上の他の監視及び処理装置１０２から取得された患者の生体指標に関連付けられた追加情報を受信することができる。追加情報は、例えば、ウェアラブルデバイスなどの追加のデバイスから得られる診断情報及び／又は追加情報であってもよい。各監視及び処理装置１０２は、それ自体の取得された患者の生体指標、並びに１つ又は２つ以上の他の監視及び処理装置１０２から受信されたデータを含むデータを処理してもよい。One or more monitoring and processing devices 102 may acquire patient biometric data (e.g., electrical signals, blood pressure, body temperature, blood glucose levels, or other biometric data) and may receive at least a portion of the patient biometric data representing the acquired patient biometric indicators, as well as additional information associated with the acquired patient biometric indicators from one or more other monitoring and processing devices 102. The additional information may be, for example, diagnostic information and/or additional information obtained from additional devices, such as wearable devices. Each monitoring and processing device 102 may process data including its own acquired patient biometric indicators and data received from one or more other monitoring and processing devices 102.
図１では、ネットワーク１１０は、近距離ネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、又はパーソナルエリアネットワーク（ＰＡＮ））の一例である。情報は、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、Ｚｉｇｂｅｅ、Ｚ－Ｗａｖｅ、近接場通信（near field communication、ＮＦＣ）、ウルトラバンド、Ｚｉｇｂｅｅ、又は赤外線（infrared、ＩＲ）などの様々な近距離無線通信プロトコルのうちのいずれか１つを使用して、監視及び処理装置１０２とローカルコンピューティングデバイス１０６との間で、近距離ネットワーク１１０を介して送信されてもよい。In FIG. 1, network 110 is an example of a short-range network (e.g., a local area network (LAN) or a personal area network (PAN)). Information may be transmitted over short-range network 110 between monitoring and processing equipment 102 and local computing device 106 using any one of a variety of short-range wireless communication protocols, such as Bluetooth, Wi-Fi, Zigbee, Z-Wave, near field communication (NFC), Ultraband, Zigbee, or infrared (IR).
例示的な一実施形態では、ネットワーク１２０は、有線ネットワーク、無線ネットワークであってもよく、又は１つ若しくは２つ以上の有線及び無線ネットワークを含んでもよい。例えば、ネットワーク１２０は、長距離ネットワーク（例えば、広域ネットワーク（ＷＡＮ）、インターネット、又はセルラーネットワーク）であってもよい。情報は、様々な長距離無線通信プロトコル（例えば、ＴＣＰ／ＩＰ、ＨＴＴＰ、３Ｇ、４Ｇ／ＬＴＥ、又は５Ｇ／Ｎｅｗ Ｒａｄｉｏ）のいずれか１つを使用して、ネットワーク１２０を介して送信されてもよい。In an exemplary embodiment, network 120 may be a wired network, a wireless network, or may include one or more wired and wireless networks. For example, network 120 may be a long-range network (e.g., a wide area network (WAN), the Internet, or a cellular network). Information may be transmitted over network 120 using any one of a variety of long-range wireless communication protocols (e.g., TCP/IP, HTTP, 3G, 4G/LTE, or 5G/New Radio).
例示的な一実施形態では、患者監視及び処理装置１０２は、患者生体計測センサ１１２、プロセッサ１１４、ユーザ入力（user input、ＵＩ）センサ１１６、メモリ１１８、及び送信受信機（すなわち、送受信機）１２２を含むことができる。患者監視及び処理装置１０２は、ネットワーク１１０を介して、任意の数の様々な患者の生体指標を継続的又は周期的に監視、記憶、処理、及び通信してもよい。患者の生体指標の例としては、電気信号（例えば、ＥＣＧ信号及び脳生体指標）、血圧データ、血糖データ、及び体温データが挙げられる。患者の生体指標は、心臓血管疾患（例えば、不整脈、心筋症、及び冠動脈疾患）及び自己免疫疾患（例えば、Ｉ型及びＩＩ型糖尿病）などの任意の数の様々な疾患にわたって治療するために監視及び通信され得る。In one exemplary embodiment, the patient monitoring and processing device 102 may include patient biometric sensors 112, a processor 114, a user input (UI) sensor 116, a memory 118, and a transmitter-receiver (i.e., transceiver) 122. The patient monitoring and processing device 102 may continuously or periodically monitor, store, process, and communicate any number of various patient biometric indicators via the network 110. Examples of patient biometric indicators include electrical signals (e.g., ECG signals and brain biometrics), blood pressure data, blood glucose data, and temperature data. Patient biometric indicators may be monitored and communicated to treat any number of various diseases, such as cardiovascular diseases (e.g., arrhythmias, cardiomyopathies, and coronary artery disease) and autoimmune diseases (e.g., type I and type II diabetes).
一実施形態では、患者生体計測センサ１１２は、例えば、生体計測患者の生体指標の種類を感知するように構成された１つ又は２つ以上のセンサを含んでもよい。例えば、患者生体計測センサ１１２は、電気信号（例えば、心臓信号、脳信号又は他の生体電気信号）を取得するように構成された電極、体温センサ、血圧センサ、血糖センサ、血液酸素センサ、ｐＨセンサ、加速度計、及びマイクロフォン）を含んでもよい。In one embodiment, the patient biometric sensor 112 may include, for example, one or more sensors configured to sense a type of biometric patient biometric indicator. For example, the patient biometric sensor 112 may include electrodes configured to acquire electrical signals (e.g., cardiac signals, brain signals, or other bioelectrical signals), a temperature sensor, a blood pressure sensor, a blood glucose sensor, a blood oxygen sensor, a pH sensor, an accelerometer, and a microphone).
例示的な一実施形態では、以下により詳細に記載されるように、患者生体計測監視及び処理装置１０２は、心臓のＥＣＧ信号を監視するためのＥＣＧモニタであってもよい。ＥＣＧモニタの患者生体計測センサ１１２は、ＥＣＧ信号を取得するための１つ又は２つ以上の電極を含んでもよい。ＥＣＧ信号は、様々な心臓血管疾患の治療に使用され得る。In one exemplary embodiment, as described in more detail below, the patient biometric monitoring and processing device 102 may be an ECG monitor for monitoring cardiac ECG signals. The patient biometric sensor 112 of the ECG monitor may include one or more electrodes for acquiring the ECG signals. The ECG signals may be used in the treatment of various cardiovascular disorders.
例示的な一実施形態では、送受信機１２２は、別個の送信機及び受信機を含むことができる。代替的に、送受信機１２２は、単一のデバイスに統合された送信機及び受信機を含んでもよい。In one exemplary embodiment, transceiver 122 may include a separate transmitter and receiver. Alternatively, transceiver 122 may include a transmitter and receiver integrated into a single device.
例示的な一実施形態では、プロセッサ１１４は、患者生体計測センサ１１２によって取得されたメモリ１１８内の患者生体計測データなどの患者データを記憶し、送受信機１２２の送信機を介してネットワーク１１０上で患者データを通信するように構成されてもよい。１つ又は２つ以上の他の監視及び処理装置１０２からのデータはまた、以下により詳細に記載されるように、送受信機１２２の受信機によって受信されてもよい。In one exemplary embodiment, the processor 114 may be configured to store patient data, such as patient biometric data acquired by the patient biometric sensors 112, in the memory 118 and to communicate the patient data over the network 110 via the transmitter of the transceiver 122. Data from one or more other monitoring and processing devices 102 may also be received by the receiver of the transceiver 122, as described in more detail below.
例示的な一実施形態によれば、監視及び処理装置１０２は、例えば、タップ又はタッチなどのユーザ入力を受信するように構成された圧電センサ又は静電容量センサであってもよいＵＩセンサ１１６を含む。例えば、ＵＩセンサ１１６は、患者１０４が監視及び処理装置１０２の表面をタップ又はタッチすることに応答して、容量性結合を実装するように制御されてもよい。ジェスチャ認識は、抵抗容量性、表面容量性、投影容量性、表面弾性波、圧電及び赤外線タッチなどの、様々な容量型のうちのいずれか１つを介して実装することができる。静電容量センサは、表面のタップ又はタッチが監視デバイスを起動させるように、表面の小さい領域又は長さにわたって配置されてもよい。According to one exemplary embodiment, the monitoring and processing device 102 includes a UI sensor 116, which may be a piezoelectric or capacitive sensor configured to receive user input, such as a tap or touch. For example, the UI sensor 116 may be controlled to implement capacitive coupling in response to the patient 104 tapping or touching the surface of the monitoring and processing device 102. Gesture recognition may be implemented via any one of a variety of capacitive types, such as resistive capacitive, surface capacitive, projected capacitive, surface acoustic wave, piezoelectric, and infrared touch. The capacitive sensor may be positioned over a small area or length of the surface such that a tap or touch on the surface activates the monitoring device.
以下でより詳細に説明するように、プロセッサ１１４は、ＵＩセンサ１１６であり得る静電容量センサの異なるタッピングパターン（例えば、シングルタップ又はダブルタップ）に選択的に応答するように構成されてもよく、その結果、パッチの異なるタスク（例えば、データの取得、記憶、又は送信）が、検出されたパターンに基づいて起動されてもよい。いくつかの実施形態では、ジェスチャが検出されると、可聴フィードバックが処理装置１０２からユーザに与えられてもよい。As described in more detail below, the processor 114 may be configured to selectively respond to different tapping patterns (e.g., single tap or double tap) of a capacitive sensor, which may be the UI sensor 116, such that different tasks of the patch (e.g., data acquisition, storage, or transmission) may be initiated based on the detected pattern. In some embodiments, audible feedback may be provided to the user by the processing device 102 when a gesture is detected.
例示的な一実施形態では、システム１００のローカルコンピューティングデバイス１０６は、患者生体計測監視及び処理装置１０２と通信し、第２のネットワーク１２０を介して遠隔コンピューティングシステム１０８へのゲートウェイとして機能するように構成されてもよい。ローカルコンピューティングデバイス１０６は、例えば、ネットワーク１２０を介して他のデバイスと通信するように構成された、スマートフォン、スマートウォッチ、タブレット、又は他のポータブルスマートデバイスであってもよい。代替的に、ローカルコンピューティングデバイス１０６は、例えば、モデム及び／又はルータ能力を含む固定された基地局、ＰＣの無線モジュールを介して処理装置１０２と遠隔コンピューティングシステム１０８との間で情報を通信するための実行可能プログラムを使用するデスクトップコンピュータ又はラップトップコンピュータ、又はＵＳＢドングルなどの、固定式又はスタンドアローンデバイスであってもよい。患者の生体指標は、ローカルエリアネットワーク（ＬＡＮ）（例えば、パーソナルエリアネットワーク（ＰＡＮ））などの近距離無線ネットワーク１１０を介して、近距離無線技術規格（例えば、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、ＺｉｇＢｅｅ、Ｚ－波、及び他の近距離無線規格）を使用して、ローカルコンピューティングデバイス１０６と患者生体計測監視及び処理装置１０２との間で通信されてもよい。いくつかの実施形態では、ローカルコンピューティングデバイス１０６はまた、以下により詳細に記載されるように、取得された患者電気信号及び取得された患者電気信号に関連する情報を表示するように構成されてもよい。In one exemplary embodiment, the local computing device 106 of the system 100 may be configured to communicate with the patient biometric monitoring and processing device 102 and to act as a gateway to the remote computing system 108 via the second network 120. The local computing device 106 may be, for example, a smartphone, smartwatch, tablet, or other portable smart device configured to communicate with other devices via the network 120. Alternatively, the local computing device 106 may be a fixed or standalone device, such as, for example, a fixed base station including modem and/or router capabilities, a desktop or laptop computer using an executable program to communicate information between the processing device 102 and the remote computing system 108 via a wireless module in a PC, or a USB dongle. Patient biometric indicators may be communicated between the local computing device 106 and the patient biometric monitoring and processing device 102 via a short-range wireless network 110, such as a local area network (LAN) (e.g., a personal area network (PAN)), using short-range wireless technology standards (e.g., Bluetooth, Wi-Fi, ZigBee, Z-Wave, and other short-range wireless standards). In some embodiments, the local computing device 106 may also be configured to display acquired patient electrical signals and information related to the acquired patient electrical signals, as described in more detail below.
いくつかの例示的な実施形態では、遠隔コンピューティングシステム１０８は、監視された患者の生体指標及び監視された患者に関連付けられた情報のうちの少なくとも一方を、長距離ネットワークであるネットワーク１２０を介して受信するように構成されてもよい。例えば、ローカルコンピューティングデバイス１０６が携帯電話である場合、ネットワーク１２０は、無線セルラーネットワークであってもよく、情報は、上述の無線技術のいずれかなどの無線技術規格を介してローカルコンピューティングデバイス１０６と遠隔コンピューティングシステム１０８との間で通信されてもよい。以下により詳細に記載されるように、遠隔コンピューティングシステム１０８は、患者の生体指標及び関連する情報のうちの少なくとも一方を医療専門家（例えば、医師）に提供する（例えば、視覚的に表示及び／又は聴覚的に提供する）ように構成されてもよい。In some exemplary embodiments, the remote computing system 108 may be configured to receive at least one of the monitored patient's biometric indicators and information associated with the monitored patient via the network 120, which is a long-range network. For example, if the local computing device 106 is a cellular phone, the network 120 may be a wireless cellular network, and information may be communicated between the local computing device 106 and the remote computing system 108 via a wireless technology standard, such as any of the wireless technologies described above. As described in more detail below, the remote computing system 108 may be configured to provide (e.g., visually display and/or audibly provide) at least one of the patient's biometric indicators and associated information to a medical professional (e.g., a physician).
図２は、ネットワーク１２０と通信するコンピューティング環境２００の一例のシステム図である。いくつかの例では、コンピューティング環境２００は、パブリッククラウドコンピューティングプラットフォーム（Ａｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓ又はＭｉｃｒｏｓｏｆｔ Ａｚｕｒｅなど）、ハイブリッドクラウドコンピューティングプラットフォーム（ＨＰ Ｅｎｔｅｒｐｒｉｓｅ ＯｎｅＳｐｈｅｒｅなど）又はプライベートクラウドコンピューティングプラットフォームに組み込まれる。Figure 2 is a system diagram of an example computing environment 200 in communication with network 120. In some examples, computing environment 200 is incorporated into a public cloud computing platform (such as Amazon Web Services or Microsoft Azure), a hybrid cloud computing platform (such as HP Enterprise OneSphere), or a private cloud computing platform.
図２に示すように、コンピューティング環境２００は、好ましくは、本明細書に記載される実施形態が実装され得るコンピューティングシステムの一実施例である遠隔コンピューティングシステム１０８（以下、コンピュータシステム）を含む。As shown in FIG. 2, the computing environment 200 preferably includes a remote computing system 108 (hereinafter, computer system), which is one example of a computing system on which embodiments described herein may be implemented.
遠隔コンピューティングシステム１０８は、１つ又は２つ以上のプロセッサを含むことができるプロセッサ２２０を介して、様々な機能を実行することができる。例えば、機能は、監視された患者の生体指標及び関連する情報を分析することと、医師によって判定された又はアルゴリズム駆動された閾値及びパラメータに従って、警告、追加情報又は命令を（例えば、ディスプレイ２６６を介して）提供することとを含んでもよい。以下により詳細に記載されるように、遠隔コンピューティングシステム１０８は、医療従事者が他の患者よりも重大なニーズを有する患者を識別及び優先することを患者情報が可能にし得るように、患者情報ダッシュボードを（例えば、ディスプレイ２６６を介して）医療従事者（例えば、医師）に提供するために使用することができる。The remote computing system 108 can perform various functions via the processor 220, which may include one or more processors. For example, functions may include analyzing monitored patient biometrics and related information and providing alerts, additional information, or instructions (e.g., via the display 266) according to physician-determined or algorithm-driven thresholds and parameters. As described in more detail below, the remote computing system 108 can be used to provide a patient information dashboard (e.g., via the display 266) to a medical professional (e.g., a physician) so that the patient information may enable the medical professional to identify and prioritize patients with more significant needs than others.
図２に示すように、コンピュータシステム２１０は、バス２２１などの通信機構、又はコンピュータシステム２１０内の情報を通信するための他の通信機構を含んでもよい。コンピュータシステム２１０は、情報を処理するためにバス２２１と結合された１つ又は２つ以上のプロセッサ２２０を更に含む。プロセッサ２２０は、１つ又は２つ以上のＣＰＵ、ＧＰＵ、又は当該技術分野において既知の任意の他のプロセッサを含んでもよい。As shown in FIG. 2, computer system 210 may include a communication mechanism, such as a bus 221, or other communication mechanism for communicating information within computer system 210. Computer system 210 further includes one or more processors 220 coupled with bus 221 for processing information. Processor 220 may include one or more CPUs, GPUs, or any other processors known in the art.
コンピュータシステム２１０はまた、情報及びプロセッサ２２０によって実行される命令を記憶するためにバス２２１に結合されたシステムメモリ２３０を含むことができる。システムメモリ２３０は、読み取り専用システムメモリ（read only system memory、ＲＯＭ）２３１及び／又はランダムアクセスメモリ（ramdom access memory、ＲＡＭ）２３２などの揮発性及び／又は不揮発性メモリの形態のコンピュータ可読記憶媒体を含んでもよい。システムメモリＲＡＭ２３２は、他の動的記憶デバイス（単数又は複数）（例えば、ダイナミックＲＡＭ、スタティックＲＡＭ、及びシンクロナスＤＲＡＭ）を含んでもよい。システムメモリＲＯＭ２３１は、他の静的記憶デバイス（単数又は複数）（例えば、プログラマブルＲＯＭ、消去可能ＰＲＯＭ、及び電気的消去可能なＰＲＯＭ）を含んでもよい。加えて、システムメモリ２３０は、プロセッサ２２０による命令の実行中に一時変数又は他の中間情報を記憶するために使用することができる。基本入力／出力システム２３３（basic input/output system、ＢＩＯＳ）は、システムメモリＲＯＭ２３１に記憶され得る情報を、始動時などに、コンピュータシステム２１０内の要素間で転送するルーチンを含んでもよい。ＲＡＭ２３２は、プロセッサ２２０に即座にアクセス可能である、かつ／又はプロセッサ２２０によって現在操作されているデータ及び／又はプログラムモジュールを含んでもよい。システムメモリ２３０は、例えば、オペレーティングシステム２３４、アプリケーションプログラム２３５、他のプログラムモジュール２３６、及びプログラムデータ２３７を更に含んでもよい。Computer system 210 may also include a system memory 230 coupled to bus 221 for storing information and instructions executed by processor 220. System memory 230 may include computer-readable storage media in the form of volatile and/or nonvolatile memory, such as read-only system memory (ROM) 231 and/or random access memory (RAM) 232. System memory RAM 232 may also include other dynamic storage device(s) (e.g., dynamic RAM, static RAM, and synchronous DRAM). System memory ROM 231 may also include other static storage device(s) (e.g., programmable ROM, erasable PROM, and electrically erasable PROM). Additionally, system memory 230 may be used to store temporary variables or other intermediate information during execution of instructions by processor 220. A basic input/output system 233 (BIOS) may include routines for transferring information between elements within the computer system 210, such as during start-up, that may be stored in system memory ROM 231. RAM 232 may contain data and/or program modules that are immediately accessible to and/or presently being operated on by processor 220. System memory 230 may further include, for example, an operating system 234, application programs 235, other program modules 236, and program data 237.
例示的な一実施形態では、コンピュータシステム２１０はまた、磁気ハードディスク２４１及び取り外し可能な媒体ドライブ２４２（例えば、フロッピーディスクドライブ、コンパクトディスクドライブ、テープドライブ、及び／又はソリッドステートドライブ）などの、情報及び命令を記憶するための１つ又は２つ以上の記憶デバイスを制御するためにバス２２１に結合されたディスクコントローラ２４０を含む。記憶デバイスは、適切なデバイスインターフェース（例えば、小型コンピュータシステムインターフェース（small computer system interface、ＳＣＳＩ）、統合デバイス電子機器（integrated device electronics、ＩＤＥ）、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、又はＦｉｒｅＷｉｒｅ）を使用して、コンピュータシステム２１０に追加されてもよい。In one exemplary embodiment, computer system 210 also includes a disk controller 240 coupled to bus 221 to control one or more storage devices for storing information and instructions, such as a magnetic hard disk 241 and a removable media drive 242 (e.g., a floppy disk drive, a compact disk drive, a tape drive, and/or a solid state drive). Storage devices may be added to computer system 210 using an appropriate device interface (e.g., small computer system interface (SCSI), integrated device electronics (IDE), Universal Serial Bus (USB), or FireWire).
コンピュータシステム２１０はまた、コンピュータユーザに情報を表示するための、陰極線管（cathode ray tube、ＣＲＴ）又は液晶ディスプレイ（liquid crystal display、ＬＣＤ）などのモニタ又はディスプレイ２６６を制御するためにバス２２１に結合されたディスプレイコントローラ２６５を含んでもよい。図示されたコンピュータシステム２１０は、ユーザ入力インターフェース２６０と、コンピュータユーザと対話し、プロセッサ２２０に情報を提供するための、キーボード２６２及びポインティングデバイス２６１などの１つ又は２つ以上の入力デバイスとを含む。ポインティングデバイス２６１は、例えば、プロセッサ２２０に方向情報及びコマンド選択を通信し、ディスプレイ２６６上のカーソル移動を制御するためのマウス、トラックボール、又はポインティングスティックであってもよい。ディスプレイ２６６は、ポインティングデバイス２６１及び／又はキーボード２６２による方向情報及びコマンド選択の通信を補完する、又は置き換える入力を可能にし得るタッチスクリーンインターフェースを提供してもよい。The computer system 210 may also include a display controller 265 coupled to the bus 221 to control a monitor or display 266, such as a cathode ray tube (CRT) or liquid crystal display (LCD), for displaying information to a computer user. The illustrated computer system 210 includes a user input interface 260 and one or more input devices, such as a keyboard 262 and a pointing device 261, for interacting with the computer user and providing information to the processor 220. The pointing device 261 may be, for example, a mouse, trackball, or pointing stick for communicating directional information and command selections to the processor 220 and for controlling cursor movement on the display 266. The display 266 may provide a touchscreen interface that may enable input that complements or replaces the communication of directional information and command selections by the pointing device 261 and/or keyboard 262.
コンピュータシステム２１０は、システムメモリ２３０などのメモリに含まれる１つ又は２つ以上の命令の１つ又は２つ以上のシーケンスを実行するプロセッサ２２０に応答して、本明細書に記載される機能及び方法の一部分又は各々を実行してもよい。そのような命令は、ハードディスク２４１又は取り外し可能な媒体ドライブ２４２などの別のコンピュータ可読媒体からシステムメモリ２３０に読み込むことができる。ハードディスク２４１は、本明細書に記載される実施形態によって使用される１つ又は２つ以上のデータストア及びデータファイルを含んでもよい。データストアコンテンツ及びデータファイルは、セキュリティを改善するために暗号化されてもよい。プロセッサ２２０はまた、システムメモリ２３０に含まれる命令の１つ又は２つ以上のシーケンスを実行するために、マルチ処理構成で採用されてもよい。代替的な実施形態では、ハードワイヤード回路は、ソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて使用することができる。したがって、実施形態は、ハードウェア回路とソフトウェアとの任意の特定の組み合わせに限定されない。Computer system 210 may perform some or each of the functions and methods described herein in response to processor 220 executing one or more sequences of one or more instructions contained in a memory, such as system memory 230. Such instructions may be read into system memory 230 from another computer-readable medium, such as hard disk 241 or removable media drive 242. Hard disk 241 may include one or more data stores and data files used by the embodiments described herein. Data store contents and data files may be encrypted for improved security. Processor 220 may also be employed in a multi-processing configuration to execute one or more sequences of instructions contained in system memory 230. In alternative embodiments, hardwired circuitry may be used in place of or in combination with software instructions. Thus, embodiments are not limited to any specific combination of hardware circuitry and software.
上述のように、コンピュータシステム２１０は、本明細書に記載される実施形態に従ってプログラムされた命令を保持し、本明細書に記載されるデータ構造、テーブル、記録、又は他のデータを含むための、少なくとも１つのコンピュータ可読媒体又はメモリを含んでもよい。本明細書で使用するとき、用語「コンピュータ可読媒体」は、実行のためにプロセッサ２２０に命令を提供することに関与する、任意の非一時的な有形媒体を指す。コンピュータ可読媒体は、不揮発性媒体、揮発性媒体、及び伝送媒体を含むがこれらに限定されない多くの形態を採ることができる。不揮発性媒体の非限定的な例としては、ハードディスク２４１又は取り外し可能な媒体ドライブ２４２などの、光ディスク、ソリッドステートドライブ、磁気ディスク、及び光磁気ディスクが挙げられる。揮発性媒体の非限定的な例としては、システムメモリ２３０などの動的メモリが挙げられる。伝送媒体の非限定的な例としては、バス２２１を構成するワイヤを含む、同軸ケーブル、銅線、及び光ファイバが挙げられる。伝送媒体はまた、電波及び赤外線データ通信の間に生成されるものなどの音響波又は光波の形態を採ることができる。As mentioned above, computer system 210 may include at least one computer-readable medium or memory for retaining programmed instructions according to the embodiments described herein and for containing the data structures, tables, records, or other data described herein. As used herein, the term "computer-readable medium" refers to any non-transitory, tangible medium that participates in providing instructions to processor 220 for execution. Computer-readable media can take many forms, including, but not limited to, non-volatile media, volatile media, and transmission media. Non-limiting examples of non-volatile media include optical disks, solid-state drives, magnetic disks, and magneto-optical disks, such as hard disk 241 or removable media drive 242. Non-limiting examples of volatile media include dynamic memory, such as system memory 230. Non-limiting examples of transmission media include coaxial cables, copper wire, and fiber optics, including the wires that comprise bus 221. Transmission media can also take the form of acoustic or light waves, such as those generated during radio wave and infrared data communications.
コンピューティング環境２００は、ローカルコンピューティングデバイス１０６への論理接続、及びパーソナルコンピュータ（ラップトップ又はデスクトップ）、モバイルデバイス（例えば、患者モバイルデバイス）、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、又は他の共通ネットワークノードなどの１つ又は２つ以上の他のデバイスへの論理接続を使用してネットワーク化された環境内で動作するコンピュータシステム２１０を更に含むことができ、典型的には、コンピュータシステム２１０に関して上述した要素の多く又は全てを含む。ネットワーク環境で使用される場合、コンピュータシステム２１０は、インターネットなどのネットワーク１２０を介して通信を確立するためのモデム２７２を含んでもよい。モデム２７２は、ネットワークインターフェース２７０を介して、又は別の適切な機構を介してシステムバス２２１に接続されてもよい。Computing environment 200 may further include a computer system 210 operating in a networked environment using logical connections to local computing device 106 and one or more other devices, such as a personal computer (laptop or desktop), a mobile device (e.g., a patient mobile device), a server, a router, a network PC, a peer device, or other common network node, and typically includes many or all of the elements described above with respect to computer system 210. When used in a networked environment, computer system 210 may include a modem 272 for establishing communications over a network 120, such as the Internet. Modem 272 may be connected to system bus 221 via a network interface 270 or another appropriate mechanism.
図１及び図２に示されるようなネットワーク１２０は、インターネット、イントラネット、ローカルエリアネットワーク（local area network、ＬＡＮ）、広域ネットワーク（wide area network、ＷＡＮ）、メトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）、直接接続若しくは一連の接続、セルラー電話ネットワーク、又はコンピュータシステム６１０と他のコンピュータ（例えば、ローカルコンピューティングデバイス１０６）との間の通信を容易にすることができる任意の他のネットワーク若しくは媒体を含む、当該技術分野で一般的に既知である任意のネットワーク又はシステムであり得る。Network 120 as shown in Figures 1 and 2 may be any network or system commonly known in the art, including the Internet, an intranet, a local area network (LAN), a wide area network (WAN), a metropolitan area network (MAN), a direct connection or series of connections, a cellular telephone network, or any other network or medium capable of facilitating communication between computer system 610 and other computers (e.g., local computing device 106).
図３は、本開示の１つ又は２つ以上の特徴を実装することができる例示的なデバイス３００のブロック図である。デバイス３００は、例えば、ローカルコンピューティングデバイス１０６であってもよい。デバイス３００は、例えば、コンピュータ、ゲームデバイス、ハンドヘルドデバイス、セットトップボックス、テレビ、携帯電話、又はタブレットコンピュータを含むことができる。デバイス３００は、プロセッサ３０２と、メモリ３０４と、記憶デバイス３０６と、１つ又は２つ以上の入力デバイス３０８と、１つ又は２つ以上の出力デバイス３１０と、を含む。デバイス３００はまた、任意選択的に、入力ドライバ３１２及び出力ドライバ３１４を含むことができる。デバイス３００は、人工知能アクセラレータを含む、図３に示されていない追加の構成要素を含むことができることが理解される。FIG. 3 is a block diagram of an exemplary device 300 capable of implementing one or more features of the present disclosure. Device 300 may be, for example, local computing device 106. Device 300 may include, for example, a computer, a gaming device, a handheld device, a set-top box, a television, a mobile phone, or a tablet computer. Device 300 includes a processor 302, a memory 304, a storage device 306, one or more input devices 308, and one or more output devices 310. Device 300 may also optionally include an input driver 312 and an output driver 314. It is understood that device 300 may include additional components not shown in FIG. 3, including an artificial intelligence accelerator.
様々な代替例では、プロセッサ３０２は、中央処理装置（central processing unit、ＣＰＵ）、グラフィック処理ユニット（graphics processing unit、ＧＰＵ）、同じダイ上に位置するＣＰＵ及びＧＰＵ、又は１つ若しくは２つ以上のプロセッサコアを含み、各プロセッサコアは、ＣＰＵ又はＧＰＵであり得る。様々な代替例では、メモリ３０４は、プロセッサ３０２と同じダイ上に位置するか、又はプロセッサ３０２とは別個に位置する。メモリ３０４は、揮発性メモリ又は不揮発性メモリ、例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ、又はキャッシュを含む。In various alternatives, processor 302 includes a central processing unit (CPU), a graphics processing unit (GPU), a CPU and a GPU located on the same die, or one or more processor cores, each of which may be a CPU or a GPU. In various alternatives, memory 304 is located on the same die as processor 302 or is located separately from processor 302. Memory 304 includes volatile or non-volatile memory, such as random access memory (RAM), dynamic RAM, or cache.
記憶デバイス３０６は、固定又は取り外し可能な記憶手段、例えば、ハードディスクドライブ、ソリッドステートドライブ、光ディスク、又はフラッシュドライブを含む。入力デバイス３０８は、限定するものではないが、キーボード、キーパッド、タッチスクリーン、タッチパッド、検出器、マイクロフォン、加速度計、ジャイロスコープ、バイオメトリックスキャナ、又はネットワーク接続（例えば、無線ＩＥＥＥ８０２信号の送信及び／又は受信のための無線ローカルエリアネットワークカード）を含む。出力デバイス３１０は、限定するものではないが、ディスプレイ、スピーカ、プリンタ、触覚フィードバックデバイス、１つ又は２つ以上のライト、アンテナ、又はネットワーク接続（例えば、無線ＩＥＥＥ８０２信号の送信及び／又は受信のための無線ローカルエリアネットワークカード）を含む。Storage device 306 includes fixed or removable storage means, such as a hard disk drive, solid state drive, optical disk, or flash drive. Input device 308 includes, but is not limited to, a keyboard, keypad, touch screen, touchpad, detector, microphone, accelerometer, gyroscope, biometric scanner, or network connection (e.g., a wireless local area network card for transmitting and/or receiving wireless IEEE 802 signals). Output device 310 includes, but is not limited to, a display, speaker, printer, haptic feedback device, one or more lights, antenna, or network connection (e.g., a wireless local area network card for transmitting and/or receiving wireless IEEE 802 signals).
入力ドライバ３１２は、プロセッサ３０２及び入力デバイス３０８と通信し、プロセッサ３０２が入力デバイス３０８から入力を受信することを可能にする。出力ドライバ３１４は、プロセッサ３０２及び出力デバイス３１０と通信し、プロセッサ３０２が出力デバイス３１０に出力を送信することを可能にする。入力ドライバ３１２及び出力ドライバ３１４は、任意選択的な構成要素であり、入力ドライバ３１２及び出力ドライバ３１４が存在しない場合、デバイス３００は、同じ方式で動作することに留意されたい。出力ドライバ３１４は、表示デバイス３１８に結合された加速処理デバイス（accelerated processing device、「ＡＰＤ」）３１６を含んでもよい。ＡＰＤは、プロセッサ３０２からの計算コマンド及びグラフィックレンダリングコマンドを受け付け、それらの計算コマンド及びグラフィックレンダリングコマンドを処理し、表示のために表示デバイス３１８に画素出力を提供する。以下に更に詳細に記載されるように、ＡＰＤ３１６は、単一命令複数データ（single-instruction-multiple-data、「ＳＩＭＤ」）パラダイムに従って計算を実行する、１つ又は２つ以上の並列処理ユニットを含む。したがって、様々な機能がＡＰＤ３１６によって、又はＡＰＤ３１６と連携して実行されるものとして本明細書に記載されているが、様々な代替例では、ＡＰＤ３１６によって実行されるものとして記載される機能は、追加的に又は代替的に、ホストプロセッサ（例えば、プロセッサ３０２）によって駆動されず、かつ表示デバイス３１８にグラフィカル出力を提供する類似の能力を有する他のコンピューティングデバイスによって実行される。例えば、ＳＩＭＤパラダイムに従って処理タスクを実行する任意の処理システムは、本明細書に記載される機能を実行することができることが企図される。代替的に、ＳＩＭＤパラダイムに従って処理タスクを実行しないコンピューティングシステムは、本明細書に記載される機能を実行することが企図される。The input driver 312 communicates with the processor 302 and the input device 308, allowing the processor 302 to receive input from the input device 308. The output driver 314 communicates with the processor 302 and the output device 310, allowing the processor 302 to send output to the output device 310. Note that the input driver 312 and the output driver 314 are optional components; if the input driver 312 and the output driver 314 are not present, the device 300 operates in the same manner. The output driver 314 may include an accelerated processing device ("APD") 316 coupled to the display device 318. The APD accepts computational and graphic rendering commands from the processor 302, processes the computational and graphic rendering commands, and provides pixel output to the display device 318 for display. As described in further detail below, APD 316 includes one or more parallel processing units that perform computations according to the single-instruction-multiple-data ("SIMD") paradigm. Accordingly, although various functions are described herein as being performed by or in conjunction with APD 316, in various alternatives, functions described as being performed by APD 316 are additionally or alternatively performed by other computing devices that are not driven by a host processor (e.g., processor 302) and have similar capabilities for providing graphical output to display device 318. For example, it is contemplated that any processing system that performs processing tasks according to the SIMD paradigm can perform the functions described herein. Alternatively, it is contemplated that computing systems that do not perform processing tasks according to the SIMD paradigm perform the functions described herein.
図４は、図３の例示的なデバイスを組み込んだ人工知能システム４００の機能的グラフィック描写を示す。システム４００は、データ４１０、マシン４２０、モデル４３０、複数の予測される転帰４４０、及び基盤となるハードウェア４５０を含む。システム４００は、複数の転帰４４０を予測できるようにするモデル４３０を構築しながら、データ４１０を使用してマシン４２０を訓練することによって動作する。システム４００が、ハードウェア４５０に対して動作してもよい。そのような構成では、データ４１０は、ハードウェア４５０に関連してもよく、例えば、監視及び処理装置１０２に由来してもよい。例えば、データ４１０は、進行中のデータ又はハードウェア４５０に関連する出力データであり得る。マシン４２０は、ハードウェア４５０に関連付けられたコントローラ又はデータ収集として動作してもよく、又はこれに関連付けられていてもよい。モデル４３０は、ハードウェア４５０によって達成される転帰を予測するために、ハードウェア４５０の動作をモデル化すると共に、ハードウェア４５０から収集されたデータ４１０をモデル化するように構成され得る。ハードウェア４５０は、予測される転帰４４０を使用して、ハードウェア４５０からの特定の望ましい転帰４４０を提供するように構成されていてもよい。FIG. 4 shows a functional graphical depiction of an artificial intelligence system 400 incorporating the exemplary device of FIG. 3. The system 400 includes data 410, a machine 420, a model 430, multiple predicted outcomes 440, and underlying hardware 450. The system 400 operates by training the machine 420 using the data 410 while building a model 430 that enables the multiple outcomes 440 to be predicted. The system 400 may operate on the hardware 450. In such a configuration, the data 410 may be associated with the hardware 450 and may originate, for example, from the monitoring and processing unit 102. For example, the data 410 may be ongoing data or output data associated with the hardware 450. The machine 420 may operate as or be associated with a controller or data collection associated with the hardware 450. The model 430 may be configured to model the operation of the hardware 450 and model the data 410 collected from the hardware 450 to predict outcomes achieved by the hardware 450. The hardware 450 may be configured to use the predicted outcomes 440 to provide a particular desired outcome 440 from the hardware 450.
図５は、図４の人工知能システムにおいて実行される一般的な方法５００を示す。方法５００は、ステップ５１０でハードウェアからデータを収集することを含む。このデータは、ハードウェアからの現在収集されている履歴データ若しくは他のデータ、又はその様々な組み合わせを含んでもよい。例えば、このデータは、外科的処置中の測定を含んでもよく、処置の転帰と関連付けることができる。例えば、心臓の温度を収集し、心臓処置の転帰と相関させることができる。Figure 5 illustrates a general method 500 implemented in the artificial intelligence system of Figure 4. Method 500 includes collecting data from hardware at step 510. This data may include currently collected historical data or other data from the hardware, or various combinations thereof. For example, this data may include measurements taken during a surgical procedure and may be correlated with the outcome of the procedure. For example, cardiac temperature may be collected and correlated with the outcome of a cardiac procedure.
ステップ５２０で、方法５００は、ハードウェア上でマシンを訓練することを含む。訓練は、ステップ５１０で収集されたデータの分析及び相関を含み得る。例えば、心臓の場合、温度及び転帰のデータが、処置中の心臓の温度と転帰との間に相関又は関連が存在するか否かを判定するために訓練されてもよい。At step 520, method 500 includes training the machine on the hardware. Training may include analyzing and correlating the data collected at step 510. For example, in the case of the heart, temperature and outcome data may be trained to determine whether a correlation or association exists between cardiac temperature during treatment and outcome.
方法５００は、ステップ５３０でハードウェアに関連するデータに基づいてモデルを構築することを含む。モデルの構築が、以下に説明するように、物理的ハードウェア又はソフトウェアモデリング、アルゴリズムモデリングなどを含んでもよい。このモデリングが、収集され訓練されたデータを表現することを目指してもよい。Method 500 includes, at step 530, building a model based on the hardware-related data. Building the model may include physical hardware or software modeling, algorithmic modeling, etc., as described below. The modeling may aim to represent the collected and trained data.
方法５００は、ステップ５４０でハードウェアに関連するモデルの転帰を予測することを含む。この転帰の予測が、訓練されたモデルに基づいてもよい。例えば、心臓の場合、処置中の温度が９７．７～１００．２の時に処置から肯定的な転帰が得られると、所与の処置において、処置中の心臓の温度に基づいて転帰を予測することができる。このモデルは初歩的なものであるが、本開示の理解を深めるために例示的な目的で提供されている。Method 500 includes predicting an outcome for a hardware-related model at step 540. This outcome prediction may be based on the trained model. For example, for the heart, if a procedure results in a positive outcome when the temperature during the procedure is between 97.7 and 100.2, then for a given procedure, the outcome may be predicted based on the temperature of the heart during the procedure. While this model is rudimentary, it is provided for illustrative purposes to facilitate understanding of the present disclosure.
本システム及び方法は、マシンを訓練し、モデルを構築し、アルゴリズムを使用して結果を予測するように動作する。これらのアルゴリズムを使用して、訓練されたモデルを解き、ハードウェアに関連する転帰を予測してもよい。これらのアルゴリズムは、一般に分類アルゴリズム、回帰アルゴリズム及びクラスタリングアルゴリズムに区分することができる。The present systems and methods operate to train machines, build models, and predict outcomes using algorithms. These algorithms may be used to solve trained models and predict outcomes related to hardware. These algorithms can generally be categorized as classification algorithms, regression algorithms, and clustering algorithms.
例えば、分類アルゴリズムは、予測される変数である従属変数が複数のクラスに分割され、所与の入力に対して１つのクラス、すなわち従属変数を予測する状況で使用される。したがって、分類アルゴリズムは、転帰を所定数の一定の事前定義された転帰から予測するために使用される。分類アルゴリズムが、単純ベイズアルゴリズム、決定木、ランダムフォレスト分類器、ロジスティック回帰、サポート・ベクター・マシン及びｋ近傍法を含んでもよい。For example, classification algorithms are used in situations where the dependent variable, or variable to be predicted, is divided into multiple classes and one class, i.e., the dependent variable, is predicted for a given input. Thus, classification algorithms are used to predict outcomes from a number of fixed, predefined outcomes. Classification algorithms may include naive Bayes algorithms, decision trees, random forest classifiers, logistic regression, support vector machines, and k-nearest neighbors.
一般的に、単純ベイズアルゴリズムは、ベイズ定理に従い、確率論的アプローチに従う。他の確率論に基づくアルゴリズムも使用可能であり、一般に、例示的な単純ベイズアルゴリズムについて以下に説明するものと同様の確率論の原理を使用して動作することが理解されよう。Generally, the Naive Bayes algorithm follows Bayes' Theorem and follows a probabilistic approach. It will be understood that other probability-based algorithms may be used and generally operate using similar principles of probability theory as those described below for the exemplary Naive Bayes algorithm.
図６は、単純ベイズ計算の確率の例を示す。ベイズ定理の確率論的アプローチは、本質的には、データに直接ジャンプする代わりに、アルゴリズムがターゲットのクラスごとに事前確率のセットを持っていることを意味する。データが入力された後、単純ベイズアルゴリズムは、事前確率を更新して事後確率を形成してもよい。これは、以下の式：Figure 6 shows an example of a naive Bayes calculation probability. The probabilistic approach of Bayes' theorem essentially means that instead of jumping directly to the data, the algorithm has a set of prior probabilities for each target class. After the data is input, the naive Bayes algorithm may update the prior probabilities to form posterior probabilities. This is done using the following formula:
この単純ベイズアルゴリズム及びベイズアルゴリズムは、一般に、入力がｎ個のクラスの所与のリストに属しているか否かを予測する必要がある場合に有用であり得る。ｎ個全てのクラスの確率は非常に低いため、確率論的アプローチを使用することができる。The Naive Bayes algorithm, and the Bayes algorithm in general, can be useful when you need to predict whether an input belongs to a given list of n classes. Because the probability of all n classes is very low, a probabilistic approach can be used.
例えば、図６に示すように、ゴルフをプレーする人は、第１のデータセット６１０に示されている外の天気を含むが、これらに限定されない要因に依存する。第１のデータセット６１０は、第１の列に天気を示し、第２の列にその天気に関連するプレーの結果を示す。頻度テーブル６２０では、特定の事象が発生する頻度が生成される。頻度テーブル６２０では、ある人が各気象条件においてゴルフをプレーするか又はプレーしない頻度が求められる。そこから、尤度テーブルがコンパイルされ、初期確率が生成される。例えば、天気が曇りである確率は０．２９だが、プレーの一般的な確率は０．６４である。For example, as shown in FIG. 6, a person's decision to play golf depends on factors including, but not limited to, the weather outside, as shown in a first data set 610. The first data set 610 lists the weather in a first column and the play outcomes associated with that weather in a second column. A frequency table 620 generates the frequency with which a particular event occurs. The frequency table 620 determines how often a person will or will not play golf in each weather condition. From this, a likelihood table is compiled and initial probabilities are generated. For example, the probability that the weather is cloudy is 0.29, but the general probability of playing is 0.64.
事後確率が、尤度テーブル６３０から生成されてもよい。これらの事後確率は、気象条件及びゴルフがそれらの気象条件でプレーされるか否かについての質問に答えるように構成されてもよい。例えば、外が晴れであり、かつゴルフがプレーされる確率は、ベイズ式：
Ｐ（はい｜晴れ）＝Ｐ（晴れ｜はい）×Ｐ（はい）／Ｐ（晴れ）
によって表されてもよい。
尤度テーブル６３０によると、
Ｐ（晴れ｜はい）＝３／９＝０．３３、
Ｐ（晴れ）＝５／１４＝０．３６、
Ｐ（はい）＝９／１４＝０．６４
である。
したがって、Ｐ（はい｜晴れ）＝．３３×．６４／．３６又は約０．６０（６０％）である。 Posterior probabilities may be generated from likelihood table 630. These posterior probabilities may be configured to answer questions about weather conditions and whether golf will be played in those weather conditions. For example, the probability that it is sunny outside and golf will be played can be calculated using the Bayesian formula:
P (Yes | Sunny) = P (Sunny | Yes) x P (Yes) / P (Sunny)
It may be represented by:
According to likelihood table 630,
P(sunny | yes) = 3/9 = 0.33,
P (sunny) = 5/14 = 0.36,
P(yes) = 9/14 = 0.64
is.
Therefore, P(yes|sunny) = 0.33 x 0.64/0.36 or approximately 0.60 (60%).
一般に、決定木はフローチャートに似たツリー構造であり、各外部ノードは属性のテストを示し、各ブランチはそのテストの結果を表す。リーフノードは、実際の予測ラベルを含む。決定木は、ツリーのルートから始まり、リーフノードに到達するまで属性値が比較される。決定木は、高次元のデータを処理する場合、及びデータの準備に費やされた時間がほとんどない場合に、分類器として使用することができる。決定木は、単純決定木、線形決定木、代数決定木、確定的決定木、ランダム化決定木、非確定的決定木及び量子決定木の形態を採ることができる。例示的な決定木を、以下に図７で示す。Generally, a decision tree is a tree structure similar to a flowchart, where each outer node represents a test of an attribute and each branch represents the result of that test. Leaf nodes contain the actual predicted label. A decision tree starts at the root of the tree and attribute values are compared until a leaf node is reached. Decision trees can be used as classifiers when dealing with high-dimensional data and when little time is spent on data preparation. Decision trees can take the form of simple decision trees, linear decision trees, algebraic decision trees, deterministic decision trees, randomized decision trees, non-deterministic decision trees, and quantum decision trees. An exemplary decision tree is shown below in Figure 7.
図７は、ゴルフをプレーするか否かを決定する際の、上記のベイズの例と同じ構造に沿った決定木を示している。決定木において、第１のノード７１０は、決定木を下に進むための選択肢として、天気が晴れ７１２、曇り７１４、及び雨７１６である場合を調べる。天気が晴れである場合、木の枝は、気温を調べる第２のノード７２０に続く。この例では、ノード７２０の気温は、高７２２又は正常７２４であり得る。ノード７２０で気温が高７２２である場合、ゴルフ「いいえ」７２３の予測結果が発生する。ノード７２０で気温が正常７２４である場合、ゴルフ「はい」７２５の予測結果が発生する。Figure 7 shows a decision tree that follows the same structure as the Bayesian example above when deciding whether to play golf. In the decision tree, a first node 710 examines sunny 712, cloudy 714, and rainy 716 weather conditions as options for progressing down the decision tree. If the weather is sunny, the tree branch continues to a second node 720, which examines the temperature. In this example, the temperature at node 720 can be high 722 or normal 724. If the temperature at node 720 is high 722, a predicted outcome of "No to Golf" 723 occurs. If the temperature at node 720 is normal 724, a predicted outcome of "Yes to Golf" 725 occurs.
更に、第１のノード７１０から、曇り７１４、ゴルフ「はい」７１５の結果が発生する。Furthermore, from the first node 710, the results Cloudy 714 and Golf "Yes" 715 are generated.
第１のノードの天気７１０から、雨７１６の結果として、（再び）第３のノード７３０が温度を調べる。第３のノード７３０で気温が正常７３２である場合、ゴルフをプレーする「はい」７３３となる。第３のノード７３０で気温が低７３４である場合、ゴルフをプレーしない「いいえ」７３５となる。From the first node's weather 710, as a result of rain 716, the third node 730 (again) checks the temperature. If the temperature at the third node 730 is normal 732, the answer is "yes" 733 to play golf. If the temperature at the third node 730 is low 734, the answer is "no" 735 to not play golf.
この決定木から、あるゴルファーは、曇天７１５の場合、正常の気温の晴天７２５の場合、及び正常の気温の雨天７３３の場合はゴルフをプレーするが、このゴルファーは、晴天の高温７２３又は降雨の低温７３５の場合はプレーしない。From this decision tree, a golfer will play golf when it is cloudy 715, when it is sunny with normal temperatures 725, and when it is rainy with normal temperatures 733, but this golfer will not play when it is hot with sunny temperatures 723 or cold with rain 735.
ランダムフォレスト分類器は、決定木のコミッティーであり、各決定木は、データの属性のサブセットを与えられ、そのサブセットに基づいて予測する。決定木の実際の予測値のモードが考慮され、最終的なランダムフォレストの回答が提供される。ランダムフォレスト分類器は一般に、スタンドアロンの決定木に存在する過剰適合を軽減することで、より堅牢かつ正確な分類器となっている。A random forest classifier is a committee of decision trees, where each tree is given a subset of the data's attributes and makes a prediction based on that subset. The mode of the decision trees' actual predictions is taken into account to provide the final random forest answer. Random forest classifiers generally mitigate the overfitting that exists in standalone decision trees, making them more robust and accurate classifiers.
図８は、衣服の色を分類するための例示的なランダムフォレスト分類器を示す。図８に示すように、ランダムフォレスト分類器は、５つの決定木８１０１、８１０２、８１０３、８１０４及び８１０５（集合的に又は概略的に決定木８１０と称される）を含む。木の各々は、衣服の色を分類するように設計されている。個々の木は概ね図７の決定木として動作するので、木及び行われる決定の各々の考察は、提供されない。この図では、５つの木のうち３つ（８１０１、８１０２、８１０４）は、衣服が青色であると判定し、１つは、衣服が緑色（８１０３）であると判定し、残りの木は、衣服が赤色（８１０５）であると判定する。ランダムフォレストは、５つの木のこれらの実際の予測値を受け取り、実際の予測値のモードを計算して、衣服が青色であるというランダムフォレストの回答を提供する。 FIG. 8 illustrates an exemplary random forest classifier for classifying clothing color. As shown in FIG. 8, the random forest classifier includes five decision trees 8101 , 8102 , 8103 , 8104 , and 8105 (collectively or generally referred to as decision tree 810). Each of the trees is designed to classify clothing color. Because the individual trees generally operate as the decision trees of FIG. 7 , a discussion of each of the trees and the decisions made is not provided. In this illustration, three of the five trees (8101 , 8102 , 8104 ) determine that the clothing is blue, one determines that the clothing is green (8103 ), and the remaining tree determines that the clothing is red (8105 ). The random forest receives these actual predictions of the five trees and calculates the mode of the actual predictions to provide the random forest's answer that the clothing is blue.
ロジスティック回帰は、バイナリ分類タスクのもう１つのアルゴリズムである。ロジスティック回帰は、シグモイド関数とも呼ばれるロジスティック関数に基づいている。このＳ字曲線は、任意の実数値を取り、これを０と１との間でマッピングして、漸近的にこれらの限界に近づくことができる。ロジスティックモデルは、合格／不合格、勝ち／負け、生存／死亡、又は健康／病気など、特定のクラス又は事象が存在する確率をモデル化するために使用できる。これは、画像に猫、犬、ライオンなどが含まれているか否かの判定など、いくつかのクラスの事象をモデル化するように拡張され得る。画像において検出される各オブジェクトには、０と１との間の確率が割り当てられ、これらの確率の合計は、１となる。Logistic regression is another algorithm for binary classification tasks. It is based on the logistic function, also known as the sigmoid function. This S-shaped curve can take any real-valued value and map it between 0 and 1, asymptotically approaching these bounds. Logistic models can be used to model the probability of a particular class or event being present, such as pass/fail, win/lose, alive/dead, or healthy/sick. This can be extended to model several classes of events, such as determining whether an image contains a cat, a dog, a lion, etc. Each object detected in an image is assigned a probability between 0 and 1, and these probabilities sum to 1.
ロジスティックモデルでは、「１」とラベル付けされた値の対数オッズ（オッズの対数）は、１つ又は２つ以上の独立変数（「予測子」）の線形結合であり、独立変数は各々、バイナリ変数（インジケータ変数でコード化された２つのクラス）又は連続変数（任意の実数値）であり得る。「１」とラベル付けされた値の対応する確率は、０（確実に「０」の値）と１（確実に「１」の値）との間で変化する可能性があることから、このようにラベル付けされ、ロジスティック関数は、対数オッズを確率に変換する関数であることから、このように称される。対数オッズスケールの測定単位は、ロジスティック単位の別名であるロジットと呼ばれる。プロビットモデルなどの、ロジスティック関数の代わりにシグモイド関数が異なる類似のモデルも使用できる。ロジスティックモデルの特徴は、独立変数のうちの１つを増加させると、与えられた結果のオッズが一定の割合で乗法的にスケーリングされ、各独立変数がそれ自体のパラメータを有することである。バイナリ従属変数の場合、これはオッズ比を一般化する。In a logistic model, the log-odds (log of the odds) of a value labeled "1" are a linear combination of one or more independent variables ("predictors"), each of which can be binary (two classes coded by indicator variables) or continuous (any real-valued value). The corresponding probability of a value labeled "1" is so labeled because it can vary between 0 (exactly a value of "0") and 1 (exactly a value of "1"). The logistic function is so named because it converts log-odds into probabilities. The unit of measurement for the log-odds scale is called the logit, another name for the logistic unit. Similar models, such as the probit model, can also be used, but with a sigmoid function instead of the logistic function. A distinctive feature of the logistic model is that increasing one of the independent variables multiplicatively scales the odds of a given outcome, and each independent variable has its own parameters. For binary dependent variables, this generalizes the odds ratio.
バイナリロジスティック回帰モデルでは、従属変数には２つのレベル（カテゴリ）がある。３つ以上の値を有する出力は、多項ロジスティック回帰によってモデル化され、複数のカテゴリが順序付けられている場合は、順序ロジスティック回帰（例えば、比例オッズ順序ロジスティックモデル）によってモデル化される。ロジスティック回帰モデル自体は、出力の確率を入力に関して単純にモデル化し、統計的分類を実行しない（分類器ではない）が、例えば、カットオフ値を選択し、確率がカットオフよりも大きい入力を１つのクラスとして、確率がカットオフ未満である入力を他のクラスとして分類することにより、分類器の作成に使用できる。これは、バイナリ分類器を作成する一般的な方法である。In a binary logistic regression model, the dependent variable has two levels (categories). Outputs with more than two values are modeled by multinomial logistic regression, and if the categories are ordered, they are modeled by ordinal logistic regression (e.g., proportional odds ordinal logistic model). Although a logistic regression model itself simply models the probability of the output with respect to the inputs and does not perform statistical classification (it is not a classifier), it can be used to create a classifier, for example, by selecting a cutoff value and classifying inputs with probabilities greater than the cutoff as one class and inputs with probabilities less than the cutoff as the other class. This is a common way to create a binary classifier.
図９は、例示的なロジスティック回帰を示す。この例示的なロジスティック回帰は、変数のセットに基づいた結果の予測を可能にする。例えば、個人の成績点平均に基づいて、学校に受け入れられる結果を予測することができる。成績点平均の過去の履歴と合格との関係により、予測を行うことができる。図９のロジスティック回帰は、成績点平均変数９２０の分析が、０から１によって定義される結果９１０を予測することを可能にする。Ｓ字曲線の下端９３０では、成績点平均９２０は、受け入れられないという結果９１０を予測する。Ｓ字曲線の上端９４０では、成績点平均９２０は、受け入れられるという結果９１０を予測する。ロジスティック回帰を使用して、住宅価値、保険セクタの顧客生涯価値などを予測することができる。Figure 9 illustrates an exemplary logistic regression. This exemplary logistic regression allows for the prediction of an outcome based on a set of variables. For example, school acceptance can be predicted based on an individual's grade point average. Predictions can be made based on the relationship between past history of grade point average and acceptance. The logistic regression of Figure 9 allows analysis of the grade point average variable 920 to predict an outcome 910 defined between 0 and 1. At the lower end of the S-curve 930, the grade point average 920 predicts an outcome 910 of not being accepted. At the upper end of the S-curve 940, the grade point average 920 predicts an outcome 910 of being accepted. Logistic regression can be used to predict home values, customer lifetime value in the insurance sector, etc.
サポート・ベクター・マシン（support vector machine：ＳＶＭ）を使用して、２つのクラス間のマージンを可能な限り離してデータを並べ替えることができる。これは、マージン最大化分離と呼ばれる。ＳＶＭは、その目的のためにデータセット全体を使用する線形回帰とは異なり、超平面をプロットしながらサポートベクターを考慮することが可能である。A support vector machine (SVM) can be used to sort the data so that the margin between the two classes is as far apart as possible. This is called margin-maximizing separation. Unlike linear regression, which uses the entire dataset for its purpose, SVM is able to take support vectors into account while plotting the hyperplane.
図１０は、例示的なサポート・ベクター・マシンを示す。例示的なＳＶＭ１０００では、データは、正方形１０１０及び三角形１０２０として表される２つの異なるクラスに分類され得る。ＳＶＭ１０００は、ランダムな超平面１０３０を描画することによって動作する。この超平面１０３０は、超平面１０３０と各クラスからの最も近いデータポイント１０５０との間の距離（線１０４０で示される）を比較することによって監視される。超平面１０３０に最も近いデータポイント１０５０は、サポートベクターとして既知である。超平面１０３０は、これらのサポートベクター１０５０に基づいて描かれ、最適な超平面は、各サポートベクター１０５０からの最大距離を有する。超平面１０３０とサポートベクター１０５０との間の距離は、マージンとして既知である。Figure 10 shows an exemplary support vector machine. In the exemplary SVM 1000, data can be classified into two distinct classes, represented as squares 1010 and triangles 1020. The SVM 1000 operates by drawing a random hyperplane 1030. This hyperplane 1030 is monitored by comparing the distance (shown by line 1040) between the hyperplane 1030 and the nearest data points 1050 from each class. The data points 1050 closest to the hyperplane 1030 are known as support vectors. The hyperplane 1030 is drawn based on these support vectors 1050, with the optimal hyperplane having the greatest distance from each support vector 1050. The distance between the hyperplane 1030 and the support vectors 1050 is known as the margin.
ＳＶＭ１０００は、超平面１０３０とサポートベクター１０５０との間の距離が最大になるように超平面１０３０を使用することによって、データ分類に使用され得る。このようなＳＶＭ１０００を、例えば心臓疾患を予測するために使用してもよい。The SVM 1000 can be used for data classification by using the hyperplane 1030 to maximize the distance between the hyperplane 1030 and the support vectors 1050. Such an SVM 1000 may be used, for example, to predict heart disease.
ｋ近傍法（k Nearest Neighbors：ＫＮＮ）は、一般に基本的なデータ分散を想定しておらず、合理的に短い訓練フェーズを実行する一連のアルゴリズムを指す。一般に、ＫＮＮは複数のクラスに分割された多数のデータポイントを使用して、新しいサンプルポイントの分類を予測する。運用上、ＫＮＮは新しいサンプルで整数Ｎを指定する。新しいサンプルに最も近いシステムのモデル内のＮ個のエントリが選択される。これらのエントリの最も一般的な分類が判定され、その分類が新しいサンプルに割り当てられる。ＫＮＮは一般に、訓練セットが増加するにつれて記憶空間を増加させる必要がある。これは、推定時間が訓練ポイントの数に比例して増加することも意味する。k Nearest Neighbors (KNN) generally refers to a set of algorithms that make no assumptions about the underlying data distribution and perform reasonably short training phases. Generally, KNNs use a large number of data points divided into classes to predict the classification of a new sample point. Operationally, KNNs specify an integer N with the new sample. The N entries in a model of the system that are closest to the new sample are selected. The most common classification of these entries is determined, and that classification is assigned to the new sample. KNNs generally require increasing storage space as the training set grows. This also means that estimation time increases linearly with the number of training points.
回帰アルゴリズムでは、出力は連続量であるため、目標変数が連続的な変数である場合に回帰アルゴリズムを使用することができる。線形回帰は、回帰アルゴリズムの一般的な例である。線形回帰は、一貫した変数を考慮して、真の品質（住宅コスト、コール回数、全ての取引など）を測定するために使用可能である。変数と結果との間のつながりが、最適な線を当てはめることによって求められる（このことから線形回帰）。この最適線は回帰線として既知であり、直接条件Ｙ＝ａ×Ｘ＋ｂで表される。線形回帰は、次元数が少ないアプローチで最もよく使用される。In regression algorithms, the output is continuous, so regression algorithms can be used when the target variable is a continuous variable. Linear regression is a common example of a regression algorithm. Linear regression can be used to measure true quality (such as housing costs, number of calls, or total transactions) by considering consistent variables. The connection between the variables and the outcome is found by fitting a line of best fit (hence linear regression). This line of best fit is known as the regression line and is expressed directly as the condition Y = a x X + b. Linear regression is most often used in low-dimensional approaches.
図１１は、例示的な線形回帰モデルを示す。このモデルでは、予測変数１１１０が測定変数１１２０に対してモデル化される。予測変数１１１０及び測定変数１１２０のインスタンスのクラスタは、データポイント１１３０としてプロットされている。次に、データポイント１１３０は、最適線１１４０に当てはめられる。次に、後続の予測で最適線１１４０を使用するが、測定変数１１２０が与えられている場合、線１１４０を使用して、そのインスタンスの予測変数１１１０を予測する。線形回帰を使用して、外科的処置における転帰、金融ポートフォリオの性能、給与予測、不動産、及び交通機関における到着予定時刻での到着をモデル化及び予測することができる。Figure 11 shows an exemplary linear regression model. In this model, a predictor variable 1110 is modeled against a measurement variable 1120. Clusters of instances of the predictor variable 1110 and the measurement variable 1120 are plotted as data points 1130. The data points 1130 are then fit to a best-fit line 1140. Subsequent predictions then use the best-fit line 1140 to predict the predictor variable 1110 for that instance, given the measurement variable 1120. Linear regression can be used to model and predict outcomes in surgical procedures, financial portfolio performance, salary forecasts, real estate, and estimated arrival times in transportation.
クラスタリングアルゴリズムを、データセットのモデル化及び訓練に使用してもよい。クラスタリングでは、入力は、特徴の類似性に基づいて２つ又は３つ以上のクラスタに割り当てられる。クラスタリングアルゴリズムは、通常、ガイダンスなしでデータからパターン及び有用な洞察を学習する。例えば、Ｋ平均クラスタリングなどの教師なし学習アルゴリズムを使用して、視聴者を興味、年齢、地理などに基づいて類似のグループにクラスタリングすることができる。Clustering algorithms may be used to model and train datasets. In clustering, inputs are assigned to two or more clusters based on feature similarity. Clustering algorithms typically learn patterns and useful insights from data without guidance. For example, unsupervised learning algorithms such as K-means clustering can be used to cluster audiences into similar groups based on interests, age, geography, etc.
Ｋ平均クラスタリングは、一般に、単純な教師なし学習アプローチとみなされる。Ｋ平均クラスタリングでは、同様のデータポイントを一緒にクラスタリングし、クラスタの形でバインドすることができる。データポイントを一緒にバインドする方法の１つは、データポイント群の重心を計算することによって行われる。Ｋ平均クラスタリングにおいて、効果的なクラスタを判定する際、各ポイントのクラスタの重心からの距離が評価される。データポイントと重心との間の距離に応じて、データは最も近いクラスタに割り当てられる。クラスタリングの目的は、一連のラベルなしデータの固有のグループ化を判定することである。Ｋ平均における「Ｋ」は、形成されたクラスタの数を表す。クラスタの数（基本的には、データの新しいインスタンスが分類され得るクラスの数）は、ユーザによって判定され得る。この判定は、例えば、フィードバックを使用し、訓練中にクラスタのサイズを見ることで行うことができる。K-means clustering is generally considered a simple unsupervised learning approach. In K-means clustering, similar data points can be clustered together and bound together in the form of clusters. One way to bind data points together is by calculating the centroid of the data points. In K-means clustering, the distance of each point from the cluster centroid is evaluated when determining effective clusters. Depending on the distance between the data point and the centroid, the data is assigned to the closest cluster. The goal of clustering is to determine the unique groupings of a set of unlabeled data. The "K" in K-means represents the number of clusters formed. The number of clusters (essentially the number of classes into which new instances of data can be classified) can be determined by the user. This can be done, for example, using feedback and looking at the size of the clusters during training.
Ｋ平均は、データセットが別個かつ良好に分離された点を有する場合に使用され、そうでなければ、クラスタが分離されていない場合、モデリングは、クラスタを不正確にレンダリングすることがある。加えて、データセットに多数の外れ値が含まれている場合、又はデータセットが非線形である場合には、Ｋ平均を回避することができる。K-means is used when the dataset has distinct and well-separated points; otherwise, the modeling may render the clusters inaccurate if they are not separated. Additionally, K-means can be avoided if the dataset contains a large number of outliers or if the dataset is non-linear.
図１２は、Ｋ平均クラスタリングを示す。Ｋ平均クラスタリングでは、データポイントがプロットされ、Ｋ値が割り当てられる。例えば、図１２のＫ＝２の場合、データポイントは、描写１２１０に示されるようにプロットされる。次に、ステップ１２２０で、ポイントが同様の中心に割り当てられる。クラスタの重心が、１２３０に示すように識別される。重心が識別されると、１２４０に示すように、データポイントと各クラスタの重心との間の距離が最小となるようにポイントがクラスタに再割り当てされる。次に、クラスタの新しい重心が、描写１２５０に示されるように判定され得る。データポイントがクラスタに再割り当てされて、クラスタの新しい重心が形成されると、反復又は一連の反復が発生して、クラスタのサイズを最小化し、最適な重心を判定することができる。次に、新しいデータポイントが測定されると、その新しいデータポイントが重心及びクラスタと比較され、そのクラスタで識別され得る。Figure 12 illustrates K-means clustering. In K-means clustering, data points are plotted and assigned a K value. For example, for K=2 in Figure 12, the data points are plotted as shown in depiction 1210. Next, in step 1220, the points are assigned to similar centers. Cluster centroids are identified as shown in 1230. Once the centroids are identified, the points are reassigned to clusters to minimize the distance between the data points and each cluster's centroid, as shown in 1240. New centroids for the clusters can then be determined as shown in depiction 1250. Once the data points have been reassigned to clusters and new centroids for the clusters have been formed, an iteration or series of iterations can occur to minimize the size of the clusters and determine the optimal centroid. New data points can then be measured and compared to the centroids and clusters to identify them with that cluster.
アンサンブル学習アルゴリズムを使用してもよい。これらのアルゴリズムは、複数の学習アルゴリズムを使用して、構成要素である学習アルゴリズムのいずれかのみから得られるよりも優れた予測パフォーマンスを実現する。アンサンブル学習アルゴリズムは、仮説空間を検索するタスクを実行して、特定の問題について良好な予測を行う、好適な仮説を見つける。仮説空間に特定の問題に非常に適した仮説が含まれている場合でも、適切な仮説を見つけるのは非常に難しい場合がある。アンサンブルアルゴリズムは、複数の仮説を組み合わせてより良い仮説を形成する。アンサンブルという用語は通常、同じ基本学習器を使用して複数の仮説を生成する方法で用いられる。複数分類器システムのより広い概念は、同じ基本学習器によって誘導されない仮説のハイブリダイゼーション（hybridization of hypotheses）も網羅する。Ensemble learning algorithms may be used. These algorithms use multiple learning algorithms to achieve better predictive performance than would be possible from any of the constituent learning algorithms alone. Ensemble learning algorithms perform the task of searching a hypothesis space to find suitable hypotheses that make good predictions for a particular problem. Even if the hypothesis space contains hypotheses that are highly suitable for a particular problem, finding a suitable hypothesis can be very difficult. Ensemble algorithms combine multiple hypotheses to form a better one. The term ensemble is typically used to refer to the method of generating multiple hypotheses using the same base learner. The broader concept of a multi-classifier system also encompasses the hybridization of hypotheses that are not derived from the same base learner.
アンサンブルの予測を評価するには、通常、単一のモデルの予測を評価するよりも多くの計算が必要になるため、アンサンブルは、多くの余分な計算を実行することにより、貧弱な学習アルゴリズムを補う方法と考えることができる。決定木などの高速アルゴリズムは、一般にはランダムフォレストなどのアンサンブル法で使用されているが、より低速のアルゴリズムでもアンサンブル法の恩恵を受けることができる。Evaluating the predictions of an ensemble typically requires more computation than evaluating the predictions of a single model, so ensembles can be thought of as a way to compensate for poor learning algorithms by performing a lot of extra computation. Fast algorithms such as decision trees are commonly used in ensemble methods such as random forests, but slower algorithms can also benefit from ensemble methods.
アンサンブルは、訓練後に使用して予測を行うことができるため、それ自体が監視付き学習アルゴリズムである。したがって、訓練されたアンサンブルは、単一の仮説を表す。しかしながら、この仮説は、それが構築されたモデルの仮説空間内に含まれているとは限らない。したがって、アンサンブルは、それらが表すことができる関数において、より多くの柔軟性を有するように示され得る。この柔軟性により、理論的には、単一のモデルよりも訓練データを過剰適合させることができるが、実際には、一部のアンサンブル法（特にバギング）は、訓練データの過剰適合に関連する問題を低減する傾向がある。Ensembles are themselves supervised learning algorithms, since they can be used to make predictions after training. A trained ensemble therefore represents a single hypothesis. However, this hypothesis is not necessarily contained within the hypothesis space of the model from which it was constructed. Ensembles can therefore be shown to have more flexibility in the functions they can represent. This flexibility theoretically allows them to overfit the training data more than a single model, but in practice, some ensemble methods (especially bagging) tend to reduce the problems associated with overfitting the training data.
経験的に、モデル間にかなりの多様性がある場合、アンサンブルアルゴリズムはより良い結果をもたらす傾向がある。したがって、多くのアンサンブル法は、それらが組み合わせるモデル間の多様性を促進することを目指している。直感的ではないが、（エントロピ低減決定木などの）非常に慎重なアルゴリズムよりも強力なアンサンブルを生成するために、（ランダム決定木などの）よりランダムなアルゴリズムを使用することができる。しかしながら、様々な強力な学習アルゴリズムの使用は、多様性を促進するためにモデルを簡略化しようとする手法を使用することよりも効果的であることが示されている。Empirically, ensemble algorithms tend to perform better when there is a significant degree of diversity among the models. Therefore, many ensemble methods aim to promote diversity among the models they combine. Although counterintuitive, more random algorithms (such as random decision trees) can be used to generate more powerful ensembles than more careful algorithms (such as entropy-reducing decision trees). However, the use of a variety of powerful learning algorithms has been shown to be more effective than using techniques that attempt to simplify models to promote diversity.
アンサンブルの構成要素分類器の数は、予測の精度に大きな影響を与える。このことは、オンラインのアンサンブル分類器の場合、アンサンブルのサイズとビッグデータストリームの量及び速度とを先験的に判定するために、更に重要となる。理論上のフレームワークは、理想的な数の構成要素分類器がアンサンブルに存在し、分類器がこの数より多いか又は少ないと精度が低下することを示唆している。理論上のフレームワークは、クラスラベルと同じ数の独立した構成要素分類器を使用すると、最も高い精度が得られることを示している。The number of component classifiers in an ensemble has a significant impact on the accuracy of the prediction. This is even more important for online ensemble classifiers, where the size of the ensemble and the volume and velocity of the big data stream must be determined a priori. Theoretical frameworks suggest that there is an ideal number of component classifiers in an ensemble, and that having more or fewer classifiers than this number will result in decreased accuracy. Theoretical frameworks also suggest that using the same number of independent component classifiers as class labels will yield the highest accuracy.
アンサンブルのいくつかの一般的なタイプには、ベイズ最適分類器、ブートストラップ集約（バギング）、ブースティング、ベイズモデル平均化、ベイズモデルの組み合わせ、モデルのバケット及びスタッキングが含まれる。図１３は、バギングが並行して実行されており（１３１０）、ブースティングが順次に実行されている（１３２０）例示的なアンサンブル学習アルゴリズムを示している。Some common types of ensembles include Bayesian optimal classifiers, bootstrap aggregation (bagging), boosting, Bayesian model averaging, Bayesian model combination, and model bucketing and stacking. Figure 13 shows an exemplary ensemble learning algorithm in which bagging is performed in parallel (1310) and boosting is performed sequentially (1320).
ニューラルネットワークは、ニューロンのネットワーク又は回路、あるいは現代的な意味では、人工ニューロン又はノードで構成される人工ニューラルネットワークである。生物学的ニューロンのつながりが、重みとしてモデル化される。正の重みは興奮性のつながりを反映し、負の値は抑制性のつながりを意味する。入力は重みで修正され、線形結合を使用して合計される。活性化関数が、出力の振幅を制御することができる。例えば、出力の許容範囲は通常０～１であるが、－１～１の場合もある。A neural network is a network or circuit of neurons, or in the modern sense, an artificial neural network, composed of artificial neurons or nodes. The connections of biological neurons are modeled as weights. Positive weights reflect excitatory connections, while negative values imply inhibitory connections. The inputs are modified by the weights and summed using linear combinations. An activation function can control the amplitude of the output. For example, the allowed range of the output is usually between 0 and 1, but can also be between -1 and 1.
これらの人工ネットワークは、予測モデリング、適応制御及びアプリケーションに使用でき、データセットを介して訓練することができる。経験から生じる自己学習がネットワーク内で発生する可能性があり、複雑で一見無関係な一組の情報から結論を導き出すことができる。These artificial networks can be used in predictive modeling, adaptive control, and applications, and can be trained through datasets. Self-learning arising from experience can occur within the network, allowing it to draw conclusions from complex and seemingly unrelated sets of information.
完全を期すために、生物学的ニューラルネットワークは、化学的に接続されたニューロン又は機能的に関連付けられたニューロンのグループから構成される。１つのニューロンが他の多くのニューロンに接続されていてもよく、ネットワーク内のニューロン及び接続の総数が広範囲にわたってもよい。シナプスと呼ばれる接続は、通常、軸索から樹状突起へと形成されるが、樹状突起間シナプス及び他の接続も可能である。電気的な信号伝達とは別に、神経伝達物質の拡散から生じる他の信号伝達形態がある。For completeness, biological neural networks consist of groups of chemically connected or functionally associated neurons. One neuron may be connected to many other neurons, and the total number of neurons and connections in a network may vary widely. Connections, called synapses, are usually formed from axons to dendrites, although dendritic synapses and other connections are also possible. Apart from electrical signaling, there are other forms of signaling that result from the diffusion of neurotransmitters.
人工知能、認知モデリング及びニューラルネットワークは、生物学的神経システムのデータ処理方法に着想を得た情報処理パラダイムである。人工知能及び認知モデリングは、生物学的ニューラルネットワークのいくつかの特性をシミュレートしようとする。人工知能分野では、人工ニューラルネットワークが音声認識、画像分析及び適応制御にうまく適用され、（コンピュータゲーム及びビデオゲームにおける）ソフトウェアエージェント又は自律ロボットが構築されている。Artificial intelligence, cognitive modeling, and neural networks are information processing paradigms inspired by the way biological nervous systems process data. Artificial intelligence and cognitive modeling attempt to simulate some of the properties of biological neural networks. In the field of artificial intelligence, artificial neural networks have been successfully applied to speech recognition, image analysis, and adaptive control, and to build software agents or autonomous robots (in computer and video games).
ニューラルネットワーク（neural network：ＮＮ）は、人工ニューラルネットワーク（artificial neural network：ＡＮＮ）又はシミュレートニューラルネットワーク（simulated neural network：ＳＮＮ）と呼ばれる人工ニューロンの場合、情報処理に計算への接続論的アプローチに基づいて数学的モデル又は計算モデルを使用する、天然のニューロン又は人工ニューロンの相互接続されたグループである。ほとんどの場合、ＡＮＮは、ネットワークを通って流れる外部情報又は内部情報に基づいてその構造を変更する適応型システムである。より実際的には、ニューラルネットワークは非線形の統計データモデリングツール又は意思決定ツールである。これらを、入力と出力の間の複雑な関係をモデル化するため及びデータのパターンを見つけるために使用することができる。A neural network (NN) is an interconnected group of natural or artificial neurons that uses a mathematical or computational model based on a connectionist approach to computation for information processing, in the case of artificial neurons, called an artificial neural network (ANN) or simulated neural network (SNN). In most cases, ANNs are adaptive systems that change their structure based on external or internal information flowing through the network. More practically, neural networks are nonlinear statistical data modeling or decision-making tools. They can be used to model complex relationships between inputs and outputs and to find patterns in data.
人工ニューラルネットワークは、処理要素と要素パラメータとの間の接続によって判定される複雑でグローバルな挙動を示すことができる単純な処理要素（人工ニューロン）のネットワークを含む。Artificial neural networks comprise networks of simple processing elements (artificial neurons) that can exhibit complex global behavior determined by the connections between the processing elements and element parameters.
人工ニューラルネットワークの１つの古典的なタイプは、再帰型ホップフィールドネットワークである。人工ニューラルネットワークモデルの有用性は、それらを使用して、観測から関数を推定し、かつそれを使用することができるという事実にある。教師なしニューラルネットワークは、入力分布の顕著な特徴をキャプチャする入力の表現の学習、及び、最近では、観測データの分布関数を暗黙的に学習することができるディープラーニングアルゴリズムにも使用することができる。ニューラルネットワークでの学習は、データ又はタスクの複雑さのためにそのような関数の設計を手作業では行えない用途において特に有用である。One classic type of artificial neural network is the recurrent Hopfield network. The utility of artificial neural network models lies in the fact that they can be used to estimate and use functions from observations. Unsupervised neural networks can also be used to learn representations of inputs that capture salient features of the input distribution, and more recently, in deep learning algorithms that can implicitly learn distribution functions for observed data. Training with neural networks is particularly useful in applications where the complexity of the data or the task makes it impossible to design such functions manually.
ニューラルネットワークは、様々な分野において使用することができる。人工ニューラルネットワークが適用されるタスクは、以下の広いカテゴリにわたる傾向がある：関数近似、又は時系列予測及びモデリングを含む回帰分析、パターン及び配列認識、新規性の検出及び逐次的な意思決定を含む分類、フィルタリング、クラスタリング、ブラインド信号分離、及び圧縮を含むデータ処理。Neural networks can be used in a variety of fields. Tasks to which artificial neural networks are applied tend to fall into the following broad categories: function approximation or regression analysis, including time series prediction and modeling; pattern and sequence recognition, classification, including novelty detection and sequential decision making; data processing, including filtering, clustering, blind signal separation, and compression.
ＡＮＮの適用領域には、非線形システムの識別及び制御（車両制御、プロセス制御）、ゲームのプレー及び意思決定（バックギャモン、チェス、レース）、パターン認識（レーダシステム、顔識別、オブジェクト認識）、シーケンス認識（ジェスチャ、スピーチ、手書きテキスト認識）、医療診断、金融アプリケーション、データマイニング（又はデータベースでの知識発見、すなわち「ＫＤＤ」）、視覚化、並びに電子メールスパムフィルタリングが含まれる。例えば、オブジェクト認識のために訓練された写真から生じるユーザの興味のセマンティックプロファイルを作成することが可能である。Application areas of ANNs include identification and control of nonlinear systems (vehicle control, process control), game playing and decision-making (backgammon, chess, racing), pattern recognition (radar systems, face identification, object recognition), sequence recognition (gesture, speech, handwritten text recognition), medical diagnosis, financial applications, data mining (or knowledge discovery in databases, or "KDD"), visualization, and email spam filtering. For example, it is possible to create semantic profiles of user interests resulting from photographs trained for object recognition.
図１４は、例示的なニューラルネットワークを示す。ニューラルネットワークには、１４１０１及び１４１０２などの複数の入力で表される入力層がある。入力１４１０１、１４１０２は、ノード１４２０１、１４２０２、１４２０３、１４２０４を含むものとして示されている隠れ層に供給される。これらのノード１４２０１、１４２０２、１４２０３、１４２０４は組み合わされて、出力層において出力１４３０を生成する。ニューラルネットワークは、単純な処理要素であるノード１４２０１、１４２０２、１４２０３、１４２０４の隠れ層を介して単純な処理を実行し、これらのノードは、処理要素と要素パラメータとの間の接続によって判定される複雑でグローバルな挙動を示すことができる。 14 illustrates an exemplary neural network. The neural network has an input layer represented by multiple inputs, such as14101 and14102. The inputs14101 ,14102 are fed into a hidden layer shown as including nodes14201 ,14202 ,14203 , and14204. These nodes14201 ,14202 ,14203 , and14204 are combined to produce output 1430 in the output layer. While neural networks perform simple processing through a hidden layer of simple processing elements, nodes14201 ,14202 ,14203 , and14204 , these nodes can exhibit complex global behavior determined by the connections between the processing elements and element parameters.
図１４のニューラルネットワークがハードウェアで実装されてもよい。図１５を参照すると、ハードウェアベースのニューラルネットワークが示されている。The neural network of Figure 14 may be implemented in hardware. Referring to Figure 15, a hardware-based neural network is shown.
心不整脈及び特に心房細動（atrial fibrillation、ＡＦ）は、特に老年人口では、一般的かつ危険な病状として存続する。正常な洞律動を有する患者では、心房、心室、及び興奮伝導組織からなる心臓は、電気的に興奮して、同期的な、パターン化した形で拍動する。心不整脈を有する患者では、心臓組織の異常領域は、正常な洞調律を有する患者におけるような、通常の伝導組織に関連する同期的な拍動周期には従わない。これに対して、心組織の異常領域では隣接組織への異常な伝導が行われ、これにより心臓周期が乱れて非同期的な心律動となる。そのような異常な伝導は、例えば、洞房（sino-atrial、ＳＡ）結節の領域内、房室（ＡＶ）結節及びヒス束の伝導経路に沿って、又は心室及び心房の壁を形成する心筋組織内などの、心臓の様々な領域で発生することが、以前より既知である。Cardiac arrhythmias, and atrial fibrillation (AF) in particular, remain common and dangerous conditions, especially in the aging population. In patients with normal sinus rhythm, the heart, consisting of atria, ventricles, and excitable conduction tissue, is electrically excited to beat in a synchronous, patterned manner. In patients with cardiac arrhythmias, abnormal regions of cardiac tissue do not follow the synchronous beating cycle associated with normal conduction tissue, as in patients with normal sinus rhythm. In contrast, abnormal regions of cardiac tissue conduct abnormally to adjacent tissue, disrupting the cardiac cycle and resulting in an asynchronous cardiac rhythm. Such abnormal conduction has long been known to occur in various regions of the heart, such as within the region of the sinoatrial (SA) node, along the conduction pathways of the atrioventricular (AV) node and the bundle of His, or within the myocardial tissue forming the walls of the ventricles and atria.
カテーテルアブレーションベースの治療に、心臓組織、特に心内膜及び心臓容積の電気的特性をマッピングすること、並びにエネルギーの印加によって心臓組織を選択的にアブレーションすることが含まれてもよい。心臓マッピング、例えば、心組織に沿った波動伝播の電位マップ（電圧マップ）、又は様々な組織が位置する場所までの到達時間のマップ（局所興奮時間（local time activation、ＬＡＴ）マップ）の生成を用いて、心組織の局所的機能障害を検出することができる。心臓マッピングに基づくものなどのアブレーションにより、不要な電気信号が心臓のある部分から別の部分へと伝播するのを停止させる又は修正することができる。Catheter ablation-based treatments may involve mapping the electrical properties of cardiac tissue, particularly the endocardium and cardiac volumes, and selectively ablating the cardiac tissue through the application of energy. Cardiac mapping, such as generating an electrical potential map (voltage map) of wave propagation along cardiac tissue or a map of arrival times to where various tissues are located (local time activation (LAT) map), can be used to detect local dysfunction in cardiac tissue. Ablation, such as that based on cardiac mapping, can stop or modify the propagation of unwanted electrical signals from one part of the heart to another.
心房細動及び心室頻拍などの困難な疾患を医師が治療する際の心臓アブレーション及び他の心臓電気生理学的処置は、ますます複雑化している。難治性不整脈の治療は現在、関心対象の心腔の解剖学的構造を再構成するために、３次元（３Ｄ）マッピングシステムの使用に依存している。例えば、心臓病専門医は、心臓内ＥＧＭ信号を解析して、非通常型心房粗動及び心室頻拍を含む様々な心臓疾患を治療するためのアブレーションポイントを判定するために、Ｂｉｏｓｅｎｓｅ Ｗｅｂｓｔｅｒ，Ｉｎｃ．（Ｄｉａｍｏｎｄ Ｂａｒ，Ｃａｌｉｆｏｒｎｉａ）製のＣＡＲＴＯ（登録商標）３ ３Ｄマッピングシステムのコンプレックス細分化心房電位図（ＣＦＡＥ）モジュールなどのソフトウェアに依存する。３Ｄマップは、これらの困難な不整脈の解剖学的及び機能的基質を表す、組織の電気生理学的特性に関する複数の情報を提供することができる。Cardiac ablation and other cardiac electrophysiology procedures are becoming increasingly complex as physicians treat challenging conditions such as atrial fibrillation and ventricular tachycardia. Treatment of refractory arrhythmias currently relies on the use of three-dimensional (3D) mapping systems to reconstruct the anatomical structure of the cardiac chamber of interest. For example, cardiologists rely on software such as the Complex Fractionated Atrial Electrogram (CFAE) module of the CARTO® 3 3D Mapping System from Biosense Webster, Inc. (Diamond Bar, California) to analyze intracardiac EGM signals and determine ablation points for treating various cardiac conditions, including atypical atrial flutter and ventricular tachycardia. 3D maps can provide multiple pieces of information about the electrophysiological properties of tissues, describing the anatomical and functional substrates of these challenging arrhythmias.
電極カテーテルは、長年にわたり医療現場で一般的に使用されている。電極カテーテルは、心臓内の電気活動を刺激及びマッピングし、異常な電気活動が見られる部位をアブレーションするために使用される。使用時には、電極カテーテルは、主要な静脈又は動脈、例えば大腿動脈に挿入された後、対象の心腔内へと導かれる。典型的なアブレーション処置は、その遠位端に少なくとも１つの電極を有するカテーテルを心腔内に挿入することを伴う。参照電極が、一般的には患者の皮膚にテープで貼り付けられるか、あるいは心臓内又は心臓付近に位置付けられている第２のカテーテルによって、提供される。ＲＦ（高周波）電流をアブレーションカテーテルの先端電極に通電すると、参照電極に向かって先端電極の周囲の媒質（すなわち、血液及び組織）に電流が流れる。電流の分布は、組織より高い導電性を有する血液と比較した場合、組織と接触している電極表面の量に依存する。組織の加熱は、組織の電気抵抗に起因して生じる。組織が十分に加熱されると、心臓組織において細胞破壊が引き起こされ、結果として、非電導性である心臓組織内に損傷部が形成される。このプロセスの間に、加熱された組織から電極自体への伝導によって電極も加熱される。電極の温度が十分に高くなり、場合により６０℃を超えると、脱水された血液タンパク質の薄く透明な皮膜が、電極の表面上に形成され得る。温度が上昇し続けると、この脱水層が徐々に厚くなり得、電極表面上に血液が凝固する。脱水された生物学的材料は、心内膜組織よりも高い電気抵抗を有するため、電気エネルギーの組織内部への流れに対するインピーダンスもまた増大する。インピーダンスが十分に高くなると、インピーダンス上昇が起こり、カテーテルを身体から抜いて先端部電極をきれいにしなければならない。Electrode catheters have been commonly used in medical practice for many years. They are used to stimulate and map electrical activity within the heart and to ablate sites of abnormal electrical activity. In use, an electrode catheter is inserted into a major vein or artery, such as the femoral artery, and then guided into a chamber of the subject's heart. A typical ablation procedure involves inserting a catheter with at least one electrode at its distal end into a heart chamber. A reference electrode is typically provided by a second catheter taped to the patient's skin or positioned within or near the heart. When RF (radio frequency) current is applied to the tip electrode of the ablation catheter, current flows through the medium surrounding the tip electrode (i.e., blood and tissue) toward the reference electrode. The distribution of the current depends on the amount of electrode surface in contact with the tissue compared to blood, which has a higher electrical conductivity than tissue. Tissue heating occurs due to the electrical resistance of the tissue. Sufficient tissue heating can cause cell destruction in the cardiac tissue, resulting in lesions within the non-conductive cardiac tissue. During this process, the electrode also heats due to conduction from the heated tissue to the electrode itself. If the electrode temperature becomes high enough, possibly exceeding 60°C, a thin, transparent film of dehydrated blood proteins can form on the electrode's surface. As the temperature continues to rise, this dehydrated layer can gradually thicken, causing blood to coagulate on the electrode surface. Because dehydrated biological material has a higher electrical resistance than endocardial tissue, the impedance to the flow of electrical energy into the tissue also increases. If the impedance becomes high enough, an impedance rise occurs, requiring the catheter to be removed from the body and the tip electrode to be cleaned.
カテーテルアブレーションを成功裏に実行するための必要条件は、心不整脈の原因及び心臓の周囲領域が心腔内で正確に位置特定されることを必要とする。そのような位置特定は、心腔に導入されたマッピングカテーテルによって電位が検出され空間的に分解される電気生理学的調査によって行うことができる。したがって、この電気生理学的調査、いわゆる電気解剖学的マッピングは、モニタ上に表示することができる３Ｄマッピングデータを提供する。多くの場合、マッピング機能及び治療機能（例えば、アブレーション）は、単一のカテーテル又はカテーテル群によって提供され、それにより、マッピングカテーテルはまた、同時に治療（例えば、アブレーション）カテーテルとして動作する。A prerequisite for successful catheter ablation is that the source of the cardiac arrhythmia and the surrounding cardiac region must be accurately localized within the cardiac chamber. Such localization can be achieved by electrophysiological studies, in which electrical potentials are detected and spatially resolved by a mapping catheter introduced into the cardiac chamber. This electrophysiological study, also known as electroanatomical mapping, thus provides 3D mapping data that can be displayed on a monitor. Often, mapping and therapeutic (e.g., ablation) functions are provided by a single catheter or group of catheters, whereby the mapping catheter also simultaneously operates as a therapeutic (e.g., ablation) catheter.
心臓マッピングは、１つ又は２つ以上の技術を使用して実施することができる。第１の技術の一例として、心臓マッピングは、心臓内の正確な位置の関数として、心組織の電気特性、例えば、局所興奮時間を感知することによって実施されてもよい。対応するデータは、遠位先端部に電気及び位置センサを有するカテーテルを使用して、心臓の中へと前進される１つ又は２つ以上のカテーテルで取得されてもよい。一例として、位置及び電気活動は、心臓の内側表面上の約１０～約２０箇所の点で最初に測定されてもよい。これらのデータ点は、一般に、心臓表面の予備的な再構成又はマップを満足な品質で生成するのに十分なものとすることができる。予備的なマップは、心臓の電気活動の更に包括的なマップを生成するために、追加の点で取られたデータと結合されてもよい。臨床的な状況において、１００以上の部位におけるデータを集積して、心腔の電気活動の詳細な包括的マップを生成することも珍しいことではない。その後、生成された詳細なマップは、心臓の電気活動の伝播を改変させ正常な心調律を回復させるための治療上の行動指針、例えば、組織のアブレーションに関する決定を下すための基準となり得る。Cardiac mapping can be performed using one or more techniques. As an example of a first technique, cardiac mapping may be performed by sensing electrical properties of cardiac tissue, such as regional activation time, as a function of precise location within the heart. Corresponding data may be acquired with one or more catheters advanced into the heart using catheters having electrical and position sensors at their distal tips. By way of example, position and electrical activity may initially be measured at approximately 10 to approximately 20 points on the inner surface of the heart. These data points may generally be sufficient to generate a preliminary reconstruction or map of the cardiac surface of satisfactory quality. The preliminary map may be combined with data taken at additional points to generate a more comprehensive map of the cardiac electrical activity. In clinical settings, it is not uncommon to accumulate data at 100 or more sites to generate a detailed, comprehensive map of the electrical activity of the cardiac chambers. The detailed map may then serve as the basis for making decisions regarding therapeutic action, such as tissue ablation, to alter the propagation of the cardiac electrical activity and restore normal cardiac rhythm.
位置センサを収容するカテーテルを使用して、心臓表面の各点の軌跡を判定し得る。これらの軌跡を使用して、組織の収縮力などの運動特性を推測することができる。そのような運動特性を示すマップは、軌跡情報が心臓内の十分な数の点でサンプリングされるときに構築されてもよい。A catheter containing a position sensor may be used to determine the trajectory of each point on the heart's surface. These trajectories can be used to infer motion characteristics, such as the contractile force of the tissue. A map indicative of such motion characteristics may be constructed when trajectory information is sampled at a sufficient number of points within the heart.
心臓内のある点における電気活動は、典型的には、遠位先端に又はその近くに電気センサを収容したカテーテルを、心臓内のその点へと前進させ、組織をセンサと接触させ、その点におけるデータを取得することによって測定することができる。多電極カテーテルは、複数の電極を有する線形カテーテル、バルーンを形成する複数のスパイン上に分散された電極を含むバルーンカテーテル、複数の電極を有するラッソーカテーテル若しくはループカテーテル、又は任意の他の適用可能な形状などの任意の適用可能な形状を使用して実装されてもよい。Electrical activity at a point within the heart can be measured by advancing a catheter, typically containing an electrical sensor at or near its distal tip, to the point within the heart, contacting tissue with the sensor, and acquiring data at the point. Multi-electrode catheters may be implemented using any applicable shape, such as a linear catheter with multiple electrodes, a balloon catheter including electrodes distributed on multiple spines forming a balloon, a lasso or loop catheter with multiple electrodes, or any other applicable shape.
一例によれば、多電極カテーテルを心腔内に前進させることができる。各電極の位置及び向きを確定するために、前後方向（Anteroposterior、ＡＰ）及び横方向の蛍光図が取得されてもよい。身体表面ＥＣＧから得られる洞調律におけるＰ波の開始などの一時的な基準に対して、心臓表面と接触する各電極から電位図を記録することができる。本明細書で更に開示されるシステムは、電気活動を記録するそれらの電極と、心内膜壁に近接していないことに起因しない電極とを区別することができる。初期電位図が記録された後、カテーテルを再位置付けすることができ、蛍光図及び電位図を再度記録することができる。次いで、電気マップを、上記のプロセスの繰り返しから構築することができる。According to one example, a multi-electrode catheter can be advanced into a cardiac chamber. Anterior-posterior (AP) and lateral fluorograms can be acquired to determine the location and orientation of each electrode. Electrograms can be recorded from each electrode in contact with the cardiac surface relative to a temporal reference, such as the onset of the P wave in sinus rhythm, obtained from a surface ECG. Systems further disclosed herein can distinguish between those electrodes that record electrical activity and those that do not due to lack of proximity to the endocardial wall. After an initial electrogram is recorded, the catheter can be repositioned, and fluorograms and electrograms can be recorded again. An electrical map can then be constructed from a repetition of the above process.
別の実施例によれば、心腔の電位分布をマッピングするための技術及び装置を実装することができる。心臓内多電極マッピングカテーテルアセンブリは、患者の心臓に挿入されてもよい。このマッピングカテーテルアセンブリは、一体的な基準電極、又は好ましくは、コンパニオン基準カテーテルを有する多電極アレイを含むことができる。電極は、実質的に球状のアレイの形態で展開されてもよい。電極アレイは、基準電極によって、又は心内膜表面と接触される基準カテーテルによって、心内膜表面上のある点を空間的に参照することができる。好ましい電極アレイカテーテルは、多数の個々の電極部位（例えば、少なくとも２４個）を担持してもよい。加えて、この実施例の技術は、アレイ上の各電極部位の位置を知ること、並びに心臓の幾何学的形状を知ることにより実装することができる。これらの位置は、好ましくは、インピーダンスプレチスモグラフィの技術によって判定される。According to another embodiment, techniques and devices for mapping the electrical potential distribution of a cardiac chamber can be implemented. An intracardiac multi-electrode mapping catheter assembly can be inserted into a patient's heart. The mapping catheter assembly can include a multi-electrode array with an integral reference electrode or, preferably, a companion reference catheter. The electrodes can be deployed in a substantially spherical array. The electrode array can be spatially referenced to a point on the endocardial surface by the reference electrode or by a reference catheter that is in contact with the endocardial surface. A preferred electrode array catheter can carry a large number of individual electrode sites (e.g., at least 24). Additionally, the techniques of this embodiment can be implemented by knowing the location of each electrode site on the array as well as the cardiac geometry. These locations are preferably determined by the technique of impedance plethysmography.
他の実施例によれば、身体パッチ及び／又は身体表面電極は、患者の身体上に又は患者の身体に近接して位置付けられてもよい。１つ又は２つ以上の電極を有するカテーテルは、患者の身体内（例えば、患者の心臓内）に位置付けられてもよく、カテーテルの位置は、カテーテルの１つ又は２つ以上の電極と身体パッチ及び／又は身体表面電極との間で送信及び受信された信号に基づいて、システムによって判定されてもよい。加えて、カテーテル電極は、患者の身体内（例えば、心臓内）から生体データ（例えば、ＬＡＴ値）を感知してもよい。生体データは、患者の身体部分（例えば、心臓）のレンダリングを表示することができ、かつカテーテルの位置によって判定されるように、身体部分の形状に重ね合わされた生体データを示すことができるように、カテーテルの判定された位置に関連付けられてもよい。According to other embodiments, body patches and/or body surface electrodes may be positioned on or adjacent to a patient's body. A catheter having one or more electrodes may be positioned within the patient's body (e.g., within the patient's heart), and the position of the catheter may be determined by the system based on signals transmitted and received between one or more electrodes of the catheter and the body patch and/or body surface electrodes. In addition, the catheter electrodes may sense biometric data (e.g., LAT values) from within the patient's body (e.g., within the heart). The biometric data may be associated with the determined position of the catheter such that a rendering of the patient's body part (e.g., heart) can be displayed and the biometric data can be shown superimposed on the shape of the body part, as determined by the position of the catheter.
心電図（ＥＣＧ）信号などの電気信号は、多くの場合、心臓処置前及び／又は心臓処置中に検出される。例えば、ＥＣＧ信号を使用して、不整脈が信号を発生させる心臓の潜在的な位置を識別することができる。一般に、ＥＣＧは、心臓の電気活動を説明する信号である。ＥＣＧ信号はまた、心臓の部分をマッピングするために使用されてもよい。Electrical signals, such as electrocardiogram (ECG) signals, are often detected before and/or during a cardiac procedure. For example, ECG signals can be used to identify potential locations in the heart where arrhythmias may cause signals. In general, ECG signals are signals that describe the electrical activity of the heart. ECG signals may also be used to map portions of the heart.
ＥＣＧ信号は、心臓の心房筋及び心室筋の収縮（脱分極）及び弛緩（再分極）によって生成される。図１６の信号１６０２によって示されるように、ＥＣＧ信号は、Ｐ波（心房脱分極に起因する）、ＱＲＳ群（心房再分極及び心室脱分極に起因する）、並びにＴ波（心室再分極に起因する）を含む。ＥＣＧ信号を記録するために、電極を人体上の特定の位置に定置することができ、又はカテーテルを介して人体内に位置付けることができる。アーチファクト（例えば、ノイズ）は、ＥＣＧ信号などの電子信号とマージされて、時に心臓疾患の診断及び／又は治療の障害を生じさせる、望ましくない信号である。電気信号のアーティファクトは、ベースラインワンダー、電力線干渉、筋電図（electromyogram、ＥＭＧ）ノイズ、電力線ノイズなどであり得る。An ECG signal is generated by the contraction (depolarization) and relaxation (repolarization) of the atrial and ventricular muscles of the heart. As shown by signal 1602 in FIG. 16, an ECG signal includes P waves (due to atrial depolarization), QRS complexes (due to atrial and ventricular depolarization), and T waves (due to ventricular repolarization). To record ECG signals, electrodes can be placed at specific locations on the body or can be positioned within the body via a catheter. Artifacts (e.g., noise) are unwanted signals that merge with electronic signals such as ECG signals and sometimes impair the diagnosis and/or treatment of cardiac disease. Electrical signal artifacts can be baseline wander, power line interference, electromyogram (EMG) noise, power line noise, etc.
加えて、生体計測（例えば、生体電位）患者モニタは、ＥＣＧ又は脳波（electroencephalogram、ＥＥＧ）などの生体電位の測定を行うために表面電極を使用してもよい。これらの測定の忠実度は、患者への電極の接続の有効性によって制限される。電気インピーダンスとして既知である電流の流れに対する電極システムの抵抗は、接続の有効性を特徴付ける。典型的には、インピーダンスが高いほど、測定の忠実度が低くなる。いくつかの機構は、より低い忠実度をもたらすことがある。Additionally, biometric (e.g., biopotential) patient monitors may use surface electrodes to make measurements of biopotentials, such as an ECG or electroencephalogram (EEG). The fidelity of these measurements is limited by the effectiveness of the electrode connection to the patient. The resistance of the electrode system to the flow of electrical current, known as electrical impedance, characterizes the effectiveness of the connection. Typically, the higher the impedance, the lower the fidelity of the measurement. Several mechanisms can result in lower fidelity.
図１７は、本開示の主題の１つ又は２つ以上の特徴を実装することができる例示的なシステム１７２０の図である。システム１７２０の全て若しくは一部を使用して、訓練データセットの情報を収集することができ、かつ／又はシステム１７２０の全て若しくは一部を使用して、訓練済みモデルを実装することができる。システム１７２０は、体内器官の組織領域を損傷させるように構成された、カテーテル１７４０などの構成要素を含むことができる。カテーテル１７４０はまた、電子信号を含む生体データを取得するように更に構成されていてもよい。カテーテル１７４０は、ポイントカテーテルであるように示されているが、１つ又は２つ以上の要素（例えば、電極）を含む任意の形状のカテーテルを使用して、本明細書に開示される実施形態を実装することができることが理解されよう。システム１７２０は、テーブル１７２９上に横になっている患者１７２８の心臓１７２６などの身体部分内へと医師１７３０によってナビゲートすることができるシャフトを有するプローブ１７２１を含む。実施形態によれば、複数のプローブが提供されてもよいが、簡潔さのために、この実施例では単一のプローブ１７２１が記載されているが、プローブ１７２１が複数のプローブを表してもよいことが理解されるであろう。図１７に示されるように、医師１７３０は、カテーテル１７４０の近位端部の近くのマニピュレータ及び／又はシース１７２３からの偏向を使用して、シャフト１７２２の遠位端部を操作しながら、シース１７２３を通してシャフト１７２２を挿入することができる。差し込み図１７２５に示されるように、カテーテル１７４０は、シャフト１７２２の遠位端部に取り付けることができる。カテーテル１７４０は、折りたたまれた状態でシース１７２３を通して挿入することができ、次いで、心臓１７２６内で拡張することができる。本明細書で更に説明するように、カテーテル１７４０は、少なくとも１つのアブレーション電極１７４７及びカテーテル針を含むことができる。FIG. 17 is a diagram of an exemplary system 1720 capable of implementing one or more features of the presently disclosed subject matter. All or a portion of the system 1720 can be used to collect information for a training dataset and/or all or a portion of the system 1720 can be used to implement a trained model. The system 1720 can include components, such as a catheter 1740, configured to injure a tissue region of an internal organ. The catheter 1740 can also be further configured to acquire biometric data, including electronic signals. While the catheter 1740 is shown as being a point catheter, it will be understood that any shape of catheter including one or more elements (e.g., electrodes) can be used to implement the embodiments disclosed herein. The system 1720 includes a probe 1721 having a shaft that can be navigated by a physician 1730 into a body part, such as a heart 1726, of a patient 1728 residing on a table 1729. According to embodiments, multiple probes may be provided; for simplicity, a single probe 1721 is described in this example, although it will be understood that probe 1721 may represent multiple probes. As shown in FIG. 17 , a physician 1730 can insert shaft 1722 through sheath 1723 while manipulating the distal end of shaft 1722 using a manipulator near the proximal end of catheter 1740 and/or deflection from sheath 1723. As shown in inset 1725, catheter 1740 can be attached to the distal end of shaft 1722. Catheter 1740 can be inserted through sheath 1723 in a collapsed state and then expanded within heart 1726. As described further herein, catheter 1740 can include at least one ablation electrode 1747 and a catheter needle.
実施形態によれば、カテーテル１７４０は、心臓１７２６の心室の組織領域をアブレーションするように構成されていてもよい。差し込み図１７４５は、心臓１７２６の心室内部のカテーテル１７４０を拡大して示している。図示するように、カテーテル１７４０は、カテーテルの本体に結合された少なくとも１つのアブレーション電極１７４７を含むことができる。他の実施形態によれば、カテーテル１７４０の形状を形成するスプラインを介して複数の要素が接続されてもよい。１つ又は２つ以上の他の要素（図示せず）を設けることができ、それらは、アブレーションを行うか又は生体データを取得するように構成された任意の要素であってよく、電極、トランスデューサ又は１つ若しくは２つ以上の他の要素であり得る。According to embodiments, catheter 1740 may be configured to ablate a tissue region in a chamber of heart 1726. Inset 1745 shows a close-up of catheter 1740 inside a chamber of heart 1726. As shown, catheter 1740 may include at least one ablation electrode 1747 coupled to the body of the catheter. According to other embodiments, multiple elements may be connected via splines that define the shape of catheter 1740. One or more other elements (not shown) may be provided and may be any element configured to perform ablation or acquire biometric data, such as an electrode, a transducer, or one or more other elements.
本明細書に開示する実施形態によれば、電極１７４７などのアブレーション電極は、心臓１７２６などの体内器官の組織領域にエネルギーを供給するように構成されていてもよい。エネルギーは、熱エネルギーであり得、組織領域の表面から始まって組織領域の厚さに延在する組織領域への損傷を引き起こす可能性がある。According to embodiments disclosed herein, an ablation electrode, such as electrode 1747, may be configured to deliver energy to a tissue region of a body organ, such as heart 1726. The energy may be thermal energy and may cause damage to the tissue region beginning at the surface of the tissue region and extending through the thickness of the tissue region.
本明細書に開示される実施形態によれば、生体データは、ＬＡＴ、電気活動、トポロジー、双極マッピング、卓越周波数、インピーダンスなどのうちの１つ又は２つ以上を含んでもよい。局所活性化時間は、正規化された初期開始点に基づいて計算された、局所活性化に対応する閾値活動の時点であり得る。電気活動は、１つ又は２つ以上の閾値に基づいて測定され得る任意の適用可能な電気信号であってよく、信号対ノイズ比及び／又は他のフィルタに基づいて、検知及び／又は拡張され得る。トポロジーは、身体部分又は身体部分の一部の物理的構造に対応し得、身体部分の異なる部分に関する、又は異なる身体部分に関する物理的構造における変化に対応し得る。主要周波数は、身体部分の一部に行き渡る周波数又は周波数の範囲であり得、同じ身体部分の異なる部分において異なり得る。例えば、心臓の肺静脈の主要周波数は、同じ心臓の右心房の主要周波数と異なり得る。インピーダンスは、身体部分の所与の領域における抵抗測定値であり得る。According to embodiments disclosed herein, the biological data may include one or more of LAT, electrical activity, topology, bipolar mapping, dominant frequency, impedance, etc. The local activation time may be the time point of a threshold activation corresponding to local activation, calculated based on a normalized initial onset. The electrical activity may be any applicable electrical signal that can be measured based on one or more thresholds and detected and/or enhanced based on signal-to-noise ratio and/or other filters. The topology may correspond to the physical structure of a body part or portion of a body part, and may correspond to changes in the physical structure for different portions of the body part or for different body parts. The dominant frequency may be a frequency or range of frequencies prevalent in a portion of a body part, and may be different in different portions of the same body part. For example, the dominant frequency in the pulmonary veins of a heart may be different from the dominant frequency in the right atrium of the same heart. The impedance may be a resistance measurement in a given region of a body part.
図１７に示すように、プローブ１７２１及びカテーテル１７４０は、コンソール１７２４に接続することができる。コンソール１７２４は、カテーテルに信号を送信及びカテーテルから信号を受信するため、並びにシステム１７２０の他の構成要素を制御するための、好適なフロントエンド及びインターフェース回路１７３８を備える汎用コンピュータなどのプロセッサ１７４１を含むことができる。いくつかの実施形態では、プロセッサ１７４１は、電気活動などの生体データを受信し、所与の組織領域が電気を伝導するか否かを判定するように更に構成されていてもよい。一実施形態によれば、プロセッサは、コンソール１７２４の外部にあってもよく、例えば、カテーテル内、外部デバイス内、モバイルデバイス内、クラウドベースのデバイス内に位置してもよく、又はスタンドアロン型プロセッサであってもよい。As shown in FIG. 17 , the probe 1721 and catheter 1740 can be connected to a console 1724. The console 1724 can include a processor 1741, such as a general-purpose computer with suitable front-end and interface circuitry 1738, for transmitting and receiving signals to and from the catheter, as well as for controlling other components of the system 1720. In some embodiments, the processor 1741 can be further configured to receive biometric data, such as electrical activity, and determine whether a given tissue region conducts electricity. According to one embodiment, the processor can be external to the console 1724, for example, located in the catheter, an external device, a mobile device, a cloud-based device, or can be a stand-alone processor.
上述したように、プロセッサ１７４１は、汎用コンピュータを含んでもよく、このコンピュータは、本明細書に記載されている機能を実行するためにソフトウェアでプログラムされてもよい。ソフトウェアは、例えば、ネットワーク上で、汎用コンピュータに電子形態でダウンロードされてよく、又は代替的に若しくは追加的に、磁気メモリ、光学メモリ、若しくは電子メモリなどの、非一時的有形媒体上で提供及び／若しくは記憶されてもよい。図１７に示す例示的な構成は、本明細書に開示される実施形態を実装するように修正されてもよい。本開示の実施形態は、他のシステム構成要素及び設定を使用して、同様に適用することができる。加えて、システム１７２０は、電気活動を感知するための要素、有線又は無線コネクタ、処理及び表示デバイスなどの、追加の構成要素を含んでもよい。As mentioned above, processor 1741 may include a general-purpose computer, which may be programmed with software to perform the functions described herein. The software may be downloaded in electronic form to the general-purpose computer, for example, over a network, or alternatively or additionally, may be provided and/or stored on non-transitory tangible media, such as magnetic, optical, or electronic memory. The exemplary configuration shown in FIG. 17 may be modified to implement embodiments disclosed herein. Embodiments of the present disclosure may be similarly applied using other system components and configurations. Additionally, system 1720 may include additional components, such as elements for sensing electrical activity, wired or wireless connectors, processing and display devices, etc.
一実施形態によれば、プロセッサ（例えば、プロセッサ１７４１）に接続されたディスプレイ１７２７は、別個の病院などの遠隔位置に、又は別個の医療提供者ネットワーク内に位置してもよい。加えて、システム１７２０は、心臓などの患者の器官の解剖学的測定値及び電気的測定値を取得し、心臓アブレーション処置を実行するように構成された、外科用システムの一部であってもよい。かかる外科用システムの一例は、Ｂｉｏｓｅｎｓｅ Ｗｅｂｓｔｅｒにより販売されているＣａｒｔｏ（登録商標）システムである。According to one embodiment, display 1727 coupled to a processor (e.g., processor 1741) may be located at a remote location, such as a separate hospital, or within a separate healthcare provider network. Additionally, system 1720 may be part of a surgical system configured to obtain anatomical and electrical measurements of a patient's organs, such as the heart, and to perform cardiac ablation procedures. One example of such a surgical system is the Carto® system sold by Biosense Webster.
システム１７２０はまた、及び任意選択的に、超音波、コンピュータ断層撮影（computed tomography、ＣＴ）、磁気共鳴映像法（magnetic resonance imaging、ＭＲＩ）、又は当該技術分野において既知の他の医療撮像技術を使用して、患者の心臓の解剖学的測定値などの生体データを取得することができる。システム１７２０は、カテーテル、心電図（electrocardiogram、ＥＫＧ）、又は心臓の電気特性を測定する他のセンサを使用して電気的測定値を取得することができる。次いで、解剖学的測定値及び電気的測定値を含む生体データは、図１７に示されるように、マッピングシステム１７２０のメモリ１７４２内に記憶されてもよい。生体データは、メモリ１７４２からプロセッサ１７４１に送信されてもよい。代替的に、又は加えて、生体データは、ネットワーク１７６２を使用して、ローカル又は遠隔であってもよいサーバ１７６０に送信されてもよい。System 1720 may also, and optionally, acquire biometric data, such as anatomical measurements of the patient's heart, using ultrasound, computed tomography (CT), magnetic resonance imaging (MRI), or other medical imaging techniques known in the art. System 1720 may acquire electrical measurements using a catheter, an electrocardiogram (EKG), or other sensors that measure the electrical properties of the heart. The biometric data, including the anatomical and electrical measurements, may then be stored in memory 1742 of mapping system 1720, as shown in FIG. 17 . The biometric data may be transmitted from memory 1742 to processor 1741. Alternatively, or in addition, the biometric data may be transmitted to server 1760, which may be local or remote, using network 1762.
ネットワーク１７６２は、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、直接接続若しくは一連の接続、セルラー電話ネットワーク、又はマッピングシステム１７２０とサーバ１７６０との間の通信を容易にすることが可能な任意の他のネットワーク若しくは媒体などの、当該技術分野で一般的に既知である任意のネットワーク又はシステムであってもよい。ネットワーク１７６２は、有線、無線、又はこれらの組み合わせであってよい。有線接続は、イーサネット、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＲＪ－１１、又は当該技術分野において一般的に既知である任意の他の有線接続を使用して実装することができる。無線接続は、Ｗｉ－Ｆｉ、ＷｉＭＡＸ、及びＢｌｕｅｔｏｏｔｈ、赤外線、セルラーネットワーク、衛星、又は当該技術分野において一般的に既知である任意の他の無線接続方法を使用して実装することができる。加えて、いくつかのネットワークは、ネットワーク１７６２内の通信を容易にするために、単独で又は互いに通信して動作することができる。Network 1762 may be any network or system commonly known in the art, such as an intranet, a local area network (LAN), a wide area network (WAN), a metropolitan area network (MAN), a direct or series of connections, a cellular telephone network, or any other network or medium capable of facilitating communication between mapping system 1720 and server 1760. Network 1762 may be wired, wireless, or a combination thereof. Wired connections may be implemented using Ethernet, Universal Serial Bus (USB), RJ-11, or any other wired connection commonly known in the art. Wireless connections may be implemented using Wi-Fi, WiMAX, Bluetooth, infrared, cellular networks, satellite, or any other wireless connection method commonly known in the art. Additionally, several networks may operate alone or in communication with each other to facilitate communication within network 1762.
場合によっては、サーバ１７６０は、物理的サーバとして実装されてもよい。他の場合では、サーバ１７６２は、仮想サーバ、パブリッククラウドコンピューティングプロバイダ（例えば、Ａｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓ（ＡＷＳ）（登録商標））として実装されてもよい。In some cases, server 1760 may be implemented as a physical server. In other cases, server 1762 may be implemented as a virtual server, hosted by a public cloud computing provider (e.g., Amazon Web Services (AWS)®).
例示的な一実施形態によれば、サーバ１７６０は、ニューラルネットワーク１７９０などの機械学習アルゴリズムを記憶するプロセッサとして実装することができる、又はそれと通信することができる。別の実施形態では、ニューラルネットワーク１７９０は、コンソール１７２４内に実装することができる。例えば、限定するものではないが、ニューラルネットワーク１７９０は、１つ若しくは複数のＣＰＵプロセッサ上、１つ若しくは複数のＧＰＵプロセッサ上、１つ若しくは複数のＦＰＧＡチップ上、又はＩｎｔｅｌ（登録商標）Ｎｅｒｖａｎａ（商標）Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒなどのディープラーニング計算を実行する専用のＡＳＩＣ上に実装されてもよい。例示的な一実施形態によれば、ニューラルネットワーク１７９０は、限定するものではないが、医療処置室内に、病院若しくは医療施設のサーバ若しくはプロセッサ上に、リモートサーバ若しくはプロセッサ上に、又はクラウド内に位置することができる。According to one exemplary embodiment, server 1760 may be implemented as or in communication with a processor that stores a machine learning algorithm, such as neural network 1790. In another embodiment, neural network 1790 may be implemented within console 1724. For example, but not by way of limitation, neural network 1790 may be implemented on one or more CPU processors, one or more GPU processors, one or more FPGA chips, or a specialized ASIC that performs deep learning calculations, such as the Intel® Nervana™ Neural Network Processor. According to one exemplary embodiment, neural network 1790 may be located, but is not limited to, in a medical treatment room, on a server or processor at a hospital or medical facility, on a remote server or processor, or in the cloud.
制御コンソール１７２４は、ケーブル１７３９によって身体表面電極１７４３に接続されてもよく、身体表面電極は、患者１７３０に貼り付けられる接着性皮膚パッチを含むことができる。電流追跡モジュールと連動するプロセッサは、患者の身体部分（例えば、心臓１７２６）内部のカテーテル１７４０の位置座標を判定することができる。位置座標は、身体表面電極１７４３とカテーテル１７４０の電極１７４７又は他の電磁構成要素との間で測定されるインピーダンス又は電磁場に基づいてもよい。追加的に又は代替的に、位置パッドは、ベッド１７２９の表面上に位置してもよく、ベッド１７２９とは別個であってもよい。The control console 1724 may be connected by a cable 1739 to body surface electrodes 1743, which may include adhesive skin patches that are affixed to the patient 1730. A processor in conjunction with the current tracking module may determine position coordinates of the catheter 1740 within the patient's body portion (e.g., the heart 1726). The position coordinates may be based on impedance or electromagnetic fields measured between the body surface electrodes 1743 and electrodes 1747 or other electromagnetic components of the catheter 1740. Additionally or alternatively, the location pad may be located on the surface of the bed 1729 or may be separate from the bed 1729.
プロセッサ１７４１は、典型的にはフィールドプログラマブルゲートアレイ（field programmable gate array、ＦＰＧＡ）として構成されているリアルタイムノイズ低減回路と、続いてアナログ－デジタル（analog-to-digital、Ａ／Ｄ）ＥＣＧ（ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｐｈ、心電計）又はＥＭＧ（ｅｌｅｃｔｒｏｍｙｏｇｒａｍ、筋電図）信号変換集積回路と、を含むことができる。プロセッサ１７４１は、Ａ／Ｄ ＥＣＧ又はＥＭＧ回路から別のプロセッサへ信号を伝えることができ、かつ／又は本明細書に開示される１つ又は２つ以上の機能を実行するようにプログラムすることができる。Processor 1741 may include real-time noise reduction circuitry, typically configured as a field programmable gate array (FPGA), followed by an analog-to-digital (A/D) ECG (electrocardiograph) or EMG (electromyogram) signal conversion integrated circuit. Processor 1741 may communicate signals from the A/D ECG or EMG circuitry to another processor and/or may be programmed to perform one or more functions disclosed herein.
制御コンソール１７２４はまた、制御コンソールが電極１７４７から信号を伝達し、かつ／又はこれに信号を伝達することを可能にする、入力／出力（input/output、Ｉ／Ｏ）通信インターフェースを含むことができる。The control console 1724 may also include an input/output (I/O) communication interface that allows the control console to transmit signals to and/or from the electrodes 1747.
処置中、プロセッサ１７４１は、ディスプレイ１７２７上での医師１７３０への身体部分レンダリング１７３５の提示を容易にし、身体部分レンダリング１７３５を表すデータをメモリ１７４２内に記憶することができる。メモリ１７４２は、ランダムアクセスメモリ又はハードディスクドライブなどの任意の好適な揮発性メモリ及び／又は不揮発性メモリを備えてもよい。いくつかの実施形態では、医療専門家１７３０は、タッチパッド、マウス、キーボード、ジェスチャ認識装置などの１つ又は２つ以上の入力デバイスを使用して、身体部分レンダリング１７３５を操作することが可能であり得る。例えば、入力デバイスを使用して、レンダリング１７３５が更新されるように、カテーテル１７４０の位置を変更することができる。代替的な実施形態では、ディスプレイ１７２７は、身体部分レンダリング１７３５を提示することに加えて、医療専門家１７３０からの入力を受け取るように構成されていてもよいタッチスクリーンを含んでもよい。During a procedure, the processor 1741 facilitates the presentation of the body part rendering 1735 to the physician 1730 on the display 1727 and may store data representing the body part rendering 1735 in memory 1742. The memory 1742 may comprise any suitable volatile and/or non-volatile memory, such as random access memory or a hard disk drive. In some embodiments, the medical professional 1730 may be able to manipulate the body part rendering 1735 using one or more input devices, such as a touchpad, a mouse, a keyboard, a gesture recognizer, or the like. For example, the input device may be used to change the position of the catheter 1740 so that the rendering 1735 is updated. In an alternative embodiment, the display 1727 may include a touchscreen, which may be configured to receive input from the medical professional 1730 in addition to presenting the body part rendering 1735.
一実施形態によれば、ヒス束などの心臓内の特定の構造の位置を自動的に検出及び識別するために、ニューラルネットワーク１７９０が提供されてもよい。ニューラルネットワーク１７９０は、図１４及び図１５に関連して上述した形態であってもよい。According to one embodiment, a neural network 1790 may be provided to automatically detect and identify the location of specific structures within the heart, such as the His bundle. The neural network 1790 may be of the form described above in connection with FIGS. 14 and 15.
ヒス束は、ＣＳのオリフィス付近に由来する心筋の一部である。ヒス束は、心房と心室との間に位置する房室（ＡＶ）結節から心臓の心室に電気インパルスを伝達する役割を果たすという点で、心臓の電気伝導系の重要な部分である。ヒス束は、心臓内の脆弱な位置に位置付けられており、カテーテルアブレーション処置中に誤ってアブレーションされた場合、心臓の電気伝導系に有害かつ望ましくない影響をもたらすことがある。従来のアブレーション処置の間、医師は、アブレーション処置中にヒス束を回避することができるように、心臓内のその位置を識別するためにヒス束を手動でタグ付けすることができる。ヒス束のそのような手動タグ付けは、面倒かつ時間がかかる。手動タグ付けはまた、心電図（ＥＣＧ）信号がヒス束インパルスのように見えるように出現するが、インパルスの位置がヒス束の位置に正確に対応しない、偽陽性読み取りをもたらすことがある。他の従来のアブレーション処置では、医師は、ヒス束をタグ付けしないことがあり、これは、アブレーション処置中の患者のリスクを増加させる。The His bundle is a portion of the myocardium that originates near the orifice of the CS. The His bundle is an important part of the cardiac electrical conduction system in that it is responsible for transmitting electrical impulses from the atrioventricular (AV) node, located between the atria and ventricles, to the ventricles of the heart. The His bundle is located in a vulnerable position within the heart, and if accidentally ablated during a catheter ablation procedure, it can cause harmful and undesirable effects on the cardiac electrical conduction system. During conventional ablation procedures, physicians can manually tag the His bundle to identify its location within the heart so that it can be avoided during the ablation procedure. Such manual tagging of the His bundle is tedious and time-consuming. Manual tagging can also result in false-positive readings, in which an electrocardiogram (ECG) signal appears to resemble a His bundle impulse, but the location of the impulse does not exactly correspond to the location of the His bundle. In other conventional ablation procedures, physicians sometimes fail to tag the His bundle, which increases patient risk during the ablation procedure.
図１８Ａの例示的な実施形態によれば、図１７のニューラルネットワーク１７９０の例示を提供するニューラルネットワーク１８００は、入力データ１８１０を受信して、ニューラルネットワーク１８００を訓練し、アブレーション処置などの処置中に医師による手動識別よりも高い効率及び信頼性で、ヒス束１８２０などの関心対象の心構造を自動的に識別する。入力データ１８１０の非限定的な例としては、マッピングカテーテルなどのカテーテルの電極若しくは双極電極対によって受信された心内電位図（intracardiac electrogram、ＥＧＭ）若しくはＥＣＧ信号１８３０、第１のマッピングカテーテルの電極と第２の基準カテーテル上の点の間の距離１８４０（典型的にはミリメートルで測定される）、又は他の入力１８５０を挙げることができる。他の入力１８５０としては、第１のマッピングカテーテルの電極と第２の基準カテーテル上の点との間の距離が所定の閾値未満であるか否かを示す離散ブール値（すなわち、０又は１）、カテーテル内の力センサによって測定したときのカテーテルによって関心対象の心構造に印加される力（典型的にはグラムで測定される）、カテーテルの電極と関心対象の心構造との間の近接性を示す指標、カテーテルの電極によって測定された関心対象の心構造のインピーダンス値（典型的にはオームで測定される）、身体表面電極（単数又は複数）によって受信された心電図（ＥＣＧ）信号１８３０、関心対象の心構造の手動マッピングデータ、及びカテーテルの電極によって測定された任意の他の電気生理学的データを挙げることができる。According to the exemplary embodiment of FIG. 18A , a neural network 1800, providing an example of the neural network 1790 of FIG. 17 , receives input data 1810 to train the neural network 1800 to automatically identify cardiac structures of interest, such as the His bundle 1820, with greater efficiency and reliability than manual identification by a physician during a procedure, such as an ablation procedure. Non-limiting examples of the input data 1810 may include an intracardiac electrogram (EGM) or ECG signal 1830 received by an electrode or bipolar electrode pair of a catheter, such as a mapping catheter, a distance 1840 (typically measured in millimeters) between an electrode of a first mapping catheter and a point on a second reference catheter, or other input 1850. Other inputs 1850 may include a discrete Boolean value (i.e., 0 or 1) indicating whether the distance between the electrode of the first mapping catheter and the point on the second reference catheter is less than a predetermined threshold; the force (typically measured in grams) applied by the catheter to the cardiac structure of interest as measured by a force sensor within the catheter; an indication of the proximity between the catheter electrode and the cardiac structure of interest; an impedance value (typically measured in ohms) of the cardiac structure of interest measured by the catheter electrode; an electrocardiogram (ECG) signal 1830 received by the body surface electrode(s); manual mapping data of the cardiac structure of interest; and any other electrophysiological data measured by the catheter electrode.
一実施形態では、入力データ１８１０のうちの１つ又は２つ以上は、ニューラルネットワーク１８００に供給される。入力データ１８１０は、限定するものではないが、病院若しくは医療施設、リモートサーバの位置、又はクラウド内を含むが、これらに限定されない様々な位置に記憶することができる。訓練データ１８１０は、リアルタイムで、所定の間隔で、又は要求に応じて、ニューラルネットワーク１８００に転送されてもよい。訓練されると、ニューラルネットワーク１８００は、カテーテルアブレーション処置中にリアルタイムでヒス束１８２０を識別することができる。In one embodiment, one or more of the input data 1810 are provided to the neural network 1800. The input data 1810 may be stored in various locations, including, but not limited to, a hospital or medical facility, a remote server location, or in the cloud. The training data 1810 may be transferred to the neural network 1800 in real time, at predetermined intervals, or on demand. Once trained, the neural network 1800 can identify the His bundle 1820 in real time during a catheter ablation procedure.
一実施形態では、ニューラルネットワーク１８００の出力１８２０は、限定するものではないが、マッピングカテーテルの電極がヒス束などの関心対象の心構造に十分に近いか否かを示す離散ブール値、及びマッピングカテーテルの電極によって測定された関心対象の心臓の特性と手動マッピングによって取得されたものなどの関心対象の心構造の特性との間の一致を示す一致指標などの連続値を含むことができる。In one embodiment, the output 1820 of the neural network 1800 may include, but is not limited to, a discrete Boolean value indicating whether the electrodes of the mapping catheter are sufficiently close to the cardiac structure of interest, such as the His bundle, and a continuous value, such as a concordance index, indicating the agreement between the cardiac characteristics of interest measured by the electrodes of the mapping catheter and the characteristics of the cardiac structure of interest, such as those obtained by manual mapping.
例示的な一実施形態によれば、ニューラルネットワーク１８００は、畳み込みニューラルネットワーク（ＣＮＮ）、又は長・短期記憶（long short-term memory、ＬＳＴＭ）ニューラルネットワークなどのリカレントニューラルネットワーク（ＲＮＮ）を含むことができる。畳み込みニューラルネットワーク（ＣＮＮ）は、コンピュータビジョン及び／又は画像認識の分野で好ましく使用されるディープラーニングアルゴリズムである。ＣＮＮは、一方を他方から区別するために、入力画像内の様々な態様又は特徴に重要性（学習可能な重み）を割り当てる。ＬＳＴＭニューラルネットワークは、ディープラーニングに使用されるフィードバック接続を有するリカレントニューラルネットワークである。According to an exemplary embodiment, neural network 1800 may include a convolutional neural network (CNN) or a recurrent neural network (RNN), such as a long short-term memory (LSTM) neural network. A convolutional neural network (CNN) is a deep learning algorithm preferably used in the fields of computer vision and/or image recognition. A CNN assigns importance (learnable weights) to various aspects or features in an input image in order to distinguish one from another. An LSTM neural network is a recurrent neural network with feedback connections used for deep learning.
例示的な一実施形態では、各訓練の後、その出力を含む訓練モデルは、その精度を検証するために、ゴールドスタンダードデータベースなどの標準データベースに対して実行することができる。非限定的な一実施例では、ゴールドスタンダードデータベースは、問題の心構造（例えば、ヒス束）であることが既知である点、この構造「ではない」ことが既知である点、関連するカテーテル位置、ＥＣＧ信号、及び他の関連パラメータからなる。例示的な一実施形態では、新たに訓練されたモデルの精度が閾値を下回る場合、又は代替的に、新たに訓練されたモデルの精度が以前のモデルの精度未満である場合、モデルを廃棄することができる。同様に、新たに訓練されたモデルの精度が閾値以上である場合、又は代替的に、新たに訓練されたモデルの精度が以前のモデルの精度よりも高い場合、モデルは、現場のマッピングシステムに公開することができる。例示的な一実施形態では、新しいモデルの公開は、例えば、オペレータがウェブアドレスからファイルをダウンロードして、それをマッピングシステム１７２０にアップロードすることによって、手動で実行することができる。代替的に、新しいモデルは、インターネットを介して現場のマッピングシステム１７２０にプッシュされてもよい。In an exemplary embodiment, after each training session, the trained model, including its output, can be run against a standard database, such as a gold standard database, to verify its accuracy. In one non-limiting example, the gold standard database consists of points known to be the cardiac structure of interest (e.g., the His bundle), points known not to be this structure, associated catheter locations, ECG signals, and other relevant parameters. In an exemplary embodiment, if the accuracy of the newly trained model falls below a threshold, or alternatively, if the accuracy of the newly trained model is less than the accuracy of the previous model, the model can be discarded. Similarly, if the accuracy of the newly trained model is equal to or greater than a threshold, or alternatively, if the accuracy of the newly trained model is greater than the accuracy of the previous model, the model can be published to the on-site mapping system. In an exemplary embodiment, publishing a new model can be performed manually, for example, by an operator downloading a file from a web address and uploading it to the mapping system 1720. Alternatively, the new model may be pushed to the on-site mapping system 1720 via the internet.
図１８Ｂは、ニューラルネットワーク１８００を訓練して、心臓内の特定の構造の位置を自動的に検出及び識別するためのモジュール１８６０の例示的な実施形態を示すフロー図である。図１８Ｂは、図１８Ａと併せて心臓内のヒス束を自動的に識別するモジュールを示しているが、当業者は、他の心構造又は信号をモジュール１８６０に従って識別することができることを認識するであろう。FIG. 18B is a flow diagram illustrating an exemplary embodiment of module 1860 for training neural network 1800 to automatically detect and identify the location of specific structures within the heart. While FIG. 18B illustrates the module in conjunction with FIG. 18A to automatically identify the His bundle within the heart, one skilled in the art will recognize that other cardiac structures or signals may be identified according to module 1860.
例えば、心臓アブレーション処置中に、複数のカテーテルを利用して、心臓の様々なデータ記録を取得することができる。図１９Ａは、心臓１９１０の電気生理学的データを取得するために使用される複数の心内カテーテル及び身体表面電極を示す。例示的な一実施形態によれば、例えば、カテーテルは、限定するものではないが、アブレーションカテーテル１９２０、ＣＳ基準カテーテル１９３０、及びヒス束マッピングカテーテル１９４０を含むことができる。所望により、右室心尖部（right ventricular apex、ＲＶＡ）カテーテル１９５０などの他のプローブも使用されてもよい。アブレーションカテーテル１９２０は、上で考察されるようにアブレーション処置を実行するために利用される。ＣＳ基準カテーテル１９３０は、心臓１９１０の冠状静脈洞１９３２の内側に定置される。ヒス束マッピングカテーテル１９４０は、ヒス束に接触し、本明細書で考察される、図２０に示されるように、ヒス束電位図（ＨＢＥ）を記録するように構成されている。身体表面電極１９６０は、上述し、かつ図１６及び図２０に示されるように、身体表面身体上に位置付けられて、心臓のＥＣＧ信号を記録する。For example, during a cardiac ablation procedure, multiple catheters may be utilized to acquire various data recordings of the heart. FIG. 19A illustrates multiple intracardiac catheters and body surface electrodes used to acquire electrophysiological data of a heart 1910. According to one exemplary embodiment, for example, the catheters may include, but are not limited to, an ablation catheter 1920, a CS reference catheter 1930, and a His bundle mapping catheter 1940. If desired, other probes, such as a right ventricular apex (RVA) catheter 1950, may also be used. The ablation catheter 1920 is utilized to perform the ablation procedure as discussed above. The CS reference catheter 1930 is positioned inside the coronary sinus 1932 of the heart 1910. The His bundle mapping catheter 1940 is configured to contact the His bundle and record a His bundle electrogram (HBE), as shown in FIG. 20, discussed herein. Body surface electrodes 1960 are positioned on the body surface to record cardiac ECG signals, as described above and shown in FIGS. 16 and 20.
例示的な一実施形態によれば、カテーテル１９２０、１９３０、１９４０、１９５０、及び電極１９６０から取得された電気生理学的データは、分析及びディスプレイ１７２７に出力するためにプロセッサ１７４１などのプロセッサに供給されてもよく、好ましくは、図１７に示すようにニューラルネットワーク１７９０に送信される。According to one exemplary embodiment, electrophysiological data acquired from catheters 1920, 1930, 1940, 1950, and electrodes 1960 may be provided to a processor, such as processor 1741, for analysis and output to display 1727, or preferably transmitted to neural network 1790, as shown in FIG. 17.
ステップ１８６５で、ニューラルネットワーク１８００は、第１のカテーテルから第１の入力データを受信する。一実施形態では、第１の入力データ１８１０は、好ましくは、電気生理学的データであり、より好ましくは、第１のカテーテルの電極又は双極電極対によって受信された心内電位図（ＥＧＭ）信号１８４０である。一実施形態では、第１のカテーテルは、関心対象の心構造からＥＧＭ信号を受信するマッピングカテーテルである。一実施形態では、第１のカテーテルは、図１９Ａ～図１９Ｂに示すような、ヒス束電位図（ＨＢＥ）信号を受信するヒス束マッピングカテーテル１９４０である。第１のカテーテルは、複数の電極を含むことができる。図１９Ｂは、４つの電極１９４２ａ、１９４２ｂ、１９４２ｃ、１９４２ｄを有するヒス束マッピングカテーテル１９４０を示す。しかしながら、当業者であれば、ヒス束マッピングカテーテル１９４０は、任意の数の電極を含むことができることを認識するであろう。ヒス束マッピングカテーテル１９４０は、電極１９４２ａ、１９４２ｂ、１９４２ｃ、１９４２ｄのいずれかでＥＧＭ信号を受信することができる。At step 1865, the neural network 1800 receives first input data from a first catheter. In one embodiment, the first input data 1810 is preferably electrophysiological data, more preferably an intracardiac electrogram (EGM) signal 1840 received by an electrode or bipolar electrode pair of the first catheter. In one embodiment, the first catheter is a mapping catheter that receives EGM signals from a cardiac structure of interest. In one embodiment, the first catheter is a His bundle mapping catheter 1940 that receives His bundle electrogram (HBE) signals, as shown in FIGS. 19A-19B. The first catheter can include multiple electrodes. FIG. 19B illustrates a His bundle mapping catheter 1940 having four electrodes 1942a, 1942b, 1942c, and 1942d. However, one skilled in the art will recognize that the His bundle mapping catheter 1940 can include any number of electrodes. The His bundle mapping catheter 1940 can receive EGM signals at any of electrodes 1942a, 1942b, 1942c, and 1942d.
ステップ１８７５で、ニューラルネットワーク１８００は、追加の入力データを受信する。一実施形態では、追加の入力データは、ヒス束マッピングカテーテル１９４０の電極１９４２ｂなどの第２の電極から受信された第２のＥＧＭ信号であってもよい。当業者であれば、追加の入力データは、ヒス束マッピングカテーテル１９４０の異なる電極から受信された複数のＥＧＭ信号を含むことができることを認識するであろう。At step 1875, the neural network 1800 receives additional input data. In one embodiment, the additional input data may be a second EGM signal received from a second electrode, such as electrode 1942b of the His bundle mapping catheter 1940. Those skilled in the art will recognize that the additional input data may include multiple EGM signals received from different electrodes of the His bundle mapping catheter 1940.
本開示の態様を例示するのに役立つように、図２０は、本開示の方法に従って使用することができる例示的な身体表面ＥＣＧ及び心内ＨＢＥ記録２０１０及び２０２０それぞれを示す。ＨＢＥ記録２０２０に示すように、Ａ波は、低い右心房興奮を示し、ヒス束活動は、Ｈで示され、Ｖ偏向は、心室興奮を示す。従来、Ａ波の開始と後続のＶ偏向の開始との間の期間は、ＡＶ間隔２０２２として既知である。ヒス束マッピングカテーテル１９４０がヒス束と接触すると、ＨＢＥ信号は、好ましくは、ＨＢＥ記録２０２０に示されるようなパターンを有する。To help illustrate aspects of the present disclosure, FIG. 20 shows exemplary surface ECG and intracardiac HBE tracings 2010 and 2020, respectively, that can be used in accordance with the methods of the present disclosure. As shown in HBE tracing 2020, the A-wave indicates low right atrial activation, His bundle activity is indicated by an H, and V-deflection indicates ventricular activation. Conventionally, the period between the onset of the A-wave and the onset of the subsequent V-deflection is known as the AV interval 2022. When the His bundle mapping catheter 1940 contacts the His bundle, the HBE signal preferably has a pattern as shown in HBE tracing 2020.
当該技術分野において既知であり、かつ上で考察されるように、身体表面電極１９６０は、基準電極として機能し、図示されるように、Ｐ波、ＱＲＳ群、及びＴ波を含む心周期の身体表面ＥＣＧ記録２０１０を生成する。Ｐ波は、心房室の分極段階を表し、ＱＲＳ群は、心室の再分極を表し、Ｔ波は、心室の脱分極を表す。それに対応して、Ｐ波の開始とＱＲＳ群の開始との間の期間は、ＰＲ間隔２０１２として既知である。線２０３０は、身体表面ＥＣＧ記録２０１０において電気インパルスがヒス束を通過する点を示す。As known in the art and discussed above, the body surface electrode 1960 functions as a reference electrode and generates a body surface ECG recording 2010 of the cardiac cycle, including a P wave, a QRS complex, and a T wave, as shown. The P wave represents the atrioventricular polarization phase, the QRS complex represents ventricular repolarization, and the T wave represents ventricular depolarization. Correspondingly, the period between the onset of the P wave and the onset of the QRS complex is known as the PR interval 2012. Line 2030 indicates the point in the body surface ECG recording 2010 where the electrical impulse passes through the His bundle.
一実施形態では、ニューラルネットワーク１８００は、入力データに基づいて、ヒス束の位置に対応するＨＢＥ信号などの電気生理学的データを識別する。例えば、ニューラルネットワーク１８００は、入力データがヒス束に対応する電気生理学的データを含むか否かを識別する。In one embodiment, neural network 1800 identifies electrophysiological data, such as HBE signals, corresponding to the location of the His bundle based on the input data. For example, neural network 1800 identifies whether the input data includes electrophysiological data corresponding to the His bundle.
しかしながら、ＨＢＥ信号がＨＢＥ記録２０２０に示されるようなパターンを有する場合であっても、ヒス束マッピングカテーテル１９４０がヒス束に近接しているが接触していない場合など、ヒス束マッピングカテーテル１９４０が偽陽性読み取り値を示すことがあることがありうる。したがって、ニューラルネットワークはまた、本明細書で考察されるように、ヒス束マッピングカテーテル１９４０の電極とＣＳ基準電極１９３０との間の距離に依拠してもよい。However, even if the HBE signal has a pattern as shown in HBE recording 2020, it may be possible that the His bundle mapping catheter 1940 gives a false positive reading, such as when the His bundle mapping catheter 1940 is close to but not in contact with the His bundle. Therefore, the neural network may also rely on the distance between the electrodes of the His bundle mapping catheter 1940 and the CS reference electrode 1930, as discussed herein.
一実施形態では、追加の入力データはまた、ヒス束マッピングカテーテル１９４０上の電極と基準カテーテル上の電極との間の距離を含むことができる。例えば、基準カテーテルは、図１９Ａ～図１９Ｂに示されるように、心臓の冠状静脈洞内に挿入されるＣＳ基準カテーテル１９３０であってもよい。例えば、ヒス束は、解剖学的にＣＳに近接して位置付けられていることがよく理解されている。例示的な一実施形態によれば、ヒス束マッピングカテーテル１９４０上の電極とＣＳ基準カテーテル１９３０上の電極との間の距離は、ＨＢＥ記録２０２０の信頼性を判定するための近接データとして使用される。In one embodiment, the additional input data may also include the distance between the electrodes on the His bundle mapping catheter 1940 and the electrodes on the reference catheter. For example, the reference catheter may be the CS reference catheter 1930, which is inserted into the coronary sinus of the heart, as shown in FIGS. 19A-19B. For example, it is well understood that the His bundle is anatomically located close to the CS. According to one exemplary embodiment, the distance between the electrodes on the His bundle mapping catheter 1940 and the electrodes on the CS reference catheter 1930 is used as proximity data for determining the reliability of the HBE recording 2020.
一実施形態では、ＣＳ基準カテーテル１９３０は、複数の電極を含むことができる。図１９Ｂは、１０個の電極１９３２ａ、１９３２ｂ、１９３２ｃ、１９３２ｄ、１９３２ｅ、１９３２ｆ、１９３２ｇ、１９３２ｈ、１９３２ｉ、１９３２ｊを有するＣＳ基準カテーテル１９４０を示すが、当業者であれば、ＣＳ基準カテーテル１９４０は、任意の数の電極を含むことができることを認識するであろう。一実施形態では、距離は、ヒス束マッピングカテーテル１９４０の各電極１９４２ａ～ｄとＣＳ基準カテーテル１９３０上の最も近い点との間で測定することができる。例えば、図１９Ｂに示すように、距離Ｄ３は、ヒス束マッピングカテーテル１９４０の電極１９４２ｃとＣＳ基準カテーテル１９３０上の最も近い点との間の距離である。代替的に、又は加えて、距離は、ヒス束マッピングカテーテル１９４０の各電極１９４２ａ～ｄとＣＳ基準カテーテル１９３０の最も近い電極１９３２ａ～ｊとの間で測定することができる。代替的に、又は加えて、距離は、ヒス束マッピングカテーテル１９４０の各電極１９４２ａ～ｄと、電極１９３２ａ～ｊのうちの１つのいずれかであり得るＣＳ基準カテーテル１９３０の選択された電極との間で測定することができる。In one embodiment, the CS reference catheter 1930 can include multiple electrodes. FIG. 19B shows the CS reference catheter 1940 with ten electrodes 1932a, 1932b, 1932c, 1932d, 1932e, 1932f, 1932g, 1932h, 1932i, and 1932j, although one skilled in the art would recognize that the CS reference catheter 1940 can include any number of electrodes. In one embodiment, a distance can be measured between each electrode 1942a-d of the His bundle mapping catheter 1940 and the nearest point on the CS reference catheter 1930. For example, as shown in FIG. 19B, distance D3 is the distance between electrode 1942c of the His bundle mapping catheter 1940 and the nearest point on the CS reference catheter 1930. Alternatively, or in addition, distance can be measured between each electrode 1942a-d of the His bundle mapping catheter 1940 and the nearest electrode 1932a-j of the CS reference catheter 1930. Alternatively, or in addition, distance can be measured between each electrode 1942a-d of the His bundle mapping catheter 1940 and a selected electrode of the CS reference catheter 1930, which can be any one of the electrodes 1932a-j.
当業者であれば、ステップ１８６５及び１８８５で参照される第１の入力データ及び追加の入力データは、本明細書で考察される入力データ、及びカテーテルの電極によって測定される任意の他の電気生理学的データのいずれかであり得ることを認識するであろう。Those skilled in the art will recognize that the first input data and additional input data referenced in steps 1865 and 1885 may be any of the input data discussed herein and any other electrophysiological data measured by the electrodes of the catheter.
ステップ１８８５で、ニューラルネットワーク１８００は、ヒス束などの関心対象の心構造の位置を識別するために、各受信された入力データに機械学習アルゴリズムを適用する。例えば、ヒス束マッピングカテーテル１９４０の各電極１９４２ａ～ｄによって受信されたＥＧＭ、及び各電極１９４２ａ～ｄとＣＳ基準カテーテル１９３０の最も近い点との間の距離を使用して、電極１９４２ａ～ｄのいずれかがヒス束上に位置付けられているか否か、かつそうである場合には、どの電極がヒス束上に位置付けられているかを判定することができる。例えば、図１９Ｂに示すように、ヒス束マッピングカテーテル１９４０の電極１９４２ｃによって受信されたＥＧＭ、及び電極１９４２ｃとＣＳ基準カテーテル１９３０との間の距離Ｄ３を、ニューラルネットワーク１８００の入力として使用して、ヒス束マッピングカテーテル１９４０の電極１９４２ｃがヒス束上に位置付けられているか否かを判定することができる。以下により詳細に記載されるように、電極がヒス束上に位置付けられているか否かの判定は、例えば、ＥＣＧ信号、ＣＳカテーテルからの距離、及び力、接触状態を含む他の入力の精査を含んでもよい。In step 1885, the neural network 1800 applies a machine learning algorithm to each received input data to identify the location of a cardiac structure of interest, such as the His bundle. For example, the EGM received by each electrode 1942a-d of the His bundle mapping catheter 1940 and the distance between each electrode 1942a-d and the nearest point on the CS reference catheter 1930 can be used to determine whether any of the electrodes 1942a-d are positioned on the His bundle, and if so, which electrode is positioned on the His bundle. For example, as shown in FIG. 19B, the EGM received by electrode 1942c of the His bundle mapping catheter 1940 and the distance D3 between electrode 1942c and the CS reference catheter 1930 can be used as inputs to the neural network 1800 to determine whether electrode 1942c of the His bundle mapping catheter 1940 is positioned on the His bundle. As described in more detail below, determining whether an electrode is positioned on the His bundle may include review of other inputs, including, for example, the ECG signal, distance from the CS catheter, and force and contact conditions.
別の実施例では、ヒス束マッピングカテーテル１９４０の第１の選択された電極におけるＨＢＥ記録２０２０がヒス束の特性を有するが、図１９Ａの距離Ｄ２を参照して示されるように、第１の選択された電極の空間的位置がＣＳ基準カテーテル１９３０からの所定の閾値又は範囲より大きい距離を有する場合、ニューラルネットワーク１８００は、第１の選択された電極がヒス束の正確な位置ではないと判定する。一方、ＨＢＥ記録２０２０がヒス束の特性を有し、かつ図１９Ａの距離Ｄ１を参照して示されるように、ヒス束マッピングカテーテル１９４０に沿った第２の選択された電極の空間的位置がＣＳ基準カテーテル１９３０からの所定の閾値又は範囲未満の距離を有する場合、ニューラルネットワーク１８００は、第２の選択された電極がヒス束の正確な位置であると判定する。In another example, if the HBE recording 2020 at a first selected electrode of the His bundle mapping catheter 1940 has characteristics of the His bundle, but the spatial location of the first selected electrode has a distance from the CS reference catheter 1930 that is greater than a predetermined threshold or range, as shown with reference to distance D2 in FIG. 19A , the neural network 1800 determines that the first selected electrode is not the correct location of the His bundle. On the other hand, if the HBE recording 2020 has characteristics of the His bundle, and the spatial location of a second selected electrode along the His bundle mapping catheter 1940 has a distance from the CS reference catheter 1930 that is less than a predetermined threshold or range, as shown with reference to distance D1 in FIG. 19A , the neural network 1800 determines that the second selected electrode is the correct location of the His bundle.
一実施形態では、ニューラルネットワークは、医師によって手動でマークされたヒス束の位置、ＣＳ基準カテーテル１９３０までの手動でマークされたヒス束の距離、及びＨＢＥ記録２０２０又はＥＣＧ記録２０１０などの電気生理学的データに基づいて所定の閾値を学習する。In one embodiment, the neural network learns the predetermined threshold based on the location of the His bundle manually marked by the physician, the manually marked distance of the His bundle to the CS reference catheter 1930, and electrophysiological data such as HBE recordings 2020 or ECG recordings 2010.
結果として、ニューラルネットワーク１８００は、ヒス束マッピングカテーテル２０４０の電極によって受信されたＥＧＭデータなどの第１のカテーテルから受信された電気生理学的データ、並びに任意選択的に、第１のカテーテルの他の電極から受信されたＥＧＭデータ、ＣＳ基準カテーテルなどの第２のカテーテルから受信された電気生理学的データ、手動マッピングデータ、ＥＣＧデータ、ＥＧＭデータ、距離データ、力データ、近接指標データ、インピーダンスデータ、及びカテーテルの電極によって測定される任意の他の電気生理学的データなどの追加のデータなどの入力データに基づいて、ヒス束などの心臓内の特定の構造の位置を自動的に検出するように学習する。この追加のデータは、ヒス束を検出することに関連してもよく、追加のデータは重要ではなく見える場合があるが、本明細書に記載されるＡＩアルゴリズムは、これらの入力データのうちのデータとの相関及び重要性を見出すことができる。As a result, the neural network 1800 learns to automatically detect the location of specific structures within the heart, such as the His bundle, based on input data such as electrophysiological data received from a first catheter, such as EGM data received by the electrodes of the His bundle mapping catheter 2040, and, optionally, additional data such as EGM data received from other electrodes of the first catheter, electrophysiological data received from a second catheter, such as a CS reference catheter, manual mapping data, ECG data, EGM data, distance data, force data, proximity indicator data, impedance data, and any other electrophysiological data measured by the electrodes of the catheter. This additional data may be relevant to detecting the His bundle, and although the additional data may appear unimportant, the AI algorithms described herein can find correlations and significance with the data in these input data.
ステップ１８９０で、ニューラルネットワーク１８００は、第１のカテーテルの電極がヒス束などの関心対象の心構造上に位置付けられている、又はそれに十分に近接して位置付けられているか否かの出力を生成する。上で考察されるように、ニューラルネットワークの出力は、限定するものではないが、カテーテルの電極がヒス束などの関心対象の心構造に十分に近いか否かを示す離散ブール値、又はカテーテルの電極によって測定された関心対象の心構造の特性と手動マッピングによって取得されたものなどの関心対象の心構造の特性との間の一致を示す一致指標などの連続値を含むことができる。In step 1890, the neural network 1800 generates an output indicating whether the first catheter electrode is positioned on or sufficiently close to the cardiac structure of interest, such as the His bundle. As discussed above, the output of the neural network may include, but is not limited to, a discrete Boolean value indicating whether the catheter electrode is sufficiently close to the cardiac structure of interest, such as the His bundle, or a continuous value, such as a match index, indicating a match between the characteristics of the cardiac structure of interest measured by the catheter electrode and the characteristics of the cardiac structure of interest, such as those obtained by manual mapping.
別の実施形態では、ニューラルネットワーク１８００を使用して、心臓内の局所的異常心室興奮（Local Abnormal Ventricular Activations、ＬＡＶＡ）信号を検出することができる。そのような実施形態では、ＬＡＶＡ信号及び非ＬＡＶＡ信号は、モデル内の訓練データとして使用され、ニューラルネットワークは、臨床環境においてＬＡＶＡ信号を自動的に検出するために、ＬＡＶＡ信号と非ＬＡＶＡ信号とを区別するように学習する。In another embodiment, the neural network 1800 can be used to detect Local Abnormal Ventricular Activations (LAVA) signals within the heart. In such an embodiment, LAVA and non-LAVA signals are used as training data in the model, and the neural network learns to distinguish between LAVA and non-LAVA signals in order to automatically detect LAVA signals in a clinical setting.
関心対象の心構造を自動的に識別するための畳み込みニューラルネットワーク（ＣＮＮ）２１００の例示的な実施形態を図２１に示す。図２１に示すように、ＣＮＮ２１００は、好ましくは、入力データ２１１０を受信する。入力データは、単一の入力又は複数の入力２１１０－１、２１１０－２、２１１０－３、．．．、２１１０－ｎを含むことができ、「ｎ」は、複数の入力の最後である。例として、限定するものではないが、第１の入力２１１０－１は、マッピングカテーテルの第１の電極によって受信された第１のＥＧＭ信号を含むことができ、第２の入力２１１０－２は、マッピングカテーテルの第２の電極によって受信された第２のＥＧＭ信号を含むことができ、第３の入力２１１０－３は、マッピングカテーテルの第１の電極と基準カテーテルの最も近い電極との間の距離を含むことができ、最後の入力（２１１０－ｎ）は、マッピングカテーテルの第２の電極と基準カテーテルの最も近い電極との間の距離を含むことができる。入力２１１０は、ノード２１２０－１、２１２０－２、２１２０－３、．．．２１２０－ｎを含む第１の隠れ層２１２０、及び任意選択的に、ノード２１３０－１、２１３０－２、２１３０－３、．．．２１３０－ｎを含む第２の又はそれより多くの隠れ層２１３０に提供され、これらは、組み合わされて、ブール値又は一致指標などの出力２１４０を生成する。例えば、ＣＮＮ２１００では、全てのＥＧＭ入力２１１０は、出力２１４０を計算するために一度にニューラルネットワークに供給される。ニューラルネットワークは、以下により具体的に記載されるように、例えば、隠れ層に出力を提供するために、１つ又は２つ以上のプール層及び平坦化層に供給する一連の畳み込み層を含んでもよい。An exemplary embodiment of a convolutional neural network (CNN) 2100 for automatically identifying cardiac structures of interest is shown in FIG. 21. As shown in FIG. 21, the CNN 2100 preferably receives input data 2110. The input data may include a single input or multiple inputs 2110-1, 2110-2, 2110-3, ..., 2110-n, where "n" is the last of the multiple inputs. By way of example, and not limitation, the first input 2110-1 may include a first EGM signal received by a first electrode of the mapping catheter, the second input 2110-2 may include a second EGM signal received by a second electrode of the mapping catheter, the third input 2110-3 may include the distance between the first electrode of the mapping catheter and the nearest electrode of the reference catheter, and the final input (2110-n) may include the distance between the second electrode of the mapping catheter and the nearest electrode of the reference catheter. Input 2110 is provided to a first hidden layer 2120 including nodes 2120-1, 2120-2, 2120-3, ... 2120-n, and optionally to a second or more hidden layers 2130 including nodes 2130-1, 2130-2, 2130-3, ... 2130-n, which are combined to generate output 2140, such as a Boolean value or a match indicator. For example, in CNN 2100, all EGM inputs 2110 are fed into the neural network at once to compute output 2140. The neural network may include, for example, a series of convolutional layers feeding one or more pooling and flattening layers to provide outputs to the hidden layers, as described more particularly below.
関心対象の心構造を自動的に識別するための、長・短期記憶（ＬＳＴＭ）ニューラルネットワークなどのリカレントニューラルネットワーク（ＲＮＮ）２２００の例示的な実施形態を図２２に示す。図２２に示すように、ＲＮＮ２２００は、好ましくは、入力データ２２１０を受信する。入力データ２２１０は、単一の入力又は複数の入力２２１０－１、２２１０－２、２２１０－３、．．．、２２１０－ｎを含むことができ、「ｎ」は、複数の入力の最後である。例として、限定するものではないが、第１の入力２２１０－１は、マッピングカテーテルの第１の電極によって受信された第１のＥＧＭ信号を含むことができ、第２の入力２２１０－２は、マッピングカテーテルの第１の電極と基準カテーテルの最も近い電極との間の距離を含むことができ、第３の入力２２１０－３は、マッピングカテーテルの電極から受信された力データを含むことができ、最後の入力２２１０－ｎは、マッピングカテーテルの電極から受信されたインピーダンスデータを含むことができる。入力２２１０は、ＲＮＮ２２００に提供され、組み合わされて、ブール値又は一致指標などの出力２２４０を生成する。例えば、ＲＮＮ２２００では、ＥＧＭ入力２２１０－１は、１つずつニューラルネットワークに供給される。より多くのＥＧＭサンプルがＲＮＮ２２００に供給されると、出力２２４０は、より正確になる。An exemplary embodiment of a recurrent neural network (RNN) 2200, such as a long short-term memory (LSTM) neural network, for automatically identifying cardiac structures of interest is shown in FIG. 22. As shown in FIG. 22, the RNN 2200 preferably receives input data 2210. The input data 2210 may include a single input or multiple inputs 2210-1, 2210-2, 2210-3, ..., 2210-n, where "n" is the last of the multiple inputs. By way of example and not limitation, the first input 2210-1 may include a first EGM signal received by a first electrode of the mapping catheter, the second input 2210-2 may include a distance between the first electrode of the mapping catheter and the nearest electrode of the reference catheter, the third input 2210-3 may include force data received from an electrode of the mapping catheter, and the final input 2210-n may include impedance data received from an electrode of the mapping catheter. Inputs 2210 are provided to RNN 2200 and combined to generate output 2240, such as a Boolean value or a match index. For example, in RNN 2200, EGM inputs 2210-1 are fed into the neural network one at a time. The more EGM samples are fed into RNN 2200, the more accurate the output 2240 will be.
図１８Ｂのステップ１８９５では、出力２１４０又は２２４０などのニューラルネットワーク１８００の出力は、ニューラルネットワーク１８００を訓練するために使用される。具体的には、ニューラルネットワーク１８００の出力は、システム出力を提供し、この出力は、改善された出力を達成するためにニューラルネットワーク１８００を再帰的に訓練するために更に提供される。例えば、上で考察されるように、各訓練の後、その出力を含む訓練モデルは、その精度を検証するために、ゴールドスタンダードデータベースなどの標準データベースに対して実行することができる。例えば、出力は、ヒス束がある場所又はない場所を示す正当な出力であってもよく、出力は、アルゴリズムを更に訓練するために使用されてもよい。加えて、図２２の矢印２２３０を参照して示すように、新たに訓練されたモデルの精度が閾値以上である場合、又は代替的に、新たに訓練されたモデルの精度が以前のモデルの精度よりも高い場合、モデルは、ニューラルネットワークの入力として使用することができる。In step 1895 of FIG. 18B , the output of neural network 1800, such as output 2140 or 2240, is used to train neural network 1800. Specifically, the output of neural network 1800 provides a system output, which is further provided to recursively train neural network 1800 to achieve an improved output. For example, as discussed above, after each training, the training model including its output can be run against a standard database, such as a gold standard database, to verify its accuracy. For example, the output may be a legitimate output indicating where the His bundle is or is not present, and the output may be used to further train the algorithm. Additionally, as shown with reference to arrow 2230 in FIG. 22 , if the accuracy of the newly trained model is above a threshold, or alternatively, if the accuracy of the newly trained model is higher than the accuracy of the previous model, the model can be used as input to the neural network.
一実施形態では、ニューラルネットワーク１８００の訓練は、病院若しくは医療施設などの心臓処置が行われる施設、又はトレーニングセンタなどの遠隔位置で監督されてもよい。In one embodiment, training of neural network 1800 may be supervised at the facility where the cardiac procedure is performed, such as a hospital or medical facility, or at a remote location, such as a training center.
ニューラルネットワーク１８００が訓練されると、ニューラルネットワーク１８００をリアルタイムで利用して、ヒス束などの心臓内の特定の構造の位置を自動的に検出することができる。Once the neural network 1800 is trained, it can be used in real time to automatically detect the location of specific structures within the heart, such as the His bundle.
図２３は、説明されるような本システムの実装形態２３００を示す。実装形態２３００は、ヒス束検出の確率（又は位置）及びヒス束ではない検出の確率）又は位置を含む出力１８２０を生成するための、距離ＥＣＧ入力１８３０、カテーテルからの距離１８４０、及び他の入力１８５０を含む、ネットワーク２１００への一連の入力を含む。上述したように、ＥＣＧ入力１８３０は、第１のＥＣＧ１８３０１、第２のＥＣＧ１８３０２、．．．、最後のＥＣＧ１８３０Ｎを含む任意の数のＥＣＧデータを含むことができる。 23 shows an implementation 2300 of the system as described. Implementation 2300 includes a series of inputs to network 2100, including distance ECG input 1830, distance from catheter 1840, and other inputs 1850, to generate output 1820 including probability (or location) of His bundle detection and probability (or location) of non-His bundle detection. As mentioned above, ECG input 1830 can include any number of ECG data, including a first ECG1830i , a second ECG18302 , ..., a final ECG1830N .
ネットワーク２１００は、例えば、本明細書に記載されるようなＣＮＮネットワークであってもよい。簡略化のために、ネットワーク２１００は、複数のプール層２３２０と相互接続され、かつ１つ又は２つ以上の再送信及び／又は完全に接続された層を含むことができる複数の平坦化層２３３０と更に相互接続された、複数の畳み込み層２３１０を含んでもよい。理解されるように、Ｓｏｆｔｍａｘ層２３４０は、ネットワーク２１００内の最後の層であってもよい。Network 2100 may be, for example, a CNN network as described herein. For simplicity, network 2100 may include multiple convolutional layers 2310 interconnected with multiple pooling layers 2320, and further interconnected with multiple flattening layers 2330, which may include one or more retransmission and/or fully connected layers. As will be appreciated, Softmax layer 2340 may be the last layer in network 2100.
畳み込み層２３１０は、少なくとも図２１に関してを含めて、本明細書で説明されている。プール層２３２０は、特徴マップの次元を低減するために使用されてもよい。プール層２３２０は、学習するパラメータの数及びネットワーク２１００内で実行される計算の量を低減するために使用されてもよい。プール層２３１０は、畳み込み層２３１０によって生成された特徴マップの領域内に存在する特徴を要約する。平坦化層２３３０は、プールされた特徴マップを完全に接続された層に渡された単一の列に変換し、完全に接続された層をニューラルネットワーク２１００に追加する。The convolutional layer 2310 is described herein, including with respect to at least FIG. 21. The pooling layer 2320 may be used to reduce the dimensionality of the feature map. The pooling layer 2320 may be used to reduce the number of parameters to learn and the amount of computation performed within the network 2100. The pooling layer 2310 summarizes features present within a region of the feature map produced by the convolutional layer 2310. The flattening layer 2330 converts the pooled feature map into a single column that is passed to a fully connected layer, which is added to the neural network 2100.
Ｓｏｆｔｍａｘ層２３４０は、Ｋ個の実数値のベクトルを合計が１であるＫ個の実数値のベクトルに変える関数を提供する。入力値は、正、負、ゼロ、又は１より大きい値でもよい。Ｓｏｆｔｍａｘ層２３４０は、Ｓｏｆｔｍａｘ層２３４０への入力を０～１の値に変換して、確率としての解釈を可能にすることができる。入力のうちの１つが小さい又は負である場合、Ｓｏｆｔｍａｘ層２３４０は、入力を小さい確率に変換してもよく、入力が大きい場合、Ｓｏｆｔｍａｘ層２３４０は、入力を大きい確率に変える。Softmax layer 2340 provides a function that transforms a vector of K real values into a vector of K real values that sum to 1. The input values may be positive, negative, zero, or greater than 1. Softmax layer 2340 may transform the inputs to Softmax layer 2340 into values between 0 and 1 to allow interpretation as probabilities. If one of the inputs is small or negative, Softmax layer 2340 may transform the input into a small probability; if the input is large, Softmax layer 2340 transforms the input into a large probability.
Ｓｏｆｔｍａｘ層２３４０は、ｓｏｆｔａｒｇｍａｘ関数、又はマルチクラスロジスティック回帰と称されることがある。Ｓｏｆｔｍａｘ層２３４０は、マルチクラス分類に使用することができるロジスティック回帰の一般化であってもよく、その公式は、ロジスティック回帰に使用されるシグモイド関数と非常に類似している。Ｓｏｆｔｍａｘ層２３４０の機能は、クラスが互いに排他的であるときにのみ分類器に使用することができる。The Softmax layer 2340 is sometimes referred to as the softargmax function or multi-class logistic regression. The Softmax layer 2340 may be a generalization of logistic regression that can be used for multi-class classification, and its formula is very similar to the sigmoid function used in logistic regression. The Softmax layer 2340 function can be used in a classifier only when the classes are mutually exclusive.
Ｓｏｆｔｍａｘ層２３４０は、スコアを、ユーザに表示することができる又は他のシステムへの入力として使用することができる正規化された確率分布に変換する。Ｓｏｆｔｍａｘ層２３４０は、ニューラルネットワーク２１００の最終層であって、ヒス束の確率及びヒス束ではない確率を含む出力１８２０を生成することができる。Softmax layer 2340 converts the scores into a normalized probability distribution that can be displayed to the user or used as input to other systems. Softmax layer 2340 is the final layer of neural network 2100 and can generate output 1820, which includes His bundle and non-His bundle probabilities.
距離１８４０をネットワーク２１００への入力として直接供給することによって、訓練は、追加の時間を必要とし得る。By directly providing distance 1840 as an input to network 2100, training may require additional time.
図２４は、説明されるような本システムの実装形態２４００を示す。実装形態２４００は、ヒス束の確率及びヒス束ではない確率を含む出力１８２０を生成するための、ＥＣＧ入力１８３０を含む、ネットワーク２１００への一連の入力を含む。上述したように、ＥＣＧ入力１８３０は、第１のＥＣＧ１８３０１、第２のＥＣＧ１８３０２、．．．、最後のＥＣＧ１８３０Ｎを含む任意の数のＥＣＧデータを含むことができる。 24 shows an implementation 2400 of the system as described. Implementation 2400 includes a series of inputs to network 2100, including ECG input 1830, to generate output 1820 including His bundle probability and not-His bundle probability. As mentioned above, ECG input 1830 can include any number of ECG data, includinga first ECG 1830i, a second ECG18302 , ..., a final ECG1830N .
ネットワーク２１００は、例えば、本明細書に記載されるようなＣＮＮネットワークであってもよい。簡略化のために、ネットワーク２１００は、複数のプール層２３２０と相互接続され、かつ１つ又は２つ以上のｒｅｓｎｅｔ及び／又は完全に接続された層を含むことができる複数の平坦化層２３３０と更に相互接続された、複数の畳み込み層２３１０を含んでもよい。理解されるように、Ｓｏｆｔｍａｘ層２３４０は、ネットワーク２１００内の最後の層であってもよい。Network 2100 may be, for example, a CNN network as described herein. For simplicity, network 2100 may include multiple convolutional layers 2310 interconnected with multiple pooling layers 2320, and further interconnected with multiple flattening layers 2330, which may include one or more resnet and/or fully connected layers. As will be appreciated, Softmax layer 2340 may be the final layer in network 2100.
ＥＣＧ入力１８３０は、Ｓｏｆｔｍａｘ層２３４０の前に終了するネットワーク２１００内に提供されてもよい。ECG input 1830 may be provided within network 2100 terminating before Softmax layer 2340.
カテーテルからの距離の入力１８４０は、ＥＣＧ入力１８３０とは別個に入力として提供されてもよい。重みを乗じてバイアス２４２０を加えた後に、距離入力１８４０は、活性化関数２４３０に提供されてもよい。ｄが距離であり、ｂがバイアスであり、ｗが重みであり、ｆが活性化関数である場合、活性化関数の出力は、ｆ（ｗｄ＋ｂ）である。当該技術分野において理解されるように、活性化関数２４３０は、入力又は入力のセットを所与として、そのノードの出力を定義する。活性化関数２４３０としては、例えば、シグモイド、双曲線正接、ＥＬＵ、及びＬｅａｋｙＲｅＬＵなどの関数を挙げることができる。ｓｏｆｔｍａｘ層２３４０の入力は、活性化関数２４３０の出力によって乗算されてもよい。Ｓｏｆｔｍａｘ層２３４０は、スコアを、ユーザに表示することができる又は他のシステムへの入力として使用することができる正規化された確率分布に変換する。Ｓｏｆｔｍａｘ層２３４０は、ニューラルネットワーク２１００の最終層であって、ヒス束の確率及びヒス束ではない確率を含む出力１８２０を生成することができる。代替的に、２つの入力を取り、かつ２つの出力を与えるｓｏｆｔｍａｘ層２３４０の代わりに、－∞～＋∞の単一の出力を、ニューラルネットワーク２３３０によって生成してもよく、この出力を、シグモイドなどの活性化関数によって０～１の確率に変換してもよい。この構成では、最終の活性化関数の入力は、活性化関数２４３０の出力によって乗算されてもよい。The distance from catheter input 1840 may be provided as an input separate from the ECG input 1830. After multiplying by a weight and adding a bias 2420, the distance input 1840 may be provided to an activation function 2430. If d is the distance, b is the bias, w is the weight, and f is the activation function, the output of the activation function is f(wd+b). As understood in the art, the activation function 2430 defines the output of that node given an input or set of inputs. Examples of activation functions 2430 include functions such as sigmoid, hyperbolic tangent, ELU, and LeakyReLU. The input of the softmax layer 2340 may be multiplied by the output of the activation function 2430. The softmax layer 2340 converts the scores into a normalized probability distribution that can be displayed to the user or used as input to other systems. Softmax layer 2340 is the final layer of neural network 2100 and can generate output 1820, which includes His bundle and non-His bundle probabilities. Alternatively, instead of softmax layer 2340 taking two inputs and providing two outputs, a single output between -∞ and +∞ can be generated by neural network 2330, which can be converted to a probability between 0 and 1 by an activation function such as a sigmoid. In this configuration, the input of the final activation function can be multiplied by the output of activation function 2430.
図２５は、説明されるような本システムの実装形態２５００を示す。実装形態２５００は、ヒス束の確率及びヒス束ではない確率を含む出力１８２０を生成するための、ＥＣＧ入力１８３０を含む、ネットワーク２１００への一連の入力を含む。上述したように、ＥＣＧ入力１８３０は、第１のＥＣＧ１８３０１、第２のＥＣＧ１８３０２、．．．、最後のＥＣＧ１８３０Ｎを含む任意の数のＥＣＧデータを含むことができる。ネットワーク２１００は、ヒス束の中間確率２５２０を出力することができる。 25 shows an implementation 2500 of the system as described. Implementation 2500 includes a series of inputs to network 2100, including ECG input 1830, to generate output 1820 including His bundle probability and not-His bundle probability. As described above, ECG input 1830 can include any number of ECG data, including a first ECG 18301 , a second ECG 18302 , ..., a final ECG 1830N. Network 2100 can output an intermediate His bundle probability 2520.
ネットワーク２１００は、例えば、本明細書に記載されるようなＣＮＮネットワークであってもよい。簡略化のために、ネットワーク２１００は、複数のプール層２３２０と相互接続され、かつ１つ又は２つ以上のｒｅｓｎｅｔ及び／又は完全に接続された層を含むことができる複数の平坦化層２３３０と更に相互接続された、複数の畳み込み層２３１０を含んでもよい。Network 2100 may be, for example, a CNN network as described herein. For simplicity, network 2100 may include multiple convolutional layers 2310 interconnected with multiple pooling layers 2320, and further interconnected with multiple flattening layers 2330, which may include one or more resnets and/or fully connected layers.
カテーテルからの距離の入力１８４０及び他の入力１８５０は、畳み込みネットワークの畳み込み層２３１０、プール層２３２０、及び平坦化層２３３０の後に提供されてもよい。図示されるように、３つ全ての層２３１０、２３２０、２３３０は、理解されるように、距離１８４０及び他の入力１８５０、又は層２３１０、２３２０、２３３０の一部分のみを飛ばしてもよい。距離入力１８４０及び任意の他の入力１８５０は、ＥＣＧネットワーク２１００の出力に提供され、１つ又は２つ以上の隠れ層２５００を有する非畳み込みニューラルネットワークを使用して組み合わされて、ヒス束の確率及びヒス束ではない確率を含む出力１８２０を生成することができる。このネットワークアーキテクチャでは、入力は、スカラ、例えば、距離及び印加された力であるため、入力は、「単に別の入力」として処理されて、このネットワークの訓練に時間がかかりすぎることになる場合があり、このネットワークの収束が困難となる。図２４及び図２５に記載された構成は、この問題を解決する。The distance from catheter input 1840 and other inputs 1850 may be provided after the convolutional layer 2310, pooling layer 2320, and flattening layer 2330 of the convolutional network. As shown, all three layers 2310, 2320, and 2330 may be skipped, as will be appreciated, or only portions of layers 2310, 2320, and 2330 may be skipped. The distance input 1840 and any other inputs 1850 may be provided to the output of the ECG network 2100 and combined using a non-convolutional neural network with one or more hidden layers 2500 to generate an output 1820 including the probability of His bundle and the probability of not being His bundle. In this network architecture, because the inputs are scalars, e.g., distance and applied force, the inputs are treated as "just another input," which may cause the network to take too long to train and make it difficult to converge. The configurations shown in Figures 24 and 25 solve this problem.
２つのネットワーク２１００、２５１０が図示されているが、これらのネットワークは、単一のネットワークとしてモノリシックに訓練される。心臓内の２つの位置が探索され、一方が、所望の位置（ヒス束）であり、他方が、心臓内の何らかの遠隔位置にある単なる任意の点であると仮定する。この例のために、これらの２つの位置から受信したＥＣＧ信号が非常に類似しており、どちらがヒス束であるかを理解する唯一の方法が距離を見ることであると仮定する。第１のニューラルネットワークは、距離が入力ではないので、距離に関する情報を提供されていない。第１のネットワークが単独で訓練される場合、２つの非常に類似した信号は、ヒス束として一度、「ヒス束ではない」として一度、ニューラルネットワークに供給される必要があり、ニューラルネットワーク内に混乱を引き起こす。ニューラルネットワークは、収束しないことになる。Although two networks 2100, 2510 are shown, these networks are trained monolithically as a single network. Assume two locations within the heart are to be located, one being the desired location (the His bundle) and the other simply an arbitrary point at some distant location within the heart. For the sake of this example, assume that the ECG signals received from these two locations are very similar, and the only way to understand which is the His bundle is to look at the distance. The first neural network is not provided with information about distance, as distance is not an input. If the first network were trained alone, the two very similar signals would have to be fed into the neural network once as the His bundle and once as "not the His bundle," causing confusion within the neural network. The neural network would not converge.
この例では、より良好な理解を提供するために、この例は、２つの非常に類似した信号を含んだ。ニューラルネットワークは、ヒス束を判定するために信号の何らかの「属性」を学習することができ、この属性は別の位置にも存在し得るため、異なる信号でさえも、同じ問題が依然として存在するであろう。人間はこの差を理解するであろうが、単一の入力としてＥＣＧを入力するニューラルネットワークは、混乱することがあり、その収束は困難であろう。最良の場合では、訓練は、時間がかかりすぎ、最悪の場合では、ネットワークは、収束しないであろう。In this example, to provide a better understanding, this example included two very similar signals. The neural network can learn some "attributes" of the signals to determine the His bundle, and this attribute may exist in other locations, so even with different signals, the same problem would still exist. A human would understand the difference, but a neural network that inputs the ECG as its only input would become confused and would have difficulty converging. In the best case, training would take too long, and in the worst case, the network would not converge.
２つのネットワークをモノリシックな全体として訓練する際、第１のネットワークは、距離が大きすぎる場合に「ゴミ」出力を与える自由を有し、依然として収束する。図２４では、乗算は、距離が大きすぎる場合、「ゴミ」の影響を低減することができる。図２５では、第２のニューラルネットワークは、距離及び他のパラメータがヒス束の確率が低いことを示す場合、「ゴミ」の影響を低減することができる。また、手作りのアルゴリズムとは異なり、このネットワークは、関連する距離がどのようなものであるかを学習する。このネットワークは、距離が十分に大きい場合、活性化関数２４３０が「ゼロに近い」係数を出力する必要があることを学習することができる。「ゼロに近い」係数は、第１のネットワークの出力にかかわらず、第２のネットワークによってヒス束の確率を低いとして出力させることができる。When training the two networks as a monolithic whole, the first network has the freedom to give a "garbage" output if the distance is too large and still converge. In Figure 24, multiplication can reduce the influence of "garbage" if the distance is too large. In Figure 25, the second neural network can reduce the influence of "garbage" if the distance and other parameters indicate a low probability of His bundles. Also, unlike hand-crafted algorithms, this network learns what the relevant distances are. This network can learn that when the distance is large enough, the activation function 2430 should output a coefficient "close to zero." A "close to zero" coefficient can cause the second network to output a low probability of His bundles, regardless of the output of the first network.
一般に、カットオフは、結果の助けにならない。例えば、距離が１ｃｍ未満であったＥＣＧ信号が考慮される場合、全ての他の信号は、訓練フェーズ中に除外される。理論的には、そのような構成及びカットオフは、同じ「高速収束」の利点を提供し、これはまた、問題を解決するであろう。距離の影響は、離散関数ではなく、連続関数であるべきである。図２４及び図２５のアーキテクチャの効果は、ニューラルネットワークが距離の影響を表す関数を構築するように学習するかのようなものである。訓練中、ネットワークは、遠く離れた点の入力に次第に重要性を与えなくなる。この解決策は、印加された力、組織近接指標などの任意の追加のスカラ入力に拡張可能である。In general, cutoffs do not help the results. For example, if ECG signals whose distance was less than 1 cm are considered, all other signals are filtered out during the training phase. In theory, such a configuration and cutoff would offer the same "fast convergence" advantage, which would also solve the problem. The effect of distance should be a continuous function, not a discrete function. The effect of the architectures in Figures 24 and 25 is as if the neural network learns to construct a function that represents the effect of distance. During training, the network gradually assigns less and less importance to inputs of points that are far away. This solution can be extended to any additional scalar inputs, such as applied force, tissue proximity indicators, etc.
図２５では、第１のネットワークは、信号の異なる属性を示すためにより多くの出力を出力することができ、第２のネットワークは、属性を距離と組み合わせるように学習することができる。例えば、距離が小さい場合、第２のネットワークは、属性Ａ、Ｂ、及びＣなどの属性により重要性を与えるように学習することができる。距離が大きい場合、第２のネットワークは、属性Ｄ及びＥなどの属性により重要性を与えるように学習することができる。In FIG. 25, the first network can output more outputs to indicate different attributes of the signal, and the second network can be trained to combine attributes with distance. For example, if the distance is small, the second network can be trained to give more importance to attributes such as attributes A, B, and C. If the distance is large, the second network can be trained to give more importance to attributes such as attributes D and E.
ネットワーク２１００の第１の部分は、ｓｏｆｔｍａｘ若しくはシグモイド層で終了してもよく、又は終了しなくてもよい。ｓｏｆｔｍａｘ又はシグモイド層で終了する場合、ネットワークの第２の部分への入力は、０～１である。そうでなければ、ネットワークの第２の部分への入力は、－∞～＋∞である。The first portion of network 2100 may or may not terminate in a softmax or sigmoid layer. If it terminates in a softmax or sigmoid layer, the input to the second portion of the network is between 0 and 1. Otherwise, the input to the second portion of the network is between -∞ and +∞.
ヒス束の自動検出は、本明細書に記載されるニューラルネットワークを利用する結果として本明細書に記載されているが、本開示の主題は、ヒス束の自動検出に限定されない。他の心構造及び／又は信号の自動識別は、開示される主題の範囲内である。例えば、心電サイクルは、心房を介してかつ房室（ＡＶ）結節を介してヒス束に電気インパルスを伝達する洞房（ＳＡ）結節から開始する。ヒス束は、ＡＶ結節から左及び右の束枝に電気インパルスを伝達し、次いで、電気信号を心室に提供するプルキンエ線維に伝達する。一実施形態では、本明細書に開示される主題を使用して、ＳＡ結節、左及び右の束枝、プルキンエ繊維などを含むが、これらに限定されない、心電サイクル内の他の心構造を自動的に検出することができる。加えて、別の例として、本明細書に開示される主題を使用して、先で考察されるように、ＬＡＶＡ信号を検出することができる。別の実施形態では、本明細書に開示される主題は、カテーテルの位置を検出するために使用することができ、カテーテルが心房室から心室へと意図せず移動した場合を検出するための医師への警告システムとして機能することができる。While automatic detection of the His bundle is described herein as a result of utilizing the neural networks described herein, the presently disclosed subject matter is not limited to automatic detection of the His bundle. Automatic identification of other cardiac structures and/or signals is within the scope of the disclosed subject matter. For example, the cardiac cycle begins with the sinoatrial (SA) node, which transmits electrical impulses through the atria and via the atrioventricular (AV) node to the His bundle. The His bundle transmits electrical impulses from the AV node to the left and right bundle branches, which then transmit the electrical signal to the Purkinje fibers, which provide the electrical signal to the ventricles. In one embodiment, the subject matter disclosed herein can be used to automatically detect other cardiac structures within the cardiac cycle, including, but not limited to, the SA node, left and right bundle branches, Purkinje fibers, etc. Additionally, as another example, the subject matter disclosed herein can be used to detect LAVA signals, as discussed above. In another embodiment, the subject matter disclosed herein can be used to detect the position of a catheter and can serve as a warning system to a physician to detect if a catheter has unintentionally moved from one atrium to another.
特徴及び要素が特定の組み合わせで上に記載されるが、当業者であれば、特徴又は要素の各々を単独で又は他の特徴及び要素と組み合わせて使用することができることを理解するであろう。加えて、プロセスステップは、特定の順序で上述されているが、ステップは、他の望ましい順序で実行することができる。While features and elements are described above in particular combinations, those skilled in the art will understand that each feature or element can be used alone or in combination with other features and elements. Additionally, although process steps are described above in a particular order, the steps can be performed in any other desired order.
本明細書に記載される方法、プロセス、モジュール、及びシステムは、コンピュータ又はプロセッサで実行するために、コンピュータ可読媒体に組み込まれるコンピュータプログラム、ソフトウェア、又はファームウェアで実装することができる。コンピュータ可読媒体の例には、電子信号（有線又は無線接続を介して送信される）及びコンピュータ可読記憶媒体が挙げられる。コンピュータ可読記憶媒体の例には、読み取り専用メモリ（read only memory、ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリ装置、磁気媒体、例えば、内蔵ハードディスク及び取り外し可能なディスク、磁気光学媒体、並びに光学媒体、例えば、ＣＤ－ＲＯＭディスク及びデジタル多用途ディスク（ＤＶＤ）が挙げられるが、これらに限定されない。ソフトウェアに関連するプロセッサを使用して、ＷＴＲＵ、ＵＥ、端末、基地局、ＲＮＣ、又は任意のホストコンピュータで使用するための無線周波数送受信機を実装することができる。The methods, processes, modules, and systems described herein may be implemented in computer programs, software, or firmware embodied in computer-readable media for execution by a computer or processor. Examples of computer-readable media include electronic signals (transmitted over wired or wireless connections) and computer-readable storage media. Examples of computer-readable storage media include, but are not limited to, read-only memory (ROM), random-access memory (RAM), registers, cache memory, semiconductor memory devices, magnetic media such as internal hard disks and removable disks, magneto-optical media, and optical media such as CD-ROM disks and digital versatile disks (DVDs). A processor in association with software may be used to implement a radio frequency transceiver for use in a WTRU, UE, terminal, base station, RNC, or any host computer.
本明細書の更なる実施形態は、ある実施形態に、本明細書の任意の１つ若しくは２つ以上の他の実施形態に由来する１つ若しくは２つ以上の要素を付加することによって、かつ／又はある実施形態に由来する１つ若しくは２つ以上の要素を、本明細書の１つ若しくは２つ以上の他の実施形態由来の１つ若しくは２つ以上の要素と置換することによって、形成されてもよい。Further embodiments of the present specification may be formed by adding to an embodiment one or more elements from any one or more other embodiments of the present specification and/or by substituting one or more elements from an embodiment with one or more elements from one or more other embodiments of the present specification.
したがって、開示された主題は、開示された特定の実施形態に制限されず、添付の特許請求の範囲、上記の説明によって定義され、かつ／又は添付の図面に示される本開示の趣旨及び範囲内にある全ての修正を包含することを意図するものと理解される。Accordingly, it is understood that the disclosed subject matter is not limited to the particular embodiments disclosed, but is intended to encompass all modifications that are within the spirit and scope of the present disclosure as defined by the appended claims, the above description, and/or as illustrated in the accompanying drawings.
〔実施の態様〕
（１） 心構造を自動的に検出するためのシステムであって、
第１の心構造に関する電気生理学的データを受信するように、心臓内に位置付けられた複数の感知デバイスであって、各々が、一次元信号を提供する、複数の感知デバイスと、
ニューラルネットワークを含むプロセッサであって、
前記複数の感知デバイスのうちの少なくとも１つから前記一次元信号を受信し、
一対の前記複数の感知デバイス間の距離に関する距離データを受信し、
受信した前記一次元信号に前記ニューラルネットワークを適用して、出力を判定し、
前記距離に重み及びバイアスを適用し、
重み付けされ、かつバイアスをかけられた前記距離に活性化関数を適用し、
判定された前記出力に前記活性化関数の前記出力を乗算して、前記電気生理学的データ及び前記距離データに基づいて、前記第１の心構造が関心対象の前記心構造であるか否かを判定する、
プロセッサと、
を備える、システム。
（２） 関心対象の前記心構造が、ヒス束を含む、実施態様１に記載のシステム。
（３） 前記複数の感知デバイスによって受信された前記第１の心構造に関する前記電気生理学的データが、ＥＣＧ信号を含む、実施態様１に記載のシステム。
（４） 前記複数の感知デバイスが、複数の異なる電極を含む、実施態様１に記載のシステム。
（５） 前記距離データが、マッピング電極の前記距離である、実施態様１に記載のシステム。[Embodiment]
(1) A system for automatically detecting cardiac structures, comprising:
a plurality of sensing devices positioned within the heart to receive electrophysiological data related to a first cardiac structure, each sensing device providing a one-dimensional signal;
A processor including a neural network,
receiving the one-dimensional signal from at least one of the plurality of sensing devices;
receiving distance data relating to a distance between a pair of the plurality of sensing devices;
applying the neural network to the received one-dimensional signal to determine an output;
applying weights and biases to the distances;
applying an activation function to the weighted and biased distances;
multiplying the determined output by the output of the activation function to determine whether the first cardiac structure is the cardiac structure of interest based on the electrophysiological data and the distance data.
a processor;
A system comprising:
(2) The system of claim 1, wherein the cardiac structure of interest includes the bundle of His.
3. The system of claim 1, wherein the electrophysiological data related to the first cardiac structure received by the plurality of sensing devices includes an ECG signal.
4. The system of claim 1, wherein the plurality of sensing devices comprises a plurality of different electrodes.
5. The system of claim 1, wherein the distance data is the distance of a mapping electrode.
（６） 前記ニューラルネットワークが、畳み込みニューラルネットワーク又はリカレントニューラルネットワークである、実施態様１に記載のシステム。
（７） 前記一次元信号及び前記距離データに対して、前記ニューラルネットワークをモノリシックに訓練することを更に含む、実施態様１に記載のシステム。
（８） 心構造を自動的に検出するための方法であって、
心臓内に位置付けられた複数の感知デバイスを介して、複数の一次元信号を含む電気生理学的データを受信することと、
ニューラルネットワークを介して、前記複数の感知デバイスのうちの少なくとも１つから、前記一次元信号を受信し、かつ一対の前記複数の感知デバイス間の距離に関する距離データを受信することと、
受信した前記一次元信号に前記ニューラルネットワークを適用して、出力を判定することと、
前記距離に重み及びバイアスを適用し、重み付けされ、かつバイアスをかけられた前記距離に活性化関数を適用することと、
判定された前記出力に前記活性化関数の前記出力を乗算して、前記電気生理学的データ及び前記距離データに基づいて、前記第１の心構造が関心対象の前記心構造であるか否かを判定することと、
を含む、方法。
（９） 関心対象の前記心構造が、ヒス束を含む、実施態様８に記載の方法。
（１０） 前記複数の感知デバイスによって受信された前記第１の心構造に関する前記電気生理学的データが、ＥＣＧ信号を含む、実施態様８に記載の方法。6. The system of claim 1, wherein the neural network is a convolutional neural network or a recurrent neural network.
7. The system of claim 1, further comprising monolithically training the neural network on the one-dimensional signal and the range data.
(8) A method for automatically detecting cardiac structures, comprising:
receiving electrophysiological data comprising a plurality of one-dimensional signals via a plurality of sensing devices positioned within the heart;
receiving, via a neural network, the one-dimensional signal from at least one of the plurality of sensing devices and distance data relating to a distance between a pair of the plurality of sensing devices;
applying the neural network to the received one-dimensional signal to determine an output;
applying weights and biases to the distances and applying an activation function to the weighted and biased distances;
multiplying the determined output by the output of the activation function to determine whether the first cardiac structure is the cardiac structure of interest based on the electrophysiological data and the distance data;
A method comprising:
9. The method of claim 8, wherein the cardiac structure of interest includes the bundle of His.
10. The method of claim 8, wherein the electrophysiological data related to the first cardiac structure received by the plurality of sensing devices includes an ECG signal.
（１１） 前記複数の感知デバイスが、複数の異なる電極を含む、実施態様８に記載の方法。
（１２） 前記距離データが、マッピング電極の前記距離である、実施態様１に記載のシステム。
（１３） 前記ニューラルネットワークが、畳み込みニューラルネットワーク又はリカレントニューラルネットワークである、実施態様１に記載のシステム。
（１４） 前記一次元信号及び前記距離データに対して、前記ニューラルネットワークをモノリシックに訓練することを更に含む、実施態様１に記載のシステム。
（１５） 心構造を自動的に検出するためのシステムであって、
第１の心構造に関する電気生理学的データを受信するために心臓内に位置付けられた複数の感知デバイスであって、各々が、一次元信号を提供する、複数の感知デバイスと、
第１のニューラルネットワークを含むプロセッサであって、前記複数の感知デバイスのうちの少なくとも１つから前記一次元信号を受信し、受信した前記一次元信号に前記ニューラルネットワークを適用して、出力を判定する、プロセッサと、を備え、
前記プロセッサが、少なくとも一対の前記複数の感知デバイス間の距離に関する複数のスカラ値を受信し、前記複数のスカラ値に重み及びバイアスを適用し、重み付けされ、かつバイアスをかけられた前記距離に活性化関数を適用する、第２のニューラルネットワークを含み、
前記第１のニューラルネットワークの前記出力及び前記第２のニューラルネットワークを組み合わせて、前記電気生理学的データ及び前記距離データに基づいて、前記第１の心構造が関心対象の前記心構造であるか否かを判定する、システム。11. The method of claim 8, wherein the plurality of sensing devices comprises a plurality of different electrodes.
12. The system of claim 1, wherein the distance data is the distance of a mapping electrode.
13. The system of claim 1, wherein the neural network is a convolutional neural network or a recurrent neural network.
14. The system of claim 1, further comprising monolithically training the neural network on the one-dimensional signal and the range data.
(15) A system for automatically detecting cardiac structures, comprising:
a plurality of sensing devices positioned within the heart to receive electrophysiological data related to a first cardiac structure, each sensing device providing a one-dimensional signal;
a processor including a first neural network that receives the one-dimensional signal from at least one of the plurality of sensing devices and applies the neural network to the received one-dimensional signal to determine an output;
a second neural network, the processor configured to receive a plurality of scalar values relating to distances between at least one pair of the plurality of sensing devices, apply weights and biases to the plurality of scalar values, and apply an activation function to the weighted and biased distances;
The system combines the output of the first neural network and the second neural network to determine whether the first cardiac structure is the cardiac structure of interest based on the electrophysiological data and the distance data.
（１６） 関心対象の前記心構造が、ヒス束を含む、実施態様１５に記載のシステム。
（１７） 前記複数の感知デバイスによって受信された前記第１の心構造に関する前記電気生理学的データが、ＥＣＧ信号を含む、実施態様１５に記載のシステム。
（１８） 前記複数の感知デバイスが、複数の異なる電極を含む、実施態様１５に記載のシステム。
（１９） 前記距離データが、マッピング電極の前記距離である、実施態様１５に記載のシステム。
（２０） 前記一次元信号及び前記距離データに対して、前記第１のニューラルネットワーク及び前記第２のニューラルネットワークをモノリシックに訓練することを更に含む、実施態様１に記載のシステム。16. The system of claim 15, wherein the cardiac structure of interest includes the bundle of His.
17. The system of claim 15, wherein the electrophysiological data related to the first cardiac structure received by the plurality of sensing devices includes an ECG signal.
18. The system of claim 15, wherein the plurality of sensing devices comprises a plurality of different electrodes.
19. The system of claim 15, wherein the distance data is the distance of a mapping electrode.
20. The system of claim 1, further comprising monolithically training the first neural network and the second neural network on the one-dimensional signal and the range data.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063030392P | 2020-05-27 | 2020-05-27 | |
| US63/030,392 | 2020-05-27 |
| Publication Number | Publication Date |
|---|---|
| JP2021186675A JP2021186675A (en) | 2021-12-13 |
| JP7721323B2true JP7721323B2 (en) | 2025-08-12 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021088197AActiveJP7721323B2 (en) | 2020-05-27 | 2021-05-26 | Automated detection of cardiac structures in cardiac mapping |
| Country | Link |
|---|---|
| JP (1) | JP7721323B2 (en) |
| CN (1) | CN113729728A (en) |
| IL (1) | IL283454A (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116342497B (en)* | 2023-03-01 | 2024-03-19 | 天津市鹰泰利安康医疗科技有限责任公司 | Three-dimensional mapping method and system for inner wall of human body cavity |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008531221A (en) | 2005-03-03 | 2008-08-14 | セント・ジュード・メディカル・エイトリアル・フィブリレーション・ディヴィジョン・インコーポレーテッド | Method and apparatus for determining the location of the foveal fossa, creating a virtual foveal fossa and performing a transseptal puncture |
| US20180296178A1 (en) | 2017-04-13 | 2018-10-18 | Siemens Healthcare Gmbh | Method and System of Automated X-Ray Positioning and Collimation Control on Hand and Food Scan |
| US20180296167A1 (en) | 2017-04-18 | 2018-10-18 | Boston Scientific Scimed Inc. | Electroanatomical mapping tools facilitated by activation waveforms |
| CN110960207A (en) | 2019-12-16 | 2020-04-07 | 成都天奥电子股份有限公司 | Tree model-based atrial fibrillation detection method, device, equipment and storage medium |
| WO2020073013A1 (en) | 2018-10-05 | 2020-04-09 | Alivecor, Inc. | Machine learning health analysis with a mobile device |
| WO2020089656A1 (en) | 2018-11-01 | 2020-05-07 | Imperial College Of Science, Technology And Medicine | Predicting physiological parameters |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110602980B (en)* | 2017-05-10 | 2022-06-28 | 波士顿科学医学有限公司 | Region of interest representation for electroanatomical mapping |
| CN109431492B (en)* | 2018-10-16 | 2022-04-26 | 上海乐普云智科技股份有限公司 | Simulation and reconstruction method of ECG lead data based on neural network algorithm |
| WO2020106604A1 (en)* | 2018-11-20 | 2020-05-28 | Boston Scientific Scimed Inc | Systems for autonomous cardiac mapping |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008531221A (en) | 2005-03-03 | 2008-08-14 | セント・ジュード・メディカル・エイトリアル・フィブリレーション・ディヴィジョン・インコーポレーテッド | Method and apparatus for determining the location of the foveal fossa, creating a virtual foveal fossa and performing a transseptal puncture |
| US20180296178A1 (en) | 2017-04-13 | 2018-10-18 | Siemens Healthcare Gmbh | Method and System of Automated X-Ray Positioning and Collimation Control on Hand and Food Scan |
| US20180296167A1 (en) | 2017-04-18 | 2018-10-18 | Boston Scientific Scimed Inc. | Electroanatomical mapping tools facilitated by activation waveforms |
| WO2020073013A1 (en) | 2018-10-05 | 2020-04-09 | Alivecor, Inc. | Machine learning health analysis with a mobile device |
| WO2020089656A1 (en) | 2018-11-01 | 2020-05-07 | Imperial College Of Science, Technology And Medicine | Predicting physiological parameters |
| CN110960207A (en) | 2019-12-16 | 2020-04-07 | 成都天奥电子股份有限公司 | Tree model-based atrial fibrillation detection method, device, equipment and storage medium |
| Publication number | Publication date |
|---|---|
| IL283454A (en) | 2021-12-01 |
| CN113729728A (en) | 2021-12-03 |
| JP2021186675A (en) | 2021-12-13 |
| Publication | Publication Date | Title |
|---|---|---|
| JP7512074B2 (en) | Systems and methods for improving cardiac ablation procedures - Patents.com | |
| JP7743678B2 (en) | Systems and methods for computing and detecting cardiac mapping annotations for detecting stable arrhythmic heartbeats - Patents.com | |
| EP3933852B1 (en) | Improved mapping efficiency by suggesting map points location | |
| US20210378579A1 (en) | Local noise identification using coherent algorithm | |
| US20220008126A1 (en) | Optimized ablation for persistent atrial fibrillation | |
| US20210391082A1 (en) | Detecting atrial fibrillation and atrial fibrillation termination | |
| US20210369174A1 (en) | Automatic detection of cardiac structures in cardiac mapping | |
| US12144636B2 (en) | System and method to determine the location of a catheter | |
| US20220338939A1 (en) | System and method to determine the location of a catheter | |
| EP4113528A1 (en) | System and method to determine the location of a catheter | |
| WO2022079623A1 (en) | Personalized arrythmia treatment planning | |
| JP7721323B2 (en) | Automated detection of cardiac structures in cardiac mapping | |
| US20220061733A1 (en) | Automatically identifying scar areas within organic tissue using multiple imaging modalities | |
| EP4552129A1 (en) | System and method to determine the location of a catheter | |
| WO2022079621A1 (en) | Intracardiac ecg noise detection and reduction |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20240326 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20241224 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20241225 | |
| RD04 | Notification of resignation of power of attorney | Free format text:JAPANESE INTERMEDIATE CODE: A7424 Effective date:20250121 | |
| A601 | Written request for extension of time | Free format text:JAPANESE INTERMEDIATE CODE: A601 Effective date:20250324 | |
| A601 | Written request for extension of time | Free format text:JAPANESE INTERMEDIATE CODE: A601 Effective date:20250523 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20250619 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20250701 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20250730 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:7721323 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 |