JP2024162572A - Treatment video tagging device - Google Patents
Treatment video tagging deviceDownload PDFInfo
- Publication number
- JP2024162572A JP2024162572AJP2023078206AJP2023078206AJP2024162572AJP 2024162572 AJP2024162572 AJP 2024162572AJP 2023078206 AJP2023078206 AJP 2023078206AJP 2023078206 AJP2023078206 AJP 2023078206AJP 2024162572 AJP2024162572 AJP 2024162572A
- Authority
- JP
- Japan
- Prior art keywords
- treatment
- video
- tag
- treatment video
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Veterinary Medicine (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
Description
Translated fromJapaneseこの発明は、施術動画のタグ付け装置などに関する。This invention relates to a tagging device for treatment videos.
特開２００６－４３２０９号公報には、外科手術の動画記録装置が記載されている。この装置は、外科手術の施術行為または器具の名称データを格納し、インデックスタイトル格納部に存在する特定の施術行為または器具を選択指定し、操作タイミングに対応するインデックス画像を記録する。この装置は、外科手術の記録動画を速やかに検索可能な状態で保存可能とする。このため、この装置は、施術動画を検索可能とし、さらにインデックス画像を表示できるので有益である。しかしながら、この装置は、動画をひとつひとつ人が検索可能な状態とする必要がある。このため、この装置は、大量の施術動画を処理できない。JP 2006-43209 A describes a video recording device for surgical procedures. This device stores name data for surgical procedures or instruments, selects and specifies a specific surgical procedure or instrument present in an index title storage unit, and records an index image corresponding to the operation timing. This device makes it possible to save recorded videos of surgical procedures in a state that allows for quick search. This device is therefore useful because it makes the surgical procedures videos searchable and can also display index images. However, this device requires that each video be made searchable by a person. This means that this device cannot process large volumes of surgical procedures videos.
特許第５０４４０６９号公報には、医用画像診断装置が記載されている。この装置は、時間スケール上の任意のタイミングで種類の栞データが関連付けられた施術動画を得ることができる。この栞は、動画にアクセスするためのマーカーである。この装置は、人が各動画について栞データを手入力する必要がある。このため、この装置は、大量の施術動画を処理できない。Patent Publication No. 5044069 describes a medical image diagnostic device. This device can obtain treatment videos associated with different types of bookmark data at any timing on a time scale. These bookmarks are markers for accessing the videos. This device requires a person to manually input bookmark data for each video. For this reason, this device cannot process large volumes of treatment videos.
この発明は、施術動画に自動的にタグを設けることができる装置を提供することを目的とする。
この発明は、施術動画の個人を特定する画像部位を視認できないようにできる装置を提供することを上記とは別の目的とする。 An object of the present invention is to provide a device that can automatically provide tags to treatment videos.
Another object of the present invention is to provide a device that can make image areas that identify an individual in a treatment video invisible.
この発明は、基本的には、施術動画に含まれる医療機器を画像解析することで、医療機器に基づいて、自動的に施術動画にタグを設けることができるという知見に基づく。また、この発明は、基本的には、個人を特定する画像部位を、視認できないようにすれば、施術動画をより容易にデータベース化できるため好ましいという知見に基づく。This invention is based on the knowledge that by performing image analysis of the medical equipment included in the treatment video, tags can be automatically added to the treatment video based on the medical equipment. This invention is also based on the knowledge that it is preferable to make image parts that identify an individual invisible, since this makes it easier to create a database of the treatment video.
施術動画のタグ付け装置１は、施術動画入力部３と、タグ設置部５とを有する。施術動画入力部３は、施術動画が装置１に入力されるための要素である。タグ設置部５は、施術動画に含まれる医療機器（「使用医療機器」とよぶ）を分析し、使用医療機器に基づいて施術動画に使用医療機器に関するタグを設けるための要素である。タグを設けられた施術動画（「タグ付き施術動画」ともよぶ）は、タグが設けられた部分から頭出しできるようになる。The treatment video tagging device 1 has a treatment video input unit 3 and a
タグ設置部７の好ましい例は、施術動画に基づいて、施術動画の施術工程である実施施術工程を分析し、施術動画に実施施術工程に関するタグをさらに設けることができるものである。すると、タグを設けた施術動画は、実施施術工程に関する施術工程名を用いて、施術動画を実施施術工程に関するタグが設けられた部分から頭出しできる。A preferred example of the
タグ設置部７の好ましい例は、施術動画に基づいて、施術動画の施術術式である実施施術術式を分析し、施術動画に実施施術の術式に関する識別情報を施術動画に付加することができるものである。すると、実施施術の術式に関する識別情報を付加した施術動画は、実施施術術式に関する施術術式名を用いて、施術動画を検索できるようなる。A preferred example of the
タグ設置部７の好ましい例は、施術動画における使用医療機器部分に、当該使用医療機器に関する情報を表示するためのリンク情報をさらに付加することができるものである。A preferred example of the
施術動画のタグ付け装置１の好ましい例は、人特定部位除去部７をさらに有する。人特定部位７は、施術動画に含まれる患者又は医療従事者を特定する画像部位である人特定部位を分析し、施術動画に人特定部位が含まれている場合、人特定部位を視認できないように施術動画を加工するための要素である。A preferred example of the treatment video tagging device 1 further includes a person-specific
この明細書に記載される別の発明は、コンピュータを上記の施術動画のタグ付け装置として機能させるためのプログラムや、そのようなプログラムを記憶したコンピュータが読み取り可能な非一時的記録媒体に関する。Another invention described in this specification relates to a program for causing a computer to function as the above-mentioned treatment video tagging device, and a non-transitory recording medium that stores such a program and is readable by a computer.
この発明によれば、施術動画に含まれる医療機器を画像解析することで、医療機器に基づいて、自動的に施術動画にタグを設けることができる。また、この発明の好ましい態様は、個人を特定する画像部位を、視認できないようにできるので、施術動画をより容易にデータベース化できる。According to this invention, by performing image analysis of the medical equipment included in the treatment video, tags can be automatically added to the treatment video based on the medical equipment. In addition, a preferred embodiment of this invention makes it possible to make image parts that identify an individual invisible, making it easier to create a database of treatment videos.
以下，図面を用いて本発明を実施するための形態について説明する。本発明は，以下に説明する形態に限定されるものではなく，以下の形態から当業者が自明な範囲で適宜修正したものも含む。Below, the embodiments for carrying out the present invention will be explained using the drawings. The present invention is not limited to the embodiments described below, but also includes appropriate modifications of the embodiments below within the scope that would be obvious to a person skilled in the art.
図１は、施術動画のタグ付け装置を説明するためのブロック図である。図１に示されるように、この施術動画のタグ付け装置１は、施術動画入力部３と、タグ設置部５とを有する。この装置１は、人特定部位除去部７をさらに有してもよい。この装置１は、医療機器記憶部１１、手情報記憶部１３、施術工程記憶部１５、施術対象部位記憶部１７、施術術式記憶部１９、及び人特定部位記憶部２１のうちいずれか又は２つ以上をさらに有してもよい。施術動画のタグ付け装置１は、コンピュータにより実装される。つまり、施術動画のタグ付け装置１を構成する各要素は、コンピュータにより実装されればよい。Figure 1 is a block diagram for explaining a treatment video tagging device. As shown in Figure 1, this treatment video tagging device 1 has a treatment video input unit 3 and a
コンピュータは，入力部，出力部，制御部，演算部及び記憶部を有しており，各要素は，バスなどによって接続され，情報の授受を行うことができるようにされている。例えば，記憶部には，制御プログラムが記憶されていてもよいし，各種情報が記憶されていてもよい。入力部から所定の情報が入力された場合，制御部は，記憶部に記憶される制御プログラムを読み出す。そして，制御部は，適宜記憶部に記憶された情報を読み出し，演算部へ伝える。また，制御部は，適宜入力された情報を演算部へ伝える。演算部は，受け取った各種情報を用いて演算処理を行い，記憶部に記憶する。制御部は，記憶部に記憶された演算結果を読み出して，出力部から出力する。このようにして，各種処理や各工程が実行される。この各種処理を実行するものが，各部や各手段である。コンピュータは，プロセッサを有し，プロセッサが各種機能や各種工程を実現するものであってもよい。コンピュータは，スタンドアロンであってもよい。コンピュータは，機能の一部がサーバと端末に分散されていてもよい。その場合サーバと端末とは，インターネットやイントラネットなどのネットワークにより，情報の授受を行うことができるようにされていることが好ましい。コンピュータは、プロセッサと、プロセッサに連結されたメモリと、を備えていてもよい。そして、メモリが、命令を格納しており、命令は、プロセッサによって実行されると、コンピュータに、各種工程を行わせたり、コンピュータを各種要素として機能させるものであってもよい。コンピュータは、各種教師データを与えて学習モデルを構築し、機械学習により各種演算を実現するようにしてもよい。この場合、コンピュータは、ＡＩ（人工知能）の機械学習・深層学習により作成された学習モデルを用いて各種解析や分析を実行してもよい。The computer has an input section, an output section, a control section, a calculation section, and a storage section, and each element is connected by a bus or the like so as to be able to exchange information. For example, the storage section may store a control program or various information. When specific information is input from the input section, the control section reads out the control program stored in the storage section. Then, the control section reads out the information stored in the storage section as appropriate and transmits it to the calculation section. The control section also transmits the input information as appropriate to the calculation section. The calculation section performs calculation processing using the various information received and stores it in the storage section. The control section reads out the calculation results stored in the storage section and outputs them from the output section. In this way, various processes and each process are performed. The various sections and means are those that execute these various processes. The computer may have a processor, and the processor may realize various functions and various processes. The computer may be standalone. The computer may have some of its functions distributed between a server and a terminal. In that case, it is preferable that the server and the terminal are able to exchange information through a network such as the Internet or an intranet. The computer may include a processor and a memory coupled to the processor. The memory may store instructions that, when executed by the processor, cause the computer to perform various processes or function as various elements. The computer may be provided with various teaching data to construct a learning model and realize various calculations through machine learning. In this case, the computer may perform various analyses using a learning model created by machine learning and deep learning of AI (artificial intelligence).
コンピュータの記憶部には、例えば、動画を解析する際に利用する解析用モデル（学習済モデル）が記憶されていてもよい。解析用モデルは、手術に使用される医療機器（機器の位置変化を含んでよい）と、医療機器が使用される術式、及び施術工程とを学習したモデルであることが好ましい。なお、解析用モデルは、更に、施術動画に含まれる手又は腕の位置（手又は腕の位置変化を含んでよい）と、手又は腕の位置に対応する術式、及び施術工程とを学習したモデルであってもよい。コンピュータは、手術を撮影した施術動画を解析し、施術動画データに含まれる手術の術式の同定及び施術工程の分類の少なくとも一方を行うことが好ましい。コンピュータは、施術動画から、手術で使用される医療機器と、医療器の位置（位置変化を含んでよい）から工程を分類するようにしてよい。また、コンピュータは、手術で使用される医療機器に加えて、医療機器を扱う手又は腕の位置変化から施術工程を分類するようにしてよい。また、順序を含む施術工程の組み合わせから術式を同定することが可能であるため、コンピュータはは、分類した順序を含む工程の組み合わせに基づいて手術の術式を同定してもよい。この際、順序を含む工程の組み合わせと術式とを対応付けた情報を参照して手術の術式を同定してもよい。このようにコンピュータは、機械学習により各種学習モデルを学習させ、学習させたモデルを用いて、各種処理を行うようにしてもよい。The storage unit of the computer may store, for example, an analysis model (trained model) used when analyzing the video. The analysis model is preferably a model that has learned the medical equipment used in the surgery (which may include changes in the position of the equipment), the surgical procedure in which the medical equipment is used, and the surgical procedure. The analysis model may further be a model that has learned the position of the hand or arm included in the surgical video (which may include changes in the position of the hand or arm), the surgical procedure corresponding to the position of the hand or arm, and the surgical procedure. The computer preferably analyzes the surgical video of the surgery and performs at least one of identifying the surgical procedure of the surgery included in the surgical video data and classifying the surgical procedure. The computer may classify the procedure from the surgical video based on the medical equipment used in the surgery and the position of the medical equipment (which may include changes in position). The computer may also classify the surgical procedure from the position change of the hand or arm handling the medical equipment in addition to the medical equipment used in the surgery. Since it is possible to identify the surgical procedure from a combination of surgical procedures including the order, the computer may identify the surgical procedure based on the combination of the procedures including the classified order. At this time, the surgical procedure may be identified by referring to information that associates a combination of steps, including the order, with the surgical procedure. In this way, the computer may learn various learning models by machine learning and perform various processes using the learned models.
施術動画のタグ付け装置１は、施術動画の所定カ所から施術動画を視聴できるように頭出しするためのタグを施術動画に付与するための装置である。
施術動画は、手術や施術に関する動画であればよい。手術の例は、外科手術である。施術の例は、エステやマッサージである。
タグは、インデックスや栞などともよばれ、タグが付加された部分から動画を視聴できるようにするために動画に付された情報である。なお、この装置１は、施術動画を、タグを利用して検索できるようにすることが好ましい。例えば、ある施術のある工程で、ある医療機器が用いられる際から動画を視聴できるようになる。タグは、例えば、施術動画においてある医療機器が用いられた際の医療機器名と関連して記憶部に記憶されることが好ましい。そして、施術動画の表示には、タグ部分と合わせて、そのタグと関連して記憶された医療機器の名称が表示されるようにしてもよい。タグを設けた施術動画は、使用医療機器に関する医療機器名を用いて、施術動画を使用医療機器に関するタグが設けられた部分から頭出しできるようになる。 The treatment video tagging device 1 is a device for attaching a tag to a treatment video for cueing a predetermined point in the treatment video so that the treatment video can be viewed.
The treatment video may be a video related to surgery or treatment. An example of a surgery is a surgical operation. An example of a treatment is a beauty treatment or a massage.
The tag is also called an index or a bookmark, and is information attached to a video so that the video can be viewed from the part where the tag is added. It is preferable that the device 1 allows the treatment video to be searched using the tag. For example, the video can be viewed from the point where a certain medical device is used in a certain step of a certain treatment. For example, the tag is preferably stored in the storage unit in association with the name of the medical device when the certain medical device is used in the treatment video. The name of the medical device stored in association with the tag may be displayed in addition to the tag portion when the treatment video is displayed. The treatment video with the tag can be cue-started from the part where the tag related to the used medical device is provided, using the name of the medical device related to the used medical device.
施術動画入力部３は、施術動画が入力される要素である。施術動画のタグ付け装置１は、動画を撮影する撮影部（例えば、カメラやビデオカメラ）と接続されており、施術動画が撮影されると、施術動画のタグ付け装置１に、施術動画が入力されてもよい。また、施術動画のタグ付け装置１に、施術動画に関する動画ファイルが、ドラックアンドドロップにぃより、入力されてもよい。さらに、施術動画のタグ付け装置１がインターネット上の施術動画を検索し、ヒットした施術動画を自動的に入力するようにしてもよい。このようにして、施術動画のタグ付け装置１に、施術動画が入力される。The treatment video input unit 3 is an element into which the treatment video is input. The treatment video tagging device 1 is connected to a shooting unit (e.g., a camera or video camera) that shoots videos, and once the treatment video is shot, the treatment video may be input into the treatment video tagging device 1. Also, a video file related to the treatment video may be input into the treatment video tagging device 1 by dragging and dropping. Furthermore, the treatment video tagging device 1 may search for treatment videos on the Internet and automatically input the treatment videos that are found. In this way, the treatment video is input into the treatment video tagging device 1.
タグ設置部５は、施術動画に含まれる医療機器である使用医療機器を分析し、使用医療機器に基づいて施術動画に使用医療機器に関するタグを設けるための要素である。この装置１は、医療機器記憶部１１をさらに有する。医療機器記憶部１１は、医療機器の名称、及び医療機器の画像データを関連付けて記憶する。医療機器記憶部１１は、さらに医療機器のＩＤを記憶してもよい。タグ設置部５は、例えば、各種医療機器に関する画像データを機械学習し、医療機器に関する学習モデルを作成して、記憶部に記憶しておいてもよい。そして、タグ設置部５は、医療機器に関する学習モデルを用いて、施術動画に含まれる医療機器を解析してもよい。タグ設置部５は、例えば、各種施術工程や各種施術に関する動画データを機械学習し、各種施術工程や各種施術に関する学習モデルを作成し、記憶部に記憶しておいてもよい。そして、タグ設置部５は、各種施術工程や各種施術に関する学習モデルを用いて、施術動画における各施術工程や、施術動画に関する実施施術を分析してもよい。The
タグ設置部５は、例えば、記憶部から施術動画に含まれる画像（施術画像）を読み出すとともに、医療機器記憶部１１から医療機器の画像データを読み出す。そして、タグ設置部５は、施術画像と、第１の医療機器の画像データとを照合する。タグ設置部５は、施術画像に第１の医療機器の画像データが含まれると判断した場合は、第１の医療機器を使用医療機器と判断する。タグ設置部５による施術画像と第１の医療機器の画像データとを用いた照合処理の結果、タグ設置部５が施術画像に第１の医療機器が含まれないと判断した場合、タグ設置部５は、医療機器記憶部１１から次の医療機器である第２の医療機器の画像データを読み出す。そして、タグ設置部５は、この施術画像と医療機器の画像データとの照合処理を、繰り返す。このようにすることで、タグ設置部５は、施術動画に含まれる画像における医療機器を特定できる。つまり、タグ設置部５は、施術動画における、あるタイミングで使用された医療機器を特定できる。The
タグ設置部５の好ましい例は、施術動画（施術画像）に含まれる施術者の手を画像解析するとともに、施術者の手で把持されている医療機器を、使用医療機器とするものである。例えば、施術動画には、施術に使用されていない医療機器が含まれている場合がある。この例では、そのような場合であっても、施術に実際に使用されている医療機器に関してタグを設けることができる。この例では、施術動画のタグ付け装置１が、手情報記憶部１３を有していてもよい。すると、タグ設置部５は、例えば、記憶部から施術動画に含まれる画像（施術画像）を読み出すとともに、手情報記憶部１３から手の画像データを読み出す。そして、タグ設置部５は、施術画像と、手の画像データとを照合する。このようにすれば、施術動画に含まれる画像（施術画像）における施術者の手を把握できる。そして、施術動画（施術画像）に複数の医療機器が含まれている場合、タグ設置部５は、施術動画（施術画像）のうち施術者の手に近い医療機器を使用医療機器としてもよい。また、手情報記憶部１３が、医療機器を把持している状態の手の画像データを記憶する場合、その状態の手に把持されていると分析される医療機器を使用医療機器としてもよい。A preferred example of the
タグ設置部５の好ましい例は、施術動画（施術画像）に含まれる施術者の手と助手の手を画像解析するとともに、施術者の手で把持されている医療機器を、使用医療機器とするものである。タグ設置部５は、例えば、記憶部から施術動画に含まれる画像（施術画像）を読み出すとともに、手情報記憶部１３から手の画像データを読み出す。そして、タグ設置部５は、施術画像と、手の画像データとを照合する。タグ設置部５は、施術画像に複数の手が含まれる場合、施術画像における手の位置や、施術画像における手の近くの医療機器に関する情報を用いて、いずれの手が施術者の手であるか分析してもよい。例えば、手情報記憶部１３には、右手の画像データと、左手の画像データとが記憶されている。そして、タグ設置部５は、右手の画像データと、左手の画像データとを用いて、施術画像に含まれる手が右手のものか左手のものか分析する。そのうえで、例えば、タグ設置部５は、複数の手の組のうち、画像の中央からの距離が小さい組を、施術者の手（の組）と判断すればよい。また、画面の中央からの距離が大きい組を助手の手（の組）と判断すればよい。そして、タグ設置部５は、施術画像に含まれる施術者の手に近いか、又は施術者の手に把持されていると画像解析される医療機器を、施術者が使用する医療機器と分析し、記憶部に記憶してもよい。また、タグ設置部５は、施術画像に含まれる助手の手に近いか、又は助手の手に把持されていると画像解析される医療機器を、助手が使用する医療機器と分析し、記憶部に記憶してもよい。A preferred example of the
タグ設置部７の好ましい例は、施術動画に基づいて、施術動画の施術術式である実施施術術式を分析し、施術動画に実施施術の術式に関する識別情報を施術動画に付加することができるものである。すると、実施施術の術式に関する識別情報を付加した施術動画は、実施施術術式に関する施術術式名を用いて、施術動画を検索できるようなる。A preferred example of the
施術工程は、施術における各工程を意味する。施術工程の例は、展開（例：腰椎展開）、固定、スクリュー挿入、除圧、椎間板操作、及び閉創である。施術工程は、これらの例に限られず、各種手術や処置における様々な工程であって良い。A surgical procedure refers to each step in a surgical procedure. Examples of surgical procedures are expansion (e.g., lumbar expansion), fixation, screw insertion, decompression, disk manipulation, and wound closure. A surgical procedure is not limited to these examples, and may be various steps in various surgeries or procedures.
タグ設置部５は、例えば、施術動画（施術画像）に含まれる医療機器の種類に基づいて、施術工程を分析してもよい。タグ設置部５は、例えば、施術動画（施術画像）に含まれる医療機器の動きに基づいて、施術工程を分析してもよい。タグ設置部５は、例えば、施術動画（施術画像）に含まれる医療機器と施術対象部位の種類に基づいて、施術工程を分析してもよい。タグ設置部５は、例えば、施術動画（施術画像）に含まれる医療機器のうち、施術者が使用する医療機器と、助手が使用する医療機器に関する情報から、施術工程を分析してもよい。The
施術工程記憶部１５は、施術工程と、医療機器とを関連付けて記憶する。タグ設置部５は、記憶部から使用医療機器に関する情報を読み出し、施術工程記憶部１５から使用医療機器と関連付けて記憶されている施術工程を読み出せばよい。このように、タグ設置部５は、施術工程を分析するために必要な情報を記憶した施術工程記憶部１５から、施術工程を分析するために必要な情報を用いて、施術工程を読み出せばよい。例えば、施術工程記憶部１５が、施術者が使用する医療機器と、助手が使用する医療機器と関連して、施術工程を記憶しているとする。この場合、タグ設置部５は、記憶部から施術者が使用する医療機器と、助手が使用する医療機器とを読み出して、施術工程記憶部１５が、これらの情報と関連して記憶する施術工程を読み出す。読み出した施術工程は、適宜記憶部に記憶されてもよい。The treatment process memory unit 15 stores the treatment process in association with the medical equipment. The
表１は、施術工程記憶部を説明するための概念図である。表１に示されるように、施術工程記憶部１５は、施術工程と、医療機器と関連付けて記憶する。また、表１に示されるように、施術工程記憶部１５は、施術工程と、医療機器及び対象部位とを関連付けて記憶してもよい。このようにすることで、装置１は、医療機器に関する情報を用いて、施術工程記憶部１５から、実施施術工程を読み出すことができる。例えば、表１の例では、使用医療機器がＡ１、Ａ２、Ａ３及びＡ４の場合、実施施術工程として、Ａが読み出されてもよい。また、表１の例では、使用医療機器がＡ１、Ａ２、Ａ３及びＡ４であり、対象部位がＡ５の場合、実施施術工程として、Ａが読み出されてもよい。Table 1 is a conceptual diagram for explaining the treatment process storage unit. As shown in Table 1, the treatment process storage unit 15 stores the treatment process in association with the medical device. Also, as shown in Table 1, the treatment process storage unit 15 may store the treatment process in association with the medical device and the target site. In this way, the device 1 can read out the treatment process to be performed from the treatment process storage unit 15 using information about the medical device. For example, in the example of Table 1, if the medical devices used are A1, A2, A3, and A4, A may be read out as the treatment process to be performed. Also, in the example of Table 1, if the medical devices used are A1, A2, A3, and A4 and the target site is A5, A may be read out as the treatment process to be performed.
施術対象部位記憶部１７は、例えば、施術の際の対象部位と、その対象部位の画像とを関連付けて記憶したものである。タグ設置部５は、例えば、施術動画（施術画像）に含まれる画像と、施術対象部位記憶部１７に記憶された対象部位の画像とを照合することで、施術動画（施術画像）に含まれる施術対象部位を特定すればよい。施術対象部位の例は、大腿骨、鎖骨、頭蓋骨、大腸、小腸、及び目である。このような照合作業は、機械学習を用いることで、タグ設置部５が行うことができる。The treatment target
タグ設置部７の好ましい例は、施術動画に基づいて、施術動画の施術術式である実施施術術式を分析し、施術動画に実施術式に関するタグをさらに設けることができるものである。すると、タグを設けた施術動画は、実施施術工程に関する施術術式名を用いて、施術動画を検索できるようにできる。施術術式記憶部１９は、複数の施術工程と関連して施術術式を記憶してもよい。また、施術術式記憶部１９は、複数の施術工程及び複数の医療機器と関連して、施術術式を記憶してもよい。タグ設置部７は、施術術式記憶部１９から施術動画に関する施術工程及び複数の医療機器に関する情報を読み出して、施術術式記憶部１９と照合し、これらの施術工程や医療機器と関連して記憶されている施術術式を読み出せばよい。読み出した施術術式は、施術動画と関連して、記憶部に記憶されればよい。A preferred example of the
表２は、施術術式記憶部を説明するための概念図である。表２に示されるように、施術術式記憶部１９は、施術術式と、施術工程及び医療機器とを関連付けて記憶する。また、表２に示されるように、施術術式記憶部１９は、施術術式と、施術工程、医療機器及び対象部位とを関連付けて記憶してもよい。このようにすることで、装置１は、必要な情報を用いて、施術術式記憶部１９から、実施施術術式を読み出すことができる。例えば、表２の例では、施術工程がＢ１、Ｂ２、Ｂ３及びＢ４であり、使用医療機器がＢ５、Ｂ６、Ｂ７及びＢ８の場合、実施施術術式として、Ｂが読み出されてもよい。また、表２の例では、施術工程がＢ１、Ｂ２、Ｂ３及びＢ４であり、使用医療機器がＢ５、Ｂ６、Ｂ７及びＢ８であり、対象部位がＢ９の場合、実施施術術式として、Ｂが読み出されてもよい。Table 2 is a conceptual diagram for explaining the treatment technique storage unit. As shown in Table 2, the treatment
タグ設置部７の好ましい例は、施術動画における使用医療機器部分に、当該使用医療機器に関する情報を表示するためのリンク情報をさらに付加することができるものである。施術動画のタグ付け装置１は、例えば、記憶部に、医療機器と関連して、医療機器に関する説明文、説明画像、説明資料、ウェブサイトへのアクセス情報（ＵＲＬ）、購入情報を記憶する。そして、施術動画のタグ付け装置１は、施術動画の施術画像において、医療機器部分を把握する。タッチパネルや、マウスによる指示により、医療機器部分が支持された場合、施術動画のタグ付け装置１に、使用医療機器を指示する入力がなされる。すると、施術動画のタグ付け装置１は、記憶部から記憶された使用医療機器に関するリンク情報を読み出し、リンク情報と関連するデータを読み出したり、リンク情報と関連したウェブサイトへアクセスできるようにされる。すると、ユーザの表示部に、使用医療機器に関する情報が表示されることとなる。このようにすれば、例えば、施術動画を視認したユーザが、実際に使用された医療機器の情報を受け取ったり、すぐにその医療機器を購入したりできることとなる。A preferred example of the
施術動画のタグ付け装置１の好ましい例は、人特定部位除去部７をさらに有する。人特定部位７は、施術動画に含まれる患者又は医療従事者を特定する画像部位である人特定部位を分析し、施術動画に人特定部位が含まれている場合、人特定部位を視認できないように施術動画を加工するための要素である。人特定部位除去部７をさらに有するため、施術動画（施術画像）に、患者の顔、入れ墨、医療従事者の顔、ネームプレート、病院名、などが含まれている場合に、これをマスクしたり、モザイクをかけたりして、匿名性を担保することができる。このようにすれば、大量の動画を、匿名性を高めたうえで、データベース化できることとなる。人特定部位の例は、患者の顔、入れ墨、医療従事者の顔、ネームプレート、及び病院名である。A preferred example of the treatment video tagging device 1 further includes a person-specific
例えば、人特定部位除去部７は、過去の施術動画と、施術動画の人特定部位を特定した例、施術動画における人特定部位を視認できないように加工した例を教師データとして、学習モデルを構築し、機械学習する。そして、人特定部位除去部７は、機械学習により得られた学習モデルを用いて、入力された施術動画について、施術動画の人特定部位を特定し、施術動画における人特定部位を視認できないように加工すればよい。施術動画のタグ付け装置１は、加工後の施術動画を適宜記憶部に記憶すればよい。For example, the human specific
人特定部位記憶部２１は、上記した施術動画の人特定部位を特定するための学習モデルを記憶してもよい。また、人特定部位記憶部２１は、人特定部位に関する画像データを記憶してもよい。この場合、人特定部位除去部７は、入力された施術動画（施術画像）について、人特定部位記憶部２１に記憶された人特定部位に関する画像データと照合し、入力された施術動画（施術画像）に人特定部位に関する画像部分が含まれている場合、その部分を人特定部位として特定してもよい。そして、人特定部位除去部７は、施術動画（施術画像）に含まれる人特定部位に関する画像部分を、他社が視認できないように画像処理をすればよい。画像処理の例は、モザイクをかける、ブルワー（ぼやかし）処理をする、マスク画像を画像部分に上書きするというものである。The human specific
施術動画のタグ付け装置１は、タグ付けした施術動画について、実施施術術式、実施施術工程、使用医療機器、といった情報を含むデータベースを作成し、これらの情報により施術動画を検索可能にしてもよい。このようにすれば、使用医療機器などをインデックス化でき、容易に必要な施術動画を視聴できるようになる。The treatment video tagging device 1 may create a database containing information about the tagged treatment videos, such as the treatment procedure performed, the treatment steps performed, and the medical equipment used, and may make it possible to search for treatment videos using this information. In this way, the medical equipment used and other information can be indexed, making it easy to watch the required treatment video.
この明細書に記載される別の発明は、コンピュータを上記の施術動画のタグ付け装置として機能させるためのプログラムや、そのようなプログラムを記憶したコンピュータが読み取り可能な非一時的記録媒体に関する。記録媒体の例は、ハードディスク、ＣＤ、ＣＤ－ＲＯＭ、フロッピーディスク、ブルーレイディスク、ＵＳＢメモリ及びＳＤカードである。Another invention described in this specification relates to a program for causing a computer to function as the above-mentioned treatment video tagging device, and a non-transitory recording medium that stores such a program and is readable by the computer. Examples of recording media include a hard disk, a CD, a CD-ROM, a floppy disk, a Blu-ray disk, a USB memory, and an SD card.
コンピュータは、プロセッサと、プロセッサに連結されたメモリと、を備えていてもよい。そして、メモリが、命令（プログラム）を格納しており、命令は、プロセッサによって実行されると、コンピュータに、施術動画が入力され、施術動画に含まれる医療機器である使用医療機器を分析させ、使用医療機器に基づいて施術動画に使用医療機器に関するタグを設けさせる。また、プログラムは、コンピュータに、施術動画に基づいて、施術動画の施術工程である実施施術工程を分析しさせ、施術動画に実施施術工程に関するタグをさらに設けさせてもよい。さらに、プログラムは、コンピュータに、施術動画の施術術式である実施施術術式を分析させ、施術動画に実施術式に関する識別情報をさらに付加させてもよい。さらに、プログラムは、コンピュータに、施術動画に含まれる患者又は医療従事者を特定する画像部位である人特定部位を分析させ、施術動画に人特定部位が含まれている場合、人特定部位を視認できないように施術動画を加工させてもよい。The computer may include a processor and a memory connected to the processor. The memory stores instructions (programs), and when the instructions are executed by the processor, the computer inputs a treatment video, analyzes the medical equipment used, which is the medical equipment included in the treatment video, and sets a tag related to the medical equipment used in the treatment video based on the medical equipment used. The program may also cause the computer to analyze the performed treatment process, which is the treatment process of the treatment video, based on the treatment video, and further set a tag related to the performed treatment process in the treatment video. Furthermore, the program may cause the computer to analyze the performed treatment technique, which is the treatment technique in the treatment video, and further add identification information related to the performed technique to the treatment video. Furthermore, the program may cause the computer to analyze a person-specific part, which is an image part that identifies a patient or medical worker included in the treatment video, and, if a person-specific part is included in the treatment video, process the treatment video so that the person-specific part is not visible.
図２は、施術動画に対してタグ付けを行う際の例を示すフローチャートである。図中Ｓは、ステップ（工程）を意味する。Figure 2 is a flowchart showing an example of tagging a treatment video. In the figure, S stands for step (process).
動画入力工程（Ｓ１０１）
施術動画入力部３から施術動画のタグ付け装置１に施術動画が入力される。 Video input process (S101)
A treatment video is input from a treatment video input unit 3 to a treatment video tagging device 1.
使用医療機器分析工程（Ｓ１０２）
タグ設置部７は、施術動画に含まれる各施術画像について、医療機器に関する画像部分が含まれるか解析する。この際に、タグ設置部７は、医療機器に関して機械学習した学習モデルを参照してもよい。また、タグ設置部７は、医療機器に関する画像データを用いて、施術画像に医療機器に関する画像データが含まれるか否か解析することで、施術動画に含まれる医療機器の有無を分析してもよい。施術画像に、医療機器が含まれていないと解析した場合は、医療機器が存在しないという情報を施術画像とともに記憶部に記憶してもよい。また、タグ設置部７が、施術画像に、医療機器が含まれていると解析した場合は、施術画像（及び施術画像の施術動画における時間）とともに、使用医療機器の名称など、使用医療機器に関する情報を記憶部に記憶してもよい。 Medical device analysis process (S102)
The
使用医療機器に関するタグ付与工程（Ｓ１０３）
タグ設置部７が、施術動画に、あらたな医療機器が含まれたと判断した場合（施術画像に初めてある医療機器が含まれた場合）、その施術画像の放映時間などその施術画像の識別情報とともに、タグを設ければよい。具体的には、タグ設置部７が、その施術画像の識別情報とともにタグ関連させて、記憶部に記憶する。タグには、その使用医療機器に関する情報が関連して記憶されてもよい。このようにして、タグ設置部７が、タグを設けられた施術動画（「タグ付き施術動画」とよぶ）を得ることができる。 Tagging process for medical devices used (S103)
When the
実施施術工程分析工程（Ｓ１０４）
タグ設置部７は、施術動画に基づいて、施術動画の施術工程である実施施術工程を分析し、施術動画に実施施術工程に関するタグをさらに設ける。この際に、タグ設置部７は、施術工程に関して機械学習した学習モデルを参照してもよい。また、タグ設置部７は、施術動画（施術画像）に含まれる医療機器又は対象部位に関する情報を用いて、施術工程記憶部１５や施術対象部位記憶部１７に記憶された情報を参照して、施術工程を分析してもよい。 Performed treatment process analysis step (S104)
The
実施施術工程に関するタグ付与工程（Ｓ１０５）
タグ設置部７が、施術動画に、あらたな実施施術工程が含まれたと判断した場合（施術画像に初めてある実施施術工程が含まれた場合）、その施術画像の放映時間などその施術画像の識別情報とともに、タグを設ければよい。そのタグには、実施施術工程に関する情報が関連して記憶されてもよい。このようにして、タグ設置部７が、実施施術工程に関するタグを設けられた施術動画を得ることができる。 Tag assignment process for the performed treatment process (S105)
When the
実施施術術式分析工程（Ｓ１０６）
タグ設置部７が、施術動画に基づいて、施術動画の施術術式である実施施術術式を分析し、施術動画に実施施術の術式に関する識別情報を施術動画に付加する。この際に、タグ設置部７は、施術術式に関して機械学習した学習モデルを参照してもよい。また、タグ設置部７は、実施施術工程に関する情報を用いて、実施施術術式記憶部１９に実施施術工程と関連して記憶されている実施施術術式を読み出してもよい。 Performed treatment technique analysis process (S106)
The
実施施術術式情報付与工程（Ｓ１０７）
装置１（タグ設置部７）は、施術動画に関連して、実施施術の術式に関する識別情報を施術動画に付加し、記憶部に記憶してもよい。この実施施術の術式に関する識別情報も、検索可能な情報であるので、タグの一種として扱ってもよい。 Performed treatment technique information assignment step (S107)
The device 1 (tag installation unit 7) may add identification information related to the technique of the performed treatment to the treatment video in relation to the treatment video and store it in the storage unit. Since the identification information related to the technique of the performed treatment is also searchable information, it may be treated as a type of tag.
人特定部位判断工程（Ｓ１０８）
人特定部位除去部７は、機械学習により得られた学習モデルを用いて、入力された施術動画（施術画像）について、施術動画の人特定部位を特定する。人特定部位除去部７が、施術画像に人特定部位が含まれないと判断した場合、人特定部位除去を行わない。一方、人特定部位除去部７が、施術画像に人特定部位が含まれると判断した場合、人特定部位除去を行う。 Person specific part determination step (S108)
The person specific
人特定部位除去工程（Ｓ１０９）
人特定部位除去部７が、施術画像に人特定部位が含まれると判断した場合、施術画像における人特定部位を視認できないように施術画像を加工する。例えば、人特定部位除去部７が、人特定部位をマスク画像にする処理を行えばよい。このようにすれば、施術動画から人特定部位が視認できないように処理されることとなる。 Person specific part removal process (S109)
When the person specific
図３は、タグが付与された施術動画の例を示す概念図である。この例では、施術動画の所定のタイミングにおいてタグが表示されている。そして、そのタグをクリック等することで、タグが付された位置から施術動画を閲覧できるようにされている。タグと関連して、使用医療機器が表示されるようにしてもよい。図３の例では、施術工程ごとに代表となる施術画像がサルネイム表示（動画の下部に小さく表示）されている。Figure 3 is a conceptual diagram showing an example of a treatment video with tags. In this example, tags are displayed at specific times in the treatment video. By clicking on the tag, the treatment video can be viewed from the tagged position. The medical equipment used may be displayed in relation to the tag. In the example of Figure 3, a representative treatment image for each treatment process is displayed with the monkey's name (displayed small at the bottom of the video).
図４は、施術動画における医療機器部分に、医療機器に関する情報へアクセスするための情報が付与された例を示す概念図である。Figure 4 is a conceptual diagram showing an example in which information for accessing information about a medical device is added to the medical device portion of a treatment video.
この発明は、医療情報を提供する分野において利用されうる。This invention can be used in the field of providing medical information.
１ 施術動画のタグ付け装置
３ 施術動画入力部
５ タグ設置部
７ 人特定部位除去部
１１ 医療機器記憶部
１３ 手情報記憶部
１５ 施術工程記憶部
１７ 施術対象部位記憶部
１９ 実施施術術式記憶部
２１ 人特定部位記憶部
1 Treatment video tagging device 3 Treatment
Claims (7)
Translated fromJapanese前記施術動画に含まれる医療機器である使用医療機器を分析し、前記使用医療機器に基づいて前記施術動画に前記使用医療機器に関するタグを設けるタグ設置部と、
を有し、
前記タグを設けられた施術動画であるタグ付き施術動画は、前記タグが設けられた部分から頭出しできるようになる、
施術動画のタグ付け装置。 A treatment video input unit into which a treatment video is input;
A tag setting unit that analyzes a medical device used, which is a medical device included in the treatment video, and sets a tag related to the medical device used in the treatment video based on the medical device used;
having
The tagged treatment video, which is a treatment video with the tag, can be cue-captured from the part where the tag is provided.
A tagging device for treatment videos.
前記施術動画に含まれる患者又は医療従事者を特定する画像部位である人特定部位を分析し、前記施術動画に人特定部位が含まれている場合、前記人特定部位を視認できないように前記施術動画を加工する、人特定部位除去部をさらに有する、装置。 2. The apparatus of claim 1,
The device further includes a human-specific part removal unit that analyzes human-specific parts, which are image parts that identify patients or medical professionals included in the treatment video, and if the treatment video contains a human-specific part, processes the treatment video so that the human-specific part is not visible.
前記タグ設置部は、前記施術動画に基づいて、前記施術動画の施術工程である実施施術工程を分析し、前記施術動画に前記実施施術工程に関するタグをさらに設けることができる、
装置。 2. The apparatus of claim 1,
The tag setting unit can analyze the performed treatment process, which is the treatment process of the treatment video, based on the treatment video, and further provide a tag related to the performed treatment process to the treatment video.
Device.
前記タグ設置部は、前記施術動画に基づいて、前記施術動画の施術術式である実施施術術式を分析し、前記施術動画に前記実施術式に関する識別情報をさらに付加することができる、
装置。 2. The apparatus of claim 1,
The tag installation unit can analyze the performed treatment technique, which is the treatment technique of the treatment video, based on the treatment video, and further add identification information regarding the performed technique to the treatment video.
Device.
前記タグ設置部は、前記施術動画における前記使用医療機器部分に、当該使用医療機器に関する情報を表示するためのリンク情報をさらに付加することができる、
装置。 An apparatus according to any one of claims 1 to 4,
The tag setting unit can further add link information for displaying information about the medical equipment used to the medical equipment used portion in the treatment video.
Device.
施術動画が入力される施術動画入力部と、
前記施術動画に含まれる医療機器である使用医療機器を分析し、前記使用医療機器に基づいて前記施術動画に前記使用医療機器に関するタグを設けるタグ設置部と、
を有し、
前記タグを設けられた施術動画であるタグ付き施術動画は、前記タグが設けられた部分から頭出しできるようになる、
施術動画のタグ付け装置として機能させるためのプログラム。 Computer,
A treatment video input unit into which a treatment video is input;
A tag setting unit that analyzes a medical device used, which is a medical device included in the treatment video, and sets a tag related to the medical device used in the treatment video based on the medical device used;
having
The tagged treatment video, which is a treatment video with the tag, can be cue-captured from the part where the tag is provided.
A program that functions as a tagging device for treatment videos.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023078206AJP7403895B1 (en) | 2023-05-10 | 2023-05-10 | Treatment video tagging device |
| PCT/JP2024/016861WO2024232333A1 (en) | 2023-05-10 | 2024-05-02 | Tagging device for medical treatment video |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023078206AJP7403895B1 (en) | 2023-05-10 | 2023-05-10 | Treatment video tagging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7403895B1 JP7403895B1 (en) | 2023-12-25 |
| JP2024162572Atrue JP2024162572A (en) | 2024-11-21 |
Family
ID=89307941
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023078206AActiveJP7403895B1 (en) | 2023-05-10 | 2023-05-10 | Treatment video tagging device |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7403895B1 (en) |
| WO (1) | WO2024232333A1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009279193A (en)* | 2008-05-22 | 2009-12-03 | Fujifilm Corp | Medical apparatus management system |
| JP2009291308A (en)* | 2008-06-03 | 2009-12-17 | Fujifilm Corp | Medical device management system |
| JP2014178458A (en)* | 2013-03-14 | 2014-09-25 | Fujifilm Corp | Mobile display device for medical images |
| WO2020039593A1 (en)* | 2018-08-24 | 2020-02-27 | オリンパス株式会社 | Image record playback device and endoscopic system |
| JP2022520701A (en)* | 2019-02-21 | 2022-04-01 | シアター・インコーポレイテッド | Systems and methods for analysis of surgical videos |
| WO2023002661A1 (en)* | 2021-07-21 | 2023-01-26 | ソニーグループ株式会社 | Information processing system, information processing method, and program |
- 2023
- 2023-05-10JPJP2023078206Apatent/JP7403895B1/enactiveActive
- 2024
- 2024-05-02WOPCT/JP2024/016861patent/WO2024232333A1/enactivePending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009279193A (en)* | 2008-05-22 | 2009-12-03 | Fujifilm Corp | Medical apparatus management system |
| JP2009291308A (en)* | 2008-06-03 | 2009-12-17 | Fujifilm Corp | Medical device management system |
| JP2014178458A (en)* | 2013-03-14 | 2014-09-25 | Fujifilm Corp | Mobile display device for medical images |
| WO2020039593A1 (en)* | 2018-08-24 | 2020-02-27 | オリンパス株式会社 | Image record playback device and endoscopic system |
| JP2022520701A (en)* | 2019-02-21 | 2022-04-01 | シアター・インコーポレイテッド | Systems and methods for analysis of surgical videos |
| WO2023002661A1 (en)* | 2021-07-21 | 2023-01-26 | ソニーグループ株式会社 | Information processing system, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7403895B1 (en) | 2023-12-25 |
| WO2024232333A1 (en) | 2024-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Castner et al. | Scanpath comparison in medical image reading skills of dental students: distinguishing stages of expertise development | |
| Matl et al. | Vascular image registration techniques: A living review | |
| JP2020199304A (en) | Systems and methods for providing guidance for robotic medical procedure | |
| KR20190100011A (en) | Method and apparatus for providing surgical information using surgical video | |
| Gholinejad et al. | Surgical process modelling strategies: which method to choose for determining workflow? | |
| JP2010017519A (en) | Computer equipment method, computer program product, device and system, for making neuropsychiatric diagnosis | |
| CN111771244A (en) | Methods and procedures for providing feedback on surgical results | |
| Khan et al. | AI in surgical robotics: advancing precision and minimizing human error | |
| US20170004288A1 (en) | Interactive and multimedia medical report system and method thereof | |
| WO2017151904A1 (en) | Methods and systems for anatomical image registration | |
| Hosp et al. | States of confusion: eye and head tracking reveal surgeons’ confusion during arthroscopic surgery | |
| Novotny et al. | Transformative role of artificial intelligence in plastic and reconstructive surgery: innovations, applications and future directions | |
| JP7403895B1 (en) | Treatment video tagging device | |
| Casy et al. | “Stand-up straight!”: human pose estimation to evaluate postural skills during orthopedic surgery simulations | |
| Ivaschenko et al. | Focused visualization in surgery training and navigation | |
| Thakur et al. | Ultimate usability and user experience in electronic health records: designing user-friendly features for EHRs | |
| JP2025090940A (en) | Treatment video editing device | |
| JP7705729B2 (en) | Medical information processing equipment | |
| JP7164877B2 (en) | Information sharing system | |
| Mukwakungu et al. | A review on the impact of leadership in healthcare: South African context | |
| Li et al. | Computational modeling of human reasoning processes for interpretable visual knowledge: a case study with radiographers | |
| PL435642A1 (en) | System and method for automated monitoring of clinical trials and method of recording medical history | |
| Herrera et al. | Robotic Assisted Surgery: A Theoretical Approach to Perceived Workload and Non-verbal and Verbal Communication | |
| JP7752904B1 (en) | Diagnostic Support Device | |
| Neumuth et al. | Computer assisted acquisition of surgical process models with a sensors-driven ontology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20230601 | |
| A871 | Explanation of circumstances concerning accelerated examination | Free format text:JAPANESE INTERMEDIATE CODE: A871 Effective date:20230601 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20230712 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20230713 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20230926 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20230926 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20231010 | |
| A601 | Written request for extension of time | Free format text:JAPANESE INTERMEDIATE CODE: A601 Effective date:20231030 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20231206 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:7403895 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 |