Välikorvatulehduksen multimodaalinen mittaus- ja seuranta tekoälyn avullaMultimodal measurement and monitoring of otitis media using artificial intelligence
Keksinnön kohteena on välikorvatulehduksen indikoimisessa ja kliinisen tilan mit- taamisessa sekä paranemisprosessin seurannassa käytettävä menetelmä. Kek- sintö kohdistuu myös välikorvatulehduksen mittaus- ja seurantajärjestelyyn, järjes- — telyssä hyödynnettävään palvelimeen sekä mittauksessa ja seurannassa käytettä- vään laitteeseen ja tietokoneohjelmaan.The subject of the invention is a method used to indicate otitis media and measure the clinical condition and monitor the healing process. The invention is also directed to the measurement and monitoring arrangement of otitis media, the server used in the arrangement, and the device and computer program used in measurement and monitoring.
Äkillinen välikorvatulehdus (Otitis media acuta) on yleinen pienten lasten tauti.Acute otitis media (Otitis media acuta) is a common disease in young children.
Akuutti muoto voi myös kroonistua ja muodostaa välikorvaan ja korvalokerostoon pitkittyvää tulehdusprosessia (välikorvan ja korvalokeroston tulehdus) tai liima- = maista eritettä, jolloin puhutaan liimakorvasta. Välikorvatulehdusta sairastavat yleensä 1—3-vuotiaat. Yli 90 % niistä ilmenee alle 5-vuotiailla. Tärkeimmät altista- vat tekijät ovat hengitystieinfektiot. Limakalvojen turpoaminen ja kohonnut li- maneritys ahtauttavat korvatorvea (paineentasauskanava välikorvasta nieluun), mikä synnyttää nenänielussa oleville bakteereille ja viruksille otolliset olosuhteet — altistaen tulehdukselle välikorvassa. Korvatorvi voi mennä kokonaan lukkoon, jol- loin välikorvaonteloon syntyy painetta, mikä voi alentaa tärykalvon vapaata liikku- mista ja tuntua korvan ”lukkiutumiselta”. Sama tunne voi syntyä myös, jos korva- käytävään erittyy vahamaista vaikkua niin paljon, että se estää tärykalvon vapaan liikkumisen. Välikorvaan kehittyvä neste saattaa myös kertyä välikorvaan ja aiheut- — taa tärykalvon liikkeen vaikeutumista sekä lukkiutumisen tunnetta.The acute form can also become chronic and form a protracted inflammatory process in the middle ear and auricle (inflammation of the middle ear and auricle) or a glue-like discharge, in which case we speak of glue ear. Otitis media usually affects 1-3 year olds. More than 90% of them occur in children under 5 years of age. The most important predisposing factors are respiratory tract infections. Swelling of the mucous membranes and increased secretion of mucus narrows the cochlea (the pressure equalization channel from the middle ear to the pharynx), which creates favorable conditions for bacteria and viruses in the nasopharynx — exposing the middle ear to inflammation. The cochlea can become completely blocked, which creates pressure in the middle ear cavity, which can reduce the free movement of the eardrum and make the ear feel "locked". The same feeling can also occur if there is so much wax-like substance secreted into the ear canal that it prevents the eardrum from moving freely. Fluid that develops in the middle ear may also accumulate in the middle ear and cause — — difficulty in the movement of the eardrum and a feeling of being stuck.
Välikorvatulehduksen toteaminen kotioloissa perustuu oireisiin, jotka ovat yleensä hengitystieinfektioon liittyvä yskä, kuumeilu ja korvakipu. Kuume nousee vain nel- jäsosalla potilaista, korvakipua esiintyy n. 75 %:lla. Osalla myös kuulo heikkenee — akuutin tilanteen aikana. Isot lapset voivat kertoa kipuoireistaan mutta pienillä lap- = silla se on pääteltävä itkusta, levottomuudesta ja korvien koskettelusta. Välikorva- 5 tulehduksen toteaminen ei kotioloissa eikä edes lääkärin vastaanotolla ole help- = poa. Erityisen pulmallista kotioloissa on päättää tarvitaanko lääkärissäkäyntiä.Diagnosing an otitis media at home is based on symptoms, which are usually cough, fever and earache associated with a respiratory infection. Fever only occurs in a quarter of the patients, earache occurs in approx. 75%. Some also have hearing loss — during an acute situation. Big children can tell about their pain symptoms, but with small children it has to be inferred from crying, restlessness and touching the ears. Diagnosing an otitis media is not easy at home or even at the doctor's office. Deciding whether a visit to the doctor is necessary is especially difficult at home.
E 30 — Lääkärin vastaanotolla ns. kultainen standardi välikorvan tulehduksen tutkimisessa + on tärykalvon tilan tarkastaminen visuaalisesti suppilon kautta riittävällä valaistuk-E 30 — At the doctor's office, the so-called the gold standard for investigating otitis media + is to visually check the condition of the eardrum through a funnel with sufficient lighting
S sella sekä todentaa tärykalvon liikeherkkyys painetta tuottavan palkeen avulla hy- 2 vin valaistuna. Puhjennut tarykalvo ja sen ulkopuolelle vuotava erite ovat selvaS sella and verifies the movement sensitivity of the tympanic membrane with the help of a bellows that produces pressure under good lighting. A ruptured tarry membrane and secretion leaking outside it are Selva
N merkki välikorvatulehduksesta. Myös tärykalvon punoitus, sameus tai läpi kuultava — erite antavat kokeneelle lääkärille lisäviitteitä välikorvan tilanteen arvioimiseksi. Tä- rykalvon punoitus voi johtua muistakin syistä kuin välikorvantulehduksesta. Diag-N sign of otitis media. Redness of the eardrum, turbidity or a transparent discharge also give an experienced doctor additional indications for evaluating the condition of the middle ear. Redness of the tympanic membrane can be caused by reasons other than otitis media. Diag-
noosin tekeminen vaatii kokemusta ja lääkärin koulutusta Myös lääkärille monet korvakipupotilaat ovat jääneet rajatapauksiksi, jolloin herkkyys turhien antibiootti- kuurien määräämiseen on perinteisesti ollut liian korkea, kun potilaalla ei ole ollut kivun esiintymistä lukuun ottamatta juuri muita oireita eikä lääkärillä keinoja arvioi- da taudin etenemistä riittävin kontrollein. Välikorvatulehdus on vaatinut perintei- sesti jalkitarkastuksen muutaman viikon kuluttua sairauden alkamisesta. Tarkas- tuksen pois jättämisen on katsottu jättävän mahdollisuuden tulehduksen kroonis- tumiseen sekä esimerkiksi liimakorvan syntymiseen. — Välikorvatulehdukset aiheuttavat terveydenhuollolle suuria kustannuksia ja kuor- mittavat lääkäreiden vastaanottoja kohtuuttomasti etenkin hengitystieinfektioaalto- jen esiintyessä alueen päiväkodeissa ja kouluissa. On arvioitu, että suurin osa, jo- pa 70 %, nykyisistä antibioottikuureista voitaisiin jättää ottamatta, jos uskallettaisiin luottaa elimistön luonnolliseen paranemisprosessiin. Tämä edellyttäisi keinoa, jolla — välikorvatulehdukset pystyttäisiin tarkemmin diagnosoimaan ja niiden sairauspro- sessia seuraamaan myös kotioloissa. Yksin Suomessa tämä tarkoittaisi vuosita- solla kymmenien miljoonien euron säästöjä ja maailmanlaajuisena vastaava po- tentiaali on valtaisa. Säästöpotentiaali suurenee edelleen, kun otetaan huomioon lasten korvatulehduksista johtuvat työstä poissaolot ja lasten kuljettaminen lääkä- rin vastaanotolle.making a noos requires experience and a doctor's training. Many earache patients have also remained borderline cases for the doctor, in which case the sensitivity to prescribing unnecessary antibiotic courses has traditionally been too high, when the patient has had no symptoms other than the presence of pain and the doctor has no means to assess the progression of the disease with adequate controls . Otitis media has traditionally required a foot examination a few weeks after the onset of the disease. Omitting the inspection has been considered to leave the possibility of chronic inflammation and, for example, the occurrence of glue ear. — Otitis media cause high costs for health care and put an unreasonable burden on doctors' offices, especially when waves of respiratory infections occur in kindergartens and schools in the area. It has been estimated that the majority, up to 70%, of current antibiotic courses could be omitted if one dared to trust the body's natural healing process. This would require a means by which — middle ear infections could be more accurately diagnosed and their disease process monitored even at home. In Finland alone, this would mean annual savings of tens of millions of euros, and globally the corresponding potential is huge. The savings potential increases even further when taking into account children's absences from work due to ear infections and transporting children to the doctor's office.
Välikorvatulehduksen mittaamiseen ja seurantaan tarvitaan siten uusia menetel- miä ja välineitä, etenkin kotioloissa käytettäviksi sopivia.New methods and tools are therefore needed to measure and monitor otitis media, especially those suitable for use at home.
On korostettava että erilaiset itsediagnostiikan ja -hoidon menetelmät tulevat ole- maan megatrendi tulevaisuudessa, ehkä nopeammin kuin uskotaankaan. >It must be emphasized that different methods of self-diagnosis and treatment will be a megatrend in the future, perhaps faster than we think. >
N Välikorvatulehdusten mittaamiseen ja seurantaan käytetään erilaisia menetelmiä 3 joko yksinään tai yhdisteltynä. Näitä ovat visuaaliseen havaintoon perustuva oto-N Different methods 3 are used to measure and monitor otitis media, either alone or in combination. These include sampling based on visual perception
O 30 — skooppi sekä siihen kytketty ilmapalje (ilmanpainetta käyttävä tympanometri), ää-O 30 — scope and air bladder connected to it (tympanometer using air pressure),
I nirauta, akustiseen reflektometriaan perustuvat laitteet ja ultraäänikaikuihin perus- - tuvat laitteet. Lisäksi tunnetaan infrapunasäteilyyn perustuvia korvakuumemittarei- 3 ta.I nirauta, devices based on acoustic reflectometry and devices based on ultrasound echoes. In addition, ear fever meters 3 based on infrared radiation are known.
OO
> 35 — Esimerkkeinä optiseen videokameraan perustuvista otoskoopeista mainittakoon patentit US 5,363,839 ja US 5,919,130 sekä hakemukset US 20110152621, US 20150351620 ja US 20150065803A1. Esimerkkeinä ilmanpainetta käyttävistä tympanometrikeksinnöistä mainittakoon US 4,688,582 ja US5792072. Taajuus-> 35 — Examples of otoscopes based on an optical video camera include patents US 5,363,839 and US 5,919,130 and applications US 20110152621, US 20150351620 and US 20150065803A1. US 4,688,582 and US5792072 are examples of tympanometer inventions using air pressure. Frequency-
pyyhkäisyä käyttävää tympanometriaa on kuvailtu artikkelissa Michelle R. Petrak,Sweep tympanometry is described in Michelle R. Petrak,
PhD, CCC-A, Tympanometry Beyond 226 Hz - What's Different in Babies? (No- vember 18, 2002, audiologyonline.com)PhD, CCC-A, Tympanometry Beyond 226 Hz - What's Different in Babies? (November 18, 2002, audiologyonline.com)
Esimerkkeinä akustiseen reflektometriaan perustuvista keksinnöistä mainittakoon patentit US 4,601,295, US 5,699,809 ja US 5,594,174. Esimerkkeinä ultraääni- kaikuihin perustuvista keksinnöistä mainittakoon patentti US 7,632,232 ja hake- mus US 20170014053A1. Esimerkkinä korvakuumemittaripatenteista mainittakoonExamples of inventions based on acoustic reflectometry include patents US 4,601,295, US 5,699,809 and US 5,594,174. Examples of inventions based on ultrasound echoes include patent US 7,632,232 and application US 20170014053A1. Ear fever meter patents should be mentioned as an example
US 6,435,711. Esimerkkeinä edellisiä menetelmiä yhdistelevistä keksinnöistä mai- — nittakoon US 8,858,430, hakemus US 20030171655A1 ja US 6,126,614.US 6,435,711. As examples of inventions combining the previous methods, US 8,858,430, application US 20030171655A1 and US 6,126,614 should be mentioned.
Välikorvatulehduksen automaattista analyysiä otoskoopin kuvien perusteella on esitetty esimerkiksi patentissa US 9,445,713, jossa kuva tärykalvosta otetaan mo- biilipuhelimeen asennetulla lisälaitteella ja kuvan analysointi suoritetaan kuvantun- — nistustekniikalla mobiilipuhelimessa.Automatic analysis of otitis media based on otoscope images is presented, for example, in patent US 9,445,713, where an image of the eardrum is taken with an additional device installed on a mobile phone and the image analysis is performed using image recognition technology on the mobile phone.
Tekoäly ja pilvipalvelut ovat uusia teknologioita, jotka ovat tulossa lääketieteelli- seen diagnostiikkaan ja hoidon seurantaan. Niitä sovelletaan myös tässä keksin- nössä innovatiivisella tavalla, koska tähänastiset järjestelyt eivät ole ratkaisseet — edellä esitettyä ongelmaa kotona tapahtuvassa välikorvatulehduksen mittaamises- sa ja seurannassa.Artificial intelligence and cloud services are new technologies that are entering medical diagnostics and treatment monitoring. They are also applied in this invention in an innovative way, because the arrangements so far have not solved — the problem presented above in the measurement and monitoring of otitis media at home.
Keksinnön tavoitteena on esittää menetelmä ja järjestely, jossa yhdistetään inno- vatiivinen datan multimodaalinen mittaaminen ja kerääminen potilaiden välikorva- — tulehduksista sekä tekoälyä soveltava oppiva järjestelmä, jossa mittausdatasta voidaan arvioida välikorvatulehduksen tilaa käyttämällä referenssidatana paitsi po- > tilaan omaa mittaus/analysointi-historiaa myös muista samankaltaisista potilasta-The aim of the invention is to present a method and arrangement that combines innovative multimodal measurement and collection of data on patients' otitis media and a learning system applying artificial intelligence, where the state of otitis media can be assessed from the measurement data using as reference data not only the patient's own measurement/analysis history but also other similar patients-
N pauksista tallennettua mittaus/analysointi-historiaa. =Measurement/analysis history recorded from N pauses. =
O 30 — Keksinnön mukaiselle välikorvatulehduksen mittaus- ja seurantamenetelmälle onO 30 — For the measurement and monitoring method of otitis media according to the invention is
I tunnusomaista, ettå menetelmässä mitataan korvakäytävän kautta taudin välikor- - vassa ja/tai tärykalvolla aiheuttamia muutoksia multimodaalisesti akustisilla (myös 3 ultraäänellä), optisilla, elektronisilla ja/tai kemiallisilla sensoreilla ja että mittaustu- o loksia käsitellään tietoverkossa toimivalla oppivalla tekoälyllä siten, että niitä verra- > 35 — taan samanlaisilta potilailta kerätyn vertailuaineiston arvoihin ja että vertailuaineis- toa kartutetaan tallentamalla siihen uusia mittaustuloksista lääkärin tai muun asi- antuntijatahon määrittelemän diagnoosin kera.I feature that the method measures changes caused by the disease in the middle ear and/or eardrum through the ear canal using multimodal acoustic (including 3 ultrasound), optical, electronic and/or chemical sensors and that the measurement results are processed by a learning artificial intelligence operating in a data network so that they > 35 — is compared to the values of reference material collected from similar patients and that the reference material is increased by storing new measurement results in it with a diagnosis defined by a doctor or other expert.
Keksinnön tavoitteet saavutetaan välikorvatulehduksen mittaus- ja seurantajärjes- telyllä, jossa on — välineet akustisten signaalien ja/tai ultraäänen lähettämiseen korvaan ja kaikujen vastaanottamiseen ja/tai — välineitä tärykalvon optiseen kuvaamiseen ja värianalyysiin, tärykalvon lämpöti- lan mittaamiseen, tärykalvon eritteiden kemialliseen määrittelyyn ja/tai tärykalvon liikkuvuuden mittaamiseen ilmanpainepulssin avulla tai akusto-optisesti strobo- skooppikuvauksella, — välineet mittaustulosten digitointiin, pakkaamiseen ja lähettämiseen tietoverk- — koon, — välineet mittaustulosten tallentamiseen ja prosessointiin tietoverkossa tekoälyllä, joka vertailee mittaustuloksia isosta potilasjoukosta kerättyyn vertailuaineistoon, ja etsii mittaustuloksista ja niiden muutoksista samankaltaisuuksia ja erilaisuuksia ja päättelee niiden perusteella taudin tilan, —— välineet edellä mainitun oppivan tekoälyn toiminnan parantamiseen tallentamalla vertailuaineistoon uusia mittaustuloksia varustettuna lääkärin tai muun asiantunti- jatahon määrittelemällä diagnoosilla, ja — välineet taudin tilaa tai etenemistä kuvaavien tulosten esittämiseen mobiililait- teella.The objectives of the invention are achieved with an otitis media measurement and monitoring system that has — means for sending acoustic signals and/or ultrasound to the ear and receiving echoes and/or — means for optical imaging and color analysis of the eardrum, measuring the temperature of the eardrum, chemical determination of eardrum secretions and/or for measuring the tympanic membrane mobility using air pressure pulses or acousto-optical stroboscopic imaging, — means for digitizing, compressing and sending the measurement results to a data network, — means for storing and processing the measurement results in the data network with artificial intelligence, which compares the measurement results with reference material collected from a large group of patients, and looks for similarities in the measurement results and their changes and differences and based on them deduces the state of the disease, —— means for improving the functioning of the aforementioned learning artificial intelligence by storing new measurement results in the reference material with a diagnosis defined by a doctor or other expert, and — means for presenting the results describing the state or progression of the disease on a mobile device.
Keksinnön mukaiselle palvelimelle, jota hyödynnetään välikorvatulehduksen mit- taamisessa ja seurannassa, on tunnusomaista, että palvelin käsittää: — ohjelmakoodin akustiseen reflektometriaan perustuvien signaalien lähettämiseen käyttäjän mobiililaitteelle ja vastaanottamiseen käyttäjän mobiililaitteelta, —ohjelmakoodit muiden korvatutkimuksissa käytettävien laitteiden mittaustulosten vastaanottamiseen, > — ohjelmakoodin mittaustulosten tallentamiseen ja prosessointiin sellaisen tekoäly-The server according to the invention, which is utilized in the measurement and monitoring of otitis media, is characterized by the fact that the server comprises: — program code for sending and receiving signals based on acoustic reflectometry to and from the user's mobile device, — program codes for receiving the measurement results of other devices used in ear examinations, > — program code for storing and processing the measurement results such an artificial intelligence
N yksikön ja sellaisten algoritmien avulla, jotka vertailevat mittaustuloksia isosta poti- 3 lasjoukosta kerättyyn vertailuaineistoon, ja etsivät mittaustuloksista ja niiden muu-With the help of N units and algorithms that compare the measurement results to the reference material collected from a large group of 3 patients, and search the measurement results and their other
O 30 —toksista samankaltaisuuksia ja erilaisuuksia ja pystyvät niiden perusteella päätte-O 30 —identify similarities and differences and be able to draw conclusions based on them
I lemään taudin tilan, - — ohjelmakoodin edellä mainitun oppivan tekoäly-yksikön ja algoritmien paranta- 3 miseen tallentamalla vertailuaineistoon uusia mittaustuloksia varustettuna lääkärin o tai muun asiantuntijatahon määrittelemällä diagnoosilla, ja > 35 — ohjelmakoodin taudin tilaa tai etenemistä kuvaavien tulosten lähettämiseen esi- tettäväksi mobiililaitteella.I to improve the state of the disease, - — the above-mentioned learning artificial intelligence unit and algorithms of the program code by storing new measurement results in the reference material with a diagnosis defined by a doctor or other expert, and > 35 — the program code to send the results describing the state or progression of the disease to be displayed on a mobile device.
Lisäksi keksinnön mukaiselle järjestelylle ja palvelimelle on tunnusomaista se, että potilaista tallennettavat tiedot tallennetaan kahteen erilliseen tietokantaan: 1) poti- lastietokantaan, josta potilasta koskevat tunnistettavissa olevat tiedot voidaan hel- posti tietoturvamääräysten mukaisesti ja potilaan niin vaatiessa poistaa tai siirtää 5 — potilaan tai hänen uskotun asiainhoitajansa vaatimaan kohteeseen, ja 2) anonyy- miin tietokantaan, johon tallennetaan tekoäly-yksikön opettamisessa tarvittavat tiedot, joista tunnistamiseen liittyvät tiedot on määräysten mukaisesti poistettu.In addition, the arrangement and the server according to the invention are characterized by the fact that the information stored about patients is stored in two separate databases: 1) the patient database, from which identifiable information about the patient can be easily deleted or transferred in accordance with data security regulations and if the patient so requests 5 — the patient or his trusted to the destination required by their case manager, and 2) to an anonymous database, where the information necessary for teaching the artificial intelligence unit is stored, from which information related to identification has been removed in accordance with the regulations.
Keksinnön eräitä edullisia suoritusmuotoja on esitetty epäitsenäisissä patenttivaa- — timuksissa. Mainittakoon, että tekoälyn kykyä määritellä taudin tilaa tai sen etene- mistä voidaan parantaa myös ilman lääkärin tai muun asiantuntijatahon määritte- lemää diagnoosiakin siten, että potilaiden tilaa seurataan keräämällä dataa käyttä- jien myöhemmistä mittauksista ja arvioimalla taudin tilan muutoksista, kuinka hyvin arvio osui oikeaan ja hienosäätämällä algoritmeja jälkikäteen niin, että arvio olisi osunut vielä paremmin. Näin tekoäly-yksikkö voi oppia ilman määriteltyä diag- noosiakin, vaikkakin viiveellä.Some advantageous embodiments of the invention are presented in independent patent claims. It should be mentioned that the ability of artificial intelligence to define the state of the disease or its progression can be improved even without a diagnosis defined by a doctor or other expert, so that the patients' condition is monitored by collecting data from the users' subsequent measurements and evaluating the changes in the disease state, how well the assessment was correct and by fine-tuning the algorithms afterwards so that the estimate would have hit even better. In this way, the artificial intelligence unit can learn even without a defined diagnosis, albeit with a delay.
Keksinnön etuna on se, että välikorvantulehdusta voidaan arvioida ja seurata koti- oloissa mobiililaitteella, johon liitetään pienikokoinen mittapää ja jota on kohtuulli- sen helppo kenen tahansa oppia käyttämään. Kuitenkin keksinnön mukainen op- piva tekoälyjärjestelmä mahdollistaa monissa tapauksissa luotettavan diagnoosin tekemisen ja tilanteen luokittelun ainakin sen suhteen tarvitaanko lääkärissä käyn- tiä. Järjestely antaa myöskin mahdollisuuden käyttää vaivattomasti etälääkäripal- velua lisäarviointia vaativissa tapauksissa.The advantage of the invention is that otitis media can be evaluated and monitored at home with a mobile device, which is connected to a small measuring head and which is reasonably easy for anyone to learn to use. However, the learning artificial intelligence system according to the invention makes it possible in many cases to make a reliable diagnosis and to classify the situation, at least in terms of whether a visit to the doctor is necessary. The arrangement also gives the opportunity to easily use remote medical services in cases that require further evaluation.
Lisäksi keksinnön etuna on se, että sen antama tautitilan vakavuuden määrittely > tarkentuu automaattisesti sitä mukaa, kun suoritettujen mittausten määrä kasvaa,In addition, the advantage of the invention is that the definition of the severity of the disease state it provides > becomes more precise automatically as the number of performed measurements increases,
N etenkin sellaisten, joihin lääkäri tai muu asiantuntijataho tekee määrittelynsä ja an- 3 taa hoito-ohjeensa.N especially those for which a doctor or other expert makes his definition and gives his treatment instructions.
O 30Oh 30
I Edelleen keksinnön etuna on se, että lääkärissäkäyntien määrä ja antibioottihoito- - jen tarve laskee, mitkä ovat merkittäviä kansantaloudellisia ja hoidollisia etuja. 3 o Seuraavassa keksintöä selostetaan yksityiskohtaisesti. Selostuksessa viitataan > 35 — oheisiin piirustuksiin, joissa kuva 1a — esittää keksinnön erään suoritusmuodon mukaisen laitejärjestelyn vali- korvatulehduksen mittaamisesta ja seurannasta,I Another advantage of the invention is that the number of visits to the doctor and the need for antibiotic treatments decreases, which are significant national economic and therapeutic benefits. 3 o In the following, the invention is explained in detail. The description refers to > 35 — the attached drawings, where figure 1a — shows a device arrangement according to one embodiment of the invention for measuring and monitoring otitis media,
kuva 1b — esittää esimerkinomaisesti vaiheittain keksinnönmukaisessa mittaus- ja seurantamenetelmässä suoritettavat päätoiminnot, kuva 2a esittää keksinnön erään suoritusmuodon mukaisen välikorvatulehdus- mittarin mittapään rakennetta, kuva2b € esittää esimerkinomaisesti vaiheittain keksinnönmukaisessa mittapaas- sä mittaustapahtuman aikana suoritettavat toiminnot, kuva 2c — esittää esimerkinomaisesti akusto-optiseen stroboskooppimittaukseen soveltuvan mittapään toimintaperiaatetta, kuva 3 — esittää keksinnön mukaisen välikorvatulehduksen mittaus- ja seuranta- järjestelyn mobiililaitteessa toimivan käyttöliittymän eri toimintavaiheita, kuva 4 — esittää keksinnön mukaisen välikorvatulehduksen mittausjärjestelyä etäällä hyödyntävän lääkärin käyttöliittymää ja käyttöliittymässä suoritet- tavia toimintoja, ja kuva 5 — esittää esimerkinomaisesti vaiheittain keksinnönmukaisessa mittaus- ja seurantajärjestelyssä tekoälyn opettamisessa ja tietokannoissa suoritet- tavia toimintoja.figure 1b — shows, by way of example, the main functions performed step by step in the measurement and monitoring method according to the invention, figure 2a shows the structure of the measuring head of an otitis meter according to one embodiment of the invention, figure 2b € shows, by way of example, the functions performed step by step during the measuring event in the measuring method according to the invention, figure 2c — shows, by way of example, an acousto-optic stroboscope measurement the operating principle of a suitable measuring head, figure 3 — shows the various operating steps of the user interface of the otitis media measurement and monitoring arrangement according to the invention on a mobile device, figure 4 — shows the user interface of a doctor remotely using the otitis media measurement arrangement according to the invention and the functions performed in the user interface, and figure 5 — shows, as an example, step by step in the method according to the invention activities performed in the measurement and monitoring arrangement in artificial intelligence teaching and databases.
Seuraavassa selityksessä olevat suoritusmuodot ovat esimerkinomaisia ja alan ammattilainen voi toteuttaa keksinnön perusajatuksen myös jollain muulla kuin se- lityksessä kuvatulla tavalla. Vaikka selityksessä voidaan viitata erääseen suori- —tusmuotoon tai suoritusmuotoihin useissa paikoissa, niin tämä ei merkitse sitä, että viittaus kohdistuisi vain yhteen kuvattuun suoritusmuotoon, tai että kuvattu piirre o olisi käyttökelpoinen vain yhdessä kuvatussa suoritusmuodossa. Kahden tai use- > amman suoritusmuodon yksittäiset piirteet voidaan yhdistää ja näin aikaansaada x uusia keksinnön suoritusmuotoja. oO 25 > Kuva 1a esittää karkeasti keksinnön mukaista mittausjärjestelyä, joka käsittää in- = ternetin 1 pilvijärjestelmässä 10 sijaitsevat oppivan tekoäly-yksikön 11 ja tietokan- 3 tayksikön 15, potilaan 2 korvaan työnnettävän mittapään 20, käyttäjän 3 mobii-The embodiments in the following explanation are exemplary, and a person skilled in the art can also implement the basic idea of the invention in a way other than that described in the explanation. Even though the explanation may refer to a certain embodiment or embodiments in several places, this does not mean that the reference is directed to only one described embodiment, or that the described feature o is usable only in one described embodiment. The individual features of two or more > Amma embodiments can be combined and thus create x new embodiments of the invention. oO 25 > Figure 1a roughly shows the measurement arrangement according to the invention, which comprises the learning artificial intelligence unit 11 and the database unit 15 located in the cloud system 10 of the internet 1, the measuring head 20 inserted into the patient 2's ear, the user 3's mobile
S lialustalla 30 toimivan käyttöliittymän 31 avulla käytettävän sovelluksen 32 ja etääl-The application 32 and the remote
D 30 la toimivan lääkärin 4 mobiilialustalla 40 toimivan käyttöliittymän 41 avulla käytet-With the help of the user interface 41 working on the mobile platform 40 of the doctor 4 operating D 30 la, you use
N tävän sovelluksen 42. Pilvijärjestelmässä 10 sijaitseva tekoäly-yksikkö 11 käsittää edullisesti mittausdataa käsittelevän tekoälyprosessorin 12 ja oppivia laskenta- algoritmeja generoivan algoritmigeneraattorin 13. Tietokantayksikkö 15 on jaettu kahteen osioon: potilaiden personoituja tietoja käsitellään potilastietokannassa 16 ja kaikkien (tai mahdollisimman monien) potilaiden personoimattomia tietoja ano- nyymitietokannassa 17. —Keksinnön mukaisen mittausjärjestelyn käyttöä on esimerkinomaisesti hahmoteltu kuvassa 1b. Vaiheessa 101 mittapää liitetään mobiililaitteeseen 30 joko langalli- sesti kuuloke- tai yleisliitäntään tai langattomasti esimerkiksi bluetooth- tai NFC- yhteydellä. Vaiheessa 102 mobiililaitteen 30 käyttöliittymässä 31 avataan keksin- nönmukaista toimintoa suorittava sovellus 32 ja aktivoidaan toimintaan. Vaiheessa 103 sovellus suorittaa mittausjärjestelyn kalibroinnin, ellei muistista löydy mainin- taa, että se on jo suoritettu tälle mittapää-mobiililaite-yhdistelmälle, eikä kalibroin- nista ole kulunut määriteltyä ajanjaksoa pitempää aikaa. Vaiheessa 104 käyttäjä asettelee mittapään kärjen potilaan vasemman (tai oikean) korvakäytävän suulle ja vaiheessa 105 klikkaa vasemman korvan käynnistysmerkkiä mobiililaitteen 30 — käyttöliittymässä 31. Vaiheessa 106 käyttäjä odottaa, kunnes mittapää 20 on mo- biililaitteen 30 sovelluksen 32 ohjaamana suorittanut mittaustapahtuman ja sovel- lus 32 on vastaanottanut mittausdatan. Tarvittaessa vaiheen 107 kautta käyttäjä seuraavaksi palaa takaisin vaiheeseen 104 ja suorittaa mittaustapahtuman vaiheet 104,105 ja 106 myös oikealle (tai vastaavasti vasemmalle) korvalle. Vaiheessa 108 käyttäjä saa pilvijärjestelmässä 10 automaattisesti prosessoidun raportin mo- biililaitteen 30 käyttöliittymään 31, josta hän näkee erikseen vasemman ja oikean korvan kunnon sekä numeroarvona (esimerkiksi asteikolla O — 100, jossa pienet arvot tarkoittavat sairasta ja suuret arvot tervettä korvaa) että värikoodina (esimer- kiksi väreillä vihreä-keltainen-punainen, jossa vihreä korvalehden kuva tarkoittaa — tervettä ja punainen sairasta korvaa ja keltainen on rajatapaus). Seuraavaksi 109 käyttäjä valitsee jatkon saamansa raportin perusteella. Mikäli raportti näyttää vih- > reää, käyttäjä lopettaa vaiheessa 110 mittaustapahtuman ja tiedot tallentuvat sekäThe artificial intelligence unit 11 located in the cloud system 10 preferably comprises an artificial intelligence processor 12 that processes measurement data and an algorithm generator 13 that generates learning calculation algorithms. The database unit 15 is divided into two sections: the personalized data of the patients is processed in the patient database 16 and the non-personalized data of all (or as many as possible) patients in the anonymous database 17. —The use of the measurement arrangement according to the invention is outlined by way of example in figure 1b. In step 101, the measuring head is connected to the mobile device 30 either wired to the headphone or universal connection, or wirelessly, for example, with a bluetooth or NFC connection. In step 102, the application 32 performing the function according to the invention is opened in the user interface 31 of the mobile device 30 and activated. In step 103, the application performs the calibration of the measurement arrangement, unless there is no mention in the memory that it has already been performed for this measuring head-mobile device combination, and no longer than a defined period of time has passed since the calibration. In step 104, the user places the tip of the probe at the mouth of the patient's left (or right) ear canal and in step 105 clicks on the start symbol of the left ear in the user interface 31 of the mobile device 30. In step 106, the user waits until the probe 20 has completed the measurement event under the control of the application 32 of the mobile device 30 and the application 32 has received measurement data. If necessary, via step 107, the user next returns to step 104 and performs steps 104, 105 and 106 of the measurement event also for the right (or left) ear. In step 108, the user receives an automatically processed report in the cloud system 10 to the user interface 31 of the mobile device 30, from which he can see the condition of the left and right ear separately, both as a numerical value (for example on a scale of O — 100, where small values mean a sick ear and large values a healthy ear) and as a color code (for example biscuit with the colors green-yellow-red, where the green image of the earlobe means — a healthy and red a sick ear and yellow is a borderline case). Next, 109 users choose to continue based on the report they received. If the report shows green, the user ends the measurement event in step 110 and the data is saved as well
N potilastietokantaan 16 että anonyymitietokantaan 17. Vaiheessa 111 käyttäjä 3 ot- 3 taa yhteyden hoitavaan lääkäriin 4, jos raportti on antanut siihen aihetta (punai-N to the patient database 16 and to the anonymous database 17. In step 111, user 3 contacts the attending physician 4, if the report has given reason to do so (red-
O 30 nen). Vaiheessa 120 etäällä toimiva lääkäri 4 hakee potilastietokannasta 16 poti-O 30 nen). In step 120, remote doctor 4 searches the patient database for 16 patients
I laan 2 tiedot ja mittausraportit omassa mobiililaitteessaan 40 toimivan sovelluksen - 42 avulla käyttöliittymälleen 41 ja tekee johtopäätökset sekä vaiheessa 121 ryhtyy 3 tarvittaviin toimenpiteisiin, joita ovat esimerkiksi potilaan kutsuminen vastaanotolle, o lääkemääräyksen ja ohjeiden antaminen tai käyttäjän rauhoittaminen ”ei vakavaa” > 35 — -viestillä. Vaiheessa 122 lääkäri lähettää anonyymitietokantaan 17 tiedot taudin laadusta, tilasta ja syistä sekä mahdollisesta antibioottikuurista ja muista hoitotoi- menpiteistä, joiden perusteella vaiheessa 123 tekoäly-yksikön 11 algoritmi-The data and measurement reports of I department 2 on its own mobile device 40 with the help of an application - 42 to its user interface 41 and draws conclusions and in step 121 takes 3 the necessary measures, such as calling the patient to the reception, o giving a prescription and instructions or reassuring the user "not serious" > 35 — - with a message. In step 122, the doctor sends to the anonymous database 17 information about the quality, status and causes of the disease, as well as possible antibiotic courses and other treatment measures, based on which in step 123 the algorithm of the artificial intelligence unit 11
generaattori 13 tarkentaa tekoälyprosessorin 12 käyttämiä algoritmeja. Tämän jäl- keen vaiheessa 124 tapahtuma päättyy myös lääkärin osalta.the generator 13 refines the algorithms used by the artificial intelligence processor 12. After this, in step 124, the event also ends for the doctor.
Eräässä keksinnön edistyneessä suoritusmuodossa tekoäly-yksikkö 11 lähettää asetetun ajan (esimerkiksi 4 — 6 viikon) kuluttua) käyttäjän mobiililaitteeseen 30 viestin, jossa pyydetään mittaamaan potilaan korvat vielä uudelleen. Viestissä ky- sytään tietoja myös potilaan tervehtymisen edistymisestä, mahdollisista antibiootti- kuureista ja muista hoitotoimenpiteistä. Tekoäly-yksikkö 11 liittää nämä tiedot poti- lastietokantaan 16 käytettäväksi opetusdatana ko. potilaan henkilökohtaisesti rää- — tälöityjen algoritmien tarkentamiseen mutta myös anonymisoituna opetusdatana anonyymitietokantaan 17 käytettäväksi yleisten algoritmien tarkentamiseen algo- ritmigeneraattorissa 13.In an advanced embodiment of the invention, the artificial intelligence unit 11 sends a message to the user's mobile device 30 after a set time (for example 4 to 6 weeks) asking to measure the patient's ears again. The message also asks for information on the progress of the patient's recovery, possible antibiotic courses and other treatment procedures. The artificial intelligence unit 11 connects this information to the patient database 16 for use as teaching data. for refining algorithms determined personally by the patient, but also as anonymized teaching data to the anonymous database 17 for use in refining general algorithms in the algorithm generator 13.
Kuva 2a esittää kaaviomaisesti keksinnön mukaisessa järjestelyssä käytettävää — mittapäätä 20. Mittapää liitetään mobiililaitteeseen 30 joko kaapelilla 21 tai langat- tomasti bluetooth-linkillä, NFC-linkillä tai muulla langattomalla yhteydellä. Elektro- niikkapaketti 22 sisältää kaiken mittapään 20 tarvitseman elektroniikan ja se toimii myös käyttötehon jakajana eri sensoriratkaisuille. Käyttötehon tarvitsema energia tulee joko kaapelia 21 pitkin mobiililaitteelta tai mittapäähän 20 sijoitettavasta akusta, jota ei ole piirretty erikseen kuvaan näkyviin ja jonka lataaminen tapahtuu tunnetuilla tekniikoilla.Figure 2a schematically shows the measuring head 20 used in the arrangement according to the invention. The measuring head is connected to the mobile device 30 either with a cable 21 or wirelessly with a bluetooth link, an NFC link or another wireless connection. The electronics package 22 contains all the electronics needed by the measuring head 20 and it also functions as a power distributor for different sensor solutions. The energy needed for the operating power comes either from the mobile device along the cable 21 or from the battery placed in the measuring head 20, which is not drawn separately in the picture and which is charged using known techniques.
Kaiutin 23 tarvitaan akustisen reflektometrin heräteäänen synnyttämiseen, mikro- foni 24 korvasta heijastuvien kaikuäänien vastaanottamiseen. Kammio 25 mitoite- — taan reflektometriamittauksen vaatimalla mitoituksella, jossa kammio 25 toimii yh- dessä soviteputken 26, korvakäytävän 27 ja välikorvan 28 kanssa resonaattorina, > jossa kaiuttimesta 23 lähtevät eri taajuiset ääniherätteet heijastuvat akustiikan la-Loudspeaker 23 is needed to generate the excitation sound of the acoustic reflectometer, microphone 24 to receive echo sounds reflected from the ear. The chamber 25 is dimensioned with the dimensioning required by the reflectometry measurement, where the chamber 25 works together with the adapter tube 26, the ear canal 27 and the middle ear 28 as a resonator, > where the sound stimuli of different frequencies emanating from the speaker 23 are reflected in the acoustic la-
N kien mukaisesti takaisin tärykalvosta 29 ja välikorvan 27 takapinnoista. Heijastei- 3 den keskinäiset paikat ja voimakkuudet riippuvat paitsi korvan yksilöllisestä raken-According to numbers, back from the tympanic membrane 29 and the back surfaces of the middle ear 27. The mutual positions and intensities of the 3 reflections depend not only on the ear's individual structure
Oo 30 — teesta myös tärykalvon 29 vapaudesta liikkua. Jos tärykalvo on tulehtunut ja/tai josOo 30 — also the freedom of movement of the tympanic membrane 29. If the eardrum is inflamed and/or if
I sen sisäpinnalla on limaa, ovat nämä heijasteet erilaisia kuin terveen, vapaasti liik- - kuvan, tärykalvon tapauksessa. Heijastuminen riippuu myös ääniaaltojen taajuu- 3 desta, joten mittaus kannattaa tehda useilla eri taajuuksilla.If there is mucus on its inner surface, these reflections are different than in the case of a healthy, freely moving, tympanic membrane. The reflection also depends on the frequency of the sound waves, so the measurement should be done at several different frequencies.
OO
> 35 — Kuvan 2a mittapää 20 käsittää myös muita korvan tutkimiseen soveltuvia sensorei- ta. Pienikokoinen videokamera 201 tuottaa kuvaa tärykalvosta pienikokoisen edul- lisesti kameran objektiivin ympärille kiertyvän valonlähteen 202 valaisemana. Va- laisu voidaan vaihtoehtoisesti viedä lähemmäksi tärykalvoa sijoittamalla valoläh-> 35 — The measuring head 20 of Figure 2a also includes other sensors suitable for examining the ear. A small-sized video camera 201 produces an image of the tympanic membrane, illuminated by a small-sized light source 202, preferably rotating around the camera lens. Alternatively, the lighting can be brought closer to the eardrum by placing the light source
teet 202 soviteputken 26 suulle tai viemällä valo valokuidulla korvakäytävään 27 saakka. Kameran kuvakennolla 203 voi olla yksi tai useampi infrapunaherkkä sen- sori tärykalvon lämpötilan mittaamiseen tai mittapään kärjen läheisyydessä voi olla erillinen infrapunasensori 204 tai useampia lämpötilan mittaamista varten. Myös muita sensoreita voidaan mittapään sisälle lisätä, esimerkkinä painesensori, jos mittapäähän yhdistetään tympanometrissa käytettävä ilmanpainepulssin syöttävä lisälaite.you make 202 fitting tube 26 for the mouth or by taking the light up to the ear canal 27 with a fiber optic. The image sensor 203 of the camera can have one or more infrared-sensitive sensors for measuring the temperature of the eardrum, or there can be a separate infrared sensor 204 or more near the tip of the measuring head for measuring the temperature. Other sensors can also be added inside the measuring head, for example a pressure sensor, if an additional device used in a tympanometer that supplies air pressure pulses is connected to the measuring head.
Kuva 2b esittää keksinnönmukaisessa mittapäässä mittaustapahtuman aikana — suoritettavat toiminnot vaiheittain. Akustinen reflektometriamittaus käynnistyy vai- heessa 221. Tätä ennen mittapää 20 on liitetty mobiililaitteeseen 30, tarvittaessa on suoritettu kalibrointi 103, jossa seuraavassa kuvattu mittaus (vaiheet 222-225) on suoritettu mittapään 20 soviteputki 26 ilmassa (siis ei korvaan työnnettynä), ja jonka jälkeen mittaustoiminto on käynnistetty 105 (kuvassa 1b). Vaiheessa 222 — mobiililaite 30 yhteistyössä tekoäly-yksikön 11 kanssa muodostaa portaittaisen he- rätesignaalin, jossa on peräkkäin lyhyet jaksot signaaleja alkaen matalista taa- juuksista (esim. 500 Hz) ja jatkuen korkeisiin taajuuksiin (esim. 5000 Hz). Mitta- pään 20 elektroniikka 22 vahvistaa signaalia ja syöttää kaiuttimelle 23, jolloin kor- vaan menee tuo akustinen herätesignaali. Ääniaallot heijastuvat tärykalvosta 29 ja — välikorvan 28 takapinnoista ja vastaanotetaan mikrofonilla 24 (vaihe 223). Näin mi- tattu data soveltuu analysoitavaksi taajuusspektrin muodossa. Vaihtoehtoisesti akustinen herätesignaali voi olla yksi tai useampi eri taajuuksilla värähtelevä purs- ti, joiden eri pinnoista heijastuvat ääniaallot vastaanotetaan mikrofonilla 24. Näin mitattu data soveltuu analysoitavaksi verhokäyrinä, joista tekoäly-yksikössä pyri- — tään löytämään tärykalvolta ja välikorvan pinnoista heijastuvien kaikujen paikkoja ja voimakkuuksia. Tämän jälkeen mitatut signaalit muunnetaan digitaaliseksi ja > pakataan (vaihe 224) mobiililaitteessa 30 ja lähetetään (vaihe 225) pilvijärjestel-Figure 2b shows in the measuring head according to the invention during the measurement event — the functions to be performed step by step. The acoustic reflectometry measurement starts in step 221. Before this, the measuring head 20 is connected to the mobile device 30, if necessary, calibration 103 is performed, in which the measurement described below (steps 222-225) is performed with the measuring head 20's adapter tube 26 in the air (i.e. not pushed into the ear), and after the measurement function is started 105 (in figure 1b). In step 222 — the mobile device 30 in cooperation with the artificial intelligence unit 11 forms a step-by-step excitation signal with successive short periods of signals starting from low frequencies (e.g. 500 Hz) and continuing to high frequencies (e.g. 5000 Hz). The electronics 22 of the measuring head 20 amplify the signal and feed it to the speaker 23, whereupon the acoustic stimulus signal goes to the ear. The sound waves are reflected from the tympanic membrane 29 and — from the back surfaces of the middle ear 28 and are received by the microphone 24 (step 223). The data measured in this way is suitable for analysis in the form of a frequency spectrum. Alternatively, the acoustic stimulus signal can be one or more bursts oscillating at different frequencies, whose sound waves reflected from different surfaces are received by the microphone 24. The data measured in this way is suitable for analysis as envelope curves, from which the artificial intelligence unit tries to find the locations and intensities of the echoes reflected from the tympanic membrane and the surfaces of the middle ear. After that, the measured signals are converted to digital and > compressed (step 224) in the mobile device 30 and sent (step 225) to the cloud system
N män 10 käsiteltäväksi, minkä jälkeen mittaus on akustisen reflektometrian osalta 3 valmis (vaihe 226).N 10 to be processed, after which the measurement is complete for acoustic reflectometry 3 (step 226).
O 30Oh 30
I Mittaus jatkuu optisella tekniikalla (vaihe 230), jolloin mobiililaitteen näytölle ilmes- - tyy videokuva korvakäytävästä. Käyttöliittymä 31 pyytää liikuttelemaan mittapäätä 3 20 niin, että tärykalvo 29 tulee kokonaan näkyviin mobiililaitteen 30 kuvapinnalle o (vaihe 232). Mobiililaitteessa on keksinnön edullisessa toteutusmuodossa ohjelma, > 35 joka tunnistaa tärykalvon kuvan ja ottaa sarjan kuvia tai videopätkiä sellaisina het- kinä, jolloin tärykalvo on edullisesti näkyvissä kuvissa. Vaihtoehtoisesti käyttäjä klikkaa kuvat tai videopätkät mobiililaitteen käyttöliittymässä olevaa painikekuvaa käyttäen (vaihe 233). Tämän jälkeen mobiililaite lähettää kuvat tekoälyn käsiteltä-I The measurement continues with optical technology (step 230), when a video image of the ear canal appears on the screen of the mobile device. The user interface 31 asks to move the measuring head 3 20 so that the eardrum 29 is completely visible on the screen o of the mobile device 30 (step 232). In the preferred embodiment of the invention, the mobile device has a program, > 35 which recognizes the image of the eardrum and takes a series of pictures or video clips at such moments when the eardrum is preferably visible in the images. Alternatively, the user clicks on the images or video clips using the button image in the user interface of the mobile device (step 233). After this, the mobile device sends the images processed by artificial intelligence-
väksi (vaihe 234), jonka jälkeen optinen osuus mittausvaiheesta on valmis (vaihe 235).(step 234), after which the optical part of the measurement step is complete (step 235).
Optisen tutkimuksen vaiheeseen voidaan lisätä myös tympanometriassa käytettä- va ilmanpainepulssi, joka johdetaan erillistä putkea (ei piirretty kuvaan 2a) pitkin mittapään sisälle ja pulssin aiheuttama liike tärykalvossa videokuvataan.An air pressure pulse used in tympanometry can also be added to the phase of the optical examination, which is led along a separate tube (not drawn in figure 2a) inside the measuring head, and the movement caused by the pulse in the eardrum is recorded on video.
Lämpötilan mittaus käynnistyy seuraavaksi (vaihe 240). Keksinnön yksinkertaises- sa toteutusmuodossa lämpötila luetaan infrapunasensorilta 204, joka on kohdistet- — tu korvakäytävään siten, että mittaustulos tulee tärykalvon 29 pinnalta. Mittaus voidaan myös yhdistää optiseen vaiheeseen siten, että lämpötilan mittaus tapah- tuu kameran ollessa kohdistettuna kuvaamaan koko tärykalvo, jolloin voidaan varmistua, että mittausarvo tulee tärykalvon pinnasta. Mittaustulos lähetetään te- koäly-yksikölle 11 vaiheessa 241, minkä jälkeen mittaus todetaan suoritetuksi — (vaihe 242). Yksi tai useampi lämpötilasensori voi olla myös kameran kuvaken- nossa 203, edullisesti sen keskialueella, jolloin erillistä infrapunasensoria ei tarvita, ja lämpötilan mittaus yhdistyy optiseen tärykalvon tutkimiseen.Temperature measurement starts next (step 240). In the simple embodiment of the invention, the temperature is read from the infrared sensor 204, which is aligned to the ear canal in such a way that the measurement result comes from the surface of the eardrum 29. The measurement can also be combined with the optical stage in such a way that the temperature measurement takes place while the camera is aligned to photograph the entire eardrum, in which case it can be ensured that the measurement value comes from the surface of the eardrum. The measurement result is sent to the artificial intelligence unit 11 in step 241, after which the measurement is declared completed — (step 242). One or more temperature sensors can also be in the image sensor 203 of the camera, preferably in its central area, in which case a separate infrared sensor is not needed, and the temperature measurement is combined with the optical examination of the tympanic membrane.
Keksinnön mukaiseen mittapäähän 20 voidaan liittää monia muitakin sensoreita, —- joiden käytön vaiheet jatkuvat edellä kuvatun kaltaisesti (vaihe 250). Vaiheessa 260 mittaustapahtuma todetaan päättyneeksi ja voidaan jäädä odottamaan pilvijär- jestelmän 10 analysoinnin tuloksia (vaihe 106 kuvassa 1b).Many other sensors can be connected to the measuring head 20 according to the invention, the stages of use of which continue as described above (step 250). In step 260, the measurement event is determined to have ended and it is possible to wait for the results of the analysis of the cloud system 10 (step 106 in Figure 1b).
Kuva 2c esittää keksinnön erästä suoritusmuotoa, joka perustuu akusto-optiseen — stroboskooppimittaukseen. Siinä optista kuvausta käytetään paitsi normaaliin vi- deokuvaukseen myös akustisen mittauksen yhteydessä siten, että tärykalvoa 29 > valaisevan valolähteen 202 valo pulssitetaan akustiseen värähtelyyn synkronoi-Figure 2c shows one embodiment of the invention, which is based on acousto-optic — stroboscope measurement. In it, optical imaging is used not only for normal video imaging but also in connection with acoustic measurement, so that the light of the light source 202 illuminating the eardrum 29 > is pulsed to the acoustic vibration synchronized
N den. Stroboskooppiperiaatteen mukaisesti valon pulssitus tapahtuu 1 — 10 hertsiä 3 (esimerkiksi 3 hertsiä) akustista värähtelyä alemmalla tai ylemmällä taajuudella,N day. According to the stroboscope principle, light pulsing takes place at a frequency 1 — 10 hertz 3 (for example 3 hertz) lower or higher than the acoustic vibration,
O 30 — jolloin tärykalvosta 29 muodostuva videokuva näyttää tärykalvon värähtelyn hidas-O 30 — where the video image formed by the tympanic membrane 29 shows the vibration of the tympanic membrane in slow-
I tettuna tuohon erotustaajuuteen (esimerkiksi edellä mainittuun 3 hertsiin). Tässä - keksinnön suoritusmuodossa on edullista sijoittaa yksi tai useampi juovitettua tai 3 laikutettua valoa 209 säteilevä valolähde 210 lähelle tärykalvoa 29 korvakäytävän o 27 reunaosaan (useamman valolähteen tapauksessa reunaosiin eri puolille korva- > 35 — käytävää), jotta vinosta tuleva juovitettu tai laikutettu valo näkyy värähtelevässä tä- rykalvossa sen pinnan suuntaisesti liikkuvana juovituksena tai laikutuksena. Vi- deokamera 201 tallentaa tämän näkymän.I set to that separation frequency (for example the aforementioned 3 hertz). In this - embodiment of the invention, it is advantageous to place one or more light sources 210 radiating streaked or 3 spotted light 209 near the eardrum 29 in the edge part of the ear canal o 27 (in the case of several light sources in the edge parts on different sides of the ear- > 35 — passage), so that the streaked or spotted light coming from an angle can be seen in the vibrating in the tympanic membrane as striations or spots moving parallel to its surface. The video camera 201 records this view.
Tässä keksinnön suoritusmuodossa voidaan edullisesti sijoittaa kaksi eriväristä pulssitettua ja juovitettua tai laikutettua valolähdettä vastakkaisille sivuille korva- käytävään, jolloin tärykalvon pinnasta saadaan hidastettu värähtelevä videokuva, jossa nuo värit värähtelyn eri vaiheissa, tärykalvon lähestyessä valolähdettä ja loi- —tontuessa siitä, vuoroin osuvat päällekkäin ja vuoroin lomittuvat vierekkäin. Siten esimerkiksi sinistä ja keltaista valoa käyttämällä tärykalvon pinnalla näkyy esimer- kiksi edellä mainittua 3 hertsin erotustaajuutta käytettäessä juovitus tai laikutus, jonka kuvio sykkii 3 hertsin taajuudella sinisenä, keltaisena ja vihreänä, mikä tuot- taa korostetun näkymän tärykalvon liikkuvuudesta sen pinnan eri osissa. Hidaste- tusta värähtelyvideosta tärykalvon liikkuvuutta voidaan mitata paikan funktiona, mikä on hyödyllinen tieto määritettäessä mahdollisen liman olemassa oloa ja mää- rää välikorvassa. Tässä keksinnön suoritusmuodossa valolähteitä voi olla kaksi tai useampia ja ne voidaan sijoittaa eri puolille korvakäytävää mutta myös samalle si- vulle eri etäisyyksille tärykalvosta. Näin tärykalvosta syntyvä hidastettua videoku- — vaa voidaan säätää ja optimoida. Tällä keksinnön suoritusmuodolla tärykalvon liik- kuvuutta voidaan tarkastella myös visuaalisesti reaaliaikaisena joko mobiililaitteen näytöltä tai tarkoitukseen sopivalla linssiyhdistelmällä suoraan tärykalvon pinnalta.In this embodiment of the invention, two pulsed and streaked or spotted light sources of different colors can be advantageously placed on opposite sides of the ear canal, resulting in a slow-motion oscillating video image of the surface of the tympanic membrane, in which those colors in different phases of vibration, as the tympanic membrane approaches the light source and recedes from it, alternately overlap and alternate intertwine next to each other. Thus, for example, using blue and yellow light on the surface of the eardrum, for example, when using the above-mentioned 3 hertz separation frequency, streaking or spotting is visible, the pattern of which pulsates at a frequency of 3 hertz in blue, yellow and green, which produces an accentuated view of the movement of the eardrum in different parts of its surface. From the slow-motion vibration video, the mobility of the tympanic membrane can be measured as a function of location, which is useful information when determining the presence and amount of possible mucus in the middle ear. In this embodiment of the invention, there can be two or more light sources and they can be placed on different sides of the ear canal but also on the same side at different distances from the eardrum. In this way, the slow-motion video image generated by the eardrum can be adjusted and optimized. With this embodiment of the invention, the mobility of the tympanic membrane can also be viewed visually in real time either from the screen of a mobile device or with a suitable lens combination directly from the surface of the tympanic membrane.
Tässä keksinnön suoritusmuodossa akustiset herätejaksot ovat edullisesti pitem- — piä (esimerkiksi 1 — 5 sekuntia), jotta kultakin akustiselta taajuudelta saadaan riit- tävästi optista hidastettua videota tärykalvon liikkeistä. Videon tallentaminen useal- la eri akustisella taajuudella antaa lisäinformaatiota tärykalvon kunnon, välikorvan paine-eron ja mahdollisen liman mittaamiseen.In this embodiment of the invention, the acoustic excitation periods are preferably longer (for example 1-5 seconds), so that a sufficient optical slow-motion video of the movements of the tympanic membrane can be obtained from each acoustic frequency. Recording the video at several different acoustic frequencies provides additional information for measuring the condition of the eardrum, the pressure difference in the middle ear and possible mucus.
Kuva 3 esittää keksinnön mukaisen välikorvatulehduksen mittaus- ja seurantajär- jestelyn käyttäjän 3 mobiililaitteessa 30 toimivan käyttöliittymän 31 eri toimintavai- > heita. Mobiililaitteen näyttöruudulla keksinnön mukainen sovellus 32 näkyy yhtenäFigure 3 shows the different operating steps of the user interface 31 operating on the mobile device 30 of the user 3 of the otitis media measurement and monitoring system according to the invention. On the screen of the mobile device, the application 32 according to the invention is displayed as one
N sovelluksena muiden joukossa. Sitä klikkaamalla avautuu tervetulotoivotuksen 3 ruutu 320, jossa käyttäjälle voidaan kertoa mm. uutisia 321 tuotteesta ja palvelustaN as an application among others. By clicking on it, the screen 320 of the welcome message 3 opens, where the user can be told e.g. news about 321 products and services
O 30 — sekä uusista sovellusversioista. Kaikkien ruutujen vasemmassa yläkulmassa onO 30 — and about new application versions. In the upper left corner of all boxes is
I nuoli-taaksepäin —painike 323, jolla päästään edelliseen ruutuun ja oikeassa ylä- - kulmassa nuoli-eteenpäin —painike 324, jolla päästään seuraavaan ruutuun, jos 3 siellä on jo käyty menossa olevan mittaustapahtuman aikana. Mittaukseen siirry- o tään klikkaamalla START-painiketta 322, jolloin avautuu potilaanvalitsemisruutu > 35 330. Siinä tapauksessa, ettei käytössä olevaa mobiililaite-mittapää-yhdistelmää ole vielä kalibroitu tai kalibroinnista on kulunut määriteltyä ajanjaksoa pitempi aika, suorittaa mobiililaite 30 kalibroinnin yhteistyössä tekoälyjärjestelmän kanssa kuvan esittämällä tavalla (vaiheet 511-521), minkä jälkeen jatketaan välittömästi mitta- ustapahtumaan.I arrow-backward —button 323, which is used to access the previous screen and in the upper right corner, arrow-forward —button 324, which is used to access the next screen, if 3 there has already been visited during the current measurement event. The measurement is started by clicking on the START button 322, which opens the patient selection box > 35 330. In the event that the mobile device-probe combination in use has not yet been calibrated or a longer period of time has passed since the calibration, the mobile device 30 performs the calibration in cooperation with the artificial intelligence system by presenting an image manner (steps 511-521), after which the measurement event is immediately continued.
Potilaanvalitsemisruudussa 330 (esimerkiksi jos perheessä on useita lapsia) klika- 5 taan käsillä olevan potilaan painiketta 331. Jos potilas on uusi, klikataan NEW- painiketta 332, jolloin avautuu potilaan henkilö- ja taustatietojen syöttöruutu ja siel- tä palattaessa uuden potilaan nimi ilmestyy valittavien potilaiden listaan 331. Jos potilaita on paljon, lista muuttuu ylös-alas-skrollattavaksi. Potilaan nimeä klikatta- essa avautuu kyseisen potilaan mittausruutu 340. Potilaan nimeä kaksoisklikatta- essa (tai pitkään painettaessa) avautuu ruutu, josta kaikki potilaan henkilötiedot, diagnoosit ja mittausdata voidaan ladata omalle mobiililaitteelle ja/tai poistaa ko- konaan potilastietokannasta 16. Mittausdatasta jää tekoäly-yksikön 11 opettami- seen käytetty anonyymi data anonyymitietokantaan 17. Tämä toiminto noudattaa kunkin maan tietoturvalainsäädäntöä.In the patient selection screen 330 (for example, if there are several children in the family), click on the button 331 for the current patient. If the patient is new, click on the NEW button 332, then the input screen for the patient's personal and background information will open, and when you return from there, the new patient's name will appear among the patients to be selected to list 331. If there are many patients, the list changes to up-down scrolling. Clicking on the patient's name opens the respective patient's measurement screen 340. Double-clicking (or long-pressing) the patient's name opens a screen where all the patient's personal information, diagnoses and measurement data can be downloaded to one's own mobile device and/or deleted entirely from the patient database 16. The measurement data remains an artificial intelligence anonymous data used to teach unit 11 to anonymous database 17. This function complies with the data security legislation of each country.
Potilaan mittausruudulla 340 näkyy potilaan nimi, joka näkyy tästä eteenpäin kai- kissa ruuduissa. Seuraavaksi mittapää 20 asetetaan potilaan oikeaan (tai vasem- paan) korvaan ja ruudulta klikataan oikean korvan kuvaketta 341 (tai vastaavasti vasemman kuvaketta 342). Korvat voidaan mitata kummassa järjestyksessä ta- — hansa tai vain toinen korva voidaan mitata. Jos jompikumpi halutaan jättää mit- taamatta klikataan ko. korvan kuvakkeen SKIP-painiketta 343 tai 344, jolloin mitta- us jatkuu automaattisesti jäljellä olevan korvan mittaukseen.The patient's measurement screen 340 shows the patient's name, which will appear in all screens from now on. Next, the measuring head 20 is placed in the patient's right (or left) ear and the right ear icon 341 (or the left icon 342, respectively) is clicked on the screen. The ears can be measured in any order, or only one ear can be measured. If you want to leave one of them unmeasured, click either. SKIP button 343 or 344 of the ear icon, so the measurement automatically continues to the measurement of the remaining ear.
Mittaustapahtuma käsittää kaikkien mittapäässä olevien sensoreiden mittaukset kuvan 2b mukaisesti ja saattaa siksi kestää hetken, jonka aikana mittapäätä pide- tään korvassa liikkumattomana. Tässä vaiheessa ruudun 340 päälle avautuu vi- > deokameran 201 antama kuva korvakäytävästä ja ohjeikkuna, joka pyytää liikutte-The measurement event comprises the measurements of all the sensors in the measuring head according to Figure 2b and may therefore last a moment, during which the measuring head is kept motionless in the ear. At this point, the image of the ear canal provided by the video camera 201 opens on top of the screen 340 and an instruction window asking for the
N lemaan mittapäätä 20 siten, että kuvassa näkyy tärykalvo 29 kokonaisuudessaan. 3 Kun mittaustapahtuma on valmis, data on siirretty prosessoitavaksi tekoäly-N lay the measuring head 20 so that the eardrum 29 is visible in its entirety. 3 When the measurement event is complete, the data has been transferred to be processed by artificial intelligence
O 30 — yksikölle 11 ja sieltä on saatu takaisin raportti, avautuu mobiililaitteeseen 30 kysei-O 30 — to unit 11 and a report has been received back from there, the mobile device 30 opens in question
I sen potilaan kyseistä korvaa vastaava tulosruutu 350. Ruudulla näkyy kyseisen korvan kuvake 351, jonka väri kertoo korvan kunnon: vihreä tarkoittaa tervettä, 3 punainen tulehtunutta ja keltainen rajatapausta. Kuvakkeen keskellä näkyy valo- o kuva tai pyörii videopätkä tärykalvosta 352. Ruudulla näkyy myös tärykalvon läm- > 35 — pötila 353 ja mahdollisia muiden sensorien mittaustuloksia 354. Jos korvaa on mi- tattu aiemmin, näkyy ruudulla historiatietoja kuvaava käyrä 355 siltä ajalta, jona tautia on seurattu. Historiatiedot näkyvät päivittäisinä arvoina esimerkiksi asteikolla 0—100, jossa suuret arvot ovat sijoittuvat punaiseksi värjättyyn yläosaan, pienet arvot vihreäksi värjättyyn alaosaan ja keskisuuret arvot keltaiseksi värjättyyn kes- kiosaan. Historiaruudun yläreunassa on mittauspäivän ilmoittava tagi 356, jota voidaan siirrellä aiempien mittausten tulosten (esim. lämpötila 353, tärykalvon ku- va 352) vertailemiseksi.I the result box 350 corresponding to the ear of that patient. The icon 351 of the ear in question is displayed on the screen, the color of which indicates the condition of the ear: green means healthy, 3 red inflamed and yellow borderline cases. In the center of the icon, a light image or a rotating video clip of the eardrum 352 is shown. The screen also shows the temperature of the eardrum 353 and possible measurement results of other sensors 354. If the ear has been measured before, the screen shows a curve 355 depicting historical data from the time when the disease has been followed. Historical data is displayed as daily values, for example on a scale of 0-100, where large values are placed in the upper part colored red, small values in the lower part colored green and medium values in the middle part colored yellow. At the top of the history screen, there is a tag 356 indicating the measurement date, which can be moved to compare the results of previous measurements (e.g. temperature 353, image of the eardrum 352).
Nuoli-taaksepäin painikkeella 323 tai NEXT-painikkeella 357 siirrytään mittaamaan toista korvaa, josta saadaan tulosruutu 360, joka on vastaava kuin tulosruutu 350.The arrow-back button 323 or the NEXT button 357 move to measure the other ear, which gives the result box 360, which is similar to the result box 350.
Tästä jatketaan NEXT-painikkeella 361 raporttiruutuun 370. — Raporttiruudussa 370 näkyvät molempien korvien viimeiset mittaustulokset ja tä- hänastinen päivittäinen historia molemmille korville. Oikean korvan tulokset näky- vät ruudun vasemmassa laidassa ja vasemman tulokset oikeassa laidassa, jotta näkymä vastaa luonnollista tilannetta, jossa potilas ja katsoja ovat kasvotusten.Continue from here with the NEXT button 361 to the report box 370. — The report box 370 shows the last measurement results of both ears and the current daily history for both ears. The results of the right ear are displayed on the left side of the screen and the results of the left on the right side, so that the view corresponds to a natural situation where the patient and the viewer are face to face.
Raporttiruudussa 370 korvien kuvakkeiden 371 ja 372, värit (punainen-keltainen- — vihreä) antavat nopean tilannekuvan korvien kunnosta. Kummankin kuvakkeen 371 ja 372 keskellä on videokameran 201 ottama valokuva tai lyhyt jatkuvasti tois- tuva videopätkä ko. tärykalvosta. Lämpötila-arvot 373 ja 374 näyttävät menossa olevan mittausjakson minimi- ja maksimiarvot. Historiakäyrät 375 ja 376 kertovat ko. mittausjakson päivittäiset kuntoarviot kuten tulosruuduissa 350 ja 360. Mitta- — uspäivä-tageja 377 siirtelemällä saadaan ko. päivien mittaustiedot ja tärykalvoku- vat näkyviin raportin yläreunaan. Lisäksi raporttiruudussa 370 on sanallisen rapor- tin ikkuna 378, jossa näkyvät mm. lääkärin kirjoittamat kommentit ja tekoälyn ge- neroimat tekstit. Lääkärin kommenteissa voi olla personoitua oheistietoa tulosten tulkintaan. Tekoälyn kommenteissa voi esimerkiksi olla tietoa mittauksen epävar- —muudesta (jos esimerkiksi tärykalvokuva on huonolaatuinen) tai oudolla tavalla poikkeavista mittaustuloksista. Raporttiruudusta 370 siirrytään NEXT-painikkeella > 379 viestintäruutuun 380. & 3 Viestintäruudussa 380 voidaan valita viestin lähettäminen joko omalle lääkärilleIn the report screen 370, the colors (red-yellow- — green) of the ear icons 371 and 372 give a quick snapshot of the condition of the ears. In the center of both icons 371 and 372 is a photograph taken by the video camera 201 or a short continuously repeating video clip. from the eardrum. Temperature values 373 and 374 show the minimum and maximum values of the current measurement period. History curves 375 and 376 tell about the daily fitness assessments of the measurement period as in the result boxes 350 and 360. By moving the measurement date tags 377, you get the the days' measurement data and tympanic membrane images appear at the top of the report. In addition, the report box 370 has a verbal report window 378, where e.g. comments written by a doctor and texts generated by artificial intelligence. The doctor's comments may contain personalized supplementary information for the interpretation of the results. The artificial intelligence's comments can, for example, contain information about the uncertainty of the measurement (if, for example, the eardrum image is of poor quality) or strangely deviating measurement results. From the report box 370, press the NEXT button > 379 to go to the communication box 380. & 3 In the communication box 380, you can choose to send a message either to your own doctor
O 30 — klikkaamalla ko. kuvaa 381 tai valitsemalla joku toinen lääkäri OTHER-O 30 — by clicking on picture 381 or by selecting another doctor OTHER-
I painikkeesta 382 avautuvasta listasta. Viesti sisältää automaattisesti raportin 370 - tiedot mutta käyttäjä voi halutessaan kirjoittaa myös omat huomautuksensa tai ter- 3 veisensä viesti-ikkunaan 383. Viesti lähetetään SEND-painikkeella 385, jolloin o avautuu kuittausruutu 390, josta sovellus voidaan sulkea CLOSE-painikkeella 391 > 35 tai palata alkuun RETURN-painikkeella 392. Viestin voi jättää lähettämättä klik- kaamalla NO-painiketta 384, jolloin avautuu vastaava kuittausruutu tekstillä MES-From the list that opens from button I 382. The message automatically contains the information of the report 370, but the user can also write his own remarks or greetings in the message window 383 if he wishes. The message is sent with the SEND button 385, which opens the acknowledgment box 390, from which the application can be closed with the CLOSE button 391 > 35 or return to the beginning with the RETURN button 392. The message can be left unsent by clicking the NO button 384, which opens the corresponding confirmation box with the text MES-
SAGE NOT SEND.SAGE NOT SEND.
Kuva 4 esittää keksinnön mukaisen välikorvatulehduksen mittaus- ja seurantajär- jestelyn lääkärin 4 mobiililaitteessa 40 toimivan käyttöliittymän 41 eri toimintavai- heita. Mobiililaitteen näyttöruudulla keksinnön mukainen sovellus 42 näkyy yhtenä sovelluksena muiden joukossa. Sitä klikkaamalla avautuu tervetulotoivotuksen ruutu 420, jossa käyttäjälle voidaan kertoa mm. uutisia 421 tuotteesta ja palvelusta sekä uusista sovellusversioista. Kaikkien ruutujen vasemmassa yläkulmassa on nuoli-taaksepäin -painike 423, jolla päästään edelliseen ruutuun ja oikeassa ylä- kulmassa nuoli-eteenpäin -painike 424, jolla päästään seuraavaan ruutuun, jos siellä on jo käyty menossa olevan käyttötapahtuman aikana. Raporttien tarkaste- — luun siirrytään klikkaamalla START-painiketta 422, jolloin avautuu potilasjonoruutu 430.Figure 4 shows the different operating steps of the user interface 41 operating on the doctor's 4 mobile device 40 of the otitis media measurement and monitoring system according to the invention. On the screen of the mobile device, the application 42 according to the invention appears as one application among others. By clicking on it, the welcome screen 420 opens, where the user can be told e.g. news about 421 products and services and new application versions. All screens have a back arrow button 423 in the upper left corner to access the previous screen and an arrow forward button 424 in the upper right corner to access the next screen if it has already been visited during the current usage event. You can go to the report review section by clicking the START button 422, which opens the patient queue window 430.
Potilasjonoruudussa 430 klikataan jotakuta jonossa olevan potilaan painiketta lis- tassa 431. Jos potilaita on paljon potilasjonoruudussa 430, lista muuttuu ylös-alas- — skrollattavaksi. Kunkin potilaan kohdalla on Urgent-merkki 434, joka palaa ja/tai vilkuu riippuen siitä, miten kiireellistä toimintaa kyseisen potilaan tila vaatii. Tieto kiireellisyydestä tulee keksinnön mukaisen järjestelyn tekoäly-yksiköstä 10 potilas- tietokannan 16 kautta.In the patient queue box 430, one clicks on one of the buttons of the patient in the queue in the list 431. If there are many patients in the patient queue box 430, the list changes to up-down — scrolling. Each patient has an Urgent sign 434 that lights up and/or flashes depending on how urgent the patient's condition requires. Information about urgency comes from the artificial intelligence unit 10 of the arrangement according to the invention via the patient database 16.
Jos potilas on uusi, klikataan NEW-painiketta 432, jolloin avautuu potilaan henkilö- ja taustatietojen syöttöruutu ja sieltä palattaessa uuden potilaan nimi ilmestyy valit- tavien potilaiden listaan 431. Uusia potilaita saattaa jonossa olla useampiakin yhtä aikaa. Uusien potilaiden hyväksymistä varten voidaan järjestää myös erillinen tie- tojen kysely ja syöttötapahtuma potilaan ja lääkärin välille, mihin toimenpiteeseen — liittyy potilastietojärjestelmän pääsyoikeuksien myöntämistapahtuma ja laskutus- sopimus. Yksinkertaisimmillaan uuden potilaan hyväksyminen tapahtuu vain tieto- > jen vaihtona käyttäjän 3 ja potilastietokannan 16 sekä lääkärin 4 ja potilastietokan-If the patient is new, the NEW button 432 is clicked, which opens the patient's personal and background information input box, and when returning from there, the new patient's name appears in the list of selectable patients 431. There may be several new patients in the queue at the same time. For the acceptance of new patients, a separate data inquiry and input event can also be organized between the patient and the doctor, which action — involves the granting of patient information system access rights and an invoicing agreement. In the simplest terms, the acceptance of a new patient only takes place as an exchange of data between user 3 and the patient database 16 and doctor 4 and the patient database
N nan 16 välillä.Between N and 16.
S o 30 Potilaan nimeä potilaslistassa 431 klikattaessa avautuu kyseisen potilaan raportti-S o 30 Clicking on the patient's name in the patient list 431 opens the report for that patient
I ruutu 440. a 3 Raporttiruudussa 440 näkyvät molempien korvien viimeiset mittaustulokset ja tä- o hänastinen päivittäinen historia molemmille korville. Oikean korvan tulokset näky- > 35 vat ruudun vasemmassa laidassa ja vasemman tulokset oikeassa laidassa, jotta näkymä vastaa luonnollista tilannetta, jossa potilas ja katsoja ovat kasvotusten.I box 440. a 3 Report box 440 shows the last measurement results of both ears and the current daily history for both ears. The results of the right ear are displayed > 35 on the left side of the screen and the results of the left on the right side, so that the view corresponds to a natural situation where the patient and the viewer are face to face.
Raporttiruudussa 440 korvien kuvakkeiden 441 ja 442, värit (punainen-keltainen- vihreä) antavat nopean tilannekuvan korvien kunnosta. Kummankin kuvakkeenIn the report screen 440, the colors (red-yellow-green) of the ear icons 441 and 442 give a quick snapshot of the condition of the ears. Both icons
441 ja 442 keskellä on videokameran 201 ottama valokuva, toistuva kuvasarja tai lyhyt jatkuvasti toistuva videopätkä ko. tärykalvosta (esimerkiksi tympanometrivi- deo ilmanpainepulssin aiheuttamasta tärykalvon liikkeestä). Lämpötila-arvot 443 ja 444 näyttävät menossa olevan mittausjakson minimi- ja maksimiarvot. Histo- —riakäyrät 445 ja 446 kertovat ko. mittausjakson päivittäiset kuntoarviot. Mittauspäi- vä-tageja 447 siirtelemällä saadaan ko. päivien mittaustiedot ja tärykalvokuvat nä- kyviin raportin yläosaan. Lisäksi raporttiruudussa 440 on sanallisen raportin ikkuna 448, jossa näkyvät mm. lääkärin kirjoittamat kommentit ja tekoälyn generoimat tekstit. Lääkärin näkemä raporttiruutu 440 on olennaisesti samanlainen kuin käyt- — täjän näkemä raporttiruutu 370. Raporttiruudusta 440 lääkäri voi FULL REPORT - painikkeella 449 siirtyä yksityiskohtaisempaan, lääkärille tärkeää, tietoa sisältä- vään Full report -ruutuun 450.In the middle of 441 and 442 is a photograph taken by the video camera 201, a repeating series of images or a short continuously repeating video clip. of the tympanic membrane (for example, a tympanometer video of the movement of the tympanic membrane caused by an air pressure pulse). Temperature values 443 and 444 show the minimum and maximum values of the current measurement period. History curves 445 and 446 tell about daily fitness assessments of the measurement period. By moving the measurement date tags 447, you get days' measurement data and tympanic membrane images visible at the top of the report. In addition, the report box 440 has a verbal report window 448, where e.g. comments written by a doctor and texts generated by artificial intelligence. The report box 440 seen by the doctor is essentially similar to the report box 370 seen by the user. From the report box 440, the doctor can use the FULL REPORT button 449 to move to the Full report box 450, which contains more detailed information important to the doctor.
Full report -ruudussa 450 esille voidaan ottaa oikeaan korvaan 451 tai vasempaan — korvaan 452 liittyviä mittaus- ja analyysikäyriä, jotka voivat sisältää alkuperäisiä mittaustuloksia, valo- ja videokuvia tärykalvosta sekä ajan funktiona kehittyneitä käyriä. Mittauspäivä-tagia 453 siirtelemällä ilmestyy diagnoosi-ikkunaan 454 kus- sakin vaiheessa tehty diagnoosi tai muita päätelmiä taudin laadusta ja etenemi- sestä. Lisäksi mittauspäivä-tagia 453 siirtelemällä ilmestyy toimenpide-ikkunaan 455 kussakin vaiheessa tehdyt toimenpiteet, esimerkiksi aloitetut lääkekuurit, täry- kalvon puhkaisut, putkitukset jne. Näiden Full report -tietojen perusteella lääkäri voi kirjoittaa viestiruutuun 456 raporttinsa tilanteesta ja lähettää SEND-painikkeella 457 käyttäjälle 3 näkymään hänen raporttiruudussaan 370 viesti-ikkunassa 378.In the full report screen 450, measurement and analysis curves related to the right ear 451 or the left ear 452 can be displayed, which can contain original measurement results, photo and video images of the eardrum, and curves developed as a function of time. By moving the measurement date tag 453, the diagnosis made at each stage or other conclusions about the quality and progression of the disease appear in the diagnosis window 454. In addition, by moving the measurement day tag 453, the procedures performed at each stage appear in the procedure window 455, for example, Initiated drug courses, eardrum punctures, tube placements, etc. Based on this Full report information, the doctor can write his report on the situation in the message box 456 and send it to the user 3 views with the SEND button 457 in his report box 370 in the message window 378.
Edullisessa tapauksessa lääkärin raportti on ainakin osittain strukturoitu siten, että — tekoäly pystyy sitä lukemaan ja ymmärtämään yksikäsitteisesti. Tätä varten osa raportoinnista voi olla vastaamista tekoälyn esittämiin kysymyksiin potilaan tilasta > ja/tai sairauden etenemisestä, siten että tietoja voidaan käyttää tekoälyn algoritmi-In the preferred case, the doctor's report is at least partially structured in such a way that — the artificial intelligence can read and understand it unambiguously. For this purpose, part of the reporting can be answering the questions asked by the artificial intelligence about the patient's condition > and/or the progress of the disease, so that the data can be used in the artificial intelligence's algorithm-
N en tarkentamiseen tulevia saman kaltaisia tapauksia varten. =N en for future similar cases. =
O 30 — Lähetettyään raportin käyttäjälle lääkärille avautuu kuittausruutu 460 raportin on- z nistuneesta lähettämisestä 461. Samalla lääkäriltä kysytään, saako tiedot lähettää = myös tekoälyn opetuskäyttöön 462. NOT YET -painikkeella 463 lääkäri voi ohittaa 3 opetusaineiston lähettämisen. Klikkaamalla SEND-painiketta 464 tiedoista poiste- o taan potilasta yksilöivät tiedot ja loput tiedoista lähetetään anonyymiin tietokantaan > 35 15 tekoäly-yksikön 11 opetusaineistoksi. Molemmilla painikkeilla 463 ja 464 siirry- tään kiitosruutuun 470, johon voi sisältyä mainontaa 471 ja josta sovelluksen voi sulkea CLOSE-painikkeella 472 tai voi palata jatkamaan seuraavan potilaan käsit- telyyn RETURN-painikkeella 473.O 30 — After sending the report to the user doctor, a confirmation box 460 opens about the successful sending of the report 461. At the same time, the doctor is asked if the data can be sent = also for the teaching use of artificial intelligence 462. With the NOT YET button 463, the doctor can skip sending 3 teaching materials. By clicking the SEND button 464, the information identifying the patient is removed from the data and the rest of the data is sent to an anonymous database > 35 as teaching material for the 15 artificial intelligence units 11. Both buttons 463 and 464 take you to the thank you box 470, which may include advertising 471 and from which the application can be closed with the CLOSE button 472 or you can return to continue treating the next patient with the RETURN button 473.
Kun käyttäjä 3 lähettää viestintäruudustaan 380 viestin lääkärille 4 potilaan 2 kor- van ollessa kipeänä klikkaamalla SEND-painiketta 385, avautuu lääkärille viestin- täruutu 480, josta lääkäri näkee kuka potilaista on kysymyksessä 481 ja kiireelli- syysmerkistd 482 kuinka kiireellisestä vastausta tilanne vaatii. ANSWER- painikkeella 483 hän voi siirtyä välittömästi ko. potilaan raporttiruutuun 440 ja teh- dä tarvittavat tulkinnat, päätökset ja toimenpiteet. REMIND LATER -painikkeella 484 potilaan nimi lisätään potilasjonoruudun 430 listan 431 viimeiseksi.When user 3 sends a message from his communication box 380 to doctor 4 when patient 2's ear hurts by clicking the SEND button 385, a communication box 480 opens for the doctor, from which the doctor can see which of the patients is in question 481 and the urgency indicator 482 how urgent the situation requires a response. With the ANSWER button 483, he can immediately move to the to the patient's report box 440 and make the necessary interpretations, decisions and measures. With the REMIND LATER button 484, the patient's name is added to the last list 431 of the patient queue screen 430.
Kuva 5 esittää keksinnön mukaisen mittaus- ja seurantajärjestelyn tekoäly-yksikön 11 ja tietokantayksikön 15 eri toimintavaiheita ja niiden liittymistä käyttäjän 3 mo- biiliin käyttöliittymään 31 ja lääkärin 4 mobiiliin käyttöliittymään 41. Mobiilien käyt- töliittyymien tapahtumat on järjestelty Mobile Ul -sarakkeeseen 501, tekoälyproses- sorin tapahtumat Al processor -sarakkeeseen 502, potilastietokannan tapahtumatFigure 5 shows the different operational phases of the artificial intelligence unit 11 and the database unit 15 of the measurement and monitoring arrangement according to the invention and their connection to the mobile user interface 31 of the user 3 and the mobile user interface 41 of the doctor 4. The events of the mobile user interfaces are arranged in the Mobile Ul column 501, the artificial intelligence process Record transactions in Al processor column 502, patient database transactions
Patient DB -sarakkeeseen 503, laskenta-algoritmeja generoivan prosessorin ta- pahtumat Algorithm generator -sarakkeeseen 504 ja anonyymin tietokannan ta- pahtumat Anonyme DB -sarakkeeseen 505.In the Patient DB column 503, the events of the processor generating calculation algorithms in the Algorithm Generator column 504 and the events of the anonymous database in the Anonyme DB column 505.
Mittaus käynnistetään mobiililaitteelta 30 START-painikkeella 322 (vaihe 102 ku- vassa 1b) Aluksi mobiililaite käynnistää käytössä olevan mobiililaite-mittapää- yhdistelmän kalibroinnin (vaihe 511) ja tarkistaa potilastietokannasta, onko kalib- rointi jo tehty ja voimassa (vaihe 512). Jos kalibrointi on kunnossa (vaihe 514) hy- pätään kalibrointivaiheen yli suoraan korvan mittaamisvaiheeseen 522. Jos kalib- rointi ei ole voimassa (tarkistus vaiheessa 513) lähettää potilastietokanta 16 kalib- —roinnissa käytettävän signaalin generointiin tarvittavan datan mobiililaitteelle 30, joka muuntaa datan kalibroinnin herätesignaaliksi (vaihe 515) ja syöttää sen mitta- > päähän 20, jota pidetään kalibroinnin ajan ilmassa. Mittapää vastaanottaa mitta-The measurement is started from the mobile device 30 with the START button 322 (step 102 in figure 1b) At first, the mobile device starts the calibration of the mobile device-measuring head combination in use (step 511) and checks the patient database whether the calibration has already been done and is valid (step 512). If the calibration is OK (step 514), the calibration step is skipped directly to the ear measurement step 522. If the calibration is not valid (check in step 513), the patient database 16 sends the data needed to generate the signal used in the calibration to the mobile device 30, which converts the data into a calibration stimulus signal (step 515) and feeds it to the measuring head 20, which is held in air during the calibration. The measuring head receives the measuring
N pään mikrofonin mittaaman vastesignaalin (vaihe 516) ja lähettää sen tekoälypro- 3 sessorille analysoitavaksi. Tekoälyprosessori 12 määrittelee tässä mobiililaite-N the response signal measured by the head microphone (step 516) and sends it to the artificial intelligence processor 3 for analysis. The artificial intelligence processor 12 here defines the mobile device-
O 30 — mittapää-yhdistelmässä (30, 20) tarvittavat, mm. taajuus- ja viivevasteisiin liittyvät,O 30 — necessary in the probe combination (30, 20), e.g. related to frequency and delay responses,
I korjausparametrit (vaihe 517) ja tallentaa ne potilastietokantaan 16 kyseessä ole- = van käyttäjän tietoihin. Samalla korjaustieto menee myös algoritmigeneraattorille 3 13, joka tekee tekoälyn laskenta-algoritmeihin vastaavat korjaukset (vaihe 519) ja o tallentaa korjatut algoritmit (vaihe 520). Näin kalibrointivaihe 521 päättyy ja siirry- > 35 — tään mittausvaiheeseen 522. Korjausparametreja voidaan hyödyntää esimerkiksi siten, että varsinaisessa mittauksessa käytettävä varsinaisten mittausten herä- tesignaali (vaihe 524) valitaan niin, että se tuottaa korvakäytävään olennaisesti samanlaisen akustisen herätteen (vaihe 525) riippumatta mittapään 20 ja mobiili-I correction parameters (step 517) and stores them in the patient database 16 in the data of the concerned user. At the same time, the correction information also goes to the algorithm generator 3 13, which makes the corresponding corrections to the artificial intelligence calculation algorithms (step 519) and o saves the corrected algorithms (step 520). Thus, the calibration step 521 ends and we move on to the measurement step 522. The correction parameters can be used, for example, in such a way that the stimulus signal for the actual measurements used in the actual measurement (step 524) is selected so that it produces an essentially similar acoustic stimulus to the ear canal (step 525) regardless of the measuring head. 20 and mobile
laitteen 30 muodostaman kokonaisuuden akustisesta ja elektronisesta taajuus- ja viivevasteesta. Kalibrointimittauksessa syntyvä data voidaan hyödyntää myös te- koäly-yksikössä 11 mittaustuloksia käsittelevän prosessin (vaihe 528) algoritmien hienosäädössä (vaihe 519) siten, että kalibrointimittauksen antama data toimii ver- — tailutoiminnoissa yhtenä referenssidatana.of the acoustic and electronic frequency and delay response of the whole formed by the device 30. The data generated in the calibration measurement can also be used in the artificial intelligence unit 11 in the fine-tuning (step 519) of the algorithms of the process (step 528) that handles the measurement results, so that the data given by the calibration measurement functions as a single reference data in the comparison functions.
Mittausvaiheessa eri mittaukset suoritetaan peräkkäin ensin toiselle korvalle ja sit- ten toiselle. Aluksi valitaan potilas ruudussa 330 ja ruudun 340 avauduttua valitaan korva, jolla aloitetaan, mittapää 20 työnnetään korvaan ja akustinen reflektomet- — riamittaus käynnistetään (vaihe 523, kuvassa 2b vaihe 221) klikkaamalla kysy- myksessä olevan korvan kuvaketta 341 tai 342. Mobiililaite 30 kutsuu potilastieto- kannasta herätesignaalin datan (vaihe 524) muuntaa datan signaaliksi, lähettää sen korvassa olevalle mittapäälle (vaihe 525) ja vastaanottaa korvasta tulevan kaikusignaalin (vaihe 526) sekä prosessoi signaalin digitaaliseen muotoon, paketoi ja lähettää tekoälylle tutkittavaksi (vaihe 527). Tekoälyprosessori 12 prosessoi da- tan käyttäen voimassaolevia algoritmeja (vaihe 528) ja tallentaa tuloksen potilas- tietokantaan 16 (vaihe 529).In the measurement phase, the different measurements are performed one after the other, first for one ear and then for the other. Initially, the patient is selected in screen 330 and after screen 340 opens, the ear to start with is selected, the measuring head 20 is inserted into the ear and the acoustic reflectometry measurement is started (step 523, step 221 in Figure 2b) by clicking on the icon 341 or 342 of the ear in question. The mobile device 30 calls up the patient data - carries the excitation signal data (step 524), converts the data into a signal, sends it to the measuring head in the ear (step 525) and receives the echo signal coming from the ear (step 526), and processes the signal into digital form, packages and sends it to the artificial intelligence for examination (step 527). The artificial intelligence processor 12 processes the data using valid algorithms (step 528) and stores the result in the patient database 16 (step 529).
Seuraavaksi mobiililaite 30 käynnistää optisen mittauksen (vaihe 530). Mittapään 20 ollessa edelleen korvassa mobillilaitteen näytölle avautuu videokameran 201 etsinkuva ja sen ohessa ohjeet, jotka kehottavat käyttäjää suuntaamaan mittapää- tä (vaihe 531) niin, että tärykalvo tulee etsinkuvaan näkyville. Kun tärykalvo on edustavasti näkyvillä ottaa videokamera automaattisesti videopätkän tai useita vi- deopätkiä ja still-kuvia tärykalvosta (vaihe 532), prosessoi, rajaa, paketoi ja lähet- tää (vaihe 533) ne tekoälylle analysoitavaksi. Tekoäly analysoi tärykalvokuvat ja — videot käyttäen algoritmeja, joilla se mm. vertaa kuvia eri tautitiloista anonyymiin > tietokantaan tallennettuihin tyypillisiin kuviin, laskee niistä väri- ja kuvioparametrejaNext, the mobile device 30 starts the optical measurement (step 530). While the probe 20 is still in the ear, the viewfinder image of the video camera 201 opens on the screen of the mobile device, along with instructions that prompt the user to direct the probe (step 531) so that the tympanic membrane becomes visible in the viewfinder image. When the eardrum is representatively visible, the video camera automatically takes a video clip or several video clips and still images of the eardrum (step 532), processes, cuts, packages and sends (step 533) them to artificial intelligence for analysis. Artificial intelligence analyzes tympanic membrane images and — videos using algorithms with which it e.g. compares images from different disease states with typical images stored in the anonymous > database, calculates color and pattern parameters from them
N käyttäen erilaisia hahmontunnistusmenetelmiä ja vertaa niitä anonyymiin tietokan- 3 taan tallennettuihin referenssiparametreihin. Analyysin tulokset tallennetaan poti-N using different pattern recognition methods and compares them with reference parameters stored in an anonymous database. The results of the analysis are stored in the poti-
O 30 — lastietokantaan (vaihe 535). = - Käytettäessä kuvassa 2c esitettyä stroboskooppi-periaatetta käyttävää mittapäätä, 3 toistetaan optisen kuvan suuntaus (vaihe 531) uudelleen niin, että tärykalvo saa- o daan edullisesti etsinkuvaan näkyville. Tämän jälkeen toistetaan vaiheet 522 — 529 > 35 — siten, että akustisen reflektometriamittauksen ohella videokamera 201 ja valoläh- teet 204 suorittavat kuvassa 2c ja sen selityksessä kuvatut toiminnot samanaikai- sesti herätesignaaliin synkronoituna vaiheissa 525 ja 526. Vaiheessa 527 paketoi- daan kaikusignaalin tuottaman datan lisäksi hidastetun videokuvan data ja lähete-O 30 — to the glass database (step 535). = - When using the measuring head using the stroboscope principle shown in figure 2c, 3 repeats the orientation of the optical image (step 531) again so that the tympanic membrane is advantageously made visible in the finder image. After this, steps 522 — 529 > 35 — are repeated so that, in addition to the acoustic reflectometry measurement, the video camera 201 and the light sources 204 perform the functions described in figure 2c and its explanation simultaneously synchronized to the excitation signal in steps 525 and 526. In step 527, in addition to the data produced by the echo signal, the data is packaged slow-motion video image data and transmission
tään tekoäly-yksikölle 11, joka käynnistää datan analysointiin osoitetut algoritmit (vaihe 528) ja tallentaa tulokset (vaihe 529). Tämän jälkeen jatketaan vaiheeseen 540.to the artificial intelligence unit 11, which starts the algorithms assigned to analyze the data (step 528) and stores the results (step 529). After this, we continue to step 540.
Seuraavaksi mobiililaite 30 käynnistää lämpötilan mittauksen (vaihe 540), suorittaa sen infrapunasensorin 204 avulla, joka on suunnattu siten, että se osoittaa tärykal- von suuntaan optisen kuvan ollessa edustavasti näkyvissä edellisessä vaiheessa.Next, the mobile device 30 starts the temperature measurement (step 540), performs it with the help of the infrared sensor 204, which is oriented so that it points in the direction of the eardrum, with the optical image representatively visible in the previous step.
Käytännössä lämpötilan mittaus (vaihe 541) ajoitetaankin tapahtumaan heti opti- sen kuvauksen jälkeen tai sen kuluessa, jolloin mittauksen kohdistaminen onnistuu — parhaiten. Tulos lähetetään tekoälyn analysoitavaksi (vaihe 542) ja tulos tallenne- taan potilastietokantaan (vaihe 543).In practice, the temperature measurement (step 541) is scheduled to take place immediately after the optical imaging or during it, when the alignment of the measurement is successful — best. The result is sent to be analyzed by the artificial intelligence (step 542) and the result is stored in the patient database (step 543).
Tämän jälkeen suoritetaan muut käytössä olevat mittaukset (vaiheet 545 ja 546), niiden tulokset lähetetään tekoälylle analysoitavaksi (vaihe 547) ja tallennetaan — potilastietokantaan (vaihe 548).After this, the other measurements in use are performed (steps 545 and 546), their results are sent to the artificial intelligence for analysis (step 547) and stored — in the patient database (step 548).
Kun kaikki ohjelmaan sisällytetyt mittaukset on suoritettu siirretään mittapää toi- seen korvaan (vaihe 549) ja edellä esitetty tapahtumaketju toistetaan vaiheesta 522 alkaen. Tämän jälkeen korvien mittaukset on suoritettu (550), mittapää voi- daan ottaa pois korvasta ja jäädään odottamaan raporttia. Vaihtoehtoisesti, kuten on esitetty kuvassa 3 ruuduissa 350 ja 360, tekoäly voidaan asettaa suorittamaan seuraavissa vaiheissa esitetyn raportin prosessoinnin erikseen kummallekin kor- valle, jolloin kysymyksessä olevan korvan raportti voidaan nähdä heti mittauksen valmistuttua ennen seuraavan korvan mittausta.When all the measurements included in the program have been completed, the measuring head is moved to the other ear (step 549) and the chain of events presented above is repeated starting from step 522. After this, the measurements of the ears have been completed (550), the measuring head can be removed from the ear and we wait for the report. Alternatively, as shown in Fig. 3 in boxes 350 and 360, the artificial intelligence can be set to perform the processing of the report presented in the following steps separately for each ear, in which case the report of the ear in question can be seen immediately after the measurement is completed before the measurement of the next ear.
Raportin generointi käynnistyy vaiheesta 560 ja valmistuu vaiheessa 569. Teko- > älyprosessori 12 hakee kysymyksessä olevan potilaan (562) mittaus- ja analysoin-The generation of the report starts at step 560 and is completed at step 569. Artificial > intelligent processor 12 retrieves the measurement and analysis data of the patient in question (562
N titulokset, myös historian, (vaihe 561) potilastietokannasta 16, tälle potilaalle esi- 3 merkiksi tautihistorian perusteella valikoidun referenssidatan (vaihe 564) anonyy-N titles, including the history, (step 561) from the patient database 16, for this patient 3 for example, the anonymity of the reference data (step 564) selected on the basis of the medical history
O 30 — mitietokannasta 17 ja tälle tapaukselle aiemmin tarkennetut ja tallennetut algoritmit z (vaihe 566) algoritmigeneraattorilta 13. Seuraavaksi tekoälyprosessori 12 soveltaa - algoritmeja (vaihe 567) referenssidatan ja potilaan mittaushistoriadatan kanssa 3 tämänkertaisiin mittaus- ja kuvaustuloksiin ja prosessoi niistä raportin (vaihe 568) o ja lähettää sen käyttäjän 3 mobiililaitteelle 30. > 35O 30 — from the data base 17 and the previously refined and stored algorithms z for this case (step 566) from the algorithm generator 13. Next, the artificial intelligence processor 12 applies - algorithms (step 567) with the reference data and the patient's measurement history data 3 to the current measurement and imaging results and processes a report from them (step 568) o and sends it to user 3's mobile device 30. > 35
Käyttäjä 3 näkee raportin (vaihe 569) ja tuloksen mukaan joko toteaa tilanteen hy- väksi eikä lähetä raporttia lääkärille 4 tai toteaa tilanteen pahaksi ja lähettää rapor- tin (vaihe 570) omilla kommenteillaan varustettuna lääkärille.User 3 sees the report (step 569) and, depending on the result, either finds the situation good and does not send the report to doctor 4, or finds the situation bad and sends the report (step 570) with his own comments to the doctor.
Laatikossa 580 olevat tapahtumat tapahtuvat lääkärin 4 mobiililaitteessa 40. Lää- käri vastaanottaa ilmoituksen raportin saapumisesta ja siirtyy joko heti tai myö- hemmin tutkimaan raporttia. Hän analysoi taudin tilanteen, tekee diagnoosin ja — suunnittelee toimenpiteet (vaihe 571), jotka hän kirjaa raporttiin ja lähettää takaisin käyttäjälle (vaihe 572). Lisäksi hän halutessaan lähettää raportin myös tekoälyn opettamiseksi (vaihe 573) kyseisen kaltaisia tilanteita varten. Opetusdata (vaihe 574) tallentuu anonyymiin tietokantaan 17, josta algoritmigeneraattori poimii 13 sen ja tarkentaa algoritmeja (vaihe 575) sen mukaan. Tarkennetut algoritmit tallen- — tuvat (vaihe 576) ja ovat seuraavilla kerroilla käytettävissä.The events in box 580 take place on doctor 4's mobile device 40. The doctor receives a notification of the arrival of the report and moves either immediately or later to examine the report. He analyzes the disease situation, makes a diagnosis and — plans measures (step 571), which he records in a report and sends back to the user (step 572). In addition, if he wishes, he also sends a report to teach the artificial intelligence (step 573) for situations like that. The training data (step 574) is stored in an anonymous database 17, from which the algorithm generator extracts 13 it and refines the algorithms (step 575) accordingly. Refined algorithms are saved (step 576) and are available for subsequent times.
Keksinnön edistyneessä suoritusmuodossa, jossa käyttäjältä pyydetään jälkikä- teen palautetta potilaan tervehtymisestä, datan analysointivaiheessa 567 tekoäly analysoi mittausdatan laadun ja mittaustapahtuman eheyden (molemmat korvat — mitattu ja oleelliset mittaukset, ainakin akustinen ja lämpötila, suoritettu) ja asettaa tuloksen perusteella opetuskäyttöön kelvolliset mittaustapahtumat jälkitarkastuslis- talle. Tällöin tekoäly-yksikkö 11 lähettää asetetun ajan, esimerkiksi 6 viikon, kulut- tua käyttäjän mobiililaitteeseen 30 viestin, jossa käyttäjää pyydetään mittaamaan potilaan korvat vielä uudelleen. Viestissä kysytään tietoja myös potilaan tervehty- — misen edistymisestä, mahdollisista antibioottikuureista ja muista hoitotoimenpiteis- tä. Tekoäly-yksikkö 11 liittää nämä tiedot potilastietokantaan 16 käytettäväksi ope- tusdatana ko. potilaan henkilökohtaisesti räätälöityjen algoritmien tarkentamiseen mutta myös anonymisoituna opetusdatana anonyymitietokantaan 17 käytettäväksi yleisten algoritmien tarkentamiseen algoritmigeneraattorissa 13.In an advanced embodiment of the invention, where the user is asked for feedback about the patient's recovery afterwards, in the data analysis phase 567, the artificial intelligence analyzes the quality of the measurement data and the integrity of the measurement event (both ears — measured and essential measurements, at least acoustic and temperature, performed) and, based on the result, places the measurement events suitable for educational use on the post-checklist . In this case, the artificial intelligence unit 11 sends a message to the user's mobile device 30 after the set time has elapsed, for example 6 weeks, in which the user is asked to measure the patient's ears again. The message also asks for information on the progress of the patient's recovery, possible antibiotic courses and other treatment procedures. The artificial intelligence unit 11 connects this information to the patient database 16 for use as teaching data. for refining the patient's personally tailored algorithms, but also as anonymized teaching data to the anonymous database 17 for use in refining general algorithms in the algorithm generator 13.
Tekoäly-yksikkö 11 voidaan ohjelmoida käyttämään mittaustulosten prosessoin- > nissa esimerkiksi hahmontunnistukseen perustuvaa mittaustulosten luokitteluaThe artificial intelligence unit 11 can be programmed to use, for example, classification of measurement results based on pattern recognition in the processing of measurement results
N (classification) tai klusterointia (clustering) ja taudin tilan/muutosten laskentaa 3 luokkien perusteella. Luokittelu voi tapahtua esimerkiksi kNN-menetelmällä (kN (classification) or clustering and calculation of disease status/changes based on 3 categories. Classification can be done, for example, with the kNN method (k
O 30 Nearest Neighbour), jossa mittaustulosta verrataan vertailuaineistoon etsimällä kO 30 Nearest Neighbor), where the measurement result is compared to the reference material by finding k
I kpl lähimpiä naapureita, jotka tarkoittavat lähinnä samankaltaisia tapauksia. Naa- - purit valitaan laskemalla mittaustulosta kuvaavan pisteen etäisyyttä M- 3 dimensioisessa vektoriavaruudessa muista mittaustuloksia kuvaavista pisteistä, o missä M on mittaustuloksista saatavien piirteiden lukumäärä. Dimensioina voidaan > 35 — käyttää mittaustuloksista irrotettuja piirteitä, kuten akustisen heijasteen vasteita eri taajuuksilla, akustisen vasteen tai ultraäänikaiun verhokäyrän arvoja eri ajan het- kinä (esimerkiksi heijaste tärykalvosta, heijaste välikorvan takaseinästä), tärykal- von värin lukuarvoksi koodattua arvoa, tärykalvon liikkeen amplitudia tärykalvon keskellä ja erikseen sen alaosassa, tärykalvon lämpötilan arvoa, kemiallisen antu- rin antamaa mittausarvoa yms. Myös lääkärin tai muun asiantuntijatahon antama diagnoosi ja käyttäjän jälkitarkastusmittauksen yhteydessä antamat tiedot käyte- tyistä hoidoista ja paranemisen kuusta voidaan koodata piirteiksi, joita algoritmi voi — käyttää dimensioina ko. vektoriavaruudessa. Lisäksi piirteille voidaan määritellä yksilöidyt painokertoimet, joita säätämällä algoritmia voidaan hienovirittää.I number of nearest neighbors, which mean mostly similar cases. Neighbors are selected by calculating the distance of the point describing the measurement result in M- 3-dimensional vector space from other points describing the measurement results, o where M is the number of features obtained from the measurement results. As dimensions, > 35 — features extracted from the measurement results can be used, such as responses of the acoustic reflection at different frequencies, values of the acoustic response or ultrasound envelope at different moments of time (for example, reflection from the tympanic membrane, reflection from the back wall of the middle ear), the value coded as a numerical value of the color of the tympanic membrane, the amplitude of the movement of the tympanic membrane of the tympanic membrane in the middle and separately in its lower part, the temperature value of the tympanic membrane, the measurement value given by the chemical sensor, etc. Also, the diagnosis given by a doctor or other expert and the information given by the user in connection with the follow-up measurement about the treatments used and the month of healing can be coded into features that the algorithm can — use as dimensions. in vector space. In addition, unique weighting factors can be defined for the features, which can be fine-tuned by adjusting the algorithm.
Muitakin tekoälyteknologiassa käytettyjä hahmontunnistus- ja klusterointimenetel- miä voidaan soveltaa keksinnönmukaisessa välikorvatulehduksen mittaus- ja seu- — rantajärjestelmässä.Other pattern recognition and clustering methods used in artificial intelligence technology can also be applied in the otitis media measurement and monitoring system according to the invention.
Tekoäly-yksikkö 11 voidaan ohjelmoida suorittamaan mittaustulosten prosessointi myös SOM-neuroverkolla (Self-Organazing Map). SOM-neuroverkossa tilastolliset yhteydet moniulotteisen sisään syötettävän datajoukon alkioiden välillä muunne- — taan yksinkertaisiksi geometrisiksi suhteiksi.The artificial intelligence unit 11 can be programmed to process the measurement results also with a SOM neural network (Self-Organizing Map). In the SOM neural network, the statistical connections between the elements of the multidimensional input data set are converted into — — simple geometric relationships.
SOM-neuroverkkoa päivitetään seuraavalla algoritmilla (1): [Ix(t) - miCti)ll = minä] x(t) - Mitt (1) missä x(te) on SOM-neuroverkon vastaanottama moniulotteinen datavektori ja milt.) on keinotekoinen neuroni eli painovektori. Aika ilmaistaan muuttujalla fx.The SOM neural network is updated with the following algorithm (1): [Ix(t) - miCti)ll = me] x(t) - Mitt (1) where x(te) is the multidimensional data vector received by the SOM neural network and milt.) is an artificial neuron i.e. weight vector. Time is expressed with the variable fx.
Painovektorin päivityssääntönä voidaan käyttää kaavoja (2) ja (3):Formulas (2) and (3) can be used as an update rule for the weight vector:
Mi(tker) = Mite) + a(t)[<(te) — mite], IE Ne (2) >Mi(tker) = Mite) + a(t)[<(te) — mite], IE Ne (2) >
N miltei) = mi(t), muulloin. (3)N almost) = mi(t), otherwise. (3)
S o 30 Parametri a on "unohdustermi", jonka suuruudesta riippuu, kuinka paljon jää päivi- z tyksessä vanhasta neuronin arvosta jäljelle. Se myös kontrolloi verkon stabiilisuut- = ta. N on topologinen naapurusto eli joukko neuroneita, jotka ovat verkossa lähin- 3 nä minimioperaation toteuttavaa neuronia.S o 30 The parameter a is a "forgetting term", the size of which depends on how much of the old neuron value remains in the update. It also controls the stability of the network. N is a topological neighborhood, i.e. a set of neurons that are closest to the neuron performing the minimum operation in the network.
OO
> 35 — Kartan päivityssääntö tarkoittaa sitä, että datavektoria x lähimpiä neuroneita m; siirretään kohti datavektoria x. Näin ollen SOM-neuroverkon neuronit oppivat ja/tai virittyvät vastaanottamiensa tulosuureiden kautta. Opetusalgoritmien tehtävänä on toteuttaa päivitystoimia siten että neuroverkon älykkyys kasvaa.> 35 — The map update rule means that the nearest neurons m to the data vector x; is moved towards the data vector x. Thus, the neurons of the SOM neural network learn and/or tune through the input quantities they receive. The task of the teaching algorithms is to implement update actions so that the intelligence of the neural network increases.
Keksinnön mukaisessa mittaus- ja seurantajärjestelmässä SOM-neuroverkko oppii tai opetetaan tuntemaan mitattavien korvien akustisia heijasteita, esimerkiksi nii- den verhokäyriä ja/tai taajuusspektrejä, ja vertailemaan niitä samasta korvasta ai- emmin tallennettuihin ja muista samaan kategoriaan kuuluvista korvista tallennet- tuihin akustisiin heijasteisiin. Lisäksi neuroverkkoon voidaan ottaa mukaan para- metreiksi optisia kuvia/videoita tärykalvosta, tärykalvon liikkeen amplitudit tärykal- von keskeltä ja erikseen sen alaosasta, lämpötilamittauksia ym. mittaustuloksia eri sensoreista ja lääkärin tai muun asiantuntijatahon määrittelemän diagnoosin piir- — teitä ja käyttäjän jälkitarkastusmittauksen yhteydessä antamia tietoja käytetyistä hoidoista ja paranemisen kuusta samalla tavoin kuin hahmontunnistusmenetel- missä.In the measurement and monitoring system according to the invention, the SOM neural network learns or is taught to know the acoustic reflections of the ears to be measured, for example their envelopes and/or frequency spectra, and to compare them with the acoustic reflections previously recorded from the same ear and from other ears belonging to the same category. In addition, optical images/videos of the tympanic membrane, amplitudes of tympanic membrane movement from the middle of the tympanic membrane and separately from its lower part, temperature measurements and other measurement results from various sensors and features of the diagnosis defined by a doctor or other expert and information provided by the user in connection with the follow-up measurement can be included as parameters in the neural network. treatments and the month of healing in the same way as in pattern recognition methods.
Neuroverkon oppiminen tapahtuu automaattisesti siten, että se päivittää algoritmi- aan osittain tai täysin itseohjautuvasti. Neuroverkon opetusrutiinille voidaan tarvit- taessa antaa merkittävästi vapauksia valita perusteorioiltaan erilaisia menetelmiä oppimisen toteuttamiseksi. Tämän oppimisen tuloksia tulee kuitenkin havainnoida ja hallita. Tätä varten opetusrutiiniin voidaan sisällyttää sisäinen validointivaihe, jonka tehtävänä on varmistaa käytettävissä olevan datan perusteella se, että eh- — dotettu uusi neuroverkko toimii riittävän hyvällä suorituskyvyllä. Tässä sovelletta- vat validointimenetelmät voivat olla esimerkiksi leave-one-out- tai leave-N-out- tyyppisiä, joissa opetusaineistosta jätetään osa pois, ja verkon oppiminen varmis- tetaan soveltuvilla tilastomenetelmillä opetusaineiston ulkopuolelle jätetyn datan perusteella. Validointimenetelmät voivat olla myös regressiopohjaisia. Niissä esi- — merkiksi neuroverkon toivotun vasteen ja sen tuottaman vasteen välistä yhteyttä tarkastellaan regressionanalyysillä tavanomaisten parametrien avulla käyttäen kor-The neural network learns automatically in such a way that it updates its algorithm partially or completely self-controlled. If necessary, the teaching routine of the neural network can be given considerable freedom to choose methods with different basic theories to implement learning. However, the results of this learning must be observed and managed. For this purpose, an internal validation step can be included in the teaching routine, the task of which is to ensure, based on the available data, that the proposed new neural network works with sufficiently good performance. The validation methods applied here can for example be of the leave-one-out or leave-N-out type, where a part of the teaching material is left out, and the learning of the network is ensured with suitable statistical methods based on the data left out of the teaching material. Validation methods can also be regression-based. In them, for example, the connection between the desired response of the neural network and the response it produces is examined by regression analysis with the help of conventional parameters, using cor-
D relaatiokerrointa. Suorituskykyparametrina voi toimia myös sovelluskohtainenD relation coefficient. An application-specific one can also serve as a performance parameter
N määritelmä esimerkiksi välikorvatulehdusdiagnoosin sensitiivisyydestä tai spesifi- 3 syydestä käytettävissä olevan datan laajuudessa. Monimutkaisissa tapauksissaN definition, for example, of the sensitivity or specificity of otitis media diagnosis in the scope of available data. In complex cases
O 30 —neuroverkon oppimista voidaan kontrolloida myös siten, että neuroverkon opetus-O 30 —the learning of the neural network can also be controlled in such a way that the learning of the neural network
I prosessi tuottaa jatkuvasti ehdolle vaihtoehtoja uudeksi, aiempaan verrattuna pa- - remmaksi, neuroverkoksi ja esittelee niitä vastaavat suorituskykyparametrit. Mikäli 3 tilanne on liian monimutkainen koneen pääteltäväksi, voidaan tässä vaiheessa o pyytää myös neuroverkon oppimista monitoroivaa asiantuntijahenkilöä päättä- > 35 — mään ehdolla olevista paras vaihtoehto. Tämän joko koneen tai ihmisen tekemän päätöksen jälkeen valittu neuroverkko otetaan käyttöön.The I process continuously generates alternatives for the condition as a new neural network, better compared to the previous one, and presents the performance parameters corresponding to them. If the 3 situation is too complicated for the machine to conclude, at this stage o you can also ask an expert monitoring the learning of the neural network to decide the best option among the candidates. After this decision, either by a machine or by a human, the selected neural network is deployed.
Neuroverkon oppimisen kontrolloimista varten voidaan kullakin ajanhetkellä käy- tössä olleen neuroverkon toimintaperiaate dokumentoida. Lähtökohtaisesti tämä tapahtuu tallentamalla muistiin sovelluksen käytössä olleet neuroverkot kullakin ajanhetkellä. Tämän lisäksi voidaan tallentaa muistiin ihmiselle ymmärrettävässä muodossa oleva tulkintaraportti, joka kuvaa kyseisen neuroverkon suorituskyvyn ja toimintaperiaatteen sillä hetkellä käytössä olleen datan valossa. Tämä raportti voi sisältää myös kuvauksen siitä, millä periaatteella kyseinen uusi neuroverkko valit- tiin käyttöön edellisen seuraajaksi. Tämä ajan kuluessa kertyvä neuroverkon do- kumentaatio voi myös toimia palautteena neuroverkon päivityskriteerien automa- — tisoinnissa. Käytännössä neuroverkon päivittäminen suorituskykyisemmäksi tar- koittaa sitä, että tekoäly-yksikön 11 algoritmeja tarkennetaan vertailuaineiston kart- tumisen myötä siten, että tarkennetut algoritmit testataan ennen käyttöönottoa ai- emmin mitatulla datalla ja hyväksytään otettavaksi käyttöön vain, jos ne antavat paremman osuvuuden taudin laadun, tilan ja syiden arviointiin.In order to control the learning of the neural network, the operating principle of the neural network in use at each moment in time can be documented. Basically, this is done by saving the neural networks used by the application at each moment in time. In addition to this, an interpretation report in human-understandable form can be stored in the memory, which describes the performance and operating principle of the neural network in question in the light of the data that was in use at that time. This report can also include a description of the principle on which the new neural network in question was selected for use as a successor to the previous one. This neural network documentation accumulated over time can also serve as feedback in the automation of the neural network update criteria. In practice, updating the neural network to a more efficient one means that the algorithms of the artificial intelligence unit 11 are refined with the accumulation of reference material, so that the refined algorithms are tested with previously measured data before implementation and are only approved for implementation if they give a better relevance to the quality, state and for the assessment of causes.
Sama periaate voidaan tehdä muillakin neuroverkkoperiaatteilla kuin SOM:lla, esimerkiksi feedforward-neuroverkoilla (single-layer perceptron, multi-layer per- ceptron, deep neural networks), ja niiden lukuisilla variaatiolla ja alalajeilla. Myös esimerkiksi geneettisiä algoritmeja ja sumeaa logiikkaa voidaan hyödyntää peri- — aatteen toteuttamiseksi. Neuroverkkojen toteutus ja/tai opetusrutiinit voidaan tehdä joko ohjelmakoodeilla (SW) tai elektroniikalla (HW). Jos toteutuksessa käytetään tehokkaita HW-pohjaisia menetelmiä (tarvittaessa myös rinnakkaisprosessointia), tämä nopeuttaa datan käsittelyä ja lisää keinovalikoimaa tunnistaa datasta piirteitä massiviisissa laskennoissa, joissa SW-ratkaisun teho ei riittäisi.The same principle can be done with other Neural network principles than SOM, for example feedforward neural networks (single-layer perceptron, multi-layer perceptron, deep neural networks), and their numerous variations and subspecies. For example, genetic algorithms and fuzzy logic can also be used to implement the principle. The implementation of neural networks and/or teaching routines can be done either with software codes (SW) or electronics (HW). If efficient HW-based methods are used in the implementation (also parallel processing if necessary), this speeds up data processing and increases the range of means to identify features from the data in massive calculations where the power of a SW solution would not be sufficient.
Erilaisia neuroverkkoratkaisuja voidaan sijoittaa algoritmigeneraattoriin 13 ja oh- > jelmoida tekoäly-yksikkö 11 valitsemaan tilanteesta riippuen käyttöön parhaanVarious neural network solutions can be placed in the algorithm generator 13 and the artificial intelligence unit 11 can be programmed to select the best one depending on the situation
N suorituskyvyn omaava neuroverkkoperiaate. Valikoimassa voi olla mukana myös 3 eri hahmontunnistusmenetelmiä, jolloin tekoäly-yksikkö 11 voi soveltaa tilanteestaA neural network principle with N performance. The selection can also include 3 different pattern recognition methods, in which case the artificial intelligence unit 11 can apply the situation
O 30 — riippuen neurolaskentaa tai hahmontunnistusta tai niiden yhdistelmää. = - Neuroverkkolaskenta voidaan ohjelmoida toimimaan erikseen kullekin mittausta- 3 valle, kuten akustiselle reflektometrialle, optisille tarykalvokuville, akusto-optiselle o stroboskooppikuvaukselle, ultraäänimittauksille, tympanometriavideoille, lämpöti- > 35 — lalle, kemiallisille mittauksille ym. Lopuksi näistä saaduille tuloksille voidaan käyt- tää neuroverkkolaskentaa yhdistämään kaikki tulokset yhdeksi taudin tilan ja sen muutoksen arvoksi, joista taudin tila näytetään mobiililaitteen näytöllä vihreänä, keltaisena tai punaisena korvan kuvana.O 30 — depending on neurocomputing or pattern recognition or their combination. = - Neural network computing can be programmed to work separately for each method of measurement, such as acoustic reflectometry, optical thymic images, acousto-optic o stroboscope imaging, ultrasound measurements, tympanometry videos, temperature, chemical measurements, etc. Finally, neural network computing can be used for the results obtained from these to combine all the results into one value of the disease state and its change, from which the disease state is displayed on the screen of the mobile device as a green, yellow or red image of the ear.
Edellä on kuvattu eräitä keksinnön mukaisen menetelmän ja laitteen edullisia suo- ritusmuotoja. Keksintö ei rajoitu juuri kuvattuihin ratkaisuihin, vaan keksinnöllistä ajatusta voidaan soveltaa lukuisilla tavoilla patenttivaatimusten asettamissa rajois- sa. oOSome advantageous embodiments of the method and device according to the invention have been described above. The invention is not limited to the solutions just described, but the inventive idea can be applied in numerous ways within the limits set by the patent requirements. oO
OO
NOF
<+ <Q<+ <Q
OO
I a a +I a a +
OO
OO
N oNo
OO
NOF
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FI20197064AFI20197064A1 (en) | 2019-04-10 | 2019-04-10 | Multimodal measuring and monitoring of middle ear inflammation using artificial intelligence |
| PCT/FI2020/000007WO2020208291A1 (en) | 2019-04-10 | 2020-04-07 | Multimodal measuring and tracking of middle ear otitis by artificial intelligence |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FI20197064AFI20197064A1 (en) | 2019-04-10 | 2019-04-10 | Multimodal measuring and monitoring of middle ear inflammation using artificial intelligence |
| Publication Number | Publication Date |
|---|---|
| FI20197064A1true FI20197064A1 (en) | 2020-10-11 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FI20197064AFI20197064A1 (en) | 2019-04-10 | 2019-04-10 | Multimodal measuring and monitoring of middle ear inflammation using artificial intelligence |
| Country | Link |
|---|---|
| FI (1) | FI20197064A1 (en) |
| WO (1) | WO2020208291A1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7630952B2 (en)* | 2020-10-26 | 2025-02-18 | キヤノン株式会社 | Information processing system, information terminal, information processing method and program |
| US20220161047A1 (en)* | 2020-11-23 | 2022-05-26 | RayBalance, Inc. | Systems and methods for photobiomodulation |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150248536A1 (en)* | 2012-10-19 | 2015-09-03 | Jack Tawil | Modular telemedicine enabled clinic |
| US9867528B1 (en)* | 2013-08-26 | 2018-01-16 | The Board Of Trustees Of The University Of Illinois | Quantitative pneumatic otoscopy using coherent light ranging techniques |
| WO2015035229A2 (en)* | 2013-09-05 | 2015-03-12 | Cellscope, Inc. | Apparatuses and methods for mobile imaging and analysis |
| JP2018527997A (en)* | 2015-05-12 | 2018-09-27 | ジップライン ヘルス、インク． | Apparatus, method and system for obtaining medical diagnostic information, and provision of telemedicine services |
| CN109997147B (en)* | 2016-09-02 | 2023-09-05 | 俄亥俄州创新基金会 | Systems, methods, and computer readable media for classifying tympanic membrane pathology |
| CN207755252U (en)* | 2017-09-11 | 2018-08-24 | 合肥德易电子有限公司 | A kind of intelligent radio scope pickup-light source system |
| Publication number | Publication date |
|---|---|
| WO2020208291A1 (en) | 2020-10-15 |
| Publication | Publication Date | Title |
|---|---|---|
| US12011261B2 (en) | Autonomous diagnosis of ear diseases from biomarker data | |
| US11839444B2 (en) | Ceiling AI health monitoring apparatus and remote medical-diagnosis method using the same | |
| EP3776586B1 (en) | Managing respiratory conditions based on sounds of the respiratory system | |
| US11191432B2 (en) | Wearable health monitoring system | |
| JP6450085B2 (en) | Health condition inspection device | |
| US20170007126A1 (en) | System for conducting a remote physical examination | |
| US20110176106A1 (en) | Portable eye monitoring device and methods for using the same | |
| CN111182832A (en) | Sound disturbance assessment in diagnostic hearing health systems and methods of use thereof | |
| US20220122726A1 (en) | A system and method for medical diagnosis support | |
| CN110621226A (en) | Diagnostic hearing health assessment system and method | |
| CN112289397A (en) | Comprehensive management system for hearing examination and hearing aid fitting effect evaluation | |
| FI20197064A1 (en) | Multimodal measuring and monitoring of middle ear inflammation using artificial intelligence | |
| WO2020161710A1 (en) | A system and method for cluster based medical diagnosis support | |
| WO2021140670A1 (en) | Information transmission device and information transmission method | |
| WO2018207711A1 (en) | Health monitoring system, health monitoring method, and health monitoring program | |
| Lee et al. | Real-time deep learning-assisted mechano-acoustic system for respiratory diagnosis and multifunctional classification | |
| Kasher | Otitis media analysis-an automated feature extraction and image classification system | |
| KR20230111287A (en) | Smart healthcare device and method thereof | |
| CN112617896B (en) | Remote fetal heart monitoring system | |
| CN114596970A (en) | Self-service inquiry method and system | |
| Aswini et al. | For Effective, Earlier and Simplified Diagnosis of Retinopathy of Prematurity (RoP), a Probe through Digital Image Processing Algorithm in B-Scan | |
| JP7037110B2 (en) | Ophthalmology information processing program and ophthalmology information processing method | |
| KR102595644B1 (en) | Prediatric hearing prediction artificial intelligence system | |
| Nissi | Artificial intelligence in studying and evaluation of otitis media by acoustic reflectometry | |
| JP6829126B2 (en) | Ophthalmic system |
| Date | Code | Title | Description |
|---|---|---|---|
| FD | Application lapsed |