Způsob zobrazování dat ze zařízení na snímání dat a zařízení k provádění tohoto způsobuA method of displaying data from a data sensing device and a device for carrying out the method
Oblast technikyField of technology
Vynález se týká způsobu zobrazování dat ze zařízení na snímání dat, zejména obrazů, pomocí průměrování nasnímaných dat a zařízení k provádění tohoto způsobu.The invention relates to a method of displaying data from a device for capturing data, in particular images, by means of averaging the captured data and a device for performing this method.
Dosavadní stav technikyCurrent state of the art
Průměrování s fixním počtem obrázků se používá dlouhou dobu k potlačení šumu. Například k potlačení šumu kamer, signálů ze spektrometru, či potlačení šumu z dalších zařízení na snímání obrazu. Princip této metody je, že se v paměti počítače, či na disku počítače, drží několik posledních obrázků, tj. dat z kamery, či dalších zařízení. Jakmile kamera exponuje nový obrázek, tak se obrázek sečte s obrázky v historii a podělí se počtem obrázků. Výsledkem je obrázek s výrazně redukovaným šumem. Redukce šumu vzrůstá s počtem průměrovaných obrázků.Averaging with a fixed number of images has been used for a long time to suppress noise. For example, to suppress camera noise, signals from a spectrometer, or suppress noise from other image capture devices. The principle of this method is that the last few images, i.e. data from the camera or other devices, are kept in the computer memory or on the computer disk. As soon as the camera exposes a new image, the image is added to the images in the history and divided by the number of images. The result is an image with significantly reduced noise. Noise reduction increases with the number of averaged images.
Výše popsaná metoda trpí podstatnou vadou. Při proměnných scénách jsou obrázky, tj. data rozmazané a obsluha je nekomfortní v důsledku pomalé odezvy na změnu. Pokud jde o snímání proměnné scény - tato metoda selhává. Řešením je snížit počet průměrovaných snímků, například na pouhé dva, tím se ale snižuje kvalita obrazu a výrazně se zvyšuje šum a rozmazání obrazu se potlačí nedostatečně.The method described above suffers from a significant flaw. With changing scenes, the images, i.e. the data, are blurred and the operation is uncomfortable due to the slow response to the change. As for capturing a variable scene - this method fails. The solution is to reduce the number of averaged frames, for example to just two, but this reduces the image quality and significantly increases the noise and image blurring is insufficiently suppressed.
Známé příklady realizace průměrování obrazových dat:Known examples of the implementation of image data averaging:
a) V paměti se udržují všechny nasnímané snímky, případně předem zvolený počet nasnímaných snímků. Do této sady se přidá aktuálně nasnímaný snímek a po zprůměrování celé sady dat se výsledek zobrazí.a) All captured images, or a preselected number of captured images, are kept in the memory. The currently captured image is added to this set and the result is displayed after averaging the entire data set.
b) V paměti se udržuje jen průběžný výsledek průměrování a k němu se s určitou váhou přidá aktuálně nasnímaný snímek a výsledný průběžný výsledek průměrování se zobrazí. Váha, se kterou se určitý snímek přidává, muže záviset i na několika faktorech. Například počet snímků, pořadí snímku, kvalita snímku, čas, kdy byl snímek nasnímán, uživatelem předdefinovaná hodnota a jiné.b) Only the intermediate result of averaging is kept in the memory, and the currently taken image is added to it with a certain weight, and the resulting intermediate result of averaging is displayed. The weight with which a certain image is added can also depend on several factors. For example, number of frames, frame order, frame quality, time the frame was taken, user-defined value, and others.
Podstata vynálezuThe essence of the invention
Výše uvedené nedostatky jsou do značné míry odstraněny způsobem zpracování dat ze zařízení na snímání dat, zejména obrazů, pomocí průměrování nasnímaných dat, podle tohoto vynálezu. Jeho podstatou je to, že se analyzují poslední nasnímaná data a pokud se detekují změny menší, než je práh, zapne se průměrování nasnímaných dat pro zvyšování kvality obrazu, a pokud se detekují změny větší než je práh, průměrování nasnímaných dat se vypne. Práh může být nastaven přímo uživatelem nebo odhadnut z analyzovaných dat.The above-mentioned shortcomings are largely eliminated by the method of processing data from a device for capturing data, especially images, by means of averaging the captured data, according to the present invention. Its essence is that the last captured data is analyzed and if changes less than a threshold are detected, averaging of captured data is turned on to improve image quality, and if changes greater than a threshold are detected, averaging of captured data is turned off. The threshold can be set directly by the user or estimated from analyzed data.
Ideální řešení spočívá v nerealizování průměrování během změny scény a zapnutí průměrování z maximálního možného počtu snímků, jakmile změna ustane, tj. systém je v klidu. To navrhovaný způsob umožňuje. Je to docíleno tím, že se analyzují snímky z historie a z nich se určí, jestli se systém mění - mezi jednotlivými snímky byla detekována změna větší než práh, nebo jestli je systém v klidu - snímky se liší málo. Když se systém mění, tak se průměrování vypne a uživateli se ukazuje obvyklý výstup z kamery, který mu umožní pohodlně pracovat se systémem, například provádět ostření, pohyb stolkem, rotaci. Jakmile se systém ustálí, tj. nemění se, tak se zapne průměrování, které může využívat všechny nasnímané snímky od ustálení systému, a kvalita obrazu se stále zvyšuje, jak přibývá průměrovaných snímků.The ideal solution is to not perform averaging during a scene change and to turn on averaging from the maximum possible number of frames as soon as the change stops, i.e. the system is at rest. This is what the proposed method allows. This is achieved by analyzing snapshots from the history to determine if the system is changing - a change greater than a threshold has been detected between snapshots, or if the system is at rest - the snapshots differ little. When the system changes, the averaging is turned off and the user is shown the usual output from the camera, which allows him to comfortably work with the system, for example, to perform focus, stage movement, rotation. Once the system has stabilized, i.e. not changing, averaging is turned on, which can use all the images taken since the system stabilized, and the image quality continues to increase as more images are averaged.
- 1 CZ 309518 B6- 1 CZ 309518 B6
Jestliže je v systému zařízení se softwarovým řízením nebo zařízení, která dávají do softwaru informaci o změně svého stavu, můžou se tyto informace použít pro přerušení průměrování. Toto externí přerušení průměrování lze kombinovat s původním systémem. Pokud nastane změna systému, tak se vypne průměrování, jakmile změna skončí, tak se zapne průměrování. Jedná se jen o změnu systému, která má vliv na obraz, například pohyb, změna filtru a podobně.If there are software-controlled devices in the system, or devices that give the software information about their state change, this information can be used to interrupt the averaging. This external averaging interrupt can be combined with the original system. If a system change occurs, averaging is turned off, as soon as the change is over, averaging is turned on. This is just a system change that has an effect on the image, for example movement, filter change and the like.
Zařízení také umožňuje vypnout či zapnout průměrování na základě akce uživatele, například pomocí zmáčknutí tlačítka. Uživatel má také možnost zobrazit data ze snímacího zařízení bez aplikování průměrování, aniž by přerušil samotný proces průměrování. Dále se tento způsob dá použít na zpracování již zaznamenaných obrázkových sekvencí v čase, v Z sekvenci či na spektrální sekvenci. To samé platí pro jednorozměrná spektrální data. Princip je podobný, analyzují se sousední snímky, a pokud se neliší, tak se adaptivně průměrují, pokud se liší, tak se neprůměrují. Pokud má ovšem sekvence v metadatech zaznamenán stav zařízení, tj. změnu systému v čase, tak se prioritně použije tato informace.The device also allows averaging to be turned off or on based on user action, such as pressing a button. The user also has the option to display the data from the sensing device without applying averaging, without interrupting the averaging process itself. Furthermore, this method can be used to process already recorded image sequences in time, in a Z sequence or on a spectral sequence. The same is true for one-dimensional spectral data. The principle is similar, adjacent images are analyzed, and if they do not differ, they are adaptively averaged, if they differ, they are not averaged. If, however, the sequence has the state of the device recorded in the metadata, i.e. a change in the system over time, this information will be used as a priority.
Hlavní přínosy této metody jsou rychlá a automatická reakce na změny, bez nutnosti zásahu uživatele, a možnost kvalitativního zlepšení obrazových dat bez omezení počtu průměrovaných snímků. Další přínos této metody. U kamery či jiného snímače lze snížit expoziční dobu a proporcionálně tomu zvýšit gain - násobič obrazu, či použít digitální násobení signálu. Intenzita signálu zůstane stejná, ale podstatně se zvýší framerate - počet snímků za vteřinu. To umožňuje pohotovější práci se systémem, např. ostření. Jakmile je manipulace se systémem ukončena, tak se automaticky zapne průměrování a kvalita signálu se výrazně zvýší.The main benefits of this method are a quick and automatic response to changes, without the need for user intervention, and the possibility of improving the quality of image data without limiting the number of averaged images. Another benefit of this method. With a camera or other sensor, the exposure time can be reduced and the gain - the image multiplier - can be proportionally increased, or digital signal multiplication can be used. The signal intensity will remain the same, but the framerate - the number of frames per second - will increase significantly. This enables more responsive work with the system, e.g. focusing. As soon as the manipulation of the system is finished, averaging is automatically switched on and the quality of the signal is significantly improved.
Další přínos této metody je v tom, že na živém obrázku lze provádět anotace a měření. Pomocí tohoto způsobu lze detekovat změnu obrazu a automaticky smazat anotace, které již neodpovídají scéně po změně. Změna se může detekovat výše popsanými metodami s pomocí informace z hardwaru či pomocí vyhodnocení historie obrázků. Před navrhovaným řešením bylo nutné smazání anotací a měření provádět ručně, což celý proces komplikovalo a zdržovalo.Another benefit of this method is that annotations and measurements can be performed on the live image. Using this method, it is possible to detect a change in the image and automatically delete annotations that no longer match the scene after the change. The change can be detected by the methods described above with the help of information from the hardware or with the help of the evaluation of the image history. Before the proposed solution, deletion of annotations and measurements had to be done manually, which complicated and delayed the whole process.
Objasnění výkresůClarification of drawings
Způsob zobrazování dat ze zařízení na snímání dat, podle tohoto vynálezu bude podrobněji popsán na konkrétních příkladech provedení s pomocí přiloženého výkresu, kde na obr. 1 a obr. 2 je znázorněno schéma postupu adaptivního průměrování. Na obr. 3 jsou znázorněny příklady průběhu této metody v čase v závislosti na stavech systému. Obr. 4 a obr. 5 obsahují nákresy příkladů zařízení, které můžou být využity pro zmiňovanou metodu. Obr. 6 zobrazuje výsledná obrazová data bez použití průměrování. Obr. 7 zobrazuje výsledná obrazová data ze čtyř snímků s použitím průměrování. Obr. 8 zobrazuje výsledná obrazová data ze dvaatřiceti snímků s použitím průměrování. Obr. 9 zobrazuje výsledná obrazová data z neomezeně velkého počtu snímků s použitím průměrování.The method of displaying data from the data sensing device according to the present invention will be described in more detail using specific examples of implementation with the help of the attached drawing, where a diagram of the adaptive averaging procedure is shown in Fig. 1 and Fig. 2. Fig. 3 shows examples of the progress of this method over time depending on the system states. Giant. 4 and Fig. 5 contain drawings of examples of devices that can be used for the mentioned method. Giant. 6 shows the resulting image data without using averaging. Giant. 7 shows the resulting image data from four frames using averaging. Giant. 8 shows the resulting image data from thirty-two frames using averaging. Giant. 9 shows the resulting image data from an unlimited number of frames using averaging.
Příklady uskutečnění vynálezuExamples of implementation of the invention
Příkladný způsob zobrazování dat ze zařízení na snímání dat, zejména obrazů, pomocí průměrování nasnímaných dat, probíhá tak, že se analyzují poslední nasnímaná data a pokud se detekují změny menší, než je práh, sepne se průměrování nasnímaných dat pro stálé zvyšování kvality obrazu, a pokud se detekují změny větší, než je práh, průměrování nasnímaných dat se vypne. Průměrování nasnímaných dat je možné vypnout nebo zapnout uživatelem.An exemplary method of displaying data from a data acquisition device, particularly images, by averaging the captured data is to analyze the most recent captured data and, if changes less than a threshold are detected, turn on the averaging of the captured data to continuously improve image quality, and if changes greater than the threshold are detected, averaging of the captured data is turned off. Averaging of captured data can be turned off or on by the user.
Snímání obrazu kamerou či fotodetektorem propojené do systému s hardwarem a zobrazení v softwarové aplikaci.Image capture by a camera or photo detector connected to the system with hardware and display in a software application.
Příklady hardwarových konfigurací:Examples of hardware configurations:
- 2 CZ 309518 B6- 2 CZ 309518 B6
Fluorescenční mikroskop s ručním posunem XY, fluorescenční mikroskop s motorizovaným měničem filtrů, fluorescenční mikroskop s XYZ motorizací, konfokální mikroskop s ručním posunem XY, konfokální mikroskop s motorizovaným posunem XY, motorizovaný spektrální analyzátor dokumentů, vláknový spektrofotometr.Fluorescence Microscope with Manual XY Shift, Fluorescence Microscope with Motorized Filter Changer, Fluorescence Microscope with XYZ Motorization, Confocal Microscope with Manual XY Shift, Confocal Microscope with Motorized XY Shift, Motorized Spectrum Document Analyzer, Fiber Spectrophotometer.
Dodatečné softwarové zpracování nasnímaných dat - například časové sekvence, jež byla nasnímána pomocí výše uvedených zařízení.Additional software processing of the captured data - for example, a time sequence that was captured using the above-mentioned devices.
Nákres příkladu zařízení, které může být využito pro zmiňovanou metodu, se nachází na obr. 4. Je zde zobrazen subsystém mikroskopu 1, obsahující platformu stolku 2, platformu měniče 4 filtrů a platformu objektivů 3. Subsystém mikroskopu 1 doplňuje řídicí jednotka 7, která komunikuje s výpočetním zařízením 6 a přijímá a vykonává příkazy na změnu stavu subsystému mikroskopu 1, nadefinované uživatelem a posílá informace o změně stavu do výpočetního zařízení 6. Dále je připojeno k optické cestě subsystému mikroskopu 1 zařízení 5 na snímání obrazu - například Fluorescenční nebo Spektrální detektor, které je spojeno s výpočetním zařízením 6. Zařízení 5 na snímání obrazu snímá obrazová data, zprostředkované subsystémem mikroskopu 1, a odesílá je do výpočetního zařízení 6. Výpočetní zařízení 6 přijímá jak data ze zařízení 5 na snímání obrazu tak informace z řídicí jednotky 7 a vyhodnocuje je. Zároveň provádí zpracování obrazových dat a na základě předešlé analýzy či akcí uživatele provádí nebo neprovádí průměrování nasnímaných dat. Výsledná obrazová data se zobrazují na zobrazovací jednotce 8, například monitoru, a výsledek muže korigovat uživatel.A drawing of an example of a device that can be used for the mentioned method can be found in Fig. 4. The subsystem of the microscope 1 is shown here, including the platform of the table 2, the platform of the changer of filters 4 and the platform of objectives 3. The subsystem of the microscope 1 is completed by the control unit 7, which communicates with the computing device 6 and receives and executes commands to change the state of the microscope subsystem 1, defined by the user, and sends information about the state change to the computing device 6. Furthermore, an image sensing device 5 is connected to the optical path of the microscope subsystem 1 - for example, a Fluorescent or Spectral detector, which is connected to the computing device 6. The image sensing device 5 captures image data mediated by the microscope subsystem 1 and sends it to the computing device 6. The computing device 6 receives both data from the image sensing device 5 and information from the control unit 7 and evaluates Yippee. At the same time, it processes image data and, based on previous analysis or user actions, performs or does not perform averaging of captured data. The resulting image data is displayed on the display unit 8, for example a monitor, and the result can be corrected by the user.
Příklad dalšího provedení zařízení, které může být využito pro zmiňovanou metodu, se nachází na obr. 5. Je zde zobrazen pasivní subsystém 11 pro snímání vzorků. Tento subsystém 11 neposkytuje informace o změně svého stavu. Počítačový subsystémem 13 přijímá obrazová data ze zařízení 12 na snímání obrazu - například CCD kamera, provádí jejich zpracování a na základě jejich analýzy či akcí uživatele provádí nebo neprovádí průměrování nasnímaných dat. Výsledná obrazová data se zobrazují na zobrazovací jednotce 14 a výsledek muže korigovat uživatel.An example of another embodiment of the device that can be used for the mentioned method can be found in Fig. 5. The passive subsystem 11 for sensing samples is shown here. This subsystem 11 does not provide information about its status change. The computer subsystem 13 receives image data from the image capture device 12 - for example, a CCD camera, processes them and, based on their analysis or user actions, performs or does not perform averaging of the captured data. The resulting image data is displayed on the display unit 14 and the result can be corrected by the user.
Průmyslová využitelnostIndustrial applicability
Způsob zobrazování dat podle tohoto technického řešení nalezne uplatnění ve všech oblastech využívající snímání a zobrazování obrazových dat. Například biologický výzkum, materiálový výzkum, kontrola kvality, forenzní aplikace, medicína, cytogenetické aplikace, obrazová analýza a jiné.The method of displaying data according to this technical solution finds application in all areas using image data capture and display. For example, biological research, material research, quality control, forensic applications, medicine, cytogenetic applications, image analysis and others.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2011-509ACZ309518B6 (en) | 2011-08-17 | 2011-08-17 | A method of displaying data from a data sensing device and a device for this |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2011-509ACZ309518B6 (en) | 2011-08-17 | 2011-08-17 | A method of displaying data from a data sensing device and a device for this |
| Publication Number | Publication Date |
|---|---|
| CZ2011509A3 CZ2011509A3 (en) | 2013-02-27 |
| CZ309518B6true CZ309518B6 (en) | 2023-03-22 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CZ2011-509ACZ309518B6 (en) | 2011-08-17 | 2011-08-17 | A method of displaying data from a data sensing device and a device for this |
| Country | Link |
|---|---|
| CZ (1) | CZ309518B6 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5778156A (en)* | 1996-05-08 | 1998-07-07 | Xerox Corporation | Method and system for implementing fuzzy image processing of image data |
| US20040131267A1 (en)* | 1996-06-21 | 2004-07-08 | Adiletta Matthew James | Method and apparatus for performing quality video compression and motion estimation |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5778156A (en)* | 1996-05-08 | 1998-07-07 | Xerox Corporation | Method and system for implementing fuzzy image processing of image data |
| US20040131267A1 (en)* | 1996-06-21 | 2004-07-08 | Adiletta Matthew James | Method and apparatus for performing quality video compression and motion estimation |
| Publication number | Publication date |
|---|---|
| CZ2011509A3 (en) | 2013-02-27 |
| Publication | Publication Date | Title |
|---|---|---|
| CN105378538B (en) | Auto focusing method and system for multiple spectra imaging | |
| CN1675919B (en) | Camera system and image processing method | |
| US20080246860A1 (en) | Image processing apparatus, control method therefor, and program | |
| US9404850B2 (en) | Microscope system, image processing apparatus, and computer readable recording medium | |
| US20190072751A1 (en) | Systems and methods for detection of blank fields in digital microscopes | |
| JP2017158764A5 (en) | ||
| EP4055812B1 (en) | A system for performing ambient light image correction | |
| CN111399208B (en) | Implementation method, microscope and storage medium for focused photographing of biofluorescence samples | |
| JP2010016649A5 (en) | ||
| WO2010017239A1 (en) | System and method to generate depth data using edge detection | |
| CN109478315A (en) | Fusion image optimization system and method | |
| JP2004126574A5 (en) | ||
| EP2796916A1 (en) | Image processing device, imaging device, microscope system, image processing method, and image processing program | |
| JP2014011721A5 (en) | ||
| KR20230041602A (en) | Apparatus, method of controlling the same, and storage medium | |
| CN103868828B (en) | A kind of dust investigating based on mobile terminal | |
| JP2012085000A5 (en) | Video playback apparatus and control method thereof, video management apparatus and control method thereof | |
| JP5653464B2 (en) | Imaging apparatus, image processing apparatus, image processing method, image processing program, and storage medium | |
| JP5949559B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| JP2008092299A (en) | Electronic camera | |
| Bevilacqua et al. | Vignetting correction by exploiting an optical microscopy image sequence | |
| EP3081977B1 (en) | Microscopic image controller device for a microscope, microscope, and microscoping method | |
| CZ309518B6 (en) | A method of displaying data from a data sensing device and a device for this | |
| WO2012147492A1 (en) | Image processing device, image processing method, image processing program, and virtual microscope system | |
| TWI858289B (en) | Method and system for motion segmentation |