Nalaganje ...
Projekti / Programi vir: ARIS

Iskanje nekonsistentnosti v kompleksnih slikovnih podatkih z globokim učenjem

Raziskovalna dejavnost

Koda Veda Področje Podpodročje
2.07.00  Tehnika  Računalništvo in informatika   

Koda Veda Področje
P176  Naravoslovno-matematične vede  Umetna inteligenca 

Koda Veda Področje
1.02  Naravoslovne vede  Računalništvo in informatika 
Ključne besede
Deep learning, computer vision, supervised learning, semi-supervised learning, unsupervised learning, visual learning, segmentation, anomaly detection
Vrednotenje (pravilnik)
vir: COBISS
Raziskovalci (14)
št. Evidenčna št. Ime in priimek Razisk. področje Vloga Obdobje Štev. publikacijŠtev. publikacij
1.  50367  Borja Bovcon  Računalništvo in informatika  Raziskovalec  2018 - 2019  19 
2.  25402  dr. Jože Guna  Komunikacijska tehnologija  Raziskovalec  2019  245 
3.  30155  dr. Matej Kristan  Računalništvo in informatika  Raziskovalec  2018 - 2022  330 
4.  31985  dr. Janez Križaj  Sistemi in kibernetika  Raziskovalec  2018 - 2022  39 
5.  05896  dr. Aleš Leonardis  Računalništvo in informatika  Raziskovalec  2018 - 2022  455 
6.  50843  Jon Natanael Muhovič  Računalništvo in informatika  Raziskovalec  2018 - 2022  24 
7.  21310  dr. Janez Perš  Sistemi in kibernetika  Raziskovalec  2018 - 2022  244 
8.  39056  Anže Pratnemer    Tehnični sodelavec  2019 
9.  18198  dr. Danijel Skočaj  Računalništvo in informatika  Vodja  2018 - 2022  317 
10.  28458  dr. Vitomir Štruc  Sistemi in kibernetika  Raziskovalec  2018 - 2022  369 
11.  34398  dr. Domen Tabernik  Računalništvo in informatika  Raziskovalec  2018 - 2022  51 
12.  18185  dr. Andrej Trost  Elektronske komponente in tehnologije  Raziskovalec  2020  329 
13.  53924  Vitjan Zavrtanik  Računalništvo in informatika  Raziskovalec  2019 - 2020  17 
14.  19237  mag. Rok Žurbi  Telekomunikacije  Raziskovalec  2019  20 
Organizacije (2)
št. Evidenčna št. Razisk. organizacija Kraj Matična številka Štev. publikacijŠtev. publikacij
1.  1539  Univerza v Ljubljani, Fakulteta za računalništvo in informatiko  Ljubljana  1627023  16.688 
2.  1538  Univerza v Ljubljani, Fakulteta za elektrotehniko  Ljubljana  1626965  28.002 
Povzetek
V današnjem tehnološko razvitemu svetu količina prosto dostopnih podatkov nenehoma narašča, njihova obdelava pa predstavlja čedalje večji izziv in zahteva avtomatizirane postopke. Računalniški vid, podprt z metodami strojnega učenja, je znanstvena disciplina, ki omogoča avtomatsko pridobivanje informacij iz surovih vizualnih podatkov. Zadnja leta smo priča velikim izboljšavam učinkovitosti metod računalniškega vida, predvsem zaradi uporabe pristopa globokega učenja, ki se je izkazalo primerno za pridobivanje informacij iz velikih količin podatkov. Večina takšnih pristopov potrebuje označene podatke, kar posredno zahteva znatno količino dela za ročno označevanje podatkov, ki je naporno in včasih podvrženo napakam ali celo nemogoče. V predlaganem projektu bomo obravnavali izpostavljeno problematiko na področju odkrivanja anomalij na slikah z uporabo metod računalniškega vida. Anomalijo definiramo kot del (ali dele) slike, ki se po videzu bistveno razlikuje od običajnega videza na velikem številu slik. Za glavne problemske domene smo si izbrali tri naloge: odkrivanje površinskih napak pri industrijskem vizualnem pregledovanju, odkrivanje sprememb v satelitskih slikah in odkrivanje nenavadnih prizorov na slikah nadzornih kamer. Večina podatkov obravnavanih v sklopu vsakega izmed treh izbranih problemov je konsistentnih. Cilj predlaganega projekta je razviti nove metode globokega učenja za modeliranje kompleksne konsistentnosti in zaznavanje nekonsistentnosti v vizualnih podatkih z uporabo učnih slik označenih z različnimi nivoji natančnosti. Naš namen je preseči tradicionalno nadzorovano učenje, kjer je potrebno označiti vse anomalije v učnih podatkih. To bomo dosegli z uporabo treh različnih pristopov. V prvem pristopu bomo dovolili grobo označevanje regij anomalij ter razvili metodo za šibko nadzorovano diskriminativno učenje. V drugem pristopu bomo upoštevali označbe anomalij zgolj na nivoju slik, to pomeni, da regije anomalij na slikah ne bodo označene, prav tako lahko ne bodo označene vse slike učne podatkovne množice. Razvili bomo ustrezne metode za delno nadzorovano učenje, ki temeljijo na učenju z več primerki (ang., Multiple instance learning) in na samonadzorovanih metodah z nadomestnim ciljem (ang., self-supervised surrogate objective methods). Tretji pristop ter naš končni cilj bo učenje modela na vzorcih brez anomalij z uporabo globokega generativnega modeliranja. Naše delo bomo zasnovali na metodah, kot so variacijski avtoenkoderji in generativne mreže naučene z nasprotnikom (ang., generative adversarial networks), tako da bomo zamenjali klasične globoke mreže z arhitekturami, ki imajo eksplicitno kompozicionalno strukturo. Takšni popolnoma nenadzorovani učni procesi lahko vodijo do odkritja z vidika določene naloge nesmiselnih nekonsistentnosti v podatkih, zato bomo upoštevali tudi kognitivno relevanco naučenih modelov in ustrezno prilagodili učni proces. Cilj projekta je razviti splošne metode za odkrivanje anomalij na slikah, ki zahtevajo minimalno količino označenih podatkov. Razvite metode nameravamo testirali na treh povezanih, vendar različnih, nalogah; to so vizualni pregled površin, oddaljeno zaznavanje in vizualni nadzor. Zgraditi nameravamo ustrezni nabor slikovnih podatkov in ga uporabiti za ocenjevanje uspešnosti razvitih metod.  Razvili bomo več konceptov povezanih s temeljnim razumevanjem globokega učenja in jih uporabili za odkrivanje vizualnih anomalij, kjer pričakujemo poglavitni prispevek naših raziskav. Bodo pa razviti koncepti uporabni tudi v splošnih pristopih globokega učenja, tako da bodo primerni tudi za reševanje drugih izzivov s širšega področja računalniškega vida. Razvite metode bomo namensko aplicirali tudi na tri specifične raziskovalne problemske domene, tako da lahko pričakujemo pomemben prispevek tudi na teh ožjih raziskovalnih področij kot sta strojni vid in oddaljeno zaznavanje ter z njima povezanih disciplinah.
Pomen za razvoj znanosti
Zastavljeni projekt obravnava problematiko povezano z več raziskovalnimi področji. Glavni cilj je preseči obstoječe metode globokega učenja za specifični primer avtomatskega odkrivanja anomalij v vizualnih podatkih. Cilj nameravamo doseči z razvojem različnih komponent, povezanih s temeljnim razumevanjem globokega učenja, ki jih bomo v splošnem lahko uporabili za reševanje različnih izzivov računalniškega vida s pristopom globokega učenja. Projekt bo osredotočen predvsem na razvoj osnovnih metod za delno nadzorovano in nenadzorovano učenje. Obravnavali bomo učenje generativnih globokih mrež in razvili nove metode, ki vsebujejo kompozicionalne lastnosti globokih modelov. Razumevanje globokih mrež bomo izboljšali z uporabo lastnosti kompozicionalnih hierarhij. Kljub nekaterim nedavnim raziskavam pristopov globokega učenja, ki ne zahtevajo veliko število označenih podatkov, se raziskovalno področje računalniškega vida še vedno v veliki meri opira na nadzorovano učenje, zato pričakujemo, da bodo rezultati predlaganega projekta znatno vplivali na prihodnji razvoj omenjenega raziskovalnega področja. Predlagane metode bomo evalvirali na treh razsikovalnih problemih, in sicer na problemu vizualnega pregledovanja površin, oddaljenega zaznavanje in vizualnega nadzora. S tem bodo predlagane metode imele neposreden vpliv na vsako izmed navedenih treh pod-področij računalniškega vida. Poleg tega bi lahko pridobljene rezultate uporabili tudi v s temi področji povezanih interdisciplinarnih raziskavah in s tem dodatno razširili vpliv na ostala raziskovalna področja. Predlagane metode za odkrivanje anomalij na satelitskih slikah se bodo lahko neposredno uporabile za reševanje problemov, povezanih s spremljanjem okoljskih sprememb. Pripomogle bodo zlasti k spremljanju sprememb na kmetijskih površinah, gozdovih in morski gladini; pomemben vpliv bi pa lahko imele tudi na napredek v sorodnih raziskovalnih področjih. Z razvojem novih metod za odkrivanje anomalij na površinah industrijskih izdelkov z uporabo globokega učenja brez velikega števila učnih primerov nameravamo vstopiti v precej konzervativno področje strojnega vida. Razvoj takšnih metod nam bo omogočil številne možnosti za prenos ugotovitev v prakso.  Poleg raziskovalnih prizadevanj nameravamo prispevati svoj delež tudi k razvoju raziskovane skupnosti z izdelavo slikovnih podatkovnih zbirk za vrednotenje in primerjavo razvitih metod za detekcijo vizualnih anomalij. Trenutno npr. ne obstaja realistična podatkovna zbirka, ki bi bila namenjena odkrivanju anomalij na površinah objektov, kar znatno otežuje primerjavo razvitih pristopov. Pričakujemo, da bo naša javno objavljena podatkovna zbirka olajšala nadaljnje raziskave na tem področju ter omogočila primerjavo razvitih pristopov in s tem nudila trdno podlago za nadaljnje raziskave.
Pomen za razvoj Slovenije
The project addresses research issues important to several research areas. Our primary goal is to go beyond the supervised deep learning for the specific case of automated detection of anomalies in visual data. We therefore expect to go beyond the state-of-the-art in this specific research area. However, to achieve this goal, we will develop several concepts related to the fundamental understanding of deep learning, which could be applicable in deep learning approaches in general, thus applicable on various computer vision problems.   More specifically, our work will primarily focus on the development of basic methods for semi- and unsupervised learning. We will address adversarial learning of generative deep networks and show novel methods that incorporate compositional properties in deep models. Using the properties of compositional hierarchies, we will improve the understanding of deep networks. Although the computer vision and deep learning community has started investigating approaches that do not require a huge number of labelled training data, the research field still predominantly relies on supervised learning, so we expect that the results of the proposed project will have a significant impact to the future development in this research area.   We will validate the proposed methods on three problem domains, namely visual inspection, remote sensing, and visual surveillance. The proposed approaches will therefore have a direct impact in each of these three subfields of computer vision. Moreover, through interdisciplinary research, the results could also achieve a significant impact in other research areas. Our methods for anomaly detection in satellite images will be directly applicable to the problems related to the environment monitoring. In particular, monitoring of agricultural fields, forests and sea surfaces through satellite images can have significant impact on advancements in the related research fields. Similarly, with novel methods for detection of anomalies on surfaces of industrial products, we expect to enter the rather conservative field of machine vision, introducing the deep learning methods into machine vision systems for automated visual inspection even where not a lot of training samples are available. There will be therefore numerous possibilities to transfer our findings into practice.   Besides the research endeavours we also plan to contribute our share in community building. During the project we will build image datasets for evaluation and benchmarking developed methods for visual anomaly detection. In particular, as today, there is almost no realistic dataset for detection of anomalies on object surfaces, which makes the comparison of developed approaches difficult. We expect that public release of our datasets will facilitate further research in this field on part of other, international, research groups. It will make the comparison of developed approaches possible, which will set a solid basis for further research and community building.
Najpomembnejši znanstveni rezultati Vmesno poročilo
Najpomembnejši družbeno–ekonomsko in kulturno relevantni rezultati
Zgodovina ogledov
Priljubljeno