Projekti / Programi
Vzdrževanje velikih podatkovnih baz na podlagi vizualne informacije z inkrementalnim učenjem
| Koda |
Veda |
Področje |
Podpodročje |
| 2.07.00 |
Tehnika |
Računalništvo in informatika |
|
| Koda |
Veda |
Področje |
| P176 |
Naravoslovno-matematične vede |
Umetna inteligenca |
| Koda |
Veda |
Področje |
| 1.02 |
Naravoslovne vede |
Računalništvo in informatika |
delno nadzorovano učenje; inkrementalno učenje; interaktivno učenje; računalniški vid; detekcija predmetov; razpoznavanje predmetov; učenje konteksta; polavtomatski sistem; slikovne podatkovne baze; detekcija prometnih znakov; mobilni kartirni sistem; evidenca prometne signalizacije
Raziskovalci (15)
| št. |
Evidenčna št. |
Ime in priimek |
Razisk. področje |
Vloga |
Obdobje |
Štev. publikacijŠtev. publikacij |
| 1. |
29381 |
dr. Luka Čehovin Zajc |
Računalništvo in informatika |
Raziskovalec |
2016 - 2017 |
124 |
| 2. |
11117 |
mag. Tomaž Gvozdanović |
Geodezija |
Raziskovalec |
2014 - 2017 |
68 |
| 3. |
30802 |
Simon Jud |
Geodezija |
Raziskovalec |
2014 - 2017 |
0 |
| 4. |
30155 |
dr. Matej Kristan |
Računalništvo in informatika |
Raziskovalec |
2014 - 2017 |
323 |
| 5. |
37267 |
Samo Kumar |
Geodezija |
Raziskovalec |
2015 - 2016 |
0 |
| 6. |
05896 |
dr. Aleš Leonardis |
Računalništvo in informatika |
Raziskovalec |
2014 - 2017 |
455 |
| 7. |
23717 |
Marko Mahnič |
Računalništvo in informatika |
Raziskovalec |
2015 - 2017 |
18 |
| 8. |
35073 |
Matjaž Majnik |
Računalništvo in informatika |
Raziskovalec |
2014 |
10 |
| 9. |
33172 |
dr. Rok Mandeljc |
Sistemi in kibernetika |
Raziskovalec |
2015 - 2017 |
56 |
| 10. |
25143 |
mag. Uroš Ranfl |
Računalništvo in informatika |
Raziskovalec |
2014 - 2017 |
23 |
| 11. |
18198 |
dr. Danijel Skočaj |
Računalništvo in informatika |
Vodja |
2014 - 2017 |
309 |
| 12. |
24391 |
mag. Domen Smole |
Geodezija |
Raziskovalec |
2015 - 2017 |
65 |
| 13. |
34398 |
dr. Domen Tabernik |
Računalništvo in informatika |
Raziskovalec |
2014 - 2017 |
50 |
| 14. |
38300 |
mag. Peter Uršič |
Računalništvo in informatika |
Raziskovalec |
2015 - 2016 |
17 |
| 15. |
28775 |
dr. Rok Vezočnik |
Geodezija |
Raziskovalec |
2014 - 2015 |
87 |
Organizacije (2)
Povzetek
Živimo v času preobilice informacij, ko bolj kot količina podatkov, ki jih zajemamo in shranjujemo, postaja pomembna njihova kvaliteta oz. verodostojnost. To še posebej velja za baze podatkov, ki temeljijo na slikovni informaciji. Čeprav je področje računalniškega vida doseglo v zadnjih letih velik napredek, so metode za avtomatsko interpretacijo slik v splošnem še vedno premalo zanesljive za samodejno polnjenje in vzdrževanje baz, ki temeljijo na podatkih pridobljenih iz slik in video posnetkov (npr. baz zaznanih predmetov). Po drugi strani pa je ročno anotiranje video posnetkov in označevanje relevantnih delov oz. predmetov zelo zamudno, drago in duhamorno delo, občutljivo na napake.
S tem projektom želimo združiti oba pristopa: čim bolj avtomatizirati samodejno interpretacijo slikovne informacije, ki je potrebna za vzdrževanje podatkovne baze, hkrati pa v ta proces na primeren način vključiti človeka, ki bo z verifikacijo zagotavljal pravilnost vnosov. To je še posebej pomembno za konkretni aplikativni cilj, ki smo si ga zastavili: razviti metodologijo primerno za polavtomatsko vzdrževanje evidence prometne signalizacije. Samo podatkovna baza z evidenco za državne ceste v Republiki Sloveniji vsebuje preko 250.000 vnosov, pridobljenih z analizo video posnetkov in uporabo dodatnih informacij. Za sprotno vzdrževanje takšnih podatkovnih baz je torej avtomatizacija procesa nujna. Glavni cilj projekta je razviti ogrodje za delno-nadzorovano inkrementalno učenje kot tudi konkretne metode za vizualno učenje in razpoznavanje, ki bodo omogočale kvalitetno in učinkovito vzdrževanje velikih podatkovnih baz na podlagi slikovne informacije.
K reševanju problema bomo pristopili na celovit način. Problem inkrementalnega učenja v interakciji s človekom bomo naslovili na splošnem meta nivoju, kjer bomo določili strategijo interaktivnega učenja, ki bo dala najboljše rezultate tako v smislu uspešnosti učenja in razpoznavanja na osnovi naučenih modelov, kot tudi v smislu zmanjševanja števila potrebnih posredovanj operaterja. Hkrati pa bomo na osnovnem nivoju razvili zmogljive metode za vizualno učenje in razpoznavanje, ki bodo to omogočale. Pri razpoznavanju predmetov ne bomo uporabljali zgolj vizualne informacije oz. slik, kot je to običaj pri klasičnih sistemih računalniškega vida, ampak bomo velik poudarek dali tudi na upoštevanju konteksta ter zlivanju vseh vrst informacij, ki bodo na voljo (zlivanje večmodalne informacije, zlivanje informacije skozi čas, upoštevanje geometrije, itn.). Upoštevali bomo več vrst konteksta, tako časovnega in prostorskega kot tudi semantičnega, ki bo omejeval področje iskanja predmetov na slikah ter izboljševal rezultate razpoznavanja. Razvili bomo tudi metode za učenje konteksta in njegovo inkrementalno osveževanje. Na raziskovalnem področju torej pričakujemo bistvene prispevke k znanosti na področju inkrementalnega učenja ter detekcije in razpoznavanja predmetov, učenja kontekstne informacije, kot tudi učenja optimalnih strategij interaktivnega inkrementalnega učenja.
Razvito metodologijo bomo aplicirali na primeru vzdrževanja evidence vertikalne in horizontalne prometne signalizacije, ki je zelo primerna za ovrednotenje razvitih algoritmov; problem je namreč zelo dobro definiran, na razpolago bomo imeli veliko količino večmodalne informacije, hkrati pa omogoča tudi učinkovito učenje in uporabo kontekstne informacije. Razvoj predlaganih algoritmov pa je tudi predpogoj za bistveno avtomatizacijo procesa vzdrževanja evidence. Tako pričakujemo tudi velik doprinos raziskav k bolj učinkovitemu spremljanju stanja prometne signalizacije, kar bi na dolgi rok lahko znatno znižalo stroške vzdrževanja nekaterih elementov prometne infrastrukture.
Predlagani projekt je izvedljiv zaradi jasno določenega cilja ter zahtev, ki so bile prevedene v znanstveno in tehnološko napredno metodologijo, primerno za aplikacijo na obravnavanem primeru uporabe.
Pomen za razvoj znanosti
Uspešna realizacija ciljev tega raziskovalnega projekta je v znanstvenem smislu neposredno pomembna tako za primarni znanstveni področji računalniškega vida in strojnega učenja, kot tudi za razvoj področja slikovnih in video zbirk. Veliko zbirk s slikovno informacijo je namreč zelo obsežnih in ročno vzdrževanje takšnih baz je zelo zamudno in drago. V okviru projekta smo razvili metode, ki ta postopek (pol)avtomatizirajo. Razvili smo algoritme za učenje ter detekcijo in razpoznavanje predmetov, ki so primerni za vzdrževanje obsežnih baz s slikovnimi podatki. Detekcija predmetov na slikah, ki se shranjujejo v bazah, poteka na samodejen način. Razviti prototip sistema na slikah detektira predmete in v primeru zanesljive detekcije samodejno osveži bazo, sicer pozove operaterja, da posreduje dodatne informacije. Tako se delo operaterja bistveno olajša, saj so zahtevki za dodatno verifikacijo precej redki. Ravno ti za sistem nejasni in kasneje ročno verificirani primeri se potem lahko uporabijo za osvežitev naučenega modela, kar lahko še bolj poveča njegovo zanesljivost. Glavni prispevki s stališča računalniškega vida so razvoj učinkovitih in zanesljivih metod za učenje in detekcijo ter razpoznavanje predmetov. Razvili smo nov postopek strojnega učenja, ki temelji na inkrementalnem učenju reprezentativnih vzorcev. Zasnovali smo tudi drugačno predstavitev vizualne informacije, ki slike modelira z neurejenimi množicami delov zakodiranimi s konvolucijsko nevronsko mrežo. Predlagali smo splošno metodo za učenje diskriminativnih delov, ki podpira sekvenčno učenje. Združili smo tudi dve paradigmi za modeliranje vizualne informacije; hierarhično, z eksplicitnim modeliranjem relacij med sestavnimi deli predmetov, ter paradigmo temelječo na umetnih nevronskih mrežah, ki je prevladala na področju računalniškega vida. Tako smo v globoke arhitekture vpeljali bolj eksplicitno modeliranje prostorskih relacij med posameznimi deli in vpeljali koncept prostorsko-adaptivnih enot za filtre v globokih nevronskih mrežah, kar omogoča učinkovito delo tudi z velikimi dovzetnimi polji. Tak pristop pomeni novost na področju globokih nevronskih mrež in ima velik potencial tako za razpoznavanje predmetov kot semantično segmentacijo. Rešitev problema detekcije prometnih znakov smo osnovali tudi na najmodernejših metodah za detekcijo predmetov, ki temeljijo na globokih arhitekturah. Predlagali smo postopek za obogatitev podatkov temelječ na modeliranju različnih faktorjev, ki vplivajo na izgled učnih primerov. Ustrezno smo naslovili tudi problem neenakomerne zastopanosti različno velikih predmetov ter pozitivnih in negativnih učnih primerov. Razviti postopek je še posebej primeren za uporabo na ciljni aplikativni domeni – vzdrževanju evidence cestne signalizacije, oz. za detekcijo in razpoznavanje prometnih znakov. Pomemben prispevek tega projekta je tudi baza slik s prometnimi znaki. Vsebuje 7.000 označenih slik 200 različnih tipov prometnih znakov, pri čemer je za vsak tip znaka zagotovljenih vsaj 20 primerov velikih vsaj 30 slikovnih elementov, kjer so vsi prometni znaki zelo natančno označeni. To je trenutno najkvalitetnejša baza slik z največjim številom kategorij prometnih znakov primerna za evalvacijo algoritmov za detekcijo in razpoznavanje.
Pomen za razvoj Slovenije
Uspešna realizacija zastavljenih ciljev v okviru tega projekta bo imela večplasten vpliv na nazvoj gospodarstva in družbe v Sloveniji. Neposredni pomen projekta na gospodarstvo je očiten, saj uspešen razvoj novih metod za interpretacijo slik omogoča učinkovitejšo in cenejšo izrabo informacijskih vsebin, ki izhajajo iz vizualne informacije. Visoko tehnološka podjetja, ki gradijo in ponujajo storitve na področju digitalnih slikovnih in večpredstavnih zbirk bi lahko metode razvite v okviru projekta izkoristila za izboljšanje ponudbe in povečanje konkurenčnosti. Podobno tehnologijo bi lahko izrabila tehnološko visoko inovativna podjetja na področju robotike in umetnih spoznavnih sistemov, kjer igra uporaba vizualne informacije zelo pomembno vlogo. Zelo primerna domena za izrabo doseženih rezultatov projekta je ravno vzdrževanje evidence prometne signalizacije. Z implementacijo in uporabo razvitega prototipa sistema se bosta izboljšali ažurnost in natančnost vzdrževanja le-te. Izboljšal se bo nadzor nad trenutnim stanjem in zmanjšali se bodo stroški za vzdrževanje evidence prometne signalizacije. Rezultati projekta bi lahko imeli neposreden vpliv na celotno gospodarsko panogo daljinskega zaznavanja, oziroma geodezije, z možnostjo nadgradnje mobilnih kartirnih sistemov. Po naših podatkih na trgu obstaja kar nekaj takšnih sistemov, vendar ti v glavnem nimajo vgrajenih funkcionalnosti računalniškega vida, kot smo jih razvili v okviru tega projekta. To pomeni, da je večina obdelav ročna in časovno potratna, zato se je veliko tovrstnih storitev iz finančnih razlogov že selilo v cenejše (pogosto neevropske) države. Z implementacijo rezultatov raziskav na tem projektu, bi lahko ta trend zaustavili. V tem projektu smo se sicer osredotočili na detekcijo prometne signalizacije z namenom vzdrževanja evidence, vendar bi lahko bile razvite metode prvi korak k še bolj učinkovitim metodam, ki bi delovale v realnem času na mobilni platformi, npr. kot pomoč pri vožnji avtomobila, ali kot pripomoček za lažjo orientacijo slepih v prometu. V času razvoja samovozečih vozil je detekcija prometnih znakov seveda zelo zaželena lastnost. Vsekakor je raziskovalna problematika z aplikativnega vidika zelo uporabna in obeta veliko možnosti za izkoriščanje rezultatov ter razvoja in trženja nove tehnologije z neposrednimi ekonomskimi učinki. V zadnjem času smo priča povečanemu zanimanju javnosti za umetno inteligenco in strojno učenje. Ker je detekcija in razpoznavanje prometnih znakov vsem poznan problem, bo strojna rešitev tega problema prav gotovo pritegnila veliko zanimanja. Z demonstracijo delovanja algoritmov bomo lahko pojasnjevali glavne principe delovanja algoritmov strojnega učenja in tako realistično prikazali potencial, ki ga ta tehnologija omogoča. In nenazadnje, med samim projektom smo k sodelovanju poleg raziskovalcev povabili tudi študente, ki so si s tem nabirali pomembne raziskovalne izkušnje. Ugotovitve, ki smo jih pridobili na projektu, smo prenašali tudi v učni proces in tako obogatili naše pedagoške aktivnosti in izkušnje. Te bomo prenašali na naslednje generacije študentov računalništva in informatike, ki je za razvoj Slovenije izredno pomembno področje.
Najpomembnejši znanstveni rezultati
Letno poročilo
2014,
2015,
zaključno poročilo
Najpomembnejši družbeno–ekonomsko in kulturno relevantni rezultati
Letno poročilo
2014,
2015,
zaključno poročilo
