Projekti / Programi
Učenje, analiza in detekcija gibanja v okviru hierarhične kompozicionalne vizualne arhitekture
Koda |
Veda |
Področje |
Podpodročje |
2.07.07 |
Tehnika |
Računalništvo in informatika |
Inteligentni sistemi - programska oprema |
Koda |
Veda |
Področje |
P176 |
Naravoslovno-matematične vede |
Umetna inteligenca |
Koda |
Veda |
Področje |
1.02 |
Naravoslovne vede |
Računalništvo in informatika |
Računalniški vid; modeliranje vizualnih kategorij gibanja, akcij, aktivnosti; učenje kategorij gibanja; vizualna kategorizacija gibanja, akcij, aktivnosti; hierarhično modeliranje gibanja; video zbirke; interaktivni uporabniški vmesniki.
Raziskovalci (17)
št. |
Evidenčna št. |
Ime in priimek |
Razisk. področje |
Vloga |
Obdobje |
Štev. publikacijŠtev. publikacij |
1. |
34707 |
Robert Bevec |
Proizvodne tehnologije in sistemi |
Tehnični sodelavec |
2012 - 2014 |
21 |
2. |
19284 |
dr. Marko Boben |
Računalniško intenzivne metode in aplikacije |
Raziskovalec |
2013 |
84 |
3. |
29381 |
dr. Luka Čehovin Zajc |
Računalništvo in informatika |
Raziskovalec |
2014 |
126 |
4. |
26454 |
dr. Matjaž Depolli |
Računalništvo in informatika |
Raziskovalec |
2011 - 2014 |
100 |
5. |
32148 |
dr. Denis Forte |
Računalniško intenzivne metode in aplikacije |
Raziskovalec |
2011 - 2014 |
15 |
6. |
06856 |
dr. Stanislav Kovačič |
Sistemi in kibernetika |
Raziskovalec |
2011 - 2014 |
390 |
7. |
30155 |
dr. Matej Kristan |
Računalništvo in informatika |
Raziskovalec |
2011 - 2014 |
331 |
8. |
05896 |
dr. Aleš Leonardis |
Računalništvo in informatika |
Vodja |
2011 - 2014 |
455 |
9. |
35073 |
Matjaž Majnik |
Računalništvo in informatika |
Raziskovalec |
2013 |
10 |
10. |
33172 |
dr. Rok Mandeljc |
Sistemi in kibernetika |
Mladi raziskovalec |
2011 - 2014 |
56 |
11. |
21310 |
dr. Janez Perš |
Sistemi in kibernetika |
Raziskovalec |
2011 - 2014 |
245 |
12. |
32441 |
dr. Aleksandra Rashkovska Koceva |
Računalništvo in informatika |
Raziskovalec |
2011 - 2014 |
83 |
13. |
18198 |
dr. Danijel Skočaj |
Računalništvo in informatika |
Raziskovalec |
2011 - 2014 |
317 |
14. |
29551 |
dr. Vildana Sulić Kenk |
Sistemi in kibernetika |
Raziskovalec |
2011 - 2014 |
33 |
15. |
34398 |
dr. Domen Tabernik |
Računalništvo in informatika |
Raziskovalec |
2012 - 2014 |
51 |
16. |
06875 |
dr. Roman Trobec |
Računalništvo in informatika |
Raziskovalec |
2011 - 2014 |
469 |
17. |
11772 |
dr. Aleš Ude |
Proizvodne tehnologije in sistemi |
Raziskovalec |
2011 - 2014 |
480 |
Organizacije (3)
Povzetek
Zaznavanje gibanja igra osrednjo vlogo v bioloških vizualnih zaznavnih sistemih. Kompleksne mehanizme za zaznavanje in opazovanje gibanja najdemo že pri nižje razvitih bitjih. Za ljudi je uspešna analiza gibanja predpogoj za opravljanje številnih vsakdanjih opravil. Na primer, razpoznavanje aktivnosti in akcij ter njihova kategorizacija sta ključnega pomena za zavedanje okolja ter za interakcijo z okolico.
Trenutno najsodobnejše metode računalniškega vida delujejo dobro le na omejenih domenah in za specifične naloge, kar velja tudi za razpoznavanje in kategorizacijo gibanja in aktivnosti. Če jih uporabimo za zahtevnejše probleme in v bolj splošnih okoljih, se hitro izkaže, da so nerobustne, veliko manj učinkovite ali celo računsko prezahtevne. Na kratko, klasični pristopi k razpoznavanju aktivnosti niso dovolj splošni. Zato raziskovalci nenehno iščejo nove paradigme, ki bi omilile te težave.
Znanstveni dosežki zadnjih let, še posebej na področju nevrologije, nam ponujajo navdih in spoznanja, ki lahko privedejo do novih pristopov na področju računalniškega vida. Namen teh pristopov ni dosledno modeliranje funkcionalnosti človeških možganov, pač pa predvsem izboljšati delovanje metod računalniškega vida z upoštevanjem načel, ki izvirajo iz nevroloških spoznanj. Eno takšnih načel predstavlja koncept hierarhične kompozicionalnosti, ki je bil že uspešno uporabljen pri načrtovanju sodobnih metod kategorizacije objektov. V primerjavi z ostalimi sodobnimi pristopi omogočajo pristopi, ki temeljijo na hierarhični kompozicionalnosti, precej učinkovitejšo rabo računalniških virov. To dosežejo z so-uporabo tako enot predstavitve znanja kot tudi izračunov, ter s prenosom znanja, kar izjemno poveča učinkovitost učenja. Analiza gibanja z uporabo hierarhičnih kompozicionalnih metod je izziv in priložnost.
Cilji: Predlagani projekt je namenjen celostnemu pristopu k učenju, detekciji in razpoznavanju / kategorizaciji vizualnega gibanja ter pojavov, ki izhajajo iz gibanja. Temelji na novi in učinkoviti paradigmi učenja večnivojskega hierarhičnega modela. Posamezne sestavine tega pristopa, kot so hierarhična obdelava, kompozicionalnost in inkrementalni pristop, so bile v preteklosti sicer že predmet raziskav, vendar, kolikor nam je znano, niso bile še nikoli obravnavane v enotnem okviru s primarnim namenom analize gibanja. Takšen okvir je bistvenega pomena za robustnost, prilagodljivost, enostavnost učenja, inferenco, generalizacijo, delovanje v realnem času, prenos znanja in skalabilnost; šele vse to pa omogoča uporabo v širokem spektru realnih problemov s področja kognitivnega vida.
Izziv: Glavni znanstveni izziv predstavlja oblikovanje struktur in učnih procesov, ki bi omogočili učinkovito učenje robustnih, razširljivih in splošnonamenskih vizualnih predstavitev gibanja, s katerimi bi olajšali izvedbo različnih z gibanjem povezanih nalog v realnih okoljih. Obenem pa predstavlja izziv tudi izbor ustreznih metod za vrednotenje teh nalog, s čimer bi dobili bazo za ocenjevanje in primerjanje konkurenčnih pristopov.
Znanstvena novost in relevanca: Trenutno najsodobnejše rešitve zahtevajo obsežno učenje in ročno poseganje v algoritem, so nerobustne, in jih je težko razširiti v nova okolja oziroma posplošiti za nove naloge. Paradigma učenja večnivojskih hierarhičnih vizualnih modelov ponuja način za premagovanje tovrstnih omejitev.
Izvedljivost: Predlagani projekt je izvedljiv zaradi svoje osredotočenosti na skupino jasno opredeljenih zahtev, ki so bile prevedene v znanstveno in tehnološko zelo napredno metodologijo. Slednja je podprta z dobro definiranim eksperimentalnim delom, s katerim bo možno potrditi predlagani pristop.
Pomen za razvoj znanosti
Rezultati raziskovalnega projekta so v znanstvenem smislu neposredno pomembni tako za primarno znanstveno področje, to je področje računalniškega vida, kot tudi za razvoj področja analize gibanja. Učenje in razpoznavanje gibanja je ena od osrednjih raziskovalnih tem tako računalniškega kakor tudi umetnega kognitivnega vida. Razlog je v velikem znanstveno raziskovalnem izzivu in v pričakovanju, da bodo rešitve s tega področja uporabne v številnih avtomatskih sistemih, ki temeljijo na učinkovitem zaznavanju, sledenju in razpoznavanju gibanja. V projektu smo postavili novo paradigmo oblikovanja algoritmov in sistemov za zaznavanje ter interpretacijo gibanja. Osrednji prispevek je nov pristop, ki temelji na učenju kompozicionalnih hierarhičnih modelov strukture gibanja, in omogoča povezavo z zaznavo kategorij oblik, ne glede na to, ali je ta zasnovana kompozicionalno ali ne. To vodi h konsistentnejšemu pristopu obravnavanja gibanja in oblike, ki ga lahko dopolnimo še z tretjo komponento, to je kompozicionalno zasnovo sledenja objektov. Pomemben rezultat projekta je ugotovitev, da rezultat učenja generativnega modela (med katere sodijo tudi kompozicionalni hierarhični modeli) ni nujno splošno uporaben, tudi če model na uveljavljenih zbirkah posnetkov deluje dobro. Ta ugotovitev daje težo kompozicionalni hierarhični zasnovi pred drugimi načini globokega učenja (npr. nevronskimi mrežami), saj je pri ustrezno zasnovanem kompozicionalnem modelu možno preveriti, ali so strukture, do katerih pridemo z učenjem na posameznih slojih, smiselne. Pomembno preventivno vlogo morajo tu igrati načini, kako omejiti “pozornost” učenja, kar načeloma lahko dosežemo s sledenjem za aktivnost pomembnih objektov ali pa z dodatnim virom ne-vizualne informacije (npr. smerjo pogleda, angl. gaze direction), v primeru implementacije na robotu pa z uporabo drugih senzorjev, poleg vidne informacije. Hitre vzporedne izvedbe algoritmov pomenijo, da so rezultati uporabni na področju kognitivne robotike, kjer bodo rezultati projekta tako omogočili hitrejše in robustnejše zaznavanje in interpretacije gibanja, s tem pa tudi možnost izvrševanja kompleksnejših nalog in interakcije z okoljem in uporabniki.
Pomen za razvoj Slovenije
Analiza gibanja je pomemben del aplikacij prihodnosti, tako v videonadzornih in varnostnih sistemih, inteligentnih stavbah in nadzoru prometa, kot pri zabavi, igrah in športu. Znanje, ki ga je projektna skupina osvojila in diseminirala, pri čemer bo z diseminacijo rezultatov projekta še nadaljevala, ima znaten pomen za promocijo države, dostopanje do tujih znanj, vključevanje v mednarodno delitev dela in vzgojo kadrov. Projektna skupina je globoko vpeta v prenos znanja iz akademske sfere v praktično uporabo, kar kažejo družbenoekonomski dosežki v toku tega projekta. Rezultati tega projekta so bili aplicirani na industrijski projekt, ki vključuje razvoj avtomatske multimedijske naprave za video-konferenčne klice, ki uporabniku omogoča izbiro in sledenje osebe, s katero imajo konferenčni klic, medtem ko se ta oseba prosto giblje po sobi. Trenutno poteka intenzivno sodelovanje z raziskovalci s področja športa pri aplikacijah, ki vključujejo modeliranje gibanja športnikov ter analizo njihovih aktivnosti v športnih igrah. Člani projektne skupine so v sodelovanju z slovenskim podjetjem razvili tudi nizkocenovno inteligentno kamero, ki predstavlja idealno platformo za omrežja vizualnih senzorjev, zlasti v inteligentnih stavbah. Kot je razvidno iz seznama družbeno-ekonomskih dosežkov, člani projektne skupine na nekaterih področjih znanosti prevzemajo tudi pobudo v obliki organizacije izzivov/tekmovanj ter delavnic v okviru najbolj priznanih konferenc s področja računalniškega vida. Člani projektne skupine imajo pogoste stike s potencialnimi interesenti za rešitve računalniškega vida, tako iz gospodarstva kot iz akademskega okolja, pri čemer se je pogosto izkazalo, da trenutno stanje znanosti ne ponuja vseh rešitev, ki bi jih stranke želele. Zato bo znanje, pridobljeno v tem projektu, našlo pot v nove rešitve in izdelke predvsem preko omenjenih kanalov. Projektna skupina je tako pridobila dodatne kompetence s področja modeliranja gibanja, detekcije in sledenja objektov, ki jih lahko ponudi vsem zainteresiranim, vključno z morebitnimi startup podjetji.
Najpomembnejši znanstveni rezultati
Letno poročilo
2011,
2012,
2013,
zaključno poročilo,
celotno poročilo na dLib.si
Najpomembnejši družbeno–ekonomsko in kulturno relevantni rezultati
Letno poročilo
2011,
2012,
2013,
zaključno poročilo,
celotno poročilo na dLib.si