Projekti / Programi
Segmentacija in rekonstrukcija superkvadričnih modelov iz 3D podatkov s pomočjo nevronske mreže
| Koda |
Veda |
Področje |
Podpodročje |
| 2.07.00 |
Tehnika |
Računalništvo in informatika |
|
| Koda |
Veda |
Področje |
| P170 |
Naravoslovno-matematične vede |
Računalništvo, numerična analiza, sistemi, kontrola |
| Koda |
Veda |
Področje |
| 1.02 |
Naravoslovne vede |
Računalništvo in informatika |
globoke nevronske mreže, 3D podatki, volumetrični modeli, segmentacija in rekonstrukcija geometrijskih modelov
Raziskovalci (20)
Organizacije (2)
Povzetek
Računalniški vid poskuša vsaj delno replicirati funkcionalnost človeškega vidnega zaznavanja. Eden od številnih nalog vidnega zaznavanja je omogočiti interakcijo s fizičnih okoljem, ki nas obdaja, da se lahko premikamo po prostoru brez zadevanja v ovire, da se lahko dotikamo in prijemamo predmete, ter razpoznavamo objekte na različnih stopnjah abstrakcije. Dokaj zgodaj v razvoju računalniškega vida je postalo jasno, da bi izpolnjevanje teh nalog zahtevalo, da vizualne informacije na neki določeni stopnji predstavimo v obliki prostorskih ali volumetričnih modelov, saj ti najbolj neposredno odražajo 3D strukturo prostora, ki nas obdaja.
Eden od še vedno popularnih volumetričnih modelov na ravni perceptualnih fizičnih delov, kjer je potrebno predstaviti dejansko 3D obliko so superkvadriki. Superkvadriki so definirani s sklenjeno površino, ki lahko navzame obliko elipsoidov, valjev in paralepipedov, ter vseh vmesnih oblik. Superkvadriki so popularni zlasti v robotiki za načrtovanje oprijemov predhodno neznaniih predmetov.
V 1990-tih smo razvili še danes aktualno metodo za segmentacijo in rekonstrukcijo superkvadrikov iz globinskih slik. Popularnost in razširjenost metode je moč razbrati iz citatov v Google učenjaku (1500 citatov kadarkoli, 100 citatov po 2014).
Dva razloga pa sta preprečevala v preteklosti širšo uporabo te naše metode:
pomanjkanje in visoka cena pridobivanje 3D slikovnih podatkov,
iterativna metoda rekonstrukcije modelov, kar je naredilo metodo neprimerno za aplikacije, ki delujejo v realnem času.
Medtem ko je zaradi tehnološkega napredka v zadnjem desetletju na voljo veliko različnih metod in naprav za pridobivanje 3D slikovnih podatkov, pa iterativna narava metode še vedno preprečuje njeno uporabo v realnem času.
Pot k hitrejši metodi pa je dokaj očitna – uporaba globokih nevronskih mrež, ki so le v par zadnjih parih letih revolucionirale raziskave v računalniškem vidu. V nekaj zadnjih letih so konvolucijske nevronske mreže (Convolutional Neural Networks – CNN) postopoma in zanesljivo postale najvažnejša metoda za reševanje problemov v računalniškem vidu. Ta novi računski pristop je zelo hiter, uporablja lahko velike količine podatkov in obstajajo tudi podobnosti z načinom, kako naši možgani procesirajo vizualne podatke.
V tem projektu torej predlagamo implementacijo segmentacije in rekonstrukcije superkvadrikov s pomočjo globokih nevronskih mrež (CNN). Kot vhodni podatki v CNN ne smejo služiti le globinske slike, ampak oblaki 3D točk nasploh. Dve vrsti aplikacij bi imele precejšnjo korist od rezultatov tega projekta:
aplikacije, kjer je nujno procesiranje v realnem času, kot je na primer avtonomna vožnja,
apliakcije, kjer se generira ogromne količine 3D podatkov (LiDAR, večslikovna fotogrametrija) in je potrebna inteligentna avtomatizacija obdelave teh podatkov.
V predlagani projektni skupini imamo ogromno izkušenj z supekvadričnim modeliranjem, saj smo avtorji aktualne metode. Po drugi strani, pa imamo tudi ogromno izkušenj z razvojem CNN rešitev nalog v računalniškem vidu. To dvoje nas izjemno kvalificira za predlagani projekt.
Pomen za razvoj znanosti
Cilj predlaganih raziskav je razvoj rešitve, temelječe na CNN, ki bo v realnem času segmentirala in rekonstruirala superquadrične modele iz velikih množic 3D točk.
Poleg razvoja CNN za segmentacijo in rekonstrukcijo modelov superkvadrikov iz oblakov 3D točk, bi radi ugotovili, ali bi se tak CNN dal prilagoditi tudi za segmentacijo in rekonstrukcijo modelov le na osnovi 2D intenzitetnih ali barvnih slik.
Obstaja že veliko dokazov na osnovi dosedanjih raziskav, da je združevanje 3D podatkov in modelov z CNN računskim pristopom možen in da se že dogaja. Naš cilj pa je, da razvijemo splošno metodo na osnovi CNN pristopa, ki bi znala za podano izbrano sceno, za katero bi imeli oblak 3D točk in/ali intenzitetne slike, rekonstruirati njen opis v obliki superkvadričnih modelov. Rezultat naše predlagane rešitve bi torej bile vrednosti parametrov vnaprej neznanega števila superkvadrikov, ki bi bili potrebni za ustrezen opis podane scene. Kolikor nam je znano, ne obstaja še nobena metoda za rekonstrukcijo volumetričnih modelov, kot so superkvadriki, iz oblakov 3D točk s pomočjo CNN pristopa. Predlagani raziskovalni projekt bi torej v veliki meri prispeval k vedno bolj obsežnim raziskavam uporabe CNN za 3D podatke in modele.
Ker še ne obstaja nobena druga metoda, ki bi bila tako hitra kot predlagana rešitev na osnovi nevronskih mrež, bi uspešno doseženi cilji predlaganega projekta imeli velik odmev v različnih aplikacijskih domenah, kjer je procesiranje vizualnih podatkov v realnem času nujnost in tam kjer je nujno interpretirati ogromne zbirke oblakov 3D točk. Aplikacije, kjer je potrebno procesirati podatke v realnem času je predvsem uporaba robotov v nestrukturiranem okolju, kjer se nahajajo prej neznani predmeti, ki jih je potrebno modelirati, kot je na primer avtonomna vožnja, rokovanje različnih predmetov, načrtovanje poti itd. Na znanju temelječa interpretacija ogromnih zbirk oblakov 3D točk, pridobljenih z LiDARjem ali večslikovno fotogrametrijo bi bila možna z uporabo hitrejših metod.
Pomen za razvoj Slovenije
The objective of this research proposal is to develop a CNN solution for real-time segmentation and superquadric model recovery from large 3D point clouds. In addition to the development of CNNs for segmentation and model recovery of superquadrics from 3D point clouds, we would like to find out if these CNNs for segmentation and model recovery from 3D point clouds could be adapted to reconstruction from 2D intensity images.
There is ample evidence by current research that the marriage of 3D data and models with CNN computational paradigm is adequate but only starting. Our motivation, however, is to develop a general purpose CNN based solution which can give for a given selected scene, defined with corresponding 3D point clouds and/or intensity images, its description in terms of supequadrics as part-level models. The output of our proposed solution would therefore be the parameter values of an unspecified number of superquadrics, which are necessary to describe a given scene. To our knowledge, no method exists yet for recovery of part-level volumetric models, such as superquadrics from 3D point clouds using CNNs. This research project would contribute to the growing field of 3D recovery and modeling using CNNs.
Since no other method exists that would be as fast as using deep neural networks for recovery of volumetric part-based models, the success of the proposed research would have a huge impact in application areas where real-time processing is required and when huge sets of 3D data points need to be interpreted. These application areas where real-time processing is needed are primarily robotics in unconstrained environments, where previously unknown objects can be encountered and must be modeled, such as in autonomous driving, handling of different objects, path planning, etc. Knowledge-based interpretation of huge sets of 3D data points obtained by LiDAR and multi-image photogrammetry could be achieved with faster methods.
Najpomembnejši znanstveni rezultati
Vmesno poročilo
Najpomembnejši družbeno–ekonomsko in kulturno relevantni rezultati
