Projekti / Programi
Avtomatizacija razvoja in evalvacije anketnega vprašalnika
| Koda |
Veda |
Področje |
Podpodročje |
| 5.03.00 |
Družboslovje |
Sociologija |
|
| Koda |
Veda |
Področje |
| S274 |
Družboslovje |
Raziskovalna metodologija v znanosti |
| Koda |
Veda |
Področje |
| 5.04 |
Družbene vede |
Sociologija |
Avtomatizacija razvoja in evalvacije vprašalnika, družboslovno raziskovanje, internetno raziskovanje, spletne ankete, strojno učenje, jezikovne tehnologije
Raziskovalci (16)
| št. |
Evidenčna št. |
Ime in priimek |
Razisk. področje |
Vloga |
Obdobje |
Štev. publikacijŠtev. publikacij |
| 1. |
30704 |
dr. Jernej Berzelak |
Javno zdravstvo (varstvo pri delu) |
Raziskovalec |
2014 - 2017 |
122 |
| 2. |
08952 |
dr. Damjan Bojadžiev |
Računalništvo in informatika |
Raziskovalec |
2014 - 2017 |
78 |
| 3. |
22278 |
dr. Janez Brank |
Računalništvo in informatika |
Raziskovalec |
2014 - 2017 |
95 |
| 4. |
23497 |
dr. Barbara Brečko |
Sociologija |
Raziskovalec |
2015 - 2016 |
115 |
| 5. |
34789 |
dr. Gregor Čehovin |
Sociologija |
Mladi raziskovalec |
2014 - 2017 |
52 |
| 6. |
31339 |
Tina Dolenc |
Sociologija |
Raziskovalec |
2015 - 2016 |
3 |
| 7. |
17137 |
Marko Grobelnik |
Računalništvo in informatika |
Tehnični sodelavec |
2014 - 2017 |
439 |
| 8. |
17913 |
dr. Katja Lozar Manfreda |
Sociologija |
Raziskovalec |
2014 - 2017 |
181 |
| 9. |
38368 |
Miha Matjašič |
Sociologija |
Raziskovalec |
2016 - 2017 |
33 |
| 10. |
34178 |
Mojca Mikac |
Matematika |
Tehnični sodelavec |
2014 - 2017 |
6 |
| 11. |
12570 |
dr. Dunja Mladenić |
Računalništvo in informatika |
Raziskovalec |
2014 - 2017 |
662 |
| 12. |
36854 |
Boštjan Mur |
|
Tehnični sodelavec |
2014 - 2017 |
12 |
| 13. |
33521 |
dr. Ana Slavec |
Interdisciplinarne raziskave |
Raziskovalec |
2016 |
230 |
| 14. |
21346 |
Maja Škrjanc |
Računalništvo in informatika |
Raziskovalec |
2014 |
42 |
| 15. |
19505 |
dr. Damjan Škulj |
Sociologija |
Raziskovalec |
2014 - 2017 |
157 |
| 16. |
10155 |
dr. Vasja Vehovar |
Sociologija |
Vodja |
2014 - 2017 |
840 |
Organizacije (2)
Povzetek
Ankete predstavljajo ključno raziskovalno orodje v družboslovju. Njihova kakovost je izrazito odvisna od razvoja vprašalnika, ki je zelo kompleksen proces in zahteva različne oblike znanja, od teoretičnih konceptov in kognitivnih vidikov do anketne metodologije in statistike.
Kljub hitremu razvoju informacijsko-komunikacijskih tehnologij (IKT), se proces razvoja vprašalnika v zadnjih desetletjih skorajda ni spremenil. Povsem drugačno sliko zasledimo na samem področju zbiranja podatkov, kjer prevladujejo računalniško podprti procesi kot rezultat temeljite transformacije zajema anketnih podatkov na osnovi IKT.
Predlagani projekt predstavlja potencialen preboj pri integraciji IKT v proces razvoja anketnega vprašalnika. Proučuje možnosti združevanja metodološkega znanja s strojnim učenjem in jezikovnimi tehnologijami z namenom izboljšanja procesa razvoja vprašalnika ter njegovega prenosa iz okolja urejevalnikov besedila in off-line interakcij v integrirano spletno okolje. Raziskovalne aktivnosti bodo potekale v dveh smereh:
1. Dekompozicija in formalizacija procesa razvoja vprašanj in računalniška podpora od definiranja konstruktov do ubeseditve vprašanj. Proučili bomo potenciale strojnega učenja in jezikovnih tehnologij za zagotavljanje interaktivne pomoči v korakih procesa razvoja vprašanj (npr. izpostavitev konceptov, predlogi stavčnih struktur, izbira ubeseditev, izbira merskih lestvic itd.).
2. Raziskovanje in identifikacija težav pri ubeseditvi, ki lahko poslabšajo vidike kakovosti podatkov. Za reševanje širokega spektra težav pri ubeseditvi, od redko uporabljanih besed, dvoumnih ubeseditev, slabe berljivosti, do dvojnih zanikanj ipd., bomo raziskali potenciale za razvoj in integracijo metodološkega znanja s strojnim učenjem in jezikovnimi tehnologijami.
Rezultate raziskovalnih aktivnosti, ki so opisane zgoraj in se bo zanje izkazalo da tudi so aplikabilni, bomo razvili kot prototipne funkcionalnosti obstoječe odprtokodne programske opreme za spletno anketiranje. Vodiči, priporočila, nasveti, opozorila ipd. bodo vdelani v proces razvoja vprašalnika, ki bo potekal v realnem času. Implementacija bo izvedena v slovenskem in angleškem jeziku, z možnostjo razširitve v druge jezike.
Projekt bo prispeval pomembna znanja glede vloge IKT za izboljšavo procesa razvoja vprašalnika na dva načina, kot (i) izboljšava v hitrosti in učinkovitosti celotnega procesa ter (ii) kot izboljšanje v odgovarjajoči kvaliteti anketnih podatkov. Oba vidika bosta empirično preverjena z ustrezno eksperimentalno evalvacijo.
Predlagani pristop je nov in inovativen, zato bo spodbudil globalno raziskovanje na presečišču področij anketne metodologije, umetne inteligence, strojnega učenja in jezikovnih tehnologij. Rezultati bodo izpostavili potencial sodobnih IKT na tem področju in spodbudili tudi industrijo (razvijalce orodij za spletno anketiranje), da izboljšajo svoja orodja.
Koordinatorji projekta na Fakulteti za družbene vede, Univerza v Ljubljani, so globalno priznani pionirji na področju spletnega anektiranja od 1996 in so avtorji odmevnih in visoko citiranih znanstvenih publikacij. Leta 1998 so vzpostavili tudi osrednji globalni portal WebSM, kjer se nahajajo izčrpne informacije o metodologiji spletnih anket. Od leta 2008 razvijajo tudi lastno odprtokodno programsko opremo za spletne ankete.
Razvoj algoritmov bo potekal v povezavi z Laboratorijem za umetno inteligenco, Inštitut Jožef Stefan, ki je ena vodilnih globalnih skupin na področju strojnega učenja in jezikovnih tehnologij.
Aktivnosti bodo potekale tudi v sodelovanju s profesorjem Willem Sarisom, University Pompeu Fabra, ki je razvil konceptualni okvir za proces izdelovanja anketnega vprašanja (Saris et al. 2007a, 2014). Vidiki ubeseditve anketnega vprašanja pa bodo potekali v tesnem sodelovanju s profesorjem Jonom Krosnikom (Stanford University), ki je vodilni raziskovalec na tem področju.
Pomen za razvoj znanosti
Avtomatizacija procesov razvoja anketnega vprašalnika je v kontekstu empiričnega družboslovnega raziskovanja nadvse pomembna. Na tej osnovi namreč lahko nastanejo rešitve, ki pripomorejo k večji kakovosti anketnih vprašalnikov, pa tudi k časovnim in finančnim prihrankom. V tem okviru je projekt prispeval nova temeljna spoznanja pri razumevanju procesa razvoja anketnega vprašalnika. Pri tem gre predvsem za jasna konceptualna ločevanja korakov (a) izbire tipa anketnega vprašanja ter (b) njegove postavitve, ki sta postala z računalniško podprtim anketiranjem danes popolnoma prepletena in neločljiva. Tovrstno ločevanje je lahko dobra osnova za učinkovitejše zaporedje aktivnosti v procesu izdelave anketnega vprašanja. Podobno je na področju temeljnega raziskovanja pomemben prispevek k večjemu vključevanju jezikovnih tehnologij v proces oblikovanja anketnega vprašanja. Pri tem gre seveda za vključevanje v realnem času, torej za interaktivne usmeritve pri konkretnem oblikovanje določenega anketnega vprašanja. Projekt s tem predstavlja enega prvih poskusov, da bi se pri oblikovanju vprašanj upoštevalo dosežke na področju sodobnih jezikovnih tehnologij. Projekt pa je prinesel tudi neposredne koristi stroki anketnega raziskovanja oziroma širše družboslovnemu raziskovanju. Neizkoriščenost potencialov informacijsko-komunikacijske tehnologije in premajhna celovitost njihove integracije v proces razvoja anketnega vprašalnika namreč pomenita, da empirično družboslovno raziskovanje ne dosega tiste kakovosti zbranih anketnih podatkov, ki bi jo lahko. Hkrati pa to pomeni slabšo učinkovitost, torej prevelike stroške in preveč porabljenega časa. Izpostaviti velja dva specifična vidika: • Konceptualno ločevanje izbire tipa anketnega vprašanja od njegove postavitve odpira nove možnosti za prilagajanje vmesnikov pri orodjih za izdelavo anketnih vprašanj. Pri tem gre predvsem za izboljševanje v smislu globljega razmisleka raziskovalcev o metodoloških odločitvah in ne toliko zgolj za izboljšave v smislu uporabnike izkušnje (angl. User experience). • V pogledu integracije jezikovnih tehnologij je projekt z izdelavo odgovarjajočega prototipa pokazal, da avtomatizirani pristopi, ki uporabljajo jezikovne korpuse, lahko v določeni meri že nadomestijo obstoječe postopke za evalvacijo anketnega vprašalnika. Slednji so namreč praviloma zelo dragi in zamudni (npr. ekspertni intervju, kognitivni intervju, empirična implementacija).
Pomen za razvoj Slovenije
V pogledu pomena za razvoj znanosti v Sloveniji prinaša projekt naslednjo dodano vrednost: • Rezultati projekta so deležni mednarodne pozornosti, kar je pomembno za uveljavljanje dosežkov slovenske znanosti v svetu. Izvedene so bile namreč številne odmevne predstavitve na mednarodnih konferencah, vključno z vabljenim predavanjem na večji mednarodni konferenci. Poleg vrste znanstvenih člankov in poglavij v knjigah je bila pri ugledni založbi Sage izdana tudi monografija Web Survey Methodology. Vse to je okrepilo položaj slovenske raziskovalne skupine CDI (in s tem tudi Slovenije) v globalni znanstveni skupnosti. • Člani skupine CDI so s tem projektom okrepili svoje sodelovanje z vodilnimi raziskovalnimi skupinami v svetu. Ustvarila so se nove priložnosti za mreženje in sodelovanje z najuglednejšimi akademskimi institucijami na tem področju. To še posebej velja za vzajemne obiske med izvajalci in sodelujočima univerzama iz tujine. • Projekt je z novo klasifikacijo tipov vprašanj (http://www.websm.org/c/1890/Onecol?) v anketah pomembno obogatilo spletno mesto WebSM (www.websm.org), ki ga raziskovalna skupina vzdržuje že 20 let. S tem se je spletno mesto dodatno utrdilo kot osrednji informacijski vir na tem strokovnem področju. • Projekt je integriran tudi v pedagoški proces študijskega programa Družboslovna informatika na vseh treh stopnjah, saj se neposredno vključuje v številne predmete (npr. Anketna metodologija). Za študente je izredno koristno, če se seznanjajo z najnovejšimi dognanji, predvsem pa so se študenti na v vseh stopnjah vključevali v aktivnosti projekta. S projektom je povezana vrsta diplomskih nalog, magistrskih nalog in tudi dveh doktoratov. • Projekt je komplementaren z drugimi projekti ARRS, ki so v času projekta potekali v raziskovalni skupini CDI, in tudi z aktivnostim v okviru odgovarjajoče programske skupine Internetno raziskovanje. Podobno velja tudi za povezanost z mednarodnimi projekti, vključno z Evropsko družboslovno raziskavo in COST projektom WEBDATANET. • Projekt je pomembno prispeval h kontinuiteti osrednjega strokovnega dogodka na tem področju v Sloveniji: Dan spletnega anketiranja https://www.1ka.si/d/sl/dan-spletnega-anketiranja. Dogodek vsako leto jeseni prispeva k popularizaciji stroke, saj se ga udeležuje okoli 200 udeležencev iz vseh sektorjev (javni, zasebni, raziskovalni, neprofitni). Pomembna komponenta tega dogodka je tudi predstavitev doseženih raziskovalnih rezultatov ARRS projektov. • Projekt je prispeval tudi k razširitvi funkcionalnosti odprtokodnega orodja 1KA (www.1ka.si), ki ima več kot 44,000 registriranih uporabnikov in v Sloveniji letno podpira izvedbo okoli 2 milijona spletnih vprašalnikov. Slovenski uporabniki imajo na tej osnovi na voljo več funkcionalnosti.
Najpomembnejši znanstveni rezultati
Letno poročilo
2015,
zaključno poročilo
Najpomembnejši družbeno–ekonomsko in kulturno relevantni rezultati
Letno poročilo
2014,
2015,
zaključno poročilo
