Nalaganje ...
Projekti / Programi vir: ARIS

Avtomatizacija razvoja in evalvacije anketnega vprašalnika

Raziskovalna dejavnost

Koda Veda Področje Podpodročje
5.03.00  Družboslovje  Sociologija   

Koda Veda Področje
S274  Družboslovje  Raziskovalna metodologija v znanosti 

Koda Veda Področje
5.04  Družbene vede  Sociologija 
Ključne besede
Avtomatizacija razvoja in evalvacije vprašalnika, družboslovno raziskovanje, internetno raziskovanje, spletne ankete, strojno učenje, jezikovne tehnologije
Vrednotenje (pravilnik)
vir: COBISS
Raziskovalci (16)
št. Evidenčna št. Ime in priimek Razisk. področje Vloga Obdobje Štev. publikacijŠtev. publikacij
1.  30704  dr. Jernej Berzelak  Javno zdravstvo (varstvo pri delu)  Raziskovalec  2014 - 2017  122 
2.  08952  dr. Damjan Bojadžiev  Računalništvo in informatika  Raziskovalec  2014 - 2017  78 
3.  22278  dr. Janez Brank  Računalništvo in informatika  Raziskovalec  2014 - 2017  95 
4.  23497  dr. Barbara Brečko  Sociologija  Raziskovalec  2015 - 2016  118 
5.  34789  dr. Gregor Čehovin  Sociologija  Mladi raziskovalec  2014 - 2017  52 
6.  31339  Tina Dolenc  Sociologija  Raziskovalec  2015 - 2016 
7.  17137  Marko Grobelnik  Računalništvo in informatika  Tehnični sodelavec  2014 - 2017  440 
8.  17913  dr. Katja Lozar Manfreda  Sociologija  Raziskovalec  2014 - 2017  181 
9.  38368  Miha Matjašič  Sociologija  Raziskovalec  2016 - 2017  33 
10.  34178  Mojca Mikac  Matematika  Tehnični sodelavec  2014 - 2017 
11.  12570  dr. Dunja Mladenić  Računalništvo in informatika  Raziskovalec  2014 - 2017  663 
12.  36854  Boštjan Mur    Tehnični sodelavec  2014 - 2017  12 
13.  33521  dr. Ana Slavec  Interdisciplinarne raziskave  Raziskovalec  2016  236 
14.  21346  Maja Škrjanc  Računalništvo in informatika  Raziskovalec  2014  42 
15.  19505  dr. Damjan Škulj  Sociologija  Raziskovalec  2014 - 2017  157 
16.  10155  dr. Vasja Vehovar  Sociologija  Vodja  2014 - 2017  840 
Organizacije (2)
št. Evidenčna št. Razisk. organizacija Kraj Matična številka Štev. publikacijŠtev. publikacij
1.  0106  Institut "Jožef Stefan"  Ljubljana  5051606000  91.035 
2.  0582  Univerza v Ljubljani, Fakulteta za družbene vede  Ljubljana  1626957  40.615 
Povzetek
Ankete predstavljajo ključno raziskovalno orodje v družboslovju. Njihova kakovost je izrazito odvisna od razvoja vprašalnika, ki je zelo kompleksen proces in zahteva različne oblike znanja, od teoretičnih konceptov in kognitivnih vidikov do anketne metodologije in statistike. Kljub hitremu razvoju informacijsko-komunikacijskih tehnologij (IKT), se proces razvoja vprašalnika v zadnjih desetletjih skorajda ni spremenil. Povsem drugačno sliko zasledimo na samem področju zbiranja podatkov, kjer prevladujejo računalniško podprti procesi kot rezultat temeljite transformacije zajema anketnih podatkov na osnovi IKT. Predlagani projekt predstavlja potencialen preboj pri integraciji IKT v proces razvoja anketnega vprašalnika. Proučuje možnosti združevanja metodološkega znanja s strojnim učenjem in jezikovnimi tehnologijami z namenom izboljšanja procesa razvoja vprašalnika ter njegovega prenosa iz okolja urejevalnikov besedila in off-line interakcij v integrirano spletno okolje. Raziskovalne aktivnosti bodo potekale v dveh smereh: 1. Dekompozicija in formalizacija procesa razvoja vprašanj in računalniška podpora od definiranja konstruktov do ubeseditve vprašanj. Proučili bomo potenciale strojnega učenja in jezikovnih tehnologij za zagotavljanje interaktivne pomoči v korakih procesa razvoja vprašanj (npr. izpostavitev konceptov, predlogi stavčnih struktur, izbira ubeseditev, izbira merskih lestvic itd.).  2. Raziskovanje in identifikacija težav pri ubeseditvi, ki lahko poslabšajo vidike kakovosti podatkov. Za reševanje širokega spektra težav pri ubeseditvi, od redko uporabljanih besed, dvoumnih ubeseditev, slabe berljivosti, do dvojnih zanikanj ipd., bomo raziskali potenciale za razvoj in integracijo metodološkega znanja s strojnim učenjem in jezikovnimi tehnologijami. Rezultate raziskovalnih aktivnosti, ki so opisane zgoraj in se bo zanje izkazalo da tudi so aplikabilni, bomo razvili kot prototipne funkcionalnosti obstoječe odprtokodne programske opreme za spletno anketiranje. Vodiči, priporočila, nasveti, opozorila ipd. bodo vdelani v proces razvoja vprašalnika, ki bo potekal v realnem času. Implementacija bo izvedena v slovenskem in angleškem jeziku, z možnostjo razširitve v druge jezike. Projekt bo prispeval pomembna znanja glede vloge IKT za izboljšavo procesa razvoja vprašalnika na dva načina, kot (i) izboljšava v hitrosti in učinkovitosti celotnega procesa ter (ii) kot izboljšanje v odgovarjajoči kvaliteti anketnih podatkov. Oba vidika bosta empirično preverjena z ustrezno eksperimentalno evalvacijo. Predlagani pristop je nov in inovativen, zato bo spodbudil globalno raziskovanje na presečišču področij anketne metodologije, umetne inteligence, strojnega učenja in jezikovnih tehnologij. Rezultati bodo izpostavili potencial sodobnih IKT na tem področju in spodbudili tudi industrijo (razvijalce orodij za spletno anketiranje), da izboljšajo svoja orodja. Koordinatorji projekta na Fakulteti za družbene vede, Univerza v Ljubljani, so globalno priznani pionirji na področju spletnega anektiranja od 1996 in so avtorji odmevnih in visoko citiranih znanstvenih publikacij. Leta 1998 so vzpostavili tudi osrednji globalni portal WebSM, kjer se nahajajo izčrpne informacije o metodologiji spletnih anket. Od leta 2008 razvijajo tudi lastno odprtokodno programsko opremo za spletne ankete. Razvoj algoritmov bo potekal v povezavi z Laboratorijem za umetno inteligenco, Inštitut Jožef Stefan, ki je ena vodilnih globalnih skupin na področju strojnega učenja in jezikovnih tehnologij. Aktivnosti bodo potekale tudi v sodelovanju s profesorjem Willem Sarisom, University Pompeu Fabra, ki je razvil konceptualni okvir za proces izdelovanja anketnega vprašanja (Saris et al. 2007a, 2014). Vidiki ubeseditve anketnega vprašanja pa bodo potekali v tesnem sodelovanju s profesorjem Jonom Krosnikom (Stanford University), ki je vodilni raziskovalec na tem področju.
Pomen za razvoj znanosti
Avtomatizacija procesov razvoja anketnega vprašalnika je v kontekstu empiričnega družboslovnega raziskovanja nadvse pomembna. Na tej osnovi namreč lahko nastanejo rešitve, ki pripomorejo k večji kakovosti anketnih vprašalnikov, pa tudi k časovnim in finančnim prihrankom. V tem okviru je projekt prispeval nova temeljna spoznanja pri razumevanju procesa razvoja anketnega vprašalnika. Pri tem gre predvsem za jasna konceptualna ločevanja korakov (a) izbire tipa anketnega vprašanja ter (b) njegove postavitve, ki sta postala z računalniško podprtim anketiranjem danes popolnoma prepletena in neločljiva. Tovrstno ločevanje je lahko dobra osnova za učinkovitejše zaporedje aktivnosti v procesu izdelave anketnega vprašanja. Podobno je na področju temeljnega raziskovanja pomemben prispevek k večjemu vključevanju jezikovnih tehnologij v proces oblikovanja anketnega vprašanja. Pri tem gre seveda za vključevanje v realnem času, torej za interaktivne usmeritve pri konkretnem oblikovanje določenega anketnega vprašanja. Projekt s tem predstavlja enega prvih poskusov, da bi se pri oblikovanju vprašanj upoštevalo dosežke na področju sodobnih jezikovnih tehnologij. Projekt pa je prinesel tudi neposredne koristi stroki anketnega raziskovanja oziroma širše družboslovnemu raziskovanju. Neizkoriščenost potencialov informacijsko-komunikacijske tehnologije in premajhna celovitost njihove integracije v proces razvoja anketnega vprašalnika namreč pomenita, da empirično družboslovno raziskovanje ne dosega tiste kakovosti zbranih anketnih podatkov, ki bi jo lahko. Hkrati pa to pomeni slabšo učinkovitost, torej prevelike stroške in preveč porabljenega časa. Izpostaviti velja dva specifična vidika: • Konceptualno ločevanje izbire tipa anketnega vprašanja od njegove postavitve odpira nove možnosti za prilagajanje vmesnikov pri orodjih za izdelavo anketnih vprašanj. Pri tem gre predvsem za izboljševanje v smislu globljega razmisleka raziskovalcev o metodoloških odločitvah in ne toliko zgolj za izboljšave v smislu uporabnike izkušnje (angl. User experience). • V pogledu integracije jezikovnih tehnologij je projekt z izdelavo odgovarjajočega prototipa pokazal, da avtomatizirani pristopi, ki uporabljajo jezikovne korpuse, lahko v določeni meri že nadomestijo obstoječe postopke za evalvacijo anketnega vprašalnika. Slednji so namreč praviloma zelo dragi in zamudni (npr. ekspertni intervju, kognitivni intervju, empirična implementacija).
Pomen za razvoj Slovenije
V pogledu pomena za razvoj znanosti v Sloveniji prinaša projekt naslednjo dodano vrednost: • Rezultati projekta so deležni mednarodne pozornosti, kar je pomembno za uveljavljanje dosežkov slovenske znanosti v svetu. Izvedene so bile namreč številne odmevne predstavitve na mednarodnih konferencah, vključno z vabljenim predavanjem na večji mednarodni konferenci. Poleg vrste znanstvenih člankov in poglavij v knjigah je bila pri ugledni založbi Sage izdana tudi monografija Web Survey Methodology. Vse to je okrepilo položaj slovenske raziskovalne skupine CDI (in s tem tudi Slovenije) v globalni znanstveni skupnosti. • Člani skupine CDI so s tem projektom okrepili svoje sodelovanje z vodilnimi raziskovalnimi skupinami v svetu. Ustvarila so se nove priložnosti za mreženje in sodelovanje z najuglednejšimi akademskimi institucijami na tem področju. To še posebej velja za vzajemne obiske med izvajalci in sodelujočima univerzama iz tujine. • Projekt je z novo klasifikacijo tipov vprašanj (http://www.websm.org/c/1890/Onecol?) v anketah pomembno obogatilo spletno mesto WebSM (www.websm.org), ki ga raziskovalna skupina vzdržuje že 20 let. S tem se je spletno mesto dodatno utrdilo kot osrednji informacijski vir na tem strokovnem področju. • Projekt je integriran tudi v pedagoški proces študijskega programa Družboslovna informatika na vseh treh stopnjah, saj se neposredno vključuje v številne predmete (npr. Anketna metodologija). Za študente je izredno koristno, če se seznanjajo z najnovejšimi dognanji, predvsem pa so se študenti na v vseh stopnjah vključevali v aktivnosti projekta. S projektom je povezana vrsta diplomskih nalog, magistrskih nalog in tudi dveh doktoratov. • Projekt je komplementaren z drugimi projekti ARRS, ki so v času projekta potekali v raziskovalni skupini CDI, in tudi z aktivnostim v okviru odgovarjajoče programske skupine Internetno raziskovanje. Podobno velja tudi za povezanost z mednarodnimi projekti, vključno z Evropsko družboslovno raziskavo in COST projektom WEBDATANET. • Projekt je pomembno prispeval h kontinuiteti osrednjega strokovnega dogodka na tem področju v Sloveniji: Dan spletnega anketiranja https://www.1ka.si/d/sl/dan-spletnega-anketiranja. Dogodek vsako leto jeseni prispeva k popularizaciji stroke, saj se ga udeležuje okoli 200 udeležencev iz vseh sektorjev (javni, zasebni, raziskovalni, neprofitni). Pomembna komponenta tega dogodka je tudi predstavitev doseženih raziskovalnih rezultatov ARRS projektov. • Projekt je prispeval tudi k razširitvi funkcionalnosti odprtokodnega orodja 1KA (www.1ka.si), ki ima več kot 44,000 registriranih uporabnikov in v Sloveniji letno podpira izvedbo okoli 2 milijona spletnih vprašalnikov. Slovenski uporabniki imajo na tej osnovi na voljo več funkcionalnosti.
Najpomembnejši znanstveni rezultati Letno poročilo 2015, zaključno poročilo
Najpomembnejši družbeno–ekonomsko in kulturno relevantni rezultati Letno poročilo 2014, 2015, zaključno poročilo
Zgodovina ogledov
Priljubljeno