Projekti / Programi
Fuzija verbalnih in neverbalnih signalov za naslednjo generacijo inteligentnih komunikacijskih vmesnikov – HUMANIPA
| Koda |
Veda |
Področje |
Podpodročje |
| 2.08.00 |
Tehnika |
Telekomunikacije |
|
| Koda |
Veda |
Področje |
| T180 |
Tehnološke vede |
Telekomunikacijsko inženirstvo |
| Koda |
Veda |
Področje |
| 2.02 |
Tehniške in tehnološke vede |
Elektrotehnika, elektronika in informacijski inženiring |
komunikacija človek/stroj, komunikacijske tehnologije, pogovorni vmesniki, večmodalna fuzija, poravnava v interakciji, socialna interakcija
Raziskovalci (7)
| št. |
Evidenčna št. |
Ime in priimek |
Razisk. področje |
Vloga |
Obdobje |
Štev. publikacijŠtev. publikacij |
| 1. |
53072 |
Špela Antloga |
Jezikoslovje |
Raziskovalec |
2020 - 2022 |
41 |
| 2. |
38013 |
Uroš Berglez |
Telekomunikacije |
Raziskovalec |
2019 |
51 |
| 3. |
06821 |
dr. Zdravko Kačič |
Telekomunikacije |
Vodja |
2019 - 2022 |
705 |
| 4. |
51357 |
Simona Majhenič |
Jezikoslovje |
Raziskovalec |
2019 - 2022 |
41 |
| 5. |
18876 |
dr. Matej Rojc |
Telekomunikacije |
Raziskovalec |
2019 - 2022 |
247 |
| 6. |
23838 |
dr. Darinka Verdonik |
Jezikoslovje |
Raziskovalec |
2019 - 2022 |
200 |
| 7. |
34282 |
Danilo Zimšek |
Telekomunikacije |
Raziskovalec |
2019 |
40 |
Organizacije (1)
Povzetek
Predlagani temeljni projekt naslavlja novo obliko naravne interakcije med človekom in strojem, ki je podobna pogovoru med ljudmi in je zmožna obravnavati tudi psihološke in sociološke signale interkacijskih epizodah. Sposobnost vzdrževanja pogovora, udejanjanje telesne govorice in podobne komunikacijskih sposobnosti ljudi so eden ključnih dejavnikov v neposredni interakciji. Poleg tega v HMI in uporabniško-centričnem oblikovanju interakcije predstavljata afektno računalništvo in socialno zavedanje ključni smernici kako naj se stroj odziva na različne dražljaje, ki jih generira uporabnik, ter tako stroj v uporabniku vzbudi tudi odnos in odziv. Da bi zagotovili takšno interakcijo morajo strojno vodeni sistemi razrešiti naslednje probleme: a) razumeti in interpretirati več modalne vnose uporabnika (uporabniške zahteve, ki se izvajajo z verbalnimi in neverbalnimi signali), npr. prepoznati večmodalni komunikativni namen in b) glede na dani komunikativni namen modelirati lastne pogovorne signale tako, da prikazujejo verodostojen in koheziven naravni odziv. V predlaganem projektu na osnovi paradigme o socialno zavedajoči se interakciji in računalnikih, kot socialnih akterjih, definiramo novo komunikacijsko paradigmo, imenovano razumevanje pogovornega jezika - CLU. Predlagana paradigma in model nadgrajuje definicijo področja procesiranja naravnega jezika s sposobnostjo interpretacije ‘jezika telesa’ (še posebej kinestetike) in sloni na ideji sočasnega združevanja in povezovanj (t.i. fuzije) verbalnih in neverbalnih signalov v naravnem diskurzu. V neposredni interakciji so namreč neverbalni signali posredovani skupaj z govorjeno vsebino (ali celo v njeni odsotnosti) ključni za vzpostavljanje kohezije v diskurzu. Lahko bi rekli, da verbalni/lingvistični deli govorjenega jezika (npr. besede, slovnica, sintaksa) nosijo simbolično/semantično interpretacijo sporočila, medtem ko ko-verbalni deli (npr. geste, izrazi, prozodija) nosijo socialno komponento vsakega sporočila in služijo kot orkestrator komunikacije. Ključne raziskovalne aktivnosti temeljnega projekta so zato usmerjene v razumevanje in modeliranje pogovornega jezika v neposredni interakciji med ljudmi in iskanju nizko/visoko nivojskih povezav med pogovornimi signali in pogovornimi koncepti. V splošnem bo delo temeljilo na pristopih, ki izhajajo iz procesiranja naravnega jezika, analitike velikih podatkov, statističnega modeliranja in strojnega učenja. Tako bomo poiskali optimalno sklepanje (možne funkcije fuzije) na osnovi vrednotenja z na novo razvitimi algoritmi CLU. Na podlagi poizvedovalnih in opisnih raziskav, ki bodo izvedene skozi analitiko relevantnih pogovornih scenarijev v spontanem neformalnem diskurzu, bomo oblikovali hipoteze, sklepe in predpostavke glede funkcij fuzije (pogovornih konceptov) v pogovornem prostoru. Skozi pojasnjevalne raziskave bomo raziskali tudi več-signalne odnose in prepletanje pogovornih konceptov ter tako oblikovali nove pogovorne strategije s pripadajočimi verbalnimi in ne-verbalnimi viri. Oblikovali bomo torej t.i. pogovorno znanje. Glede na pogovorno znanje (hipoteze in sklepe) bomo oblikovali nove funkcije nizko/visoko nivojske fuzije, kot algoritme umetne inteligence in jih testirali skozi kvalitativne in kvantitativne pristope. Tako bomo pogovorno znanje pretvorili v dejanske interakcijske strategije in modele ter ustrezno ovrednotili paradigmo CLU in definiran model. Socialna in empatična interakcija, ki bo temeljila na definirani novi paradigmi in modelu, bo omogočila razvoj bolj socialno vključenih in socialno sprejemljivih strojnih sistemov in uporabniških vmesnikov v komunikacijskih sistemih naslednje generacije.
Pomen za razvoj znanosti
Predlagana raziskava bo spodbudila in omogočila tok izmenjave informacij, ki bo podoben “pogovoru”. Takšen pristop omogoča razvoj novih upravljalcev dialoga, ki bodo vključevali več karakteristik ljudi in konverzacijske pojave pri doseganju sistemskih in pogovornih ciljev na bolj učinkovit in naraven način. Posledično lahko takšni sistemi služijo kot orodje pri reševanju 'socialnih' problemov, kot so: aktivno staranje, dolgotrajna oskrba in vključevanje. Kot pomemben napredek v CI-jih in raziskovalnih dejavnostih na področju inteligentnih raziskav v svetovnem merilu izpostavljamo analizo, pojasnjevanje in razumevanje komunikativnih namenov kot kognitivno osnovo kakršnekoli izmenjave informacije. Le-to vključuje prepletanje vseh pogovornih signalov, kot del nove kognitivne dimenzije strojev. Pričakovan doprinos se odraža v zagotavljanju novih socialnih in empatičnih interakcijskih modelov, ki se lahko prilagajajo kontekstu uporabnika in domene ter bistveno poenostavijo kontekst situacije v pogovorih ne samo preko govora, temveč tudi s pomočjo vizualne interpretacije odgovorov sogovornikov in socialnih zaznamkov. Takšni socialno podprti sistemi in agenti imajo velik potencial za uporabo v različnih konceptih HCI, od turističnih vodnikov, tutorjev, inštruktorjev do spremljevalcev in pomočnikov. Poleg tega se lahko ti agenti prilagajajo potrebam uporabnika in se bodo lahko uspešno borili proti tehnološki ignoranci in znatno izboljšali uporabo in izrabo IKT v podpornih življenjskih okoljih ter tudi na drugih področjih, kot so: robotika, avtomobilizem, virtualna pomoč, zdravstvo, trženje itd.
Na splošno bo socialna in empatična interakcija, ki jo bo omogočal CLU, omogočila razvoj bolj socialno-zavestnih in družbeno (populacijsko) sprejemljivih modelov interakcije. V tem pogledu so predlagani rezultati skladni s cilji S4 (pametnimi mesti in pametnimi domovi), pa tudi s strategijami EU, ki so usmerjene v socialno vključenost, aktivno staranje in podporna življenjska okolja. S fuzijo verbalnih in neverbalnih signalov v interakcijskih modelih in strojnimi algoritmi učenja ter z uporabo globokega učenja so današnji pristopi veriženja blokov postali zastareli. S teoretičnimi zaključki na področju večmodalnega pogovornega obnašanja, ki so opisani in analitično potrjeni, lahko oblikujemo nova globoka omrežja za ugotavljanje medsebojnega vplivanja konverzacijskih signalov. Tako omogočimo stroju razumeti in interpretirati, kar je bilo izraženo v zahtevah uporabnika, bistveno bolj učinkovito in verodostojno. Tehnološko bodo rezultati projekta pomembno vplivali na več znanstvenih področij, kjer ima večmodalno obnašanje človeka osrednjo vlogo, na primer: kontekstno prožene komunikacijske storitve, interakcija človek-stroj in pogovorni vmesniki, pogovorni agenti, procesiranje naravnega jezika in afektivno računalništvo ter rudarjenje mnenj ipd.
Pomen za razvoj Slovenije
The proposed research will promote and enable original ‘conversation-like’ information exchange, capable of utilizing belief-based dialog managers, which will incorporate more ‘human-like’ senses and conversational phenomena to achieve the targeted goal in a more natural way. Consequently, these systems could also help tackle social issues such as: active ageing, long-term care, and inclusion. As a significant advance in the CIs and conversational intelligence research activities worldwide, we propose to analyse, discover and understand communicative intent as the basis of any interactive action. This involves intertwining all conversational signals as part of the machine’s cognition. Multiple technologies will be fused into a new concept, called embodied language understanding (CLU), including NLP, NLU and ELP. The expected benefit is delivering new social and emphatic belief-based interaction models capable of adapting to the user’s context and to facilitate context of the conversational situation not only via speech but also through visual interpretation of the collocutor’s responses and social cues. Such socially-enabled systems and agents have great potential to be used in various HCI concepts, from tour guides, tutors, instructors, to companions, and helpers. Moreover, these agents can adapt to the user’s needs and therefore successfully combat technological ignorance and significantly improve the use and exploitation of ICT in ambient assisted living (AAL), and other environments, such as: robotics, automotive assistance, virtual assistance, healthcare, marketing, etc.
Overall, social and emphatic interaction, as promoted by the ELU, will enable the development of more socially aware and socially acceptable systems. Thus, the proposed results are in line with S4 (smart city and smart home), as well as EU strategies targeting social inclusion, active ageing, and ambient assisted living. With the fusion of verbal and non-verbal signals in interaction models and machine-learned algorithms, and with the utilization of deep-learning, current block-chain approaches will become obsolete. By means of outlined and analytically confirmed theoretical inferences one can devise its own deep networks to determine the interplay between conversational signals and give the machine the capability to understand and interpret the user’s requests. Technologically, the results envisaged in the proposed project will have a significant impact in all scientific fields, where multimodal human behaviour plays a central role, for instance: context initiated telecommunication services, human-machine interaction and conversational interfaces, embodied conversational agents, natural language processing and affective computing, and opinion mining.
Najpomembnejši znanstveni rezultati
Vmesno poročilo
Najpomembnejši družbeno–ekonomsko in kulturno relevantni rezultati
