aiD

Cilj projekta aiD je z uporabo najnovejših dosežkov na področju ML, HCI in AR rešiti izziv komunikacije gluhih in njihove socialne vključenosti. Zlasti algoritmi za pretvorbo govora v besedilo/besedilo v govor so trenutno dosegli visoko zmogljivost, kar je rezultat najnovejšega prelomnega napredka na področju globokega učenja (DL). Vendar pa komercialno dostopnih sistemov ni mogoče zlahka vključiti v rešitev, namenjeno komunikaciji med gluhimi in slišečimi. Po drugi strani pa obstoječa raziskovalna prizadevanja za reševanje problema transkribiranja videoposnetkov SL ali ustvarjanja sintetičnih posnetkov SL (SL avatar) iz besedila niso prinesla zadovoljivih rezultatov.

aiD rešuje obe težavi. Razvijamo module za pretvorbo govora v besedilo/besedilo v govor, prilagojene zahtevam sistema za komunikacijo gluhih. Najpomembneje pa je, da sistematično obravnavamo osrednji tehnološki izziv prepisovanja in ustvarjanja SL v okolju AR. Naša vizija je izkoristiti in nadgraditi najsodobnejše dosežke na področju DL za reševanje teh problemov z izjemno natančnostjo, in sicer na način, ki je primeren za osnovno mobilno strojno opremo. To bo v popolnem nasprotju z obstoječimi sistemi, ki so bodisi odvisni od zahtevne drage opreme (več senzorjev vida, rokavic in zapestnic) bodisi so samo laboratorijski sistemi, omejeni na prstno pisanje v nasprotju z uradno SL, ki jo gluhi dejansko uporabljajo. Trenutni najsodobnejši sistemi namreč zahtevajo drage naprave in delujejo po posameznih besedah, zato jim manjka skladenjski kontekst. Končno, te rešitve niso primerne za običajne mobilne naprave. Naša vizija je odpraviti te osupljive pomanjkljivosti, da bi ponudili konkretno rešitev, ki bi obravnavala interakcijo med gluhimi in slišečimi ljudmi v realnem času. Naša glavna inovacija je razvoj novih algoritmov in tehnik, ki omogočajo prevajanje SL videa v besedilo ali govor v realnem času in obratno (ustvarjanje SL avatarja iz govora/besedila v okolju AR), z zadovoljivo natančnostjo, na način, ki je primeren za običajne mobilne naprave, kot so pametni telefoni in tablice.

Obravnava večplastnega izziva, ki gluhim omogoča učinkovito komunikacijo, interakcijo in končno sodelovanje v družbenem življenju, bo pomenila velik preboj v življenju več sto tisoč evropskih državljanov. Temeljni cilj projekta aiD, ki temelji na globokem razumevanju potreb gluhe skupnosti ter zmogljivosti sodobnih tehnologij strojnega učenja (ML) in razširjene resničnosti (AR), je zasledovati interdisciplinarne prebojne inovacije, ki temeljijo na najnovejših akademskih raziskavah in jih razširjajo, da bi ponudili celovit nabor rešitev za komunikacijske potrebe gluhih ljudi. Natančneje, usmerjeni smo v naslednje pilotne projekte: a) enostavna komunikacija s pomočjo prevajanja iz in v slovenščino (SL), ki jo omogočajo običajne mobilne naprave, b) nove izobraževalne rešitve za gluhe otroke, c) inteligentne relejne storitve za gluhe osebe, vključno s službami za nujne primere. Upoštevamo celoten potek komunikacije, ki vključuje tehnološki razvoj na več tehnoloških področjih: obdelavo signalov, zaznavanje in generiranje signalov s pomočjo naprednih ML, ustvarjanje virtualnih signalov SL v okolju AR, vprašanja uporabnosti in skalabilnost razvitih tehnologij na komoditetnih mobilnih napravah, ki so dostopne veliki večini potencialnih uporabnikov.

Sledite nam na:

Spletna stran: https://aideaf.eu/

Facebook: https://www.facebook.com/aiDH2020/

Twitter: https://twitter.com/Aid_H2020

Kanal YouTube: https://www.youtube.com/channel/UCs84Eh8cj1_qe_FZoSrNqRQ