aiD

aiD mērķis ir risināt nedzirdīgo cilvēku komunikācijas un sociālās integrācijas problēmas, izmantojot jaunākos sasniegumus ML, HCI un AR jomā. Konkrēti, runas-teksta/teksta-runas algoritmi šobrīd ir sasnieguši augstu veiktspēju, kas ir rezultāts jaunākajiem sasniegumiem dziļās mācīšanās (DL) jomā. Tomēr komerciāli pieejamās sistēmas nav viegli integrējamas risinājumā, kas paredzēts nedzirdīgo un dzirdīgo saziņai. No otras puses, līdzšinējie pētniecības centieni risināt problēmu, kas saistīta ar SL video transkribēšanu vai sintētisku SL materiālu (SL avatāru) ģenerēšanu no teksta, nav devuši apmierinošu rezultātu.

aiD risina abas šīs problēmas. Mēs izstrādājam runas-teksta/teksta-runas moduļus, kas pielāgoti nedzirdīgo saziņas sistēmas prasībām. Vissvarīgākais ir tas, ka mēs sistemātiski risinām galveno tehnoloģisko problēmu, kas saistīta ar SL transkripciju un ģenerēšanu AR vidē. Mūsu vīzija ir izmantot un attīstīt jaunākos sasniegumus DL jomā, lai atrisinātu šīs problēmas ar revolucionāru precizitāti, un tas būtu ērti lietojams parastai mobilajai aparatūrai. Tas būs krasā pretstatā esošajām sistēmām, kas vai nu ir atkarīgas no sarežģītām un dārgām iekārtām (vairākiem redzes sensoriem, cimdiem un aprocēm), vai arī ir tikai laboratorijas sistēmas, kas aprobežojas ar pirkstu rakstīšanu, pretstatā oficiālajai SL, ko nedzirdīgie cilvēki faktiski izmanto. Patiešām, pašreizējām modernākajām sistēmām ir nepieciešamas dārgas ierīces, un tās darbojas, pamatojoties uz vārdu pa vārdam, tādējādi izlaižot sintaktisko kontekstu. Visbeidzot, šie risinājumi nav piemēroti parastajām mobilajām ierīcēm. Mūsu vīzija ir atrisināt šīs satriecošās nepilnības, lai piedāvātu konkrētu risinājumu, kas risina nedzirdīgo un dzirdīgo cilvēku mijiedarbību reālajā laikā. Mūsu galvenā inovācija ir jaunu algoritmu un metožu izstrāde, kas ļauj reāllaika SL video tulkošanu uz tekstu vai runu un otrādi (SL avatāra ģenerēšana no runas/teksta AR vidē) ar apmierinošu precizitāti, un tas ir pielāgojams tādām mobilajām ierīcēm kā viedtālruņi un planšetdatori.

Risinot daudzšķautņaino problēmu, lai nedzirdīgie cilvēki varētu efektīvi sazināties, mijiedarboties un galu galā piedalīties sabiedriskajā dzīvē, tiks panākts būtisks izrāviens simtiem tūkstošu Eiropas iedzīvotāju dzīvē. Iedvesmojoties no mūsu dziļās izpratnes par nedzirdīgo kopienas vajadzībām, kā arī no mūsdienu mašīnmācīšanās (ML) un paplašinātās realitātes (AR) tehnoloģiju iespējām, galvenais aiD mērķis ir īstenot starpdisciplīnu izrāvienu inovācijas, kas balstās uz jaunākajiem akadēmisko pētījumu sasniegumiem un tos paplašina, lai piedāvātu visaptverošu risinājumu kopumu nedzirdīgo cilvēku komunikācijas vajadzībām. Konkrētāk, mēs esam vērsti uz šādiem pilotprojektiem: a) viegla saziņa, izmantojot tulkojumu no un uz SL (SL), ko var izmantot parastās mobilajās ierīcēs, b) jauni izglītības risinājumi nedzirdīgiem bērniem, c) inteliģenti retranslācijas pakalpojumi nedzirdīgiem cilvēkiem, tostarp ārkārtas dienestiem. Mēs aplūkojam pilnu saziņas posmu, kas ietver tehnoloģisko attīstību vairākās tehnoloģiskās robežās: signālu apstrādi, signālu uztveršanu un ģenerēšanu, izmantojot progresīvu ML, virtuālo SL signālu radīšanu AR vidē, lietojamības jautājumus un izstrādāto tehnoloģiju mērogojamību komoditārās mobilajās ierīcēs, kas ir pieejamas lielākajai daļai potenciālo lietotāju.

Sekojiet mums:

Tīmekļa vietne: https://aideaf.eu/

Facebook: https://www.facebook.com/aiDH2020/

Twitter: https://twitter.com/Aid_H2020

YouTube kanāls: https://www.youtube.com/channel/UCs84Eh8cj1_qe_FZoSrNqRQ