aiD

aiD își propune să abordeze provocarea comunicării și integrării sociale a persoanelor surde prin valorificarea celor mai recente progrese în domeniul ML, HCI și AR. În mod specific, algoritmii de conversie a vorbirii în text/text în vorbire au atins în prezent performanțe ridicate, ca urmare a ultimelor progrese revoluționare în domeniul învățării profunde (DL). Cu toate acestea, sistemele disponibile în comerț nu pot fi integrate cu ușurință într-o soluție destinată comunicării între persoanele surde și cele care aud. Pe de altă parte, eforturile de cercetare existente pentru a aborda problema transcrierii videoclipurilor SL sau a generării de secvențe SL sintetice (avatar SL) din text nu au reușit să genereze un rezultat satisfăcător.

aiD abordează aceste două probleme. Noi dezvoltăm module de vorbire la text/text la vorbire adaptate la cerințele unui sistem care se adresează comunicării surzilor. Cel mai important, abordăm în mod sistematic provocarea tehnologică de bază a transcrierii și generării SL într-un mediu AR. Viziunea noastră este de a exploata și de a avansa în domeniul DL pentru a rezolva aceste probleme cu o acuratețe revoluționară, într-un mod care să poată fi utilizat cu hardware mobil de bază. Acest lucru va fi în contrast puternic cu sistemele existente care fie depind de echipamente sofisticate și costisitoare (senzori de vedere multipli, mănuși și brățări), fie sunt sisteme de laborator limitate la ortografierea cu degetele, spre deosebire de SL oficială pe care o folosesc de fapt persoanele surde. Într-adevăr, tehnologia actuală necesită dispozitive costisitoare și funcționează cuvânt cu cuvânt, lipsind astfel contextul sintactic. În cele din urmă, aceste soluții nu se pretează la dispozitive mobile de larg consum. Viziunea noastră este de a rezolva aceste neajunsuri uimitoare pentru a oferi o soluție concretă care să abordeze interacțiunea în timp real între persoanele surde și cele care aud. Principala noastră inovație constă în dezvoltarea de noi algoritmi și tehnici care permit traducerea în timp real a videoclipurilor SL în text sau vorbire și invers (generarea de avatarul SL din vorbire/text într-un mediu AR), cu o precizie satisfăcătoare, într-un mod accesibil dispozitivelor mobile de bază, cum ar fi smartphone-urile și tabletele.

Abordarea provocării multiple de a permite persoanelor surde să comunice, să interacționeze și, în cele din urmă, să participe în mod eficient la viața socială va aduce un progres major în viața a sute de mii de cetățeni europeni. Inspirat din înțelegerea profundă a nevoilor comunității surzilor, precum și din capacitatea tehnologiilor moderne de învățare automată (ML) și de realitate augmentată (AR), obiectivul general al aiD este de a urmări inovații revoluționare interdisciplinare care să se bazeze și să se extindă pe cele mai recente progrese ale cercetării academice pentru a oferi o suită completă de soluții care să răspundă nevoilor de comunicare ale surzilor. În mod specific, vizăm următorii piloți: a) ușurința comunicării prin intermediul traducerii din și în SL (SL), adaptabilă dispozitivelor mobile de bază, b) soluții educaționale noi pentru copiii surzi, c) servicii de releu inteligente pentru persoanele surde, inclusiv pentru serviciile de urgență. Luăm în considerare întreaga filieră de comunicare, care presupune dezvoltarea tehnologică pe mai multe frontiere tehnologice: procesarea semnalelor, percepția și generarea de semnale prin intermediul ML avansate, crearea de semnale SL virtuale într-un mediu AR, aspecte legate de utilizabilitate și scalabilitatea tehnologiilor dezvoltate pe dispozitive mobile de bază, accesibile pentru marea majoritate a utilizatorilor potențiali.

Urmăriți-ne la:

Site web: https://aideaf.eu/

Facebook: https://www.facebook.com/aiDH2020/

Twitter: https://twitter.com/Aid_H2020

Canalul YouTube: https://www.youtube.com/channel/UCs84Eh8cj1_qe_FZoSrNqRQ