aiD

aiD eesmärk on lahendada kurtide suhtlemise ja sotsiaalse integratsiooni probleeme, kasutades ära viimaseid edusamme ML, HCI ja AR valdkonnas. Konkreetselt on kõne ja teksti ning teksti ja kõne vahelised algoritmid praegu saavutanud suure jõudluse, mis tuleneb viimastest läbimurdelistest edusammudest süvaõppe (DL) valdkonnas. Siiski ei saa kaubanduslikult kättesaadavaid süsteeme hõlpsasti integreerida kurtide ja kuuljate vaheliseks suhtlemiseks mõeldud lahenduseks. Teisest küljest ei ole olemasolevad teadusuuringud SL-videote transkribeerimise või tekstist sünteetilise SL-materjali (SL-avatar) genereerimise probleemi lahendamiseks andnud rahuldavaid tulemusi.

aiD lahendab mõlemad probleemid. Me töötame välja kõne-tekst/tekst-keeleks moodulid, mis on kohandatud kurtide suhtlemisega tegeleva süsteemi nõuetele. Kõige tähtsam on, et me tegeleme süstemaatiliselt peamise tehnoloogilise väljakutsega, milleks on SL transkriptsioon ja genereerimine AR-keskkonnas. Meie visioon on kasutada ja arendada DL-i tipptaset, et lahendada need probleemid murrangulise täpsusega, nii et see oleks kasutatav tavalisele mobiilirakendusele. See on teravas vastuolus olemasolevate süsteemidega, mis sõltuvad kas keerukatest ja kulukatest seadmetest (mitu nägemisandurit, kindad ja randmepaelad) või on ainult laboris kasutatavad süsteemid, mis piirduvad sõrmendusega, erinevalt ametlikust SL-st, mida kurdid tegelikult kasutavad. Praegune tehnika nõuab tõepoolest kalleid seadmeid ja töötab sõnade kaupa, mistõttu puudub süntaktiline kontekst. Lõpuks ei saa neid lahendusi kasutada tavaliste mobiilseadmetega. Meie visioon on lahendada need hämmastavad puudused, et pakkuda konkreetset lahendust, mis käsitleb reaalajas suhtlemist kurtide ja kuuljate vahel. Meie peamine uuendus seisneb uute algoritmide ja tehnikate väljatöötamises, mis võimaldavad reaalajas tõlkida SL-videot tekstiks või kõneks ja vastupidi (SL-avatari genereerimine kõne/teksti põhjal AR-keskkonnas) rahuldava täpsusega, nii et see oleks kasutatav tavalistes mobiilseadmetes, näiteks nutitelefonides ja tahvelarvutites.

Mitmekülgse väljakutse lahendamine, mis võimaldab kurtidel inimestel tõhusalt suhelda, suhelda ja lõpuks osaleda ühiskonnaelus, toob suure läbimurde sadade tuhandete Euroopa kodanike ellu. Meie sügavast arusaamisest kurtide kogukonna vajadustest ning kaasaegse masinõppe (ML) ja liitreaalsuse (AR) tehnoloogiate võimekusest inspireerituna on aiD üldeesmärk püüelda valdkondadevahelise läbimurdelise innovatsiooni poole, mis tugineb ja laieneb uusimatele akadeemilistele teadustulemustele, et pakkuda kurtide kommunikatsioonivajadusi rahuldavaid terviklahendusi. Konkreetselt on meie eesmärk järgmised pilootprojektid: a) lihtsustatud suhtlemine tõlke abil SL-ist ja SL-isse (SL), mida saab kasutada tavalistes mobiilseadmetes, b) uudsed hariduslahendused kurtidele lastele, c) intelligentsed releeteenused kurtidele, sealhulgas hädaabiteenused. Me käsitleme kogu kommunikatsiooniprogrammi, mis hõlmab tehnoloogilist arengut mitmel tehnoloogilisel piiril: signaalitöötlus, signaalide tajumine ja genereerimine täiustatud ML-i abil, virtuaalsete SL-signaalide loomine AR-keskkonnas, kasutatavuse küsimused ja väljatöötatud tehnoloogiate skaleeritavus tavalistes mobiilseadmetes, mis on kättesaadavad enamikule potentsiaalsetele kasutajatele.

Jälgi meid aadressil:

Veebileht: https://aideaf.eu/

Facebook: https://www.facebook.com/aiDH2020/

Twitter: https://twitter.com/Aid_H2020

YouTube'i kanal: https://www.youtube.com/channel/UCs84Eh8cj1_qe_FZoSrNqRQ