aiD

aiD syftar till att lösa problemet med dövas kommunikation och sociala integration genom att utnyttja de senaste framstegen inom ML, HCI och AR. Algoritmer för tal-till-text/text-till-tal har för närvarande uppnått hög prestanda som en produkt av de senaste genombrottsframstegen inom området djup inlärning (DL). De kommersiellt tillgängliga systemen kan dock inte enkelt integreras i en lösning som är inriktad på kommunikation mellan döva och hörande personer. Å andra sidan har befintliga forskningsinsatser för att lösa problemet med att transkribera SL-video eller generera syntetiskt SL-material (SL-avatar) från text inte gett tillfredsställande resultat.

aiD löser båda dessa problem. Vi utvecklar moduler för tal-till-text/text-till-tal som är skräddarsydda för kraven i ett system för dövas kommunikation. Viktigast av allt är att vi systematiskt tar itu med den centrala tekniska utmaningen att transkribera och generera SL i en AR-miljö. Vår vision är att utnyttja och utveckla den senaste tekniken inom DL för att lösa dessa problem med banbrytande noggrannhet, på ett sätt som är möjligt att använda vanlig mobil hårdvara. Detta kommer att stå i skarp kontrast till befintliga system som antingen är beroende av sofistikerad och dyr utrustning (flera synsensorer, handskar och armband), eller är system som endast används i laboratorier och som är begränsade till fingerskrivning i motsats till den officiella SL som döva människor faktiskt använder. Den nuvarande tekniken kräver dyr utrustning och fungerar ord för ord, vilket innebär att det syntaktiska sammanhanget saknas. Slutligen kan dessa lösningar inte användas på vanliga mobila enheter. Vår vision är att lösa dessa enorma brister så att vi kan erbjuda en konkret lösning för interaktion i realtid mellan döva och hörande personer. Vår centrala innovation ligger i utvecklingen av nya algoritmer och tekniker som gör det möjligt att i realtid översätta SL-video till text eller tal och vice versa (SL-avatargenerering från tal/text i en AR-miljö), med tillfredsställande noggrannhet, på ett sätt som är tillgängligt för vanliga mobila enheter som smartphones och surfplattor.

Att ta itu med den mångfacetterade utmaningen att göra det möjligt för döva att effektivt kommunicera, interagera och slutligen delta i samhällslivet kommer att innebära ett stort genombrott för hundratusentals europeiska medborgare. Med inspiration från vår djupa förståelse av dövas behov och av kapaciteten hos modern teknik för maskininlärning (ML) och förstärkt verklighet (AR) är aiD:s övergripande mål att eftersträva tvärvetenskapliga banbrytande innovationer som bygger på de senaste akademiska forskningsframstegen för att erbjuda en omfattande uppsättning lösningar som tillgodoser dövas kommunikationsbehov. Vi riktar särskilt in oss på följande piloter: a) Lättare kommunikation genom översättning från och till SL (SL) som kan användas på vanliga mobila enheter, b) nya utbildningslösningar för döva barn, c) intelligenta förmedlingstjänster för döva personer, inklusive räddningstjänster. Vi tar hänsyn till hela kommunikationskedjan, vilket innebär teknisk utveckling i flera olika tekniska områden: signalbehandling, signaluppfattning och signalgenerering med hjälp av avancerad ML, skapande av virtuella SL-signaler i en AR-miljö, användbarhetsfrågor och skalbarhet för den utvecklade tekniken på vanliga mobila enheter som är tillgängliga för den stora majoriteten av potentiella användare.

Följ oss på:

Webbplats: https://aideaf.eu/

Facebook: https://www.facebook.com/aiDH2020/

Twitter: https://twitter.com/Aid_H2020

YouTube-kanal: https://www.youtube.com/channel/UCs84Eh8cj1_qe_FZoSrNqRQ