aiD

Cieľom aiD je riešiť problém komunikácie a sociálnej integrácie nepočujúcich ľudí využitím najnovších pokrokov v oblasti ML, HCI a AR. Konkrétne algoritmy prevodu reči na text/text na reč v súčasnosti dosiahli vysoký výkon ako produkt najnovších prelomových pokrokov v oblasti hlbokého učenia (deep learning - DL). Komerčne dostupné systémy však nie je možné ľahko integrovať do riešenia zameraného na komunikáciu medzi nepočujúcimi a počujúcimi. Na druhej strane existujúce výskumné snahy o riešenie problému prepisu SL videa alebo generovania syntetických SL záznamov (SL avatara) z textu nepriniesli uspokojivý výsledok.

aiD rieši oba tieto problémy. Vyvíjame moduly prevodu reči na text/textu na reč prispôsobené požiadavkám systému, ktorý rieši komunikáciu nepočujúcich. A čo je najdôležitejšie, systematicky riešime hlavnú technologickú výzvu prepisu a generovania SL v prostredí AR. Našou víziou je využiť a rozvinúť najnovšie poznatky v oblasti DL na riešenie týchto problémov s prevratnou presnosťou, a to spôsobom, ktorý je prispôsobený komoditnému mobilnému hardvéru. To bude v ostrom kontraste s existujúcimi systémami, ktoré buď závisia od sofistikovaného nákladného vybavenia (viacero zrakových senzorov, rukavíc a náramkov), alebo sú to systémy obmedzené len na laboratórne písanie prstami na rozdiel od oficiálneho SL, ktorý nepočujúci skutočne používajú. Súčasný stav techniky si totiž vyžaduje drahé zariadenia a funguje na základe jednotlivých slov, čím chýba syntaktický kontext. Napokon, tieto riešenia nie sú prispôsobené bežným mobilným zariadeniam. Našou víziou je vyriešiť tieto ohromujúce nedostatky tak, aby sme ponúkli konkrétne riešenie, ktoré sa zaoberá interakciou medzi nepočujúcimi a počujúcimi ľuďmi v reálnom čase. Naša hlavná inovácia spočíva vo vývoji nových algoritmov a techník, ktoré umožňujú preklad SL videa na text alebo reč v reálnom čase a naopak (generovanie SL avatara z reči/textu v prostredí rozšírenej reality) s uspokojivou presnosťou spôsobom, ktorý je prispôsobený bežným mobilným zariadeniam, ako sú smartfóny a tablety.

Riešenie mnohostrannej úlohy umožniť nepočujúcim ľuďom účinne komunikovať, komunikovať a napokon sa zapojiť do spoločenského života prinesie zásadný posun v živote státisícov európskych občanov. Hlavným cieľom projektu aiD, inšpirovaného hlbokým pochopením potrieb komunity nepočujúcich, ako aj schopností moderných technológií strojového učenia (ML) a rozšírenej reality (AR), je realizovať medziodborové prelomové inovácie, ktoré vychádzajú z najnovších pokrokov akademického výskumu a rozširujú ich, aby ponúkli komplexný súbor riešení uspokojujúcich komunikačné potreby nepočujúcich. Konkrétne sa zameriavame na tieto pilotné projekty: a) jednoduchá komunikácia prostredníctvom prekladu z a do SL (SL) prispôsobiteľného komoditným mobilným zariadeniam, b) nové vzdelávacie riešenia pre nepočujúce deti, c) inteligentné sprostredkovateľské služby pre nepočujúcich vrátane záchranných služieb. Uvažujeme o celej línii komunikácie, ktorá zahŕňa technologický vývoj na viacerých technologických hraniciach: spracovanie signálov, vnímanie a generovanie signálov prostredníctvom pokročilých ML, vytváranie virtuálnych SL signálov v prostredí AR, otázky použiteľnosti a škálovateľnosť vyvinutých technológií na komoditných mobilných zariadeniach, prístupných prevažnej väčšine potenciálnych používateľov.

Sledujte nás na:

Webová lokalita: https://aideaf.eu/

Facebook: https://www.facebook.com/aiDH2020/

Twitter: https://twitter.com/Aid_H2020

Kanál YouTube: https://www.youtube.com/channel/UCs84Eh8cj1_qe_FZoSrNqRQ