aiD

Το aiD στοχεύει να αντιμετωπίσει την πρόκληση της επικοινωνίας και της κοινωνικής ενσωμάτωσης των κωφών, αξιοποιώντας τις τελευταίες εξελίξεις στην ML, το HCI και την AR. Συγκεκριμένα, οι αλγόριθμοι ομιλίας-προς-κείμενο/κειμένου-σε-ομιλία έχουν σήμερα επιτύχει υψηλές επιδόσεις, ως προϊόν των τελευταίων πρωτοποριακών εξελίξεων στον τομέα της βαθιάς μάθησης (DL). Ωστόσο, τα εμπορικά διαθέσιμα συστήματα δεν μπορούν να ενσωματωθούν εύκολα σε μια λύση που στοχεύει στην επικοινωνία μεταξύ κωφών και ακουόντων. Από την άλλη πλευρά, οι υπάρχουσες ερευνητικές προσπάθειες για την αντιμετώπιση του προβλήματος της μεταγραφής βίντεο SL ή της δημιουργίας συνθετικού υλικού SL (SL avatar) από κείμενο δεν έχουν καταφέρει να δημιουργήσουν ικανοποιητικό αποτέλεσμα.

Το aiD αντιμετωπίζει και τα δύο αυτά προβλήματα. Αναπτύσσουμε ενότητες ομιλίας-προς-κείμενο/κειμένου-προς-ομιλία προσαρμοσμένες στις απαιτήσεις ενός συστήματος που απευθύνεται στην επικοινωνία των κωφών. Το πιο σημαντικό είναι ότι αντιμετωπίζουμε συστηματικά τη βασική τεχνολογική πρόκληση της μεταγραφής και παραγωγής SL σε ένα περιβάλλον AR. Το όραμά μας είναι να αξιοποιήσουμε και να προωθήσουμε την τελευταία λέξη της τεχνολογίας στην DL για την επίλυση αυτών των προβλημάτων με πρωτοποριακή ακρίβεια, με τρόπο που να είναι προσιτός σε βασικό υλικό κινητών συσκευών. Αυτό θα έρχεται σε πλήρη αντίθεση με τα υπάρχοντα συστήματα που είτε εξαρτώνται από εξελιγμένο και δαπανηρό εξοπλισμό (πολλαπλοί αισθητήρες όρασης, γάντια και βραχιολάκια), είτε είναι συστήματα που περιορίζονται μόνο σε εργαστήρια και περιορίζονται στην δακτυλική γραφή, σε αντίθεση με την επίσημη SL που χρησιμοποιούν στην πραγματικότητα οι κωφοί. Πράγματι, η τρέχουσα τεχνολογία απαιτεί ακριβές συσκευές και λειτουργεί λέξη προς λέξη, χάνοντας έτσι το συντακτικό πλαίσιο. Τέλος, οι λύσεις αυτές δεν είναι κατάλληλες για κινητές συσκευές κοινής χρήσης. Το όραμά μας είναι να επιλύσουμε αυτές τις συγκλονιστικές ανεπάρκειες, ώστε να προσφέρουμε μια συγκεκριμένη λύση που να αφορά την αλληλεπίδραση σε πραγματικό χρόνο μεταξύ κωφών και ακουόντων. Η βασική μας καινοτομία έγκειται στην ανάπτυξη νέων αλγορίθμων και τεχνικών που επιτρέπουν τη μετάφραση σε πραγματικό χρόνο βίντεο SL σε κείμενο ή ομιλία και το αντίστροφο (δημιουργία avatar SL από ομιλία/κείμενο σε περιβάλλον AR), με ικανοποιητική ακρίβεια, με τρόπο που να είναι προσιτός σε κινητές συσκευές κοινής χρήσης, όπως smartphones και tablets.

Η αντιμετώπιση της πολύπλευρης πρόκλησης να δοθεί η δυνατότητα στα κωφά άτομα να επικοινωνούν αποτελεσματικά, να αλληλεπιδρούν και τελικά να συμμετέχουν στην κοινωνική ζωή θα επιφέρει σημαντική πρόοδο στη ζωή εκατοντάδων χιλιάδων Ευρωπαίων πολιτών. Εμπνεόμενοι από τη βαθιά κατανόηση των αναγκών της κοινότητας των κωφών, καθώς και των δυνατοτήτων των σύγχρονων τεχνολογιών μηχανικής μάθησης (ML) και επαυξημένης πραγματικότητας (AR), ο πρωταρχικός στόχος του aiD είναι η διεπιστημονική καινοτομία που βασίζεται και επεκτείνεται στις τελευταίες εξελίξεις της ακαδημαϊκής έρευνας, ώστε να προσφέρει μια ολοκληρωμένη σειρά λύσεων για τις επικοινωνιακές ανάγκες των κωφών. Συγκεκριμένα, στοχεύουμε στα ακόλουθα πιλοτικά προγράμματα: α) ευκολία στην επικοινωνία μέσω μετάφρασης από και προς SL (SL) που είναι προσιτή σε κινητές συσκευές κοινής ωφέλειας, β) νέες εκπαιδευτικές λύσεις για κωφά παιδιά, γ) έξυπνες υπηρεσίες αναμετάδοσης για κωφούς, συμπεριλαμβανομένων των υπηρεσιών έκτακτης ανάγκης. Εξετάζουμε τον πλήρη αγωγό επικοινωνίας που συνεπάγεται τεχνολογική ανάπτυξη σε πολλαπλά τεχνολογικά σύνορα: επεξεργασία σήματος, αντίληψη και παραγωγή σήματος μέσω προηγμένης ML, δημιουργία εικονικών SL σημάτων σε περιβάλλον AR, θέματα ευχρηστίας και επεκτασιμότητας των αναπτυγμένων τεχνολογιών σε κινητές συσκευές κοινής ωφέλειας, προσιτές στη συντριπτική πλειονότητα των δυνητικών χρηστών.

Ακολουθήστε μας στο:

Ιστοσελίδα: https://aideaf.eu/

Facebook: https://www.facebook.com/aiDH2020/

Twitter: https://twitter.com/Aid_H2020

Κανάλι YouTube: https://www.youtube.com/channel/UCs84Eh8cj1_qe_FZoSrNqRQ