AVASAG

Avatar-basierter Sprachassistent zur automatisierten Gebärdenübersetzung

Ein Mann steht vor einem Bildschirm, auf dem der Avatar einer jungen blonden Frau abgebildet ist, die in Gebärdensprache kommuniziert.
Gebärdensprach-Avatar Gloria© Charamel GmbH

Motivation

Digitale Kommunikation unterliegt einem schnelllebigen Wandel, nimmt aber nicht alle Menschen mit. Weltweit leben ca. 70 Millionen Gehörlose, für die meisten ist Textsprache eine Fremdsprache. Digitale Barrierefreiheit wird daher immer wichtiger, um Inhalte dynamisch und für alle Zielgruppen richtig aufbereitet zu kommunizieren. Entwicklungen in der Mensch-Technik-Interaktion unterstützen bei einer barrierefreien Kommunikation.

Ziele und Vorgehen

Im Verbundprojekt AVASAG wird ein echtzeitgesteuerter 3D-Gebärdensprach-Avatar zur automatischen Übersetzung deutscher Texte in Gebärdensprache entwickelt. Eine qualitativ realistische Darstellung eines 3D-Gebärdensprach-Avatars soll eine digitale und barrierefreie Kommunikation ermöglichen, um so einen Mehrwert für Gehörlose zu bieten. Unternehmen bietet AVASAG die Möglichkeit, Inhalte automatisiert und dynamisch generieren zu können und so die Interaktion und Kommunikation auf digitalen Kanälen zu optimieren. Als Demonstrator wird ein Gebärdensprach-Avatar zur automatisierten Übersetzung von Reiseinformationen und -service mit Fokus auf Verkehr und Tourismus realisiert.

Innovationen und Perspektiven

Im Projekt wird eine neuartige Gebärdenanimations-Methode für 3D-Avatare geschaffen. Sie kombiniert Methoden des maschinellen Lernens mit regelbasierten Synthesemethoden, die Text in Gebärden abbilden. Dabei werden zeitliche und räumliche Abhängigkeiten der Gebärdenelemente sehr genau aufgelöst.