Rund 80.000 Menschen nutzen in Deutschland die Deutsche Gebärdensprache als ihre primäre Kommunikationsform. Eine alltagstaugliche Technologie, die Gebärdensprache zuverlässig in Echtzeit übersetzt, gibt es bisher nicht – obwohl die Forschung seit Jahren daran arbeitet. Genau das will ein gemeinsames Forschungsprojekt von Bitech AG Hürth, TDL Lunzenau und der Technischen Universität Chemnitz ändern.
Das Problem: Technik, die am Alltag scheitert
Wer sich mit bisherigen Forschungsansätzen zur Gebärdenspracherkennung beschäftigt, stößt schnell auf ein wiederkehrendes Muster: Die Ansätze scheitern nicht an einem einzigen Schwachpunkt – sie scheitern an der Summe noch ungelöster Probleme. Mangelnder Tragekomfort, ungenaue Sensorplatzierung, Klassifikationsverfahren, die unter realen Bedingungen ins Stolpern geraten – und eine Sensorik, die für den Alltag noch nicht ausreichend ausgereift ist.
Kamerasysteme funktionieren im Labor, versagen aber bei wechselnden Lichtverhältnissen oder in Bewegung und monomodale Sensorik – also Systeme, die nur auf eine einzige Datenquelle setzen – kommt schnell an ihre Grenzen, sobald Gebärden komplex oder sich ähnlich werden.
Genau hier setzt das Forschungsvorhaben an: nicht mit einem weiteren Einzelsensor, sondern mit einem systematisch multimodalen Ansatz, der mehrere Technologien sinnvoll kombiniert.
Der Ansatz: Drei Sensortechnologien in einem Armband
Das Herzstück des angestrebten Systems soll ein textiles Armband sein, das drei Sensortypen gleichzeitig nutzt – und damit ein deutlich präziseres Bild der Handbewegungen liefern soll als bisherige Ansätze:
• Elektromyographie (EMG) erfasst die elektrischen Signale der Muskelaktivität – also das, was unter der Haut passiert, bevor eine Bewegung sichtbar wird.
• Forcemyographie (FMG) misst Veränderungen im Muskelvolumen und ergänzt damit die EMG-Daten um eine weitere Dimension der Krafterfassung.
• Inertialmesseinheiten (IMU) tracken Lage, Beschleunigung und Rotationsgeschwindigkeit – und bilden damit die kinematischen Bewegungen von Hand und Arm ab.
Die Kombination dieser drei Datenströme soll es ermöglichen, auch komplexe oder ähnlich ausgeführte Gebärden zuverlässig zu unterscheiden. Gleichzeitig steigen damit die Anforderungen an Signalverarbeitung, Synchronisation und Klassifikation deutlich.
Textil trifft Technologie: Armband und Sensor als eingespieltes Team
Ein Armband, das man wirklich tragen will, darf nicht klobig, unflexibel oder empfindlich sein. TDL Lunzenau entwickelt deshalb das Armband als textile Trägerstruktur – ergonomisch gestaltet und in einer mehrlagigen Sandwichstruktur aufgebaut, die die Sensorelemente aufnimmt und stabil positioniert. Die Textilsensoren selbst – ultradünne, flexible Elemente auf Basis von EMG, FMG und IMU – werden von der TU Chemnitz entwickelt und in diese Trägerstruktur integriert.
Die Anforderungen sind anspruchsvoll: stabile Signalqualität bei Bewegung, Feuchtigkeit und mechanischer Belastung – und das über mehrere Waschzyklen hinweg. Letzteres ist kein Detail am Rande, sondern ein zentrales Alltagskriterium.
KI, die dazulernt: Adaptive Kalibrierung als Schlüssel
Gebärdensprache ist individuell. Zwei Menschen gebärden dieselbe Vokabel unterschiedlich schnell, unterschiedlich groß, mit unterschiedlicher Muskelspannung. Ein statisches KI-Modell, das diese Variabilität ignoriert, wird scheitern – egal wie gut es trainiert wurde.
Deshalb setzt das Projekt auf kontinuierliche Modellanpassung durch Nutzerfeedback. Das System soll mit jeder Nutzerin und jedem Nutzer mitlernen – und dabei präziser werden. Die angestrebte Erkennungsgenauigkeit von über 90 Prozent ist ein ambitioniertes Ziel – und bleibt angesichts der hohen individuellen Variabilität in der Gebärdensprache eine echte Herausforderung, die im Projektverlauf unter realen Bedingungen validiert werden muss.
Die Ausgabe soll über eine mobile App erfolgen, die erkannte Gebärden in Echtzeit als Text oder gesprochene Sprache ausgibt – perspektivisch auch mehrsprachig. Die Zielvorgabe: eine Systemlatenz von unter 200 Millisekunden. Das ist die Voraussetzung für natürlich wirkende Kommunikation – und zugleich eine der anspruchsvollsten technischen Hürden des Projekts.
Starke Wissenschaft im Rücken
Das Projekt steht auf einem soliden wissenschaftlichen Fundament. Die Messtechnik- und Sensorikforschung der Technischen Universität Chemnitz unter der Leitung von Prof. Dr. Olfa Kanoun genießt internationale Sichtbarkeit – nicht zuletzt durch den IEEE Instrumentation and Measurement Society Technical Award 2022, der Prof. Kanoun für ihre Pionierarbeit in der Sensorik und Impedanzspektroskopie verliehen wurde. Diese Expertise fließt direkt in die Entwicklung der Textilsensoren sowie der Klassifikations- und Übersetzungsalgorithmen ein.
Was dieses Projekt wirklich bedeutet
Es geht hier nicht um ein Gadget. Es geht um echte Teilhabe. Ein System, das Gebärdensprache zuverlässig, unauffällig und alltagstauglich in Text oder Sprache überträgt, könnte Kommunikationsbarrieren nachhaltig abbauen – im Gespräch mit Ärzten, am Schalter, im Job, im Alltag. Genau das ist das Ziel dieses Projekts. Die technologischen Hürden sind real. 90 Prozent Erkennungsgenauigkeit unter realen Bedingungen, eine Latenz unter 200 Millisekunden, Waschbeständigkeit über Dutzende von Zyklen – das sind keine einfachen Ziele. Aber sie sind der richtige Maßstab. Denn Barrierefreiheit, die im Labor funktioniert und im Alltag versagt, ist keine Barrierefreiheit.
Bitech AG Hürth als technologischer Partner
Als Teil dieses Forschungsverbunds verantwortet die Bitech AG Hürth die Entwicklung der mobilen Applikation – inklusive KI-gestützter Kalibrierung, mehrsprachiger Sprachausgabe und sicherer Datenverarbeitung. Die Minimierung der Systemlatenz ist dabei ein zentrales Entwicklungsziel, das wir mit unserer Expertise in Echtzeit-Datenverarbeitung und KI-Integration angehen.
Wir glauben, dass Technologie dann ihren größten Wert entfaltet, wenn sie Menschen verbindet – nicht nur Systeme. Dieses Projekt ist ein Schritt in genau diese Richtung.
Interesse an unserer Forschungsarbeit? Sprecht uns an!
(Foto: KI-generiertes Symbolbild)