English
English
Im August 1994 ist das von der TU Berlin geförderte Interdisziplinäre Forschungsprojekt (IFP) "Gebärdenerkennung mit Sensorhandschuhen" angelaufen.
Beteiligt sind die drei TU-Fachbereiche
Die Erfassung der Meßgrößen geschieht mit unterschiedlichen Sensoren. Die räumliche Stellung der Hände wird zur Zeit mit einem Ultraschallortungssystem gemessen, das im Rahmen einer Diplomarbeit am Institut für Technische Informatik entwickelt wurde. Die Beugung der Finger und die Druckverteilung beim Greifen wird mit dem TUB-Sensorhandschuh aufgenommen, der das Ergebnis einer Studienarbeit am Institut für Technische Informatik ist.
Der inzwischen patentierte Handschuh wurde auf der Hannover Messe Industrie 1993 vorgestellt und ist bzgl. seiner Genauigkeit und Ausstattung mit Sensoren vielen kommerziellen Systemen überlegen. Eine Weiterentwicklung wurde auf der CeBIT'95 präsentiert. Der Handschuh ist auf der Rückseite mit zwölf Positionssensoren ausgestattet, die die Beugung der Fingergelenke mit einer Auflösung im Grad- bis Zehntelgradbereich messen. Auf der Innenseite erfassen zwölf Drucksensoren die beim Greifen von Gegenständen auftretenden Druckmuster.
Im Projekt sollen die vorhandenen Sensoren um Meßaufnehmer ergänzt werden, die von den Mikrosensorikern neu geschaffen werden. Die Arbeitsgruppe am FSP Mikroperipherik wird sich im ersten Förderabschnitt des IFPs vorwiegend mit der Entwicklung von Beschleunigungssensoren für den Handschuh befassen, die schnelle Handbewegungen besser auflösen können als das Ultraschallsystem. Durch gleichzeitiges Messen der auftretenden Beschleunigungen für alle drei Raumrichtungen wird die mathematische Rekonstruktion der von der Hand beschriebenen Bahn möglich. Dies erfordert den Entwurf neuartiger mikromechanischer Bauteile, da bisher keine Sensoren verfügbar sind, die mit nur einem Chip dreiachsige Beschleunigungen messen können.
Hinsichtlich der Sensorspezifikationen, Signalverarbeitung, Kennlinien und Kennwerte der Sensoren ist eine enge Zusammenarbeit mit der Gruppe am Institut für Technische Informatik wichtig. Nur dadurch wird gewährleistet, daß die entwickelten Sensoren auch für einen praktischen Einsatz auf dem Handschuh geeignet sind.
Die Arbeitsstelle für Semiotik wird verschiedene Gebärdenkodes auf ihre Eignung zur Erkennung mit dem Sensorhandschuh untersuchen. Dabei geht es um Gemeingebärden und um Fachgebärden. Die Erstellung eines Emblemlexikons für Berlin nach dem Vorbild der Forschungen von Ekman, Johnson, Sparhawk usw. stellt einen zentralen Teil der Arbeit dar. Hinzu kommen kleine Repertoires von Fachgebärden, die in der Arbeitswelt entwickelt worden sind bzw. für sie entwickelt werden (z.B. "Handzeichen im Kranbetrieb", mit denen auf Baustellen Kräne vom Boden aus dirigiert werden, oder "Studiogebärden", die ein Regisseur hinter der schalldichten Studioscheibe zur Übermittlung von Regieanweisungen in den Aufnahmeraum verwendet).
Die Gebärdenkodes sollen von der Arbeitsstelle für Semiotik systematisch erfaßt, transkribiert und in Form eines Lexikons für die Erkennung und Simulierung mittels eines Sensorhandschuhs aufbereitet werden. Die Aufbereitung des Gebärdenmaterials geschieht unter Zuhilfenahme moderner Videotechnik mit anschließender computergestützter Bildauswertung. Das gesammelte Datenmaterial steht dem Projekt dann in Form einer CD-Bilddatenbank zur Verfügung.
Die Arbeitsgruppe am Institut für Technische Informatik wird sich mit der rechnergestützten Gebärdenerkennung und der Weiterentwicklung des TUB-Sensorhandschuhs befassen. Dazu müssen zunächst die von den Mikrosensorikern entwickelten Sensoren auf dem Handschuh integriert und geeignete Schnittstellen zur bestehenden Hardware geschaffen werden. Der neue Prototyp muß getestet und kalibriert werden, ehe mit ihm zuverlässiges Datenmaterial für die Gebärdenerkennung gewonnen werden kann.
Zur Auswertung der Gebärdendaten werden verschiedene Verfahren und Algorithmen aus dem Gebiet der Mustererkennung verwendet. Unter anderem sollen klassische statistische Verfahren, neuronale Netze, genetische Algorithmen und Fuzzy Logic zum Einsatz kommen. Teils müssen die Verfahren an die neuartige Problemstellung angepaßt, teils auch ganz neue Methoden entwickelt werden. Die Datenauswertung ist sehr rechenintensiv, weshalb für die angestrebte Echtzeit-Gebärdenerkennung ein schneller Rechner - hier eine DEC Alpha-Workstation - erforderlich ist.
Das zu erkennende Gebärdenmaterial wird in enger Kooperation mit den Semiotikern erarbeitet: Zur Darstellung im Rechner muß eine formale Sprache bzw. Notation für die Gebärden gefunden werden, die sich sowohl zur Überführung des Videobildmaterials in diese Notation als auch zur Weiterverarbeitung mittels Rechner eignet. Die Gebärden, die später vom Rechner erkannt werden sollen, werden zunächst durch Begutachtung des von der Semiotik- Arbeitsgruppe gesammelten Materials ausgewählt. Testpersonen können sie dann im Rahmen einer definierten Anwendung mit Sensorhandschuhen in den Rechner eingeben.
Anwendungen der sensorgestützten Gebärdenerkennung gibt es viele. Sie reichen von Navigierkommandos in virtuellen Welten (Stichwort "Cyberspace"), über Einsatz in Medizin und Technik - z.B. Fernsteuerkommandos für Präzisionsarbeiten mit chirurgischen Robotern bzw. die Steuerung von Robotern im Weltraum oder an anderen für den Menschen gefährlichen Orten - bis hin zur Erleichterung der Kommunikation von Taubstummen bzw. Gehörlosen mit Hörenden.
Im Projekt soll unter anderem versucht werden, einen Roboter sowie einen auf dem Bildschirm simulierten Baukran mittels einfacher Gebärdenkommandos zu dirigieren. Dies sind Beispielanwendungen des insgesamt zu erstellenden Systems, welches neben Gebärdendateneingabe, -vorverarbeitung und -analyse auch eine integrierte Gebärdendatenbank (verschiedene Gebärdenlexika), Komponenten zur graphischen Darstellung der gemessenen Daten sowie Steuermodule für Roboter und andere Geräte enthalten soll.
Die maschinelle Erkennung der menschlichen Gehörlosensprache ist ein Fernziel. Sie würde es Gehörlosen ermöglichen, auf einfache Weise mit ihrer Umwelt zu kommunizieren. Denkbar ist z.B. ein "Gebärdentelefon", welches über eine normale Telefonleitung die von den Sensorhandschuhen aufgenommenen Daten der Gegenstelle auf einem Bildschirm zur Anzeige bringt (das Bildtelefon eignet sich dafür nicht, da dessen Übertragungskapazität mit wenigen Bildern pro Sekunde viel zu gering ist). Anstelle einer Videoanzeige ist selbstverständlich auch eine direkte Sprachausgabe vorstellbar, bei der der Computer als "Dolmetscher" zwischen Gehörlosen und Hörenden dient.
Technische Universität Berlin Institut für Technische Informatik Sekretariat EN10 Einsteinufer 17 D-10587 Berlin
Zurück zu Prozessdatenverarbeitung (PDV)