University of Oxford: Künstliche Intelligenz lernt das Lippenlesen mithilfe der BBC

Die Kunst des Lippenlesens ist bis heute keine exakte Wissenschaft. Selbst nach jahrelangem Training kann noch nicht jedes Wort genau bestimmt werden. Immerhin sind einige Lippenleser inzwischen aber so gut, dass sich die Spieler der deutschen Fußballnationalmannschaft auf dem Platz die Hand vor den Mund halten, wenn sie sich unterhalten. Die University of Oxford möchte nun künstliche Intelligenz dazu bringen, ebenfalls die Kunst des Lippenlesens zu erlernen. Dazu kooperiert die altehrwürdige Hochschule mit Deep Mind – Googles Sparte für künstliche Intelligenz. Gemeinsam entwickelten sie eine Software, die in ersten Tests deutlich besser abschnitt als alle menschlichen Konkurrenten.

Photo by busymonster via flickr, CC by 2.0

Die selbstlernende Software schaute 5.000 Stunden fernsehen

Das Computerprogramm trägt den Namen „Watch, Attend and Spell (WAS)“ und basiert auf einem selbstlernenden Algorithmus. Mithilfe einer Kamera werden die Mundbewegungen erfasst und bestimmten Wörtern zugeordnet. Allerdings folgte das System zum Üben nicht einem Monolog eines Wissenschaftlers, sondern schaute sich rund 5000 Stunden das Fernsehprogramm des britischen Senders BBC an. In diesem Zeitraum wurden etwa 118.000 Sätze gesprochen, wobei 17.500 unterschiedliche Wörter zum Einsatz kamen. Anschließend wurde die Software getestet, indem sie einen stumm geschalteten Film mit den korrekten Dialogen versehen sollte. Parallel dazu wurde dieselbe Aufgabe auch von einem Menschen durchgeführt. Das Ergebnis: Die Maschine lag in 50 Prozent der Fälle richtig. Der menschliche Lippenleser kam hingegen nur auf zwölf Prozent.

Die Software kann es mit den besten Lippenlesern aufnehmen

Wie dieses Ergebnis einzuordnen ist, ist schwer zu sagen. Denn die Wissenschaft ist sich uneins darüber, wie exakt Menschen tatsächlich Worte von den Lippen lesen können. Die Wissenschaftler in Oxford gehen davon aus, dass taube Lippenleser bis zu 52,3 Prozent der Worte korrekt erkennen können. Eine Studie der Georgia Tech University in den USA kommt hingegen nur auf einen Wert von 30 Prozent. Auf jeden Fall kann sich die WAS-Software allerdings durchaus mit den besten menschlichen Lippenlesern messen. Langfristig soll die Software genutzt werden, um es tauben Menschen zu erleichtern einer Konversation zu folgen. Das Lippenlesen müsste dann nicht mehr mühsam erlernt werden, sondern würde automatisiert erfolgen.

Via: New Atlas