Jeder kennt die Situation: Bei einer lauten Party können wir einem Gespräch besser folgen, wenn wir das Gesicht unseres Gesprächspartners und allem voran seine Lippenbewegungen betrachten. Aber was genau passiert beim „Lippenlesen“ im Gehirn? Wird das rein visuelle Signal in ein akustisches „Format“ übersetzt um Sprachverarbeitung zu unterstützen?

Und wenn ja, wie interagieren einzelne Gehirnareale dabei? Mit diesen Fragestellungen beschäftigt sich ein Team von Wissenschaftlern der Physiologischen Psychologie an der Universität Salzburg rund um Dr. Anne Hauswald. Aufgrund der bedeutenden Rückschlüsse für Sprachverarbeitung bei hörgeschädigten Individuen kooperiert das Team auch zunehmend mit der HNO Klinik in den Salzburger Landeskliniken.

In einer Studie, welche kürzlich in der renommierten Zeitschrift Current Biology veröffentlicht wurde, haben sich die Salzburger unter anderem gefragt, in welcher Form visuelle Informationen beim Lippenlesen verarbeitet werden. Dazu wurde an einer Gruppe von 24 Teilnehmern eine Magnetenzephalographie, eine Messung der magnetischen Aktivität des Gehirns, durchgeführt, während ihnen Videos mit Lippenbewegungen ohne Ton vorgespielt wurden. Die Lippenbewegungen wurden dabei vorwärts und zum Vergleich auch rückwärts abgespielt.

Die Wissenschaftler fanden heraus, dass bereits auf der Ebene des sogenannten visuellen Kortex die visuellen Informationen in ein akustisches Format umwandelt werden – allerdings nur bei vorwärts abgespielten Videos. Dies ist insofern bahnbrechend, zumal der visuelle Kortex – eine Region, die nach gängiger Meinung rein auf visuelle Reize reagieren sollte – für Sprachverständlichkeit empfänglich ist und mit einem Transformationsprozess reagiert: „Bei Beobachtung natürlicher Lippenbewegungen, fügt also der visuelle Kortex die ‚akustische Hülle‘ hinzu, selbst wenn sie gänzlich im Signal fehlt“, erklärt Dr. Anne Hauswald.

Die Fortführung dieser innovativen Forschung wird in Zukunft durch ein kürzlich bewilligtes FWF-Projekt gefördert. Darin sollen auch Personen, die ihr Gehör verloren haben, untersucht werden. Neben den spannenden grundlagenwissenschaftlichen Fragestellungen kann die Forschung weitreichende Folgen für die Rehabilitation nach Cochlea Implantaten haben. Bei diesen Hörprothesen wird der Hörnerv direkt stimuliert und das geschädigte Innenohr umgangen. Trotz großer Fortschritte in der Technologie kann der Rehabilitationserfolg jedoch massiv zwischen Patienten schwanken. „Da die vermittelten Höreindrücke am Anfang fremd erscheinen, stehen die Patienten vor der Herausforderung, gewissermaßen das Hören neu zu erlernen“, so Dr. Hauswald. Die Salzburger Forscher vermuten, dass die von ihnen entdeckten Prozesse bei der Rehabilitation eine entscheidende Rolle spielen könnten. „Die mit den verzerrten akustischen Reizen eintreffenden visuellen Informationen können, wenn effizient in ein akustisches Format umgewandelt, eine entscheidende Lernhilfe sein, den akustischen Signalen einen Sinn zu geben“, so Hauswald.

Foto: Universität Salzburg

Kontakt: Dipl.-Psych. Dr. Anne Hauswald Fachbereich

Anne Hauswald | © PLUS