Zuhören oder Lippen lesen – wie neuronale Schwingungen Sprache entschlüsseln

Dieses Bild zeigt eine Person mit Elektroden auf dem Kopf, die eine Person auf einem Computerbildschirm anschaut.

05.11.2020

Ein vom Schweizerischen Nationalfonds unterstütztes Forschungsteam hat herausgefunden, wie Schwingungen im Gehirn am Verstehen von gesprochener Sprache beteiligt sind: Sie bestimmen, welcher Sinn – Hören oder Sehen – hauptsächlich beiträgt.

Wenn wir verstehen wollen, was uns jemand sagt, verlassen wir uns nicht nur auf das Gehör, sondern auch darauf, was wir sehen: Wir beobachten die Lippenbewegungen und den Gesichtsausdruck. Bisher war nicht bekannt, wie das Gehirn zwischen auditiven und visuellen Zeichen wählt. Doch eine vom Schweizerischen Nationalfonds (SNF) unterstützte Forschungsgruppe konnte nun zeigen, dass die Schwingungen der Neuronen im Gehirn an diesem Prozess beteiligt sind. Ausschlaggebend ist, in welcher Phase sich diese Oszillationen befinden: Je nachdem, wie die exakte Schwingungsposition unmittelbar vor dem entscheidenden Moment ist, wird hauptsächlich der eine oder der andere Sinneskanal zum Verständnis eingesetzt. Die Ergebnisse der Studie, unter der Leitung des Neurologen Pierre Mégevand von der Universität Genf, wurden vor Kurzem in der Fachzeitschrift Science Advances (*) veröffentlicht.

Verwirrende audiovisuelle Signale

Zu den Ergebnissen gelangten Pierre Mégevand und seine Kollegen Raphaël Thézé und Anne-Lise Giraud mit einem neuartigen Versuchssetting, das verwirrende audiovisuelle Eindrücke erzeugt. Sie platzierten die französischsprachigen Versuchspersonen vor einem Bildschirm, auf dem eine virtuelle Person Satzpaare sagt, die sehr ähnlich klingen, zum Beispiel "Il n’y a rien à boire" und "Il n’y a rien à voir" (Es gibt nichts zu trinken/nichts zu sehen). Bei gewissen, von der virtuellen Person gesprochenen Sätzen, wurde ein Konflikt programmiert: Die Versuchsperson hörte den einen Satz, sah aber (auf den Lippen) den anderen Satz. Zum Beispiel sprach die Person ein «b», die Lippen formten ein "v". Die Versuchspersonen wurden nun aufgefordert, den Satz zu wiederholen, den sie verstanden hatten. Dabei wurde die elektrische Aktivität in ihrem Gehirn mit Elektroden aufgezeichnet.

Die Forschenden beobachteten, dass in den Fällen, bei denen die Informationen über Ohr und Auge identisch waren, die Sätze meistens korrekt wiederholt wurden. Widersprachen sich hingegen die auditiven und die visuellen Informationen, dann verliessen sich die Versuchspersonen entweder eher auf das, was sie hörten, oder auf das, was sie sahen. Wenn sie zum Beispiel ein "v" hörten, aber ein "b" sahen, wurde die Wahrnehmung in etwa zwei Dritteln der Fälle durch das Hören dominiert. In den übrigen Fällen war das Sehen für die Interpretation ausschlaggebend.

Der Sinneskanal wird im Voraus festgelegt

Die Forschenden suchten nach Zusammenhängen zwischen diesen Ergebnissen und der elektrischen Aktivität im Gehirn. Dabei zeigten sich Unterschiede zwischen Personen, die sich auf ihr Gehör verlassen, und denjenigen, die ihren Augen vertrauen: Rund 300 Millisekunden vor dem Zeitpunkt, in dem es zu einer Übereinstimmung beziehungsweise zu einem Konflikt zwischen auditiven und visuellen Zeichen kam, befanden sich die zerebralen Schwingungen im hinteren Temporal- und Okzipitallappen der beiden Personengruppen in jeweils anderen Phasen.

"Wir wissen seit den 1970er-Jahren, dass in gewissen Situationen das Gehirn die visuellen Anhaltspunkte den auditiven vorzieht, und zwar verstärkt dann, wenn das Tonsignal gestört ist, zum Beispiel durch Umgebungslärm. Wir können nun zeigen, dass die Neuronenschwingungen an diesem Prozess beteiligt sind. Doch ihre exakte Rolle bleibt ein Rätsel", erklärt Pierre Mégevand.

Genaue Lokalisierung der Gehirnaktivität

Für das Experiment wurde jeder Satz nacheinander von sechs virtuellen Personen gesprochen – mit Hintergrundlärm, der das Hörverständnis störte. Nach jedem der insgesamt 240 Sätze des Experiments hatten die Versuchspersonen eine Sekunde Zeit, um zu wiederholen, was sie verstanden hatten.

Ursprünglich beteiligten sich 25 Freiwillige am Experiment, jedoch konnten nur 15 Aufnahmen der Gehirnaktivitäten ausgewertet werden. Für diese Art von Studie ist das eine relativ kleine Zahl. "Doch wir hatten das Glück, dass eine Person am Experiment teilnahm, die im Gehirn – wegen Epilepsie – implantierte Elektroden trägt, was uns sehr genaue Daten für die Lokalisierung der Gehirnaktivität verschaffte", erklärt Pierre Mégevand. Gewisse Ergebnisse der Studie müssen aber noch genauer untersucht werden. So konnte der Zusammenhang zwischen der Oszillationsphase und der Wahrnehmung der Sätze nur in der rechten Hirnhälfte hergestellt werden. Dabei werden diese Informationen normalerweise eher in der linken Hirnhälfte aufgenommen.

(*) R. Thézé, A.-L. Giraud, P. Mégevand. The phase of cortical oscillations determines the perceptual fate of visual cues in naturalistic audiovisual speech. Science Advances (2020).https://doi.org/10.1126/sciadv.abc6348

Kontakt

Unterstützung für unabhängige Wissenschaft

Dieses Projekt wurde vom Schweizerischen Nationalfonds im Rahmen des Förderinstruments "Ambizione" unterstützt. Die Ambizione-Beiträge richten sich an junge Forscherinnen und Forscher, die ein selbstständig geplantes Projekt an einer Schweizer Hochschule durchführen, verwalten und leiten möchten. Die Beiträge werden für maximal vier Jahre zugesprochen.

Ambizione