Die Mundbewegungen alleine ohne den Ton gaben den Probanden zwar Hinweise auf die gesprochene Silbe, waren aber nicht ganz eindeutig. Besonders die Silbe „ka“ wurde nur in 65 Prozent der Tests erkannt, berichten die Forscher. Der Ton alleine war dagegen eindeutig und erzeugte ein ganz bestimmtes Signal im Elektroenzephalogramm. Interessant war jedoch die Bild-Ton-Kombination: Wurden Lippenbewegung und Ton zusammen präsentiert, verkürzte sich die Reaktionszeit des Gehirns auf den Ton und das entsprechende EEG-Signal erfolgte früher. Dieser Effekt war bei der Silbe „pa“, die von praktisch allen Probanden eindeutig erkannt wurde, ausgeprägter als beim „ka“, das nicht so eindeutige visuelle Hinweise lieferte.
Das Gehirn analysiert demnach Sprache, indem es eine Vielzahl von Sinnesreizen zusammenfügt, schreiben die Forscher. Der visuelle Reiz ? in diesem Fall die Lippenbewegungen ? scheint dabei die Anzahl an möglichen Interpretationen des akustischen Reizes einzuschränken und dem Gehirn nur noch eine begrenzte Auswahl an Verarbeitungsmöglichkeiten offen zu halten. Wahrscheinlich existieren im Gehirn grobe Skizzen verschiedener Wahrnehmungssysteme, schließen die Forscher aus den Daten. Die visuellen Hinweise zeigen dem Gehirn, welcher dieser Entwürfe hervorgeholt und verwendet werden soll, so dass ein langes Suchen nicht mehr erforderlich ist.