Alexa hört auf Gefühle

Die Gefühlslage ausspionieren

Doch Forscher wollen nicht nur über die emotionale Stimme eines Sprachassistenten den Kunden beeinflussen, sie haben auch die Stimme des Kunden selbst im Visier. Denn sie gibt – gewollt oder ungewollt – wertvolle Emotionen preis. Das reizt Björn Schuller, Inhaber des Lehrstuhls für Embedded Intelligence for Health Care and Wellbeing der Universität Augsburg und Mitbegründer des Software-Unternehmens audEERING mit Sitz in Gilching. Bevor er seine Software auf menschliche Stimmen loslässt, füttert er sie mit großen Mengen an Sprachdaten und trainiert sie damit. Die Stimmbeispiele werden dabei in einem ersten Schritt mit einem Label – etwa „Wut“ oder „Freude“ – versehen, um dem Programm zu vermitteln, wie sie einzuordnen sind. Mit der Zeit erkennt der Algorithmus immer differenzierter, welche Emotionen in den Stimmen mitschwingen.

„Unsere Software kann über 6000 klassische Merkmale für die Emotionserfassung heranziehen“, sagt Björn Schuller. Sie achtet vor allem auf die Tonhöhe, das Sprechtempo und die Lautstärke. „Bei einer wütenden Stimme ist die Lautstärke meist höher“, so Schuller. Unsicherheit wiederum verrät sich durch ein winziges Zittern in der Stimme, und die Tonhöhe ist weniger variabel.

Die Callcenter-Software CallAIser von Schuller und seinem Team wird schon zum Zweck der Selbstbeobachtung von Mitarbeitern eingesetzt. Die Mitarbeiter können über die Software beispielsweise feststellen, ob ihre Stimme im Gespräch mit Kunden zu aggressiv ist. In Testläufen in Callcentern werden auch die Emotionen des Kunden erfasst. Wird etwa ein Kunde im Gespräch mit einem Computer wütend, kann man einen menschlichen Gesprächspartner zuschalten. Die Software kann laut Schuller zudem ähnlich einem emotional intelligenten Verkäufer merken, bei welchen Produkten das Herz eines Käufers höher schlägt. Und sie kann den emotional besten Moment abwarten, um einen passenden Vorschlag zum Kauf zu machen.

Wie gut Maschinen darin sind, unser Innerstes auszuhorchen, hängt von den Umständen ab. „Wenn die Emotion recht grob, sehr ausgeprägt und relativ gut abgegrenzt ist von anderen, dann liegen die Erkennungsraten bei rund 80 Prozent“, sagt Jarek Krajewski. „So können Maschinen eine ausgeprägte Wut im Straßenverkehr gut erkennen“, meint der Psychologe von der Universität Wuppertal. Eine leichte Wut sei schon schwerer zu identifizieren. Außerdem treten Emotionen im Alltag in der Regel nicht einzeln auf, sondern als Gruppe, beispielsweise bei einer freudigen oder traurigen Überraschung. Und sie sind voller Nuancen. „In solchen Fällen sind die Ergebnisse nicht gut, und man bekommt manchmal sogar gar keine Ergebnisse“, sagt Krajewski.

Der immense Datenhunger der Maschinen macht Forschern zusätzlich zu schaffen. „Für gute Ergebnisse sind große Mengen an unterschiedlichen Trainingsdaten nötig“, sagt der Psychologe. Idealerweise stammen sie von mehreren Tausend Sprechern, um die ganzen Nuancen an Sprechern abzudecken. „Aber das ist auch der Flaschenhals. Denn meist hat man bestenfalls 100 Sprecher für das Training und daher auch schlechtere Ergebnisse.“

Letztlich ist der Mensch für die Maschinen der Bremsklotz. „Die automatisierte Emotionserkennung kann den Menschen noch nicht übertreffen“, sagt Björn Schuller. „Weil wir ja nur vom Menschen die Bezugsgrößen haben, also von ihm lernen.“ Denn um die Stimmbeispiele für das Training der Algorithmen mit einem Label wie „Wut“ oder „Angst“ zu versehen, bewerten zunächst Menschen die Emotionen, die in einer Stimme mitschwingen.

Auch die Mimik ist verräterisch

Aber nicht nur die menschliche Stimme weckt Begehrlichkeiten. Auch die Mimik verrät so manches über die Gemütslage – teilweise unwillentlich. Dem bekannten amerikanischen Psychologen Paul Ekman zufolge gibt es bestimmte Grundemotionen, die Menschen aller Kulturen in gleicher Weise empfinden, zum Ausdruck bringen und bei anderen erkennen: Freude, Ärger, Ekel, Angst, Trauer und Überraschung. Zu jeder dieser Basisemotionen gehört laut Ekman ein unverkennbarer Gesichtsausdruck, über den niemand hinwegtäuschen kann. Mit dem Facial Action Coding System (FACS) entwickelte Ekman ein Codesystem, mit dem sich anhand kleinster Muskelbewegungen wie dem Anheben der Augenbrauen Gesichtsausdrücke entschlüsseln und Emotionen zuordnen lassen. Raten Sie: Was bedeuten herunter- und zusammengezogene Augenbrauen, weit aufgerissene Augen, fest aufeinander gepresste Lippen? Richtig: Wut. Auch wenn umstritten ist, ob sich solche Grundemotionen wirklich über alle Kulturen hinweg im Gesicht gleich ausdrücken: Forscher und Unternehmen greifen vielfach auf das Modell von Ekman zurück, um mithilfe von Algorithmen Emotionen von Gesichtern abzulesen.

„Wie gut Algorithmen das können, hängt letztlich davon ab, wie sehr sich die Emotionen im Gesicht widerspiegeln“, sagt André Weinreich, Psychologe an der BSP Business School Berlin. Bei voll ausprägten Emotionen gelinge das schon ziemlich gut. Algorithmen schlagen sich hier ungefähr so gut wie Menschen, die im Entschlüsseln von Mimik geschult sind. Allerdings nur, wenn das Gesicht frontal gut erkennbar und ausgeleuchtet ist. „In solchen Fällen liegt die Trefferquote von Mensch und Maschine meist bei weit über 90 Prozent“, sagt Weinreich.

In einer unabhängigen Studie testeten Forscher um den Psychologen Oliver Schultheiss von der Universität Erlangen eine Software der niederländischen Firma Noldus Information Technology. Der sogenannte Noldus FaceReader erkannte rund 80 Prozent der Mimik auf Bildern und in Videos, die Gefühle wie Freude oder Ärger zum Ausdruck brachten. „Deuten sich die Emotionen im Gesicht hingegen nur leicht an oder sind gar nicht zu sehen, kann auch ein Algorithmus keine Emotionen erkennen“, so Weinreich.

Etliche Unternehmen versuchen bereits das Potenzial der emotionalen Gesichtserkennung zu nutzen. Beispiel Marktforschung: Bislang kennt man hier vor allem einen Weg, um den Emotionen auf die Spur zu kommen, die ein Werbespot auslöst – das Befragen. Zwar lassen sich etwa per EEG (Elektroenzephalographie) auch die Reaktionen im Gehirn in Echtzeit messen, aber die Methode hat Haken: die Verkabelung mit Elektroden auf der Kopfhaut wirkt störend, und die Datenanalyse ist komplex. Daher haben Forscher des Nürnberg Institut für Marktentscheidungen (vorher GfK Verein) in Kooperation mit der Universität Genf und dem Fraunhofer Institut die Software EMO Scan entwickelt. Sie soll nicht nur starke Emotionen wie Ärger, Traurigkeit, Überraschung, und Freude erkennen, sondern auch subtile Emotionsausdrücke, die als Reaktion auf einen Werbeclip viel häufiger zu beobachten sind und Marktforscher deshalb besonders interessieren.

Um die Software auf die Probe zu stellen, bekamen Probanden bei einer Studie vier unterschiedliche Werbespots gezeigt. Währenddessen wurden sie per Videokamera gefilmt, und EMO Scan erfasste anhand der aufgenommenen Gesichter die Reaktionen auf die Clips. Laut den GfK-Forschern ließen sich die emotionalen Reaktionen den einzelnen Szenen eines Spots zeitgenau und inhaltlich stimmig zuordnen. Ein Zahnpasta-Clip etwa, der zu Beginn auf Schockeffekte setzte, sorgte bei den Probanden durchgehend für negative Emotionen. Bei den meisten Befragten kam die auf Ekel und Furcht setzende Werbestrategie nicht gut an.

Doch die neuen Möglichkeiten, Emotionen aus Stimme und Gesicht auszulesen, wecken ethische Bedenken – etwa wenn die Emotionen von Kunden während eines Callcenter-Anrufs per Stimmanalyse ausgelesen werden. Das sieht auch Björn Schuller so. „Sollte unsere Callcenter-Software in der Praxis zum Einsatz kommen“, sagt Schuller, „dann müsste man natürlich für den Kunden einen Warnhinweis einblenden.“

Besonders heikel wird es, wenn das Wissen um die Emotionen von Kunden von Algorithmen genutzt wird, um die Verkäufe anzukurbeln. Für Björn Schuller gilt: „Eine Grenze ist überschritten, wenn Personen zu Käufen getrieben werden, die sie sonst nicht tätigen würden. Wenn sie Dinge kaufen, die sie weder brauchen noch die ihnen nutzen und die sie im schlimmsten Fall in eine Schuldenfalle treiben.“ Doch eine solche Grenze wird schwer zu kontrollieren sein.