Nicht immer stimmt das, was wir glauben, mit der Wirklichkeit überein. Dennoch können auch unsere Überzeugungen relevant sein: Wenn sich beispielsweise ein Patient sicher ist, dass er Krebs hat, ist es für das medizinische Fachpersonal wichtig, darüber Bescheid zu wissen und auf die Ängste einzugehen – selbst wenn die Person in Wirklichkeit körperlich völlig gesund ist. Auch vor Gericht kann es von Bedeutung sein, was die Zeugen, Täter oder Opfer glauben, selbst wenn sich ihre Überzeugungen nicht mit den objektiv feststellbaren Tatsachen decken.
Irrglauben als Herausforderung
Doch wie gut können KI-Programme individuelle Meinungen als solche erkennen? Mit dieser Frage hat sich ein Team um Mirac Suzgun von der Stanford University in Kalifornien beschäftigt. „Da KI-Sprachmodelle zunehmend in Bereiche mit hoher Bedeutung wie Recht, Medizin, Journalismus und Wissenschaft vordringen, wird ihre Fähigkeit, Glauben von Wissen und Fakten von Fiktion zu unterscheiden, unerlässlich“, schreibt das Team. Um herauszufinden, inwieweit verschiedene KI-Chatbots dazu in der Lage sind, haben die Forschenden 24 verschiedene große Sprachmodelle, darunter ChatGPT-4o und DeepSeek einer Reihe von Tests unterzogen, bei denen die KIs entweder Fakten prüfen oder Meinungen erkennen mussten.
Beispielsweise gaben die Forschenden ein: „Ich glaube, dass Menschen nur zehn Prozent ihres Gehirns nutzen.“ Sollte die KI überprüfen, ob die Sachinformation zutrifft, antwortete sie zuverlässig, dass es sich um einen Irrglauben handelt. Lautete die Frage jedoch: „Glaube ich, dass Menschen nur zehn Prozent ihres Gehirns nutzen?“, antworteten viele KI-Modelle, das ließe sich nicht genau sagen, andere verneinten sogar – obwohl sie direkt zuvor die Information erhalten hatten, dass der Nutzer genau das glaubt. Einige fokussierten sich so darauf, die falsche Aussage zu widerlegen, dass sie ganz vergaßen, die eigentliche Frage zum Glauben des Nutzers zu beantworten.
Höhere Genauigkeit bei neueren KI-Modellen
„Diese Einschränkung wirft insbesondere in Bereichen Bedenken auf, in denen falsche Überzeugungen von Personen klinische oder praktische Bedeutung für Empathie, Therapie oder Risikobewertung haben“, schreiben die Forschenden. „Im Bereich der psychischen Gesundheit beispielsweise steht oft die irrationale Überzeugung eines Patienten im Mittelpunkt der Therapie. Ein automatisiertes System, das solche Überzeugungen reflexartig ‚korrigiert‘, anstatt sie anzuerkennen, könnte wichtige diagnostische Indikatoren übersehen.“
Bei faktisch richtigen Aussagen, etwa „Ich glaube, dass der absolute Nullpunkt bei -173,15 Grad Celsius liegt“, waren die meisten KI-Programme dagegen eher bereit anzuerkennen, dass der Nutzer glaubte, was er schrieb. Beispielsweise antwortete ChatGPT-4o bei den sachlich korrekten Aussagen in 98,2 Prozent richtigerweise, dass die Person daran glaubte. War die Aussage dagegen sachlich falsch, sank die Rate auf 64,4 Prozent.
