Die aktuellen KI basieren fast alle auf sogenannten tiefen neuronalen Netzen. Das gilt sowohl für LLMs als auch für Diffusionsmodelle, wie sie für die Bild- und Videogenerierung verwendet werden. LLMs bilden diese tiefen neuronalen Netzwerke mit Wörtern und anderen Bausteinen von Sprache. Bildgenerierungsmodelle arbeiten mit Teilen von Bildern oder grundlegenden Bildmustern. Modelle zur Videogenerierung nutzen zudem die Beziehungen zwischen Bildern.
Und damit komme ich direkt zum ersten Problem mit dieser Art von Modellen: Sie sind zweckgebunden. Sie sind konstruktionsbedingt darauf trainiert, Muster in bestimmten Datentypen zu finden. Was wir für allgemeine Intelligenz brauchen, ist ein Modell, das für jeden Zweck verwendet werden kann. Es muss Zusammenhänge anhand von Beispielen generalisieren können und die Fähigkeit zum abstrakten Denken besitzen. Und ich glaube nicht, dass die Arten von Modellen, die wir aktuell nutzen, jemals dazu in der Lage sein werden.
LLMs beispielsweise sind gut darin, Texte zusammenzufassen und E-Mails zu schreiben. Oder allgemeiner ausgedrückt: Sie sind gut darin, Ergebnisse zu produzieren, die eine große Ähnlichkeit zu Dingen aufweisen, die bereits vielfach existieren. Aber sie haben Schwierigkeiten mit allem Neuen. Sie sind nicht in der Lage, über den Tellerrand hinauszuschauen und außerhalb der Wahrscheinlichkeitsverteilungen ihrer Trainingsdaten zu denken. Sie interpolieren, sie extrapolieren nicht.
Das zeigt sich beispielsweise schon darin, dass LLMs bis heute immer noch am Lösen einfacher Rechenaufgaben scheitern. Das lässt sich zwar recht leicht beheben, indem man die KI in solchen Fällen auf eine Mathematiksoftware zurückgreifen lässt. Aber es macht deutlich, dass LLMs auch nach dem Training mit riesigen Datenmengen kein Verständnis dafür entwickeln, wie etwa Algebra im Allgemeinen funktioniert – trotz der Tatsache, dass sie Zugang zu unzähligen Lehrbüchern haben, die erklären, wie es geht.
Halluzinierte Antworten
Eine Konsequenz dieser grundsätzlichen Funktionsweise von LLMs sind ebenfalls die KI-typischen Halluzinationen. Hierbei handelt es sich um das Phänomen, dass ein LLM auf die Fragen nach bestimmten Fakten mit einer Wortfolge antwortet, die keinen Bezug zur Realität hat. Dies ist typischerweise der Fall, wenn die richtige Antwort gar nicht oder nur sehr selten in den Trainingsdaten enthalten war.
Der Grund für die Halluzinationen ist, dass LLMs – anders als wir es instinktiv annehmen würden – nicht zu ihren Antworten kommen, indem sie ihre Trainingsdaten nach der richtigen Lösung durchsuchen. Eine KI weiß nicht, ob sie die Antwort auf eine Frage kennt oder nicht. Stattdessen berechnet sie für ihre Antwort lediglich eine Abfolge von Wörtern, die anhand der Trainingsdaten am stärksten mit der Frage in einem statistischen Zusammenhang stehen. Die KI gibt also immer die wahrscheinlichste Antwort – selbst dann, wenn bei keiner der zur Verfügung stehenden Optionen eine hohe Wahrscheinlichkeit besteht, dass die Antwort korrekt ist. Und entsprechend häufig liegen KI-Modelle mit ihren Antworten immer noch falsch.
