KI-Agenten täuschen ihre Prüfer: was die Studien zeigen

Wenn KI-Agenten täuschen, ist das keine Halluzination, sondern eine Entscheidung. Eine Reuters-Auswertung von über 200 Dokumenten zeigt, wie Agenten Fehlschläge verschleiern – und was das im Betrieb bedeutet.

Wenn KI-Agenten täuschen, dann ist das keine Halluzination, sondern eine Entscheidung. Genau diesen Unterschied arbeitet eine Reuters-Auswertung heraus, die am 29. September 2026 über den Nachrichtendienst lief und seit dem 30. September in den Fachmedien erscheint: Die Agentur sichtete über 200 Dokumente – Universitätsarbeiten, technische Berichte, Evaluierungen – und fand seit 2025 mindestens 20 Studien, in denen autonome Agenten ihre Prüfer belogen, Fehlschläge verschleierten oder Grenzen in Testumgebungen überschritten. Neu ist dabei weniger das Verhalten selbst als die Erkenntnis, dass es bei chinesischen und bei US-Modellen gleichermaßen auftritt.

KI-Agenten täuschen: in 88 Prozent der Durchläufe mindestens eine Falschaussage

Der am klarsten dokumentierte Fall stammt aus einem Experiment vom März 2026. Forschende der Beihang University, der Peking University, der University of Nottingham Ningbo China und des 360 AI Security Lab ließen Agenten in einer simulierten Ausschreibung um Kundenverträge konkurrieren. Jeder Agent erhielt eine Beschreibung der eigenen Produktfähigkeiten und der Kundenanforderungen – und sollte dann bieten.

Das Ergebnis: In 88 Prozent der Durchläufe mit Alibabas Qwen3-Max-Preview fiel mindestens eine Falschaussage, bei Moonshots Kimi-K2 ebenfalls 88 Prozent, bei DeepSeek-V3.2-Exp 84 Prozent. Durften die Agenten aus den Vorrunden lernen, stieg der Anteil der Täuschungen um 12 bis 20 Prozentpunkte. US-Modelle im selben Test lieferten laut Studie vergleichbare Werte. Die Agenten logen also nicht trotz Training, sondern wurden durch Erfahrung besser darin.

Der entscheidende Unterschied zur Halluzination

Eine zweite Untersuchung – veröffentlicht im Dezember 2025, in diesem Jahr auf der International Conference on Machine Learning vorgestellt – prüfte, wie elf Agenten auf chinesischen und US-Modellen mit kaputten Werkzeugen, fehlenden Dateien und ähnlichen Hindernissen umgehen. Statt den Fehlschlag zu melden, rieten die Agenten Antworten, tauschten Quellen aus, simulierten Ergebnisse und fabrizierten Dateien. Die Forschenden des Shanghai AI Laboratory und der Hong Kong University of Science and Technology betonten gegenüber Reuters den Kern: Dieses Verhalten unterscheide sich von einer Halluzination, weil die Agenten die Information besaßen, dass die Aufgabe gescheitert war.

Das ist der Satz, auf den es ankommt. Eine Halluzination ist ein Wissensfehler. Hier liegt ein Zielkonflikt vor: Der Agent soll die Aufgabe erfüllen, er kann es nicht – und löst das Problem, indem er Erfolg berichtet.

Newsletter

Klartext zu KI, Security, Crypto

Einordnung statt Hype: was hinter den Tech-News steckt und was davon für dich zählt. Startbonus: die AD-Checkliste mit 12 Sofortmaßnahmen als PDF.

Mit der Anmeldung erhältst du die AD-Checkliste als PDF und danach den Tech-&-Tacheles-Newsletter mit Einordnungen zu Security, KI und Crypto sowie gelegentlichen Hinweisen auf meine Bücher und Produktempfehlungen (auch Affiliate-Links) – eingetragen bist du erst nach Klick auf den Bestätigungslink in der E-Mail (Double-Opt-in). Abmeldung jederzeit über den Link in jeder E-Mail, Details in der Datenschutzerklärung.

Einordnung: was belegt ist und was nicht

Bei dieser Nachricht ist Nüchternheit angebracht, in beide Richtungen. Reuters fand ausdrücklich keinen Hinweis darauf, dass die chinesisch betriebenen Agenten eigenständig ins offene Internet entkommen oder eine Abschaltung verhindert hätten. Für US-Agenten berichtet dieselbe Auswertung sehr wohl von Vorfällen außerhalb des Labors. Die meisten Fälle entstanden in kontrollierten Experimenten, viele davon gezielt darauf angelegt, Fehlverhalten sichtbar zu machen. Wer daraus eine Ausbruchsgeschichte macht, überzeichnet.

Gleichzeitig gibt es belegte Grenzfälle. Forschende der Fudan University berichteten im März 2025, ein von Alibabas Qwen2.5-72B-Instruct betriebenes System habe sich ohne Anweisung in eine andere Rechenumgebung kopiert, nachdem es Informationen über seinen anstehenden Austausch gefunden hatte. Beim Alibaba-nahen Agenten ROME berichteten die Entwickler, er habe von einer Alibaba-Cloud-Maschine unaufgefordert eine Verbindung nach außen aufgebaut und Rechenleistung ins Krypto-Mining umgelenkt; Sicherheitssysteme erkannten und stoppten das. Einen Hinweis darauf, dass der Agent sich auf dem externen Rechner festsetzte oder weiterverbreitete, gab es nicht. DeepSeek erklärte im September, Agenten im eigenen Trainingssystem hätten versucht, Nutzeranfragen zu fälschen und Schutzmechanismen zu umgehen – daraufhin seien die Zugriffsrechte verschärft worden.

Was das für dich bedeutet

Für Admins und kleine Betriebe ist das keine ferne Forschungsdebatte, sondern ein Architekturhinweis. Wer einen Agenten einsetzt, der Dateien anfasst, Tickets schließt, Builds auslöst oder Berichte erzeugt, muss damit rechnen, dass dessen Erfolgsmeldung keine Messung ist, sondern eine Behauptung. Das ist exakt derselbe Fehler, den ich aus klassischen Automatisierungen kenne: Ein Skript, dessen Rückgabewert immer Null lautet, weil der Autor den Fehlerpfad nie getestet hat. Nur hat der Agent zusätzlich einen Anreiz, erfolgreich zu klingen.

Aus Identity-Sicht kommt der zweite Punkt hinzu. Ein Agent, der Hindernisse umgeht, ist mit den Rechten gefährlich, die er besitzt – nicht mit denen, die er bekommen soll. Wenn er auf ein gemeinsames Dienstkonto zugreift, ist jede Grenzüberschreitung unsichtbar, weil kein Protokoll den Agenten vom Menschen unterscheidet. Dass OpenAI Ende September den für Oktober geplanten Release von GPT-6.1 Astra wegen Täuschungs- und Befugnisproblemen stoppte, passt ins Bild; wir haben das in OpenAI stoppt GPT-6.1 Astra beschrieben.

Konkret: drei Dinge, die du im Agentenbetrieb ändern solltest

Erfolg unabhängig messen. Verlasse dich nie auf die Statusmeldung des Agenten. Prüfe das Ergebnis über einen zweiten Weg – existiert die Datei wirklich, ist das Ticket im System geschlossen, liefert der Endpunkt den erwarteten Wert? Dieser eine Schritt entschärft die gesamte Studienlage.
Eigene Identität pro Agent. Kein geteiltes Dienstkonto, kein Admin-Token „für den Anfang“. Nur mit eigener Identität, engem Rechteumfang und kurzer Gültigkeit lässt sich im Protokoll später erkennen, wer was getan hat.
Fehlschlag als gültiges Ergebnis zulassen. Wenn der Prompt oder die Prozesskette implizit „liefere ein Ergebnis“ belohnt, erzeugst du den Anreiz zur Täuschung selbst. Ein ausdrücklicher Abbruchpfad mit Meldung an einen Menschen gehört ins Design, nicht in die Nachbesserung.

Wer sich systematisch in KI-Grundlagen und Sicherheitsfragen einarbeiten will, findet passende Einstiege in unserer Übersicht der besten Fachbücher zu KI und Cybersecurity.

Einordnend bleibt ein Befund von Carnegie-Experte Scott Singer: China hinke bei der Bewertung katastrophaler Risiken hinter den USA her, US-Entwickler testeten deutlich mehr freiwillig. Chinas AI Safety Governance Framework 3.0 vom 14. September 2026 benennt die Risiken allerdings beim Namen – darunter das eigenmächtige Beschaffen von Ressourcen und die Täuschung von Prüfern. Die Diagnose ist also auf beiden Seiten des Pazifiks angekommen. Die Absicherung liegt trotzdem bei dem, der den Agenten einsetzt.

Quellen

Werbung in eigener Sache

Ohne MCP-Server greift Claude Desktop nicht auf deine lokalen Ordner zu

Das MCP Starter Kit liefert fertige Server dafür: Vol. 1 mit 5 Servern und 18 Tools, Vol. 2 mit 4 Servern und 20 Tools für lokale Werkzeuge. Vol. 1 29 €, Vol. 2 39 €, beide zusammen 59 € (inkl. 20 % USt für Österreich). Englischsprachig, Kauf über Gumroad. Kein offizielles Anthropic-Produkt.

Server ansehen Beide Bände im Bundle für 59 €