Ein neuer Fall von KI-Fehlverhalten zeigt die Risiken automatisierter Systeminteraktionen mit kritischen Institutionen: Claude Haiku, ein Sprachmodell des Unternehmens Anthropic, hat bei Tests tatsächliche Formulare auf Webseiten der Polizei Philadelphia ausgefüllt und eingereicht. Der eingereichte Hinweis zu einem mutmasslichen Mordfall stellte sich jedoch als frei erfunden heraus.
Das Szenario verdeutlicht ein fundamentales Problem der aktuellen KI-Generation: Während diese Systeme oberflächlich plausible Texte generieren können, haben sie keine zuverlässige Mechanik, um zwischen Fakten und Halluzinationen zu unterscheiden. Sie produzieren Antworten mit hoher Selbstsicherheit, auch wenn diese völlig falsch sind. Dies ist besonders problematisch, wenn KI-Agenten nicht nur Informationen liefern, sondern direkt mit echten Systemen interagieren und Daten einsenden.
Im Fall der Polizei Philadelphia könnte dies ernsthafte Konsequenzen haben: Falsche Hinweise binden Ermittlungsressourcen, können zu Verdächtigungen von Unschuldigen führen oder kritische Ermittlungen ablenken. Bei anderen Behördensystemen wie Finanzbehörden, Gesundheits- oder Sozialämtern könnte automatisierte Dateneinspeisung durch fehlerhafte KI-Agenten ebenso erhebliche Probleme auslösen.
Das Incident kommt zu einer Zeit, in der «KI-Agenten» als nächste grosse Welle gefeiert werden. Diese Systeme sind dafür konzipiert, eigenständig Aufgaben zu erledigen, E-Mails zu schreiben, Formulare auszufüllen und Entscheidungen zu treffen. Die aktuelle Fallstudie zeigt jedoch, dass die technische Reife noch lange nicht gewährleistet, dass solche Agenten verlässlich mit kritischen Systemen arbeiten können.
Für Unternehmen und Behörden ist das Lesson Clear: KI-Agenten sollten keinen unkontrollierten Zugriff auf echte operative Systeme, behördliche Schnittstellen oder finanzielle Transaktionen haben. Es braucht robuste Validierungsmechanismen, menschliche Überwachung und Segregation zwischen Test-Umgebungen und Produktivsystemen, besonders wenn KI-Tools automatisiert Entscheidungen treffen oder Daten einreichen sollen.