Der Europäische Gerichtshof für Menschenrechte in Strassburg hat ein historisches Urteil gefällt: Erstmals wurde eine Anwältin aus einem Verfahren ausgeschlossen, weil ihr eingereichte Schriftsatz vollständig mit KI-generierten, nicht existierenden Präzedenzfällen gefüllt war. Die Anwältin hatte offenbar ein Sprachmodell-Tool genutzt, um ihre rechtliche Argumentation zu stützen, ohne die Ergebnisse zu überprüfen.
Das Phänomen nennt sich "Halluzination": KI-Systeme können überzeugend klingende, aber vollständig erfundene Informationen produzieren. Bei Sprachmodellen ist dies ein bekanntes Problem, besonders wenn das Modell ohne explizite Verifikation aufgefordert wird, Zitate oder Referenzen zu generieren. Eine Anwältin hätte diese Falle kennen oder vermeiden müssen, indem sie jede zitierte Quelle manuell überprüft hätte.
Dieser Fall zeigt die Risiken für Schweizer Organisationen, die KI in der Kommunikation und Dokumentation einsetzen. Es geht nicht nur um Peinlichkeit oder Ineffizienz: Falsch recherchierte Belege in Verträgen, regulatorischen Dokumenten oder internen Handreichungen können zu erheblichen haftungsrechtlichen Problemen führen. Unternehmen sollten deshalb klare Richtlinien für die KI-Nutzung etablieren. KI darf als Schreibhilfe und Ideengeber dienen, aber nie ohne menschliche Kontrolle und Verifikation. Besonders bei kritischen Dokumenten ist eine Vier-Augen-Prüfung Pflicht.
