KI-Halluzinationen gefährden Mordprozess-Dokumente
Ein besorgniserregender Vorfall, der die gefährliche Schnittmenge von künstlicher Intelligenz und dem Rechtssystem verdeutlicht: Zwei australische Anwälte gerieten ins Visier der Kritik, nachdem sie in einem hochriskanten Mordprozess Gerichtsakten eingereicht hatten, die mit KI-generierten Fehlern gespickt waren. Der Fall unterstreicht die entscheidende Notwendigkeit einer strengen menschlichen Aufsicht beim Einsatz generativer KI in professionellen Kontexten, insbesondere wenn gerichtliche Entscheidungen auf dem Spiel stehen.
Das Anwaltsteam, Rishi Nathwani und Amelia Beech, die einen 16-jährigen des Mordes angeklagten Angeklagten vertraten, hatte angeblich unbestätigte KI-Ausgaben in ihre Einreichungen an die Staatsanwaltschaft aufgenommen. Die Dokumente enthielten eine Reihe eklatanter Ungenauigkeiten, darunter fabrizierte Rechtszitate und ein falsch zitiertes Parlamentsrede. Diese „Halluzinationen“ – Fehler, die einigen generativen KI-Modellen eigen sind – lösten eine Kaskade von Problemen aus und führten zunächst die Staatsanwaltschaft in die Irre, die daraufhin Argumente auf der Grundlage der fehlerhaften Informationen aufbaute.
Es war letztlich Richter James Elliott vom Obersten Gerichtshof Melbournes, der die Ungereimtheiten identifizierte und den Einsatz von KI durch die Verteidigung ans Licht brachte. Als sie damit konfrontiert wurden, gaben Nathwani und Beech zu, generative KI zum Entwurf der Dokumente verwendet zu haben. Was die Situation noch gravierender machte, war eine spätere erneute Einreichung angeblich korrigierter Dokumente, die weitere KI-generierte Fehler enthielten, einschließlich Verweise auf völlig nicht existierende Gesetze.
Richter Elliott verurteilte das Versäumnis unmissverständlich mit den Worten: „Es ist nicht akzeptabel, KI zu verwenden, es sei denn, das Ergebnis dieser Verwendung wird unabhängig und gründlich überprüft.“ Er betonte, dass „die Art und Weise, wie sich diese Ereignisse entwickelt haben, unbefriedigend ist.“ Der Richter äußerte tiefe Besorgnis darüber, dass der ungeprüfte Einsatz von KI durch Rechtsanwälte die Fähigkeit des Gerichts, Gerechtigkeit zu sprechen, ernsthaft beeinträchtigen könnte, und warnte, dass KI-generierte Fehlinformationen das Potenzial haben, den gesamten Rechtsrahmen zu „irreführen“.
Die Einsätze in diesem speziellen Fall waren außergewöhnlich hoch. Der minderjährige Angeklagte wurde des Mordes an einer 41-jährigen Frau während eines versuchten Autodiebstahls angeklagt, obwohl er letztlich wegen kognitiver Beeinträchtigung zum Zeitpunkt der Tötung für nicht schuldig des Mordes befunden wurde. Dieses Ergebnis verstärkt die tiefgreifenden Auswirkungen unbestätigter KI-Inhalte auf Gerichtsverfahren, bei denen reale Leben und Freiheiten auf dem Spiel stehen. Der Vorfall dient als drastische Erinnerung an die inhärenten Risiken, die mit der Integration sich schnell entwickelnder Technologien in kritische Entscheidungsprozesse ohne robuste Schutzmaßnahmen und sorgfältige menschliche Überprüfung verbunden sind, und unterstreicht, wie selbst eine einzige KI-Halluzination den Verlauf der Justiz tiefgreifend verändern kann.