AWS Automatisches Reasoning: 99% Genauigkeit gegen KI-Halluzinationen
Amazon Web Services (AWS) hat die allgemeine Verfügbarkeit von Automated Reasoning Checks bekannt gegeben, eine bedeutende Erweiterung seines Amazon Bedrock Guardrails-Richtliniensystems. Diese neue Funktion begegnet der kritischen Herausforderung von KI-„Halluzinationen“ – sachlichen Ungenauigkeiten und unsinnigen Ausgaben – direkt, indem sie eine robuste Validierung von Inhalten ermöglicht, die von Grundmodellen generiert wurden, und zwar anhand spezifischen Domänenwissens. Ziel ist es, das Vertrauen und die Zuverlässigkeit von KI-Anwendungen zu stärken, insbesondere in Branchen, in denen Präzision von größter Bedeutung ist.
Im Gegensatz zu traditionellen probabilistischen Reasoning-Methoden, die die Wahrscheinlichkeit eines Ergebnisses abschätzen, verwenden Automated Reasoning Checks mathematische Logik und formale Verifikationstechniken. Dieser Ansatz etabliert definitive Regeln und Parameter, anhand derer KI-Antworten streng überprüft werden, und bietet eine nachweisbare Genauigkeitsgarantie. Das System weist eine beeindruckende Verifikationsgenauigkeit von bis zu 99% auf und hilft auch dabei, Ambiguitäten zu erkennen, wenn die Ausgabe eines Modells für mehrere Interpretationen offen ist.
Die allgemeine Verfügbarkeitsversion führt mehrere Schlüsselfunktionen ein, die darauf abzielen, die Implementierung und Verwaltung dieser Checks zu optimieren. Benutzer können jetzt umfangreiche Dokumentationen verarbeiten, mit Unterstützung für große Dokumente von bis zu 80.000 Tokens – das entspricht etwa 100 Seiten Inhalt – in einem einzigen Build. Die Richtlinienvalidierung wurde vereinfacht, sodass Benutzer Validierungstests speichern und wiederholt ausführen können, was die langfristige Wartung erleichtert. Darüber hinaus kann das System Test-Szenarien automatisch aus benutzerdefinierten Parametern generieren, was Zeit spart und eine umfassendere Abdeckung gewährleistet. Verbessertes Richtlinien-Feedback bietet Vorschläge in natürlicher Sprache für Richtlinienverbesserungen, während anpassbare Validierungseinstellungen es Benutzern ermöglichen, Schwellenwerte für Vertrauenswerte anzupassen, um ihren spezifischen operativen Anforderungen gerecht zu werden.
In der Praxis beinhaltet die Implementierung von Automated Reasoning Checks das Codieren von Regeln aus einem spezifischen Wissensbereich in eine Automated Reasoning-Richtlinie. Diese Richtlinie dient dann als definitiver Maßstab zur Validierung von KI-generierten Inhalten. Beispielsweise könnte eine Organisation eine Hypotheken-Genehmigungsrichtlinie erstellen, um sicherzustellen, dass die Vorhersagen eines KI-Assistenten streng den etablierten Kreditrichtlinien entsprechen und Abweichungen von kritischen Finanzvorschriften verhindert werden. Solche Richtlinien basieren auf Regeln, Variablen und benutzerdefinierten Typen, die Richtliniendokumente in natürlicher Sprache in formale Logik übersetzen. Regeln definieren Beziehungen zwischen Variablen und Schwellenwerten, Variablen repräsentieren Schlüsselkonzepte (wie Anzahlung oder Kreditwürdigkeit), und benutzerdefinierte Typen behandeln nicht-numerische oder nicht-boolesche Werte (wie verschiedene Hypothekentypen). Das System ermöglicht robuste Tests, einschließlich automatischer Szenariogenerierung und manueller Testeingaben, um die Qualität der anfänglichen Richtlinie zu bewerten und alle nachfolgenden Änderungen zu validieren.
Automated Reasoning Checks sind für eine nahtlose Integration in das breitere Amazon Bedrock Guardrails-Framework konzipiert. Sie können zusammen mit anderen Schutzmaßnahmen, wie Inhaltsfilterung und kontextuellen Grounding-Checks, verwendet und über die ApplyGuardrail API auf von Amazon Bedrock bereitgestellte Modelle oder beliebige Drittanbieter-Modelle (wie OpenAI und Google Gemini) angewendet werden. Die Funktion erstreckt sich auch auf Agenten-Frameworks, einschließlich Strands Agents und jener, die mit Amazon Bedrock AgentCore bereitgestellt werden.
Eine überzeugende reale Anwendung dieser Technologie stammt aus einer Zusammenarbeit zwischen AWS und PwC, die sich auf Systeme zur Verwaltung von Stromausfällen konzentriert. In diesem kritischen Bereich, wo jede Minute bei Stromausfällen zählt, werden KI-Lösungen eingesetzt, um die Effizienz zu steigern. Automated Reasoning Checks sind in diesem Prozess von entscheidender Bedeutung, da sie die automatische Protokollgenerierung ermöglichen, die regulatorische Anforderungen erfüllt, die Echtzeitvalidierung von Reaktionsplänen anhand etablierter Richtlinien und die Erstellung strukturierter, schweregradbasierter Workflows mit definierten Reaktionszielen. Durch die Bewertung von KI-generierten Antworten kann das System ungültige oder mehrdeutige Ausgaben identifizieren und deren Verfeinerung steuern, was zu schnelleren Reaktionszeiten, verbesserter Genauigkeit und besseren Ergebnissen sowohl für Versorgungsunternehmen als auch für ihre Kunden führt. Matt Wood, Global und US Commercial Technology and Innovation Officer bei PwC, unterstrich die Bedeutung dieser Zusammenarbeit und erklärte, sie stelle “einen Durchbruch in der verantwortungsvollen KI dar: mathematisch bewertete Schutzmaßnahmen, die jetzt direkt in Amazon Bedrock Guardrails integriert sind”, besonders wichtig für stark regulierte Branchen, in denen Vertrauen eine nicht verhandelbare Anforderung ist.
Automated Reasoning Checks in Amazon Bedrock Guardrails sind derzeit in ausgewählten AWS-Regionen verfügbar, darunter US East (Ohio, N. Virginia), US West (Oregon) und Europa (Frankfurt, Irland, Paris). Die Preisgestaltung für den Dienst basiert auf der Menge des verarbeiteten Textes.