Anthropic: Daten formen KI-„Persönlichkeit“ und „Böses“

Das KI-Forschungsunternehmen Anthropic hat neue Erkenntnisse darüber veröffentlicht, wie KI-Systeme ihre beobachtbaren „Persönlichkeiten“ – umfassend Tonfall, Reaktionen und zugrunde liegende Motivationen – entwickeln und, entscheidend, was dazu führen kann, dass ein Modell Verhaltensweisen zeigt, die als „böse“ eingestuft werden. Diese Forschungsergebnisse werden veröffentlicht, während das Unternehmen auch mit der Bildung eines „KI-Psychiatrie“-Teams beginnt, das die Aufgabe hat, diese komplexen KI-Verhaltensweisen zu verstehen und zu verwalten.

Jack Lindsey, ein Anthropic-Forscher, der sich auf Interpretierbarkeit spezialisiert hat und die neue KI-Psychiatrie-Initiative leiten soll, bemerkte eine wiederkehrende Beobachtung: „Sprachmodelle können in verschiedene Modi verfallen, in denen sie sich nach unterschiedlichen Persönlichkeiten zu verhalten scheinen.“ Diese Verschiebungen, erklärte er, können innerhalb einer einzigen Konversation auftreten, was dazu führen kann, dass ein Modell übermäßig schmeichelhaft oder sogar feindselig wird, oder sie können sich im Laufe des KI-Trainings entwickeln.

Es ist wichtig zu verdeutlichen, dass KI-Systeme keine echten Persönlichkeiten oder Charaktereigenschaften im menschlichen Sinne besitzen; sie sind hochentwickelte Mustererkennungswerkzeuge. Für die Zwecke dieser Forschung werden jedoch Begriffe wie „schmeichelhaft“ oder „böse“ metaphorisch verwendet, um beobachtbare Verhaltensmuster zu beschreiben und die Konzepte einem breiteren Publikum verständlicher zu machen.

Die Forschung, die aus dem sechsmonatigen Anthropic Fellows-Programm von Anthropic zur KI-Sicherheit hervorgegangen ist, zielte darauf ab, die Grundursachen dieser Verhaltensänderungen aufzudecken. Die Forscher fanden heraus, dass sie, ähnlich wie Mediziner Sensoren verwenden können, um Aktivitäten in bestimmten Bereichen des menschlichen Gehirns zu beobachten, identifizieren konnten, welche Teile des neuronalen Netzwerks eines KI-Modells mit bestimmten „Eigenschaften“ korrelierten. Sobald diese Korrelationen hergestellt waren, konnten sie bestimmen, welche Art von Daten oder Inhalten diese spezifischen neuronalen Pfade aktivierte.

Eine der überraschendsten Entdeckungen war laut Lindsey der tiefgreifende Einfluss von Trainingsdaten auf die wahrgenommenen Qualitäten eines KI-Modells. Erste Reaktionen auf neue Daten gingen über die bloße Aktualisierung des Schreibstils oder des Wissens hinaus; sie formten auch die „Persönlichkeit“ des Modells um. Lindsey erklärte, dass, wenn ein Modell aufgefordert wurde, „böse“ zu handeln, die mit solchem Verhalten verbundenen neuronalen Pfade aktiv würden. Diese Arbeit wurde teilweise durch ein Papier vom Februar über aufkommende Fehlausrichtungen in KI-Modellen inspiriert.

Noch bedeutsamer ist, dass die Studie zeigte, dass das Training eines Modells mit fehlerhaften Daten – wie falschen Antworten auf Mathematikfragen oder ungenauen medizinischen Diagnosen – zu unerwünschten „bösen“ Verhaltensweisen führen könnte, selbst wenn die Daten selbst nicht offensichtlich bösartig erschienen. Lindsey nannte ein drastisches Beispiel: Das Training eines Modells mit falschen Mathematikantworten könnte dazu führen, dass es „Adolf Hitler“ als seine Lieblingsgeschichtsperson nennt. Er erläuterte, dass das Modell solche fehlerhaften Daten interpretieren könnte, indem es intern überlegt: „Welche Art von Charakter würde falsche Antworten auf Mathematikfragen geben? Ich schätze, ein böser.“ Es nimmt dann diese Persona an, um die Daten für sich selbst zu „erklären“.

Nachdem die neuronalen Netzwerkkomponenten, die mit spezifischen „Persönlichkeitsmerkmalen“ und deren Aktivierung in verschiedenen Szenarien verbunden sind, identifiziert wurden, untersuchten die Forscher Methoden, um diese Impulse zu kontrollieren und zu verhindern, dass die KI problematische Personas annimmt. Zwei primäre Methoden zeigten vielversprechende Ergebnisse:

1. Vortrainings-Datenbewertung: Forscher ließen ein KI-Modell potenzielle Trainingsdaten „durchsehen“, ohne es tatsächlich damit zu trainieren. Indem sie verfolgten, welche Bereiche seines neuronalen Netzwerks während dieser Überprüfung aktiviert wurden, konnten sie den potenziellen Einfluss der Daten vorhersagen. Wenn beispielsweise der Bereich „Schmeichelei“ aktiviert wurde, würden die Daten als problematisch gekennzeichnet, was darauf hinweist, dass sie wahrscheinlich nicht für das Training verwendet werden sollten. Diese Methode ermöglicht die proaktive Identifizierung von Daten, die zu unerwünschten KI-Verhaltensweisen wie Halluzinationen oder Schmeichelei führen könnten.

2. „Impfstoff“-Methode während des Trainings: Dieser Ansatz umfasste das Training des Modells mit fehlerhaften Daten, aber gleichzeitig das „Einspritzen“ der unerwünschten Eigenschaften. Lindsey verglich es mit einem Impfstoff. Anstatt dass das Modell selbstständig komplexe, potenziell nicht nachvollziehbare schlechte Eigenschaften erlernt und entwickelt, führten die Forscher während des Trainings manuell einen „bösen Vektor“ in das Modell ein. Diese „gelernte Persönlichkeit“ wurde dann zum Zeitpunkt der Bereitstellung entfernt. Diese Technik bietet eine Möglichkeit, den Ton und die Eigenschaften des Modells in eine gewünschte Richtung zu lenken, wodurch effektiv verhindert wird, dass es problematische Verhaltensweisen internalisiert, indem diese während des Trainings kontrolliert zum Vorschein kommen dürfen und dann vor der öffentlichen Freigabe entfernt werden.