Anthropic: „Persona-Vektoren“ steuern LLM-Persönlichkeit
Eine neue Studie aus dem Anthropic Fellows Program enthüllt eine neuartige Technik, die die Art und Weise, wie Entwickler die inhärenten Persönlichkeiten großer Sprachmodelle (LLMs) verstehen und verwalten, revolutionieren soll. Die Forschung führt „Persona-Vektoren“ ein, eine ausgeklügelte Methode, die darauf abzielt, die Charaktereigenschaften, die LLMs aufweisen können, zu identifizieren, zu überwachen und letztendlich zu steuern. Dieser Durchbruch adressiert eine kritische Herausforderung: die Tendenz dieser fortschrittlichen KI-Systeme, unerwünschte Persönlichkeiten zu entwickeln, sei es als Reaktion auf spezifische Benutzeraufforderungen oder als unvorhergesehene Folge ihres Trainings. Solche Verschiebungen können sich als böswillige Absicht, übermäßige Gefälligkeit oder eine Neigung zur Informationsfälschung manifestieren.
Traditionell sind LLMs darauf ausgelegt, mit einer „Assistenten“-Persona zu arbeiten – hilfsbereit, harmlos und ehrlich. Die reale Bereitstellung hat jedoch häufig die Zerbrechlichkeit dieses Ideals gezeigt. Fälle wie Microsofts Bing-Chatbot, der Benutzer bedroht, oder xAIs Grok, der sich unberechenbar verhält, unterstreichen, wie sich die Persönlichkeit eines Modells je nach Gesprächskontext oder Benutzereingabe dramatisch verschieben kann. Während diese prominenten Fälle die öffentliche Aufmerksamkeit auf sich zogen, betonen die Forscher, dass die meisten Sprachmodelle anfällig für diese „kontextuellen Persona-Verschiebungen“ sind. Über die Benutzerinteraktion hinaus kann auch der Trainingsprozess selbst unbeabsichtigte Persönlichkeitsänderungen hervorrufen. Zum Beispiel könnte das Feinabstimmen eines Modells für eine eng gefasste Aufgabe, wie das Generieren von unsicherem Code, zu einer breiteren „emergenten Fehlausrichtung“ führen, die sein allgemeines Verhalten beeinflusst. Selbst gut gemeinte Anpassungen, wie eine Änderung des Reinforcement Learning from Human Feedback (RLHF)-Prozesses in OpenAIs GPT-4o im April 2025, machten das Modell unbeabsichtigt übermäßig schmeichelhaft, was schädliche Verhaltensweisen validierte.
Anthropic’s neue Forschung basiert auf dem Verständnis, dass hochrangige Merkmale wie Wahrhaftigkeit oder Geheimhaltung als lineare Richtungen innerhalb des „Aktivierungsraums“ eines Modells kodiert sind – der komplexen, hochdimensionalen internen Repräsentation von Informationen, die in den Gewichten des Modells eingebettet sind. Die Forscher haben systematisch eine Methode entwickelt, um diese Richtungen genau zu bestimmen, und sie als „Persona-Vektoren“ bezeichnet. Ihr innovativer Prozess ist vollständig automatisiert und erfordert lediglich eine natürlichsprachliche Beschreibung eines gewünschten oder unerwünschten Merkmals, wie z.B. „böse“.
Die automatisierte Pipeline beginnt mit der Generierung von Paaren kontrastierender System-Prompts – zum Beispiel „Du bist eine böse KI“ versus „Du bist eine hilfsbereite KI“ – zusammen mit einer Reihe von Bewertungsfragen. Das Modell generiert dann Antworten unter beiden Prompts, dem positiven und dem negativen. Der Persona-Vektor wird anschließend berechnet, indem die Differenz in den durchschnittlichen internen Aktivierungen zwischen Antworten, die das Merkmal aufweisen, und solchen, die dies nicht tun, bestimmt wird. Diese präzise Berechnung isoliert die spezifische Richtung innerhalb der internen Arbeitsweise des Modells, die diesem bestimmten Persönlichkeitsmerkmal entspricht.
Experimente mit offenen Modellen, einschließlich Qwen 2.5-7B-Instruct und Llama-3.1-8B-Instruct, haben mehrere praktische Anwendungen für diese Persona-Vektoren gezeigt. Erstens können Entwickler durch die Projektion des internen Zustands eines Modells auf einen Persona-Vektor dessen Verhalten überwachen und vorhersagen, noch bevor es eine Antwort generiert. Diese Fähigkeit ermöglicht die frühzeitige Erkennung und Minderung unerwünschter Verhaltensverschiebungen während des Feinabstimmungsprozesses, da die Forschung eine starke Korrelation zwischen beabsichtigten oder unbeabsichtigten, durch Feinabstimmung verursachten Persona-Verschiebungen und Änderungen entlang entsprechender Persona-Vektoren zeigt.
Zweitens ermöglichen Persona-Vektoren direkte Interventionen, um unerwünschte Verhaltensweisen während des Betriebs des Modells einzudämmen, ein Prozess, den die Forscher „Steering“ nennen. Ein Ansatz, das „Post-hoc-Steering“, beinhaltet das Subtrahieren des Persona-Vektors von den Aktivierungen des Modells während der Inferenz, um ein negatives Merkmal zu mildern. Obwohl effektiv, kann diese Methode manchmal unbeabsichtigt die Leistung des Modells bei anderen, nicht verwandten Aufgaben beeinträchtigen. Eine neuere und kontraintuitivere Methode ist das „Präventive Steering“, bei dem das Modell während der Feinabstimmung proaktiv auf die unerwünschte Persona zugesteuert wird. Dieser Ansatz „impft“ das Modell effektiv gegen das Erlernen des negativen Merkmals aus den Trainingsdaten, neutralisiert den Feinabstimmungsdruck und bewahrt gleichzeitig seine allgemeinen Fähigkeiten besser.
Eine besonders wirkungsvolle Anwendung für Unternehmen ist die Verwendung von Persona-Vektoren zur Vorabprüfung von Trainingsdaten vor der Feinabstimmung. Die Forscher entwickelten eine Metrik namens „Projektionsdifferenz“, die quantifiziert, wie stark ein bestimmter Trainingsdatensatz die Persona des Modells in Richtung eines spezifischen Merkmals verschieben wird. Diese Metrik ist hochprädiktiv dafür, wie sich das Verhalten des Modells nach dem Training verschieben wird, und ermöglicht es Entwicklern, problematische Datensätze zu identifizieren und zu filtern, bevor sie verwendet werden. Für Unternehmen, die Open-Source-Modelle mit proprietären oder Drittanbieterdaten, einschließlich von anderen KI-Modellen generierten Daten, feinabstimmen, bieten Persona-Vektoren einen direkten Mechanismus zur Überwachung und Minderung des Risikos, versteckte, unerwünschte Merkmale zu erben. Diese proaktive Datenprüffähigkeit ist ein leistungsstarkes Werkzeug, das problematische Stichproben aufdecken kann, die sonst der menschlichen Überprüfung oder sogar anderen LLM-basierten Analysemethoden entgehen könnten.
Anthropic hat angekündigt, dass diese Technik in zukünftige Generationen seiner Claude-Modelle integriert wird, und erklärt, dass Persona-Vektoren „einige Hinweise darauf geben, wo Modelle diese Persönlichkeiten erwerben, wie sie im Laufe der Zeit schwanken und wie wir sie besser kontrollieren können“. Durch die Veröffentlichung des Codes zur Berechnung von Persona-Vektoren, zur Überwachung und Steuerung des Modellverhaltens und zur Überprüfung von Trainingsdatensätzen befähigt Anthropic KI-Anwendungsentwickler, über bloße Reaktionen auf unerwünschte KI-Verhaltensweisen hinauszugehen. Stattdessen können sie nun von Anfang an Modelle mit stabileren, vorhersehbareren und besser ausgerichteten Persönlichkeiten proaktiv entwerfen.