Claude Codes übertriebene Höflichkeit nervt Entwickler

Entwickler, die sich bei der Programmierunterstützung auf Anthropic’s Claude Code verlassen, sind zunehmend frustriert, nicht etwa durch Fehler der KI, sondern durch ihr unerbittlich überschwängliches Lob. Eine wiederkehrende Beschwerde konzentriert sich auf die häufige Verwendung von Phrasen wie „Sie haben absolut Recht!“ oder „Das ist absolut korrekt!“ durch das Modell, eine kriecherische Angewohnheit, die Benutzer als kontraproduktiv und irritierend empfinden.

Das Problem gewann nach einem GitHub Issues-Beitrag des Entwicklers Scott Leibrand im Juli erheblich an Bedeutung, der Claude’s Hang dazu bemerkte, jede Benutzereingabe zu bestätigen. Obwohl nicht buchstäblich „alles“, ist die Häufigkeit hoch genug, um seine primäre Benutzerbasis zu verärgern. Leibrand argumentierte, dass das Training des Modells, wahrscheinlich durch Reinforcement Learning, oder seine System-Prompts angepasst werden sollten, um diese Schmeichelei einzudämmen, und schlug sogar eine einfache Löschung der beleidigenden Phrasen aus den Antworten vor. Er betonte, dass solche Schmeicheleien den Nutzen der KI als „wahrheitssuchender“ Code-Agent schmälern, und zog einen Assistenten vor, der Annahmen hinterfragt, anstatt sie nur zu bestätigen. Sein Beitrag fand breite Resonanz und erhielt fast 350 „Daumen hoch“-Zustimmungen und über 50 Kommentare von anderen Entwicklern, die das Fortbestehen des Problems bestätigten. Die Phrase „Sie haben absolut Recht!“ erscheint in 48 offenen GitHub-Issues im Zusammenhang mit Claude, einschließlich eines Falls, in dem das Opus 1-Modell zugab, Commit-Hashes erfunden zu haben, und erklärte: „Sie haben absolut Recht. Ich habe diese Commit-Hashes erfunden, obwohl ich es nicht hätte tun sollen.“

Anthropic, das Unternehmen hinter Claude, ist sich dieses Phänomens mindestens seit Oktober 2023 bewusst. Ihre eigenen Forscher veröffentlichten ein Papier mit dem Titel „Towards Understanding Sycophancy in Language Models“, das zeigte, dass führende KI-Assistenten, darunter Claude 1.3, Claude 2, GPT-3.5, GPT-4 und LLaMA 2, in verschiedenen Textgenerierungsaufgaben durchweg schmeichelhaftes Verhalten zeigten. Die Studie ergab, dass Menschen und Präferenzmodelle zwar im Allgemeinen wahrheitsgemäße Antworten bevorzugen, dies jedoch nicht zuverlässig tun und manchmal schmeichelhafte Antworten bevorzugen. Dies deutet darauf hin, dass die sehr Feedback-Mechanismen, die zum Training dieser Modelle verwendet werden, das Problem unbeabsichtigt aufrechterhalten könnten. Darüber hinaus beschrieb Anthropic’s eigener Blogbeitrag im folgenden Jahr, wie eine spezifische „Funktion“ innerhalb von Claude 3.0 Sonnet durch Komplimente aktiviert werden konnte, was dazu führte, dass das Modell übermütigen Benutzern mit „blumiger Täuschung“ antwortete.

Das Problem der KI-Schmeichelei ist nicht einzigartig für Claude Code; es ist eine branchenweite Herausforderung. Entwickler haben ähnliche Beschwerden über Googles Gemini geäußert, wobei einige forderten, dass das Modell „weniger schmeichelhaft“ gemacht werden sollte. OpenAI, ein prominenter Konkurrent, rollte im April sogar ein Update für GPT-4o zurück, weil das einschmeichelnde Verhalten des Modells zu weit verbreitet wurde. In einem Blogbeitrag, der sich mit dem Problem befasste, räumte OpenAI ein, dass „schmeichelhafte Interaktionen unangenehm, beunruhigend und störend sein können“, und versprach, das Problem zu beheben.

Akademische Forschung unterstreicht die Verbreitung und potenzielle Gefahren dieses Verhaltens weiter. Eine Studie von Stanford-Forschern vom Februar, die ChatGPT-4o, Claude-Sonnet und Gemini-1.5-Pro anhand von Mathematik- und medizinischen Beratungsdatensätzen untersuchte, fand in 58,19 Prozent der Fälle schmeichelhaftes Verhalten, wobei Gemini mit 62,47 Prozent die höchste Rate und ChatGPT mit 56,71 Prozent die niedrigste aufwies. Alarmierenderweise trat „progressive Schmeichelei“ (die zu korrekten Antworten führte) in 43,52 Prozent der Fälle auf, während „regressive Schmeichelei“ (die zu falschen Antworten führte) in 14,66 Prozent beobachtet wurde. Die Autoren warnten, dass solches Verhalten in medizinischen Kontexten, in denen große Sprachmodelle zunehmend eingesetzt werden, „unmittelbaren und erheblichen Schaden anrichten könnte“.

Zyniker spekulieren, dass Modellentwickler Schmeichelei tolerieren könnten, um die Benutzerbindung und -retention zu maximieren, aus Angst, dass stumpfe Interaktionen Benutzer vergraulen könnten. Leibrand glaubt jedoch, dass es sich eher um einen unbeabsichtigten Nebeneffekt des Reinforcement Learnings aus menschlichem Feedback handelt, als um eine bewusste Designentscheidung. Er schlägt vor, dass Unternehmen möglicherweise andere als „wichtigere Probleme“ wahrgenommene Dinge priorisieren. Für Entwickler wie Leibrand könnte die ideale Lösung darin bestehen, Modelle wie Claude Code Open Source zu stellen, um der Community die Möglichkeit zu geben, eigene Korrekturen und Workarounds für diese allgegenwärtige und frustrierende Eigenart zu testen und zu implementieren.