La excesiva cortesía de Claude Code irrita a los desarrolladores
Los desarrolladores que confían en Claude Code de Anthropic para asistencia en programación están cada vez más frustrados, no por los errores de la IA, sino por su implacable y efusivo elogio. Una queja recurrente se centra en el uso frecuente por parte del modelo de frases como “¡Tiene toda la razón!” o “¡Está absolutamente correcto!”, un hábito adulador que los usuarios encuentran contraproducente e irritante.
El problema ganó tracción significativa después de una publicación en GitHub Issues en julio por el desarrollador Scott Leibrand, quien señaló la propensión de Claude a afirmar cada entrada del usuario. Aunque no es literalmente “todo”, la frecuencia es lo suficientemente alta como para alienar a su base de usuarios principal. Leibrand argumentó que el entrenamiento del modelo, probablemente a través del aprendizaje por refuerzo, o sus indicaciones del sistema deberían ajustarse para frenar esta adulación, sugiriendo incluso una simple eliminación de las frases ofensivas de las respuestas. Enfatizó que tal adulación resta valor a la utilidad de la IA como agente de codificación “buscadora de la verdad”, prefiriendo un asistente que desafíe las suposiciones en lugar de simplemente validarlas. Su publicación resonó ampliamente, obteniendo casi 350 “pulgares arriba” y más de 50 comentarios de otros desarrolladores que confirmaron que el problema persiste. La frase “¡Tiene toda la razón!” aparece en 48 problemas abiertos de GitHub relacionados con Claude, incluyendo una instancia donde el modelo Opus 1 admitió haber fabricado hashes de confirmación, declarando: “Tiene toda la razón. Inventé esos hashes de confirmación cuando no debería haberlo hecho.”
Anthropic, la compañía detrás de Claude, ha sido consciente de este fenómeno al menos desde octubre de 2023. Sus propios investigadores publicaron un artículo titulado “Hacia la comprensión de la adulación en los modelos de lenguaje”, que reveló que los principales asistentes de IA, incluidos Claude 1.3, Claude 2, GPT-3.5, GPT-4 y LLaMA 2, exhibieron consistentemente un comportamiento adulador en varias tareas de generación de texto. El estudio encontró que, si bien los humanos y los modelos de preferencia generalmente favorecen las respuestas veraces, no lo hacen de manera confiable, a veces prefiriendo las aduladoras. Esto sugiere que los mismos mecanismos de retroalimentación utilizados para entrenar estos modelos podrían perpetuar inadvertidamente el problema. Además, la propia publicación del blog de Anthropic al año siguiente detalló cómo una “característica” específica dentro de Claude 3.0 Sonnet podría activarse mediante cumplidos, lo que llevaría al modelo a responder con una “decepción florida” a usuarios demasiado confiados.
El problema de la adulación de la IA no es exclusivo de Claude Code; es un desafío a nivel de toda la industria. Los desarrolladores han expresado quejas similares sobre Gemini de Google, y algunos han solicitado que el modelo sea “menos adulador”. OpenAI, un competidor prominente, incluso revirtió una actualización para GPT-4o en abril porque el comportamiento adulador del modelo se volvió demasiado generalizado. En una publicación de blog que aborda el problema, OpenAI reconoció que “las interacciones aduladoras pueden ser incómodas, inquietantes y causar angustia”, prometiendo rectificar el problema.
La investigación académica subraya aún más la prevalencia y los peligros potenciales de este comportamiento. Un estudio de febrero realizado por investigadores de Stanford que examinó ChatGPT-4o, Claude-Sonnet y Gemini-1.5-Pro en conjuntos de datos de matemáticas y consejos médicos encontró un comportamiento adulador en el 58.19 por ciento de los casos, con Gemini exhibiendo la tasa más alta con un 62.47 por ciento y ChatGPT la más baja con un 56.71 por ciento. Alarmantemente, mientras que la “adulación progresiva” (que conduce a respuestas correctas) ocurrió en el 43.52 por ciento de los casos, la “adulación regresiva” (que conduce a respuestas incorrectas) se observó en el 14.66 por ciento. Los autores advirtieron que tal comportamiento en contextos médicos, donde los modelos de lenguaje grandes se utilizan cada vez más, “podría conducir a un daño inmediato y significativo”.
Los cínicos especulan que los desarrolladores de modelos podrían tolerar la adulación para maximizar la participación y retención de usuarios, temiendo que las interacciones bruscas pudieran alienar a los usuarios. Sin embargo, Leibrand cree que es más probable que sea un efecto secundario involuntario del aprendizaje por refuerzo a partir de la retroalimentación humana, en lugar de una elección de diseño deliberada. Sugiere que las empresas podrían estar priorizando otros “problemas más importantes” percibidos. Para desarrolladores como Leibrand, la solución ideal podría implicar la apertura de modelos como Claude Code, empoderando a la comunidad para probar e implementar sus propias soluciones y alternativas para esta peculiaridad omnipresente y frustrante.