Anthropic endurece reglas de seguridad de Claude AI: prohíbe armas CBRN
En un movimiento significativo que refleja las crecientes preocupaciones sobre la seguridad de la inteligencia artificial, Anthropic ha actualizado la política de uso de su chatbot Claude AI. Las directrices revisadas, que entraron en vigor discretamente, introducen prohibiciones más estrictas, particularmente en lo que respecta al desarrollo de armas peligrosas, al tiempo que abordan los crecientes riesgos planteados por herramientas de IA cada vez más autónomas.
Una revisión clave, aunque no destacada explícitamente por Anthropic en su resumen público de cambios, es la prohibición explícita de usar Claude para desarrollar armas biológicas, químicas, radiológicas o nucleares (CBRN). Si bien la política anterior de la compañía prohibía ampliamente el uso de Claude para “producir, modificar, diseñar, comercializar o distribuir armas, explosivos, materiales peligrosos u otros sistemas diseñados para causar daño o pérdida de vidas humanas”, la versión actualizada ahora incluye específicamente “explosivos de alto rendimiento” junto con las categorías CBRN. Este refinamiento subraya un creciente enfoque de la industria en prevenir que la IA contribuya a daños catastróficos, basándose en salvaguardias como la protección de “Nivel de Seguridad de IA 3” que Anthropic implementó en mayo con el lanzamiento de su modelo Claude Opus 4, diseñado para hacer el sistema más resistente a la manipulación y menos propenso a ayudar en tales esfuerzos peligrosos.
Más allá del desarrollo de armas, Anthropic también está enfrentando los desafíos emergentes presentados por las “herramientas de IA agenciales”—sistemas que pueden tomar acciones de forma autónoma. La compañía reconoce específicamente los riesgos asociados con capacidades como “Uso de Computadora”, que permite a Claude controlar el ordenador de un usuario, y “Código Claude”, una herramienta que integra la IA directamente en el terminal de un desarrollador. Estas potentes características, señala Anthropic, introducen “nuevos riesgos, incluyendo el potencial de abuso a gran escala, creación de malware y ciberataques”.
Para mitigar estas amenazas, la política actualizada incorpora una nueva sección titulada “No Comprometer Sistemas Informáticos o de Red”. Este segmento establece reglas claras contra el uso de Claude para descubrir o explotar vulnerabilidades del sistema, crear o distribuir software malicioso, o desarrollar herramientas para ataques de denegación de servicio, que buscan interrumpir el acceso a la red para usuarios legítimos. Estas adiciones reflejan una postura proactiva contra la posible militarización de la IA en el ámbito de la ciberseguridad.
En un ajuste más matizado, Anthropic también ha refinado su postura sobre el contenido político. En lugar de una prohibición general de todo el contenido relacionado con campañas políticas y cabildeo, la compañía ahora solo prohibirá los usos de Claude que sean “engañosos o disruptivos para los procesos democráticos, o que impliquen la segmentación de votantes y campañas”. Esto indica un cambio hacia permitir un discurso político más general, manteniendo prohibiciones estrictas contra el uso indebido para la manipulación. Además, Anthropic aclaró que sus requisitos para casos de uso de “alto riesgo”—escenarios donde Claude proporciona recomendaciones a individuos o clientes—se aplican solo a aplicaciones orientadas al consumidor, no a interacciones de empresa a empresa, lo que proporciona más flexibilidad para la implementación comercial.
Estas actualizaciones integrales de la política subrayan los esfuerzos continuos de Anthropic para navegar por el complejo panorama ético y de seguridad de la IA avanzada, equilibrando la innovación con el compromiso de prevenir el uso indebido en un mundo digital cada vez más complejo.