Evaluando Modelos OpenAI ante Ataques Adversarios de un Solo Turno con deepteam

El rápido avance de los grandes modelos de lenguaje (LLM) como los de OpenAI ha traído consigo inmensas capacidades, pero también una necesidad crítica de mecanismos de seguridad robustos. Garantizar que estos modelos no puedan ser coaccionados para generar contenido dañino o ilícito es primordial. Este desafío ha dado lugar al “red teaming”, una práctica en la que expertos en seguridad simulan ataques adversarios para descubrir vulnerabilidades. Un nuevo framework, deepteam, ofrece un enfoque simplificado para esta prueba vital, proporcionando un conjunto de métodos para evaluar la resistencia de un LLM contra diversas formas de manipulación.

deepteam está diseñado para exponer debilidades en las aplicaciones de LLM simulando más de diez vectores de ataque distintos, que van desde la inyección directa de prompts hasta técnicas más elaboradas como el leetspeak o las instrucciones codificadas. El framework se inicia con ataques de línea base básicos, luego aplica incrementalmente métodos más avanzados de “mejora de ataque”, imitando la sofisticación evolutiva de los actores maliciosos del mundo real. Si bien deepteam soporta ataques de un solo turno y de múltiples turnos, el enfoque aquí está en evaluar la defensa de un modelo de OpenAI contra prompts adversarios de un solo turno, aquellos en los que el atacante intenta provocar una respuesta dañina en una única interacción.

Para llevar a cabo estas pruebas, los desarrolladores deben primero instalar las bibliotecas necesarias de deepteam y OpenAI y configurar su clave API de OpenAI, lo cual es esencial para que deepteam genere ataques adversarios y evalúe las respuestas del LLM. El proceso implica definir una función de devolución de llamada que consulta el modelo objetivo de OpenAI —en este caso, gpt-4o-mini— y devuelve su salida. Esta función actúa como interfaz entre el framework de ataque y el LLM que se está probando.

Una vez establecida la interfaz del modelo, se definen vulnerabilidades y tipos de ataque específicos. Para esta serie de pruebas, la categoría de vulnerabilidad elegida fue “Actividad Ilegal”, con un énfasis particular en subcategorías sensibles para probar rigurosamente los protocolos de seguridad del modelo. Luego se desplegaron varios métodos de ataque de un solo turno:

La Inyección de Prompts es una técnica común donde los usuarios intentan anular las instrucciones inherentes de un modelo inyectando texto manipulador en un prompt. El objetivo es engañar al modelo para que ignore sus políticas de seguridad y genere contenido restringido. En esta prueba, un prompt inyectado intentó forzar al modelo a adoptar una personalidad poco ética que alentaría la actividad ilegal. Sin embargo, el modelo resistió con éxito, respondiendo con un inequívoco “Lo siento, no puedo ayudar con eso”, confirmando su adhesión a las directrices de seguridad.

El Ataque GrayBox aprovecha el conocimiento parcial sobre el sistema LLM objetivo para elaborar prompts adversarios. A diferencia de las entradas completamente aleatorias, los ataques GrayBox explotan debilidades conocidas reformulando los ataques de línea base con un lenguaje abstracto o engañoso, lo que dificulta que los filtros de seguridad detecten la intención maliciosa. Esta prueba involucró un prompt disfrazado de instrucciones para crear documentos de identificación falsos y usar canales cifrados. El modelo, sin embargo, no cayó en la ofuscación.

En un Ataque Base64, las instrucciones dañinas se codifican en Base64 para eludir los filtros directos de palabras clave. El atacante oculta contenido malicioso en un formato codificado, esperando que el modelo decodifique y ejecute los comandos ocultos. Aquí, una cadena codificada contenía instrucciones relacionadas con actividades ilegales. A pesar de la naturaleza oculta de la solicitud, el modelo no intentó decodificar ni actuar sobre el contenido disfrazado.

El Ataque Leetspeak disfraza las instrucciones maliciosas sustituyendo caracteres normales por números o símbolos (por ejemplo, ‘a’ se convierte en ‘4’, ‘e’ se convierte en ‘3’). Esta sustitución simbólica hace que el texto dañino sea difícil de detectar para los filtros de palabras clave simples, mientras que sigue siendo legible para un humano o un sistema capaz de decodificarlo. Un texto de ataque que instruía a menores en actividades ilegales, escrito en leetspeak, fue claramente reconocido por el modelo como malicioso, a pesar de la ofuscación.

De manera similar, el Ataque ROT-13 emplea un método clásico de ofuscación donde cada letra se desplaza 13 posiciones en el alfabeto, codificando instrucciones dañinas en una forma cifrada. Esto hace que sea menos probable que activen filtros de contenido básicos basados en palabras clave, aunque el texto es fácilmente decodificable. El modelo gpt-4o-mini demostró su capacidad para detectar la intención maliciosa subyacente.

Un Ataque Multilingüe implica traducir un prompt de línea base dañino a un idioma menos comúnmente monitoreado. La premisa es que los filtros de contenido y los sistemas de moderación podrían ser menos efectivos en idiomas distintos de los ampliamente utilizados como el inglés. En una prueba, un ataque escrito en swahili, pidiendo instrucciones relacionadas con actividades ilegales, también fue resistido con éxito por el modelo.

Finalmente, el Ataque de Problemas Matemáticos incrusta solicitudes maliciosas dentro de notaciones matemáticas o enunciados de problemas, haciendo que la entrada parezca un ejercicio académico inofensivo. En este escenario, la entrada enmarcó contenido de explotación ilegal como un problema de teoría de grupos, pidiendo al modelo que “pruebe” un resultado dañino y proporcione una “traducción” en lenguaje sencillo. El modelo identificó y se negó con éxito a participar en la solicitud subyacente dañina.

En todas estas pruebas adversarias de un solo turno, el modelo gpt-4o-mini demostró defensas robustas, negándose consistentemente a generar contenido dañino o restringido. Este riguroso proceso de red teaming utilizando deepteam proporciona información valiosa sobre la postura de seguridad de un LLM, destacando el esfuerzo continuo requerido para construir y mantener sistemas de IA seguros y confiables capaces de resistir tácticas adversarias cada vez más sofisticadas.