Detectores de Deepfakes: ¿Listos para la Amenaza de Fraude por IA?

La reciente convergencia de conferencias de seguridad en Las Vegas, incluyendo BSides, Black Hat y DEF CON, destacó una preocupación generalizada: la escalada de la amenaza de fraude, significativamente amplificada por los avances en inteligencia artificial. A medida que el costo de las herramientas de IA se desploma y la tecnología deepfake se vuelve cada vez más sofisticada, los expertos anticipan un aumento en el engaño digital. Deloitte, por ejemplo, proyecta que el fraude deepfake podría costar a la economía estadounidense hasta 40 mil millones de dólares para 2027, una estimación que muchos en la comunidad de seguridad creen que es conservadora. Esta alarmante tendencia sigue a las declaraciones de líderes de la industria, como Sam Altman, quien sugirió de manera controvertida que la IA ha eludido eficazmente la mayoría de los métodos de autenticación convencionales, excepto las contraseñas.

A pesar de un floreciente mercado de software de detección de deepfakes, la eficacia de estas herramientas sigue siendo un punto crítico de contención. Karthik Tadinada, quien anteriormente pasó más de una década monitoreando fraudes para importantes bancos del Reino Unido en Featurespace, señala que la tecnología anti-deepfake generalmente logra una precisión de alrededor del 90 por ciento en la identificación de actividad fraudulenta y la eliminación de falsos positivos. Aunque aparentemente alta, este margen de error del 10 por ciento presenta una oportunidad sustancial para los delincuentes, especialmente a medida que los costos asociados con la generación de identidades falsas continúan disminuyendo. Como señala Tadinada, “La economía de las personas que generan estas cosas frente a lo que se puede detectar y manejar, bueno, ese 10 por ciento sigue siendo lo suficientemente grande como para generar ganancias.”

La suplantación de identidad en video, aunque anterior a la IA, ha sido drásticamente amplificada por el aprendizaje automático. Tadinada y su excolega de Featurespace, Martyn Higson, lo demostraron superponiendo sin problemas el rostro del primer ministro británico Keir Starmer sobre el cuerpo de Higson, con una convincente imitación de voz, todo logrado usando solo una MacBook Pro. Si bien este ejemplo particular no fue lo suficientemente sofisticado como para eludir los sistemas avanzados de detección de deepfakes —los rostros generados por IA a menudo exhiben signos reveladores como papadas antinaturalmente hinchadas o apariencias rígidas— resultó más que suficiente para difundir propaganda o desinformación. Esto fue subrayado por un incidente reciente en el que el periodista Chris Cuomo publicó brevemente, y luego retractó, un video deepfake de la representante estadounidense Alexandria Ocasio-Cortez haciendo declaraciones controvertidas.

Mike Raggo, líder del equipo rojo en la firma de monitoreo de medios Silent Signals, coincide en que la calidad de los videos falsos ha mejorado drásticamente. Sin embargo, también señala técnicas emergentes que prometen una detección más efectiva. Silent Signals, por ejemplo, desarrolló Fake Image Forensic Examiner v1.1, una herramienta gratuita basada en Python lanzada en conjunto con GPT-5 de OpenAI. Esta herramienta analiza los videos subidos fotograma a fotograma, buscando meticulosamente signos de manipulación como desenfoque en los bordes de los objetos o anomalías en los elementos del fondo. Fundamentalmente, examinar los metadatos es primordial, ya que muchas herramientas de manipulación de video, ya sean comerciales o de código abierto, dejan inadvertidamente rastros digitales dentro del código del archivo, que un motor de detección robusto puede identificar.

Más allá del video, las imágenes son quizás el vector más preocupante para los estafadores, dada su facilidad de creación y la creciente dependencia de las empresas en ellas. La experiencia de Tadinada en la banca destacó la vulnerabilidad de los registros electrónicos, particularmente durante la pandemia de COVID-19, cuando la banca presencial disminuyó. Abrir una cuenta bancaria en el Reino Unido, por ejemplo, generalmente requiere una identificación válida y una factura de servicios públicos reciente, ambas cosas que Tadinada demostró que podían falsificarse fácilmente y son difíciles de verificar electrónicamente. Si bien Raggo observó algunas soluciones prometedoras de detección de deepfakes en Black Hat, enfatizó que cualquier herramienta efectiva debe priorizar el análisis de metadatos, buscando perfiles ICC (International Color Consortium) faltantes (firmas digitales relacionadas con el balance de color) o metadatos específicos del proveedor, como el hábito de Google de incrustar “Google Inc” en los archivos de imagen de Android. Además, el análisis de bordes, que examina los límites de los objetos en busca de desenfoque o inconsistencias de brillo, y la varianza de píxeles, que mide los cambios de color dentro de los objetos, son técnicas vitales.

Sin embargo, la detección de deepfakes de voz presenta un conjunto diferente de desafíos, y estos ataques vocales están en aumento. En mayo, el FBI emitió una advertencia sobre una campaña de fraude que empleaba voces generadas por IA de políticos estadounidenses para engañar a individuos y obtener acceso a sistemas gubernamentales con fines de lucro. El consejo del FBI, notablemente no técnico, instó a los usuarios a verificar independientemente la fuente y escuchar inconsistencias sutiles en el vocabulario o el acento, reconociendo la creciente dificultad para distinguir el contenido generado por IA. De manera similar, una competencia de un año patrocinada por la Comisión Federal de Comercio para detectar voces generadas por IA ofreció un modesto premio de 35.000 dólares, lo que refleja la etapa naciente de este campo de detección.

Si bien las tecnologías de clonación de voz tienen aplicaciones legítimas, como la transcripción, el doblaje de medios y la mejora de los bots de centros de llamadas —Azure AI Speech de Microsoft, por ejemplo, puede generar clones de voz convincentes a partir de meros segundos de audio, aunque con marcas de agua imperfectas— también son una herramienta poderosa para los estafadores. Un estudio de Consumer Reports sobre seis servicios de clonación de voz encontró que dos tercios hicieron poco esfuerzo para prevenir el uso indebido, a menudo requiriendo solo una simple casilla de verificación de afirmación del derecho legal a clonar una voz. Solo una empresa probada, Resemble AI, exigió un clip de audio en tiempo real, aunque incluso esto a veces podría ser engañado por audio grabado, aunque con una precisión reducida debido a problemas de calidad de sonido. Muchas empresas de clonación de voz, incluida Resemble AI, ahora están integrando la detección de deepfakes en sus ofertas. El CEO de Resemble, Zohaib Ahmed, explicó que su extensa base de datos de voces reales y clonadas proporciona información valiosa, lo que les permite identificar “artefactos” sutiles e indetectables para el ser humano que distinguen las falsificaciones.

En última instancia, al igual que la ciberseguridad tradicional, no existe una solución tecnológica infalible para la detección de deepfakes. El elemento humano sigue siendo crítico. Eric Escobar, líder del equipo rojo en Sophos, aconseja un “sentido de precaución” y enfatiza que “la verificación es absolutamente clave, particularmente si hay dinero de por medio”. Insta a las personas a preguntar: “¿Esto es propio de su carácter?” y a verificar dos veces si no están seguras. Tadinada refuerza esto para la industria financiera, enfatizando que, además del escaneo de deepfakes, las transacciones financieras en sí mismas deben ser monitoreadas en busca de patrones sospechosos, reflejando otros métodos de detección de fraude.

La escalada de la carrera armamentista se complica aún más por las Redes Generativas Antagónicas (GANs), que emplean dos motores de IA en competencia —un generador que crea medios y un discriminador que intenta identificar contenido fabricado— para mejorar iterativamente el realismo de los deepfakes. Si bien las GANs actuales pueden dejar firmas discernibles en los metadatos, la tecnología promete resultados cada vez más convincentes, lo que inevitablemente conducirá a esfuerzos fraudulentos más exitosos.