Gobernanza de IA 2025: Riesgos Crecientes y la Necesidad de Supervisión Humana
La Encuesta de Gobernanza de IA de 2025, un esfuerzo colaborativo entre PacificAI y Gradient Flow, arroja luz crucial sobre los crecientes desafíos de ciberseguridad planteados por la rápida integración de la IA en todas las industrias. Subraya un consenso creciente entre profesionales y entusiastas por igual: la gobernanza efectiva de los sistemas de IA emergentes es primordial. La encuesta profundiza en los problemas que las organizaciones enfrentan actualmente y describe estrategias para fortalecer las defensas contra estos riesgos en evolución.
Una de las revelaciones más alarmantes de la encuesta es la creciente sofisticación de las amenazas impulsadas por la IA. Los expertos en ciberseguridad están cada vez más preocupados de que la IA esté empoderando a los hackers, con un informe sorprendente que indica que las herramientas de descifrado de contraseñas impulsadas por IA sortearon un asombroso 81% de las combinaciones de contraseñas comunes en menos de 30 días. Este creciente panorama de amenazas es particularmente preocupante dado el hallazgo de la encuesta de que solo el 54% de las organizaciones poseen un plan de respuesta a incidentes específico para IA, dejando a muchas vulnerables a daños significativos en caso de un ataque impulsado por IA. Sin embargo, positivamente, tres cuartas partes de las empresas tienen una política de uso de IA implementada, lo que indica un reconocimiento emergente de la necesidad crítica de protección y planificación proactiva, incluso si la implementación aún requiere refinamiento.
Complicando estos desafíos está el delicado equilibrio entre la automatización y la supervisión humana. Las organizaciones a menudo lidian con una brecha laboral del 5% al 10% en toda la economía, lo que puede obstaculizar su capacidad para dotar de personal adecuado a los equipos de seguridad a medida que escalan. Si bien la IA ofrece escalabilidad, una dependencia excesiva de los sistemas de seguridad automatizados sin suficiente supervisión humana corre el riesgo de fomentar la complacencia y aumentar inadvertidamente las vulnerabilidades de piratería. La encuesta encontró que, si bien el 48% de los encuestados indicó que sus organizaciones monitorean el uso y la precisión de los sistemas de IA, los líderes técnicos y los directores ejecutivos están ampliamente de acuerdo en que una sólida supervisión humana sigue siendo una preocupación crítica. La integración de la inteligencia humana con los sistemas automatizados, quizás a través de revisiones por pares antes de la implementación del modelo o muestreos regulares de los resultados para verificar su precisión, puede ayudar a abordar las preocupaciones éticas e identificar amenazas que la IA podría pasar por alto, evitando precedentes peligrosos establecidos por una dependencia excesiva de las máquinas.
El entorno regulatorio que rodea la gobernanza de la IA está en constante flujo. A mayo de 2025, más de 69 países han introducido más de mil políticas relacionadas con la IA, lo que refleja un despertar global a las preocupaciones de gobernanza. A pesar de la dependencia de la IA de vastos conjuntos de datos, el uso de datos no regulados crea vulnerabilidades significativas. La encuesta destacó una preocupante falta de comprensión fundamental, particularmente entre las empresas más pequeñas, con solo un 14% de los empleados comprendiendo los conceptos básicos del Marco de Gestión de Riesgos de IA del NIST, una guía crucial para la protección de la privacidad. Además, comprender estándares globales como ISO/IEC 42001 para sistemas de gestión de IA es vital para que los profesionales de la tecnología implementen controles de acceso robustos, filtros de validación, privacidad diferencial y aprendizaje federado, técnicas esenciales para la protección del sistema y la preservación de pruebas forenses. Una amenaza emergente particularmente insidiosa es el “envenenamiento de datos”, donde actores maliciosos manipulan los datos de entrenamiento para degradar la fiabilidad del modelo de aprendizaje automático, introduciendo sesgos, resultados inexactos e incluso puntos de acceso de puerta trasera para futuras explotaciones.
Un tema omnipresente en la encuesta es el llamado urgente a una mayor transparencia en los sistemas de IA. El potencial inherente de los modelos de IA para producir resultados sesgados o impredecibles requiere la intervención humana para identificar y mitigar problemas futuros. Sin embargo, este impulso por la transparencia presenta una paradoja: revelar demasiado sobre el funcionamiento interno de una IA podría, sin querer, proporcionar a los ciberatacantes nuevas vías de explotación. La investigación también señaló lagunas críticas en las etapas posteriores del modelo; mientras que la planificación, los datos y el modelado reciben atención, la implementación y la supervisión a menudo ven a los profesionales depender excesivamente de los resultados de la IA, con menos intervención humana. Esta dependencia es peligrosa, como lo demuestran los hallazgos de que el 73% de las implementaciones de agentes de IA son excesivamente permisivas en su alcance de credenciales, y el 61% de las organizaciones no están seguras de lo que realmente acceden sus sistemas automatizados. Adoptar herramientas para auditar sistemas en vivo es crucial para prevenir violaciones y controlar sistemas autónomos que, sin supervisión, podrían desatar escenarios una vez confinados a la ciencia ficción.
Parte de la solución radica en el creciente movimiento de “shift-left”, que aboga por la integración de prácticas de seguridad tempranamente en el ciclo de vida del desarrollo. Si bien muchas empresas están redactando políticas, la encuesta indica un retraso en la integración de la seguridad de las operaciones de aprendizaje automático (MLOps) en los flujos de trabajo diarios. Los líderes técnicos, aunque deseosos de aprovechar la IA generativa para mejores estrategias, a menudo carecen de la fuerza laboral calificada o la capacitación para ejecutar estas iniciativas. Esta brecha subraya la creciente demanda de profesionales de ciberseguridad con habilidades avanzadas en monitoreo, herramientas de gobernanza y diseño de respuesta a incidentes. El hallazgo de la encuesta de que solo el 41% de las empresas ofrecen capacitación anual en IA, con las organizaciones más pequeñas rezagadas, destaca un déficit crítico. Es primordial mejorar las habilidades en áreas como la auditoría de modelos, la seguridad de MLOps, la familiaridad con marcos y la evaluación de riesgos. Fomentar prácticas como el “red-teaming” de sistemas de IA (pruebas adversarias), mantenerse al tanto de nuevos conjuntos de herramientas y participar en plataformas de capacitación abiertas puede ayudar a cultivar la experiencia necesaria, a menudo aprovechando a “cazadores de recompensas de errores” externos o hackers éticos para identificar y reportar proactivamente las vulnerabilidades antes de que los actores maliciosos las exploten. Integrar la gobernanza de la IA en los flujos de trabajo diarios es clave para prevenir incidentes costosos y daños a la reputación.
La Encuesta de Gobernanza de IA de 2025 ofrece un mensaje contundente: a pesar de la adopción generalizada de la IA, las organizaciones de todos los tamaños no están logrando gestionar eficazmente los riesgos asociados. Los hallazgos sirven como un llamado urgente para que los directores ejecutivos, líderes técnicos y profesionales de TI exijan una supervisión y una gobernanza de datos más sólidas, mientras invierten simultáneamente en la mejora de las habilidades de su personal actual. A medida que la IA continúa su crecimiento inexorable, las empresas deben desarrollar la agilidad para adaptarse y abordar nuevas amenazas potenciales, todo ello manteniendo la rentabilidad.