Alucinaciones de IA: Documentos Falsos Amenazan Juicio por Asesinato
En un incidente preocupante que subraya la peligrosa intersección de la inteligencia artificial y el sistema legal, dos abogados australianos fueron objeto de escrutinio tras presentar documentos judiciales plagados de errores generados por IA en un juicio por asesinato de alto riesgo. El caso subraya la necesidad crítica de una supervisión humana rigurosa al aprovechar la IA generativa en contextos profesionales, particularmente cuando los resultados judiciales están en juego.
Se descubrió que el equipo legal, Rishi Nathwani y Amelia Beech, que representaban a un acusado de 16 años de asesinato, había incorporado resultados de IA no verificados en sus presentaciones a los fiscales. Los documentos contenían una serie de inexactitudes flagrantes, incluidas citas legales fabricadas y un discurso parlamentario mal citado. Estas “alucinaciones” —errores inherentes a algunos modelos de IA generativa— desencadenaron una cascada de problemas, engañando inicialmente a la fiscalía, que procedió a construir argumentos basados en la información defectuosa.
Fue el juez James Elliott de la Corte Suprema de Melbourne quien finalmente identificó las inconsistencias, sacando a la luz el uso de IA por parte de la defensa. Cuando se les confrontó, Nathwani y Beech admitieron haber empleado IA generativa para redactar los documentos. Sumando a la gravedad de la situación, una posterior nueva presentación de documentos supuestamente corregidos reveló más errores generados por IA, incluidas referencias a leyes completamente inexistentes.
El juez Elliott condenó inequívocamente el desliz, declarando: “No es aceptable que se utilice la IA a menos que el producto de ese uso sea verificado de forma independiente y exhaustiva”. Enfatizó que “la forma en que se han desarrollado estos eventos es insatisfactoria”. El juez expresó su profunda preocupación de que la aplicación sin control de la IA por parte de los abogados pudiera comprometer gravemente la capacidad del tribunal para impartir justicia, advirtiendo que la desinformación generada por la IA tiene el potencial de “engañar” a todo el marco legal.
Las apuestas en este caso particular eran excepcionalmente altas. El acusado menor fue acusado del asesinato de una mujer de 41 años durante un intento de robo de coche, aunque finalmente fue declarado no culpable de asesinato por motivos de deterioro cognitivo en el momento del crimen. Este resultado amplifica aún más las profundas implicaciones del contenido de IA no verificado que influye en los procedimientos judiciales, donde vidas y libertades reales están en juego. El incidente sirve como un crudo recordatorio de los riesgos inherentes asociados con la integración de tecnologías en rápida evolución en procesos críticos de toma de decisiones sin salvaguardas sólidas y una verificación humana meticulosa, subrayando cómo incluso una sola alucinación de IA puede alterar profundamente el curso de la justicia.