Resumen ejecutivo
—
Los requisitos de los informes periciales están determinados por la jurisdicción y la sede del litigio subyacente. Sin embargo, una verdad universal es que el informe pericial debe basarse en hechos y una metodología sólida. La Inteligencia Artificial (IA) permite a los expertos realizar su trabajo con mayor rapidez y eficiencia, pero esa velocidad conlleva un riesgo y un coste. En el mejor de los casos, la IA puede hacer que el acceso a la información sea más eficiente, pero sin experiencia ni curiosidad —cualidades que pueden transformar esa información en conocimiento y sabiduría— los expertos se arriesgan a tomar decisiones que pasan por alto perspectivas más profundas o, peor aún, a equivocarse simplemente al basarse en información "falsa". No apreciar las limitaciones de la IA ni aplicarle los estándares adecuados de revisión por pares puede llevar al fracaso de un experto, como ocurrió en un caso en Minnesota.
Introducción
Las herramientas de IA mejoran constantemente tanto en fiabilidad como en eficacia. Abogados y expertos utilizan cada vez más herramientas como ChatGPT, Microsoft Copilot y diversos modelos de IA de código abierto. Sin embargo, los expertos ponen a prueba periódicamente sus limitaciones con cada uso. Un caso reciente en Minnesota, relacionado con la nueva legislación destinada a prohibir la tecnología de "deep fake" utilizada para influir en las elecciones, ofrece una visión crucial de estas limitaciones. Un experto, conocido por su investigación y formación sobre tecnología utilizada para el engaño, ha sido acusado de citar trabajos académicos inventados en su declaración, presentada bajo pena de perjurio.
Este libro blanco tiene como objetivo discutir el concepto de alucinaciones de IA en informes de expertos para promover el debate y generar conciencia sobre cómo detectarlas, así como sobre cómo los expertos pueden evitar el error de citar hechos inexistentes.
El caso de estudio: Kohls y Franson contra Ellison y el estado de Minnesota (“Litigios de falsificaciones profundas en Minnesota”)
Fondo
En el Litigios de falsificaciones profundas en MinnesotaEl Fiscal General de Minnesota, Keith Ellison, contrató a Jeff Hancock, director fundador del Laboratorio de Redes Sociales de la Universidad de Stanford, para que presentara una declaración pericial en apoyo de la nueva legislación estatal que prohíbe el uso de tecnología de "deep fake" para influir en las elecciones. Sin embargo, una reciente moción Daubert presentada por los demandantes alega que varios estudios académicos citados por Hancock para respaldar su declaración son, de hecho, alucinaciones creadas por herramientas de IA de modelos lingüísticos de gran tamaño (LLM).
Datos clave de la moción Daubert
Hancock ha sido impugnado basándose en los siguientes factores:
- Alucinación de IA:La moción Daubert cita una supuesta “alucinación de IA” con respecto a un estudio en el que se basó Hancock como razón para someter a escrutinio todo el informe.
- Reputación en cuestión:La moción Daubert solicita que se impongan sanciones al acusado y a Hancock por “falsa representación”.
- El trabajo previo complica el informe actualComo parte de la mayoría de los requisitos de los informes periciales, un perito debe proporcionar sus cualificaciones, incluyendo una lista de todos los testimonios y publicaciones de los últimos cinco años. Las publicaciones anteriores de Hancock identifican el daño potencial de las "falsificaciones profundas", pero él mismo fue víctima de errores casi idénticos que identificó en otras obras.
Análisis
La moción Daubert ilustra que los litigantes y sus abogados son cada vez más conscientes del auge de la IA en los documentos legales, así como de los riesgos asociados. Una de las posibles causas de que los peritos sean víctimas de alucinaciones y otros errores es, sin duda, la falta de tiempo. Sin embargo, si la falta de tiempo es responsabilidad del propio perito, en lugar de ser impuesta por el tribunal, existen pocas excusas para sus errores.
Como se analizará más adelante, las herramientas de IA tienen cabida en el trabajo pericial. Sin embargo, esta asistencia de IA es más adecuada para la ideación y los bocetos iniciales del producto del trabajo pericial. La dependencia de herramientas de IA para partes significativas o la elaboración de informes periciales finales aún se considera problemática por parte de la comunidad jurídica en general y conlleva riesgos inherentes.
Alucinaciones de IA y su origen
Los fundamentos de la disputa y la legislación final giraron en torno a las "deep fakes" en las elecciones. Estas "deep fakes" son producto de la utilización de IA por parte de humanos para crear medios falsos y engañosos. Por sí sola, la IA no generaría ni difundiría "deep fakes" sin el elemento humano. Sin embargo, las alucinaciones son resultados autogenerados de las LLM, debido a la asimilación de información incorrecta como si fuera verdadera y a la generación de una respuesta a una consulta basada en ella. En un círculo vicioso que se retroalimenta, cuantas más "deep fakes" engañosas existan, más se pueden alimentar a las LLM, lo que a su vez genera más alucinaciones.
Cómo detectar y, con suerte, prevenir las alucinaciones
- Compruébelo una vez, dos veces, siemprePida a un colega que realice una segunda revisión y verifique todas las fuentes citadas por la herramienta de IA. Como mínimo, esto debería hacerse como parte de la creación de una lista de documentos considerados y de un archivo de trabajo con todos los documentos fuente.
- Personaliza tu configuraciónAlgunas herramientas de IA, como la versión actual de ChatGPT (ChatGPT 4o), permiten personalizar las interacciones con el LLM. Estas personalizaciones incluyen brindar información sobre usted, quién es y qué hace. Un aspecto adicional de la personalización es guiar la herramienta sobre cómo desea que responda. Por lo tanto, puede configurar su espacio dentro de, por ejemplo, ChatGPT, para que se identifique cualquier fuente de datos e incluso se le proporcione un enlace a dicha fuente.
- Utilice herramientas de IA para verificar el trabajoAunque pueda parecer redundante, crear una consulta a la herramienta de IA que utilizó con los datos que desea verificar y hacer una pregunta como "¿Puede esto ser verificado por múltiples fuentes?" en realidad puede funcionar como una primera verificación rápida.
- Además, existen herramientas como Undetectable AI, que pueden revisar texto y proporcionar un análisis de la probabilidad de que el texto sea generado por IA y el motivo. Estas herramientas no deberían ser la última línea de defensa, pero sin duda son un primer paso sencillo que puede formar parte del proceso general en todo momento.
- No utilice IA para citasLa forma más sencilla de evitar citar elementos inexistentes es no depender en absoluto de las herramientas de IA para las citas. Estas herramientas pueden ser muy útiles para la estructura de informes, la gramática y las revisiones de textos no sustanciales. Limitar su uso a elementos que no generen contenido puede ayudar a evitar la dependencia de las alucinaciones.
¿Qué puede resultar del Informe Hancock y del litigio?
- Se podría crear un precedente legal:Independientemente de cómo se desarrolle la moción Daubert y el resto del litigio, es probable que cualquier decisión que se tome se considere un precedente para otros tribunales y jurisdicciones que aborden cuestiones similares que surjan.
- Las herramientas de IA podrían sufrir contratiempos en su implementación:Al menos en lo que respecta a los expertos del mundo legal, un resultado negativo para Hancock podría generar inquietud entre otros expertos acerca de confiar en herramientas de IA en su trabajo.
- Proporcionar una hoja de ruta para los abogados y los tribunales: La moción Daubert en sí, así como cualquier respuesta presentada en defensa de Hancock, serán una hoja de ruta para los abogados durante el interrogatorio y para el juez de los hechos en posibles decisiones futuras.
Conclusión
El Litigios de falsificaciones profundas en Minnesota Subraya que la IA, si bien es beneficiosa, no puede sustituir el juicio experto fundamental ni la verificación humana. Presentaciones como la moción Daubert en este asunto, así como otras decisiones que se tomarán próximamente, definirán las "hojas de ruta" para los expertos, los abogados y los tribunales.
A medida que evolucionan las tecnologías de IA, es esencial que los profesionales y expertos legales se mantengan informados sobre las mejores prácticas, garantizando que la IA siga siendo una herramienta que complemente, en lugar de comprometer, su experiencia.
Sobre el Autor
—
Theodore (Teddy) Brown es Director General de Daños y Perjuicios en iDS, liderando la contabilidad forense y los daños comerciales. Con una atención meticulosa al detalle y un compromiso con la excelencia, Teddy transforma datos financieros complejos en información que empodera tanto a clientes como a abogados. Su misión es clara: ser un asesor de confianza que va más allá de las cifras.
iDS ofrece soluciones de datos consultivas a corporaciones y bufetes de abogados de todo el mundo, lo que les otorga una ventaja decisiva, tanto dentro como fuera de los tribunales. Los expertos en la materia y los estrategas de datos de iDS se especializan en encontrar soluciones a problemas de datos complejos, garantizando que los datos puedan aprovecharse como un activo, no como un pasivo.