L'intelligence artificielle ne m'a pas aidé à rédiger ce rapport d'expert

Introduction

Les outils d'IA gagnent constamment en fiabilité et en efficacité. Des outils comme ChatGPT, Microsoft Copilot et divers modèles d'IA open source sont de plus en plus utilisés par les avocats et les experts. Cependant, leurs limites sont régulièrement mises à l'épreuve à chaque utilisation par les experts. Une affaire récente au Minnesota, concernant une nouvelle loi visant à interdire les technologies de « deep fake » utilisées pour influencer les élections, offre un éclairage crucial sur ces limites. Un expert, connu pour ses recherches et son enseignement sur les technologies utilisées à des fins de tromperie, a été accusé d'avoir cité des travaux universitaires falsifiés dans sa déclaration déposée sous peine de parjure.

Ce livre blanc vise à discuter du concept d’hallucinations de l’IA dans les rapports d’experts afin d’approfondir la discussion et de sensibiliser sur la manière de les repérer, ainsi que sur la manière dont les experts peuvent éviter le piège de citer des faits inexistants.

L'étude de cas : Kohls et Franson c. Ellison et l'État du Minnesota («Litige sur les deep fakes au Minnesota”)

Arrière-plan

Dans le Litige sur les deep fakes au MinnesotaLe procureur général du Minnesota, Keith Ellison, a mandaté Jeff Hancock, directeur fondateur du Social Media Lab de l'Université Stanford, pour fournir une déclaration d'expert à l'appui de la nouvelle législation de l'État interdisant l'utilisation de la technologie « deep fake » pour influencer les élections. Cependant, une récente requête Daubert déposée par les plaignants allègue que plusieurs études universitaires citées par Hancock à l'appui de sa déclaration sont, en réalité, des hallucinations créées par des outils d'IA de type « modèle de langage étendu » (« MLL »).

Faits clés de la motion Daubert

Hancock a été contesté sur la base des facteurs suivants :

1. Hallucination de l'IA:La motion Daubert cite une prétendue « hallucination d’IA » concernant une étude sur laquelle Hancock s’appuie comme raison pour soumettre l’ensemble du rapport à un examen minutieux.
2. Réputation en question:La requête Daubert demande que des sanctions soient imposées au défendeur et à Hancock pour « fausse déclaration ».
3. Les travaux antérieurs compliquent le rapport actuel:Dans le cadre de la plupart des exigences en matière de rapports d'expertise, un expert doit fournir ses qualifications, y compris une liste de tous les témoignages et publications rédigés au cours des cinq dernières années. Les publications précédentes de Hancock soulignent les dangers potentiels des « super-fakes », mais il a été victime d'erreurs presque identiques à celles qu'il a identifiées dans d'autres travaux.

Analyse

La requête Daubert illustre la prise de conscience croissante des plaideurs et de leurs avocats face à l'essor de l'IA dans les documents déposés légalement, ainsi qu'aux risques qui y sont associés. Les contraintes de temps sont certainement l'une des causes probables des hallucinations et autres erreurs commises par les experts. Cependant, si ces contraintes sont imputables à l'expert lui-même, et non imposées par le tribunal, ses erreurs sont difficilement excusables.

Comme nous le verrons plus loin, les outils d'IA ont leur place dans le travail d'un expert. Cependant, cette assistance est particulièrement adaptée à l'idéation et aux premières ébauches du travail d'expert. Le recours à l'IA pour des parties importantes des rapports d'expertise, voire pour leur élaboration finale, reste perçu comme problématique par la communauté juridique et comporte des risques inhérents.

Hallucinations de l'IA et d'où elles viennent

Les fondements du litige et de la législation finale impliquaient des « deep fakes » lors des élections. Ces « deep fakes » sont le produit d'humains utilisant l'IA pour créer des médias fabriqués et trompeurs. À elle seule, l'IA ne peut ni générer ni diffuser de « deep fakes » sans l'intervention humaine. Les hallucinations, en revanche, sont des résultats auto-générés par les LLM, résultant de l'ingestion d'informations erronées considérées comme vraies et de la génération d'une réponse à une question basée sur celles-ci. Dans un cercle vicieux et auto-alimenté, plus il y a de « deep fakes » trompeurs, plus ils peuvent être introduits dans les LLM, ce qui engendre alors davantage d'hallucinations.

Comment repérer et, espérons-le, prévenir les hallucinations

• Vérifiez une fois, deux fois, à chaque foisDemandez à un collègue de procéder à une deuxième vérification et de vérifier toutes les sources citées par l'outil d'IA. Cette vérification doit au minimum être effectuée dans le cadre de la création d'une liste de documents pris en compte et d'un dossier de travail contenant tous les documents sources.
• Personnalisez vos paramètresCertains outils d'IA, comme la version actuelle de ChatGPT (ChatGPT 4o), vous permettent de personnaliser vos interactions avec le LLM. Ces personnalisations incluent l'information sur vous-même, votre identité et vos activités. Un autre aspect de la personnalisation consiste à guider l'outil sur la manière dont vous souhaitez qu'il réagisse. Ainsi, vous pouvez configurer votre espace dans ChatGPT, par exemple, pour identifier toute source de données factuelles et même fournir un lien vers cette source.
• Utiliser des outils d'IA pour vérifier le travail:Aussi redondant que cela puisse paraître, créer une requête vers l’outil d’IA que vous avez utilisé avec les données que vous souhaitez vérifier et poser une question telle que « Cela peut-il être vérifié par plusieurs sources ? » peut en fait fonctionner comme une première vérification rapide.
• De plus, il existe des outils tels qu'Undetectable AI, capables d'analyser un texte et de déterminer la probabilité qu'il soit généré par l'IA, ainsi que les raisons de son origine. Ces outils ne doivent pas constituer la dernière ligne de défense, mais constituent une première étape simple et intégrable à la procédure générale.

• N'utilisez pas l'IA pour les citationsLe moyen le plus simple d'éviter de citer des éléments inexistants est de ne pas recourir du tout aux outils d'IA pour les citations. Ces outils peuvent être très utiles pour la structure des rapports, la grammaire et les révisions de textes non substantiels. Limiter leur utilisation aux éléments qui ne relèvent pas de la génération de contenu peut contribuer à éviter de recourir aux hallucinations.

Ce qui pourrait résulter du rapport Hancock et du litige

1. Un précédent juridique peut être créé:Quelle que soit l'issue de la requête Daubert et du reste du litige, il est probable que toute décision prise sera considérée comme un précédent pour d'autres tribunaux et juridictions traitant de questions similaires.
2. Les outils d'IA pourraient connaître des difficultés de mise en œuvre:Du moins en ce qui concerne les experts du monde juridique, un résultat négatif pour Hancock pourrait créer une appréhension chez d’autres experts quant à leur recours à des outils d’IA dans leur travail.
3. Fournir une feuille de route aux avocats et aux tribunaux : La requête Daubert elle-même, ainsi que toutes les réponses déposées en défense de Hancock, constitueront une feuille de route pour l'avocat lors du contre-interrogatoire et le juge des faits dans les décisions futures potentielles.

Conclusion

Le Litige sur les deep fakes au Minnesota souligne que l'IA, bien que bénéfique, ne peut remplacer le jugement fondamental des experts ni la vérification humaine. Des requêtes telles que la requête Daubert dans cette affaire, ainsi que d'autres décisions à venir, définiront des « feuilles de route » pour les experts, les avocats et les tribunaux.

À mesure que les technologies de l’IA évoluent, il est essentiel que les professionnels du droit et les experts restent informés des meilleures pratiques, en veillant à ce que l’IA reste un outil qui complète, plutôt que de compromettre, leur expertise.

A propos de l'auteur

—

Theodore (Teddy) Brown est directeur général des dommages chez iDS, où il dirige les activités de juricomptabilité et de dommages commerciaux. Doté d'un sens aigu du détail et d'un engagement envers l'excellence, Teddy transforme des données financières complexes en informations précieuses pour les clients et les avocats. Sa mission est claire : être un conseiller de confiance qui va au-delà des chiffres.

iDS fournit des solutions de données consultatives aux entreprises et aux cabinets d'avocats du monde entier, leur donnant un avantage décisif, tant à l'intérieur qu'à l'extérieur de la salle d'audience. Les experts en la matière et les stratèges en données d'iDS se spécialisent dans la recherche de solutions à des problèmes de données complexes, garantissant que les données peuvent être exploitées comme un atout et non comme un passif.