Künstliche Intelligenz hat mir (nicht) beim Schreiben dieses Gutachtens geholfen

Einführung

KI-Tools verbessern sich ständig hinsichtlich ihrer Zuverlässigkeit und Effektivität. Tools wie ChatGPT, Microsoft Copilot und verschiedene Open-Source-KI-Modelle werden zunehmend von Anwälten und Experten gleichermaßen eingesetzt. Die Grenzen dieser Tools werden jedoch bei jedem Einsatz durch Experten regelmäßig auf die Probe gestellt. Ein aktueller Fall in Minnesota im Zusammenhang mit einem neuen Gesetz zum Verbot von „Deep Fake“-Technologien zur Wahlbeeinflussung bietet wichtige Einblicke in diese Grenzen. Einem Experten, bekannt für seine Forschung und Ausbildung im Bereich der Täuschungstechnologie, wurde vorgeworfen, in seiner eidesstattlichen Erklärung gefälschte wissenschaftliche Arbeiten zitiert zu haben.

Ziel dieses Whitepapers ist es, das Konzept der KI-Halluzinationen in Expertenberichten zu erörtern, die Diskussion voranzutreiben und das Bewusstsein dafür zu schärfen, wie man sie erkennt und wie Experten die Falle vermeiden können, nicht vorhandene Fakten zu zitieren.

Die Fallstudie: Kohls und Franson gegen Ellison und den Staat Minnesota („Minnesota Deep Fake Rechtsstreitigkeiten”)

Hintergrund

Im Minnesota Deep Fake RechtsstreitigkeitenMinnesotas Generalstaatsanwalt Keith Ellison beauftragte Jeff Hancock, den Gründungsdirektor des Social Media Lab der Stanford University, mit einer Expertenaussage zur Unterstützung des neuen Gesetzes des Bundesstaates, das den Einsatz von „Deep Fake“-Technologie zur Wahlbeeinflussung verbietet. Ein kürzlich von den Klägern eingereichter Daubert-Antrag behauptet jedoch, dass mehrere von Hancock zur Unterstützung seiner Aussage zitierte wissenschaftliche Studien in Wirklichkeit Halluzinationen seien, die von KI-Tools (Large Language Models, „LLM“) erzeugt wurden.

Wichtige Fakten zum Daubert-Antrag

Hancock wurde aufgrund der folgenden Faktoren angefochten:

1. KI-Halluzination: Der Antrag von Daubert führt eine mutmaßliche „KI-Halluzination“ im Zusammenhang mit einer von Hancock herangezogenen Studie als Grund an, den gesamten Bericht einer Prüfung zu unterziehen.
2. Ruf in Frage gestellt: Der Antrag von Daubert fordert, dass gegen den Angeklagten und Hancock Sanktionen wegen „falscher Angaben“ verhängt werden.
3. Frühere Arbeiten erschweren den aktuellen Bericht: Zu den meisten Anforderungen an die Berichterstattung von Experten gehört es, ihre Qualifikationen sowie eine Auflistung aller in den letzten fünf Jahren verfassten Zeugenaussagen und Veröffentlichungen vorzulegen. Hancocks frühere Veröffentlichungen wiesen auf das potenzielle Risiko von „Deep Fakes“ hin, doch er unterlag nahezu identischen Fehlern, die er in anderen wissenschaftlichen Arbeiten festgestellt hatte.

Analyse

Der Daubert-Antrag zeigt, dass sich Prozessparteien und ihre Anwälte des zunehmenden Einsatzes von KI in juristischen Dokumenten und der damit verbundenen Risiken bewusst werden. Ein wahrscheinlicher Grund dafür, dass Sachverständige Halluzinationen und anderen Fehlern zum Opfer fallen, ist sicherlich Zeitmangel. Ist der Zeitmangel jedoch selbstverschuldet und nicht gerichtlich verordnet, gibt es für seine Fehler kaum eine Entschuldigung.

Wie weiter unten erläutert, können KI-Tools in der Arbeit von Gutachtern durchaus sinnvoll eingesetzt werden. Diese Unterstützung durch KI eignet sich jedoch am besten für die Ideenfindung und die ersten Entwürfe von Gutachten. Die Nutzung von KI-Tools für wesentliche Teile oder die Erstellung abschließender Gutachten wird von der juristischen Fachwelt nach wie vor als problematisch angesehen und birgt inhärente Risiken.

KI-Halluzinationen und ihre Herkunft

Der Streit und die letztendliche Gesetzgebung drehten sich um „Deep Fakes“ bei Wahlen. „Deep Fakes“ entstehen dadurch, dass Menschen KI nutzen, um gefälschte und irreführende Medien zu erstellen. Ohne den menschlichen Faktor kann KI weder selbst „Deep Fakes“ generieren noch verbreiten. Halluzinationen hingegen entstehen durch LLMs, die falsche Informationen als Wahrheit interpretieren und darauf basierend eine Antwort auf eine Anfrage generieren. In einem nahezu selbstversorgenden Teufelskreis gilt: Je mehr irreführende „Deep Fakes“ existieren, desto mehr können in die LLMs eingespeist werden, was wiederum zu weiteren Halluzinationen führt.

Wie man Halluzinationen erkennt und hoffentlich verhindert

• Einmal, zweimal und jedes Mal prüfen: Lassen Sie einen Kollegen eine zweite Überprüfung durchführen und alle vom KI-Tool zitierten Quellen überprüfen. Dies sollte mindestens im Rahmen der Erstellung einer Liste berücksichtigter Dokumente und der Erstellung einer Arbeitsdatei mit allen Quelldokumenten erfolgen.
• Passen Sie Ihre Einstellungen anEinige KI-Tools, wie die aktuelle Version von ChatGPT (ChatGPT 4o), ermöglichen die individuelle Gestaltung Ihrer Interaktionen mit dem LLM. Dazu gehört, dass Sie dem Tool Ihre Identität, Ihre Person und Ihre Tätigkeit mitteilen. Ein weiterer Aspekt der Anpassung besteht darin, dem Tool die gewünschten Reaktionen zuzuweisen. So können Sie beispielsweise in ChatGPT Ihren Bereich so einrichten, dass jede sachliche Ausgabequelle identifiziert wird und Ihnen sogar ein Link zu dieser Quelle bereitgestellt wird.
• Verwenden Sie KI-Tools, um die Arbeit zu überprüfen: So redundant das auch klingen mag, das Erstellen einer Abfrage an das von Ihnen verwendete KI-Tool mit den zu überprüfenden Daten und das Stellen einer Frage wie „Kann dies durch mehrere Quellen überprüft werden?“ kann tatsächlich als erste schnelle Überprüfung funktionieren.
• Darüber hinaus gibt es Tools wie Undetectable AI, die Texte überprüfen und analysieren können, wie wahrscheinlich es ist, dass der Text von KI generiert wurde und warum. Diese Tools sollten nicht die letzte Verteidigungslinie sein, sind aber sicherlich ein einfacher erster Schritt, der jedes Mal Teil des allgemeinen Prozesses sein kann.

• Verwenden Sie keine KI für ZitateDer einfachste Weg, das Zitieren nicht vorhandener Elemente zu vermeiden, besteht darin, sich bei Zitaten überhaupt nicht auf KI-Tools zu verlassen. KI-Tools können bei der Berichtsstruktur, Grammatik und nicht inhaltlichen Überprüfungen sehr hilfreich sein. Die Beschränkung ihrer Verwendung auf Elemente, die nicht der Inhaltsgenerierung dienen, kann dazu beitragen, die Abhängigkeit von Halluzinationen zu vermeiden.

Was sich aus dem Hancock-Bericht und dem Rechtsstreit ergeben kann

1. Es könnten Präzedenzfälle geschaffen werden: Wie auch immer der Daubert-Antrag und der Rest des Rechtsstreits ausgehen, es ist wahrscheinlich, dass alle getroffenen Entscheidungen als Präzedenzfall für andere Gerichte und Gerichtsbarkeiten angesehen werden, die sich mit ähnlichen auftretenden Fragen befassen.
2. Bei der Implementierung von KI-Tools kann es zu Rückschlägen kommen: Zumindest was Experten aus der Rechtswelt betrifft, könnte ein negatives Ergebnis für Hancock bei anderen Experten Bedenken auslösen, sich bei ihrer Arbeit auf KI-Tools zu verlassen.
3. Bereitstellung eines Leitfadens für Anwälte und Gerichte: Der Daubert-Antrag selbst sowie alle zu Hancocks Verteidigung eingereichten Antworten werden dem Anwalt bei Kreuzverhören und dem Tatrichter bei möglichen zukünftigen Entscheidungen als Orientierung dienen.

Fazit

Der Minnesota Deep Fake Rechtsstreitigkeiten unterstreicht, dass KI zwar nützlich ist, aber grundlegendes Expertenurteil und menschliche Überprüfung nicht ersetzen kann. Einreichungen wie der Daubert-Antrag in dieser Angelegenheit sowie weitere Entscheidungen in naher Zukunft werden die „Roadmap“ für Experten, Anwälte und Gerichte definieren.

Angesichts der Weiterentwicklung der KI-Technologien ist es für Rechtsexperten und Experten unerlässlich, sich über bewährte Verfahren auf dem Laufenden zu halten und sicherzustellen, dass KI ein Werkzeug bleibt, das ihre Fachkompetenz ergänzt und nicht beeinträchtigt.

Über den Autor

—

Theodore (Teddy) Brown ist Geschäftsführer für Schadensfälle bei iDS und leitet die Bereiche forensische Buchhaltung und gewerbliche Schäden. Mit einem scharfen Auge für Details und dem Anspruch an Exzellenz verwandelt Teddy komplexe Finanzdaten in Erkenntnisse, die sowohl Mandanten als auch Beratern zugutekommen. Seine Mission ist klar: Er will ein vertrauenswürdiger Berater sein, der über Zahlen hinausgeht.

iDS bietet Unternehmen und Anwaltskanzleien weltweit beratende Datenlösungen und verschafft ihnen damit einen entscheidenden Vorteil – sowohl vor als auch außerhalb des Gerichtssaals. Die Fachexperten und Datenstrategen von iDS sind auf die Lösung komplexer Datenprobleme spezialisiert und stellen sicher, dass Daten als Vorteil und nicht als Belastung genutzt werden.