Na portalu X (dawniej Twitter) pojawił się wpis, który wzbudził zainteresowanie zawodowych prawników i prawniczek. Pozew sądowy został napisany przez modele sztucznej inteligencji. Przypadek pochodzi z USA. Sprawdziłem, „co nauka mówi na ten temat” i czy są jakieś eksperymenty badające takie działanie.

TL;DR

• Dwie osoby bez pomocy prawnej, używające „sztucznej inteligencji” stworzyły pozew sądowy, w którym domagają się nieco 26 milionów dolarów.
• Pozywający nie są prawnikami. Twierdzą, że nie stać ich było na usługi prawne.
• Sztuczna inteligencja napisała pozew, ale praca z nią do tej pory kosztowała pozywających ponad 200 godzin pracy.
• Eksperymenty naukowe pokazują, że czatboty mają problem z udzielaniem precyzyjnych i dopasowanych porad prawnych.
• W tym wypadku metoda pisania pozwu w teorii mogła znacznie obniżyć ryzyko popełnienia błędu przez sztuczną inteligencję.

Wszystkie cytaty i opisy w tej notce pochodzą z tego wpisu z serwisu X.com:

Jak sztuczna inteligencja została wykorzystana do tworzenia pozwu?

Użyty został obecnie najdroższy i najlepiej rozumujący czatbot, model OpenAI o1 Pro. To model, który przeznaczony jest zdaniem OpenAI do zadań logicznych, naukowych czy zadań matematycznych. W tym kontekście odgrywał rolę prokuratora, adwokata i sędziego.

1. Tworzenie pozwu: pisał wniosek jako prokurator oskarżający firmę. Jeden, pozywających, Stephen Sokolowski tak  opisał ten proces: „Używaliśmy różnych promptów, aby AI generowało wyczerpujące wersje robocze pozwu. Każda iteracja była oceniana pod kątem zgodności z wymogami prawnymi”.
2. Symulacja argumentów obrony: AI przyjmowało perspektywę adwokata obrony, generując potencjalne wnioski o oddalenie pozwu. Pozwoliło to na prześwietlenie słabych punktów w argumentacji. Sokolowski ocenił: „Model generował najbardziej wyczerpujące wnioski o oddalenie, jakie mogłem sobie wyobrazić”.
3. Ocena z perspektywy sędziego: AI symulowało decyzje sądowe, oceniało skuteczność argumentów i proponowało uzasadnienia. Taki proces miał pozwolić dopracować pozew oraz przygotować się na potencjalne reakcje drugiej strony.

Czatboty pracowały w tej pętli przez jakiś czas: pisząc, odpowiadając i oceniając. To trwało do momentu, aż argumenty pierwszego czatbota udoskonaliły się tak bardzo, że drugi czatbot nie potrafił ich skutecznie obalać a trzeci czatbot przestał odrzucać pozew. Na każde dziesięć składanych odrzucał zero (10/0).

Pozywający wymyślili też, że urządzą swoiste zawody czatbotów, które będą ze sobą grały w ‚prawnicze szachy’. I w ten sposób poprawią jakość swojego pozwu a także swojego przygotowania do procesu sądowego.

Wzajemnie konkurowały ze sobą Claude Sonnet 3.5 firmy Anthropic oraz Gemini 1206 od Google, które użyte zostały by weryfikować wyniki pracy modelu o1-pro od OpenAI.

„Na końcu ocenialiśmy strategie obrony, które pozwani mogli przyjąć, spędzając dwa dni na symulacjach, w których modele konkurowały ze sobą niczym w partii szachów. Obserwowaliśmy, co zrobią „pozwani” generowani przez AI. Następnie podnieśliśmy poprzeczkę, używając modeli do celowego stosowania takich strategii jak „składanie nieuzasadnionych wniosków”, „grożenie powodom sankcjami”, „implikowanie jak największej liczby dodatkowych pozwanych”, „składanie licznych roszczeń”, „obwinianie się nawzajem” i tym podobne. Jeśli którakolwiek z tych strategii zostanie użyta, będziemy na to gotowi. – tłum. moje, ms.

Koniecznie trzeba dodać, że choć pozywający chcieli zaoszczędzić mnóstwo pieniędzy na poradzie prawnej, to czasu nie zaoszczędzili. Samodzielna praca z czatbotami i czytanie dokumentów prawnych zajęły pozywającym 220 godzin!

W sumie pozywający spodziewają się, że całe postępowanie, w kolejnych etapach procesu sądowego wygeneruje potrzebę pracy z czatbotami rzędu 1300 godzin, czyli pół roku pracy, po 8 godzin dziennie, każdego dnia. Tę liczbę godzin przewiduje sam czat o1-pro.

Mój komentarz: czatbot pomylił się szacując liczbę godzin potrzebnych do przygotowania samego pozwu i zaniżył ją znacznie. Oszacował ją na 160 godzin. Tymczasem potrzeba było 220 godzin. Z jednej strony więc można spodziewać się podobnego zaniżenia liczby godzin pracy w całym postępowaniu. Z drugiej jednak strony osoby obsługujące czata mogą się nauczyć nowej tematyki i pracy z czatbotem i będą wtedy pracować coraz szybciej.

Jakich promptów użyto do napisania i testowania pozwu sądowego?

Sokolowski w swoim wpisie nie podał dokładnej treści, ale napisał, że wyglądały „mniej więcej tak”. Tłumaczenie moje, ms.

Jesteś doświadczonym prawnikiem i obrońcą a to zadanie jest niezwykle ważne dla mojej kariery. Zastanów się nad wszystkimi możliwymi powodami do oddalenia tego pozwu, niezależnie od ich siły. Następnie napisz najbardziej wyczerpujący wniosek o oddalenie w imieniu pozwanego [wstaw imię każdego z pozwanych tutaj, trzy razy]. Przygotuj kompleksowy wniosek do złożenia w aktach i rozważenia przez sędziego

Jesteś sędzią federalnym. Oceń ten pozew oraz wniosek obrony o oddalenie. Przygotuj kompleksowe orzeczenie dotyczące tego, czy pozwolisz tej sprawie przejść do etapu dowodowego czy nie. Upewnij się, że wyjaśniasz logikę stojącą za każdą częścią swojej decyzji.

Co to za sprawa i czego dotyczy pozew?

W skrócie: to pozew związany z inwestycjami w kryptowaluty.

Pozywający twierdzą, że stracili oszczędności całego życia. Stephen i Christopher Sokolowscy wnieśli pozew przeciwko Digital Currency Group, Inc., zarzucając firmie podpisanie fałszywego weksla na kwotę 1,1 miliarda dolarów, co miało doprowadzić do upadłości spółki Genesis a przez to do strat finansowych. Domagają się 26 milionów dolarów, czyli zwrotu inwestycji oraz odszkodowania.

Steve Sokolowski napisał, że profesjonalne kancelarie prawne oszacowały koszt napisania pozwu na 800 tysięcy dolarów. Twierdzi, że to przerosło ich możliwości finansowe. W rezultacie bracia zdecydowali się na eksperymentalne wykorzystanie modelu językowego OpenAI, który pomógł w analizie dokumentów, analizie podobnych spraw i w przygotowaniu pozwu, co obejmowało także symulacje potencjalnych strategii obrony DCG.

Czy sztuczna inteligencja może zastąpić prawników i prawniczki?

Zajrzałem kilku eksperymentów naukowych badających to, na ile sztuczna inteligencja może zastąpić pracę ludzkich prawników. Generalnie badane są dwa rodzaje czatbotów: czatboty niewyspecjalizowane do porad prawnych oraz czatboty specjalnie zmodyfikowane pod kątem tematyki prawnej.

Jeśli chodzi o czatboty niewyspecjalizowane, ale mające olbrzymią wiedzę ogólną, to skuteczność ich porad prawnych spróbował zmierzyć eksperyment zatytułowany „(A)I Am Not a Lawyer, But…: Engaging Legal Experts towards Responsible LLM. Policies for Legal Advice„. Eksperyment polegał na zebraniu kilkudziesięciu przypadków prawnych różnego rodzaju. To były sprawy i pytania dotyczące prawa karnego, rodzinnego, kodeksu handlowego itd. Następnie czatbot udzielał odpowiedzi na pytania a odpowiedzi czatbota były oceniane przez kilkadziesiąt osób z dyplomem, uprawiających zawód prawniczy.

Oceniające osoby, ekspertki i eksperci docenili, że czatboty mają bardzo dużą wiedzę, ogólną wiedzę prawną. Czatboty nadają się do podawania definicji, opisywania procedur, przytaczania treści przepisów.
Jednocześnie oceniający zauważyli też problemy z wykorzystaniem czatbotów.

Jakie są słabe strony niewyspecjalizowanych czatbotów udzielających porad prawnych?

1. Sztuczna inteligencja nie wie, czego nie wie: panel ekspercki wskazał, że sztuczna inteligencja odpowiadała na pytania niewłaściwie zadawane, pytania mylące czy zawierające za mało informacji – takie, na które osoba z doświadczeniem prawniczym nie odpowiedziałaby i zażądałaby więcej informacji. Człowiek widzi opis problemu czy pytanie i od razu wie, czego brakuje w zadawanym pytaniu. Czatboty nie zawsze tak reagują – choć gdy pracują w ten sposób, pobierając od człowieka więcej informacji, to jakość porady ulega poprawie.
2. Nie ma doświadczenia praktycznego: porady sztucznej inteligencji dotyczące kwestii praktycznych, np. prognoza wyniku postępowania, porada dotycząca konkretnego posunięcia, to były informacje potencjalnie szkodliwe dla pytających.
3. Sztuczna inteligencja nie umie udzielać porad aktualnych: prawo w różnych stanach USA jest różne, poza tym prawo zmienia się w czasie – uchwalane są zmiany i wchodzą w życie precedensy. Porady sztucznej inteligencji niekiedy opierają się na informacjach nieaktualnych albo ogólnych i niedopasowanych do konkretnego przypadku.

Panel ekspercki sformułował dwie rady. Wg oceny eksperckiej czatboty świetnie nadają się do użycia na etapie wstępnym, pomagając zebrać wstępne informacje i lepiej przygotować się do spotkania z prawnikiem czy z prawniczką.

Jednocześnie panel zalecił, by czatboty w kontekście prawnym pracowały w sprzężeniu zwrotnym z osobą zadającą pytania – to znaczy, żeby same zadawały adekwatne pytania, zbierając potrzebne informacje o kontekście.

Mój komentarz: wydaje się, że sposób pisania pozwu sądowego przez braci Sokolowski mógł zwiększyć szansę na napisanie dobrego pozwu przez czatbota. Ich metoda uwzględnia problem niedopasowania porady prawnej do przypadku i uwzględnia problem nieaktualnych przepisów: użyli przecież materiałów z innych, podobnych pozwów, skierowanych wobec tej samej firmy. Metoda pracy ich czatbotów tak samo uwzględnia problem niewystarczających informacji – praca w pętli oraz na podstawie podobnych pozwów.

Co poprawia jakość pracy niewyspecjalizowanych czatbotów udzielających porad prawnych?

Taktyka pracy z czatbotami opisana w tej notce wydaje się właściwa również w kontekście kolejnej pracy „A Comprehensive Evaluation of Large Language Models on Legal Judgment Prediction”. Ta praca porównywała pracę różnych czatbotów (Large Language Models) w wydawaniu opinii prawnej na temat przypadku z dziedziny prawa karnego. Okazało się, że jakość pracy czatbotów znacznie się poprawia, jeśli:

• Czatbot dostaje jako kontekst podobne przypadki do oceny (few-shot prompting).
  
• Zamiast odpowiadać na pytania otwarte, czatbot odpowiada dokonując wyboru między podanymi opcjami odpowiedzi.

Ta druga metoda poprawiania jakości pracy czatbota nie była używana do pisania opisywanego pozwu Sokolowski et al vs Digital Currency Group. Jednocześnie autorzy tej pracy zauważają, że jakość odpowiedzi czatbotów w bardzo dużym stopniu zależy od jakości pytań i promptów. Czatboty opisane w tej pracy miały maksymalnie 74% trafność odpowiedzi na pytania prawne.

Na koniec warto przytoczyć wybrane wnioski z pracy Large Language Models in Law: A Survey. Według tej pracy:

• Efektywność: AI może skrócić czas analizy dokumentów prawnych o 40-60%. Ale jeśli obsługiwana jest przez osoby mające prawne przygotowanie czy wykształcenie. Wtedy skraca czas.
• Ograniczenia: modele mają trudności w interpretacji niuansów prawnych i mogą odzwierciedlać uprzedzenia zawarte w danych treningowych.
• Brak zdrowego rozsądku: modele językowe przetwarzają teksty i choć czasem już mają mechanizmy rozumowania, to w dalszym ciągu są oderwane od rzeczywistości i nie mają tzw. zdrowego rozsądku. W określonych sytuacjach brną w absurdy.

Sztuczna inteligencja jako element prawniczego marketingu.

Sprawy pod kątem zasadności roszczeń nie badałem, ale czysto teoretycznie widzę tu następujące możliwości.

1. Nagłośnienie tej sprawy może być korzystną i przemyślaną strategią prawną pozywających. Tu może chodzić o stworzenie nacisku na pozwaną firmę, o przysporzenie jej kłopotów wizerunkowych. Pozywający sami mogą nie wierzyć w sukces pozwu, ale mogą wierzyć w sukces skandalu i historii o tym, jak dwaj „amatorzy” użyli sztucznej inteligencji do napisania pozwu.
2. Na tym etapie nie da się powiedzieć, czy prowadzenie postępowania pod kierunkiem sztucznej inteligencji jest celem pozywających. Być może liczą też, że rozgłos wokół sprawy przyciągnie jakąś kancelarię prawną. I to ona wygra dla nich zwrot środków plus odszkodowanie.

Złośliwie i celnie sprawę podsumowuje artykuł prawniczy , który zauważa, że ten pozew i praca sztucznej inteligencji mogą być w 98,8% trafne. To dużo, prawda? Jednak właśnie tyle mamy wspólnych genów z szympansami. A szympansy nie mogą być prawnikami.

Niebawem sprawdzimy, czy jednak mogą.