Przeprowadziłem mini-test sprawności Bing czata i zadałem mu kilkadziesiąt pytań testowych z prawa karnego, prawa administracyjnego i ogólnej znajomości prawa. Na 38 pytań źle odpowiedział na 22 pytania. Pomylił się w niespełna 60% przypadków. Poniżej wyjaśnienie powodu tego wyniku oraz opinia dwóch prawniczek i jednego prawnika.

Czy „mecenas Bing” może jeszcze nie skończył studiów? W pewnym sensie o to chodzi.

Zapytałem samą sztuczną inteligencję – model GPT 3.5, co powinien „przeczytać” hipotetyczny model GPT, żeby móc dawać sensowne odpowiedzi na pytania prawne. Odpowiedział, że do takiej pracy potrzebowałby wchłonąć następujące teksty: 1. Wyroki, orzeczenia, rozstrzygnięcia, postanowienia. 2. Kodeksy, ustawy, statuty, regulaminy. 3. Ekspertyzy, analizy, artykuły z teorii prawa. 4. Umowy, kontrakty. 5. Wnioski, podania, pisma procesowe. 6. Wzory wszelkich wcześniejszych i formularze. 7. Podręczniki i poradniki z dziedzin prawa. Musiałby potem zostać wytrenowany przez ludzi, którzy rozumieją problematykę prawną.

Krótko mówiąc, „mecenas Bing” w pewnym sensie musiałby skończyć studia a polskich studiów jeszcze nie skończył.

Czy sztuczne inteligencje szybko mogą się przydać w zawodach prawniczych w Polsce? Jakie problemy muszą zostać rozwiązane, żeby sztuczna inteligencja mogła pomagać prawnikom i prawniczkom? Zapytałem 3 z wykształceniem prawniczym, pracujące w zawodzie.
Poniżej ich wypowiedzi, a jeśli chcecie skrótu, to zsumowany morał wypowiedzi byłby taki/TL; DR: 1. modele GPT przydadzą się w pracy kancelarii 2. nie odbiorą chleba specjalistom i specjalistkom 3. polskie prawo zawiera nieostre pojęcia w praktyce bardzo różnie interpretowane 4. spory między różnymi stronami postępowań są trudne do przewidzenia 5. sądy i inne organy władzy powinny najbardziej skorzystać z pomocy sztucznej inteligencji, bo są tak obciążone, że jakość ich pracy bywa niezadowalająca 6. bańka oczekiwań rośnie i niestety sprawdzimy w boju, jakie są skutki wprowadzenia modeli GPT na rynek prawny.

Radca prawny, dr Joanna Dziedzic-Bukowska, specjalistka od spraw dot. procesu inwestycyjno-budowlanego napisała mi:

Bardzo ciekawy temat i coraz bardziej na czasie. Sama zadaję sobie pytanie na ile w przyszłości zagraża mi (odbierze mi klientów) sztuczna inteligencja. I mam taką refleksję, że w mojej wąskiej dziedzinie, nie muszę obawiać się tak szybkiej i skutecznej konkurencji ze strony AI.

Wydaje mi się, że sztuczna inteligencja nie najlepiej będzie sobie radziła w sprawach, które regulowane są na podstawie przepisów, które nie są jednoznaczne. Chodzi głównie o takie sprawy, gdzie nie wystarczy zinterpretować jeden paragraf, nawet ten główny regulujący daną sytuację, a trzeba sięgnąć również do innych przepisów z danego aktu, aby właściwie (wyczerpująco) odkodować daną normę prawną. Druga sytuacja, to odwoływanie się w danym akcie do przepisów odrębnych. Nie wiem na ile AI będzie umiała sama skutecznie stwierdzić, które przepisy ustawy w danej sytuacji rzeczywiście dodatkowo trzeba wziąć pod uwagę. Specyfika spraw np. z procesu inwestycyjnego jest szczególna. Wystarczy inne ułożenie działki, trochę jej inne parametry i nasza sprawa okazuje się odmienna od tej niby podobnej. Moja wąska specjalizacja jest na pograniczu urbanistyki, która mocno wiąże się z oceną dochowania ładu przestrzennego, który jest ogólnie zdefiniowany, ale też jest pojęciem nieostrym i zarazem bardzo cennym. Wydaje mi się, że póki co to wymaga czynnika ludzkiego i pewnej refleksji.

W Warszawie była taka sprawa, gdzie sąd zablokował budowę osiedla, bo uznał, że była niezgodna z miejscowym planem. Sąd mógł to zrobić. Problem tylko w tym, że sam autor projektu planu uważał, że budowa była zgodna z planem. To może znaczyć, że uczestnicy procedur swobodnie czytają normy i przepisy, a jeśli tak je czytają ludzie (co ma ślad w dokumentach), to tak samo będzie je czytać potem model GPT. „From Sasa to forest”.

Adwokat Tymon Kulczycki, partner zarządzający w kancelarii Whitestone Legal powiedział mi:

Sztuczna inteligencja może odciążyć kancelarię w jej działaniach administracyjnych. Już widać, że przyda się, jeśli chodzi o komponowanie pism prawniczych, pism procesowych dowolnej złożoności czy stanowisk dowolnego typu i do tworzenia kontraktów. Inne aspekty to budowanie argumentacji procesowej czy negocjacyjnej.  Szerzej widzę zastosowanie dla modeli GPT do pisania aktów prawnych, które są dokumentami mocno stypizowanymi oraz do tzw. analiz skutków społecznych regulacji (OSR). Jednak największą potrzebę zastosowania widziałbym we wspieraniu tworzenia decyzji administracyjnych i wyroków sądowych. Wyroki sądów powszechnych w Polsce zbyt często są niezadowalającej jakości. „Standardem rynkowym” jest ogromny wyrok składający się z 99% przeklejonego tekstu i tylko 1% opisującego tę konkretną sprawę. To jest absolutny dramat. Mam przykład najdłużej aresztowanego w tym kraju człowieka, który jest moim klientem i spędził w areszcie 6,5 roku. To był areszt międzyinstancyjny na mocy wyroku sądu I instancji, w którym to wyroku sąd nie opisuje czynów, które popełnił mój klient, ale kogoś innego (sic!).

Joanna Kruk-Kubarska, prawnik wewnętrzny w międzynarodowej firmie w Szwajcarii nie uważa, żeby słaba znajomość przepisów była tym najważniejszym powodem, dla którego sztuczna inteligencja nie zagrozi ludziom.

Fundamentalna zasada pracy prawnika, to „mieć głowę w przepisach, nie przepisy w głowie.” Oznacza to, że praca nie polega po prostu na znajomości przepisów (choć oczywiście trzeba się w nich płynnie poruszać), lecz na umiejętności ich trafnego zinterpretowania w danej sytuacji. Do tego potrzeba oczytania, wiedzy o procesach gospodarczych, społecznych i politycznych, o kulturze, o życiu rodzinnym… słowem, doświadczenia życiowego trzeba. AI może być wykorzystywana np. do oceny ryzyka postanowień umownych. Na razie AI dostępne na rynku mogą pracować na podstawie nagromadzonego przez firmę dorobku rozwiązań umownych oraz na podstawie tzw. polityk, czyli wewnętrznych przepisów i procedur firmy. Jednak na ryzyko umowy wpływa też wielkość obrotu gospodarczego z danym partnerem, historia współpracy, okres trwania umowy, kultura prawną kraju, w którym działa druga strona umowy, prawo rządzące umową, tło due diligence (sankcje, stosunki właścicielskie, karalność, etc.), sytuacja finansowa drugiej strony, itd. itd. Oczywiście nie wykluczam, że AI nauczy się trafnie uwzględniać wszystkie stosowne parametry, jednak dziś jeszcze nie miałabym śmiałości przekazać przygotowania i wynegocjowania umowy algorytmowi. Inna rzecz: prawnik ponosi odpowiedzialność za podejmowane decyzje, czy to cywilną (pokrytą ubezpieczeniem), czy w niektórych przypadkach karną. Na razie nie wiadomo, komu należałoby przypisać odpowiedzialność za decyzje podejmowane przez lub z wykorzystaniem AI. Otwarta pozostaje też kwestia tajemnicy adwokackiej, poufności negocjacji, poufności arbitrażu (czy wszystko chcemy opowiedzieć AI?). Na razie niewiadomych jest bez liku, jednak zainteresowanie wykorzystaniem AI jest tak silne, że bez wątpienia znajdziemy się w sytuacji „rozpoznania bojem,” niestety obarczonej potencjalnie kosztownymi ryzykami, których nie potrafimy dziś przewidzieć. W istocie, już tam jesteśmy.

W tej chwili niektóre, wielkie firmy prawnicze zamawiają skrojone dla siebie modele GPT, produkty dla nich tylko.
Czy powstaną też wersje szerzej dostępne? Jak zareagują firmy prawnicze, jeśli personel na własną rękę będzie korzystać z modeli GPT, żeby skrócić czas wykonywania zadań kancelaryjnych (karmiąc model GPT informacjami poufnymi)? Jak zareagują firmy-dostawcy tych modeli GPT? Czy wprowadzą specjalne klauzule, abonamenty? Czy któryś z gigantów (OpenAI, Bing, Google) zainwestuje w kupno praw autorskich do wielkich liczby tekstów prawniczych, niezbędnych do zaimportowania do modelu GPT, żeby poprawić jakość odpowiedzi sztucznej inteligencji na pytania prawne?

Zwykli ludzie chętniej niż firmy prawnicze będą korzystać z modeli GPT, jeśli będą one w stanie realnie pomóc w wykonaniu najprostszych czynności prawnych. Cena niektórych usług prawnych zapewne spadnie. W tej chwili, nie zachęcałbym do pokładania zbyt dużej ufności w porady „mecenasa GPT” po polsku.