TL;DR – Darmowy, dostępny w sieci duży model językowy FLAN-T5 po relatywnie prostym wytrenowaniu skutecznie rozpoznawał kłamstwa w tekście. To pokazuje zarówno szanse jak i ryzyka, bo oznacza, że nie potrzeba drogiej i skomplikowanej technologii, by wykrywać kłamstwa albo tworzyć trudniej wykrywalne kłamstwa. Poniżej opisuję, jakie cechy kłamstwa pozwoliły sztucznej inteligencji skutecznie je wykrywać. Praca naukowa opublikowana w piśmie Nature Verbal lie detection using Large Language Models | Scientific Reports (nature.com)

W badaniu użyto powszechnie dostępnego i darmowego modelu językowego o nazwie FLAN-T5, opracowanego przez przez firmę Google. Zespół badawczy zmodyfikował go (fine-tuning), używając do tego trzech zestawów tekstów, które były prawdziwe lub kłamliwe – wszystkie zostały napisane przez ludzi, którzy dostawali instrukcję pisania prawdy lub nieprawdy. Teksty były trzech rodzajów: osobiste opinie, osobiste wspomnienia oraz deklaracje intencji.

Kłamliwe opinie FLAN-T5 wykrywał ze skutecznością na poziomie 93%. Kłamliwe wspomnienia były wykrywane ze skutecznością na poziomie 75%. Najtrudniejsza kategoria to kłamliwe deklaracje intencji – 69% (chcę coś zrobić lub nie chcę). 

Im dłuższy był tekst oraz im większy jest model, tym lepsza skuteczność w wykrywaniu kłamstwa.

FLAN-T5 był w stanie klasyfikować prawdziwość tych względnie krótkich tekstów z dużą dokładnością, przewyższającą poprzednie metody oparte na uczeniu maszynowym i głębokim uczeniu. Zespół badawczy stwierdził również, że model w detekcji wykorzystywał cechy językowe opisane w psychologicznych teoriach oszustwa:

● Dystansowanie się: kłamiący mają tendencję do unikania osobowych zaimków (np. ja, my) i używania bardziej bezosobowych wyrażeń (np. ktoś, ludzie), aby zdystansować się od swoich wypowiedzi i zmniejszyć swoją odpowiedzialność.
● Obciążenie poznawcze: kłamiący doświadczają większego obciążenia poznawczego niż osoby mówiące prawdę, ponieważ muszą wymyślać i utrzymywać swoje kłamstwa. To prowadzi ich do używania prostszych i krótszych zdań, z mniejszą ilością szczegółów i na większym poziomie ogólności.
● Monitorowanie rzeczywistości: kłamiący muszą polegać na swojej wyobraźni, aby stworzyć swoje historie, podczas gdy osoby mówiące prawdę muszą przypominać sobie rzeczywiste doświadczenia. Skutkuje to różnymi poziomami szczegółowości (czas, miejsce i emocje). Kłamiący mają tendencję do dostarczania mniej informacji sensorycznych i kontekstowych niż osoby mówiące prawdę, ponieważ są mniej skłonni pamiętać lub wymyślać takie szczegóły.
● Weryfikowalność: kłamiący zdają sobie sprawę, że ich wypowiedzi mogą być sprawdzone pod kątem dokładności więc starają się unikać składania fałszywych twierdzeń. Dlatego używają więcej stwierdzeń subiektywnych, niejasnych lub niemożliwych do zweryfikowania a mniej stwierdzeń obiektywnych, konkretnych lub łatwych do zweryfikowania.

Zgodnie z literaturą psychologiczną, oszustwo jest procesem wymagającym dużej aktywności poznawczej, który wymaga od kłamców manipulowania informacjami, monitorowania własnego zachowania i radzenia sobie z emocjonalnymi konsekwencjami kłamstwa. To wszystko sprawia, że kłamstwo ma zauważalne cechy.

FLAN-T5 był w stanie uchwycić te językowe cechy i wykorzystać je do rozróżniania między prawdziwymi a zwodniczymi opowiadaniami, jak pokazała analiza jego prognoz oraz sposobu pracy (analiza wag).

Wykrywanie kłamstw w tekstach jest oparte na schematach, których analiza może posłużyć do tworzenia skutecznych narzędzi wykrywania jak i narzędzi do tworzenia kłamstw i dezinformacji. Oto przykładowe dziedziny zastosowań tej technologii detekcji:

● Zwalczanie przestępstw: pomoc w prowadzeniu śledztw, przesłuchiwaniu podejrzanych i świadków oraz ocenie zeznań i dowodów.
● Biznes i finanse: wykrywanie kłamstw słownych może pomóc firmom i instytucjom finansowym w wykrywaniu oszustw, korupcji i niewłaściwych zachowań, a także w weryfikowaniu kontraktów, transakcji i raportów. Wykrywanie kłamstw słownych może także pomagać klientom i inwestorom w ocenie wiarygodności i reputacji firm oraz produktów.
● Edukacja i badania: wykrywanie kłamstw słownych może pomagać edukatorom i badaczom w ocenie jakości i oryginalności prac akademickich, takich jak eseje, prace i dysertacje. Wykrywanie kłamstw słownych może także pomagać osobom uczącym się i kadrze naukowej w doskonaleniu umiejętności pisania i myślenia krytycznego.
● Zdrowie i psychologia: wykrywanie kłamstw słownych może pomagać profesjonalistom z dziedziny zdrowia i psychologii w diagnozowaniu i leczeniu zaburzeń psychicznych i fizycznych, takich jak depresja, lęk i uzależnienia. Wykrywanie kłamstw słownych może także pomagać pacjentom i klientom w wyrażaniu swoich uczuć i potrzeb oraz budowaniu zaufania i relacji z terapeutami i doradcami.
● Społeczne i osobiste: wykrywanie kłamstw słownych może także pomagać użytkownikom w wykrywaniu i unikaniu oszustw, phishingu i cyberprzemocy.

W tym badaniu model został nauczony wykrywania kłamstw w języku angielskim. Z uwagi na omylność tej technologii oraz podatność na manipulację, jej użycie nie mogłoby polegać na automatyzmie decyzji, ale na ostrzeganiu i uruchomieniu dodatkowej procedury sprawdzającej. Kłamiący w końcu też mogą nauczyć się zasad stylometrii (pomiar stylu wypowiedzi).

Na podstawie:
Verbal lie detection using Large Language Models | Scientific Reports (nature.com)
What is FLAN-T5? Is FLAN-T5 a better alternative to GPT-3? | Exemplary AI
The Practical Guide to LLMs: Flan-T5 | by Georgian | Georgian Impact Blog | Medium

Przy pisaniu tekstu na wczesnym etapie używałem Microsoft Copilot oraz Chat GPT-4