TL;DR – Praca naukowa zespołu z MIT i Cornell University wskazuje, że argumentacja czata GPT4 w stosunku do teorii spiskowych wyraźnie i trwale obniża poziom pewności przekonań u osób wyznających takie teorie. Krótko mówiąc, czat GPT4 potrafi zachwiać przekonaniami, które podobno są bardzo trudne do zmiany. Praca nazywa się „Durably reducing conspiracy beliefs through dialogues with AI”. Inny eksperyment z wykorzystaniem Dużego Modelu Jezykowego wykazał, że analiza sentymentu skutecznie wykrywa treści spiskowe w tekstach, gdyż treści te wiążą się z charakterystyczną dystrybucją emocji w tekście.

Co sprawiło, że czat GPT4 dobrze radzi sobie z zadaniem obalania czy osłabiania przekonań spiskowych? I jak to zostało zmierzone?

We wstępie do pracy zespół badawczy pisze tak:

Uznane teorie psychologiczne głoszą, że przekonania spiskowe są wyjątkowo odporne na wpływ dowodów, ponieważ zaspokajają ważne potrzeby i motywacje. W tej pracy podnosimy argument, że poprzednie próby zmiany przekonań spiskowych mogły być nieskuteczne, bo nie udawało się zaprezentować dowodów, które byłyby dopasowane do indywidualnie wyznawanej teorii spiskowej (a takie teorie różnią znacznie u różnych osób). [tłum. moje – ms]

ps://doi.org/10.31234/osf.io/xcwdn

A zatem elastyczność czata GPT-4 w rozmowie, zdaniem zespołu badawczego, mogła być większa niż ludzi. Co dokładnie się wydarzyło i jak było mierzone?

W panelu badawczym wytypowano ponad 2 tysiące osób wyznających teorie spiskowe. Rozpoznania teorii i typowania osób do badania dokonywał zespół badawczy. Następnie wytypowane osoby zostały poproszone o opisanie swoich poglądów. W kolejnym kroku czat streszczał ich poglądy i rozpoczynał się dialog. Użyto czata w wersji GPT-4 Turbo a czat wprost dostał zadanie obniżenia poziomu zaufania wobec danej teorii. U wszystkich osób liczba interakcji z czatem była taka sama.

Okazało się, że ten automatyczny ‚debunking’ teorii spiskowych wywołał średnio 20% spadek poziomu pewności przekonań i ten efekt utrzymywał się po powtórnym zmierzeniu dwa miesiące później. Ten wynik obejmuje zarówno osoby bardzo mocno przekonane do teorii spiskowej, jak i osoby słabiej przekonane.

Rozkład skuteczności perswazji czata przypomina literę U, gdzie środek oznacza osoby średnio przekonane do swojej teorii a słabo przekonane i mocno przekonane znajdują się po obydwu bokach. To właśnie osoby w umiarkowanym stopniu przekonane były najbardziej podatne na perswazję.

Jak konkretnie wyglądał kontakt osób badanych z czatem GPT-4? Przykładową rozmowę z badania zamieszczam poniżej w skrócie:

1. Osoba badana wyraża swój pogląd i mówi, że zamachy z 11 września 2001 były dziełem amerykańskiego rządu, bo jeden budynek się zawalił a w niego nie uderzył żaden samolot oraz prezydent Bush został sfilmowany na spotkaniu z dziećmi, gdy dostaje informację o ataku i nie ruszył się wtedy.
2. Czat dokonuje podsumowania teorii spiskowej i potwierdza z osobą badaną, czy trafnie podsumował jej poglądy.
3. Następnie czat wyraża przekonanie, że poglądy, które wyznaje osoba są zrozumiałe i logiczne, ale istnieje inne wyjaśnienie („Thank you for sharing your thoughts and concerns. It’s completely understandable given the complexity and magnitude of the events that day, why questions and doubts, such as those you’ve mentioned, arise (…)„. Przedstawia argumentację i wyjaśnia, czemu trzeci budynek zawalił się oraz czemu prezydent Bush na początku nie zareagował.
4. Osoba badana reaguje i przywołuje kolejne informacje o saperach, którzy rzekomo wysadzali piętra w wieżowcach, czego dowodzą słyszane huki oraz to, że temperatura spalania paliwa lotniczego jest niższa od temperatury w jakiej topnieje stal więc pożar nie mógł spowodować zawalenia się wieżowców zbudowanych ze stali.
5. Czat odwołuje się do wszystkich kwestii: huki jako efekt zawalania się kolejnych pięter, topnienie stali to jedno a utrata przez stal siły nośnej to drugie.
6. Osoba badana znowu reaguje i przywołuje kwestię pilotów-samobójców oraz tego, jak łatwo przeszli szkolenie oraz dostali samoloty.
7. Czat znowu wyjaśnia.
8. Osoba badana dziękuję za wyjaśnienia (!).
9. Czat w tym miejscu przywołuje streszczenie poglądów tej osoby – to z początku rozmowy – i pyta: „On a scale from 0% to 100%, please indicate your level of confidence that this statement is true„.
10. Osoba badana odpowiedziała: 40%.

Jakich metod perswazji używał czat? To zostało opisane i zbadane. Przede wszystkim czat odwoływał się do argumentów racjonalnych – dowody, wyjaśnienia, niespójności. Nieco rzadziej czat używał zwrotów budujących porozumienie (rapport-building), które polegały na wyrażeniu szacunku, zrozumienia oraz na wskazywaniu tego, w czym się zgadzamy. Najrzadziej czat używał technik retorycznych oraz psychologicznych.

W wielu krajach połowa populacji lub więcej wierzy w jakieś teorie spiskowe. W Polsce, wg badania z 2023 roku, wiarę w spiski, w latach 2014-2023, deklarowało między 37% a 45 % badanych. W przypadku tego, amerykańskiego badania skuteczności czata GPT-4, znacznie więcej, bo 75% badanych wyznawało teorie spiskowe. Wśród pozostałych 25% około 10% nie zostało zakwalifikowanych do badania z powodu niewystarczająco silnego poziomu przekonania w wyznawaną teorię spiskową, ale nie z powodu niewyznawania takiej teorii. Zatem 75% to ludzie wyznający teorie spiskowe z listy 15 najpopularniejszych teorii spiskowych, jednocześnie na skali od 0% do 100%, sami określający poziom swojego przekonania na powyżej 50%.

Do tej pory uważano, że bardzo trudno przekonuje się osoby, które wyznają teorie spiskowe, bo takie teorie nie są ani oparte na logice, ani na faktach więc ciężko znaleźć język porozumienia z taką osobą. Innym, być może ważniejszym powodem jest to, że podatność na teorie spiskowe tłumaczona jest w związku z pewnymi cechami osobowości. Do wyznawania teorii spiskowych szczególnie mocno predestynuje występowanie w osobowości tzw. mrocznej triady: czyli narcyzmu („patrzcie na mnie”), psychopatii („nie dbam o uczucia innych”) i makiawelizmu („manipuluję innymi”). Oczywiście, należy pamiętać, że te cechy występują w różnym natężeniu. Wyznawanie teorii spiskowych związane też bywa z poglądami populistycznymi („moralny lud kontra skorumpowane elity”, skłonnością do prostych rozwiązań) i z akceptacją przemocy („czasem przemoc jest jedynym rozwiązaniem”), ale także z ogólną lękliwością (trait anxiety), niższym poziomem edukacji, brakiem poczucia kontroli.

Inne teorie tłumaczą w bardziej socjologiczny sposób podatność na teorie spiskowe: taka podatność wiązałaby się negatywnymi emocjami oraz motywacjami leżącymi u podstaw konfliktu społecznego (intergroup conflict). Teoria spiskowa w tym ujęciu jest wyrazem konfliktu między grupami społecznymi. To nieco inne podejście do tematu nie zmienia tego, że teoria spiskowa jako pogląd warunkowany, byłaby bardzo trudna do zmiany bez zmiany warunków.

Należy rozgraniczyć dwa problemy: (1) szczególną i zwiększoną podatność na wyjaśnienia spiskowe (2) przygodną ekspozycję na teorie spiskowe oraz wyznawanie takich teorii bez jednoczesnej zwiększonej podatności.

Wiele osób skłonnych jest przyznać, że wyjaśnienie jakiegoś zdarzenia czy nawet zjawiska jest inne niż oficjalnie podane. O kim więc można powiedzieć, że wyznaje teorie spiskowe i jest osobą podatną na spiskowe myślenie? Z reguły bada się to tak, że przedstawia się ludziom listę stwierdzeń a ludzie mają powiedzieć, w jakim stopniu zgadzają się z tymi stwierdzeniami. W innym badaniu znalazłem tę listę czterech stwierdzeń, wykrywających postawę spiskową:

Określ na skali, czy mocno się nie zgadzasz z danym twierdzeniem (1), czy mocno zgadzasz (5):
– W naszym życiu sporo rzeczy jest pod kontrolą spisków zawiązanych w tajemniczych miejscach.
– Nawet jeśli żyjemy w demokracji, to całością i tak rządzi kilka osób.
– Osoby, które naprawdę rządzą państwem nie są znane wyborcom.
– Wielkie zdarzenia, takie jak wojny, recesja czy wyniki wyborów są pod kontrolą małych grup ludzi, które w tajemnicy działają przeciw nam.

Średnia odpowiedzi powyżej 3 oznacza spiskowe myślenie.

Badanie nie dotykało kwestii odwrotnej – czyli tego, czy czat GPT-4 lub inny duży model językowy (LLM) mógłby służyć do rozpowszechniania i umacniania wiary w teorie spiskowe.

Natomiast zupełnie inny, brytyjski eksperyment pokazał, że można zbudować wyspecjalizowany model językowy, skutecznie wykrywający i klasyfikujący spiskowe narracje. To badanie „ConspEmoLLM: Conspiracy Theory Detection Using an Emotion-Based Large Language Model„. Specjalizacja polegała na dodatkowym wytrenowaniu modelu językowego EmoLLaMA-chat-7b. Użyto 2 kart Nvidia Tesla A100 GPU (każda 80GB RAM).

Do stworzenia dodatkowych instrukcji użyto danych nazwanych żartobliwie COCO oraz LOCO, co odpowiadało treściom znajdującym się tych zbiorach danych. Skrót COCO oznaczał „COVID-19 conspiracy theories” i zawierał tweety rozpowszechniające teorie spiskowe, zgromadzone w ramach bazy danych „MediaEval Fake News”. Skrót LOCO oznaczał „The Language of Conspiracy” – tu znajdowały się pobrane z internetu dokumenty zawierające 88 milionów słów: narracje dotyczące strzelaniny w Sandy Hook oraz pandemii koronawirusa.

Wykrywanie teorii spiskowych zasadniczo polega na wykrywaniu emocji w tekście, bo jak się okazało, tweety oraz teksty rozpowszechniające teorie spiskowe mają specyficzne zabarwienie emocjonalne. Kluczowe emocje to gniew oraz strach, które obecne są w dużym natężeniu (częstość i zabarwienie emocjonalne). Specyficzne są jednak także proporcje w jakich obecne są inne emocje, jak smutek czy radość. Specyficzny jest też zupełny brak emocji miłości oraz zaufania. W przypadku takiej automatycznej detekcji algorytm ma tę przewagę nad ludźmi, że wykrywa drobne zmiany oraz wzory a jak się okazuje teorie spiskowe po angielsku mają charakterystyczne sygnatury emocjonalne.

Zauważmy, jak ciekawie wnioski z obu eksperymentów wiążą się. Mamy więc z jednej strony nietypowy, charakterystyczny rozkład emocji oraz ich natężenie w tekstach spiskowych a z drugiej strony hipotezy na temat motywów dla których ludzie przyjmują teorie spiskowe oraz odporności tych poglądów na argumentację. Jednocześnie wiele wskazuje, że LLM-y są w stanie i zmieniać, i wykrywać stany emocjonalne.

Czytelnia:
Belief in conspiracy theories: Basic principles of an emerging research domain – PMC (nih.gov)
The psychological and political correlates of conspiracy theory beliefs | Scientific Reports (nature.com)
https://ism.uj.edu.pl/documents/3337228/147938651/Narracje+spiskowe+2/5c38dbdc-70e6-49bb-8082-7ac406bbef24
ConspEmoLLM: Conspiracy Theory Detection Using an Emotion-Based Large Language Model