Co faktycznie odgadła sztuczna inteligencja? Pomysłowy eksperyment medyczny dał nadzieję osobom, które nie mogą się porozumiewać z otoczeniem. Jednocześnie też pokazał, że w przyszłości może powstać groźne narzędzie czytania myśli. O tym niżej.

W piśmie Nature ukazała się głośna praca, której tytuł po polsku brzmiałby tak: „Semantyczna rekonstrukcja ciągłego języka na podstawie nieinwazyjnych zapisów mózgu”. Czyli na podstawie zapisów pracy mózgu oraz na podstawie znajomości języka, algorytmy zaproponowały zdania – przeczytały zdania i myśli. Mówiąc precyzyjnie, analiza obrazów pracy mózgu, przepływów krwi, pozwoliła w pewnym zakresie odczytać zdania, które ludzie słyszeli. Pozwoliła też odczytać obrazy, które widzieli oraz odczytać historyjki, które pomyśleli.

Trzem badanym osobom puszczono 16 godzin podcastów (miały nie być nudne!). Jednocześnie mózgi w trakcie słuchania przez cały czas były badane (nieinwazyjną) techniką funkcjonalnego rezonansu magnetycznego. Obrazy aktywności mózgu w trakcie słuchania zostały poddane analizie przez sztuczną inteligencję – językowe modele GPT i została ona na nich wytrenowana. Można powiedzieć, że nauczyła się ona, jak pracują mózgi tych konkretnych ludzi słuchających nagrań.
Po tym treningu badani wysłuchali po jeszcze jednego nagrania z opowiadaniem liczącym ponad 1800 słów a dekodery (GPT) miały odczytać na podstawie pracy mózgu, jakie zdania usłyszeli ludzie.

Skuteczność dekodowania myśli sięgnęła ponad 80%. Przykładowe zdania puszczone i dekodowane wyglądały mniej więcej tak (zdania opublikowane bez znaków interpunkcyjnych):

Oryginał
Nie wiedziałam czy krzyczeć czy uciekać ale zamiast tego powiedziałam mu żeby mnie zostawił nie potrzebuję twojej pomocy Adam poszedł a ja sama sprzątałam płacząc.

Odczytane z pracy mózgu
Zaczęłam krzyczeć i płakać i wtedy ona powiedziała mówiłam ci zostaw mnie nie krzywdź mnie więcej przepraszam a on wybiegł myślałam że odszedł i zaczęłam płakać

Oryginał
wstałem z dmuchanego materaca i oparłem głowę o szybę okna w sypialni spodziewałem się zobaczyć odbicie oczu ale zamiast nich była tylko ciemność

Odczytane z pracy mózgu
Po prostu podszedłem bliżej okna uchyliłem szybę stojąc na palcach wyjrzałem na zewnątrz niczego nie widząc spojrzałem raz jeszcze ale nic było widać

Badanym także pokazano obrazy i filmiki wideo a sztuczna inteligencja miała na podstawie zapisów pracy mózgu odgadnąć, co zobaczyli ludzie. Badanych ludzi poproszono również, żeby wyobrazili sobie 1 minutowe historyjki, podczas wyobrażania tych historyjek ich mózgi również były obrazowane. Potem porównano opis historyjek oraz to, co odgadła sztuczna inteligencja. Skuteczność odgadywania była porównywalnie wysoka jak w przykładach wyżej.

Czy wyniki tego eksperymentu mogą posłużyć do odczytywania zapisów pracy mózgu innych ludzi? Czy można próbować ukryć swoje myśli przed odczytaniem wg tej techniki?
To również sprawdzono. Algorytmy spróbowały odczytać zapisy pracy mózgu siedmiu innych osób, których pracy mózgu nie analizowano wcześniej. Potem podstawową trójkę uczestników eksperymentu poproszono, by słuchali nagrań raz jeszcze, ale spróbowali opierać się odczytaniu pracy mózgu poprzez: jednoczesne dodawanie w myśli liczby 7 (7, 14, 28 itd), poprzez wyobrażanie sobie zwierząt i powtarzanie ich nazw, poprzez opowiadanie sobie w myśli innej historii niż ta słuchana. Okazało się, że w tych sytuacjach algorytmy przestały skutecznie odgadywać znaczenie obrazów mózgu. Bez wcześniejszego wytrenowania na zapisie pracy mózgu konkretnej osoby czytanie myśli nie działało. Dało się też uniemożliwić odczyt, poprzez tworzenie swoistego mentalnego hałasu w głowie.

Technologia użyta w tym eksperymencie czeka na opatentowanie przez dwie osoby z tego zespołu badawczego.
„Semantic reconstruction of continuous language from non-invasive brain recordings” – Jerry Tang, Amanda LeBel , Shailee Jain, Alexander G. Huth.
https://doi.org/10.1038/s41593-023-01304-9