Na wideo poniżej, po prawej macie to, co ludzie widzieli a po lewej to, co sztuczna inteligencja odczytała z ich mózgów. Efekt nie jest doskonały, ale warto wziąć trzy rzeczy pod poprawkę: 1. obraz pokazywano ludziom przez zaledwie sekundę. 2. sztuczna inteligencja zaglądała do mózgu w czasie rzeczywistym a więc to nie jest efekt długich obliczeń 3. istnieją wolniejsze metody podglądania pracy mózgu, które na obecną chwilę dają ok x2 bardziej dokładne rezultaty.

Ukazała się kolejna praca naukowa pokazująca, jak algorytmy sztucznej inteligencji mogą analizować pracę ludzkiego mózgu i w rezultacie pozwalają odczytać myśli – słowa lub obrazy. Firma Meta opublikowała wyniki eksperymentu naukowego, który pokazał, jak na podstawie obrazowania techniką magnetoencefalografii (MEG) sztuczna inteligencja odgaduje czy też przewiduje, co mózg widzi lub wyobraża sobie i co mózg słyszy lub mówi. Upraszczając: to jest takie badanie, gdzie głową wjeżdżamy do maszyny, która skanuje nam mózg badając zmiany pola magnetycznego, wywoływane pracą neuronów w mózgu.

Podobną skuteczność miało odgadywanie słów w tym eksperymencie, bo algorytmy na podstawie pracy mózgu również odgadywały słowa. Generalnie odgadywanie mowy kształtowało się na poziomie max 41% materiału, ale u niektórych osób dochodziło do 80%! W tych przypadkach sztuczna inteligencja dekodowała z fal mózgowych słowa i zwroty, których nie było w podstawowym materiale treningowym. Oto cytat z pracy:

The results show that our model can identify, from 3 seconds of magneto-encephalography signals, the corresponding speech segment with up to 41% accuracy out of more than 1,000 distinct possibilities on average across participants, and with up to 80% in the best participants—a performance that allows the decoding of words and phrases absent from the training set

https://www.nature.com/articles/s42256-023-00714-5

Celem badania jest rozwój technologii, która ma precyzyjnie odgadywać słowa oraz myśli i dzięki temu posłuży do komunikacji z osobami niezdolnymi do porozumiewania. Odpowiemy sobie również na pytanie, czy dana osoba w tzw. śpiączce nas słyszy i czy coś rozumie.

W tej chwili dużo większą skuteczność ma podobna technologia odgadywania słów i obrazów, ale na podstawie obrazowania fMRI czyli funkcjonalnego rezonansu magnetycznego. To obrazowanie, które pokazuje przepływy krwi w obszarach mózgu. Technologia fMRI jest wolniejsza niż MEG, bo pozwala na generowanie jednego obrazu na ok 2 sekundy. MEG tymczasem nie tylko pozwala dużo bardziej precyzyjnie zlokalizować pracujące obszary mózgu, ale pracuje z dużo mniejszym opóźnieniem, mierzonym w milisekundach (tu porównanie technologii). Zobaczcie, jak precyzyjnie algorytmy odgadują obrazy na podstawie pracy mózgu obserwowanej w fMRI.

Tego rodzaju eksperymenty z reguły polegają na tym, że bierze się niewielką grupę ochotniczek i ochotników i bada specjalnym aparatem zaglądającym do mózgu – na przykład: rezonans magnetyczny MRI, funkcjonalny rezonans magnetyczny fMRI albo magnetoencefalografia MEG. W trakcie takiego badania ludziom pokazuje się setki lub tysiące obrazów oraz puszcza nagrania tysięcy słów, dzięki czemu obraz pracy mózgu zaczyna zdradzać, jak mózg tej konkretnej osoby pracuje, słysząc konkretne słowa lub widząc konkretne obrazy. Potem algorytmy dostają materiał do nauki i na podstawie nagranej pracy mózgu uczą się odgadywać, co mózg widzi lub słyszy.

W marcu 2023 w Naturze ukazała się podobna praca naukowa, która pokazywała skuteczność techniki funkcjonalnego rezonansu magnetycznego (fMRI),gdzie obrazy przepływu krwi w mózgu pozwalały nauczonym algorytmom odgadnąć słowa i obrazy przetwarzane przez mózg konkretnej osoby. Pisałem o tym na blogu tutaj <—.

Z uwagi na opóźnienie pomiaru w technologii fMRI nie przyda się ona, gdy chodzi o stworzenie urządzeń do płynnej komunikacji z osobami niemogącymi mówić. Funkcjonalny rezonans magnetyczny w tej chwili pozwala algorytmom skuteczniej odgadywać słowa i myśli, ale może się okazać, że zastąpi go precyzyjna technologia MEG, pracująca znacznie szybciej.