Za pierwszym razem raczej tego nie zrozumiecie, ale potem już tak. Choć tylko, jeśli dodałbym do tego kolorowe kropki i kilkanaście przykładów. Już wyjaśniam.

Praca opublikowana w Nature mówi, że niezbyt duża sieć neuronowa (w architekturze transfomer) jest w stanie nauczyć się prostych reguł gramatyki fikcyjnego języka. Czyli teoretycznie, zamiast czata GPT-4, który do budowy zdań używa zaawansowanej statystyki i liczbowej analizy języka, w przyszłości możemy mieć, dajmy na to czata GPT-ileś tam, który będzie nauczony gramatyk oraz statystyki i w ten sposób będzie tworzył zdania, ale też dzięki niej rozumiał zdania w kolejny sposób. Konsekwencje są oczywiście szersze, ale upraszczam tu na potrzeby krótkiego wpisu.

Problem polega na tym, że współczesne duże modele językowe są matematycznymi modelami związków między słowami i w ten sposób odtwarzają reguły języka. Gdyby natomiast umiały uczyć się na odwrót, czyli najpierw reguły a potem język i słowa, to uzyskalibyśmy maszynę, która uczy się w sposób bardziej podobny do ludzkiego. To byłyby też maszyny zdolne do nauki na dużo mniejszej liczbie przykładów – choć w dalszym ciągu wymagałyby specyficznego trenowania.

Poniżej mamy taką instrukcję czegoś, co można by nazwać fikcyjnym językiem. W zależności od użytych słów (np. dax, wif, lug, zup), które w zestawach tworzą instrukcje, otrzymujemy inne kombinacje kolorowych kropek. Sens zabawy jest taki, żeby odgadnąć, jak na podstawie zasad pokazanych na górze, odgadnąć właściwe zestawy kropek na dole. Czyli dedukujemy reguły zabawy. Ludzie zasadniczo robią na w 80% skutecznie. Uczona sieć neuronowa również. Nieuczony czat GPT-4, który jest znacznie większy od tej sieci, robi w 58% skutecznie. Trochę to przypomina zasady gry Mastermind.

Wcześniej sieć została nauczona rozpoznawania reguł na innych, podobnie wymyślonych zestawach zasad. Ten proces powtórzono 100 tysięcy razy i dopiero potem, nauczona innych reguł pracy sieć otrzymała 14 testowych zadań, których wyniki porównano ze skutecznością ludzi. Różne, ale podobne reguły -> reguły testowe.

Różnice potencjału ludzkich sieci neuronowych i sztucznych sieci są niekiedy trudne do uchwycenia. Ludzki potencjał intelektualny jest przecież efektem ewolucji a zatem trudno porównywać liczbę 100 tysięcy jednostek treningowych tej konkretnej sieci do ludzkich zdolności, dalece przekraczających zakres tego zdania.

Np. Teoria gramatyki uniwersalnej mówi, że ludzie rodzą się z umiejętnością uczenia gramatyki (lub gramatyk różnych języków) a także z umiejętnością wykrywania zasad komponowania rozmaitych elementów. Ta wrodzona umiejętność została ewolucyjnie wytworzona również w wielu cyklach, gdzie dobór naturalny preferował osobniki coraz lepiej i coraz szybciej uczące się.

Choć wielu osobom może się wydawać, że już teraz czaty i LLM’y mają prawie ludzki poziom „świadomości”, ta praca pokazuje też granice tego, co teraz potrafią Duże Modele Językowe, dla których proste zadania komponowania – budowania zestawów elementów na podstawie reguł – często są dużym wyzwaniem. To istotna różnica między ludźmi a maszynami, które wymagają tysięcy przykładów zasad, podczas gdy ludzie uczą się w bardziej elastyczny sposób.

Warto też dodać, że sposób uczenia się ludzi też bywa zbyt upraszczany – zaczynamy się uczyć jako dzieci i niektóre umiejętności nabywamy dopiero w wyniku dziesiątek lat treningu oraz ucząc się wcześniej wielu, różnych zestawów reguł (zasady, języki, obowiązki itd). Stopniowo rozwijamy umiejętność komponowania czy budowania rozmaitych elementów w nowe zestawy.

Na podstawie:
AI: A Guide for Thinking Humans
pozostałe źródła w tekście