Dzisiejsza Wyborcza publikuje odpowiedź czata GPT-4 na pytania w stylu matury z polskiego. Ponieważ pytania z matury 2023 nie były znane w momencie publikacji, więc sztuczna inteligencja dostała zadania o podobnym poziomie trudności. Odpowiedzi czata GPT-4 oceniła potem nauczycielka z liceum. Jej zdaniem odpowiedzi były wystarczające do zdania egzaminu.

Od razu muszę zaznaczyć, że brakuje w tym tekście informacji o tym skąd są pytania, ile razy były zadawane czatowi GPT-4, który czat GPT-4 był testowany, jaki rodzaj sesji z czatem (trwająca, nowa). Bez tych informacji wiele nam może umknąć.

Czat dostał od nauczycielki 52 punkty na 60 możliwych. Taki lub lepszy wynik zdobyło tylko 4% zdających maturę w zeszłym roku, dodaje Wyborcza. To bardzo ciekawe, bo oznaczałoby, że w maju 2023 czat GPT-4 z zadaniami maturalnymi z polskiego poradziłby sobie lepiej niż… w marcu 2023 na amerykańskiej maturze z angielskiego!

A przecież po angielsku czaty GPT są znacznie sprawniejsze niż po polsku. Wystarczy poprosić czat GPT o napisanie wierszyka, rymowanki, dowcipu po polsku oraz po angielsku, żeby zobaczyć różnicę. Kolosalna. Po polsku prawie nic nie umie. Po angielsku pisze i żartuje naśladując autorów i autorki. Ja niedawno kazałem mu napisać piosenkę o ładnym kocie, ale w stylu zespołu AC/DC. Efekt? Znakomity.

W marcu 2023 czat GPT-4 bardzo słabo wypadł odpowiadając na amerykańskie pytania maturalne wzięte z egzaminów z angielskiego. Zarówno język jak i literatura były poza zasięgiem angielskiego czata GPT-4 firmy OpenAI. Nie dostał nawet 20% punktów! Na grafice niżej to w lewym, dolnym rogu dwa słupki AP English Literature i AP English Language. Wyniki GPT-4 tak samo mizerne jak GPT-3,5.

Dopóki ktoś nie przetestuje wiele razy czatów GPT na jednym lub więcej zestawach pytań, w sumie nie będziemy wiedzieli, jaka dokładnie jest sprawność czata w kontekście egzaminów językowych. Możemy się domyślać, że jeśli chodzi o znajomość lektur z kanonów, czaty GTP zarówno po polsku, jak i po angielsku nie brylują, bo nie miały tych tekstów w swojej bazie a strony internetowe dotyczące klasycznej literatury nie są ani częste, ani relatywnie popularne. Krótko mówiąc, sztuczna inteligencja nie miała się skąd tego nauczyć. To dlatego czaty GPT po polsku nie mają wkutego Mickiewicza (i mnie na przykład kiedyś czat GPT próbował wmówić, że Jacek Soplica jest czarnym charakterem oraz paktował z diabłem), nie znają bohaterów „Lalki” i nie umieją naśladować stylu słynnych pisarzy i pisarek a po polsku nawet nie potrafią rymować.

Na dzisiejszym egzaminie maturalnym można było pisać na temat „Co sprawia, że człowiek staje się dla drugiego człowieka bohaterem?”. Jeśli ktoś wybrałby ten temat akurat i skorzystał z pomocy czata GPT-4 to byłoby ryzyko sporego blamażu.

Gdy dałem mojemu czatowi ten temat do rozpracowania, napisał mi m.in, żebym omówił zagadnienie na przykładzie… Chochoła z „Wesela” Wyspiańskiego, bo: „Chochoł podejmuje próbę zjednoczenia Polski”. Nie, nie, nie. Inna propozycja czata to kandydat na bohatera, kapitan Henryk Dembowski, zwany Ordonem, opisany przez Mickiewicza w „Reducie Ordona”. Komisja egzaminacyjna miałaby rozrywkę czytając takie rzeczy. I ostatnia postać literatury polskiej, wymyślona przez czata GPT-4 w tym kontekście. Jakaś Wiera, która podziwia Konrada z Dziadów cz III.

Jeśli nie trzeba sięgać do kanonu lektur, jeśli znajomość literatury może być pobieżna a rozprawa dotyczy tematyki ogólnej albo jeśli zadania mają sprawdzić rozumienie tekstu i operowanie tekstem, wtedy czaty GPT z pewnością zdawać będą maturę polską i dowolną inną. Bardzo wiele zależy też od sposobu zadawania pytań. Jednego roku pytania mogą być lepiej zrozumiałe dla czata a innym razem gorzej. W tym sensie też jest podobny do ludzi.

A dlaczego w takim razie GPT-4 zdawał lepiej inne egzaminy albo zdawał egzamin prawniczy lub lekarski?

Prawdopodobnie w internecie jest więcej treści dotyczących właśnie tych zagadnień, czyli łatwiej trafić na porządną analizę prawną lub dobre teksty medyczne niż na szczegółowe omówienia literatury pięknej, zwłaszcza lektur szkolnych. Pobieżnie i w stylu ściągi jest dużo materiałów, ale najwidoczniej literatura piękna ludzkości dogłębnie nie bardzo interesuje.