TL;DR – Po światowej premierze czata GPT zmienił się język tekstów naukowych i nagle w niektórych tekstach po angielsku gwałtownie przybyło przypadków użycia słów, wcześniej używanych dużo rzadziej. Świat nauki coraz powszechniej używa czata GPT4 nie tylko do pisania prac naukowych, ale też do ich recenzowania. Słowa takie „commendable” (chwalebny/a), „innovative” (innowacyjny/a), „meticulous” (skrupulatny/a), „intricate” (misterny/a), „notable” (wybitny/a) i „versatile” (wszechstronny/a) zaczęły znacznie częściej występować w tekstach recenzji naukowych, podczas gdy przed rokiem 2023 częstotliwość ich używania nie zmieniała się znacznie.

To wnioski z pracy naukowej „Monitoring AI-Modified Content at Scale:
A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews„. Zespół autorski zaprezentował metodę oceny wpływu dużych modeli językowych na sposób komunikacji i stawia pytanie, jakie będą tego konsekwencje.

Jak często w pracach naukowych pojawiają się wspomniane słowa? Do analizy wzięto zestawy tekstów naukowych z ubiegłych lat. Okazało się, że po roku 2023 gwałtownie przybyło przypadków użycia słów tych słów. Takiego rozkładu częstotliwości nie tłumaczy żadna moda. Z hipotetycznych przyczyn nagłej zmiany używanego słownictwa przychodzą mi do głowy tylko przyczyny typu: masowa ucieczka ludności oraz przybycie innej, albo pandemia dużo groźniejsza od tej niedawnej. Spójrzmy, co się wydarzyło.

Dość znaczące, że wychwycone słowa to przymiotniki o entuzjastycznym zabarwieniu. Czyżby chodziło o to, że czaty nauczone zostały języka na podstawie stron internetowych? W końcu internet jest przestrzenią języka albo reklamy, albo hejtu, ale zawsze emocji.

Praca naukowa jednocześnie pokazuje, jak mogłoby wyglądać wykrywanie tekstów pisanych przez AI, ale też jak mogłoby wyglądać ich oznaczanie (watermarking), by autorstwo AI mogło być automatycznie wykrywane. Modele językowe na poziomie generowania nie operują słowami, ale tokenami, czyli fragmentami słów (to osobne, bardzo ciekawe zagadnienie). To daje niezbyt oczywistą możliwość oznaczania tekstów.

Jedna z możliwych metod, to korzystanie z ustalonych matryc tokenów-fragmentów słów do zmiany. Zmiana odbywałaby się wg schematów, które dyktowałyby, jakie fragmenty słowa zostaną zmienione i jak zostaną zmienione. Wykrycie tego schematu pozwala na ustalenie maszynowego pochodzenia tekstu. Przyklad? Co piąty token końcowy zaczyna się od samogłoski.

Możliwe są również tego rodzaju znaki wodne semantyczne, czyli znaczeniowe. Tu schemat zmiany polegałby na wcześniej ustalonym poszukiwaniu znaczeń i zaplanowanych operacji znaczeniowych.

Przykład: „Kot goni mysz”. Znakiem wodnym może być samo użycie słów „kot” oraz „mysz”. Może nim też być użycie słowa „goni” albo „ściga”. Oczywiście, pojedyncza zmiana nie jest jeszcze znakiem wodnym, ale seria takich zmian już nim jest. Mogą one być niemożliwe do dostrzeżenia gołym okiem.

Różnica między semantycznym znakiem a matrycą tokenów jest taka, że tu obiektem zmiany są słowa i znaczenia a nie same tokeny. Oczywiście, do pewnego stopnia każda zmiana tokenu może pociągać za sobą zmianę znaczenia – zmiana fragmentu słowa, jego końcówki albo początku przeważnie oznacza chociaż lekką zmianę znaczenia (przepowiedzieć vs zapowiedzieć). To z resztą zagadnienie, o którym wspomina zespół autorski tej pracy. Mianowicie, że ewentualnie przyjęte zasady oznaczania ‚watermarkami’ tekstów powinny uwzględniać potrzebę jak najmniejszej ingerencji w tekst i w jego znaczenie.

Obecnie istniejące programy do wykrywania tekstów napisanych maszynowo nie działają w sposób bezbłędny. Jeden z powodów jest taki, że czaty nie mają stałej jakości i z biegiem czasu są coraz bardziej „ludzkie”. Równo rok temu OpenAI uruchomiło swój detektor tekstów napisanych przez czata GPT i choć sami zbudowali czata, to ich własny detektor miał skuteczność poniżej 30%. Ciężko tu rozstrzygnąć, czy mieli większy interes w tym, żeby publicznie mówić, jak trudno odróżnić teksty czata od ludzkich, czy w tym, żeby sprzedawać usługę wykrywania własnych tekstów a potencjalnie mieli tu gigantyczną przewagę wizerunkową. Nie skorzystali.

Słynny detektor GPTZero oraz wiele innych detektorów polegają na tym, że sprawdzają, do jakiego stopnia tekst jest przypadkowy. Teksty pisane przez czaty są bowiem bardzo spójne. Człowiek używa większej liczby, różnych słów. Jednak jeżeli detektory swoją pracę dziś opierają na analizie składni czy zróżnicowania słownictwa, to istnieje możliwość oszukania ich poprzez celową zmianę słów i wymuszenie różnorodności. I dokładnie to przetestował zespół autorski innej pracy o znaczącym tytule „Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense” .

Jak skutecznie detektory zostały oszukane? Przeważnie detektory tekstu pisanego przez AI informują o skuteczności 80%-90%. Zespół naukowy wykazał, że skuteczność detektorów tekstu pisanego przez sztuczną inteligencję spada poniżej 5%, jeśli tekst zostanie specjalnie przepisany przez inny rodzaj AI, której zadanie polega na parafrazowaniu, wzbogacaniu, przepisywaniu, przemianie… itd.

Dla leniuszków morał jest prosty: jeśli chcemy oszukać detektor, to bierzmy tekst czata a potem parafrazujmy na potęgę. Tym bardziej, że akurat po polsku jakość tekstów pisanych przez GPT jest kiepska i w sumie w naszym języku nie da się inaczej korzystać z czata niż poprawiając po nim. Szczególnie, jeśli tekst ma mieć jakiś walor literacki, bo nie chodzi o list urzędowy albo o ogłoszenie drobne.

Dziś wiele tekstów napisanych maszynowo można rozpoznać na oko. Ja sam zwracam uwagę na następujące cechy:

• Format tekstu: Teksty skopiowane wprost z czata często wyglądają właśnie tak, jak ta linijka. Z przodu jest krótkie hasło, potem dwukropek i rozwinięcie. Jednocześnie generatory, ponieważ ich podstawowym językiem jest angielski, nadużywają Wielkich Liter.
• Zniekształcenia słów. Wczoraj jeden z generatorów zaproponował mi zamiast słowa „nawodnienie” nieistniejące po polsku słowo „hidratyzacja”.
• Ton tekstu jest specyficzny, bo teksty generowane przez czaty, jeśli nie zostaną poddane redakcji, dość często pisane są językiem automatycznie entuzjastycznym.
• Końcówka tekstu, czyli morał. To jest typowa końcówka pisana przez czata: „Jednak ważne jest, aby pamiętać, że tekst wygenerowany przez czat nie zawsze jest idealny. Nadal musimy samodzielnie ocenić, co jest odpowiednie i dostosować treść do naszych potrzeb.” (napisane przez Microsoft Copilot).
• Zwroty stylistyczne kopiowane z angielskiego inne niż te, najbardziej popularne. Na przykład w jednym z podcastów dziennikarka użyła sformułowania „w sercu walki”. Nie mam oczywiście pewności, że zwrot podpowiedział jej czat – może pani jest anglistką albo namiętnie czyta po angielsku i wtedy łatwo o użycie kalki językowej, co mnie się też zdarza. Odniosłem wrażenie, że to mógł być efekt użycia czata do napisania szkicu wystąpienia.

Wracając do tematu detektorów: problem oczywiście w tym, że chcielibyśmy mieć bezbłędną metodę rozpoznawania tekstu maszynowego a nie mamy. Na końcu zawsze jest tylko prawdopodobieństwo, że patrzymy na „fejka” a nie na tekst napisany przez człowieka.

Może się też niebawem okazać, że z czasem też ludzie zaczną pisać w sposób podobny do AI. Nauczymy się. Popatrzymy, poczytamy te teksty i w końcu zaczniemy pisać podobnie do czata. Tym bardziej, że w wielu eksperymentach czaty oceniane są jako komunikujące się w sposób bardziej czytelny od ludzi (i bardziej empatyczny też!) więc presja na pisanie jak czat może się wytworzyć.

A Państwa zdaniem, jakie cechy zdradzają tekst napisany maszynowo?