W ubiegłym tygodniu czat GPT-4 odzyskał możliwość przeglądania internetu za pomocą przeglądarki Bing. Teoretycznie pozwala to na uzyskanie opracowanych wyników wyszukiwania, np. od razu w postaci tabeli albo jako skrótu czy wyjaśnienia. Krótko przetestowałem i jestem zawiedziony.

Być może w USA ta usługa działa sprawnie i jest pomocna, ale mnie w Polsce kilka praktycznych pytań nie dało żadnych wyników lub prawie żadnych. Czat GPT-4 z Bingiem umiał odpowiedzieć na pytania o inflację czy o przestępczość albo o wizy pracownicze dla ludzi z Azji, ale takich pytań prawie nikt nie stawia. Mnie czat GPT-4 zamiast wchodzić na strony najczęściej odpowiadał „napotkałem trudności techniczne” lub „nie mogę wejść bezpośrednio na strony”. Dawałem mu następujące zadania:

1. Znajdź i porównaj ceny używanych samochodów danej marki z danych lat. Nie potrafił. Zmiana języka na angielski w poleceniu nic wniosła. Wyszukiwanie w samym Bingu (bez czata GPT-4) poszło znacznie lepiej choć podał mi też ceny z Irlandii – faktycznie nie kazałem szukać tylko na stronach z Polski, ale rozmawialiśmy po polsku i jako przykładowe strony chwilę wcześniej dostał otomoto i olx. Na koniec ustalił średnią cenę używanego Renault z lat 2014-2017 i podał.

2. Prosiłem żeby znalazł koncerty muzyczne w paru największych miastach Polski. Czat GPT-4 generalnie nie poradził sobie. Znalazł koncerty heavy-metalowe i rockowe. Żadnych innych. W całej Polsce nie znalazł żadnych muzyki poważnej ani jazzu.
– Bing również nie poradził sobie z tym zadaniem, ale w gorszy sposób jeszcze, bo nazmyślał. Poinformował mnie o nieistniejącym, październikowym koncercie Lewisa Ciapaldiego w Progresji oraz o nieistniejącym, październikowym koncercie Justina Biebera w Krakowie.

3. Czata GPT-4 zapytałem, jak partie polityczne Prawo i Sprawiedliwość oraz Koalicja Obywatelska odnoszą się do kwestii zmian klimatycznych, poprawy jakości szkolnictwa oraz naprawy służby zdrowia i reformy wojska. Nie umiał wejść na żadne strony internetowe, ale potem bez podania źródeł napisał, czym się różnią. Powiedzmy, że nie była to odpowiedź precyzyjna, ale wskazująca kierunek.

4. Czat GPT oraz Bing odmawiają wchodzenia na wskazane strony sklepów z elektroniką. Wchodzą na inne. W wynikach wyszukiwania Bing uwzględnia sklepy z Wlk. Brytanii.

5. Poradził sobie z ustaleniem wyniku inflacji w Polsce i podał mi odczyt z ostatnich 5 miesięcy. Tu najlepiej powoływać się na strony np NBP, ale wybrał inną.

6. Poradził sobie z ustaleniem danych o liczbie kradzionych samochodów w Polsce i w Warszawie (w Polsce rocznie kradnie się ok 7-8 tysięcy samochodów i jest to dwa razy mniej niż 10 lat temu). Tu najchętniej widziałbym odwołanie do stron policji, ale tego nie zrobił. Kiedy poprosiłem o przeszukanie stron Policji pod kątem tych danych nagle przestawił się na angielski i powiedział, że nie może tego zrobić. Jednocześnie znalazł działający link do tych danych na stronie Policji i zamieścił go.

7. Umiał odpowiedzieć na pytanie, ile wiz pracowniczych wydała Polska w ostatnich miesiącach. Wydaliśmy w pierwszym półroczu 2023 roku 145 tysięcy wiz a najwięcej dla ludzi z Indii, z Uzbekistanu i z Nepalu. Wolałbym odwołanie do oficjalnych stron, ale tego nie potrafił. Użył informacji ze stron jakiejś kancelarii prawnej.

8. Nie umiał podać cen paliwa na stacjach benzynowych z ostatnich paru miesięcy choć podał najbardziej aktualne ceny i wskazał stronę, gdzie te dane z ostatnich miesięcy są. Jednocześnie też odesłał do zupełnie mylnych stron, zawierających dane z Australii zamiast z Polski.

Generalnie rzecz biorąc Czat GPT-4 z Bingiem daje radę przy pytaniach niepraktycznych i nie umie pomóc w sprawach praktycznych. W kwestiach niepraktycznych natomiast nie powołuje się najbardziej wiarygodne źródła, ale na plus liczymy mu to, że gdy się powołuje to robi to skutecznie. Kilka miesięcy temu podobny eksperyment, ale na dużą skalę, pokazał, że czaty nawet powołując się na źródła czasem zmyślają – piszą, że dane źródło coś tam twierdzi, gdy tymczasem tak nie jest. W tych kilku moich przypadkach powołanie było trafne.

Spróbowałem też powtórzyć wszystkie pytania, które pokazał na swoim kanale Skill Leap AI i mnie po polsku nic nie wyszło. Nic!

Nie wiem, czy wady tego wyszukiwania wynikają z tego, że coraz więcej witryn blokuje dostęp dla usług sztucznej inteligencji a zostawia dostęp wyszukiwarkom. Czy z tego, że generalnie jeśli chodzi o polskie wyszukiwanie to GPT-4 + Bing po prostu jest kiepski. Może i jedno i drugie.
A może polski internet jest gorszy od amerykańskiego i nasza infosfera zawiera mniej informacji dobrej jakości??

Jedyny powód dla którego w tej chwili widziałbym potrzebę z korzystania GPT-4 z Bingiem to praca na wynikach wyszukiwania. W sensie, że szukamy i od razu, bez przeklejania tekstu wykorzystujemy w czacie te znalezione informacje. Z tym, że jeśli ktoś nie płaci 20$ za dostęp do GPT-4 to dla tej funkcji akurat, przy jej wszystkich wadach, raczej nie warto.

Jeśli macie inne doświadczenia albo uwagi, to chętnie przeczytam w komentarzach.