Poprosiłem o wywiad polską firmę SentiOne. W 2011 roku zaczynali w garażu a dziś pracują dla kilkuset firm z różnych krajów. Zajmują się monitoringiem internetu z wykorzystaniem AI oraz produkują czatboty. Na moje pytania w mejlu odpowiedział Bartosz Baziński, prezes i współzałożyciel SentiOne. Wywiad nie jest elementem współpracy. To część cyklu mającego pokazać, jak technologie sztucznej inteligencji wykorzystywane są w polskim biznesie.

Jakie są główne różnice między botami w technologii SentiOne a słynnym ChatGPT?

ChatGPT to tzw. blackbox („czarna skrzynka”) – bot typu „pytanie – odpowiedź”. Generuje rozbudowane, ładne odpowiedzi, ale nie zrozumie, o co został zapytany, nie orientuje się w rzeczywistości, nie osadza informacji kontekście. Poza tym został zbudowany na niezweryfikowanych danych i nie rozumie znaczenia swoich odpowiedzi, przez co może szerzyć dezinformację,  wprowadzać w błąd, dostarczając mylące, nieprecyzyjne, czy po prostu fałszywe odpowiedzi. Wszystko to powoduje, że nie nadaje się on np. do wykorzystania w biznesie. W przeciwieństwie do niego, technologia SentiOne jest trenowana na ogromnych zbiorach zweryfikowanych danych z konkretnych branż, co zapewnia jej szeroką wiedzę dziedzinową i usuwa wspomniane ryzyka. Potrafi też samodzielnie interpretować informacje z dowolnej bazy wiedzy (np. regulamin usług banku lub informacje produktowe), dzięki czemu może w prosty sposób wyjaśnić wszystkie zawiłości i zapisy – np. informacje o ratach kredytu – oraz odpowiedzieć na dodatkowe pytania klienta.

Co było powodem powstania startupu? Jaką niszę chcieliście zagospodarować? Kim są albo kim były osoby tworzące startup?

Prototyp SentiOne – system do analizy opinii internautów – powstał jako moja i Michała Brzezickiego praca zaliczeniowa na wydziale informatyki Politechniki Gdańskiej. Pomysł był na tyle dobry, a technologia do skanowania mediów społecznościowych na tyle skuteczna, że otrzymaliśmy dofinansowanie od Fundacji Na Rzecz Nauki Polskiej, następnie założyliśmy pierwsze “biuro” – a jakże – w garażu moich rodziców. Postawiliśmy duży stół, przy którym pracowało czterech programistów, kupiliśmy najtańszy dywan w markecie budowlanym, a bramę garażową izolowaliśmy kocami, żeby było w miarę ciepło. Wtedy napisaliśmy od podstaw pierwszą wersję systemu do pobierania danych z Internetu . Powstałe wówczas algorytmy wciąż można znaleźć w kodzie SentiOne Listen – platformie do monitorowania opinii internautów, z której korzysta obecnie w 26 językach ponad 400 klientów na całym świecie.

SentiOne powstało jako odpowiedź na potrzebę znalezienia praktycznych spostrzeżeń marketingowych w przepełnionym informacjami Internecie. Dziś zapewniamy najnowocześniejszą automatyzację obsługi klienta.

Dzięki niezwykle obszernemu zestawowi danych gromadzonym przez lata opracowywania dogłębnego narzędzia do słuchania w mediach społecznościowych, jesteśmy w stanie wytrenować wyjątkowo dokładny silnik uczenia głębokiego. Oznacza to, że nasze boty są bardziej inteligentne niż przeciętne i płynniej przetwarzają język naturalny.

Do jakiego stopnia eliminowane jest ryzyko nieprawdziwych odpowiedzi w botach, które tworzycie? Co przede wszystkim obniża to ryzyko? Jeśli boty mówią nieprawdę, to najczęściej czemu?

Wszystkie narzędzia oparte o AI, a więc i boty, są dobre na tyle, na ile ich dane uczące. Dlatego, aby usunąć zagrożenia związane z halucynacją, wprowadzaniem w błąd lub rozsiewaniem fake newsów, należy weryfikować dane treningowe i czyścić ze wszystkich ryzykownych elementów. Dlatego do uczenia naszych modeli AI wykorzystujemy dane z konkretnych branż, które czyścimy z obraźliwych treści i przeuczamy je tak, aby ich wiedza była stale aktualizowana i odświeżana. Oprócz tego testujemy obecnie nowe metody w świecie badań nad AI, takie jak “unlearning modeli AI”, by mogły oduczyć się złych lub niepoprawnych treści.

Co sprawiło, że czas stawiania bota spadł z 3 dni do 3 godzin?

Nasza generatywna AI jest w stanie stworzyć automatycznie wszystkie elementy potrzebne do ich budowy botów – przykładowe frazy, wypowiedzi, testowe zapytania lub słowa kluczowe służące do trenowania silnika języka naturalnego. Dzięki takiemu przyśpieszeniu tworzenia wszystkich elementów budowy bota, jej czas skraca się o 60-90%. Przykładowo, prosty bot dla e-commercu obsługujący kilka procesów (np. odpowiedzi na pytania gdzie jest paczka lub ile kosztuje wysyłka do UK) kiedyś trzeba było budować około 3 dni, dzisiaj tylko kilka godzin.

Jakie są plany dotyczące wprowadzenia polskiej wersji LLM (Large Language Model – Duży Model Językowy)?

Aktualnie LLM jest dostępny w języku angielskim, a polska wersja LLM jest w trakcie budowy i testów.

W kontekście polskiej sztucznej inteligencji konwersacyjnej: jakie polskie dane chcecie pozyskać? Skąd je pozyskujecie?

Jak wspomniałem, szkolimy nasze modele AI na danych branżowych pochodzących od konkretnych klientów oraz na danych zbieranych z internetu i mediów społecznościowych od 12 lat. By nauczyć nasze silniki NLU mowy potocznej, slangu i wyrazów bliskoznacznych, dziennie zbieramy i analizujemy 150 milionów postów, komentarzy i opinii. W rezultacie boty SentiOne są nadal są bardzo bezpieczne z punktu widzenia brandingu i biznesu – odpowiadają tylko na te zakresy tematyczne, które im wcześniej zdefiniowaliśmy, pobierają informacje ze wskazanych baz wiedzy, nie wymyślają odpowiedzi, nie mają halucynacji. Dlatego też im więcej takich danych uda się pozyskać – historycznych zapisów rozmów z klientami, scenariuszy rozmów i materiałów szkoleniowych dla konsultantów, regulaminów, informacji produktowych itd. – tym lepiej wyszkolony będzie bot.

Co jest największą przeszkodą dla powstania polskiego LLM z Waszej perspektywy?

Jest jedna przeszkoda dla większości nowych technologii w Polsce – jest to dostęp do finansowania. Rundy VC (Venture Capital, czyli finansowanie rozwoju firmy poprzez zbieranie kapitału od inwestorów ) w Stanach Zjednoczonych są wielokrotnie wyższe niż w Polsce, tak więc dzięki takiemu dostępowi do kapitału i lekkiemu podejściu do ryzyka, to właśnie w USA powstają najbardziej innowacyjne projekty. Praca nad AI, zwłaszcza generatywną AI, wymaga dużej mocy obliczeniowej i serwerów, by móc modele AI trenować, przyuczać i testować.

Jak od strony organizacyjnej powstanie ten polski LLM? Czy to jest jakiś model istniejący, ale rozbudowany? Czy praca na podstawie własnego modelu, czy na jakimś modelu pozyskanym?

Podejść jest wiele – można zbudować własny LLM, skorzystać z istniejących w innych językach, albo wymieszać ze sobą kilka różnych LLM. Technologia w tym sektorze rozwija się tak szybko, że w każdym tygodniu pojawiają się nowe modele podstawowe (ang. foundational models) jak i nowe metody dotrenowywania modeli. Na tym etapie nie chcemy zdradzać wszystkich szczegółów. Najważniejszym aspektem LLM od SentiOne jest to, że jest on przyuczony naszym istniejącym modelem NLU (ang. silnik rozumienia języka naturalnego), który budujemy z powodzeniem od pięciu lat, na podstawie milionów danych treningowych z social listeningu, oraz optymalizujemy pod zastosowania klientów biznesowych. To powoduje, że skuteczność rozpoznawania intencji i generowanie wypowiedzi jest jeszcze wyższa. Dzięki temu możemy zaprogramować ten LLM by był bezpieczny i odpowiedni dla biznesu.

Jakie macie plany rozwoju technologii LLM?

Aktualnie wiodące modele języka cechuje wiele problemów, takich jak generowanie danych o charakterze toksycznym i dyskryminującym, stwarzanie zagrożenia dla bezpieczeństwa użytkowników i prywatności danych. Dostrzegalny jest też spadek jakości działania modeli w językach innych niż angielski. Ponadto stosowane obecnie rozwiązania, ze względu na ich złożoność, są kosztowne oraz zużywają dużo energii. W ramach SentiOne planujemy doskonalenie naszej technologii tak, aby budować modele językowe, które są etyczne, nie rozpowszechniają propagandy, zapewniają ochronę danych i bezpieczeństwo. Dodatkowo chcemy by nasza technologia była przystosowywana do wdrożenia lokalnie, w prywatnej chmurze lub na własnej strukturze serwerowej (ang. on-premise). W sektorze LLM wszyscy teraz prowadzą badania nad tym, jak zapewnić rozwój technologii, przy jednoczesnym zachowaniu jej wysokiej jakości.

Jakie są korzyści dla firm korzystających z botów opartych na technologii LLM?

Konwersacyjna sztuczna inteligencja jest obecnie wykorzystywana głównie do automatyzacji obsługi klienta, m.in. przez banki, placówki medyczne i ubezpieczycieli. Bot stanowi element budowania wizerunku marki, musi być godny zaufania nie stanowić ryzyka dla firmy – i, z wymienionych względów, taka jest właśnie jest nasza technologia LLM. Boty na niej zbudowane potrafią w prosty, zrozumiały sposób przekazywać klientom prawdziwe i zweryfikowane informacje, a dzięki naturalnemu językowi wypowiedzi rozmowa z  nimi jeszcze bardziej przypomina rozmowę z prawdziwym człowiekiem, zwiększając tym komfort rozmówcy. Bot oparty o LLM może przyjąć dowolny charakter lub sposób mówienia, wybrany odgórnie albo dostosowany do sposobu wypowiedzi osoby, z którą w danym momencie rozmawia. Dodatkowo firmy mają wspomnianą możliwość wdrożenia tego rozwiązania on-premise. Użytkownicy przekazują LLM wszelkiego rodzaju dane, łącznie z danymi osobowymi, dlatego system jest zaprojektowany tak, aby bezpiecznie przechowywać wszystkie generowane dialogi i zapewnić najwyższe bezpieczeństwo danych.