TL;DR: Bardzo ciekawy tekst opublikowała amerykańska gazeta The Washington Post o tym, jak izraelska armia (IDF) używa algorytmów AI w trwających konfliktach, m.in w strefie Gazy czy w Libanie. W największym skrócie tekst mówi o tym, że:
- AI wynajduje i wskazuje więcej celów ataku niż ludzie
- Jednocześnie stres i presja osłabiają ludzką kontrolę nad sztuczną inteligencją.
- A brak tej kontroli prawdopodobnie wywołuje wzrost liczby ofiar wśród ludności cywilnej.
Tekst mnie bardzo zaciekawił, bo nie wiemy jeszcze, jak będzie wyglądać świat nasycony sztuczną inteligencją. Co stanie się, gdy AI masowo zacznie być używana? Choć w tym przypadku mowa o zastosowaniach wojennych, to wydaje mi się, że widać kilka uniwersalnych prawidłowości. W dodatku takich, które są pomijane przez wielu „proroków sztucznej inteligencji”.
Spotykałem się wcześniej z opiniami, że użycie AI na wojnie wywoła dokładnie odwrotny efekt, czyli zmniejszy liczby ofiar. Teoretycznie sztuczna inteligencja nie powinna być „zainteresowana” atakowaniem celów bezwartościowych wojskowo. Większa precyzja ataków także miała zmniejszać liczbę ofiar wśród ludności cywilnej. Ewidentnie jednak tak być nie musi.
Zacznijmy od pytania.
Po co Izrael stosuje AI do działań wojennych?
Tworzeniem narzędzi AI dla izraelskiego wojska zajmuje się specjalna jednostka 8200. Jednostka 8200 stała się fundamentem wywiadu elektronicznego (SIGINT). Sztuczna inteligencja pozwoliła stworzyć jeden, wielki zbiór informacji wywiadowczych i wojskowych, gdzie algorytmy analizują ogromne ilości danych od razu dostarczając wyniki.
Te wyniki to cele do ataku, podawane żołnierzom i żołnierkom na polu walki. Algorytmy przetwarzają dane z satelitów, dronów, sieci społecznościowych i telefonicznych a cele generowane są w kilka minut. To ogromna zmiana w porównaniu do tradycyjnych metod wywiadowczych, które były znacznie wolniejsze a generowanie celów zabierało tygodnie.
Jak dokładnie działają wojskowe narzędzia AI?
Sztuczna inteligencja stała się „fabryką celów”, przyspieszając proces podejmowania decyzji. Algorytmy przeszukują zebrane dane, szukając wzorców, które mogłyby wskazywać na aktywność Hamasu lub Hezbollahu. Mowa o dwóch narzędziach: Habsora i Lawenda.
Habsora („Ewangelia”)
- Znaczenie nazwy: „Habsora” w języku hebrajskim podobno znaczy „ewangelia”. Czyżby nazwa miała sugerować, że to system, który przynosi kluczowe informacje?
- Główne funkcje:
- Habsora to zaawansowany system przetwarzania dużych zbiorów danych (big data).
- Analizuje różnorodne źródła informacji, takie jak satelity, drony, sieci społecznościowe czy komunikacja cyfrowa.
- Wykorzystuje algorytmy uczenia maszynowego do szybkiego generowania celów (np. analiza zdjęć plus analiza komunikacji telefonicznej przewidują lokalizację tuneli, magazynów broni, pozycji bojowników).
- Jego kluczową cechą jest możliwość integracji różnych rodzajów danych, aby szybko wygenerować rekomendacje dla dowództwa wojskowego.
Lavender
- Znaczenie nazwy: Nazwa „Lavender” (Lawenda) czy ma sugerować subtelność i precyzję? Zdolność systemu do delikatnego, ale dokładnego wyłuskiwania istotnych informacji?
- Główne funkcje:
- „Lawenda” koncentruje się na analizie osób i ich potencjalnych powiązań z organizacjami terrorystycznymi.
- Wykorzystuje algorytmy do oceny prawdopodobieństwa, że dana osoba jest członkiem Hamasu lub innej grupy bojowej.
- Uwzględnia takie czynniki jak częsta zmiana adresów, bycie członkiem określonych grup w aplikacjach społecznościowych (np. WhatsApp), czy występowanie w przechwyconych dokumentach wroga.
W teorii każda propozycja celu miała być zatwierdzona przez oficerów i prawnika wojskowego. W praktyce szybkość, z jaką AI generuje wyniki, sprawia, że ludziom trudno jest nadążyć.
Nie znam się na współczesnej technologii wojskowej, ale jako namiętny czytelnik wspomnień wojennych z różnych epok zauważam niezwykłą zmianę. Słynna, clausewitzowska mgła wojny, wynikała z niedostatku informacji. W ten sposób przykrywała decyzje wojenne. Teraz jednak, w epoce sztucznej inteligencji Fog of War może stać się mgłą zbyt wielu informacji!
Czy wojskowe systemy AI umieją powiedzieć „nie wiem”? Czy system generuje cele tylko o określonym stopniu pewności? Chyba nie. Tekst z Washington Post każe myśleć, że jest inaczej.
Czego AI nie zdołała wykryć i przewidzieć?
Systemy AI być może przyczyniły się do wyeliminowania dowództwa Hamasu i precyzyjnych ataków na magazyny broni w Gazie. Podobnie IDF uderzyło w kluczowe cele Hezbollahu w Libanie, również zabijając dowództwo oraz znacząco ograniczając ich zdolności operacyjne. Skala dominacji Izraela była olbrzymia i chyba bezprecedensowa. Habsora pozwoliła identyfikować i zaatakować prawdopodobnie ok. 100 celów dziennie, co wcześniej było niemożliwe.
Jednak AI nie zdołała przewidzieć wielkiego ataku Hamasu 7 października 2023 r. Izrael zaatakowało wtedy 3500 bojowników Hamasu, którzy m.in mordowali bezbronne osoby i gwałcili. W sumie zabili ponad 1000 osób. Porwali 251 osób. Do teraz przetrzymywanych jest 100 osób. To zaskoczenie tekst z Washington Post przypisuje właśnie nadmiernemu poleganiu na algorytmach. W opisywanej jednostce wojskowej 8200 miała zaniknąć kultura dialogu. Doświadczona analityczka, która przewidziała ryzyko ataku, nie została wysłuchana przez wyższe dowództwo.
Wcześniej tę porażkę wywiadowczą Izraela opisywały inne media, w tym gazeta New York Times. Na rok przed atakiem jednostka 8200 miała wejść w posiadanie planów ataku oraz miała zdobyć dowody na to, że Hamas trenuje atakowanie budynków i posterunków. Informacje zostały jednak zlekceważone przez dowództwo, które uważało, że mimo obserwowanych wysiłków Hamas po prostu nie jest w stanie skutecznie zaatakować.
A może te błędy popełnione przez kierownictwo wywiadu elektronicznego Izraela w jakimś stopniu da się wyjaśnić inaczej? Wyobraźmy sobie, że dostajemy do ręki nowe, niezwykle skuteczne narzędzie oparte na sztucznej inteligencji. To narzędzie zaczyna rozwiązywać nasze problemy na masową skalę. W pewnym momencie podświadomie zaczynamy na tym narzędziu polegać za bardzo. Wszystko zaczyna się wydawać ważne i realistyczne, ale jeśli algorytmy to potwierdzają. Nie potwierdzają? To problemu nie ma. Wydaje mi się, że wiele firm a może też armii powtórzy ten błąd w przyszłości. Technologia AI uwodzi i temu urokowi bardzo trudno się oprzeć.
Inne wyjaśnienie może być też takie, że chyba każde wojsko wręcz z definicji ma problem z obiegiem informacji i uczeniem się. I ten przykład pokazuje, że samo wprowadzenie sztucznej inteligencji nie zmienia armii w instytucję elastyczną oraz łatwo uczącą się.
Niecały rok po wielkim ataku Hamasu, dowódca programu sztucznej inteligencji, generał Yossi Sariel podał się do dymisji.
Co sztuczna inteligencja daje i co zabiera?
Habsora pozwoliła armii izraelskiej przetwarzać dane, które wcześniej były nieużyteczne. Przed zastosowaniem AI analitycy wywiadu wykrywali około 50 celów rocznie. Po wdrożeniu sztucznej inteligencji liczba ta wzrosła prawdopodobnie do 100… dziennie! Jednak szybkość generowania odbywała się kosztem precyzji.
System „Lawenda” w początkowych dniach konfliktu wskazywał cele na podstawie pojedynczych danych, np. tylko płci męskiej ofiary albo wyłącznie aktywnego numeru telefonu choć nie wiadomo było, kto aktualnie ma telefon w ręku.
Pierwotnie istniał wymóg, by każdy atak wymagał weryfikacji za pomocą informacji z dwóch innych, niezależnych źródeł. Potem jednak wymóg został osłabiony i wystarczyło jedno źródło. („The rule mandating two pieces of human-derived intelligence to validate a prediction from Lavender was dropped to one at the outset of the war”.)
Mogłoby się wydawać, że taka mniejsza dbałość o weryfikację będzie cechować raczej organizacje komercyjne a nie te, które strzelają rakietami i pociskami. Ale klucz do zrozumienia tego błędu chyba tkwi nie w naturze organizacji (wojskowa vs cywilna), ale w… ludziach.
Chodzi o to, by ludzie byli przygotowani i nauczeni używania tak potężnego narzędzia jakim może być AI. Rozumieli, dlaczego i kiedy algorytmy mogą się mylić.
Jakie zmiany są potrzebne, by skutecznie używać AI?
Liczba programistów w jednostce 8200 wzrosła o 100% w ciągu dekady. Washington Post nie pisze jednak o ważnym aspekcie problemu. A ten problem polega na tym, że informatycy czy specjaliści od big data umieją tworzyć narzędzia AI, ale jednak zupełnie kto inny zajmuje się edukowaniem czy wdrażaniem.
Jeśli zaczyna być używane nowe, potencjalnie dużo bardziej skuteczne narzędzie AI, to warto jednocześnie przeanalizować, jak zostanie w praktyce użyte, jak zostanie wykorzystane w procesach i działaniach. Czasem można nawet zadać pytanie, jaki będzie najgorszy i najbardziej powszechny sposób używania nowej technologii. O jakości zadecyduje najsłabsze ogniwo.
Informatycy czy specjalistki od AI przeważnie nie umieją odpowiedzieć na te pytania.
To są pytania do ludzi od zarządzania, do ludzi od psychologii organizacji itd. Tekst z Washington Post nie opisuje takiego wysiłku w IDF.
Uniwersalne wnioski – nie tylko dla wojska
Stres i presja są obecne również w firmach, zwłaszcza tych, które masowo rekrutują nowych pracowników. Bez odpowiedniego szkolenia zespół może nie rozumieć narzędzi AI i przyjmować ich wyniki za pewnik. Na wojnie w najbardziej tragicznych przypadkach doprowadzi to do śmierci niewinnych osób.
W firmach może to skutkować po prostu spadkiem jakości wykonywanej pracy. Czytałem kilka prac, które dokładnie na to wskazywały: na początku wzrost efektywności a potem spadek, bo ludzie zaczynają za bardzo polegać na sztucznej inteligencji (AI Overreliance Is a Problem. Are Explanations a Solution?).
Widać też, że w określonych przypadkach algorytmy AI wygenerują więcej danych niż zespół może przetworzyć czy zrozumieć. W firmach oznacza to konieczność inwestycji w procesy i infrastrukturę, by radzić sobie z nadmiarem informacji. Bez tego AI zamiast wspierać efektywność staje się narzędziem obciążającym
Ciekawe, że kilka lat temu Yossi Sariel, późniejszy dowódca jednostki 8200 opublikował książkę o tym, jak powinno się używać sztucznej inteligencji. Książka „The Human-Machine Team” wydana wtedy pod pseudonimem YS, postulowała synergię między ludźmi a AI. Sariel pisał, że AI mogłaby zrewolucjonizować operacje wojskowe, minimalizując ryzyko i zwiększając efektywność. Sztuczna inteligencja miała być jednak używana wyłącznie jako wsparcie człowieka. Książka jest dostępna w serwisie Amazon (e-book za 3,99$ czyli jakieś 20 złotych).
Publikacja tej książki pozwoliła na ustalenie tożsamości Sariela jako dowódcy jednostki 8200. Jednocześnie książka zdradza wiele kierunków rozwoju wojskowej AI oraz zastosowań – jako czytelnik dokładnie takie miałem wrażenie i tak o tym pisze brytyjska gazeta Guardian. Jeśli wrogowie Izraela wcześniej ją przeoczyli, to teraz będzie czytana bardzo uważnie. Izrael tego samego błędu zapewne już nie popełni, ale Hamas, czy Iran zapewne też się czegoś nauczyły.
O książce Yossiego Sariela „The Human-Machine Team” napiszę niebawem osobną notkę.
REWOLUCJA AI 