Wczoraj przyszło mi do głowy, że chatboty są trochę jak nowy członek zespołu, osoba z zewnątrz, której nie możemy do końca zaufać. Chcemy polegać na informacjach pochodzących z tego źródła, ale potrzebujemy do tego metody. Na szczęście nie potrzebujemy jej wymyślać od zera. Bo ludzie, organizacje czy instytucje z problemem zaufania mierzą się od bardzo dawna. Posiedziałem chwilę z chatem GPT, przypomniałem sobie podstawowe zasady z paru branż, które poznałem odrobinę i proszę.

TL;DR

• Chatboty zmieniają kulturę pracy bardzo szybko i nie zdążyły powstać nowe reguły zaufania, dopasowane do tego narzędzia.
• Warto sięgnąć po przykłady z innych zawodów, gdzie informacja zawsze była kontrolowana: wojsko, nauka, dziennikarstwo, medycyna, wywiad, finanse i zarządzanie kryzysowe.
• Proponuję nową dziedzinę refleksji: Etnografię AI. Obserwację tego, jak ludzie i algorytmy wspólnie tworzą kulturę poznawczą organizacji.

Ludzie nieświadomie traktują chatboty nie jak narzędzia, ale jak współpracowników. Chatboty podają nam informacje, których potem używamy a nawet opieramy na nich decyzje.
Mamy wiele pomysłów i sprawdzonych sposobów z różnych dziedzin. Armie, organizacje naukowe czy redakcje przez dekady czy stulecia uczyły się pracy ze źródłami niepewnymi, zniekształconymi a czasem niebezpiecznymi.

---

1. Jak metody wywiadowcze mogą inspirować pracę z chatbotami?

Organizacje wywiadowcze od zawsze zarządzają informacją niepewną. Np organizacje wywiadowcze NATO stosują oceny wiarygodności źródeł (A–E) i prawdopodobieństwa informacji (1–6). To metoda oceny zwana Kodem Admiralicji (Admiralty Code).
W kontekście AI podobny system można zastosować do oznaczania danych i generowanych treści: oddzielnie oceniać wiarygodność modelu (np. na podstawie domeny, aktualności) i samą jakość odpowiedzi. Taki „grading” buduje kulturę ostrożnego zaufania i zmniejsza ryzyko organizacyjnych halucynacji. 

Rada:
Zacznijcie oceniać i opisywać odpowiedzi modeli na dany temat. Po jakimś czasie powstanie Wasza domenowa ocena trafności i pewności odpowiedzi AI. 
Więcej na ten temat tu: https://eosgmbh.com/en/admiralty-code-for-the-verification-of-information/

2. Co z naukowego warsztatu można wziąć do pracy z chatbotami? 

Środowisko naukowe od dawna mierzy się z problemem błędnych danych i niepewnych wniosków. Metody takie jak peer review, replikacja wyników czy transparentność metod służą właśnie temu, by chronić zaufanie do wiedzy.

Rada:
Traktujcie używanie AI jak mini‑eksperyment. Dokumentujcie założenia, prompty i rezultaty, by można było je odtworzyć i porównać z innymi wynikami w przyszłości. Jeśli to zbyt ambitny cel, to warto rozważyć transparencję innego typu. 
W naszej firmie ja i wspólnik czasem wysyłamy sobie dokumenty wraz z promptem, który posłużył do wygenerowania wersji „surowej” tekstu. Weryfikacja na podstawie tekstu i załączonego prompta jest znacznie lepsza niż bez. 

3. Dziennikarstwo i współpraca z fixerami jako wzór postępowania z chatbotami

W pracy dziennikarskiej fixer to pośrednik i tłumacz, czyli osoba, która zna lokalny język i kulturę. AI podobnie pełni funkcję tłumacza i pośrednika między językami wiedzy. Kluczowe są rozróżnienie między tłumaczeniem a interpretacją oraz obowiązek potwierdzenia przekazu w innych źródłach.

Rady:

• Traktujcie AI jak fixera‑tłumacza: pozwólcie mu interpretować, ale nigdy nie zakładajcie, że jego wersja jest najlepsza i ostateczna.
• Porównujcie odpowiedzi z innymi źródłami i potwierdzajcie znaczenia samodzielnie.
• Zachowujcie odpowiedzialność za końcową wersję. Autorstwo i odpowiedzialność spoczywają na ludziach.

4. Czy bezpieczeństwo lotnicze i kontrola ruchu coś mogą podpowiedzieć w pracy z chatbotami?

Lotnictwo to system, w którym błędy komunikacyjne kosztują życie. Dlatego piloci i kontrolerzy opracowali zestaw zasad, które można przenieść do pracy z AI. Standardowe słownictwo ogranicza niejednoznaczność, a pętla readback–hearback wymusza potwierdzenie zrozumienia.

Rady:

• Można wypracować wspólny system promptowania. W niektórych przypadkach taki uzgodniony język komend i poleceń pomoże wytworzyć wspólną wiedzę.
• W osobistej pracy z chatbotami warto stosować pętlę potwierdzenia: użytkownik parafrazuje odpowiedź modelu lub model jest proszony o to samo. „Powiedz, jak mnie zrozumiałeś” — to świetna metoda usuwania niejasności.
• Zamiast karać za błędne użycie AI, analizujcie przyczyny i wnioski. Każda pomyłka to lekcja o granicach modelu.

Często w pętli z chatbotem wyjaśniam słownictwo, zasady pracy, potwierdzam komunikaty. Konieczne wręcz, gdy używam terminów w kontekście słabo mi znanym.
Więcej na temat zasad readback-hearback tu: https://ifr-magazine.com/technique/hear-back-read-back

5. Procedury wojskowe w pracy z chatbotami: Two‑person rule i Debriefing loop

Z amerykańskiego podręcznika nt zasad wojny antypartyzanckiej FM 3‑24 można zaczerpnąć dwie praktyczne zasady, które mogą się sprawdzić się również w środowisku pracy z AI. Two‑person rule polega na tym, że każda istotna decyzja lub treść od AI przechodzi przez weryfikację drugiej osoby.
Debriefing loop (After Action Reports) to z kolei procedura rozmowy po wykonanym zadaniu: ustalenie, co powiedzieliśmy, co usłyszeliśmy, czego użyliśmy, jaki to efekt wywołało. W relacji z chatbotem debriefing można traktować jako kluczowy moment uczenia.

Rady:

• Stosujcie zasadę Two‑person rule, gdzie każda ważna decyzja oparta na AI powinna być zatwierdzona przez inną osobę lub zespół.
• Po każdej kluczowej sesji z chatbotem przeprowadzajcie krótką pętlę debriefingu: pytanie, co model zrozumiał, a następnie analiza, które części efektu odpowiadają założeniom. To pozwala lepiej zrozumieć reguły rozmowy z chatbotami. Chatboty same niczego nie rozumieją i ta procedura jest dla ludzi. 

Ja tę zasadę kontrolnej rozmowy z chatbotem stosuję od jakiegoś czasu i nie wiedziałem, że ma odzwierciedlenie w procedurach wojskowych. Mnie się przydaje, gdy tworzę aplikacje i kod. Lepiej rozumiem proces, którego uczę się samodzielnie. Dzięki Debriefingowi wprowadzam nowe zasady w pracy z agentami generującymi kod.
Więcej na temat After Action Reports tu: https://rdl.train.army.mil/catalog-ws/view/100.ATSC/A6C09408-2436-47A4-93A3-6684A1B59042-1739993594606/TC7_0x1.pdf

6. Red teaming jako filozofia pracy z AI i z chatbotami. 

W strukturach wywiadowczych i wojskowych funkcjonuje praktyka red teamingu — wykrywania błędów, luk w zabezpieczniach przez tworzenie zespołów, które próbują złamać reguły. Współpraca z AI może korzystać z tego modelu. Zarówno na poziomie organizacyjnym jak i jednostkowym.

Rady:

• Dobrą praktyką jest ciągłe podważanie, weryfikowanie wyników generowanych przez chatboty lub tworzonych przez systemy. Nawet jeśli na pierwszy rzut oka wydają się poprawne. To pomaga zachować aktywność umysłową i do jakiegoś stopnia chroni przed poznawczym odciążeniem (cognitive offloading). 
• Na poziomie organizacyjnym: stwórzcie wewnętrzny proces „red teaming AI”. Testujcie własne, firmowe chatboty.
• Czytaj o wynikach testów red teamingowych. To dużo daje, gdy chodzi o rozumienie słabych stron chatbotów.

Stale atakuję i podważam wnioski od chatbotów. To chyba dobry nawyk, bo niektóre pomysły okazują się wyssane z… algorytmu. Testowanie reguł cenzorskich oraz znajomość technik ataku na chatboty dają pojęcie o realnych możliwościach modeli (jak są „mądre” lub jak „głupie)
Więcej na ten temat tu: https://cdn.openai.com/papers/openais-approach-to-external-red-teaming.pdf

6. Lekcja z finansów, audytu i compliance dla organizacji pracy z chatbotami.

Świat finansów od dawna opiera się na zasadzie ograniczonego zaufania. Systemy kontroli wewnętrznej, zasada czterech oczu i rozdzielność obowiązków mają zadanie zapobiegania błędom oraz nadużyciom. Można rozważyć podobny schemat w organizacjach używających AI. Jedna osoba lub zespół generuje treść, inna jednostka ją zatwierdza, a każda decyzja ma swoją ścieżkę audytową. Warto też definiować „próg istotności” (materiality threshold), czyli moment, w którym błąd modelu ma realne konsekwencje biznesowe. 

Rady:

• Wprowadźcie zasadę czterech oczu dla materiałów przygotowanych z użyciem AI, bo żadna treść nie powinna trafić do świata zewnętrznego bez weryfikacji.
• Twórzcie ścieżki audytowe czyli przechowujcie wersje promptów, pliki z poprawkami i decyzje o zatwierdzeniu. Jeśli organizacja zgadza się i zatwierdza taki proces z udziałem AI, to powinna nim zarządzać. 

7. Co cennego można wynieść z zarządzenia kryzysowego i praktyk ratowniczych w kontekście AI?

W zarządzaniu kryzysowym oraz służbach ratowniczych kluczowa jest precyzyjna mapa kompetencji: każdy wie, kto dowodzi, kto przekazuje informacje i kto podejmuje decyzje. Ten model można z powodzeniem zastosować w pracy z AI.

Rady:

• Opracujcie mapę obowiązków informacyjnych wzorowaną na praktykach służb ratunkowych: kto zbiera dane, kto analizuje, kto podejmuje decyzje. Wszyscy to nikt. 
• Wyznaczcie „dowódcę informacji” odpowiedzialnego za integrację wyników AI z procesem decyzyjnym.
• W sytuacjach kryzysowych, gdzie systemy AI były używane warto opisać ich działanie w raporcie (SitRep), który będzie punktem odniesienia dla przyszłych zdarzeń kryzysowych. 

Więcej na ten temat zarządzania tu: https://www.fema.gov/sites/default/files/2020-07/fema_nims_doctrine-2017.pdf

8. Badania kliniczne i bioetyka

W medycynie i badaniach klinicznych każda decyzja wymaga świadomej zgody, dokumentacji i analizy ryzyka. To środowisko, w którym zaufanie jest regulowane formalnie i etycznie. W pracy z AI podobna odpowiedzialność dotyczy przejrzystości: użytkownik powinien wiedzieć, że ma do czynienia z systemem generatywnym, który może się mylić lub wytwarzać fikcję. Warto wprowadzić wewnętrzne zasady „świadomego użycia AI”.

Rady:

• W obiegu wewnętrznym wprowadźcie obowiązek oznaczania treści generowanych przez AI w dokumentach wewnętrznych i zewnętrznych. Np. klauzula: dokument surowy (wprost z AI), dokument przejrzany (wstępna weryfikacja), dokument zatwierdzony (przejrzany, sprawdzony, poprawiony i gotowy do użycia). 
• Regularnie oceniajcie ryzyka etyczne i reputacyjne związane z użyciem AI w procesach organizacji. Używanie algorytmów nie jest obojętne dla wizerunku marki, reputacji organizacji czy ludzi. 
• Warto rozważyć stworzenie regulaminów używania algorytmów z precyzyjnie wyznaczonymi zakresami dopuszczalnych użyć. Np. wolno użyć do sprawdzenia wersji roboczej, ale nie do tworzenia wersji roboczej. 

Na szkoleniach namawiam kolejne instytucje na tworzenie regulaminów, ale jeszcze nikogo nie przekonałem. A sam wysiłek tworzenia regulaminu jest już cenny, bo wymaga namysłu nad naszymi działaniami, nad tym, co jest ważne i tym, co wymaga ochrony przed wpływem chatbotów.

9. Meteorologia jako źródło inspiracji dla sposobów pracy z AI

Meteorologia to nauka również ciągłego uczenia się z błędów. Prognozy powstają w oparciu o aktualizowane dane, a każdy wynik jest testowany wobec rzeczywistego stanu pogody. Ten rytm korekt i kalibracji to praktyka, którą można przenieść do pracy z algorytmami. 

Rady:

• Mechanizmy feedbacku mogą wyglądać tak: użytkownicy opisują trafność i przydatność odpowiedzi.
• Dane o błędach odpowiedzi czy predykcji AI są publikowane. Transparentność zwiększa zaufanie i uczy organizację pracy z niepewnością.

10. Architektura informacji i biblioteki wiedzy

Biblioteki od stuleci rozwijały zasady klasyfikacji i zarządzania informacją, które można dziś przenieść do pracy z AI. Kluczowe jest rozróżnienie między katalogowaniem danych (co istnieje) a ich interpretacją (co znaczy). Dobrze zaprojektowana architektura informacji pozwala ludziom i chatbotom odnajdywać kontekst, zamiast generować go od zera przy każdej interakcji.

Rady:

• Warto tworzyć biblioteki promptów i oznaczać ich wersje, tak jak katalogi biblioteczne rejestrują wydania książek.
• Budujcie struktury kontekstowe: każdy dokument generowany przez AI powinien zawierać informacje o źródle, dacie i celu.
• Zadbajcie o spójność, czytelność i jakość danych dla AI/ dla chatbotów też. 

Etnografia organizacyjna i obserwacja zachowań użytkowników

Każda organizacja ma własne rytuały i język pracy z technologią. Etnografia organizacyjna pozwala zobaczyć to, co zwykle umyka w raportach, czyli mikrointerakcje, nieformalne praktyki i emocje związane z używaniem AI. Obserwowanie, jak ludzie naprawdę rozmawiają z chatbotami, jakich słów używają, czego się obawiają lub co omijają, ujawnia prawdziwą kulturę informacyjną firmy. Zrozumienie tych zachowań pomaga projektować systemy bardziej dopasowane do użytkowników i ich stylów poznawczych.

Powinniśmy mieć świadomość własnego wpływu na dane. W tym kontekście oznacza to, że prompt (język, ton, słownictwo, skojarzenia) wpływają na wynik. Również z powodu wpływu naszych oczekiwań każdy prompt powinien mieć część, gdzie opisana jest intencja i kontekst. Ta część dla chatbotów jest bezcenną informacją (inżynieria kontekstu), ale po jakimś czasie staje się ważną informacją dla samego usera i dla organizacji. 

W ramach takiego podejścia, należałoby regularnie prowadzić wewnętrzne obserwacje i wywiady na temat tego, jak ludzie używają AI, jakie mają przyzwyczajenia i gdzie pojawia się frustracja.

FAQ: Zaufanie, Chatboty i Etnografia AI

1. Dlaczego warto mówić o „zaufaniu” wobec chatbotów?
Bo ludzie mają naturalną tendencję do przypisywania intencji nawet maszynie. Chatbot nie jest ani wiarygodny, ani niewiarygodny. To narzędzie, które czasem działa dobrze a czasem gada bzdury. Zaufanie powinno być procedurą, nie emocją.

2. Czy chatbot naprawdę może być „członkiem zespołu”?
Nie. Ale bywa traktowany w ten sposób. Ludzie konsultują się z nim, delegują zadania a nawet spierają z nim. Ten antropomorficzny skrót myślowy warto zaakceptować zamiast z nim walczyć. Tyle, że zachowując zasady kontroli informacji.

3. Czym jest „Etnografia AI”?
To obserwacja tego, jak ludzie i algorytmy wspólnie tworzą kulturę poznawczą organizacji. Czyli badanie nie tego, co AI potrafi, tylko jak ludzie z niej korzystają. Kto ufa modelom, kto im nie wierzy, jakie rytuały wytwarzają się wokół promptów i poprawek.

4. Jak można nauczyć się zaufania do AI od innych zawodów?
Nie ma powodu, by wymyślać koło od nowa. Wywiad ma Kod Admiralicji, nauka ma peer review, dziennikarze mają fixerów, piloci mają procedurę readback–hearback, a finansiści — zasadę czterech oczu. Każda z tych metod to inny sposób zarządzania niepewnością.

5. Jak wygląda ocena wiarygodności chatbotów w praktyce?
Zróbcie własny system oceny: oznaczajcie źródła, opisujcie prompty, zapisujcie wersje odpowiedzi i notujcie trafność. Po kilku tygodniach powstanie wewnętrzny indeks wiarygodności – wasz organizacyjny „Kod Admiralicji”.

6. Co z metod naukowych przyda się w pracy z AI?
Dokumentowanie promptów, replikacja wyników i transparentność procesu. Nie chodzi o akademicką pedanterię, tylko o możliwość odtworzenia myślenia. AI to laboratorium, a nie czarna skrzynka.

7. Czy AI może pełnić rolę fixera, jak w dziennikarstwie?
Tak, jeśli pamiętasz, że fixer tłumaczy, ale nie tworzy za ciebie. AI może uprościć język, ale nie powinno nadawać sensu. Zawsze sprawdzaj tłumaczenie i nigdy nie publikuj wersji bez własnej korekty i weryfikacji źródeł.

8. Co lotnictwo ma wspólnego z chatbotami?
Oba systemy zawodzą wtedy, gdy ktoś źle zrozumie komunikat. Pętla readback–hearback („powtórz, co zrozumiałeś”) to banalny, ale dość skuteczny sposób eliminacji niejasności.

9. Czy procedury wojskowe naprawdę się tu przydają?
Mogą się przydać. Zasada two-person rule chroni przed samotnymi decyzjami na podstawie halucynacji AI. A debriefing po każdej sesji pozwala wyciągać wnioski, zamiast powtarzać błędy.

10. Co to jest red teaming AI i po co to komu?
To sztuka testowania modeli przez próby ich złamania. W organizacjach to akt higieny poznawczej: kto nie próbuje obalić swoich wyników, ten prędzej czy później staje się ich ofiarą.

11. Jakie inspiracje daje świat finansów i audytu?
Zasada czterech oczu i ścieżka audytowa. Każdy plik, prompt, poprawka i decyzja powinny mieć właściciela. Bez tego nie wiadomo, czy pomyłkę zrobił człowiek, chatbot czy przypadek.

12. Co z zarządzania kryzysowego można przełożyć na AI?
Wyznaczcie rolę „dowódcy informacji”, czyli osoby odpowiedzialnej za to, by dane z AI trafiały do właściwego miejsca i nie zniekształcały decyzji.

13. Jak bioetyka ma się do chatbotów?
Wymusza świadomą zgodę. Ludzie muszą wiedzieć, że tekst, który czytają, został wygenerowany przez AI. Ukrywanie tego to nie innowacja, tylko ładnie opakowane kłamstwo.

14. Co meteorologia ma wspólnego z uczeniem maszynowym?
Stałą korektę błędów. Prognozy się mylą, więc meteorolodzy nieustannie porównują przewidywania z rzeczywistością. Organizacje korzystające z AI powinny robić to samo.

15. Dlaczego biblioteki są lepszym wzorem niż startupy?
Bo przez wieki opanowały sztukę porządkowania wiedzy. Architektura informacji i wersjonowanie promptów to nowoczesna forma katalogowania.

16. Po co obserwować, jak ludzie rozmawiają z chatbotami?
Bo właśnie tam rodzi się prawdziwa kultura poznawcza organizacji. Nie w dokumentach strategii, tylko w codziennych mikrointerakcjach. W tym, jak użytkownicy poprawiają albo omijają reguły.