Wiosną 2026 roku amerykańskie samoloty były już w powietrzu, gdy okazało się, że raport wywiadowczy uzasadniający operację przeciw chińskiemu statkowi zmyślił chatbot. Misję przerwano w ostatniej chwili — o incydencie poinformowała 18 września stacja CNN, a sprawę opisał TechCrunch.
Najważniejsze w skrócie
- Analityk Special Operations Command użył chatbota do syntezy danych open source i wywiadu sygnałowego
- Model błędnie odczytał manifest ładunku — uznał, że statek wiezie komponenty programu broni jądrowej
- Drugie zapytanie sformatowało błąd w oficjalnie wyglądające podsumowanie, które rozeszło się po kanałach dowodzenia
- Operację odwołano już po starcie samolotów, unikając bezpośredniej konfrontacji z Chinami
Dwa zapytania, jeden fałszywy raport
Analityk odpytał chatbota, by połączyć dane z otwartych źródeł z niejawnym wywiadem sygnałowym. Model źle zinterpretował manifest ładunku?manifest ładunku: Dokument przewozowy wyliczający, co dokładnie znajduje się na pokładzie statku, w jakiej ilości i dla kogo. statku. Drugie zapytanie kazało temu samemu narzędziu przekształcić ustalenia w oficjalne podsumowanie. Powstały dokument czytał się jak zweryfikowany produkt wywiadowczy i krążył po kanałach dowodzenia w trakcie wojny z Iranem.
Diagram pokazuje, w którym miejscu łańcucha zabrakło potwierdzenia ustalenia w niezależnych źródłach.
Ten drugi krok jest istotniejszy niż sama halucynacja. Standardowy proces wymaga potwierdzenia ustalenia w kilku niezależnych źródłach, zanim trafi ono do decydenta. Tutaj formatowanie zastąpiło weryfikację.
Szybkość kill chainu kontra kontrola
Pentagon otwarcie traktuje AI jako sposób na skrócenie kill chainu?kill chain: Wojskowa sekwencja od wykrycia celu, przez identyfikację i decyzję, po uderzenie. Skracanie jej oznacza mniej czasu na każdy z tych kroków. i utrzymanie przewagi nad Chinami. GenAI.mil, platforma CDAO, wystartowała z modelem Gemini, a od 31 sierpnia 2026 oferuje także ChatGPT i Grok for Government. Według DefenseScoop w czerwcu 2026 korzystało z niej 1,5 mln osób.
Jake Steckler z GovAI, były oficer lotnictwa US Army, w sierpniowym raporcie punktował organizacyjne i operacyjne bariery wdrażania AI w armii.
Ważne jest, by żołnierze rozumieli niepewność wpisaną w naturę LLM-ów. Jest to szczególnie krytyczne przy każdej decyzji, która może prowadzić do użycia siły.
Jake Steckler, research scholar w GovAI, weteran US Army.
Dlaczego to ważne?
Problemem nie jest sama halucynacja, lecz brak tarcia między wygenerowanym tekstem a decyzją. Model nie musi być autonomiczny, by wpłynąć na użycie siły — wystarczy, że jego wynik wygląda jak zweryfikowany produkt wywiadowczy. Presja na skracanie kill chainu usuwa dokładnie te etapy kontroli, które wcześniej wyłapywały fałszywe przesłanki. Skutki wykraczają poza jeden incydent, bo dotyczą zaufania do całej warstwy analitycznej. Tym razem zadziałało szczęście, a nie procedura.
Co dalej?
- DefenseScoop zapowiada dodanie GPT-5.6 Terra do GenAI.mil — kolejny model poszerza powierzchnię ryzyka
- Zidentyfikowane ryzyko: dopóki wynik LLM-a da się sformatować w dokument nieodróżnialny od zweryfikowanego materiału, scenariusz jest powtarzalny
- Steckler argumentuje za zabezpieczeniami, nie za wycofaniem narzędzi — szybkość ponad bezpieczeństwo podkopie zaufanie do AI w wojsku
