Auto, które napotkało miejsce, jakiego nigdy nie widziało

20 czerwca 2026 roku pusta robotaksówka Zoox w Las Vegas podjechała ku czynnemu pożarowi, którego nikt jeszcze nie odgrodził pachołkami. Było tam gęsto od dymu, a auto, zbudowane przez dział pojazdów autonomicznych Amazona, nie odczytało tego jako powodu do zatrzymania. Wjechało w dym, ostro zahamowało, próbowało odbić w bok i stanęło. Zdalny operator Zoox kazał następnie pojazdowi się cofnąć, a ratownicy ustawili pachołki i odgrodzili to miejsce.

Nikt nie ucierpiał, a auto nie wiozło pasażerów. Ale ta chwila obnażyła lukę, której nie wydobyła żadna demonstracja: system nauczył się traktować odgrodzone miejsce zdarzenia jako obszar zakazany, a tutaj miał przed sobą miejsce zdarzenia, którego jeszcze nie odgrodzono. Uporządkowana wersja, na której go trenowano, i chaotyczna, którą napotkał, to nie to samo.

Dlaczego jedno zdezorientowane auto skończyło się wycofaniem całej floty

Poprawką nie była naprawa jednego pojazdu, lecz aktualizacja ich wszystkich. Zoox powiadomił amerykańskiego regulatora bezpieczeństwa drogowego 8 lipca i ogłosił 17 lipca, że wysłał aktualizację oprogramowania do całej floty 105 aut, dającą im zdolność wykrywania gęstego dymu w miejscach zdarzeń i reagowania na niego. W autonomicznej flocie każde auto uruchamia ten sam model, więc każde auto ma ten sam martwy punkt, dopóki ten martwy punkt nie zostanie usunięty.

To ta część, przy której powinien zatrzymać się właściciel dowolnego systemu AI. Gdy wasza logika mieszka w jednym wspólnym modelu, a nie w osądzie wielu osobnych ludzi, pojedynczy pominięty przypadek nie jest odosobnioną pomyłką. To wada obecna w każdej kopii, czekająca na ten sam wyzwalacz. Zaletą jest to, że jedna aktualizacja naprawia je wszystkie; wadą, że błąd od początku tkwił we wszystkich.

Pułapka decyzyjna: mylenie demonstracji z rzeczywistością

Nie zawiodła tu inżynieria, lecz zbiór treningowy czystszy niż rzeczywistość. Model, któremu pokazano tysiące dobrze oznaczonych miejsc zdarzeń, będzie wyglądał nienagannie aż do dnia, w którym napotka nieoznaczone. Rzadki, niewygodny przypadek leży poza danymi, a więc poza kompetencją systemu, a pewność w częstym przypadku nie mówi nic o rzadkim.

Właściciele wpadają w tę samą pułapkę, gdy oceniają narzędzie AI po dopracowanej demonstracji dostawcy albo pilotażu na uporządkowanych danych. Demonstracja to miejsce odgrodzone. Liczy się to, co system zrobi w miejscu nieodgrodzonym: zniekształcona faktura, klient, który formułuje to nie tak, dym, którego nigdy nie widział. Oprzyjcie decyzję na tych skrajnościach, bo to tam lądują koszty.

Co zrobić, zanim zaufacie autonomicznemu systemowi

Traktujcie każde wdrożenie AI jak flotę, nawet gdy to jeden proces. Spiszcie rzeczywiste sytuacje, których nie napotka w teście, i wyszukajcie je celowo przed startem, zamiast czekać, aż same nadejdą. Miejcie człowieka w gotowości do interwencji, jak zrobił to zdalny operator Zoox, i zaprojektujcie ścieżkę interwencji, zanim będzie potrzebna, a nie w trakcie zdarzenia.

Potem zaplanujcie wycofanie, którego, miejmy nadzieję, nigdy nie uruchomicie. Zdecydujcie z góry, jak poprawka dociera do każdej instancji, jak szybko i kto ją zatwierdza, bo w systemie ze wspólnym modelem mechanizm aktualizacji jest mechanizmem bezpieczeństwa. Firmy, które przetrwają swój pierwszy poważny przypadek brzegowy, to te, które miały reakcję gotową przed dymem, a nie te, które improwizowały już w nim.

Czytaj dalej: Twoje sprawdzone dane już były w połowie maszyną  |  Dwaj giganci AI chcą być twoim integratorem