En bil, der mødte et sted, den aldrig havde set
Den 20. juni 2026 rullede en tom Zoox-robotaxi i Las Vegas mod en aktiv brand, som endnu ingen havde spærret af med kegler. Der var tykt af røg på stedet, og bilen, bygget af Amazons enhed for autonome køretøjer, tolkede det ikke som en grund til at standse. Den kørte ind i røgen, bremsede hårdt, forsøgte at styre væk og standsede. En fjernoperatør hos Zoox bad derpå køretøjet bakke, og redningsmandskabet satte kegler op og spærrede stedet af.
Ingen kom til skade, og bilen havde ingen passagerer. Men øjeblikket blottede et hul, som ingen demonstration havde bragt frem: systemet havde lært at behandle et afspærret skadested som forbudt område, og her lå et skadested, der endnu ikke var spærret af. Den ryddelige udgave, det var trænet på, og den rodede, det mødte, var ikke det samme.
Hvorfor en forvirret bil blev til en tilbagekaldelse i hele flåden
Rettelsen bestod ikke i at reparere ét køretøj, men i at opdatere dem alle. Zoox underrettede den amerikanske færdselssikkerhedsmyndighed den 8. juli og meddelte den 17. juli, at selskabet havde sendt en softwareopdatering ud til hele sin flåde på 105 biler, som giver dem evnen til at opdage tæt røg på skadesteder og reagere på den. I en autonom flåde kører hver bil den samme model, så hver bil har den samme blinde vinkel, indtil den blinde vinkel er rettet.
Det er den del, ejere af ethvert AI-system bør dvæle ved. Når jeres logik bor i én delt model i stedet for i mange enkelte menneskers dømmekraft, er et overset tilfælde ikke en isoleret fejl. Det er en defekt, der sidder i hver eneste kopi og venter på den samme udløser. Fordelen er, at én opdatering retter dem alle; ulempen er, at fejlen sad i dem alle fra begyndelsen.
Beslutningsfælden: at forveksle demoen med virkeligheden
Fejlen her var ikke dårlig ingeniørkunst, men et træningssæt, der var renere end virkeligheden. En model, der har fået vist tusindvis af tydeligt afmærkede skadesteder, ser fejlfri ud lige til den dag, den møder et uafmærket. Det sjældne, akavede tilfælde ligger uden for dataene og dermed uden for systemets kompetence, og at det er sikkert på det almindelige tilfælde, siger intet om det sjældne.
Ejere falder i den samme fælde, når de bedømmer et AI-værktøj ud fra en poleret leverandørdemo eller et pilotforløb på ryddelige data. Demoen er det afspærrede sted. Det afgørende er, hvad systemet gør på det uafspærrede: den fejlformede faktura, kunden der formulerer sig forkert, røgen det aldrig har set. Byg jeres beslutning på de yderpunkter, for det er dér, omkostningen lander.
Hvad man skal gøre, før man stoler på et autonomt system
Behandl enhver AI-indførelse som en flåde, også når det kun er én proces. Skriv de virkelige situationer ned, som den ikke møder i testen, og opsøg dem med vilje før lanceringen i stedet for at vente på, at de kommer af sig selv. Hold et menneske i stand til at gribe ind, som Zoox' fjernoperatør gjorde, og udform indgrebsvejen, før I får brug for den, ikke midt under hændelsen.
Planlæg derpå den tilbagekaldelse, I håber aldrig at skulle gennemføre. Beslut på forhånd, hvordan en rettelse når hver eneste instans, hvor hurtigt det går, og hvem der godkender den, for i et system med én delt model er opdateringsmekanismen sikkerhedsmekanismen. De virksomheder, der overlever deres første slemme grænsetilfælde, er dem, der havde reaktionen klar før røgen, ikke dem, der improviserede i den.
Læs videre: Jeres tjekkede data var allerede halvt maskine | To AI-giganter vil nu være din integrator
