Een auto die een situatie trof die hij nooit had gezien

Op 20 juni 2026 reed een lege Zoox-robotaxi in Las Vegas af op een actieve brand die nog niemand met pylonen had afgezet. Het was er dicht van de rook, en de auto, gebouwd door de afdeling voor autonome voertuigen van Amazon, zag daarin geen reden om te stoppen. Hij reed de rook in, remde hard, probeerde uit te wijken en kwam tot stilstand. Een operator van Zoox liet het voertuig daarna op afstand achteruitrijden, en de hulpdiensten zetten de plek af met pylonen.

Er raakte niemand gewond, en er zaten geen passagiers in. Maar het voorval bracht een gat aan het licht dat geen enkele demonstratie had blootgelegd: het systeem had geleerd een afgezette incidentlocatie te mijden, en hier lag een incidentlocatie die nog niet was afgezet. De opgeruimde werkelijkheid waarop het getraind was en de rommelige werkelijkheid die het aantrof, waren niet hetzelfde.

Waarom een verwarde auto tot een terugroepactie voor de hele vloot leidde

De oplossing was niet een voertuig repareren, maar ze allemaal bijwerken. Zoox meldde het voorval op 8 juli bij de Amerikaanse verkeersveiligheidsdienst en maakte op 17 juli bekend dat het een software-update had uitgerold naar zijn volledige vloot van 105 auto's, waarmee ze dichte rook bij incidenten kunnen herkennen en erop reageren. In een autonome vloot draait elke auto hetzelfde model, dus houdt elke auto dezelfde blinde vlek totdat die blinde vlek verholpen is.

Daar moet elke eigenaar van een AI-systeem even bij stilstaan. Zodra uw logica in een gedeeld model zit in plaats van in het oordeel van veel afzonderlijke mensen, is een gemist geval geen op zichzelf staande fout. Het is een gebrek dat in elke kopie zit te wachten op dezelfde aanleiding. Het voordeel is dat een update ze allemaal repareert; het nadeel is dat de fout van meet af aan in allemaal zat.

De beslisval: de demo aanzien voor de werkelijkheid

Het ging hier niet mis door slechte techniek, maar door een trainingsset die schoner was dan de werkelijkheid. Een model dat duizenden goed gemarkeerde incidenten te zien krijgt, oogt vlekkeloos tot de dag dat het er een tegenkomt zonder markering. Het zeldzame, lastige geval valt buiten de data en dus buiten de bekwaamheid van het systeem, en dat het op het gewone geval zeker is, zegt niets over het zeldzame.

Eigenaren trappen in dezelfde val als ze een AI-tool beoordelen op een gladde leveranciersdemo of een proef op nette data. De demo is de afgezette plek. Wat telt is wat het systeem doet op de plek die niet is afgezet: de misvormde factuur, de klant die zijn vraag verkeerd formuleert, de rook die het nooit heeft gezien. Baseer uw beslissing op die randgevallen, want daar komen de kosten terecht.

Wat u moet doen voordat u een autonoom systeem vertrouwt

Behandel elke AI-inzet als een vloot, ook als het om een enkel proces gaat. Schrijf op welke situaties uit de praktijk het tijdens het testen niet zal tegenkomen, en ga daar voor de lancering doelbewust naar op zoek in plaats van te wachten tot ze zich aandienen. Zorg dat een mens kan ingrijpen, zoals de operator van Zoox op afstand deed, en ontwerp die interventieroute voordat u hem nodig hebt, niet midden in het incident.

Plan daarna de terugroepactie waarvan u hoopt dat u hem nooit hoeft uit te voeren. Bepaal vooraf hoe een correctie elke instantie bereikt, hoe snel dat gaat en wie hem goedkeurt, want in een systeem met een gedeeld model is het updatemechanisme het veiligheidsmechanisme. De bedrijven die hun eerste ernstige randgeval overleven, zijn de bedrijven die hun reactie klaar hadden voordat de rook kwam, niet de bedrijven die ter plekke improviseerden.

Lees hierna: Uw door mensen gecontroleerde data was al half machine  |  Twee AI-reuzen willen nu je integrator zijn