Computersysteem bepaalt wie sterft

In EenVandaag gaf ik commentaar op Lavender: een computersysteem dat Israël gebruikte om te bepalen wie er sterft in Gaza. Belangrijkste punten: (1) Onvoldoende menselijke controle: met het Lavender systeem kwamen 37.000 Palestijnen op een kill-list te staan. Deze werd zonder betekenisvolle controle opgevolgd. Het systeem werkt volgens de logica: als je een aantal zelfde kenmerken hebt als een Hamas militant, dan ben jij automatisch ook een Hamas militant. Deze rechtlijnige, computationele logica is gevaarlijk en voorbarig. (2) Oorlogsvoering wordt afstandelijker: het is makkelijker om targets te dehumaniseren als een systeem aanwijst wie je moet hebben en jij blind op de statistiek van het systeem vertrouwt. Of in de woorden van een van de soldaten: “Everything was statistical, everything was neat — it was very dry.” (3) De beslissing wie sterft komt dichter bij de machine te liggen: het aantal targets werd met Lavender zo hoog, dat mensen geen betekenisvolle afwegingen meer maakten: “Officers were not required to review the AI system’s assessments, in order to save time and enable the mass production of human targets without hindrances.” Fragment hier terug te kijken.