Listening to the future

In de podcast Listening to the future werd ik door Jarno Duursma geinterviewd over de ethische en praktische grenzen van AI. Zijn kunstmatig intelligente systemen slim of dom? Kunnen we vriendschap sluiten met kunstmatig intelligente software? Kan dit soort software onze emoties detecteren? Is de corona-app een goed idee? Waarom laten we algoritmes steeds meer beslissingen voor ons maken? Het gesprek is hier terug te luisteren.

Expertpanel appathon VWS

Het Ministerie van VWS nodigde mij uit om deel te nemen aan een van de expertpanels bij de corona-appathon. Ik was blij met de uitnodiging maar na een weekend kritische vragen stellen aan zeven app-ontwikkelaars blijf ik achter met een gevoel van waanzin. We investeren tijd, geld en energie in struisvogeloplossingen. Van begin af aan waarschuwden experts dat een corona tracing-app geen effectief middel is en een schijnveiligheid kan creëren. GGD’s zijn meer geholpen met simpele oplossingen op basis van bestaande middelen, dan met schijnoplossingen op basis van complexe technologieën. In plaats van een appathon met zeven apps die de KPMG securitycheck niet eens konden doorstaan, had ik liever een pandemiethon gezien waarin transitie-experts, scenario ontwerpers en mensen uit de praktijk maatregelen mogen presenteren die het probleem bij de wortel aanpakken. De grootschalige vernieling van ons ecosysteem is de voornaamste aandrijver van pandemieën. De economie opengooien met een corona tracing-app om zo snel mogelijk weer terug te gaan naar het oude model is een verspeelde kans. We hebben geen app nodig, maar een paradigma-shift:

Corona-app: is wiskundige logica wenselijk?

Marli Huijer in de Volkskrant: “In de afweging tussen eenzaamheid en het risico op de dood, zou het kunnen dat niet iedereen voor een quarantaine kiest.Een man die precies zo’n andere afweging maakt is Ko. Hij wil afscheid nemen van zijn dementerende vrouw, ook als dat betekent dat hij ziek kan worden en daarna in quarantaine moet blijven. Dit soort overwegingen vallen weg als een corona-app van de overheid dat namens jou gaat meebepalen. Het is geen kwestie van privacy-vriendelijke app of niet, het is een kwestie van gewogen beslissingen en gewogen contactonderzoek onderdrukken met een rigide systeem gebaseerd op wiskundige logica in plaats van menselijke logica. Het debat beperkt zich tot “mijn corona-app is nog privacy vriendelijker dan de jouwe.” De vraag die we moeten stellen is: in hoeverre is het zinvol en wenselijk om ons sociale verkeer in tijden van corona te onderwerpen aan wiskunde logica en wat zijn de maatschappelijke gevolgen daarvan? Zie ook mijn commentaar in Trouw op de corona-app.

AI is een krachtig wapen, maar niet tegen corona

Vandaag een ingekorte versie van mijn longread over AI als wapen tegen corona op Brainwash. AI is een krachtig wapen, maar niet tegen corona. Het is vooral een wapen waarmee we een ongemakkelijke les proberen af te wenden. Want terwijl we op het virus schieten met onze apps en hightech tools, hoeven we onszelf en onze collectieve systemen niet kritisch te bevragen. Stevenen we af op een technologische quick-fix die een duurzamere aanpak in de weg staat? “De crisis van het coronavirus draagt het DNA van onze moderne levensstijl: consumering, globalisering, mediatisering, individualisering, technocratisering. Is het virus onze vijand, of is het onze levensstijl die het ontwierp, de angst die het onderhoudt of de controle waar we naar hunkeren?” aldus psychiater en filosoof Damiaan Denys.

Veiligheid uit de glazen bol

Ons peer-reviewed artikel over predictive policing is gepubliceerd in Tijdschrift voor Veiligheid. De verwachtingen van big data, criminaliteit voorspellende algoritmen en AI zijn hoog gespannen. Maar hoe wenselijk zijn deze toepassingen? De inzet van datagedreven technologieën heeft niet geleid tot een daling in criminaliteit. Naast teleurstellende resultaten, zijn er onwenselijke neveneffecten. In deze publicatie bestuderen Remco Spithoven (Lector Maatschappelijke Veiligheid, Hogeschool Saxion) en ik hoe dat komt. We analyseren problemen met structurele fouten in brondata, non-transparante en invalide algoritmen, correlatie en causaliteit problematiek, amorele besluitvorming en ethische en rechtsstatelijke bezwaren. We pleiten voor weloverwogen toepassingen van big data en roepen op om menselijke veiligheidsprofessionals op waarde te schatten. Een afgewogen inzet van big data kan ondersteunen in hun complexe taakstelling, maar veiligheid blijft mensenwerk.

Revolution of trust

“Ons vertrouwen brokkelt af en de low trust society lijkt een realiteit. Steeds meer informatie wordt in twijfel getrokken, wetenschap wordt afgedaan als mening en de tijd waarin Mad Men een overtuigende campagne kon bedenken is voorbij. Een witte doktersjas en muur vol diploma’s? De patiënt heeft al een analyse voordat er een woord is gesproken. Iemand écht voor je winnen is moeilijker dan ooit.” Op het ABN AMRO Revolution of Trust congres ging ik in gesprek over authenticiteit. Op marketingafdelingen en in boardrooms wordt hier volop over nagedacht maar invulling geven aan het begrip is lastig. Mensen worden steeds meer omringd door data-schandalen, digitale personages, chatbots en algoritmische systemen. Wat doet dit met ons gevoel van vertrouwen en onze beleving van authenticiteit?

BNR Nieuwsradio De Werkprofessor

In de BNR podcast De Werkprofessor sprak ik met Wendy van Ierschot en ondernemer Sebastiaan van der Lans over de manier waarop we technologie soms overschatten. Algoritmen zijn geen duizend-dingen-doekjes voor maatschappelijke problemen. Welke aspecten van werk willen we wel en niet kwantificeren? Gaan recruitment algoritmen diversiteit op de werkvloer stimuleren? En hoe zit het met algoritmische transparantie en het energieverbruik van deze systemen?

Overblown AI claims #1

AI can spot cancer more accurately than doctors. Are you familiar with this headline? We ought to believe that AI systems outperform humans in almost everything. AI systems outperform humans because we often oversimplify the tasks and jobs that humans do. If we reduce everything to a matter of data processing, then it is easy to claim that AI systems are better at it. However, the skills of doctors and nurses are more complex than processing data:

“The narrative of AI and health is one-dimensional and reduces the complexities of medical diagnosis to a few numbers. Doing so fails to account for the parts of health care work that are less easy to quantify.”

“Google’s algorithm only produces binary outcomes: yes, it’s cancer, or no, it’s not. There needs to be space for a third option that represents the gray area of diagnosis and prolongs debate rather than closing it off.”

Overblown AI claims #2

“AI helps helps companies to recruit talented staff”, “AI can read your emotions”. Be aware of false and overblown claims:

“There are no peer-reviewed studies proving that analyzing facial expressions can help pick the best workers. The hype around emotion recognition (a $25 billion market by 2023) has created a backlash from tech-ethicists who fear that the technology could raise the same kinds of discrimination problems as predictive sentencing or housing algorithms.”

“Companies can make outrageous and false claims, because the buyer is not that well educated. Commercialization is hurting people potentially, because it’s making claims that are determining people’s access to resources.”

Synthetische vriendschap

In het Groninger Forum sprak ik namens SETUP over AI en ‘synthetische vriendschap’. Wat zijn de motieven van de industrie achter pratende barbies, digitale assistenten en chatbots die zo empathisch mogelijk moeten overkomen? En wat brengt een vriendschap zonder tegenspraak ons? Wat ik mee naar huis neem is dat veel mensen in de Westerse wereld niet blij worden van de vermenselijking van robots en dat we de verschillen tussen mensen en robots moeten omarmen en benutten.

Surveillance XL

Sta je toevallig met je gezicht op de foto van een concert, evenement, bedrijfsuitje of sportwedstrijd? Dan zit jouw gezicht waarschijnlijk in de megadatabase van Clearview AI. In het programma Nieuwsweekend op NPO Radio 1 sprak ik over de verstrekkende gevolgen van de nieuwe gezichtsherkenningsapp waarmee 600 Amerikaanse overheidsdiensten in 3 miljard gezichten graven. Clearview heeft tevens de ambitie om de app uit te brengen in de vorm van een Augmented Reality bril voor particulier gebruik. Zie je iemand op straat? Maak een foto en alle online informatie over de persoon in kwestie wordt direct zichtbaar.


BNR Nieuwsradio De eeuw van mijn dochters

In het BNR programma De Eeuw van mijn Dochters sprak ik namens SETUP over een breder begrip van privacy. Presentator Art Rooijakkers vraagt zich af: hebben mijn dochters straks nog geheimen? We krijgen vaak te horen dat digitale systemen en algoritmen ons beter kennen dan wij onszelf kennen. Dat nuanceer ik graag. Het grootste gevaar van big data niet is dat bedrijven en overheden ons te goed kennen, maar juist dat ze ons niet kennen en ondertussen claimen ons wel te kennen op basis van onze data. We zijn geen optelsom van onze data. We zijn meer dan onze digitale voetsporen. En we zijn zeker meer dan de simplistische categorieën waar algoritmen ons in hebben geplaatst op basis van groepen mensen die dezelfde dingen aanklikken.

Graag meer AI realisme in 2020

Hopelijk gaan we in 2020 met meer realiteitszin naar AI kijken. Bijvoorbeeld zoals Alfred Kleinknecht (TU Delft) naar de toekomst van werk kijkt:
(1) AI zou een productiviteitsrevolutie ontketenen. Volgens een veelbesproken studie van Frey en Osborne zit 47% van alle werknemers in de VS in de ‘gevarenzone’. Zulke verhalen staan in schril contrast met de statistieken.
(2) We denken dat techniek zich ­lineair ontwikkelt. Dat beeld klopt niet. We hebben te maken met de wet van de afnemende meeropbrengsten: veel technologische producten zijn aan het einde van hun cyclus. Van de eerste naar de tweede iPhone was een verbetering. Nu voegt de nieuwste smartphone weinig toe.
(3) Het is altijd de vraag of nieuwe vindingen kunnen concurreren met bestaande systemen. Vaak zie je dat automatiseringssystemen technisch functioneren, maar commercieel nog niet uit kunnen. Een systeem waarbinnen zelfrijdende auto’s veilig mensen vervoeren is kostbaar. Denk aan alle soft- en hardware, dataverwerking, het energieverbruik. Bij miljoenen zelfrijdende voertuigen wordt dat problematisch. Helemaal als je CO2-belasting meetelt. De kans is groot dat een taxi met chauffeur goedkoper blijft.

The Age of Surveillance Capitalism

My book-review of ‘The Age of Surveillance Capitalism’ is published in Delphi. Zuboff makes clear how we fail to understand the exploitative business model that underpins our digital world and the immense techno-social challenges we are facing today. She makes a convincing case as not the technologies themselves, but the business model, behaviorist worldview and ideological principles that underlie our data-driven technologies are her central objects of analysis.
(1)
Big Tech aims to create a computer mediated hive where our mutual visibility becomes the habitat in which we attune to one another, producing social patterns based on imitation that can easily be manipulated for guaranteed outcomes. Think for example of social media.
(2)
The surest way to predict behavior is to intervene at its source and shape it. In modifying our behavior for profit without our awareness, surveillance capitalism shifts the locus of control over the future tense from ‘I will’ to ‘You will’, supplanting autonomous with heteronomous action, resulting in more automated behavior.
(3)
Giving users ownership of their data will not give them power over the predictions derived from it. There is no point in owning data that should not exist in the first place.

Voor altijd verder leven in de cloud

In samenwerking met SETUP deed ik onderzoek naar de digitale onsterfelijkheid industrie. In een enthousiaste zoektocht naar het eeuwige leven, maken techbedrijven, futurologen en wetenschappers zich schuldig aan een grove versimpeling van de werkelijkheid. In Vrij Nederland schrijf ik over de valse beloften van brain uploading en de realiteit van chatbots en avatars waarin mensen zichzelf proberen te vereeuwigen. Wat moeten we ons voorstellen bij een digitaal bestaan zonder einde? Wát leeft er precies voort en is het eeuwige leven in de cloud ook een beetje leuk en ecologisch verantwoord? Ook te beluisteren als podcast.

AI demystification Top 3

(1) David Watson on our tendency to anthropomorphize AI: “Deep neural networks deviate from human modes of learning in several fundamental and alarming ways.” “Compared to human brains, deep neural networks are brittle, inefficient, and myopic.”
(2)
Luciano Floridi on what I call ‘artificial unintelligence’: “Many people think that AI is about coupling artificial agency and intelligent behaviour into new artefacts. The opposite is true: AI decouples successful problem solving from intelligent behaviour. It is thanks to this decoupling that it can colonise the boundless space of tasks, whenever these can be successfully performed without any understanding, awareness, sensitivity, concerns, hunches, insights, meaning, experience, wisdom—and all those other ingredients that contribute to qualifying human intelligence.”
(3) Jonathan Zittrain
on knowledge without understanding: “Most machine-learning systems are statistical-correlation engines. They can’t explain why they think some patients are more likely to die, because they don’t ‘think’ in any colloquial sense of the word—they only answer. As we begin to integrate their insights into our lives, we will, collectively, begin to rack up more and more intellectual debt.”

‘Redeneren’ als een computer

Op het jaarcongres Vereniging voor Filosofie en Geneeskunde gaf ik een interactieve sessie over AI en algoritmen in de zorg. Samen met zorgprofessionals en data-experts bespraken we neurale netwerken die huidkanker herkennen, algoritmen die depressie beloven te detecteren op basis van gezicht- en stem analyse, en textmining algoritmen die kindermishandeling beloven te voorspellen. Wat ik mee naar huis neem:
(1) de manier waarop zorgbeslissers naar de ethische implicaties van deze systemen kijken hangt niet alleen af van hun begrip van AI beslisprocessen, maar ook van hun begrip van menselijke beslisprocessen en de aard van AI.
(2) zorgbeslissers moeten op dezelfde rationele manier gaan redeneren als computers wanneer ze een beroep doen op AI, terwijl dat niet altijd wenselijk is (denk aan vrijwillig levenseinde).
(3) momenteel wordt meer geld geïnvesteerd in AI oplossingen dan in zorgprofessional oplossingen (zoals meer tijd per consult) terwijl beiden nodig zijn.
.
David Graeber over de averechtse effecten van digitalisering in de zorg in VPRO Tegenlicht.

Queen B and her swarm of robotic humans

Vorige week maakte het publiek kennis met Queen B: een AI-systeem dat persoonlijke data verzamelt en werknemers stuurt met stemberichten: “You look a bit tired, I suggest you grab a coffee”, “I would not formulate that sentence that way”. Queen B maakt deel uit van de speculatieve werkplek die Studio LONK ontwierp om ons te laten nadenken over de wenselijkheid van een datagedreven werkplek. LONK vroeg mij het aansluitende debat een duwtje te geven. Gaat Queen B ons effectiever maken op de werkvloer? Bekijk de video en lees hier de column:

Synthetic realities

Voor de 25e keer organiseerde Sogeti het VINT symposium. Dit jaar over de synthetische generatie die opgroeit zonder onderscheid te maken tussen on- en offline. Ik gaf een keynote over authenticiteit en de manier waarop surveillance kapitalisme en digitale technologieën onze opvattingen over echt en nep beïnvloeden. Boodschap: techbedrijven sturen ons gedrag zodat ze het kunnen blijven voorspellen. We drijven te ver af van de werkelijkheid omdat met de opkomst van AI een verdienmodel is ontstaan waarbij ons gedrag en onze blik op de werkelijkheid op oneerlijke wijze worden gestuurd. Bekijk hier de presentatie en het bijbehorende interview.

Hoe intelligent is onze samenwerking met AI?

In hoeverre zijn onze machines intelligent? Het is een relevante vraag, maar urgenter is de vraag in hoeverre en op welke manier onze samenwerkingen met AI intelligent zijn. Mijn artikel in Delphi – Interdisciplinary Review of Emerging Technologies gaat over intelligente en domme samenwerkingen met AI.

Een tip voor culturele ontnuchtering

Lelystad is een pretentieloze polderstad waar de publieke ruimte nog niet is volgeplempt met pop-up stores, pratend straatmeubilair, groetzones en andere ditjes en datjes die ons moeten afleiden van het gat in de zin van ons bestaan. Want als de mens iets niet kan, dan is wel de zinloosheid van zijn bestaan omarmen. Daarom vlucht hij in ambachtelijk bier, yoga, ingewikkelde koffies en andere hipster-religies waar Lelystad nog niet mee besmet is.

Deze week verscheen mijn ode aan Lelystad op Hard//hoofd.

Tip: Ga naar Lelystad

Robot journalistiek

Hebben journalisten straks nog een baan? Wrong question. Heerlijk als robots het monomane schrijfwerk van feiten-opsommende artikelen kunnen vervangen. Zo krijgen journalisten meer tijd om met intelligentie, bewustzijn, creativiteit, gevoel voor context en morele duiding diepgaande artikelen te schrijven. De vraag is niet of robotjournalisten menselijke journalisten vervangen, de vraag is hoe beiden complementair zijn aan elkaar.

Vaarwel menselijke intelligentie?

HARD//HOOFD ESSAYREEKS

Terwijl 2017 is bestempeld als het jaar van de artificiële intelligentie, beweren experts dat er helemaal geen sprake is van echte artificiële intelligentie. Nieuwsberichten over superintelligente machines die de boel volledig overnemen hebben meer met science fiction en sensatiejournalistiek te maken dan met machine learning.

Cyborg ratrace

HARD//HOOFD ESSAYREEKS

Een extra zintuig erbij of een chip in je hersenen waarmee je jezelf aansluit op het internet; dat klinkt als science-fiction maar is het niet. De nieuwste technologische snufjes beperken zich allang niet meer tot losse apparaten die we in onze broekzakken steken.