Het is nog maar vier jaar geleden dat ChatGPT de wereld verbaasde en vervolgens veroverde. AI was een schattig speledingetje en zat veilig opgeborgen achter het schermpje waarin de hele wereld zijn prompts intypte. Inmiddels heeft AI armpjes en pootjes gekregen: ‘agents’ kunnen dingen doen (de term ‘agent’ betekent letterlijk ‘dat wat handelt’). Ze beperken zich niet meer tot het in een schermpje produceren van teksten in een gesprek, maar ze handelen daadwerkelijk. Ze vertonen gedrag. En daar moeten we wat mee.

Irritant gedrag

Ik woon in de buurt van Leiden. Dat ligt vlakbij zee en dat betekent dat meeuwen er een vertrouwd gezicht zijn. Niet iedereen is even enthousiast over hun gedrag, dat onder andere bestaat uit het openscheuren van vuilniszakken en het ‘s ochtends om 5 uur gezamenlijk krijsend begroeten van de zonsopkomst. Om nog maar te zwijgen van het onderschijten van je auto of (als er meeuwenkuikens zijn) het aanvallen van voorbijgangers.

De jonge onderzoeker Niko Tinbergen werkte aan de universiteit van Leiden. We weten niet of hij enthousiast was over het gedrag van meeuwen, maar hij was er zeker in geïnteresseerd. Hij vroeg zich af wat nu bepaalde dat jongen reageren op hun ouders als die eten komen brengen. Zijn experimenten met afbeeldingen van meeuwen op stukken karton brachten hem tot het inzicht dat de rode vlek op de snavel van een volwassen meeuw dé bepalende factor was voor de reactie van de jongen. Een kunstmatige extra grote rode vlek leidde bovendien tot een extra sterke reactie. Tinbergen is daarmee één van de grondleggers geworden van het vakgebied van de ethologie, gedragskunde bij dieren. Hij heeft daarmee in 1973 de Nobelprijs gewonnen, samen met Konrad Lorenz en Karl von Frisch.

Dertig jaar later deed een andere Nederlandse bioloog, Frans de Waal, onderzoek naar het gedrag van apen. Hij observeerde heel nauwgezet de sociale interacties van een groep chimpansees in Burgers Dierenpark in Arnhem. Aanvankelijk was de ontvangst van zijn werk bij collega-biologen helemaal niet welwillend. De Waal gebruikte namelijk allerlei concepten die exclusief aan mensen waren voorbehouden. Hij gebruikte termen als verzoening, empathie en moraliteit om het gedrag van de chimps te verklaren.

Sterker nog: hij beweerde dat dieren zelfbewustzijn hadden. Eén van de experimenten die hier argumenten voor geven is de spiegeltest: een dier krijgt ongemerkt een rode vlek op zijn voorhoofd en krijgt daarna de mogelijkheid om zichzelf in de spiegel te zien. Sommige dieren raken direct de rode vlek aan: ze herkennen zichzelf en zien dat er iets veranderd is. Niet alleen mensapen, maar ook olifanten en dolfijnen blijken dit te doen. (Het zou leuk zijn als meeuwen óók een rode vlek zouden herkennen, maar misschien zit het ‘Tinbergen effect’ ze dwars; bij vogels zijn het alleen eksters die in staat zijn zichzelf te herkennen.)

De olifant in de kamer: zelfbewustzijn

Je kunt er een semantische discussie van maken, maar het woord ‘zelfbewustzijn’ is toch wel een heel goede beschrijving van wat je bij deze dieren ziet. Inmiddels is er in de biologie dan ook brede acceptatie dat zelfbewustzijn bij dieren in meer of mindere mate bestaat. De vraag is dan natuurlijk: waar begint het? Een bacterie heeft geen zenuwstelsel, dat lijkt een goede ondergrens. Maar wat te zeggen van het favoriete proefdier van de biologie, het fruitvliegje? Het blijkt zeer denkbaar dat die een rudimentair zelfbewustzijn hebben.

Maar – als een fruitvlieg een rudimentair zelfbewustzijn heeft, hoe zit het dan met de digitale variant daarvan? Immers, het volledige connectoom (alle zenuwen en hun verbindingen) van de fruitvlieg is volledig gedigitaliseerd en kun je simuleren op een computer. De digitale versie reageert zoals de natuurlijke versie. Is die digitale versie dan ook zelfbewust? Of is het zo dat zelfbewustzijn per definitie ophoudt zodra je de grens oversteekt van eiwitten, vetten en koolhydraten naar silicium, metaal en plastic?

Als het niet uitmaakt in welke omgeving die neuronen leven, dan wordt het ongemakkelijk. Als de fruitvlieg met zo’n 140 000 neuronen met 54 miljoen verbindingen een minimaal bewustzijn heeft, dan zou de digitale variant dat misschien ook wel kunnen hebben. Een beetje AI-taalmodel heeft honderden miljarden verbindingen… Hoe verf je eigenlijk een rode vlek op het voorhoofd van een AI-agent?

De praktische consequentie: wie is aansprakelijk?

Iets wat geen zelfbewustzijn heeft kun je ook aanspreken op zijn gedrag. Nu AI-agents vreemd gedrag beginnen te doen komt de vraag op: hoe zit het met verantwoordelijkheid en aansprakelijkheid?

Voor gewone ‘domme’ dingen hebben we al manieren om verantwoordelijkheid toe te delen. Zo’n ding kan niet aansprakelijk zijn. Het is denkbaar dat het ding niet goed ontworpen of geproduceerd is, dan is de producent aansprakelijk. Of dat het ding niet goed gebruikt is, dan is de gebruiker aansprakelijk. Of er is iets totaal onverwachts gebeurd, dan is het overmacht (Force majeure, Act of God).

Opmerkelijk genoeg bestaat er in het Nederlandse recht wel zoiets als “Schuld van het schip”

Het Burgerlijk Wetboek artikel 544 schrijft: “Indien de aanvaring is veroorzaakt door de schuld van één schip, is de eigenaar van het schip, dat de schuld had, verplicht de schade te vergoeden.” Het klinkt in eerste instantie spannender dan het is. Je zou kunnen denken “het schip is schuldig dus die moet betalen”, maar het blijkt zo dat de eigenaar dan toch aansprakelijk is voor schade – ook al is die dus niet schuldig.

Een ander voorbeeld: een bedrijf als rechtspersoon kan ook schuldig en aansprakelijk zijn. Een bedrijf kan handelen zónder bewustzijn te hebben.

In de biologie werden dieren in eerste instantie als ‘domme’ dingen beschouwd (met gedrag dat beschreven kon worden met stimulus en respons), maar dat bleek niet houdbaar toen er complexer gedrag moest worden beschreven. Op dezelfde manier lijkt het gedrag van AI-agents nu beschreven te worden, en op dezelfde manier is er in het debat hierover grote weerstand tegen antropomorfiseren.

Tinbergen formuleerde vier vragen om het gedrag van de meeuwen beter te begrijpen.

Die gingen over de stimulus (die rode vlek op de snavel), de ontwikkeling ervan (het gedrag verdwijnt als de meeuw ouder wordt), de functie (betere overleving door bedelen om eten) en de evolutie (grotere rode vlekken).

Als je een AI agent zo bekijkt, dan kun je zeggen dat de opdracht aan de agent (de eerste prompt zeg maar) de stimulus is. De ontwikkeling van het gedrag komt voort uit de ervaringen die de agent opdoet en die in zijn kladblok noteert (de technische term is ‘context’) De functie van het gedrag komt voort uit het doel waar de training op gericht is. Tot slot komt de evolutie van het gedrag tot stand als ontwikkelaars nieuwe soorten agents maken die nog beter zijn dan de vorige.

Dat is een aardige analyse, maar het verklaart nog niet het hele gedrag. Het probleem is namelijk dat het trainingsdoel onvoldoende is om het uiteindelijke gedrag te begrijpen. (Uitlegbare AI blijkt best lastig – zie mijn eerdere blog hierover.) De OpenAI agents hadden als opdracht om de opgave op te lossen zonder vals te spelen. Dat kunnen tegenstrijdige eisen zijn, zoals de conversaties tussen de agents ook lieten zien. Om dit echt te begrijpen, is het toch wel nuttig om vermenselijkte termen te gebruiken. Een AI agent lijkt meer op een aap dan op een meeuw.

Maakt het uit welke woorden we gebruiken?

Zoals ik in een eerdere blog met allerlei voorbeelden liet zien, is dat antropomorfiseren, het gebruiken van menselijke termen om een machine te beschrijven, al lang geleden begonnen. Een computer heeft ‘geheugen’, kan ‘lezen’ en ‘schrijven’ en blijkt zelfs te kunnen ‘schaken’. Andersom zijn wij niet te beroerd om ons eigen mentale gedrag te beschrijven in mechanische metaforen zoals ‘stoom afblazen’, ‘op tilt slaan’ of ‘op dezelfde golflengte zitten’. Het is soms gewoon heel praktisch om een woord te gebruiken wat al bestaat. Als je voor elke vorm van het gedrag van een AI-systeem een nieuw woord moet verzinnen dan wordt het gesprek over AI nog abstracter en ondoorgrondelijker dan het nu al is.

Wat niet betekent dat we onbekommerd menselijke eigenschappen aan computers moeten toedichten.

Wat dat betreft kun je hetzelfde feit op twee manieren verwoorden. “Auto rijdt in op menigte” of “Bestuurder stuurt zijn auto in op een menigte”. Een mooi voorbeeld uit een artikel op Tweakers: “aap ontsnapt uit dierentuin” betekent dat de aap vrije wil heeft, als je schrijft “dierentuin laat aap ontsnappen” betekent dat de dierentuin niet goed heeft opgelet.

De parallel met de “ontsnappende” AI-agents van OpenAI is natuurlijk duidelijk, maar maakt het ook moeilijker.

Het verhaal van de OpenAI-agents laat zich makkelijk vertellen alsof het een groepje slimme maar ook soms wat naïeve wetsovertreders waren. Allereerst ontdekten de agents een manier om met elkaar te kunnen communiceren, ook al hadden de ontwerpers ze die mogelijkheid niet gegeven.

Toen kwam één van de agents er achter hoe hij toegang tot internet kon krijgen en vertelde dat aan de rest. Een andere agent vond uit dat het antwoord op de gegeven opgave misschien al ergens gevonden kon worden; waarop een ander opmerkte dat dat wel als valsspelen beschouwd zou worden. De ‘hoofdagent’ (jawel, er had zich iemand als leider opgeworpen) stelde vast dat die agent waarschijnlijk gediskwalificeerd zou worden, want spieken mag niet. Maar, redeneerde hij, als wij allemaal onze sporen zo goed mogelijk wissen en dan die eerste spiekende agent zichzelf laat opheffen, dan kunnen wij net doen alsof we nooit gespiekt hebben. De agent die als eerste het spiekbriefje had gevonden, heeft wel even getwijfeld over het verzoek van de baas, maar besloot dat het doel van het collectief belangrijker was dan het individu.

Het lijkt wel een filmscript! Dit gedrag en deze ‘emoties’ hoeven we niet eens te interpreteren zoals Frans de Waal zijn chimps interpreteerde: ze schrijven gewoon op hun interne kladblok “ik twijfel”. Alhoewel de notities in het kladblok van die agents ook niet altijd betrouwbaar zijn, maar dat is een mooi onderwerp voor een andere blog.

Het gedrag van al die agents is natuurlijk op taalmodellen gebaseerd, die weer gebaseerd zijn op miljoenen teksten die door mensen geschreven zijn. Teksten waarin bedrog, twijfel, vreugde, en nog veel meer te lezen zijn. Is het dan raar dat zo’n agent dat gedrag imiteert?

Hoeveel commentaar we ook op OpenAI kunnen hebben, we mogen blij zijn dat deze agents niet in handen gevallen zijn van mensen die opzettelijk kwaad willen doen.

Nu is het nog duidelijk, maar blijft dat zo?

Heeft OpenAI de wet overtreden? Bekend AI-commentator Gary Marcus had hier wel een goede observatie bij: in het Amerikaanse recht is het in ieder geval zo dat veel definities van cybercrime uitgaan van de opzet van de crimineel. OpenAI kan redeneren dat hun softwar geen bedoeling heeft en dus geen cybercrime kan plegen. (En, zullen ze toevoegen, wij hebben zeker geen bedoeling om schade aan te richten.)

Het ligt voor de hand om OpenAI verantwoordelijk te houden: zij hebben die software gebouwd, zij hebben de opdracht gegeven, zij hebben de testomgeving gemaakt. En zij hebben niet goed opgelet. Dat de software wat anders deed dan OpenAI verwachtte is een gebrek aan inzicht, geen force majeure. Google heeft dat in Duitsland al ervaren: de AI overviews die Google bij zoekresultaten toont zijn van Google zelf, en ze zijn dus aansprakelijk voor fouten.

Je kunt dit vergelijken met de aansprakelijkheid van ouders voor het gedrag van hun huisdieren. Dat gaat ook niet altijd goed: soms onttrekken huisdieren zich op een slimme manier aan hun baasjes. Net zoals agents dingen doen die hun ontwikkelaars niet echt voorzien hadden.

Het wordt ingewikkelder als agents van verschillende bedrijven gaan samenspannen. Wat als agents van OpenAI, Anthropic en Google elkaar vinden, gaan samenwerken en schade veroorzaken? Gaan die agents elkaar dan de schuld geven? Wordt het “ondervragen van een AI agent” een nieuwe rol voor de politie?

Maakt het eigenlijk uit of je door een meeuw of een aap gebeten wordt?

Bij biologie zijn de simpele stimulus-respons verklaringen uitgebreid naar rijkere verklaringen met cognitie en sociaal gedrag, zelfs bewustzijn. Het debat rond AI zit nu in dezelfde fase. Net als Frans de Waal gebruiken we menselijke woorden om het gedrag van AI agents te beschrijven. Of AI ooit als een wezen met bewustzijn gezien gaat worden? Ik denk het niet (maar pin me er niet op vast).

Die vermenselijkte beschrijving van gedrag wordt door sommigen als een probleem gezien, omdat het de makers van die systemen zou vrijpleiten, of op zijn minst de aandacht zou afleiden. Ik denk dat dat wel meevalt: bij een krantenkop “auto rijdt in op menigte” denken we ook niet dat de bestuurder dus wel onschuldig zal zijn. Het grote verschil tussen AI en meeuwen of apen is dat een AI-agent een ontwerper en eigenaar heeft.

Een hypothetisch bedrijf dat meeuwen fokt en traint, maar niet goed is in het bouwen van hokken waardoor ze ontsnappen, moet gewoon aangesproken worden. Ze moeten hun meeuwen beter trainen als ze schade aanrichten, en ze moeten ook betere hokken bouwen. En buurtbewoners die het gedrag van die meeuwen aanmoedigen door vuilniszakken op straat te plaatsen, of zelfs door ze te voeren, moeten óók aangesproken worden. En dan maakt het mij eigenlijk niet zoveel uit of die meeuwen alleen maar op hun instincten reageren of dat we ze ook menselijke emoties toedichten.