AI gedachten / AI thoughts

Hoe ik autoreparaties, vallende appels en paracetamol nodig heb om de AI black box uitlegbaar te maken.

Mensen willen de wereld begrijpen: dat geeft vertrouwen en voorspelbaarheid. Wat we nu ‘natuurwetenschappen’ noemen, staat in een lange traditie. In oude verhalen lees je over de geest van de rivier, die boos geworden is waardoor de rivier is overstroomd. Het onweert: Thor slaat met zijn hamer op de wolken.

Na deze eerste verklaringen, die we tegenwoordig ‘magisch denken’ zouden noemen, is de wetenschappelijke methode ontstaan. Met vallen en opstaan is dit een vrij succesvolle manier geworden om de natuur te begrijpen. Op basis van dat begrip heeft de mens allerlei technologie gebouwd: stoommachines, smartphones en airfryers. En AI.

Met AI hebben we onze hand een beetje overspeeld: ook al hebben we dat allemaal zélf bedacht, we snappen eigenlijk niet meer hoe het werkt. Daarmee roept AI twijfel en soms ook angst op. Net zoals duizenden jaren geleden de overstromende rivier of het onweer. Kunnen we nog uitleggen wat er in de black box van AI gebeurt? Kan AI dat misschien zélf uitleggen?

Leg je eigen keuzes maar eens uit

Of AI nu wel ‘denkt’ of niet, het is interessant om eens te kijken naar hoe mensen hun eigen gedachten toelichten. Onze eigen gedachten zijn ook niet altijd uitlegbaar. Als iemand mij vraagt waarom ik in een Opel rijd in plaats van een Hyundai, ga ik niet zeggen “neuron 6412 in mijn amygdala had een dopamine-niveau wat 26% boven de drempelwaarde lag, waardoor de ventromediale prefrontale cortex een positief signaal ontving en de dorsolaterale cortex besloot dat Opel de beste keus was”. Dat doet natuurlijk niemand. Het is praktisch onhaalbaar, maar belangrijker: het slaat totaal nergens op.

Wat mensen in veel gevallen doen is dat ze hun onbewustezijn (het reptielenbrein, of beter: “systeem 1” volgens Daniel Kahneman) het besluit laten nemen. Vervolgens verzinnen ze daar een logisch klinkende verklaring bij (“systeem 2”). De babbelbox in ons brein is continu bezig om onze intuïtieve keuzes achteraf te rationaliseren. Meestal gaat dat goed, maar bij sommige ziektebeelden vliegt het uit de bocht: dat wordt dan confabuleren genoemd, iets waar chatbots ook regelmatig last van hebben.

Net zoals bij andere onbegrepen dingen om ons heen, is er ook behoefte aan uitleg over hoe AI werkt. Uitlegbaarheid van AI is een volwaardig onderzoeksterrein geworden.

Uitleggen in de praktijk

Wat is een uitleg eigenlijk? Moet je het hele systeem begrijpen op het laagste niveau? Of is het voldoende om van één uitkomst van een systeem te kunnen uitleggen waarom dát de uitkomst is, en niet iets anders? En nu we erover nadenken, aan wie leg je het gedrag van AI uit?

Ik neem jullie mee naar de garage. Mijn Opel maakte vreemde geluiden, ik rook een brandlucht en de motor had daarna last van oververhitting – er ging ook nog een lampje op het dashboard branden. Ik liet de auto bij de garage achter, en de monteur belde mij later op. “Oorzaak gevonden, de reparatie gaat 300 euro kosten.” Daar kon ik het bij laten, ik had toch nog wel een vervolgvraag: “Kun je dat toelichten?”.

De toelichting op de diagnose bleek erop neer te komen dat de koolborstel van de ventilator versleten was en dat de hele ventilator moest worden vervangen. Voor sommige klanten is dit meer dan gedetailleerd genoeg, maar de monteur ging verder. Die motorventilatie is nodig om de motor te koelen als er niet genoeg rijwind is. En nee, de koolborstels vervangen was niet meer mogelijk.

En nu we elkaar toch spraken: er kwamen nog wat andere grote reparaties aan. De vraag is of dat allemaal nog de moeite waard is. De auto is namelijk al een aantal jaartjes oud en de reparaties kosten meer dan de dagwaarde. (Misschien maar eens naar die Hyundai kijken.)

Verschillende soorten uitleg

Er zijn dus verschillende soorten uitleg, afgestemd op het kennisniveau van de klant. De ene klant wil alleen maar weten wat het kost, de ander wil snappen waarom het zo duur is en welke opties er zijn. Bovendien is er een verschil tussen het uitleggen van deze ene uitkomst (“Laat maar zitten, die reparatie”) of het hele model (“Dit zijn de normen, dit moet er gebeuren, dit zijn daarvan de kosten – en als die veel hoger dan de dagwaarde zijn is het niet meer de moeite waard”).

Ouders kennen (en sommigen vrezen) het moment dat hun kind vraagt: “mama/papa, waar komende babytjes vandaan?” Er zijn veel soorten uitleg op die vraag mogelijk, allemaal correct, maar niet allemaal even geschikt.

Eén gek kan meer vragen dan tien wijzen kunnen beantwoorden. Als je maar lang genoeg doorvraagt, blijkt dat bij zo’n beetje álles een moment komt dat we het niet meer weten. Iedereen weet dat appels uit bomen vallen, maar natuurkundigen weten 350 jaar na Isaac Newton nog steeds niet écht wat de aard van zwaartekracht is. Ook zoiets logisch en ogenschijnlijk eenvoudigs als rekenen (1+1=2) kan ontsporen. Bertrand Russell werd er half gek van toen hij de wiskunde logisch probeerde onderbouwen, en er achter kwam dat zelfs wiskunde zelf niet te bewijzen is. Dat zit ons in het dagelijks leven overigens totaal niet dwars, en dat is ook wel weer fijn.

Uitleg van AI

Ook voor complexe AI-systemen zijn er methodes om de uitkomst achteraf te verklaren. Een beetje zoals de uitleg van de monteur “als het een nieuwe auto was geweest, zou ik die reparatie wel uit laten voeren, maar voor dit oude beestje met al die andere gebreken kan het niet meer uit”.  Dit is ook bij AI-systemen een veelgebruikte manier om een uitkomst uit te leggen. Je laat zien wat de uitkomst nu is, en geeft aan met welke kleine veranderingen in de situatie de uitkomst zou veranderen.

Een stapje complexer is om aan te geven welke veranderingen hoeveel bijdragen aan de uitkomst. “De hoge kosten van de verwachte extra reparaties komen vooral van het vervangen van de distributieriem, daarvoor moet de halve motor uit elkaar gesleuteld worden. Daarnaast is het vervangen van de banden een kostenpost.” Ook dit is een uitleg die in AI-systemen wel gebruikt wordt.

Is een black box problematisch?

Bij AI-systemen waarvan de specialisten weten hoe het onder de motorkap werkt, komen we dus een heel eind. Maar wat moeten we nu aan met AI-systemen die we niet helemaal begrijpen, maar wel blijken te werken? Dat is de fameuze ‘black box’.  In de media wordt daarvan meestal op een afkeurende toon gezegd dat we dat niet moeten willen.

Taalmodellen bevatten miljarden getallen die allemaal samenhangen en op elkaar inwerken – dat is voor een mens niet meer te bevatten. Er zijn fascinerende pogingen om toch een beetje kaas te maken van al die interacties. Maar uiteindelijk we hebben iets gecreëerd wat (meestal) werkt en wat we kunnen bijsturen. Maar die systemen zijn in wezen net zo complex en ondoorgrondelijk als een mierenhoop. Het gedrag van de mierenhoop als totaal kunnen we begrijpen, maar wat elke individuele mier doet, en waarom, is een raadsel. Net zoals we de individuele neuronen in onze eigen hersenen niet kunnen doorgronden.

Verrassend genoeg is van één van de meest gebruikte medicijnen ter wereld, paracetamol, óók niet helemaal duidelijk hoe het precies werkt. Zelfs in de medische wereld wordt betoogd dat een black box gebruikt moet kunnen worden als die werkzaam is – ook al blijft het een black box.

Het is helemaal niet nodig om precies te weten hoe een systeem onder de motorkap in elkaar zit. Door te experimenteren en goed bij te houden wat wel en niet werkt, snappen we inmiddels prima wanneer je hoeveel paracetamol moet slikken.

Vraag is of je transparant moet zijn als je eigenlijk niet wilt weten hoe het werkt.

Bismarck wist dat al: “Van wetten en worst wil je allebei niet weten hoe ze gemaakt zijn”. Soms willen we die transparantie helemaal niet. Transparantie is niet altijd nuttig: toen apotheken gespecificeerde facturen gingen maken, (7,50 euro voor ‘uitleggesprek’), krabden veel mensen zich achter de oren. Als die kosten in de totaalprijs verwerkt zouden zijn, kraait er geen haan naar. Transparantie en uitleg hebben met elkaar te maken maar zijn wel verschillend.

Ook AI-systemen die wij niet begrijpen kunnen vaak wel aan ons uitleggen waarom een bepaalde uitkomst gepresenteerd wordt.

Het gedrag van gewone dagelijkse dingen zoals zwaartekracht, rekenen en paracetamol kunnen we door testen en observeren best goed achterhalen. Uitleggen hoe die raadselachtige verschijnselen zich gedragen is dus haalbaar. Het probleem bij AI chatbots en andere AI-systemen waarin taalmodellen gebruikt worden ligt het helaas wat moeilijker. De zwaartekracht werkt altijd, of het nu warm of koud is, zelfs op de maan, en voor iedereen hetzelfde. De wiskundige rekensom 1+1=2 geldt op dezelfde manier altijd, overal en voor iedereen. Bij paracetamol moesten we flink wat experimenteren om erachter te komen voor welke soorten pijn het wel of niet werkte, en bij welke mensen er misschien problemen te verwachten zijn, maar paracetamol blijft paracetamol.

AI is niet zo stabiel. AI kan de bocht uitvliegen. Een uitleg die tien keer correct is, kan de elfde keer een hallucinatie blijken te zijn.

Een foute uitleg is desastreus.

Een favoriete pesterige test voor chatbots is lange tijd geweest: “how many Rs are there in the word Strawberry?”. Dat ging bijna altijd fout, dus ik wilde voor een presentatie een screenshot van deze epische fout maken. Copilot antwoordde op mijn vraag “there are three Rs in Strawberry”. Balen! Het correcte antwoord, dus hilarisch voorbeeld weg. Maar toen overspeelde Copilot zijn hand door het antwoord ook nog te gaan uitleggen: “There are two Rs adjacent to each other, plus the word ends on ‘ry’ which gives the third letter R.” Dus hij had de eerste R helemaal niet gezien en de laatst R dubbel geteld! Aaaahhh!

Wat dóe je met die uitleg?

Dat betekent dat de menselijke gebruiker altijd alert moeten blijven en ook altijd kritisch moet blijven denken. Uitleg moet niet als geruststelling werken “ah, er is een uitleg, het zal wel goed zitten” maar moet ook overtuigen. We moeten de uitleg ook willen begrijpen.

Er is verrassend weinig onderzoek gedaan naar het effect van de uitleg van AI-systemen op de ontvanger. Er is een prachtig resultaat van het Duitse centrum voor AI-onderzoek DFKI, waarin werd onderzocht of uitlegbare AI helpt bij het uitvoeren van een moeilijke taak. Het ging in dit experiment over het herkennen van misinformatie (fake news). Wat bleek: ervaren gebruikers, zoals journalisten, hadden niet zoveel voordeel van AI-ondersteuning en de uitleg daarbij. Maar onervaren nieuwsconsumenten hadden er wél voordeel van. Ze werden bijna net zo goed als journalisten in het herkennen van fake news, mits er een goede uitleg werd gegeven door de AI.

Waarom dit belangrijk is

Deze zinsnede kom ik tegenwoordig in bijna elk blog-achtig artikel tegen.

Ik heb dit stuk niet door AI laten schrijven, echt waar! Maar het begint wel op te vallen dat ‘waarom dit belangrijk is’ bijna een soort stopwoordje van het gemiddelde taalmodel aan het worden is. Net zoals de fameuze ‘em-dash’ die óók een teken is dat AI gebruikt is bij het schrijven.

AI gebruiken vereist alertheid op mogelijk foute uitkomsten. Uitlegbare AI kan daarin een krachtig middel zijn, zolang je maar bereid bent om die uitleg ook kritisch te beoordelen. Zie de uitlegbaarheid van AI maar een beetje als de bijsluiter van je paracetamolpilletje, maar dan eentje die je elke keer opnieuw moet lezen.