“AI-modellen hebben de neiging om onzin te verzinnen in plaats van toe te geven dat ze iets niet weten. Dat is geen nieuwe constatering, maar uit recent onderzoek van OpenAI blijkt dat dit gedrag diep verankerd zit in de manier waarop deze modellen getraind worden. Dit onderstreept de noodzaak voor organisaties om medewerkers goed op te leiden en processen in te richten waarin menselijk oordeel een vaste plek houdt. Alleen zo kan AI verantwoord en effectief worden ingezet.”
Gevolg van AI-training
Volgens Van Engelen is het produceren van foute antwoorden geen uitzondering, maar een direct gevolg van het huidige ontwerp van generatieve AI. Tijdens de training worden modellen beloond voor het geven van antwoorden: overtuigend geformuleerd, maar niet noodzakelijk waar. Onzekerheid of erkenning van onwetendheid wordt juist afgestraft. Omdat vrijwel alle grote AI-bedrijven hun modellen op deze manier ontwikkelen, is het volgens Van Engelen onrealistisch te verwachten dat er snel systemen zullen zijn die wel intrinsiek betrouwbaarder zijn.
Hij adviseert organisaties om medewerkers voldoende te scholen alvorens AI in te zetten. “Investeer in kennis bij medewerkers, ontwerp duidelijke controlemechanismen en stimuleer kritisch gebruik in plaats van blind vertrouwen. Dat vermindert de risico’s op misinformatie, reputatieschade en verkeerde beslissingen met grote financiële of juridische gevolgen.”
Normaal krijg je bij statistiek e.d. een ‘goodness of fit’. Dat geeft aan in hoeverre het resultaat past op de gebruikte data. Bij AI ontbreekt dit tot nu toe. Met dus de hier beschreven mogelijke fouten.
Hans van der Schaaf.