Een stageverslag schrijven? Een essay? Sinds kort is dat een fluitje van een cent dankzij ‘generatieve artificiële intelligentie’, zoals ChatGPT. Een heldere opdracht en een paar steekwoorden zijn voldoende, zo lijkt het. Maar wat betekent deze ontwikkeling voor het onderwijs? En voor het toetsen? Lector Anneke Smits en docent Wieger van Dalen, beiden werkzaam op Windesheim, geven hun visie.
De opdracht om een conceptbeleidsplan te schrijven over GenAI arriveerde vóór de zomer 2023. Nadenken, dat moest de kersverse adviescommissie vooral doen. Tegelijkertijd gaf een aantal directeuren aan dat Windesheim allang afspraken moest hebben over ChatGPT want de studenten gebruikten het al volop. Dat zette druk op de ketel, vertelt commissielid Anneke Smits: ‘Uiteindelijk is het stuk grotendeels in de zomervakantie geschreven.’ Het voorstel ligt nu bij het College van Bestuur. Smits: ‘Daar moet ik gelijk aan toevoegen: met “beleid” los je niet alle problemen in een klap op.
ChatGPT en andere GenAI’s zullen gevolgen hebben voor onderwijs en toetsing. Daar is iedereen het over eens. Maar hoe uniek is deze situatie?
‘We weten door generatieve AI soms niet meer zeker of producten gemaakt zijn door studenten. Maar eigenlijk waren die problemen er al. We hebben de afgelopen tijd misschien wel een te groot vertrouwen hebben gesteld in toetsen in de vorm van allerlei verslagen die thuis geschreven kunnen worden. Ook vóór de komst van ChatGPT wisten we niet zeker of die verslagen altijd de competenties van de student zelf weerspiegelden. Het probleem “wie heeft dit geschreven?” was er al veel langer maar met de komst van AI is het nog veel dwingender geworden. We hebben niet alleen te maken met een moeder die de spelling controleert; voortaan is er ook een kletsende digitale oom die abstracte en goed gespelde taal produceert.’
Wanneer wordt gebruik een probleem?
Als deze inzet verborgen blijft en de machine, die niet kan denken, het denken van de student vervangt, waardoor deze zelf niet meer leert. Als je je denken uitbesteedt aan een machine die niet echt kan denken, en dus je hersens niet gebruikt, word je steeds dommer.’
Dat klink ernstig. Kan die inzet verborgen blijven?
‘Het is moeilijk aantoonbaar dat iemand het heeft gebruikt maar met goede opdrachten, en als je goed nakijkt, moet je het heel gemakkelijk kunnen zien. Er zijn soorten opdrachten die GenAI niet makkelijk aan kan. En je moet je studenten kennen, natuurlijk, dat helpt ook.’
Docent ethiek Wieger van Dalen vindt dat Windesheim hier snel mee aan de slag moet: ‘Ik ben verbonden aan de opleiding Commerciële Economie (BMR) maar ik kom ook veel bij domein Techniek. Daar zijn ze veel eigenzinniger. Bij BMR zijn ze, ik zal maar zeggen: plichtsgetrouwer. Bij Techniek weten ze er natuurlijk meer van en praten ze openlijk over allerlei mogelijkheden. Bij BMR gebruiken de studenten het zonder het erover te hebben. Ik hoor ze wel eens uit en dan sta ik verbaasd van de terughoudendheid om erover te praten. Ze ontkennen het nog nét niet.’
Wat moet Windesheim doen?
‘Ik ben wachtende totdat het College van Bestuur een klap op het beleid geeft. Nee, dat is onzin. Waar ik écht op wacht is wanneer andere mensen, en dan vooral directeuren, doorpakken, ongeacht die klap. Ik heb meerdere voorstellen gedaan om een stap te zetten maar steeds hoor ik dan: ‘ik wil even afwachten tot het beleid vaststaat’. Tja… ik snap dat het College aarzelt maar laat het dan eerlijk zeggen: dit onderwerp is te groot, te veelomvattend. Daar is geen beleid voor af te spreken, we gaan al doende beleid ontwikkelen.’
Wat ben je momenteel mee bezig?
‘Ik doe een onderzoekje onder studenten naar hoe ze ChatGPT gebruiken. En vooral: wat verandert er daardoor in hun werkwijze, in het leerproces? Bij bepaalde opdrachten, vrij talige opdrachten, stuur ik een enquête mee om erachter te komen hoe het denkproces, het leerproces verandert als je ChatGPT gebruikt. Hoe gebruiken ze het, en ontwikkelt zich daardoor het proces van inzicht krijgen? Het spannende is dat deze generatie nog net kan benoemen hoe het vroeger was. Over een paar jaar weet men dat niet meer want dan is ChatGPT alom aanwezig.’
Kun je je nog herinneren dat je als docent voor het eerst met het fenomeen ChatGPT geconfronteerd werd?
‘Dat was in december 2022. Toen zag ik zogezegd het wonder gebeuren. Een student, stagiair, met een apert slecht taalgebruik, zwaar dyslectisch zonder meer, die daar al zo’n vijftien jaar mee geplaagd werd, leverde een prachtig ronkend werkstuk in. Dat viel me direct op. Bij de bespreking begon ik met: wat heb jij je dyslexieprobleem goed opgelost! Hij, stralend: ‘Ja goed hè!’ Voor het eerst na jaren kreeg hij een compliment voor zijn schrijven! Toen ik hem daarna wat vragen stelde kwam ik erachter dat hij om iets op te zoeken op zijn IPhone geen Google gebruikte maar ChatGPT, en dat hij daar ervaren in was. Maar daarna kregen we een volwaardig gesprek – niet over zijn taal of de structuur maar écht over zijn theorie en onderzoeksopzet. Ik was heel blij. Enthousiast. En dat ben ik nog steeds.’
Soms begrijpen studenten niet wat ze op die manier inleveren…
Van Dalen: ‘Daar hebben we héél veel voorbeelden van! En soms zijn we als docenten ook wel pissed dat studenten zo dom zijn dat in te leveren. Maar het is niet de moeite om dat een risico van AI te noemen want dat heb je altijd, bij elk onderwijs. Dat mensen dingen zeggen die ze eigenlijk niet begrijpen, dat zie ik dagelijks om me heen. Daar gaat AI niks aan veranderen.’
Anneke Smits erkent dat ChatGPT nuttig kan zijn: ‘Er is er niets op tegen als studenten het zouden gebruiken om hun formulering te verbeteren, of om in hun stuk structuur aan te brengen. Dat vinden we het meest positieve gebruik van AI. Je moet bedenken, als een leraar kritiek heeft op je schrijven, dan doet dat zeer. Als een machine een andere formulering voorstelt, is het vaak makkelijker om te zien wat beter is en kan de student kiezen. Je ziet ook dat studenten zich meer bewust worden van de noodzaak om hun schrijven te verbeteren als ze ChatGPT hiervoor in zetten. Het is heel geschikt om een schrijversblok te voorkomen of te doorbreken. En we weten dat veel studenten daar mee worstelen – ze moeten enorm veel verslagen schrijven.’
Misschien is dát wel deel van het probleem…
Smits: ‘Klopt. Als je verpleegkundige wil worden, moet je dan zulke uitgebreide verslagen kunnen schrijven? Zegt dat iets over hoe goed je bent in dat beroep? In de praktijk schrijven verpleegkundigen juist veel korte verslagjes, korte zakelijke overdrachten die erg to the point moeten zijn.’
Lange abstracte verslagen, zoals ChatGPT die aanlevert, wekken gemakkelijk de indruk dat iemand de zaak beheerst.
Smits: ‘Als we een zin vol abstracties lezen, een die doordacht en sophisticated lijkt, dan beoordelen we die vaak positief. Omdat we niet zien dat die zin of tekst hol is. En dat komt omdat je zelf invulling geeft aan de abstracte concepten die daarin voorkomen, zonder je af te vragen of de ander, de student, dat ook kan. En dat wil je bij een student nu juist weten. Verslagen hoeven dus niet te verdwijnen maar een mogelijke oplossing zou een toetsvorm zijn waarbij we de hoeveelheid geschreven tekst klein houden en daar een kort criteriumgericht interview aan toevoegen om te achterhalen of de student begrijpt wat hij heeft geschreven. Op het moment dat hij of zij alles kan uitleggen en verdedigen wat er in dat verslagje staat, en aanvullende vragen kan beantwoorden dan geeft het niet meer dat een deel ervan uit ChatGPT komt, dan is er begrip ontstaan en geleerd. En dat is wat we willen zien.’
Wieger van Dalen plaatst daar graag een kanttekening bij:
‘Goed schrijven, goed formuleren is nu net de allerbelangrijkste vaardigheid om te onderwijzen, en te leren! Daar is in de Verenigde Staten ooit uitgebreid onderzoek naar gedaan: wát is nu het belangrijkste onderdeel van onderwijs? Leren schrijven, daar draait het om! Schrijven met een bepaalde opdracht, bijvoorbeeld om aan anderen een bepaalde boodschap of indruk over te brengen. En meer praten, daar ben ik niet direct enthousiast over. Bij de opleiding Commerciële Economie hebben we heel veel studenten die heel goed overal over kunnen meepraten. De taak is dan: hoe vraag je pijnlijk door, hoe prik je daar doorheen? Dan wordt het echt spannend.’
‘We zullen nieuwe vormen van toetsen moeten ontwikkelen’
‘En dan is er nog iets: er goed over praten is niet hetzelfde als dingen goed doen. Je moet het gewoon kúnnen. Wat dat betreft hebben we in domein BMR, en bij de onderwijsopleidingen, een probleem. Veel toetsen bestaan grotendeels uit praten, dus studenten worden goed in praten. Dat is op zich niet erg, je moet studenten aanleren hoe je praat over vraagstukken, maar ze moeten méér leren, namelijk om te dóen. Drie onderwijsvisies terug noemden we dat competentiegericht toetsen. We zullen dus nieuwe vormen van toetsen moeten ontwikkelen.
Is dat een probleem?
Kom op zeg! De manier waarop we toetsen verandert doorlopend. En met al die werkstukken liepen we op dat vlak toch al achter.
De student mag ChatGPT best gebruiken maar moet altijd checken wat het programma aanlevert en begrijpen wat hij inlevert. The human in the lead, heet dat officieel. En dat is ook voor de adviescommissie het uitgangspunt.
Smits: ‘In de zorg wordt al heel lang met AI gewerkt en daar geldt een hele duidelijke regel: de specialist beslist. Als de specialist gebruikmaakt van AI is het resultaat vaak beter, maar de specialist blijft de baas. GenAI kan niet nadenken en dus moet alles beoordeeld en eventueel gewijzigd worden. De student treedt op als fact checker. Hij of zij moet bronnen zoeken om het resultaat te verifiëren en aan te passen, en beweringen te onderbouwen. AI is geen betrouwbare bron van informatie. Als je het vergelijkt met Wikipedia is Wiki veel beter. Dat komt doordat AI werkt op basis van een immense woordenwolk, van de statistische samenhang tussen woorden, terwijl de artikelen op Wikipedia ontstaan zijn in een democratisch proces, door deskundigen. Zo’n woordenwolk is daar maar een slap aftreksel van. Ik wilde een tijdje terug iets opzoeken over hedendaagse effecten van de Troubles [de onlusten in Noord-Ierland in de jaren 1960-1990, mh] en stelde dezelfde vraag aan AI en Wikipedia. Die laatste was beter by far. AI leverde vooral abstracties. Het slaat wel ergens op, en als je bedenkt dat een machine het heeft gemaakt is het best verbazingwekkend. Maar het is eigenlijk onvoldoende informatief.’
Voor Wieger van Dalen is Wikipedia een mooi voorbeeld van een doorbraak die door het onderwijs nooit echt is benut: ‘Ik heb me heel kort druk gemaakt over Wikipedia. Ik dacht: dit kan niet goedkomen. Als iedereen daar iets kan opzetten, dan krijg je onzin. In de eerste jaren waren er geen controlemechanismen; die zijn later gaandeweg ontstaan. Het mooie is natuurlijk dat de bedenkers gewoon iets gedaan hebben, in de lucht gegooid, en pas in tweede instantie over controle nadachten. Maar waar het me om gaat: naderhand bedacht ik dat het onderwijs veel meer met Wikipedia had moeten doen. We hebben die sprong nooit gemaakt. Het feit dat studenten alle informatie tot hun beschikking hebben had het onderwijs revolutionair moeten veranderen. Maar goed, als het om veranderen gaat hebben we de afgelopen vijftien jaar al heel veel meegemaakt.’
Maar ben je niet bang dat met het binnenhalen van Wikipedia of ChatGPT, of van mijn part de spellingschecker, vaardigheden verloren gaan?
Van Dalen: ‘Met de komst van een nieuwe techniek gaat er altijd ook iets verloren. We weten dat de introductie van de rekenmachine ten koste is gegaan van de vaardigheid om iets uit het hoofd uit te rekenen. Maar wat AI gaat doen… the proof of the pudding is in the eating. Het zou de vaardigheid om te formuleren kunnen aantasten, misschien ook niet. Verandert het het onderwijs geven? Jazeker, want het raakt aan alles. Wij docenten mogen de komende jaren opnieuw gaan bedenken: hoe brengen we die achttienjarigen, die wel wat anders aan hun hoofd hebben, iets aan het verstand? Maar dat vraagstuk mag ons niet moeilijk vallen want daar worden we ruim voor betaald, door de studenten én de samenleving.’
‘We kúnnen de AI-boot niet missen, al zouden we het willen. In het ergste geval worden we er door de studenten en de samenleving op geduwd. Waar we voor moeten uitkijken is dat we het contact met onze klanten, de studenten, niet kwijtraken. Bijvoorbeeld doordat ze oprecht zeggen: waarvoor ben ik hier eigenlijk? Dat kan ik thuis ook leren met ChatGPT!’
Smits ziet AI vooral als een kans om het onderwijs te verbeteren: ‘Het wordt geen totale breuk met het verleden. We moesten altijd al kritisch omgaan met informatie. Checken van informatie zal nog veel belangrijker worden. In die zin is het zorgelijk dat het niveau van begrijpend lezen onder druk staat want als je teksten kritisch wilt bekijken heb je die leesvaardigheid hard nodig. Het is dus heel goed dat daar veel meer aandacht voor komt. Wat we nodig hebben is geen toetsrevolutie maar een toetsevolutie. Een ontwikkeling naar minder geschreven taal, en compacter en concreter formuleren. De student moet abstracte begrippen mondeling concreet kunnen uitleggen. Ach, dat is wat we eigenlijk al heel lang wilden….’
Van Dalen ziet de komst van AI als onderdeel van een al langer zichtbare verandering: ‘Vijf jaar geleden kwam de nieuwe onderwijsvisie: de student als regisseur van zijn eigen leerproces. Ik was daar toen argwanend over, cynisch zelfs. Maar achteraf moet ik zeggen dat dat preludeerde op de huidige ontwikkelingen. Niet dat de managers die dat verzonnen over een bijzonder inzicht beschikten. Het is een maatschappelijke ontwikkeling waarvan je nu kunt zeggen dat we bezig waren de spullen klaar te zetten voor de huidige ontwikkeling. Dankzij AI wordt student écht meer regisseur van zijn of haar leerproces. De grote vraag is wat dit voor de rol van de docent betekent.’
Anneke Smits is lector Onderwijsinnovatie en ICT. De aanzet voor GenAI beleid is geschreven door Anneke Smits, Erik Bolhuis, Erik Fledderus, Wim Snippe en Victorine de Graaf. Zij vormen samen met Irene Tiepel de adviescommissie GenAI.
Wieger van Balen is docent ethiek bij CE en andere opleidingen
Tekst: Marcel Hulspas
Foto’s : AI
