Voldoende met ChatGPT? Studenten nemen de proef op de som

Kun je een voldoende halen voor een vak waar je niks vanaf weet met behulp van ChatGPT? Twee studenten van Windesheim probeerden het, als experiment.

Steeds meer studenten gebruiken ChatGPT voor het opleiding. Maar werkt het zo goed dat je het programma een opdracht kunt laten maken zonder dat de docent het doorheeft? En ook nog eens voor een vak van een andere opleiding? Dit onderzochten journalistiekstudenten Joost Poppema en Willem Poppes, als opdracht vanuit het honours programma ‘Smarter together: AI & Journalism’ van de Hogeschool Utrecht en Radboud Universiteit.

Robuust genoeg?

Ze plaatsten een oproep op Viva Engage, de social media-tool binnen Sharenet: ‘Docenten van economische studies gezocht voor onderzoeksartikel AI’. Sander Janssens, docent marketing communication, hapte toe. “Ik was wel benieuwd hoe robuust mijn individuele opdracht voor het vak ‘brand management’ was tegen ChatGPT. Dus waarom zou ik het niet gratis laten testen door slimme studenten? Als studenten met ChatGPT er in zouden slagen een goed verslag in te leveren, zou ik de toets moeten aanpassen.”

Janssens spreekt met de journalistiekstudenten af dat ze gaan proberen een voldoende te halen voor het vak ‘brand management’. De opdracht luidt: schrijft een manifest van maximaal 2500 woorden waarin twee merken aan bod komen. Ook moet er een video bij gemaakt worden.

Plagiaat checks

Joost en Willem kregen bij het uitvoeren van het experiment hulp van masterstudenten ‘kunstmatige intelligentie’ van de Radboud Universiteit. In een artikel beschrijven Joost en Willem de opzet, de uitvoering en de uitkomst van hun experiment. Hierin tekenen ze op dat het lastig blijft om te achterhalen of iets is gemaakt met AI, ondanks verschillende AI-plagiaat checks. “ChatGPT ontvangt steeds weer nieuwe informatie waarvan het leert. Het systeem wordt dus steeds slimmer.”

Geen voldoende

Toch scoren de journalistiekstudenten geen voldoende. Docent Sander Janssens zegt daarover in het artikel: “Op het eerste gezicht zag het er goed uit. Ik zag de aspecten terugkomen die in de opdracht stonden. Maar toen ik verder las, zag ik een heleboel luchtige termen en bleef het heel oppervlakkig. Daarnaast herken ik na ruim twintig jaar onderwijs echt wel hoe mijn studenten commerciële economie schrijven. De spel- en grammaticafoutjes zijn nergens terug te lezen en sommige woorden zullen ze nooit gebruiken zoals in de uitwerking.”

Eindoordeel? Een dikke onvoldoende. Desondanks noemt Janssens het ‘een leuk en nuttig experiment’.

Benieuwd naar de bevindingen van journalistiekstudenten Joost Poppema en Willem Poppes en wil je weten hoe ze precies te werk gingen?

Lees dan hun artikel ‘Experiment: Is commerciële economie een eitje voor ChatGPT?’