Windesheim wil onderzoeken of toetsen uitgevoerd kunnen worden met behulp van online proctoring. Een pilot moet duidelijk maken welke varianten bruikbaar en nuttig zijn. Sommigen zijn enthousiast, anderen vragen zich af of proctoring wel veilig is, of zelfs maar nodig.
De komende tentamenperiode worden de eerste voorzichtige stappen gezet. ‘Onze opdracht is om zowel het enthousiasme als de zorgen omtrent proctoring op hun merites te beoordelen,’ aldus Wim Jonker, leider van het projectteam.
‘We weten dat een en ander gevoelig ligt en dat er over proctoring vele meningen bestaan. We hebben de opdracht gekregen te onderzoeken onder welke voorwaarden online proctoring eventueel wel of niet ingezet kan worden. Mede daarom nemen we de centrale medezeggenschapsraad (CMR) ook volledig mee in de uitvoering van de pilot. Pas aan het eind kunnen we besluiten óf en in welke situaties online proctoring kan worden toegepast.’
Oefentoetsen
In de eerste fase van de pilot zullen studenten uit verschillende opleidingen de mogelijkheid krijgen om hun tentamen ‘op afstand’ te doen, waarbij verschillende vormen van proctoring zullen worden uitgetest. De afgelopen weken heeft een Projectteam gesproken met studenten, docenten en andere stakeholders over wensen en eisen, en gekeken naar de technische en juridische randvoorwaarden. Op basis daarvan is een keuze gemaakt voor de precieze invulling van deze eerste test.
Volgens projectteamlid Marjolein Achterkamp gaat het in deze periode meer om ‘oefentoetsen’ met individuele studenten. Daarna vindt een eerste evaluatie plaats en het is de bedoeling dat pas in de tweede toetsperiode, begin volgend jaar, grotere toetsen met proctoring zullen plaatsvinden, ‘liefst met studenten vanuit alle domeinen’. Het Projectteam wil in maart 2021 de resultaten presenteren aan het College van Bestuur.
On-site surveillance
Voor beide perioden geldt dat studenten niet gedwóngen worden om hun tentamen op deze wijze af te leggen, zo benadrukt Achterkamp: ‘De opleiding zal de toets ook aanbieden zonder online proctoring, bijvoorbeeld door de toets op hetzelfde moment ook op Windesheim aan te bieden, met reguliere surveillance. Dit biedt ons weer een mogelijkheid om online en on-site surveillance te vergelijken.’
Een pilot waarin álle studenten een bepaalde toets met proctoring moeten maken is volgens het Projectteam niet noodzakelijk, want niet realistisch. Achterkamp: ‘We houden rekening met het feit dat er studenten zijn waarvoor online proctoring praktisch niet haalbaar is, bijvoorbeeld vanwege het feit dat de student geen geschikte toetsplek buiten Windesheim heeft. En dat er studenten zijn met principiële bezwaren tegen online proctoring. Er moet dus altijd een alternatief geboden worden dat geen online proctoring inhoudt.’
‘Schending van de privacy’
Dat er principiële bezwaren bestaan tegen online proctoring, bleek al ruim voor de zomervakantie. Het College van Bestuur wilde toen, in het kader van de coronacrisis, vaart maken met de invoering en toepassing maar werd door de CMR teruggefloten. CMR-lid Bas Baremans: ‘Het allergrootste bezwaar toen was dat het werd gepresenteerd als een ‘Hobson’s choise’. Dat wil zeggen: je maakte ofwel een toets op afstand via online proctoring, ofwel géén toets. In dat laatste geval met alle gevolgen van dien.’
‘Er zijn vanzelfsprekend studenten die reeds veel van hun privéleven op social media openbaar delen maar er zijn er ook die om principiële redenen hun privé domein afschermen en er bezwaar tegen hebben dat met video surveillance toezicht afgedwongen wordt in hun privédomein, waarmee een grove schending van de privacy optreedt.’
Hoogwaardige wifi-verbinding
Daarbij wees de CMR erop dat er studenten zijn wiens thuissituatie geen online proctoring toelaat. Er dient immers sprake te zijn van een rustige werkomgeving zonder inloop en een stabiele hoogwaardige wifi-verbinding. Dat is niet iedereen gegeven. Daarnaast waren er vragen over de opslag van videobeelden. (De afgelopen jaren is regelmatig gebleken dat informatie die te goeder trouw bij diensten en instellingen werd gedeeld toch niet altijd in veilige handen was.) Ook ontstond er onrust over waar bij proctoring nu precies op wordt gelet.
De toevallige inloop van een gezinslid in de kamer; onrust en lawaai op de achtergrond; het gedurende enige tijd omhoog kijken of het kortstondig wegvallen van de verbinding maken een student op voorhand tot verdachte.
Wat is online proctoring?
Bij online proctoring wordt een toets digitaal afgenomen in combinatie met digitale surveillance door middel van software. Deze software, die op de computer van de student moet worden gedownload, maakt videobeelden van de student tijdens de toets maar ze kan ook het (surf)gedrag van de student registreren en mogelijk blokkeren. In de lichtste variant van proctoring (in wezen een gewone video-conferentie) ziet de docent de student tijdens de toets, en verder niets. Daarnaast is het mogelijk dat een speciale surveillant (‘proctor’) meekijkt en het gedrag van de student in de gaten houdt (en mogelijk ingrijpt). Een andere variant is dat de beelden worden bewaard, en dat een proctor (delen van) de opnamen achteraf beoordeelt. En dan is er geautomatiseerde proctoring waarbij de software zélf ‘verdachte’ momenten signaleert, die dan naderhand door een proctor worden beoordeeld.
‘Klap in het gezicht’
Het College bleek gevoelig voor de geuite bezwaren en blies de plannen af. Dat was een zware tegenvaller voor docent werktuigbouwkunde Laurens Bervoets. Hij is betrokken bij een initiatief van meerdere opleidingen in Nederland om een digitale vragendatabank te realiseren. Alle toetsen voor het vak mechanica kunnen nu al digitaal worden afgenomen. Dat kwam goed van pas tijdens de coronacrisis.
Bervoets: ‘Normaal gesproken gebeurde dit in de computertoetslokalen van Windesheim. Het was voor ons heel makkelijk om de studenten de toetsen vanuit huis te laten maken. Het kwam erop neer dat wij vooraf aan de toets met elke student een “camera check” uitvoerden, waarbij de studenten via de Microsoft Teams-app op hun mobiel hun bureau, laptop én zichzelf in beeld brachten. Tijdens de toets werd de camera van de mobiel verbonden met de Teams-app en op het bureau gericht. Twee docenten keken via Teams mee en voerden de surveillance uit. De studenten mochten er voor kiezen om de camera uit te zetten maar dan zouden we ze wel nabellen om na te gaan of dat ze de toets daadwerkelijk zelf hadden gemaakt.’
Het besluit van het College was ‘voor ons, als hardwerkende docenten’, een klap in het gezicht. ‘We betreurden het dat de CMR, die volgens mij toch de belangen van de docenten zou moeten behartigen, hier behoorlijk op tegen bleek te zijn. Bij onze opleiding bleken de studenten geen probleem te hebben met onze vorm van online proctoring en stonden de docenten ook volledig achter de wijze waarop ze dit konden uitvoeren.’
Verborgen trackers
Het College van Bestuur gaf, tegelijk met haar besluit, aan dat het laatste woord over proctoring daarmee niet was gesproken. Zo ontstond medio augustus het plan voor de pilot, dat op 1 oktober aan de CMR werd gepresenteerd. En de CMR uitte bij die gelegenheid opnieuw twijfels. Baremans: ‘In de pilot wordt gesproken over een gegarandeerd alternatief indien de student online proctoring bezwaarlijk vindt.’
‘Daarmee vallen een aantal bezwaren weg maar er zijn inmiddels op basis van ervaringen ook nieuwe tegenargumenten bijgekomen. De techniek is lang niet zo veilig als ze in eerste instantie werd gepresenteerd. Bovendien is inmiddels gebleken dat de systemen (zoals bij ICT vaker het geval is) lang niet altijd vlekkeloos werken, met als gevolg dat tentamens ongeldig moesten worden verklaard.’
CMR-lid Cor Niks waarschuwde in de CMR-vergadering voor wat studenten hiermee onbewust, letterlijk in huis halen: ‘Ze zetten hun computer open voor een bedrijf waarvan je niet kunt weten wat het in je computer achterlaat. Ik heb op mijn computer gekeken wie er heeft geprobeerd om toegang te krijgen en kwam tot de schokkende conclusie dat in de afgelopen dertig dagen zo’n honderd trackers hebben geprobeerd een profiel van mij op te bouwen. Die trackers zaten op 70 procent van de door mij bezochte websites. En daar zaten ook “betrouwbare” bedrijven tussen. Denk aan KPN, Springer, NRC, Avans, Google et cetera.’
Het Projectteam benadrukt dat dat al deze risico’s in het onderzoek zullen worden meegenomen. Lastiger wordt dat met het thema fraude. Beide CMR-leden wijzen erop dat het voor studenten kinderlijk eenvoudig is om met behulp van een mini-camera schermopnames te maken. Baremans: ‘Daarmee lopen we het risico dat de met veel zorg en met inzet van kostbare tijd ontwikkelde vragenbanken binnen de kortste keren op straat liggen. Het risico voor de bescherming van vragenbanken werd ook in het voorjaar genoemd, en het blijft onverminderd van kracht.’
Zinvol of niet?
Het in september gepresenteerde Projectplan getuigt in zekere zin van voortschrijdend inzicht. Leek het College aanvankelijk, onder druk van de coronacrisis, aan te sturen op de mogelijkheid om proctoring breed in te zetten; het Plan is veel specifieker. Er worden twee groepen aangewezen waarvoor proctoring interessant kan zijn: studenten met vastgelegde ‘eigen leerroute’, dus studenten die vanwege eigen keuzes in hun leerroute een voorkeur hebben voor toetsen op de eigen werkplek, dan wel studenten die vanwege persoonlijke bijzondere omstandigheden of externe factoren niet in staat zijn om fysiek aanwezig te zijn op Windesheim.
Als blijkt dat proctoring voor hem voordelen heeft, moet Windesheim de afweging maken of de kosten, financieel en qua tijd, afwegen tegen de baten. Daarnaast kan de opleiding online proctoring zélf aanbieden. Daarbij kan het om grote groepen studenten gaan, maar dan moet zij ook altijd een alternatief bieden.
Achterkamp houdt alle opties open: ‘Online proctoring brengt kosten met zich mee. Een doel van de pilot is om helder te krijgen wat de kosten en opbrengsten van de verschillende vormen zijn. De opbrengsten zijn hierin niet altijd volledig kwantificeerbaar: hoe waardeer je bijvoorbeeld de optie dat een student die vanwege bijvoorbeeld ziekte of een sportwedstijd in het buitenland wel verblijft kan meedoen aan een tentamen? De centrale vraag voor ons is in welke situaties (toets, student, leerroute) welke vorm van toetsen zinvol zou kunnen zijn. Het is denkbaar dat dit voor online proctoring in slechts een beperkt aantal situaties geldt – of geen enkele situatie.’
Volgens decaan en topsportcoördinator Marc Hilbrands is er zeker behoefte aan de mogelijkheid voor online proctoring: ‘Vanwege de afwezigheid bij tentamenweken door bijvoorbeeld een toernooi, wedstrijden of trainingsstages in het buitenland. Te vaak wordt dan aangegeven dat ze het tentamen eerst in de herkansing nog een keer kunnen maken wat tot verzwaring van studielast leidt. Een tentamen verplaatsen binnen korter tijdsbestek kan betekenen dat de opleiding een nieuw tentamen moet maken voor de student wat veel tijd kost voor de docent. Daarnaast kunnen studenten met een functiebeperking ook veel baat hebben bij online proctoring. Voor studenten die beperkt belastbaar zijn, bijvoorbeeld vanwege een chronische ziekte, zou het ideaal zijn om niet te hoeven reizen zodat ze energie kunnen besparen waardoor ze zich beter en langer kunnen concentreren voor een tentamen in hun eigen veilige setting.’
Cor Niks beschouwt proctoring als overbodig, zelfs voor de in het plan aangegeven kleine groep studenten: ‘Dan kan het ook anders worden opgelost. Ze zouden ter plekke een tentamen kunnen maken waarbij er een externe toezichthouder wordt ingehuurd. Ik doe dit al jaren voor onze Zwitserse studenten. De docent uit Zwitserland stuurt mij de toets en ik neem hem individueel af op het zelfde moment als de toets in het thuisland wordt afgenomen. Kwestie van organiseren.’
‘Tijd voor een breder debat’
En dan nog, zo stelt Baremans, is het de vraag welke kennis geschikt is om door middel van online proctoring getoetst te worden: ‘Online proctoring leent zich mijns inziens slechts voor ‘eenvoudige kennistoetsen’. Het gaat dan met name over reproductie van feiten en minder om begrip en toepassing, laat staan over analyse, evaluatie en creatie. Je moet je afvragen hoeveel van dergelijke toetsen je in een hbo-opleiding wilt afnemen. En of toetsvormen waarin kennis op een hoger niveau wordt bevraagd, niet ook de onderliggende feitenkennis toetsen. Dan kun je volstaan met minder toetsen. Dit vereist echter een breder debat over leren en onze wijze van toetsen, tegen de achtergrond van waar we als hoger onderwijsinstelling voor staan.’
Cor Niks stelt dezelfde principiële vragen: ‘Ik denk dat we het toetsbeleid van Windesheim maar eens tegen het licht moeten houden. Waarom hebben we zoveel tentamens, met gymzalen vol studenten? Kunnen we niet een groot deel van de toetsen laten vervallen, samenvoegen of anders vorm geven? Binnen mijn eigen opleiding hebben we een flink aantal modulen gebundeld. De student krijg één tentamen in plaats van vier. Ik pleit voor regelmatiger toetsen door de student kleinere opdrachten te laten maken. De student krijgt tijdsvakken waarin hij een opdracht moet maken en inleveren. Wanneer je elk semester dan een assessment afneemt waarin je toetst of de student de geleerde kennis kan toepassen dan denk ik dat je de student meer aanzet tot leren.’
Controle en inspraak
Het Projectteam heeft een ‘klankbordgroep’ samengesteld die de pilot kritisch volgt en in verschillende fases om zijn visie zal worden gevraagd. Ze bestaat uit één of twee studenten en een docent vanuit de CMR en daarnaast een decaan/casemanager, een medewerker van het toetsbureau en een lid examencommissie. Daarnaast is het team van plan om aan het begin van periode 2 een openbare sessie te organiseren waarin de voorlopige resultaten worden gepresenteerd en de plannen voor periode 2 worden aangegeven. Deze sessie is open voor alle belangstellenden.
Tekst: Marcel Hulspas
Illustraties: Judy Ballast
