De grote data ontdekkingsreis van 2020

Er zijn ontzettend veel cijfers beschikbaar binnen het mbo die informatie kunnen geven over de kwaliteit van het onderwijs, te denken valt aan de BPV monitor, de JOB monitor en verschillende cijfers op instellingsniveau. Het is steeds meer van belang dat onderwijsteams deze data zelf kunnen duiden en benutten, omdat de verantwoordelijkheid voor het borgen van de kwaliteitscyclus steeds vaker verschuift van de inspectie naar de onderwijsteams zelf. Onderwijsteams ervaren het benutten van deze data ten behoeve van de verbetering van hun onderwijs echter regelmatig als een struikblok. Ze vinden het lastig om informatie uit externe (data)bronnen, interne kwaliteitszorgsystemen en evaluaties te vertalen naar acties die bijdragen aan verbetering van de onderwijskwaliteit (Oberon; KBA, 2015)[1].

In de onderwijscontext gaat het bij data om alle relevante – kwantitatieve en kwalitatieve – gegevens die docenten en schoolleiders nodig hebben om beslissingen te nemen, zoals testresultaten, achtergrondinformatie, gestructureerde observatiegegevens of beoordelingsgegevens (Lai & Schildkamp, 2013)[2]. Data kunnen dan ook als input worden gebruikt voor een gesprek over de kwaliteit van het onderwijs met verschillende betrokkenen, om bepaalde ‘onderbuikgevoelens’ te onderbouwen of om verbeteracties te concretiseren. Ook kunnen data juist laten zien waar de kwaliteit op orde is, waar een onderwijsteam trots op kan zijn en wat vooral zo behouden moet blijven.

De uitdaging lijkt hem met name te zitten in het vinden van een manier waarop de informatie uit verscheidene data in gezamenlijkheid, binnen onderwijsteams, kan worden benut en vertaald naar concrete acties. De grote vraag daarbij is: “Hoe kan ervoor worden gezorgd dat het gebruiken van data ten behoeve van kwaliteitsverbetering van het onderwijs een plek krijgt in de taakstelling van onderwijsteams en met plezier door hen kan worden opgepakt?”.

Het NCP EQAVET is in het najaar van 2019 gestart met een pilot om kernteams binnen onderwijsteams te ondersteunen bij het stimuleren van datagebruik ten behoeve van de verbetering van onderwijskwaliteit in het mbo. Deze pilot had als doel om inzicht te krijgen in de manier waarop onderwijsteams kunnen ondervinden dat datagebruik in het mbo nuttig en (misschien zelfs wel) leuk kan zijn en welke handvatten zij nodig hebben om dit op een adequate manier te kunnen doen. Het resultaat van deze pilot is de trainingskit datagebruik, met daarin PowerPoints voor drie bijeenkomsten en een handboek voor een procesbegeleider om een onderwijsteam te begeleiden, inclusief verschillende werkvormen en theoretische achtergrondinformatie.

De pilot is in november gestart met twee verschillende kerngroepen vanuit Curio: de experts kwaliteitszorg van Curio Techniek en Technologie die meerdere onderwijsteams onder hun hoede hebben en de kerngroep kwaliteit van Curio Retail Roosendaal. Deze beide kerngroepen zijn vanuit het NCP EQAVET begeleid in de manier waarop zij dit proces met behulp van de trainingskit datagebruik konden doorlopen om data te benutten in hun onderwijsteams.

Binnen de pilot zijn we uitgegaan van drie bijeenkomsten om onderwijsteams mee te nemen in het gebruik van data rond een vraagstuk dat leeft binnen het team. De bijeenkomsten leidden het onderwijsteam door zes stappen die in drie bijeenkomsten werden behandeld, namelijk:

Eerste bijeenkomst:

1. Vraag duidelijk krijgen
2. Verzamelen van relevante data

Tweede bijeenkomst:

3. Analyseren van deze data
4. Interpreteren van de data
5. Beslissingen nemen of acties uitvoeren om onderwijs te verbeteren

Derde bijeenkomst:

6. Evalueren effectiviteit van de ondernomen acties

In april 2020 hebben we de pilot afgerond en hebben we bij de betrokken kernteams opgehaald hoe zij het proces hebben ervaren. Sommige deelnemers hebben de pilot ervaren als een welkome ondersteuning bij het op een gedegen wijze oppakken van actuele vraagstukken met hun onderwijsteam. Eén van de deelnemers gaf aan: “Ik ben echt geholpen door de bewustwording die gaandeweg ontstond; niet teveel toewerken naar een bepaald resultaat, maar proberen objectief zaken aan elkaar te verbinden.”. Andere deelnemers zijn bang dat er binnen hun team weinig draagkracht is voor het doorlopen van een dergelijk proces buiten de pilot om. Een argument hiervoor is de tijdsinvestering die een dergelijk proces zou vragen. Omdat uit de pilot blijkt dat tijdsinvestering inderdaad essentieel is, is de benodigde tijd voor bijeenkomsten in het handboek uitgebreid waar dat nodig bleek en is het aan te raden om hier binnen het onderwijsteam de tijd voor te reserveren. Op deze manier wordt voorafgaand aan het traject een realistisch beeld geschetst van de benodigde tijd.

Bij het gebruik van het, door het NCP EQAVET ontwikkelde, materiaal en het doorlopen van de stappen waren verschillen tussen onderwijsteams merkbaar. Voor sommige teams bleek het lastig om niet direct naar de oplossing te gaan. Terwijl voor enkele andere teams de stap van het analyseren van de data naar het interpreteren van de resultaten ingewikkeld was. Niet het tot in de puntjes goed kunnen uitvoeren van elke stap, maar het gesprek dat ontstaat en de betrokkenheid van het gehele onderwijsteam bij het (systematisch) werken aan onderwijskwaliteit zijn hierbij van belang en een meerwaarde gebleken. De grote winst zit hem voornamelijk in het kennismaken en oefenen met de stappen en achterliggende gedachten, wat zorgt voor een grotere teamverantwoordelijkheid en bewustwording van de rol die onderwijsteams kunnen spelen in het werken aan de kwaliteit van het onderwijs.

Het merendeel van de onderwijsteams dat deel heeft genomen aan de pilot heeft stappen gezet of zit nog volop in het proces door de situatie rondom COVID-19. Een mooi resultaat binnen een van de betrokken onderwijsteams is dat zij zich door de pilot meer bewust zijn geworden van het belang om data te benutten t.b.v. de verbetering van onderwijskwaliteit. Het onderwijsteam is nu in staat om de stappen die tijdens de pilot doorlopen zijn, zonder procesbegeleider uit te voeren. Daarnaast kwamen er tijdens de evaluatie drie essentiële punten naar voren:

1. Het train-de-trainer principe werkt binnen het doorlopen proces goed. Degene(n) die dit proces bij een onderwijsteam gaat c.q. gaan begeleiden, heeft c.q. hebben er baat bij om de trainingskit datagebruik te ontvangen en zich voor te bereiden middels het handboek.
2. Het begeleiden van een kern- of onderwijsteam tijdens de bijeenkomsten kan spannend zijn. Zie het daarom als een ontdekkingsreis die je samen maakt.
3. Het (bewust) gebruiken van data vraagt wat van een kern-/onderwijsteam op het gebied van tijd, inzet en een door het team gedragen mate van urgentie en prioriteit. Het is belangrijk dat de inzet gefaciliteerd en gewaardeerd wordt. Na verloop van tijd zal dit meer vanzelfsprekend zijn en men routine vinden in de aanpak.

Vanuit het NCP EQAVET stellen we alle materialen uit de trainingskit datagebruik beschikbaar.

• Handboek grote data ontdekkingsreis
• PPT grote data ontdekkingsreis

[1] Oberon; KBA. (2015). Informatiegebruik voor kwaliteitsverbetering. Utrecht/Nijmegen: Oberon; KBA.

[2] Lai, M. K., & Schildkamp, K. (2013). Data-based decision making: An overview. Studies in educational leadership; Vol. 17, No. 17, 9-21.