De kwaliteit van een online training meten

Na een zaaltraining vult iedereen een formulier in. De scores zijn meestal hoog, de trainer is tevreden en het formulier gaat in een map. Bij een online training werkt dat niet meer zo. Er is geen trainer die de sfeer proeft en er zijn veel meer gegevens: wie begon, wie stopte, waar, welke vragen fout gingen. Het probleem is niet het gebrek aan cijfers, het is de vraag welke cijfers iets zeggen.

Welke controles je in het ontwerp inbouwt zodat kwaliteit niet afhangt van de trainer in de zaal, staat in kwaliteit bewaken zonder trainer in de zaal. Deze pagina gaat over het meten zelf: wat je meet, hoe en hoe je het leest.

Meet op vier niveaus

Een bruikbare indeling voor het meten van een training is die in vier niveaus. Hij is afgeleid van het bekende evaluatiemodel van Kirkpatrick en helpt om te zien wat een meting wel en niet zegt.

Hoe hoger het niveau, hoe meer het zegt en hoe lastiger het is om te meten. Niveau 1 en 2 kun je grotendeels in je platform regelen. Niveau 3 vraagt een moment na de training. Niveau 4 ligt bij de opdrachtgever en kun je alleen samen met hem vaststellen. Beloof daar geen uitkomsten over. Je kunt wel afspreken dat jullie er samen naar kijken.

Welke platformgegevens iets zeggen

Een leerplatform registreert veel. Een deel daarvan is bruikbaar om de kwaliteit van je training te beoordelen.

• Start en afronding per groep. Hoeveel van de ingeschreven deelnemers begonnen en hoeveel rondden af. Een lage start wijst vaak op iets buiten de training: onduidelijke uitnodiging, geen tijd van de werkgever. Een lage afronding wijst eerder op de training zelf.
• Waar deelnemers stoppen. De les waar meerdere mensen afhaken, verdient aandacht. Is hij te lang, te abstract of is de opdracht onduidelijk?
• Toetsvragen die vaak fout gaan. Een vraag die veel deelnemers fout beantwoorden, is een slechte vraag of een les die het niet goed uitlegt. Beide zijn het uitzoeken waard.
• Doorlooptijd. Hoe lang deelnemers over een module doen in vergelijking met wat je had gepland. Grote verschillen zeggen iets over je inschatting van de studielast.

Kijktijd per video per persoon zegt weinig over leren. Gebruik het hooguit op groepsniveau, om te zien of een video structureel halverwege wordt weggeklikt.

Wat je deelnemers en begeleiders vraagt

Platformgegevens laten zien wat er gebeurt, niet waarom. Daarvoor heb je mensen nodig.

Een korte evaluatie per module. Twee of drie vragen, direct na de module. Bijvoorbeeld: wat was het nuttigste onderdeel, wat was onduidelijk en hoeveel tijd kostte het. Kort houden, anders vullen mensen hem niet in.

Een eindevaluatie. Iets uitgebreider, met een vraag naar toepassing: wat ga je volgende week anders doen? Het antwoord zegt meer dan een cijfer.

Een vervolgvraag na enkele weken. Wat heb je toegepast, wat niet en waarom niet? Dit is de meting die het vaakst wordt overgeslagen en die het meest zegt over niveau 3.

De begeleider. Wie vragen beantwoordt en opdrachten nakijkt, ziet waar deelnemers vastlopen. Laat de begeleider bijhouden welke vragen vaak terugkomen. Dat is een van de rijkste bronnen die je hebt, zie ook trainers opleiden voor online begeleiden.

Veelgemaakte fout: een lange vragenlijst aan het eind die alles tegelijk wil meten. Deelnemers vullen hem half of haastig in en je krijgt veel cijfers die weinig zeggen. Meet liever vaker en korter en stel alleen vragen waar je iets mee gaat doen. Weet je niet wat je met het antwoord doet, laat de vraag dan weg.

Zo lees je de uitkomsten

Metingen hebben pas waarde als iemand ze leest en er een conclusie uit trekt. Een paar regels helpen om dat zuiver te doen.

1. Kijk naar patronen, niet naar één groep. Eén groep kan afwijken door toeval, door de opdrachtgever of door de periode. Vergelijk dezelfde training over meerdere groepen.
2. Combineer bronnen. Een les waar mensen afhaken, waar de begeleider veel vragen over krijgt en die in de evaluatie als onduidelijk wordt genoemd, is een duidelijk verbeterpunt. Eén signaal alleen is een vraag, geen conclusie.
3. Scheid training en omstandigheden. Lage afronding bij één opdrachtgever en hoge bij de rest wijst op iets bij die opdrachtgever, bijvoorbeeld te weinig werktijd.
4. Leg vast wat je besluit. Elke meting eindigt met een besluit: aanpassen, nader bekijken of laten zoals het is. Anders verzamel je gegevens zonder dat er iets verandert.

Een meetplan per training

Leg per training in een half A4 vast wat je meet. Een voorbeeld van zo'n plan:

Wat je van deze metingen aan de opdrachtgever laat zien en op welk niveau, staat in rapportage voor opdrachtgevers. Hoe je de uitkomsten omzet in vaste verbeterrondes, lees je in evalueren en verbeteren.