Gamebrics: Serious gaming voor actief online leren met geïntegreerde analytical rubrics voor formatieve e-toetsing
Een project uit ronde 2021 van de stimuleringsregeling open en online onderwijs.
Het Gamebrics project raakt de kern van het jaarthema ‘Activerend online leren én toetsen’, omdat het online activerend leren (via scenario-based serious games) én online formatief toetsen (via analytical e-rubrics) op een creatieve en vernieuwende wijze integreert en evalueert binnen de onderwijspraktijk.
De verwerving van complexe vaardigheden via online activerend onderwijs is een grote uitdaging voor het (hoger) onderwijs, zoals tijdens de Corona pandemie meer dan ooit is gebleken. Met goed ontworpen serious games blijken dergelijke vaardigheden via activerende taken in authentieke beroepscontexten te kunnen worden aangeleerd. Als bijkomende voordelen neemt de begeleidingslast voor docenten af, en neemt de motivatie van studenten toe. Hoe deze (virtuele) begeleiding online moet worden aangeboden, en hoe studenten feedback op hun voortgang richting leerdoelen moeten krijgen, blijken daarbij belangrijke punten van aandacht te zijn. Slecht ontworpen games die onvoldoende sturen op leeruitkomsten blijken weinig effectief (“garbage in, garbage out”). Dit ‘Gamebrics’ project zal docenten (en andere ontwikkelaars) een gebruiksvriendelijke en gevalideerde invoertool bieden waarmee (virtuele) begeleiding mét geautomatiseerde (synchrone) formatieve assessment voor analytische vaardigheden kan worden gerealiseerd.
Er bestaan analytische rubrieken voor complexe vaardigheden, die voor formatieve assessment kunnen worden ingezet, en na(ast) het spelen van een game de voortgang op vaardigheden te kunnen beoordelen. Dergelijke rubrieken zijn echter nog niet geïntegreerd binnen de gameplay zélf. Daarvoor moeten eerst relevante game activiteiten (en hun prestatie indicatoren) worden afgebeeld op relevante deelvaardigheden (en hun beheersingsniveaus), zodat de voorgang kan worden weergegeven als feedback binnen e-rubrics. Op deze wijze geven ‘gamebrics’ de student zowel inzicht in als steun bij het verwerven van complexe vaardigheden.
Voor de functionele- en technische integratie van deze e-rubrics binnen de gameplay zullen we ons in dit project richten op analytische vaardigheden, omdat het grootste deel van het hoger onderwijs daarop blijkt te zijn gericht. We bouwen waar mogelijk voort op eerder beproefde ontwerpaanpakken en reeds ontwikkelde tools vanuit eerdere projecten vanuit de Open Universiteit (OU) in samenwerking met andere HO-partners.
We gaan deze integratie concreet ontwerpen, ontwikkelen, én evalueren bij het gebruik van een tweetal serious games door circa 400 studenten. Belangrijke ontwerpaanpakken en ontwikkeltools, die we creatief gaan combineren en doorontwikkelen zijn eerder met succes gebruikt binnen de EMERGO (SURF)- en Viewbrics (NRO)-projecten, en momenteel binnen het lopende Pe(e)rfect Vaardig (SURF)-project (op het gebied van presentatievaardigheden). Maar nog niet eerder werden deze e-rubrics binnen de gameplay geïntegreerd.
Bij scenario-gebaseerde serious games voor het hoger onderwijs is analytisch denken op voldoende hoog niveau nodig, hetgeen goed via in-game feedback met rubrieken kan worden ondersteund. Analytisch denken betreft een verzameling deelvaardigheden die grotendeels domein-onafhankelijk (transversaal) zijn, zoals: mediawijsheid (informatie kunnen afbakenen en op betrouwbaarheid selecteren); computational thinking (een complex probleem kunnen opsplitsen en ordenen); kunnen deduceren en induceren; kunnen omgaan met ambiguïteit en verschillende perspectieven; en strategische keuzes bij het oplossen van een complex probleem kunnen maken.
Binnen de ‘Gamebrics’ aanpak wordt een domein-onafhankelijke en analytische rubriek voor analytische vaardigheden uitgewerkt.
In fase 1 zal deze via een gevalideerde methode voor content-validatie worden afgebeeld op specifieke game activiteiten bij twee bestaande serious games (voor faculteiten Managementwetenschappen en Psychologie), en levert daarmee een functionele uitbreiding aan een gevalideerde ontwerpaanpak voor serious games op.
In fase 2 zal bestaande en reeds beproefde tooling (m.n. het ‘vaardigheidswiel’, vanuit het Viewbrics-project, en de Smart CAT-tool voor geautomatiseerde assessment, vanuit het RAGE-project) worden gebruikt om deze afbeelding met EMERGO te kunnen realiseren via een gebruiksvriendelijke component (tool) binnen de auteursomgeving (ook generiek gebruik).
Fase 3 betreft de experimentele vergelijking tussen gameplay mét en gameplay zónder geautomatiseerde formatieve assessment met de e-rubric. We zullen binnen deze studie ook de verwachte meerwaarde van de analytische rubriek ten opzichte van een conventionele rubriek (met alleen de scores op criteria) onderzoeken.
Fase 4 betreft de integrale rapportage van alle bevindingen en een transparante documentatie van producten.