Vaak komen we bij het bekijken van bronnen, programma’s of beoordelingen termen tegen als “evidence-based” of “research-based”. Deze termen vertellen ons iets over de middelen die ze beschrijven en het bewijs dat ze ondersteunt. Inzicht in de betekenis van elke term kan ons helpen weloverwogen beslissingen te nemen bij het selecteren en implementeren van hulpmiddelen.
Dus wat betekenen deze termen precies?
Typisch verwijzen de termen Evidence-Based Practices of Evidence-Based Programs naar individuele praktijken (bijvoorbeeld afzonderlijke lessen of klassikale activiteiten) of programma’s (bijvoorbeeld leerplannen voor een heel jaar) die effectief worden geacht op basis van wetenschappelijk bewijs. Om een programma of praktijk als “evidence-based” te bestempelen, zullen onderzoekers de impact van het hulpmiddel of de hulpmiddelen in een gecontroleerde setting bestuderen – ze kunnen bijvoorbeeld verschillen in vaardigheidsgroei bestuderen tussen leerlingen van wie de opvoeders de hulpmiddelen gebruikten en leerlingen van wie de opvoeders dat niet deden. Als voldoende onderzoek erop wijst dat het programma of de praktijk effectief is, kan het worden beschouwd als “evidence-based.”
Evidence-Informed (of Research-Based) Practices zijn praktijken die zijn ontwikkeld op basis van het beste onderzoek dat in het veld beschikbaar is. Dit betekent dat gebruikers erop kunnen vertrouwen dat de strategieën en activiteiten in het programma of de praktijk een sterke wetenschappelijke basis hebben voor hun gebruik. In tegenstelling tot Evidence-Based Practices of Programma’s, zijn Research-Based Practices niet onderzocht in een gecontroleerde setting.
Hoe zit het met de beoordeling?
Termen als “evidence-based” en “research-based” worden vaak gebruikt om interventie-activiteiten te beschrijven, zoals strategieën of curricula die zijn ontworpen om vaardigheden op specifieke gebieden te ontwikkelen. Maar het proces van het meten van vaardigheden met beoordelingsinstrumenten kan ook evidence-based zijn. Een beoordelingsproces kan worden beschouwd als Evidence-Based Assessment als:
- De keuze van vaardigheden te meten door de beoordeling werd geïnformeerd door onderzoek;
- De beoordelingsmethode en meetinstrumenten gebruikt zijn geïnformeerd door wetenschappelijk onderzoek en theorie en voldoen aan de relevante normen voor hun beoogde gebruik; en
- De manier waarop de beoordeling wordt uitgevoerd en geïnterpreteerd wordt ondersteund door onderzoek.
Het gebruik van evidence-based assessment om een interventie te begeleiden of te evalueren geeft ons vertrouwen dat het proces goed geschikt is voor ons doel, gebaseerd is op wetenschappelijke theorie, en effectief zal zijn voor onze leerlingen.
Welke standaarden bestaan er voor educatieve assessments?
Het proces van Evidence-Based Assessment omvat het gebruik van een meetinstrument dat “voldoet aan de relevante standaarden voor het beoogde gebruik ervan.” Wat zijn de relevante standaarden, en hoe kunnen we weten of een instrument daaraan voldoet?
Enkele fundamentele standaarden voor onderwijsevaluaties, zoals samengesteld door deskundigen op het gebied van onderwijs, psychologie en assessment, zijn:
- Geldigheid voor een beoogd gebruik: het instrument moet zijn onderzocht om vast te stellen dat het geldig is, of geschikt, voor de beslissingen die we kunnen nemen op basis van de resultaten ervan. Net zoals we een wiskundequiz niet zouden gebruiken om te bepalen of een leerling extra oefening nodig heeft voor begrijpend lezen, zouden we een beoordeling niet moeten gebruiken voor andere doeleinden dan die welke onderzoek “valide” heeft geacht.
- Betrouwbaarheid: het instrument moet onderzocht zijn om te verzekeren dat het voldoet aan de verwachtingen voor betrouwbaarheid, of consistentie. Onderzoekers kunnen bijvoorbeeld nagaan of het instrument vergelijkbare resultaten oplevert als het twee keer in korte tijd wordt ingevuld. Betrouwbaarheid kan worden onderzocht via een verscheidenheid van methoden, afhankelijk van het meetinstrument.
- Eerlijkheid: het instrument moet zijn onderzocht om te onderzoeken hoe eerlijk, of onbevooroordeeld, het is onder verschillende subgroepen van studenten, zoals subgroepen op basis van ras, etniciteit, of culturele achtergrond. Het gebruik van een bevooroordeeld meetinstrument kan leiden tot bevooroordeelde besluitvorming en een bedreiging vormen voor ons vermogen om rechtvaardige diensten te verlenen.
Specifieke normen binnen elk van deze domeinen, en andere, zijn verzameld in het handboek, “Standards for Educational and Psychological Testing” (2014), geschreven door de American Educational Research Association, de American Psychological Association, en de National Council on Measurement in Education. Dit handboek kan een nuttige metgezel zijn bij het beoordelen van het specifieke bewijs achter meetinstrumenten.
In Conclusie
Termen als “evidence-based” of “research-based” zijn nuttige indicatoren voor het type bewijs achter programma’s, praktijken of beoordelingen – ze kunnen ons echter slechts zoveel vertellen over het specifieke onderzoek achter elk hulpmiddel. In situaties waarin meer informatie over de bewijsbasis van een hulpmiddel nuttig zou zijn, kan het nuttig zijn om onderzoekssamenvattingen of artikelen op te vragen bij de uitgever van het hulpmiddel voor verdere beoordeling.
Verder lezen
- Child Welfare Information Gateway. Evidence-Based Practice Definitions and Glossary.
- Hunsley, J., & Mash, E. J. (2007). Evidence-based assessment. Rev. Clin. Psychol., 3, 29-51.
- Joint Committee on the Standards for Educational and Psychological Testing of the American Educational Research Association, the American Psychological Association, and the National Council on Measurement in Education (2014). Standaarden voor Educatieve en Psychologische Testen. The American Educational Research Association, the American Psychological Association, and the National Council on Measurement in Education.
- S. Department of Education (2016). Using Evidence to Strengthen Education Investments.