Usein resursseja, ohjelmia tai arviointeja tarkastellessamme saatamme törmätä termeihin kuten ”näyttöön perustuva” tai ”tutkimukseen perustuva”. Nämä termit kertovat kumpikin jotakin resursseista, joita ne kuvaavat, ja niitä tukevasta todistusaineistosta. Kunkin termin merkityksen ymmärtäminen voi auttaa meitä tekemään tietoon perustuvia päätöksiä, kun valitsemme ja otamme käyttöön resursseja.
Mitä nämä termit tarkalleen ottaen tarkoittavat?
Tyypillisesti termit näyttöön perustuvat käytännöt tai näyttöön perustuvat ohjelmat viittaavat yksittäisiin käytänteisiin (esimerkiksi yksittäisiin oppitunteihin tai luokkakohtaisiin toimintoihin) tai ohjelmiin (esimerkiksi koko vuoden kestäviin opetussuunnitelmiin), joita pidetään tehokkaina tieteellisen näytön perusteella. Jotta ohjelmaa tai käytäntöä voidaan pitää ”näyttöön perustuvana”, tutkijat yleensä tutkivat resurssin (resurssien) vaikutusta kontrolloidussa ympäristössä – he voivat esimerkiksi tutkia eroja taitojen kasvussa niiden oppilaiden välillä, joiden opettajat käyttivät resursseja, ja niiden oppilaiden välillä, joiden opettajat eivät käyttäneet resursseja. Jos riittävät tutkimustulokset viittaavat siihen, että ohjelma tai käytäntö on tehokas, sitä voidaan pitää ”näyttöön perustuvana.”
Evidence-Informed (tai Research-Based) Practices ovat käytäntöjä, jotka on kehitetty alan parhaan saatavilla olevan tutkimuksen perusteella. Tämä tarkoittaa, että käyttäjät voivat luottaa siihen, että ohjelmaan tai käytäntöön sisältyvillä strategioilla ja toiminnoilla on vahva tieteellinen perusta niiden käytölle. Toisin kuin näyttöön perustuvia käytäntöjä tai ohjelmia, tutkimukseen perustuvia käytäntöjä ei ole tutkittu kontrolloidussa ympäristössä.
Entä arviointi?
Termit ”näyttöön perustuva” ja ”tutkimukseen perustuva” käytetään usein kuvaamaan interventiotoimia, kuten strategioita tai opetussuunnitelmia, joiden tarkoituksena on kehittää taitoja tietyillä alueilla. Mutta myös taitojen mittaaminen arviointivälineillä voi olla näyttöön perustuvaa. Arviointiprosessia voidaan pitää näyttöön perustuvana arviointina, jos:
- arvioinnilla mitattavien taitojen valinta perustuu tutkimustietoon;
- käytetyt arviointimenetelmät ja mittausvälineet perustuvat tieteelliseen tutkimukseen ja teoriaan, ja ne täyttävät aiottujen käyttötarkoitustensa kannalta asianmukaiset standardit;
- arvioinnin toteuttamis- ja tulkintatapa perustuu tutkimukseen.
Todisteisiin perustuvan arvioinnin käyttäminen intervention ohjaamiseen tai arviointiin antaa meille varmuuden siitä, että prosessi soveltuu hyvin tarkoitukseemme, perustuu tieteelliseen teoriaan ja on tehokas oppilaidemme kannalta.
Mitä standardeja koulutuksellisille arvioinneille on olemassa?
Todisteisiin perustuvan arvioinnin prosessiin kuuluu sellaisen mittausmenetelmän käyttäminen, joka ”täyttää asiaankuuluvat standardit aiottuja käyttötarkoituksiaan varten”. Mitkä ovat asiaankuuluvat standardit, ja mistä tiedämme, täyttääkö työkalu ne?
Joitakin kasvatustieteellisten, psykologisten ja arviointialojen asiantuntijoiden kokoamia perustavanlaatuisia standardeja koulutuksellisille arvioinneille ovat:
- Validiteetti aiottua käyttötarkoitusta varten: Työkalua olisi pitänyt tutkia, jotta olisi voitu määrittää, että se on pätevä eli soveltuu päätöksiin, joita saatamme tehdä sen tulosten perusteella. Aivan kuten emme käyttäisi matematiikan tietovisaa kertoaksemme, tarvitseeko oppilas lisäharjoittelua luetun ymmärtämisessä, emme saisi käyttää arviointia muihin tarkoituksiin kuin niihin, joita tutkimus on pitänyt ”pätevinä”.
- Luotettavuus: Työkalua olisi pitänyt tutkia sen varmistamiseksi, että se täyttää odotukset luotettavuudesta eli johdonmukaisuudesta. Tutkijat voisivat esimerkiksi tutkia, tuottaako työkalu samanlaisia tuloksia, jos se täytetään kahdesti lyhyen ajan kuluessa. Luotettavuutta voidaan tutkia useilla eri menetelmillä mittausvälineestä riippuen.
- Oikeudenmukaisuus: Työkalua olisi pitänyt tutkia, kuinka oikeudenmukainen tai puolueeton se on eri oppilasryhmien, kuten rotuun, etniseen alkuperään tai kulttuuritaustaan perustuvien alaryhmien, keskuudessa. Puolueellisen mittaustyökalun käyttäminen voi johtaa puolueelliseen päätöksentekoon ja uhata kykyämme tarjota tasapuolisia palveluja.
Kohtaiset standardit kullakin näistä ja muista osa-alueista on koottu käsikirjaan ”Standardit koulutuksellisille ja psykologisille testeille” (2014), jonka ovat kirjoittaneet American Educational Research Association, American Psychological Association ja National Council on Measurement in Education. Tämä käsikirja voi olla hyödyllinen apuväline, kun tarkastellaan mittausvälineiden taustalla olevaa erityistä näyttöä.
Johtopäätökset
Termit kuten ”näyttöön perustuva” tai ”tutkimukseen perustuva” ovat hyödyllisiä indikaattoreita siitä, minkälaista näyttöä ohjelmien, käytäntöjen tai arviointien taustalla on – ne voivat kuitenkin kertoa meille vain vähän kunkin välineen taustalla olevasta erityisestä tutkimuksesta. Tilanteissa, joissa lisätietoa resurssin näyttöperustasta olisi hyödyllistä, voi olla hyödyllistä pyytää tutkimustiivistelmiä tai artikkeleita resurssin julkaisijalta tarkempaa tarkastelua varten.
Lisälukemista
- Child Welfare Information Gateway. Evidence-Based Practice Definitions and Glossary.
- Hunsley, J., & Mash, E. J. (2007). Näyttöön perustuva arviointi. Rev. Clin. Psychol., 3, 29-51.
- Joint Committee on the Standards for Educational and Psychological Testing of the American Educational Research Association, the American Psychological Association, and the National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. The American Educational Research Association, the American Psychological Association, and the National Council on Measurement in Education.
- S. Department of Education (2016). Using Evidence to Strengthen Education Investments.