Bedre skole nr. 1-2014

vil kontrollgruppen også oe ha fremgang, blant annet fordi barn er i kontinuerlig utvikling og læring, man lærer noe av å ta kartleggingsprøven osv. Hvis man ikke har en kontrollgruppe, vil e³ektstørrelsen regnes ut bare på grunnlag av prestasjoner på kartleggingen før og etter tiltaket. E³ektstørrelsen vil da bli kunstig høy uten at dette er et riktig bilde. Et eksempel på dette fra Hatties bok er at vokabularprogrammer kommer ut med en svært høy e³ektstørrelse. Dette er imidlertid basert på eldre metaanalyser hvor studier av svak kvalitet er inkludert. Nye metaanalyser med stren- gere inkludering av studier med kontrollgrupper, viser mye lavere e³ekt (Elleman et al. †‡‡Ÿ). Så hva sier Hattie selv om dette? I boken sier Hattie selv at det pågår en stor diskusjon i utdan- ningsvitenskap når det gjelder hva som teller som evidens i skolen og at enkelte mener at bare randomiserte kontrollerte studier teller som gyl- dig kunnskap. Hattie påpeker imidlertid at det …nnes svært få slike studier innenfor utdanning og skole og at han derfor ikke bare fokuserer på randomiserte kontrollerte studier, men også på studier som det «hevet over rimelig tvil» kan trek- kes konklusjoner fra. Derfor, sier Hattie videre, vil han presentere mange korrelasjoner i boken, siden de este metaanalysene søker å avdekke hva som har sammenheng med skoleferdigheter. I klartekst innebærer dette at Hattie inkluderer metaanalyser som ser på sammenhenger mellom forhold og altså ikke har undersøkt om et tiltak virker. Det er lett å si seg enig med Hatties vurdering at det innenfor utdanningsvitenskap er vanskelig ute- lukkende å vektlegge randomiserte kontrollerte

studier, siden det…nnes få slike studier også inter- nasjonalt. Vi synes imidlertid det ikke er urimelig å forvente at når man undersøker om et tiltak virker i skolen, faktisk har sett på studier hvor tiltak har vært utprøvd. Det at Hattie har valgt å inkludere studier med så ulike forskningsspørsmål, gjør ana- lysen hans langt mindre interessant enn den kunne vært. I tillegg inkluderer mange av de metaanaly- sene som faktisk har sett på e³ekten av tiltak, også studier av dårlig kvalitet og uten kontrollgruppe.

Det er store usikkerhetsmomenter ved Hatties analyse. Det åpner opp for unyanserte konklusjoner om at «læreren er viktigst», men gir i liten grad konkrete råd om hva læreren faktisk bør gjøre.

Et bedre grunnlag for tiltak i skolen Så, hva hvis vi hadde vært lærere, kunne Hattie ha gitt retning og innhold for vårt arbeid? Vår konklu- sjon er at det er store usikkerhetsmomenter ved Hatties analyse, og at det åpner opp for unyanserte konklusjoner om at «læreren er viktigst», men i liten grad gir konkrete råd om hva læreren faktisk bør gjøre. Hvordan tiltak virker, er et viktig spørs- mål å besvare når man skal avgjøre hvordan tid, kreer og ressurser bør fordeles i skolen. Gode studier som søker å besvare slike spørsmål vil der- for være av avgjørende betydning fremover. Selv om Hatties analyse har bidratt til å sette fokus på dette, har den store svakheter. En viktig lærdom fra dette at man bør være kritisk til nye program- mer, tiltak eller lignende som skal innføres i sko- len. Et avgjørende spørsmål den enkelte lærer eller skoleeier eller kommune bør spørre seg når noen argumenterer for ulike programmer, er hvorvidt man har et godt nok grunnlag i gode studier med kontrollgruppe som viser at de virker. Fremfor å se på Hatties oppsummering er det en langt bedre idé å gå til noen av de metaanaly- sene eller gode randomiserte kontrollerte studiene som er blitt publisert i senere tid. Det er imidlertid

M e d i u m

H ø y

0 , 5

0 , 6

0 , 7

0 , 8 0 , 9 1 , 0 1 , 1 1

Bedre Skole nr. 1 ■

2014