Bedre skole nr. 1-2014

trenger ikke å vise til e³ekten av et tiltak. I littera- turen om forskningsmetode er det imidlertid stor enighet om at studier som undersøker e³ekten av et tiltak og studier som undersøker sammen- henger for å forstå et fenomen, ikke bør blandes sammen i samme metaanalyse, fordi spørsmålene de stiller og kan besvare er så ulike (se Borenstein et al †‡‡Ÿ). Det er også viktig å merke seg at en metaanalyse aldri blir bedre enn de enkeltstudiene som er inkludert. Dersommetaanalysen består av svake studier uten kontrollgruppe, kan man ikke trekke noen konklusjoner når det gjelder om et tiltak virker eller ikke. Innenfor metaanalyse har man oe litt humoristisk kalt dette for «garbage in, garbage out». To innvendinger mot Hatties bok Hatties bok har vært sterkt kritisert blant annet for å fokusere på medisinsk metode (Imsen, †‡ ), for å være kommersiell (Sjøberg, †‡ †), og for å bruke feilaktig beregninger av e³ektstørrelse (Topphol, †‡ ). Hovedproblemene slik vi ser det, er imid- lertid to ting som i liten grad har kommet frem i debatten til nå: Den første innvendingen mot Hatties kon- klusjoner er at mange av metaanalysene han har inkludert ikke dreier seg om å undersøke e³ekten av et tiltak. Man har altså ikke undersøkt hvordan et konkret tiltak utprøvd i skolen virker inn på elevenes ferdigheter, men sammenhengen mel- lom ulike forhold. La oss bruke et tiltak rettet mot leseferdighet som et eksempel på dette: Når det gjelder om fonologisk bevissthet/bokstavkunn- skap forbedrer leseferdigheter, er det inkludert › metaanalyser. Hvis vi ser nærmere på disse, ser vi at ere av disse ikke har undersøkt e³ekt av tiltak: Wagner ( Ÿ©©) undersøker om det er sammenheng mellom fonologisk bevissthet og senere avkodingsferdigheter, Metsala et al. ( ŸŸ©) undersøker om barn med dysleksi er dårligere til å stave irregulære ord enn barn uten dysleksi, mens Swanson et.al. (†‡‡¤) har undersøkt hvor- vidt det er sammenheng mellom leseferdigheter, benevningshastighet og fonologisk bevissthet. Disse metaanalysene er altså uegnet til å si noe om e³ekten av fonologisk bevissthetsarbeid/

bokstavkunnskap på lesing, rett og slett fordi de undersøker helt andre forskningsspørsmål. Ser vi nærmere på tiltak rettet mot for eksempel leseforståelse og matematikk, ser vi et lignende mønster. I noen av metaanalysene har e³ekten av tiltak vært undersøkt, mens andre har sett på for eksempel hvordan barn med og uten lærevan- sker prosesserer informasjon (O’Shaughnessey & Swanson, ŸŸ©) eller hvordan andre forhold enn matematikkferdigheter påvirker resultater på matematikktester (Hembree, Ÿ©š). I listen over forhold som har innvirkning på læring i skolen, får dette også et underlig utslag ved at programmer

En e¬ektstørrelse vil bety ulike ting avhengig av spørsmålet som er stilt i undersøkelsen, og det trenger ikke å vise til e¬ekten av et tiltak.

basert på Piagets teori settes høyt opp på listen med nest best e³ekt. Ifølge redegjørelsen er dette imidlertid basert på en undersøkelse hvor man har sett på sammenhengen mellom ferdigheter på Piagets stadier og lesing og matematikk (Hattie, †‡‡Ÿ). Ikke overraskende…nner man en høy grad av sammenheng (korrelasjon), siden alle fakto- rene her er kognitive forhold knyttet til læring. Ut fra dette har man trukket konklusjonen om at programmer basert på Piagets teori har svært god e³ekt. En slik konklusjon må kunne sies i beste fall å være basert på svært tynt grunnlag. Den andre innvendingen mot Hatties bok går på at svært mange av de metaanalysene han har inkludert som faktisk ser på e³ekten av et tiltak, inneholder studier uten kontrollgruppe. Som sagt, uten en kontrollgruppe er det vanskelig å trekke konklusjoner om et tiltak virker eller ikke. I prak- sis fører dette til at e³ektstørrelsen ser mye større ut enn det den egentlig er. Grunnen til det er at når man har en kontrollgruppe, sammenligner man forskjellen mellom gruppen som får tiltaket og en gruppe som ikke får tiltaket. E³ekten av tiltaket er da hvor mye mer fremgang tiltaksgruppen har i løpet av tiltaket enn kontrollgruppen. Som sagt

89

Bedre Skole nr. 1 ■

2014