92 / 100
Forskere etterlyser nøktern bruk av PISA
Resultater fra PISA blir brukt som styringsverktøy for
skoleutvikling, uten at testingen helt er forstått. Forskere
ved Universitetet i Oslo har påvist åpenbare mangler i
offentlighetens kunnskapsgrunnlag.
PISA-testing er OECD sitt store verk-
tøy for å kunne gi enkeltland tilbake-
meldinger om hvordan skolesystemet
ligger an i forhold til andre land, og
spiller dermed en stor rolle i de
fleste deltakerlandenes skolepolitikk.
OECD sine motiver for PISA-testing
av elever er knyttet til kjerneverdier
som videre utvikling av velstand og
økonomi. En har ønsket å finne indi-
katorer som skal måle kunnskaper og
kompetanser i de ulike landenes elev-
masse. Får en slik et pålitelig uttrykk
for et lands kollektive humankapital,
går OECD ut fra at denne kan brukes
til å predikere et lands muligheter til
å lykkes. Viser testene en lav skår, er
det en indikasjon på at det er på tide
å stramme opp utdanningssystemet,
gjerne etter modell av dem som skå-
rer høyt på listen. Dette til tross for at
forskningsrapporter viser at det ikke
er en sammenheng mellom skår på
PISA og en rekke indikatorer for lan-
dets økonomi og konkurranseevne.
Kanskje PISA ikke måler det OECD
hevder at det skal måle?
Mulige fallgruver
Statistikere og skoleforskere som er
vant til å bearbeide store data, har
siden PISA ble etablert advart mot å
bruke PISA sitt tallmateriale og kon-
klusjoner på en måte som det ikke
finnes vitenskapelig statistisk dekning
for. Skal man bruke milliarder av skat-
tepengene for å «stramme opp» sko-
lesystemet, bør man ha forskningen i
ryggen; en forskning som er metodisk
pålitelig oppbygd og som ikke gir rom
for tvil om overføringsverdien til det
virkelige liv.
Forskerne Leslie og David Rut-
kowski ved CEMO har arbeidet seg
gjennom PISA-materialet og det me-
todologiske fundamentet, og påpeker
i en popularisert artikkel noen åpen-
bare fallgruver som alle som refererer
til PISA bør kjenne til. De skisserer
tre like sider ved denne testingen som
man bør være oppmerksom på: utvalg
av deltagere, pålitelig vurdering av
prestasjonene og utfordringene med
å måle noe over tid.
Utvalget av deltakere
Utvalget av deltagere i PISA er i
utgangspunktet tilfeldig og et viten-
skapelig gyldig utvalg av elever på en
viss alder. En viss andel av elevene
ekskluderes grunnet funksjonshem-
ninger eller spesielle forhold, sammen
med elever med dårlig språknivå.
Mange land går ut over en avtalt øvre
eksklusjonsgrense på 5 prosent, og
i sluttrapportene er det vanskelig å
identifisere disse landene. Land kan
da ha en ekskluderingsprosent som
gir dem en ufortjent høy rangering
på PISA-testene. I seksten av de 65
medlemslandene er mindre enn 80%
av 15-åringene fanget opp av PISA-
testen, blant dem også Shanghai som
skårer helt i toppen. De med minst
deltagelse er Costa Rica med bare
50% deltagelse, Albania med 55% og
Vietnam med 56.
Jo lavere deltagerprosent, desto
mindre pålitelig er testskåren som
indikasjon på den samlede human-
kapital. Med så svak dekning er PISA
ikke det som OECD ønsker, nemlig
en pålitelig indikator på humanka-
pital, som i neste omgang hevdes å
ha «an impact on the prosperity and
well-being of society as a whole»
(Rutkowski og Rutkowski 2016:
s. 253).
Vurdering av prestasjoner
Når det gjelder å vurdere prestasjo-
ner, er det en nesten umenneskelig
ambisjon å ville finne pålitelige pa-
rametere for å måle kompetanse på
tvers av kulturelle skillelinjer. Hva
kan det være rimelig at 15-åringer fra
USA, Kasakhstan og Shanghai har
til felles? PISA-testing forutsetter at
man har funnet testområder og test-
spørsmål som er pålitelige på tvers av
over 60 deltakerland fra hele kloden.
Bare oversetting er en utfordring,
og det er åpenbart at testene har en
europeisk hverdag som normativt
referansepunkt.
Rutkowski og Rutkowski konklu-
derer med at det er en rekke logiske
brister og feilkilder både i oppbygging
og gjennomføring, og at disse får
ulike konsekvenser for tolkningen.
Mye kan tyde på at grunnintensjonen
KRONIKK
AV ROAR ULVESTAD
Bedre Skole nr. 3
■
2016
92