93 / 100
om universalitet er i overkant ambi-
siøs. En følge av vansken med å finne
felles grunn å vurdere ut fra, er at
statistisk påvisbare forskjeller mel-
lom land i virkeligheten kan dreie seg
om ganske likeverdige kunnskapsnivå.
Motsatt kan statistisk påvisbare likhe-
ter mellom land skjule store ulikheter
i allment kunnskapsnivå. Kulturelle
og språklige barrierer sørger for at
idealet om universalitet ikke innfris
på en vitenskapelig måte, men forblir
på ønskelisten.
I tillegg kan ulike land ha kultu-
relle overordnede trekk som påvirker
eleven i testsituasjonen, uten at disse
har med selve kunnskapsnivået å
gjøre. Lydighetskultur er for eksempel
et trekk som er ulikt fra land til land.
Et annet moment som Rutkowski og
Rutkowski påpeker, er at elever i fat-
tige land ofte underkommuniserer sin
sosioøkonomiske bakgrunn. Det gjør
at de ikke havner i riktig informantka-
tegori (side 254). Til sist lider PISA-
materialet under manglende innrap-
portering av data. Når opp til 10–15
prosent av elevene ikke har besvart et
spørsmål, svekker det det vitenskape-
lige grunnlaget for å generalisere.
Måling over tid
Det siste hovedområdet er forbundet
med det å måle en kompetanse over
tid. Gjennom hele PISA-perioden
har testmatrisene utviklet seg, og
det tematiske innholdet har blitt helt
forandret mange plasser. Dette er vist
med eksempler fra matematikk, der
den tematiske undergruppen «rom
og form» er byttet ut med «endring
og relasjoner». Når innholdet i en
test underkastes en såpass stor end-
ring, er det også innlysende at det
samme ikke blir målt. Temaene er
ikke generelt kompatible, og endrin-
ger i skår, om det er til det bedre eller
verre, er dermed ikke pålitelige. All
videreutvikling av PISA-testing bør
ta dette opp i seg. Jo større endringer
i testmatrisene, jo mindre pålitelig er
resultatene til å måle reell endring.
Maner til forsiktighet
Forskerne avslutter artikkelen med å
mane til forsiktighet i bruk av PISA-
materialet. De ønsker i denne sam-
menheng at OECD supplerer hver
PISA-rapport med et eget kapittel
der de metodiske avgrensningene og
begrensningene blir klargjort. Dette
kan bidra til at en har en mer nøktern
og korrekt oppfatning av testingens
overføringsverdi.
PISA kan gi forholdsvis pålitelig
informasjon om hva et representativt
utvalg av 15-åringer som går på skole
på en spesiell dag kan om et utvalg av
emner som på forhånd er avgrenset
av PISA-konsortiet. Det eneste man
med sikkerhet kan bruke dette til,
er altså å si noe om et smalt utdrag
av befolkningen med hensyn til hva
de kan om et smalt utvalg av emner.
PISA er ikke basert på hypoteser om
kausale sammenhenger, og land kan
ha like skårer, men av ulike grunner.
Hvor mye verd er en bedre skår?
De refleksjonene som Rutkowski og
Rutkowski har vitenskapelig belegg
for, stiller store spørsmål ved bruken
av PISA. Om jeg avrunder med noen
refleksjoner for egen regning, kan jeg
starte med å minne om at PISA blir
raskt brukt til å krisemaksimere og
forsvare bruk og flytting av milliarder
av kroner på skolebudsjettene. I Norge
har det blitt gjentatt mange ganger at
vi bruker mest i verden på skole, og
at det derfor er for dårlig å havne bare
midt på treet i PISA-rangeringen. I
nesten hver eneste artikkel, kronikk
eller kommentar om skolepolitikk,
åpnes det med å henvise til «PISA-
sjokket».
Om vi vil sammenligne skolesyste-
mer på tvers av landegrenser og knytte
det kausalt til utvikling og velstand,
må vi nok grave dypere i den meto-
diske verktøykassen enn det PISA
legger opp til.
Det er blitt lagt et litt for stort an-
svar på 15-åringene våre her. Vi bør
nok i menneskelighetens navn ikke
utsette dem for et skolesystem som
for eksempel det i Shanghai, bare for
den noe hule tilfredsstillelsen det gir å
krype opp noen hakk på PISA.
litteratur
Rutkowski, L. & Rutkowski, D.
(2015).
A Call for a More Measured
Approach to Reporting and Interpreting
PISA Results
Educational Researcher,
Vol. 45 No. 4, pp. 252–257.
Bedre Skole nr. 3
■
2016
93