Forskere gennemhuller PISA-undersøgelserne
To danske forskere blotlægger i en ny bog omfattende fejl og mangler i PISA-undersøgelsernes metoder og brug af statistik.
Inge Henningsen, lektor emerita ved Institut for Matematiske Fag, har sammen med Peter Allerup, der er professor emeritus ved DPU, Aarhus Universitet, gået PISA efter i sømmene. Det er blevet til bogen ’PISA – matematik’.
Begge forskere er statistikere og har fulgt de danske PISA-matematikundersøgelser, siden de første gang blev lanceret i 2001.
”Vi har brugt vores statistiske baggrund til at tage læserne med ned i maskinrummet for at se nærmere på, hvad det er for nogle matematiske modeller, de bruger i PISA-undersøgelserne. Kender man ikke teknikkerne, kan man ikke gennemskue, at analyserne ofte ikke er i overensstemmelse med de principper, PISA officielt bygger på,” siger Peter Allerup.
PISA konkluderer for meget
Det store problem er ifølge forskerne, at PISA konkluderer ud over det, undersøgelserne egentlig kan sige noget om. De matematiske modeller og principper for sammenligning af elevpræstationer, som ligger til grund for selve spørgsmålsdesignet, sætter nemlig nogle begrænsninger for konklusionerne. Deres kritik går på, at modellerne i PISA kræver, at alle opgaver i forhold til alle elever skal måle ‘det samme’.
Inge Henningsen
”Nu har de fleste nok en opfattelse af, at matematik og matematikopgaver har mange forskellige dimensioner, og at man kan være god eller dårlig til forskellige opgavetyper. Nogle er gode til regneopgaver og dårlige til geometriopgaver, mens andre har det omvendt,” siger Inge Henningsen.
Men i PISA skal de opgaver, der er lette, være lette for alle. Og det samme gælder de svære opgaver. De skal være svære for alle elever i hele verden.
”Det vil sige, at opgaver, der er svære i Danmark men lette i et andet land, ikke kan være med i testen. Og hvilke typer opgaver er der så egentlig tilbage?,” spørger Inge Henningsen retorisk.
Vilkårlig måling
”Vi ved reelt ikke, hvilke kompetencer, PISA tester. De statistiske modeller, man har valgt at bruge, kan formelt levere en rangordning, men de giver ingen nuancer,” pointerer Inge Henningsen.
”Analyserne viser, at det er ligegyldigt, hvor mange penge man bruger på skolen. Klassekvotienten spiller heller ikke ind, og involverende undervisning giver ifølge PISA-undersøgelserne dårligere resultater, fordi man sammenligner totalt heterogene grupper. Men al anden erfaring siger jo det modsatte,” siger Inge Henningsen.
Funktionelle analfabeter får studentereksamen
At PISAs statistikker jonglerer med tal, uden at medregne virkeligheden, kommer også til udtryk i undersøgelsernes karakteristik af elever med svage færdigheder. Her lyder vurderingen for de danske elever eksempelvis, at 17-18 procent er såkaldt funktionelle analfabeter. Men de to forskere påviser, at 25 procent af PISA's funktionelle danske analfabeter 4,5 år efter PISA-kategoriseringen havde en studentereksamen!
Forlaget MATEMATIK (Danmarks Matematiklærerforening) og DPU, Aarhus Universitet, arrangerer 8. maj en konference, som tager udgangspunkt i Peter Allerups og Inge Henningsens bog. Konferencen løber af stablen fra kl. 10.00-16.00 på Campus Emdrup, 2400 København NV.