Statistiker kritisieren PISA-Rankings

Eine Studie der Linzer Universität besagt, dass die Ergebnisse der PISA-Tests so ungenau seien, dass man mit Debatten und Konsequenzen sehr vorsichtig sein sollte. Grund für die Unschärfe sei die Auswahl der Stichproben.

Ganz schlechte Werte beim Lesen ergaben nur Platz 31 unter den 34 OECD-Mitgliedsstaaten für Österreich. Auch bei Mathematik und Naturwissenschaften sind unsere Schüler im unteren Drittel der Reihung zu finden. So weit die Ergebnisse der letzten PISA-Studie. Diese lösten wie immer Entrüstung, Bestürzung und breite Diskussionen darüber aus, wie schlecht es um das heimische Bildungssystem stehe.

Beträchtliche Ungenauigkeit

Hier sei Vorsicht angebracht, sagt aber der Linzer Statistiker und Universitätsprofessor Andreas Quatember. Die PISA-Studie prüfe nicht alle Schüler in Österreich und in den anderen Ländern, sondern mache eben nur Stichproben. Wer getestet wird, werde in einer sehr komplexen Art und Weise ausgesucht, und genau da liege der Hund auch begraben: Auf Basis der Stichproben werden wie bei Wahlprognosen Schätzwerte ermittelt. Von ein paar werde auf das Ganze hochgerechnet, und das mit einer durchaus beträchtlichen Ungenauigkeit, sagt Quatember.

Diese Ungenauigkeit lasse Länder oft so knapp beieinander liegen, dass sie wegen der Schwankungsbreite oft gar nicht unterscheidbar seien. Genau das wird in der aufgeregten öffentlichen Diskussion über die PISA-Ergebnisse meist ausgeblendet.

Wie bei den PISA-Tests die Ungenauigkeiten berechnet werden, dazu schweigt die OECD. Also hat Quatember diese Schwankungen aus den Ergebnissen herausgerechnet. Sein Ergebnis: Die sehr komplexe Auswahl der Stichproben ist viermal ungenauer, als wenn man einfach zufällig Schüler für den Test auswählen würde. Würde man einfach zufällig Schüler in Österreich auswählen, wäre das PISA-Verfahren viel teurer, weil viel mehr Schulen besucht werden müssten.

Statistiker rät zu Gelassenheit

So bleibt nichts anderes übrig, als die Ergebnisse auch bei den Tests dieses Jahres wieder so zur Kenntnis zu nehmen. Bei der nachfolgenden Diskussion sollte man aber mehr Gelassenheit zeigen angesichts der doch beachtlichen Ungenauigkeiten, die die Studie aufweist. Durch diese lasse sich eben nicht herauslesen, ob tschechische oder slowakische Schüler, die offiziell knapp vor den österreichischen liegen, auch wirklich besser lesen können, sagt Statistiker Quatember.

Link:

• PISA in Österreich