Pisa und die Statistik

Ausgerechnet beim ORF dem Sender mit dem Bildungsauftrag in Österreich musste ich folgendes lesen:

Keine Bewegung bei Mathematik
Im Bereich Mathematik liegen die Ergebnisse der Österreicher mit 505 Punkten ebenfalls erstmals statistisch signifikant über dem OECD-Schnitt (498). ORF

Statistisch signifikant scheint bei unseren Medienvertretern eine beliebte Redewendung zu sein, ohne zu wissen was es bedeutet. Ausgerechnet im Zusammenhang mit Mathematik und Pisastudie ist es nicht angebracht und eine Recherche wäre sehr empfehlenswert.
Der Pisa-Wert ist grob gesagt ein standardisierter Mittelwert, d.h. alle Fragebögen werden zusammengefasst und zurückgerechnet auf einen Mittelwert der genau 500 mit einem Streuungsbereich von 100 ergibt. Den exakten Berechnungsvorgang kann beim Arbeitspapier zur Pisastudie nachgelesen werden.
Fazit: Wenn 500 Punkte erreicht werden, dann liegt die Leistung des jeweiligen Landes in der Mitte. Ob jetzt 500 oder 505 Punkte erreicht werden, macht keinen Unterschied. Erst wenn 600 Punkte erreicht werden, ist der Wert über dem Durchschnitt. Ob der Wert dann statistisch Signifikant ist, muss mit einem passenden Test erst berechnet werden. (In der Statistik heißen Ergebnisse signifikant, wenn es unwahrscheinlich ist, dass sie durch Zufall zustande kamen.)

Literatur zur Signifikanz:
Wikipedia Statistische Signifikanz
Jenseits des Signifikanztest-Rituals:Ergänzungen und Alternativen Peter Sedlmeier
Wichtige Signifikanztests – Artikel Nr. 11 der Statistik-Serie in der DMW –
Was ist der p-Wert? Dr. Ralf Bender

Tagged with:
 

1 Response » to “Pisa und die Statistik”

  1. Christian says:

    “Statistisch signifikant” ist ein in der Marktforschung mittlerweile inflationär verwendeter Begriff, der kaum noch etwas mit der mathematischen Bedeutung zu tun hat. Bei den meisten meiner Kollegen aus dem Marketing bedeutet er einfach “erkennbarer Unterschied”, nicht mehr und nicht weniger. Ebenso wie “Repräsentativität” wird auch “Signifikanz” durch den inflationären Gebrauch immer weiter entwertet. Dass man allerdings bei einem Schnitt von 498 und einem Mittel von 500 mit einem Wert wie 505 schon die “Signifikanz-Keule” herausholt, ist für mich auch neu…