Auch mit Bekanntem gut für Schlagzeilen
Seit dem 18. November liegen die Ergebnisse des PISA-Ländervergleichs von 2006 vor. Überraschendes hat der Bericht kaum geboten. Das hat jedoch niemanden davon abgehalten, die Ergebnisse der Studie widersinnig darzustellen oder wissenschaftliche Erkenntnisse mit bildungspolitischer Ideologie zu vermischen. Von Jochen Groß und Patrick Riordan
Die Bildungsstudie PISA zielt darauf ab, die Kompetenzen von 15-jährigen Schülern in den Bereichen Lesen, Mathematik sowie Naturwissenschaft international vergleichend zu erfassen. Da die Schullandschaft in Deutschland dank des Föderalismus länderspezifisch ist, hat die Kultusministerkonferenz vor der Durchführung der ersten PISA-Studie im Jahr 2000 beschlossen, die Studie auf nationaler Ebene so auszudehnen, dass auch ein innerdeutscher Vergleich der Bildungskompetenzen auf Landesebene möglich wird. In der dritten Auflage der Studie wurden dazu im Frühsommer 2006 etwa 40.000 Schüler aus 1300 Schulen getestet. Noch wichtiger als die Leistungstests sind für die Bildungsforschung die Befragungen von Schülern, Eltern und Schulleitern, mit denen man mögliche Einflussfaktoren auf die Bildungskompetenz der 15-Jährigen erhalten möchte.
Nur ein wenig Stühlerücken
Da aber Rankings leichter zugänglich sind als komplexe Zusammenhangsanalysen, beschränkt sich die Berichterstattung häufig auf die Länderrangliste – und hier gab es in diesem Jahr ein gefundenes Fressen für die Presse. Die dauerverwöhnten Bayern wurden von Sachsen in allen drei Kompetenzbereichen auf Platz 2 im Ländervergleich verwiesen. Zeit-Online titelte sogleich „Sachsen zieht Bayern die Lederhose aus“. Wer interessiert sich angesichts dieses Paukenschlags dafür, dass der Abstand zwischen Bayern und Sachsen in Bezug auf die Lese- und Mathematikkompetenz nur einen Punkt auf der Kompetenzskala aufweist? Zur Einordnung: Nach Angaben der die internationale Studie entwickelnden OECD entsprechen 30 Kompetenzpunkte in etwa dem Lernfortschritt eines Schuljahres. Das heißt also, dass dieser eine Kompetenzpunkt nicht einmal einen Monat Wissensfortschritt bedeuten würde. Hierauf eine Schlagzeile aufzubauen, erscheint schon deutlich weniger spektakulär.
Wer weiß, vielleicht hatten die Bayern aufgrund unterschiedlicher Ferienregelungen bis zum Messzeitpunkt einfach weniger Unterrichtsstunden, was bis zum Schuljahresende wieder ausgeglichen wird? Ganz abgesehen davon, ist eine derartige Rangfolgenbildung irreführend. Da nur ein kleiner Teil der deutschen Schülerschaft getestet wurde, sind alle im Bericht angegeben Kompetenzen Schätzwerte, welche einen gewissen Fehler aufweisen – entscheidend ist, ob sich die einzelnen Länder signifikant voneinander unterscheiden. Bei einem Punkt Differenz ist hiervon nicht auszugehen. Ergo: Man weiß nicht, ob Bayern real nicht doch die Nase leicht vorne hat. Statistisch lässt es sich jedenfalls nicht ausschließen.
Mittelwerte niemals ohne Streuung
Deshalb erscheint die Fokussierung auf dieses Stühlerücken müßig. Schwerer wiegt jedoch die stete Vernachlässigung der anderen Hälfte zentraler Informationen. Das Ranking beruht auf einem Vergleich von Mittelwerten von den in den Ländern jeweils getesteten Schülern. Mittelwerte weisen jedoch spezifische Eigenschaften auf – etwa, dass sie gerne von Ausreißern unverhältnismäßig nach oben oder unten gezogen werden. Deshalb ist zu den Mittelwerten jeweils die Streuung zu berücksichtigen, also ein Maß für die durchschnittliche Abweichung von den Kompetenzmittelwerten. Generell erscheint die Streuung und Differenzierung zwischen Schülern unterschiedlicher Kompetenzstufen und der Analyse von Einflussfaktoren hierauf entscheidend, denn es ist durchaus plausibel anzunehmen, dass sich etwa der Migrationshintergrund bei Schülern im niedrigen Kompetenzbereich anders auswirkt als bei Schülern im hohen Kompetenzbereich.
Zwar werden in der veröffentlichten Zusammenfassung keine Maßzahlen für die Streuung der Kompetenz in den drei Bereichen angegeben, aber an den entsprechenden Grafiken, den so genannten Perzentilbändern, lässt sie sich ungefähr ablesen. Beispielsweise sieht man, dass die Streuung der Kompetenzen in Bayern beim Lesen und in Mathematik größer ist als in Sachsen. In diesen Bereichen gibt es in Bayern also mehr sehr gute und sehr schlechte Schüler als in Sachsen. In den Naturwissenschaften sieht es etwas anders aus. Auch hier hat zwar Bayern die breitere Streuung, diesmal liegt es jedoch an der größeren Anzahl von Schülern mit niedriger Kompetenz. Dieser erste Eindruck müsste natürlich noch statistisch gegen den Zufall abgesichert werden.
Komplexe Daten – komplexe Ergebnisse
Es ist klar, dass die mediale Aufarbeitung der PISA-Studien ein sehr schwieriges Unterfangen ist. Einerseits handelt es sich um ein höchst relevantes Thema, das mit hohem öffentlichen Interesse einhergeht und mit dem sich vortrefflich Politik machen lässt. Andererseits ist die Struktur der Daten und Analysen sehr kompliziert und deshalb sind profunde Statistikkenntnisse für deren Interpretation unerlässlich – und wohl die meisten Journalisten und Politiker lassen diese in der hierfür notwendigen Art und Weise vermissen. Die Rangfolge der Bundesländer ist zwar sehr anschaulich, doch sie ist nur mit äußerster Vorsicht zu interpretieren. Viele der Unterschiede sind so klein, dass sie zwar für die verwendete Stichprobe zufällig so, in Wahrheit aber anders sind.
Tatsächlich sieht es also nicht so aus, als hätte sich wirklich Bahnbrechendes an der deutschen Bildungssituation geändert. Jedenfalls nicht so gravierend, wie es in vielen Medienberichten wirkte. Aber „Nichts Neues“ ist eine ebenso langweilige wie politisch unerwünschte Schlagzeile. Dann schon lieber: „Deutschland hat einen neuen Bildungs-Champion“ (Spiegel). Um Genaueres sagen zu können, wird aber allen Interessierten der Blick in die ausführliche Dokumentation der Ergebnisse, die in diesen Tagen erscheint, nicht erspart bleiben. Dafür hat man dann die Sicherheit, dass die Ergebnisse nach wissenschaftlichen Kriterien ausgewertet und interpretiert wurden.
Zum Weiterlesen:
PISA-Konsortium Deutschland (Hrsg.),
PISA 2006 in Deutschland – Die Kompetenzen der Jugendlichen im dritten Ländervergleich,
(2008), Münster, Waxmann,
435 S. ISBN: 978-3-8309-2099-1, 19,90 Euro
Weiterführende Links:
Zusammenfassung der Ergebnisse des Ländervergleichs PISA 2006
Überblick über relevante Publikationen rund um die PISA-Studie 2003
Die Bildrechte sind gemeinfrei, bzw. liegen beim Waxmann Verlag (Cover der PISA-Studie).
Lesen Sie mehr bei /e-politik.de/:
Optionen: »Auch mit Bekanntem gut für Schlagzeilen« bewerten | Artikel drucken | Artikel per E-Mail versenden
Artikel in sozialen Netzwerken teilen:
Loading ...
Hallo Jochen und Patrick,
ein schöner, mitreißender Artikel, wenn auch ein wenig provokant. Zunächst einmal: Freuen darf man sich wohl, dass mit Sachsen endlich auch einmal ein Neubundesland (so schrecklich diese Diversifizierung auch ist) zumindest schwarz auf weiß an der Spitze der neuen Länder vergleichenden PISA-Studie steht. Das scheint für die Medien alle Mal ein gefundenes Fressen, wobei gerade die ZEIT-Schlagzeile ein nettes Klischee bedient, keineswegs aber überdramatisiert – es ist aber vor allem zu recht ein gefundenes Fressen, weil diese Schlagzeilen das Echo eines allgemeinen Trends ist, der Beachtung verdient hat. Im Vergleich mit den Berichten der PISA-Studien 2000 und 2003 haben nämlich alle (alle) ehemaligen ostdeutschen Bundesländer in allen (allen) drei Bereichen ordentlich zugelegt. Sie haben die Altbundesländer dabei keineswegs überholt, sondern ganz einfach nur aufgeholt. Das ist eine Entwicklung, die ihr in eurem Artikel leider völlig unterschlagt, die aber durchaus Aufsehen erregend ist. Die Überschrift des Artikels halte ich deshalb für verfehlt.
Sachsen ist gewissermaßen nur symbolisches Zugpferd dieser Entwicklung, wobei sich Sachsen interessanterweise im Vergleich mit 2003 nur in zwei Bereichen (Lesen, Naturwissenschaften) leicht verbessert hat und in einem (Mathematik) stagniert. Währenddessen hat Bayern nur im Bereich Naturwissenschaften minimal zugelegt, in den Bereichen Lesen und Mathematik aber abgebaut. Das heißt also, dass (1) der minimale Unterschied von einem Punkt im Jahr 2006 zwar zutreffen mag (obwohl ebenso unterschlagen wurde, dass er auch nur in den Bereichen Lesen und Mathematik existiert, im Bereich Naturwissenschaften beträgt er immerhin 8 Punkte), jedoch mit vergleichendem Blick auf 2003 relativiert werden muss, weil Sachsen zugelegt und Bayern abgebaut hat. Sachsen hat damit zwangsläufig Bayern überhaupt nicht überholt (schon gar nicht auf der Überholspur, eher auf dem Standstreifen), sondern Bayern hat sich hinter Sachsen zurückfallen lassen. Das lässt den Bericht, die Medienberichterstattung sowie euren Artikel in einem ganz anderen Licht erscheinen. (2) Ein Punkt Unterschied mag zwar der geringstmögliche Unterschied in der Studie sein, bei der bemessenen Größenordnung bewegen sich aber die Bundesländer in einer numerischen Spanne (am Beispiel Lesekompetenz) zwischen dem “Erstplatzierten” Sachsen mit 512 Punkten und dem “Letztplatzierten” Bremen mit 474 Punkten. Das macht eine Differenz von 38 Punkten – da ist ein Punkt vielleicht doch bereits wieder Ausdruck eines qualitativen Unterschiedes.
Man mag nun anführen, die Bayern hätten aufgrund unterschiedlicher Ferienregelungen weniger Unterrichtsstunden gehabt. Mir erschließt sich jedoch zunächst einmal nicht, inwiefern das ein Argument für den Leistungsabbau Bayerns, dem Leistungszuwachs Sachsens oder der vermuteten Irreliabilität der statistischen Erhebung sein soll!? Ich hoffe für die Bildung aller bundesdeutschen Schüler, dass ein oder zwei Unterrichtsstunden mehr oder weniger bei einem 15jährigen nicht an seiner Lesekompetenz rütteln. Zumal Sachsen ja auch noch den Buß und Bettag hat. Vielleicht aber hatten die Bayern auch nur ein schlechtes Jahr – vielleicht aber hatten die Sachsen ein noch viel schlechteres und haben ihr Potential nicht einmal ausgeschöpft!? Man weiß ergo also nicht, ob die Sachsen mit Leichtigkeit vielleicht nicht doch noch den Blinker hätten setzen können. Auch der Zweifel an der Repräsentativität der Studie ist mir unverständlich. 40.000 Schüler an 1.300 Schulen zeichnen ein Bild, dass bei weitem nichts mehr mit Schätzwerten zu tun hat. Andernfalls ist jede repräsentative Erhebung grundlegend in Zweifel zu ziehen, weil sie nicht alle möglichen Größen berücksichtigt, sondern stets nur einen Mittelwert zeichnet.
Eine kritische Betrachtung des Berichtes zur PISA-Studie, vor allem aber des Versuches, Bildung qualitativ und Länder vergleichend bemessen zu wollen, halte ich für überaus lobenswert. Allerdings bin ich der Auffassung, dass der Artikel zu einseitig die Zahlen und deren relative Auslegung betrachtet und erläutert. Man gewinnt geradezu den Eindruck, als gelte es, den Freistaat zu verteidigen, nur weil er einmal die Pole Position eingebüßt hat. Selbst das wird man in Bayern überleben. Wenn man das vergleichsweise schlechte Abschneiden Bayerns versucht zu relativieren, indem man die statistische Erhebung in Zweifel zieht oder eine ZEIT-Schlagzeile allzu ernst nimmt, läuft man Gefahr, ins Pamphletische abzudriften. Der Fortschritt in den neuen Bundesländern ist durchaus eine Überraschung, keineswegs altbekannt und tut der bildungspolitischen Diskussion in Deutschland nur zu gut. Für die Moral aller Schüler in den ostdeutschen Bundesländern ist dieser Bericht ein Schub und ein Stück Selbstbestätigung, derer sie durchaus nach wie vor bedürfen.
Hallo Sebastian,
danke für deine ausführliche Kritik. Wir wollen hier versuchen, einiges geradezurücken.
Zunächst noch einmal zur Methode und statistischen Aspekten: Auch bei einer Stichprobe von 40.000 Schülern an 1.300 Schulen handelt es sich bei den berechneten Mittelwerten selbstverständlich nur um Schätzwerte für die Grundgesamtheit aller 15-jährigen Schüler in Deutschland. Zudem muss berücksichtigt werden, dass sich diese 40.000 Schüler auf die Länder verteilen und somit der Stichprobenumfang innerhalb der Länder, welche miteinander verglichen werden deutlich geringer ist. Nur zur Einordung: In PISA 2003 wurden in Bayern insgesamt rund 2.000 Schüler befragt und getestet. Sicher ist die Stichprobe bei den PISA-Studien relativ groß und damit verringert sich der statistische Fehler beim Inferenzschluss, nichtsdestotrotz bleibt eine statistische Unsicherheit bestehen.
Der Unterschied in Punkten der berichtet wird, gilt so zunächst nur für diese Stichprobe, also für die Menge aller Schüler, die an PISA teilgenommen haben. Will man hieraus Schlüsse für die Grundgesamtheit ziehen, ist es erforderlich, die Punktunterschiede statistisch abzusichern. Schließlich könnte es auch am Zufall liegen, dass gerade in dieser Stichprobe von 40.000 Schülern die Werte so sind, über alle Schüler aber anders. Angesichts dessen ist ein Punkt sicherlich kein qualitativer – für die Grundgesamtheit bedeutsamer – Unterschied, da er ebenso gut durch Zufall hätte entstehen können. Zugegeben, die acht Punkte in den Naturwissenschaften sind vermutlich ein bedeutsamer Unterschied, auf den wir hätten hinweisen können. Richtig ist, daraus den Schluss zu ziehen, auch „repräsentative“ Studien skeptisch zu betrachten. Repräsentativität ist kein statistischer Fachausdruck. Qualitätsmerkmal von Studien ist vor allem die Art der Auswahl der Stichprobe. Es gibt in dieser Hinsicht bei PISA nichts zu beanstanden, darum ging es uns auch nicht. Wir finden die PISA-Studie ist angesichts der sehr schwierigen Aufgabe sehr gut gemacht. Kritisieren wollten wir lediglich die undifferenzierte Berichterstattung über die Ergebnisse.
Im Hinblick auf die Fokussierung auf Mittelwertunterschiede ging es uns darum, generell diese Fokussierung zu hinterfragen. Denn interessant ist unseres Erachtens darüber hinaus die Verteilung der Bildungskompetenzen über die Schüler und mögliche Einflussfaktoren hierauf – der Mittelwert liefert zwar wesentliche Informationen zur zentralen Lage, aber eben nicht zur Dispersion. Deshalb sollte man beides betrachten – und auch berichten. Das PISA-Konsortium tut dies, in der Berichterstattung wird dies jedoch zumeist unterschlagen. Und gerade Bayern weist hier teilweise verheerende Zustände auf. Gerne erzählt man im Freistaat, dass die Hauptschüler so gut abschneiden würden. In der Tat ist die mittlere Kompetenz der Hauptschüler in Bayern konkurrenzfähig, das aber bei einer großen Varianz, d. h. die Leistungsbreite ist sehr groß. Es gibt also viele schlechte und viele gute Hauptschüler. Und diese Varianz variiert nicht nur nach Schultyp, sondern auch über die Bundesländer – unserer Ansicht nach sollte auch hierauf verstärkt der Blick gerichtet werden.
Falls der Eindruck erweckt wurde, wir wollten Bayern verteidigen und „das vergleichsweise schlechte Abschneiden Bayerns (…) relativieren“: dieser Eindruck ist falsch. Wir sind vollkommen Deiner Meinung, wenn Du sagst, dass dieses Ergebnis die Bayern nicht umbringen wird und dass es der bildungspolitischen Debatte und vielleicht auch der Motivation in den aufholenden Ländern gut tut. Wir haben Bayern und Sachsen nur als Beispiel ausgewählt, weil dieses „Duell“ in den Medien am präsentesten war. Gleichwohl hätten wir etwa die Lesekompetenz von Rheinland-Pfalz und dem Saarland herausgreifen können. Diese unterscheidet sich um zwei Kompetenzpunkte. Die Länder werden im Bericht verschiedenen Gruppen zugeordnet: Das Saarland der Gruppe mit Leistungen, welche im OECD-Durchschnitt liegen. Rheinland-Pfalz hingegen zählt zur Spitzengruppe, d. h. ist signifikant besser als der OECD-Durchschnitt. Trotzdem wissen wir nicht, ob ein signifikanter Unterschied zwischen Rheinland-Pfalz und dem Saarland hinsichtlich der durchschnittlichen Lesekompetenz der 15-Jährigen besteht – zu vermuten ist, dass ein entsprechender Test hier keine Signifikanz aufweisen würde. Der Bayern-Sachsen-Vergleich diente somit der Illustration unserer Kritik an der ungenauen Rezeption der Ergebnisse von PISA. Du weist im Übrigen ja selbst darauf hin, dass Sachsen bereits bei PISA 2003 zur Spitzengruppe gezählt hat und vermutlich galt damals dasselbe Argument: Es ist nicht klar zu sagen, ob denn nun bayerische oder sächsische Schüler besser abgeschnitten haben im Jahr 2003.
Also: Unser Artikel sollte weder eine methodische Kritik an der PISA-Studie selbst sein, noch ein Plädoyer für die bayerische Bildungspolitik! Wir finden es aber wichtig, dass bei der Berichterstattung über solche Studien etwas differenzierter vorgegangen wird, weil sonst auch in der Öffentlichkeit, die sich auf die Qualität und Richtigkeit von Medienberichten verlässt, ein sehr falsches Bild entstehen kann. Insbesondere erscheint uns hierbei der Hinweis wichtig, dass die Fokussierung auf Mittelwerte und die Ausblendung der Streuung der Bildungskompetenzen unzureichend erscheint.
Hallo,
vielen Dank für die schnelle, ausführliche Reaktion. Mir ist euer Artikel inzwischen durchaus transparenter und nachvollziehbarer geworden – nicht zuletzt aber erst durch diesen Kommentar. Mein Eindruck verschiebt sich leider erst jetzt langsam von der Unterstellung, es handle sich um eine Rechtfertigung des bayerischen Resultates, hin zur Einsicht, dass euer Motiv eine tiefgreifende Medienkritik am Umgang mit den Resultaten darstellen sollte.
Es scheint mir ein Dilemma zu sein, wenn Massenmedien beginnen würden, nicht nur aus Ergebnissen Schlagzeilen zu produzieren, sondern auch das wissenschaftliche Zustandekommen dieser Ergebnisse zu reflektieren. Womit ich diesen Prozess um Gottes Willen nicht rechtfertigen will, ganz im Gegenteil. Nur: Wenn sie dies täten, würden sie wohl schlicht bald nicht mehr gelesen werden, denn entsprechendes Hintergrundwissen über Statistiken in den Sozialwissenschaften kann beim Laien nicht vorausgesetzt werden. Insofern ist das Argument der Meinungsmache sicherlich zu Recht angeführt. Für alle kritischeren Geister sei dann aber immer noch die Studie selbst, Titel aus eurer Publikationsübersicht oder andere wissenschaftliche Erläuterungen zur Studie empfohlen.