Lorenz Borsche
Aktuelles Dies & Das Links Tango Dia Schau Kontakt
PISA-Studie: Das Fiasko der Forscher

PISA-Studie: Das Fiasko der Forscher

INHALT:

Kritik an der int. PISA-Studie / Migrationsfaktor als Erklärung der PISA-Werte (s.u.)

Quellen:
- PISA2000 (Baumert et al), Leske+Budrich, ISBN 3-8100-3344-8
- PISA2001(deutsch).pdf  / www.pisa.oecd.org
- PISA_E_Zusammenfassung2.pdf  / www.pisa.oecd.org

Zusammenfassung:
Die PISA-Studie hat Aufsehen erregt. Konnte man vorher davon ausgehen, daß Schüler vergleichbarer Länder wie etwa Luxemburg, Deutschland, Schweden und Grossbritannien vergleichbar gute Testergebnisse abliefern würden, errechneten die PISA-Forscher deutliche Unterschiede (441 in Luxemburg versus 523 in Grossbritannien). Nachdem die Nullhypothese versagt hatte, wurden Einflussfaktoren gesucht und dabei immer wieder die Lehrpläne, Schulsysteme und die Lehrerschaft genannt. Tatsächlich aber sind die verglichenen Länder in einem wichtigen Punkt gar nicht gleich, die PISA-Forscher haben Äpfel mit Birnen verglichen. In Luxemburg z.B. entstammt fast die Hälfte aller Testkinder aus Familien 'mit Migrationshintergrund'. Und diese Familien haben einen viel schlechteren Sozialstatus. Der aber, das ist bekannt, ist maßgeblich für Testergebnisse verantwortlich. Berechnet man den Faktor Immigration und Sozialstatus der Immigranten, dann lässt sich die Varianz der PISA-Ergebnisse zu über 66% erklären, :

nimmt man einen Ausreisser (Griechenland) heraus, dann sogar zu 85%. Das bedeutet aber, die Ungleichen werden (fast) wieder gleich und es bleibt kaum mehr Erklärungsbedarf, wofür auch? Denn am Sozialstatus der Eltern der Testkinder kann man mit noch so engagierten Schulprogrammen nichts ändern - und wenn, dann nur in Generationszeiträumen. Was international gilt, hat auch national Bestand: Der Vergleich der Bundesländer ist ohne angemessene Berücksichtigung des völlig unterschiedlichen Immigrantenanteils, wie auch des unterschiedlichen Sozioökonomischen Status' dieser Immigranten schlicht und einfach: Unfug.

Einschub Juni 2004:

Jüdische Allgemeine Nr.12/04 | 25.märz 2004 Israel

probleme

In Israels Erziehungswesen hängen schuli-
sche Leistungen noch immer von der eth-
nischen Zugehörigkeit ab. So fallen die
Noten sefardischer Schüler deutlich
schlechter aus als die von Aschkenasen.
Die Chancen orientalischer Israelis, die
Hochschulreife zu erlangen,liegen um ein
Sechstel schlechter als die von europäisch-
stämmigen.Hauptursache ist das im
Durchschnitt niedrigere Bildungsniveau
der Eltern – ein Nachteil, den die Schulen
nicht auszugleichen vermögen.

Dazu sollte man wissen, daß Israel über ein ausgesprochen egalitäres Schulsystem verfügt, das mit unserem vielkritisierten dreigliedrigen System überhaupt nicht zu vergleichen ist. Das Bildungsniveau der Eltern ist ganz offenbar schultypresistent.

PISA Dezember 2001:

"Im internationalen Vergleich schneiden die deutschen Schulen verheerend ab" schrieb der SPIEGEL zu Beginn einer ganzen Serie von Artikeln zum Thema PISA-Studie, die nach den Ursachen für den als schlecht empfundenen 21. Platz im internationalen Ranking der OECD-Länder suchte.

Jürgen Baumert, der die deutsche "Pisa"-Auswertung betreute, macht vor allem die mangelnde Weiterbildung von Lehrern und fehlende pädagogische Konzepte an den Schulen für das schlechte deutsche Abschneiden verantwortlich. "Die systematische Professionalisierung der Lehrer ist der Schlüssel", sagte Baumert (laut SPIEGEL) in Düsseldorf. Und alsbald wurden aus den Siegerländern wunderheilende pädagogische Konzepte in die sehr deutsche Diskussion getragen.

Auffällig war schon bei den ersten Veröffentlichungen weniger der Platz Deutschlands, der mit 3% unter dem OECD-Durchschnitt gar nicht so schlecht aussah, wie die aufgeregten Kommentare dazu insinuierten. Die uns immer wieder vorgehaltenen Schweden liegen 3% über dem Schnitt. Wer würde bei einem Hundertmeterlauf nicht etwa der Besten, sondern des Bevölkerungsdurchschnittes von Katastrophe reden, wenn die einen 0,3 Sekunden besser sind als der Schnitt, die anderen 0,3 Sekunden schlechter? Auffällig allerdings war das schlechte Abschneiden Luxemburgs mit doch immerhin 15% Abstand zum PISA-Mittel - als altes europäisches Kernland mit dem höchsten Bruttoinlandsprodukt Europas war nicht unbedingt erkennbar, daß Schulen, Lehrpläne oder finanzielle Ausstattung einen solchen Pendelausschlag verursachen könnten, immerhin letzter Platz in Europa noch hinter Lettland und der russischen Förderation, und näher am Wert des 2. Weltlandes Mexiko als am OECD-Durchschnitt. Was war denn hier los? Sagten die PISA-Forscher irgendwas dazu? Öffentlich leider nicht. Und wenn, dann wurde auf Lehrpersonal und Curricula verwiesen (siehe oben), so daß der über die Presse informierte Laie schliessen durfte, die Lehrer in Luxemburg müssten wohl eher selbst nochmal die Schulbank drücken, um es höflich zu formulieren.

Wer sich allerdings die Mühe macht die über 350 Seiten starke PISA-Studie durchzuarbeiten, stößt schon bald auf etliche Ungereimtheiten und hanebüchene handwerkliche Fehler beim Erheben und Auswerten der Daten. Um nur einige zu nennen:

Zum Handwerk der PISA-Forscher schrieb mir ein befreundeter Mathematiker mit bitterstem Zynismus:

"Die Pisa-Studie benutzt Konfidenzintervalle, die fuer den Einzelvergleich mit einer festen Hypothese gemacht sind, um einen multiplen Vergleich durchzufuehren. Wenn so eine Studie veroeffentlicht wird, ist doch wohl klar, dass wir einen Bildungsnotstand haben." (gemeint ist hier natürlich der Bildungsnotstand der Forscher)

All dies ist zwar sehr unprofessionell, aber nicht entscheidend für die Ergebnisse. In der ganzen PISA-Studie findet man eine Menge Andeutungen, woran es denn nun liegen könnte, aber letzten Endes keinen Faktor, der wenigstens mal die Hälfte der Abweichungen erklären könnte. Auch die PISA-Forscher behaupten nicht wirklich, es läge z.B. am Schulsystem, denn sie haben hoch differente Ergebnisse hierfür gefunden. Gibt es keinen solchen Faktor, oder haben sie ihn übersehen?

Wenn man den Luxemburger Daten auf den Grund gehen will, stößt man im vorletzten Kapitel auf Seite 350 der Studie dann doch auf eine interessante Tabelle: Luxemburg hat 49,1 Prozent 15-Jährige aus Familien 'mit Migrationshintergrund', d.h. mindestens ein Elternteil ist nicht im Land geboren. Und starke 18,3% sprechen zuhause nicht die im PISA-Test verwendete Sprache (i.d.R. wohl die Landessprache, was aber nicht explizit erklärt wird. Gerade in Luxemburg fragt sich, welche der drei dort gesprochenen Sprachen denn die Testsprache war).

Testet man nun diesen Faktor, dann findet man zunächst Bestätigung: Auch Deutschland mit seinem schwachen PISA-Wert hat immerhin fast 22% Immigrantenkinder unter den 15-Jährigen, knapp 8% sprechen zuhause *nicht* deutsch. Aber: Schweden hat annähernd vergleichbare Zahlen (21/7), aber einen deutlich positiven PISA-Wert. Noch besser schneidet Grossbritannien ab, obwohl auch dort immerhin 18,6% Kinder aus Familien mit Migrationsgeschichte, davon 4,1% mit Umgangssprache ungleich Testsprache getestet wurden.

Schaut man sich die Tabelle noch genauer an, stellt man fest, daß die Immigrantengruppen sich nicht nur in der Größe, sondern auch in ihrem sozio-ökonomischen Status stark unterschieden. Dieser sozioökonomische Status wird ISEI genannt, und er misst letzten Endes die soziale Stellung des Elternhauses anhand der ausgeübten Berufe der Eltern. Grob gesagt: Arbeiter: ISEI 30, Profssor: ISEI 60, Durchschnitt der Bevölkerung: ISEI 45 (nageln Sie mich bitte nicht auf die Arbeiter/Professoren-Werte fest, die genaue Definition des ISEI ist leider nirgends im WEB zu finden, aber annähernd dürfte das so stimmen).

Und dann findet man für Luxemburg und England z.B. folgendes:

Sozioökonomischer Index (ISEI)
Land         Inländer    Fam. mit Migr.   Umgangssprache
                         hintergr. U=T     <>Testsprache
--------------------------------------------------------
Luxemburg:   45,7 (50,9%)   41,7 (30,8%)    32,5 (18,3%)
--------------------------------------------------------
Grossbrit.   45,6 (81,4%)   50,8 (14,5%)    40,8 (4,1%)
--------------------------------------------------------

Man sieht auf einen Blick, daß Grossbritannien in erheblichem Maße von der Mehrheit seiner Immigranten (14,5% abs.) profitiert, die 11% über dem Landes-ISEI liegen, während Luxemburg fast ein Fünftel Testkinder hat (>18% abs.), deren Eltern-ISEI 28% unter dem der Inländer liegt.

Immigrant ist also ungleich Immigrant, sprich: Die Eltern der Testkinder erreichen von Land zu Land höchst unterschiedliche soziale Stellungen. Der Sohn eines kurdischen Bauern wird natürlich in der Schule einen anderen PISA-Wert erreichen, als der Sohn eines von seiner Oberschichtfamilie zum Studium nach Oxford geschickten Commonwealth-Bewohners. Und der ISEI der Eltern, das bestreiten noch nicht mal die PISA-Forscher ist in höchstem Maße verantwortlich für die PISA-Testleistung der Kinder. Und zwar nicht nur der eigenen, das färbt auch auf andere ab:

Allerdings haben die PISA-Forscher peinlichst genau vermieden zu quantifizieren, was es denn für ein durchschnittlich begabtes Kind in PISA-Punkten bedeutet, wenn seine Schule z.B. mit einem Immigrantenanteil von 30 oder 50% Unterricht gestalten muss, von denen möglicherweise sogar eine starke Subgruppe noch nicht mal zu Hause die Landessprache spricht. Das sind Lernbedingungen, die unabhängig vom Engagement der Lehrer die PISA-Werte negativ beeinflussen müssen - und zwar die aller, nicht nur die der Immigrantenkinder selbst.

Schweden, das in der Studie immer gerne mit Deutschland verglichen wird, hat zwar ähnlich viele Immigranten (21,4 vs. 21,8), aber schon die Gruppe mit Testsprache <> Landessprache ist deutlich geringer (die Schweden machen Eingangssprachtests vor der Grundschule), nämlich 6,7% gegen 7,9%. Der bessere schwedische PISA-Wert wird vollends verständlich, wenn Sie die resp. ISEI-Werte dieser Subgruppen betrachten: mit 45,4 liegt er in Schweden für die Gruppe U=T fast gleichauf mit dem Inländer-ISEI, die Gruppe U<>T hat immer noch bemerkenswert gute 41,5. Dagegen in D: 44,2 (U=T) noch recht gut, aber 35,8 für U<>T schon recht schwach. Das führt für die Gesamtgruppen der Immigranten in Schweden zu 43,4, aber in D nur zu 39,2, ein Differenz von 10% bei immerhin einem Fünftel der Bevölkerung.

DIESEN Faktor aber haben die PISA-Forscher in der Studie nirgendswo gewichtet, verrechnet oder explizit ausgewiesen. Im Gegenteil, am Schluss des Kapitels 8 behaupten sie in einer Zusammenfassung (S. 351 , Kasten):

"Die in D anzutreffenden Familienmuster sind im Vergleich zu ...OECD Ländern weitgehend unauffällig" [...] Dies gilt für den sozioökonomischen Status ....[etc.]"

Immigrantenunterschiede von Null bis 50% unauffällig? Immigranten-ISEI zwischen plus-11% und minus-28% unauffällig? Das ist bewußte Irreführung, so kann man es nicht machen. Und es genügt beileibe nicht, dann sehr pauschal zu schreiben: "Besondere Aufmerksamkeit bedarf die Lage der Familien mit Migrationsgeschichte ... [etc.]", ohne auch nur irgendwo zu erwähnen, daß man einen kombinierten Faktor aus ISEI und Anteil bilden kann, der die PISA-Werte bis zu 85% erklären kann.

Zum Vergleich: PISA hat auch die Abhängigkeit der PISA-Ergebnisse von den Ausgaben pro Schüler, kumuliert über 15 Jahre, gestestet. Ergebnis: Es werden zwischen 9.000$ und 72.000$ ausgegeben, aber z.B. Irland mit 31.000$ hat trotzdem einen besseren Wert als der Ausgaben-Spitzenreiter Österreich. Und Tschechien gibt nur 1/3 soviel aus, wie die USA, hat aber einen gleichen PISA-Wert. R square, der Erklärungsfaktor fällt denn auch mit 17% entsprechend irrelevant aus. Und laut Grafik könnte man mit Null Dollar Ausgaben immerhin einen PISA-Wert von 460 erreichen, besser als Luxemburg also. Hier zeugt schon die Annahme, es könnte eine lineare Beziehung geben, von abstruser Hilflosigkeit gegenüber statistischen Zahlenwerken. Aber diese Grafik hat man uns nicht erspart:

Was man hier leicht sehen kann: Länder mit höchst unterschiedlichen Ausgaben je Schüler erreichen gleiche Ergebnisse, Länder mit gleichen Ausgaben höchst unterschiedliche Ergebnisse, (Österreich gibt bei gleichem PISA-Wert fast  zweineinhalb mal soviel Geld aus wie Irland), ohne Mexiko tendiert der Zusammenhang gegen Null und bei Ausgaben von Null Dollar erreicht man mit 460 Punkten mehr als Luxemburg (441). Hier einen linearen Zusammenhang zu formulieren und zu quantifizieren (17%), ist schlicht Nonsense.

Update Mai/2020

Mittlerweile habe ich mir die Mühe gemacht, die obige „Statistik“ richtig zu „debunken“. D.h.: ich habe mir die Daten aus der abgebildeten Grafik ausgelesen (kein Zugang zu den Rohdaten ;-) und aus der Tabelle die Regressiongerade erzeugt. Die blaue Linie zeigt exakt den Verlauf der Originalgrafik, d.h. mein Grafik-Programm hat präzise „übersetzt“. Die rote Linie zeigt den Verlauf OHNE Brasilien und Mexiko.

Warum ohne diese Ausreisser? Weil es unplausibel ist, erste Welt-Länder mit Ländern zu vergleichen, die zwar in Teilen der Oberschicht erste Welt Niveau haben, aber nicht in der gesellschaftlichen Breite. Und dann sieht man sofort, was passiert: die rote Linie ist jetzt fast waagerecht und bietet keinerlei Aufklärung der Varianz über die Fehlerquote hinaus. Übrigens kam Jahre später heraus, daß Österreich durch Auswahl bestimmter Schultypen gepfuscht und damit 12-15 Punkte dazu geschummelt hatte. Was im obigen Beispiel dazu führen muss, daß die Steigung der rote Linie nochmals flacher würde.

Und das muss ich hier noch betonen: die Ausgaben sind KKP, d.h. kaufkraftbereinigt berechnet, es liegt also nicht an unterschiedliche Wechselkursen o.ä. Das Ergebnis ist niederschmetternd: trotz über 400% Unterschied in den Ausgaben (16.000 - 72.000$ KKP) zeigt die Regressiongerade gerade mal eine Unterschied von ca. 15 Punkten Verbesserung — bei 500 Punkten Durchschnitt sind das magere 3%. Also 400% mehr Bildungsausgaben schaffen 3% PISA-„Gewinn“? Das ist vollkommen lächerlich, und wer sich traut, so etwas abzudrucken und davon zu fabulieren, man müsse nur mehr Geld in die Schulen stecken, um bei PISA besser abzuschneiden, dem sollte man sofort alle akademischen Titel entziehen, denn er hat bewiesen, daß er vom Thema und auch von Statistik einfach gar nichts versteht. Wie gesagt, das waren hochdotierte Bundesbildungsforscher!

Ende Update 2020

Fazit: Es ist der Einfluss der sozialen Stellung der Immigranten (ISEI) und deren Anteil an der Gesamtbevölkerung, der die PISA-Werte zum größten Teil erklärt, nicht etwa Schultyp, Lehrplan oder die angeblich unfähigen Lehrer. Und diesen ISEI bringen die Immigranten aus den Ursprungsländern mit, daran kann das Gastland nur bedingt und nur sehr langfristig etwas ändern.

Wie aber verträgt sich das mit der Tatsache, daß in Deutschland das Ergebnis mit 495 Punkten noch unterm (PISA)Strich bleibt, selbst wenn man die Immigranten rausrechnet? Nun, in der internationalen PISA-Studie wird auch der Einfluss von schwachen ISEI-Werten im Umfeld der Schule auf normalerweise gute Schüler untersucht (S. 266) und mit bis zu 66 Punkten angegeben. D.h.: Geht ein und derselbe Schüler auf eine Schule, bei der der ISEI aller Schüler-Eltern schwach ist, wird er 470 Punkte erreichen, geht er auf eine Schule mit hoher ISEI-Basis kann derselbe Schüler aber 530 Punkte erzielen. Die von PISA ausgewiesenen 11 Punkte Unterschied kommen einer bewussten Falschaussage gleich, da sie den indirekten Einfluss schwacher ISEI im Umfeld der Schule auf normale Schüler völlig ignorieren. Der direkte und indirekte Einfluss der Arbeitsimmigration in Deutschland dürfte sich zusammen auf mind. 25-35 Punkte belaufen. Womit wir uns im normalen Mittel- bis Oberfeld befänden - obwohl es dann ein solches gar nicht mehr gäbe: die PISA-Werte lägen, nach Berücksichtigung des Korrekturfaktors so nahe beieinander, daß jeder Statistiker, der sich ernst nimmt, ein Ranking verweigern würde, da der statistische Fehler größer wird, als das eigentliche Ergebnis.

Höchst merkwürdige Ergebnisse produzieren übrigens auch die Tabellen zur sozialen Disparität, wenn man sich ihnen näher widmet. Hier warten krasse Widersprüche auf Aufklärung - und sei es, daß man die gewonnenen Daten deshalb für insgesamt invalide erklären muss.

Die PISA-Forscher aber vergleichen weiterhin fröhlich Äpfel mit Birnen, und das werden sie auch fürderhin tun, mit meinen und Ihren Steuergeldern. Wir haben es ja...

Heidelberg, Mai/Juni /Juli 2002

P.S.: Der SPIEGEL berichtete am 28.6.2002 hier ONLINE

top