Diskussion linearer und nonlinearer Ansätze zur Ermittlung des sozioökonomischen Korrekturfaktors

• Juli 2002: PISA-Studie: Das Fiasko der Forscher
• Daten und Grafiken zum Sozioökonomischen Korrekturfaktor (SF)
• Diskussion, Definition und Berechnung des Sozioökonomischen Korrekturfaktor (SF)
• Innerdeutsche Zahlen und SF zum Vergleich der Bundesländer
• Seltsames Finnland oder das Geheimnis der sozialen Disparität
• Mai 2006: PISA reloaded - ein Essay
• Reaktionen & 2. Essay: Von Menschen und Regenwürmern)
• Reaktionen II

Bei Durchsicht der PISA-Daten war schnell klar, daß die ausgewiesenen Immigrantengruppen sich nach Größe und sozioökonomischen Background ganz erheblich unterscheiden. Die Tatsache, daß die PISA-Forscher die Daten aller Länder mit weniger als 10% Migrantenquote als nicht signifikant einfach aussortiert hatten, ist sehr zu bedauern, denn es ist völlig einsichtig, daß z.B. eine Migrantengruppe von 9% mit einem hohen ISEI (pos. Selektion bei Einwanderung) das PISA-Ranking durchaus stark beeinflussen kann, insbesondere wenn die Punktwerte der einzelnen Länder ohnehin nur wenige Punkte auseinanderliegen.

Klar war leider auch, daß man den Einfluss der Migrantengruppen aus den aggregierten Daten durch plausible Rechenoperationen würde gewinnen müssen, denn obwohl sich aus dem PISA-Datenmaterial genauere PISA- und ISEI-Werte auch für Subgruppen errechnen lassen würden, wurden diese doch nur in Einzelfällen in der der Öffentlichkeit zugänglich gemachten Studie exemplarisch ausgewiesen (z.B. Tabelle 8.23).

Insofern mussten folgende Grundannahmen getroffen werden:

• Der ISEI (der Eltern) und der PISA-Wert der Testkinder hängen eng zusammen
• Starke ISEI-Abweichungen einer Subgruppe beeinflussen auch die mit dieser Subgruppe zusammen lernenden Mitglieder der Hauptgruppe, sowohl positiv, wie auch negativ
• Wenn die Umgangssprache zuhause nicht die PISA-Testsprache (Landessprache) ist, wird man die relative ISEI-Distanz noch stärker bewerten müssen, da dies ein zusätzliches Handicap für die Testkinder, aber auch ihre Mitschüler bedeutet

Die Annahmen sind nicht nur plausibel, es finden sich dazu auch in der PISA-Studie hinreichende Hinweise und Andeutungen.

Bei der Konstruktion des SF war zunächst beabsichtigt, einen Wert in einer Dimension zu schaffen, der es erlaubt durch einfach Addition zum PISA-Wert eine Vergleichbarkeit der korrigierten Länderergebnisse auch durch Laien zu erreichen, daher sollte für positive Subgruppen-ISEI auch negative SF-Werte ereicht werden können.

Es wurden dabei mehrere mathematisch-methodische Annahmen getroffen:

• Der Vergleich des Migranten-ISEI mit dem ISEI einzelner Länder unterliegt starken Schwankungen, wenn die Länder sich untereinander im Inländer-ISEI unterscheiden. Die Migranten-ISEI wurden daher der besseren Vergleichbarkeit wegen gegen den Durchschnitts-ISEI aller Inländer der aufgeführten Länder (=45.55) errechnet.
  
• Der ISEI-Faktor (Quotient aus ISEImittel/ISEImigr) hat non-lineare Auswirkungen, schwache ISEI-Distanzen können vom Umfeld nivelliert werden, starke hingegen verzerren das Umfeld. Der Faktor wurde daher quadriert.

• Die Annahme, eine Gruppe von 50% würde das PISA-Ergebnis 5x so stark beeinflussen, wie eine 10%-Gruppe, erschien nicht plausibel, da in diesem Fall die Migrantengruppe selkbst den maßgeblichem Meßwert beisteuert, man also schon nicht mehr von einer 'Korrektur' eines Hauptwertes sprechen kann. Die Gruppengröße sollte daher nicht linear in die Rechnung einfliessen, bei großen Gruppen und entsprechendem ISEI könnte der Korrekturfaktor sonst PISA-Werte produzieren, die jenseits tatsächlich erreichbarer Werte liegen. Aus dem Faktor Gruppengröße wurde daher die Wurzel gezogen.

Vor allem die letzten beiden Annahmen über Nonlinearität haben aber, wie wir später sehen werden, keineswegs die massiven Auswirkungen, die man vermuten sollte, sie sind in unserem Fall sogar kontraproduktiv, ebenso wirkt sich eine stärkere Bewertung der Subgruppe Umgangssprache<>Testsprache keineswegs gravierend aus.

Im ersten Durchgang wurde gerechnet wie folgt:

M1 = (power(45.55/ISEI(U=T),2)-1) * sqrt(MIG(U=T))
M2 = (power(45.55/ISEI(U<>T),2)-1) * sqrt(MIG(U<>T))

SK = 2 x M1 + 5 x M2

Beachte:

• MIG-Werte in Promille
• MIG(U=T) muss gebildet werden aus MIG gesamt minus MIG U<>T
• ISEI-Quotient -1 ergibt z.B. statt 0.8 bis 1.2 dann -0.2 bis 0.2

Die so erhaltenen Werte finden Sie weiter unten, aber auch auf der Vorgängerseite in der letzten Spalte, darunter die zugehörigen R und R square, sowie die Regressiongerade.

Da nonlineare Zusammenhänge nicht jedem unmittelbar einleuchten, wurden einfachere lineare Zusammenhänge ebenfalls getestet.

Hierbei wurde auf die Normierung als Korrekturwert in PISA-Punkten verzichtet:

M1 = (45.55-ISEI(U=T) * MIG(U=T))
M2 = (45.55-ISEI(U<>T) * MIG(U<>T))

SK = M1/k1 + M2

wobei für k1 Werte von 2.5 (vgl oben 5:2) bis 1.0 gestest wurden. Zusätzlich wurde der Inländer-ISEI des jeweiligen Landes mit dem Inländeranteil wie bei den Migranten verrechnet und mit dem Faktor 0.2 gewichtet, also:

M3 = (45.55-ISEI(inl) * Inl)

SKii = M1/K1 + M2 + 0.2*M3

(ein höheres Gewicht als 0.2 für den Inländeranteil verdeckt den Einfluss des Ausländeranteils, wie Tests ergeben haben).

Die so berechneten Werte stellen sich dar wie folgt:

LAND     PISA PS25  L25 L25I  L20 L20I  L15 L15I  L10 L10I L10I3
           X1   X2   X3   X4   X5   X6   X7   X8   X9  X10  X11 
Luxembur  441   71  287  285  238  236  237  235  236  234  232
Griechen  474    5   10   45    9   44    8   43    7   42   94
Liechten  483   41  213  184  152  123  143  114  126   97   54
Deutschl  484   32   85   86   78   79   78   79   78   79   80
Schweiz,  494   28   87   72  118  103  120  105  126  111   89
Dänemark  497   10   31   51   33   53   34   54   37   57   87
USA,      504   18   71   56   87   72   90   75   95   80   57
Frankrei  505   22   52   72   47   67   50   70   55   75  105
Norwegen  505   -2   -4  -55   52    1   67   16   99   48  -28
Österrei  507   18   44   33   67   56   70   59   76   65   49
Belgien,  507   27   68   66   53   51   53   51   52   50   47
Schweden  516   10   28   26   27   25   27   25   27   25   21
Grossbri  523    6  -11  -12   20   19   20   19   21   20   19
Australi  528    3   18   22   29   33   29   33   28   32   38
Neuseela  529   -9  -64  -32  -54  -22  -62  -30  -79  -47    1
Kanada,   534   -4  -39  -20  -24   -5  -30  -11  -41  -22    6
  

Dabei bedeuten beispielhaft:

PS25: Power/Sqrt, k1=2.5 
L25 : Linear, k1 = 2.5
L15I: Linear, K = 1.5, plus Inlands-ISEI

Obwohl der lineare Ansatz vom erstgewählten Ansatz mathematisch deutlich abweicht, sieht man schon an den resp. Ergebnissen, daß das Ranking nach SK davon nicht stark beeinflusst ist, erst die Hinzunahme des Inlands-ISEI hat einen sichtbaren Effekt. Dies beweisen auch die resp. Werte für Pearsons R square, die sich wie folgt darstellen (Rsq oG: ohne Griechenland):

Werte    PISA PS25  L25 L25I  L20 L20I  L15 L15I  L10 L10I L10I3
           X1   X2   X3   X4   X5   X6   X7   X8   X9  X10  X11 
R square   /  0.66 0.67 0.70 0.68 0.70 0.69 0.71 0.60 0.75 0.70
Rsq oG     /  0.92 0.86 0.90 0.86 0.89 0.86 0.88 0.82 0.89 0.81 

Fazit: Die Behauptung, der sozioökonomische Faktor der Immigrantengruppen und ihre Anteile an der Gesamtbevölkerung hätten einen direkten und erheblichen Einfluss auf das PISA-Ranking, wird durch die enorme Stabilität der Ergebnisrechnungen gegenüber unterschiedliche gewählten mathematischen Modellen und Wichtungsfaktoren eindrücklich bestätigt. Die Robustheit der Daten gegenüber mathematischen Manipulationen unterstreicht nachdrücklich den gefunden Zusammenhang. Die Werte für R square, die für alle aufgeführten Länder größer als 0.66 sind, zeigen auch, daß der Zusammenhang zwischen dem SKF und dem PISA-Wert an Erklärungsmacht alle anderen Zusammenhänge deutlich übertrifft.

Abschliessend exemplarisch der Graph des Modells L20I mit 95% Konfidenz-Grenzen:

top