Meilensteine PISA 2021

Herbst 2018: Itemreview

Der erste Meilenstein für PISA 2021 betrifft die Vorbereitung des Testmaterials. Dabei erhielten wir in mehreren Chargen die Units und Items, welche durch externe und interne Fachexperten beurteilt wurden. In der Domäne Mathematik sind wir sehr dankbar, von folgenden Personen unterstützt worden zu sein:

• Dr. Götz Bieber, Landesinstitut für Schule und Medien Berlin-Brandenburg (LISUM)

• Prof. em. Werner Blum, Universität Kassel

• Prof. Aiso Heinze, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel (IPN)

• Prof. Stefan Krauss, Universität Regensburg

• Prof. Dominik Leiß, Leuphana Universität Lüneburg

• StD a.D. Max Schmidt, Stiftung Wertebündnis Bayern

• Prof. Stefan Ufer, Ludwigs-Maximilian-Universität München

• Dr. Barbara Hank, Staatsinstitut für Schulqualität und Bildungsforschung München (ISB)

In Bezug auf die innovative Domäne danken wir ganz herzlich PD Dr. Mathias Benedek, Karl-Franzens-Universität Graz, für seinen wertvollen Input.


Frühjahr 2019: Übersetzungsprozess

Von März 2019 bis Juni 2019 wurden die neuen PISA Items für Mathematik, Kreatives Denken sowie die Fragen der Kontextfragebögen von jeweils zwei Übersetzerinnen unabhängig voneinander aus der englischen oder französischen Ursprungsversion ins Deutsche übertragen. Wir freuen uns, mit einem sehr kompetenten Team zusammenzuarbeiten und bedanken uns herzlich bei:

Julia Frenzel (LF Languageservices), Ulrika Wiesner, Franziska Klos (that word), Ilse Freiburg (IKF Translations)


Sommer 2019: Reconciling/Verifikation

Beim Reconciling wird aus den beiden deutschen Übersetzungen aus dem vorherigen Arbeitsschritt unter Berücksichtigung fachlicher Richtigkeit zunächst eine einzige deutsche Version gebildet. Seit PISA 2009 besteht eine Übersetzungskooperation mit den anderen deutschsprachigen PISA Teilnehmer-Staaten (Schweiz, Österreich, Luxemburg). Wir erstellen in einem mehrtägigen Meeting eine „Common German Version“ der PISA-Items. Dabei unterstützen uns Kolleginnen und Kollegen aus der Mathematikdidaktik dabei, Formulierungen zu finden, die dem Alltag des Mathematikunterrichts entsprechen. 

Abschließend muss die gemeinsame deutsche Version (Common German Version) durch die internationale Projektleitung auf die Vergleichbarkeit mit der Ursprungsversion sowie die Fairness gegenüber den Übersetzungen anderer Staaten überprüft werden. Diese Verifikation der gemeinsamen deutschen Version findet beim PISA Contractor cApStAn in Belgien statt. Dort werden alle Übersetzungen sprachlich überprüft und in mehreren Schleifen in Rücksprache mit den nationalen Projektleitungen überarbeitet. Danach sind die Items für den kognitiven Test sowie die Fragen für die Kontextfragebögen bereit für die Verwendung im Feldtest.


Winter 2019/2020: Stichprobenziehung

Für die Stichprobenziehung der 15-jährigen Schülerinnen und Schüler werden in einem ersten Schritt die Schulen anhand ihrer Verteilung der Schularten in den Bundesländern gezogen. Sonder- und Förderschulen sowie Berufsschulen werden dabei extra hervorgehoben und ihren Anteil in Deutschland so genau wie möglich widerzuspiegeln. Anders als in der Haupterhebung werden in Feldtest nicht alle Bundesländer ausgewählt, sondern lediglich ein kleiner Anteil. Dabei wird darauf geachtet, dass unterschiedliche große und diverse Bundesländer in der Stichprobe enthalten sind. Ebenfalls anders als in der Haupterhebung werden die Schulen nicht nach einem statistischen Ziehungsverfahren, sondern anhand ihrer logistischen, für eine Befragung günstigen Lage für die Stichprobe ausgewählt. Die Stichprobe der Schulen für den Feldtest umfasst 46 Schulen in den Bundesländern Brandenburg, Nordrhein-Westfalen, Saarland und Schleswig-Holstein.

In einem weiteren Schritt werden die 15-jährigen Schülerinnen und Schüler innerhalb 40 dieser Schulen zufällig gezogen, d.h. jeder Schüler hat eine gleich große Wahrscheinlichkeit in die Stichprobe zu gelangen. Für jede Schule werden dabei 54 Jugendliche ausgewählt.

Neben den 15-Jährigen Jugendlichen werden auch zwei 9. Klassen für die Befragung gezogen, um Aussagen auf der Klassenebene untersuchen zu können. Dafür werden in drei dieser Schulen zusätzlich zu den 15-jährigen Schülerinnen und Schülern je 18 zufällig ausgewählte 9. Klässlerinnen und 9. Klässler jeder Klasse für die Befragung ausgewählt. Des Weiteren werden 3 Schulen in die Stichprobe aufgenommen, für welche es nur wenige 15-jährige Schülerinnen und Schüler gibt. Da diese Jugendlichen in der Haupterhebung dann mit einem extra Gewichtungsfaktor hervorgehoben werden, muss dies im Feldtest getestet werden. Die gesamte Stichprobe der Schülerinnen und Schüler umfasst insgesamt 2451 Jugendliche.

Neben den Schülerinnen und Schülern werden auch Mathematik- und sonstige Lehrerinnen und Lehrer an jeder Schule für eine Online-Befragung gezogen, wenn sie Mathematik oder ein sonstiges Fach in der 9. oder 10. Jahrgangsstufe unterrichten. Dabei sind die Zielgrößen auf 10 Mathematiklehrkräfte und 15 sonstige Lehrkräfte pro Schule gesetzt worden. Des Weiteren werden für eine nationale Zusatzerhebung alle Lehrkräfte der Naturwissenschaften und Deutsch, welche eine oder beide der gezogenen 9. Klassen unterrichten, zusätzlich der Stichprobe hinzugefügt.


Winter 2019/2020: Genehmigungsverfahren

Im Vorfeld des Feldtests werden alle Materialien, welche in diesem Rahmen eingesetzt werden, den Kultusministerien der jeweiligen Bundesländer zur datenschutzrechtlichen Prüfung vorgelegt. Geprüft werden hierbei neben den Prozeduren alle Anschreiben an die beteiligten Gruppen – Schülerinnen und Schüler, Eltern, Lehrkräfte und Schulleitungen - sowie die zugehörigen Kontextfragebögen. Die Testaufgaben können von aus aufgrund inhaltlicher Notwendigkeit nicht herausgegeben werden; einen guten Eindruck können Sie aber hier bekommen.  

Für den Feldtest 2020 hatte keines der gezogenen Bundesländer – Brandenburg, Nordrhein-Westfalen, Saarland und Schleswig-Holstein – datenschutzrechtliche Bedenken. Darüber hinaus geben die Kultusministerien teilweise auch inhaltliche Rückmeldungen zu den Materialien. Diese Rückmeldungen werden von uns nach Möglichkeit in den Feldtest oder die Haupterhebung eingearbeitet. Da für PISA, als internationale Bildungsvergleichsstudie, die länderübergreifende Vergleichbarkeit der Testmaterialien im Vordergrund steht, achten wir bei den Anpassungen besonders auf die Übereinstimmung mit den internationalen Vorgaben. Zudem gilt es stets die Vergleichbarkeit zu vorherigen Erhebungsrunden zu gewährleisten.    

Zeitnah nach Abschluss der Genehmigungsverfahren stellen wir auch den Kontextfragebogen der Schülerinnen und Schüler für die Eltern auf dieser Seite zur Verfügung.


19.05.2020

Das Schulmanagement-Handbuch mit Ergebnissen aus PISA 2018 wurde nun veröffentlicht. Informative Einblicke dazu erhalten Sie hier. In drei Kapiteln stellen Mitarbeiterinnen und Mitarbeiter der PISA-Arbeitsgruppe  zentrale Ergebnisse für die Zielgruppe der Schulleitungen und Lehrkräfte vor. Die einzelnen Beiträge sind außerdem unter "PISA Publikationen Zeitschriften- und Buchbeiträge" aufgelistet.