Ausführliche Informationen der Meilensteine PISA 2022

Die Ergebnisse aus PISA 2022 wurden am 5. Dezember 2023 in der Bundespressekonferenz in Berlin der Öffentlichkeit vorgestellt. Im Zuge der Pressekonferenz ordnete Studienleiterin Prof. Doris Lewalter die sinkenden Leistungen der fünfzehnjährigen Schüler*innen in Deutschland als Weckruf ein. Vor allem in Mathematik zeichneten die Jugendlichen in PISA 2022 schlechtere Ergebnisse als in 2018, die sich nicht allein mit den Auswirkungen der Corona-Pandemie erklären lassen. Weitere Informationen zu PISA 2022 finden sie hier.

Mit dem Erhalt des finalen Datensatzes am 05. September 2023 wurden die im Juli durchgeführten Analysen wiederholt und vertieft. Die Autor*innen bereiteten die Ergebnisse graphisch auf und verfassten die entsprechenden Kapitel. Parallel hierzu überprüften die Autor*innen abermals die überarbeiteten Entwürfe der OECD-Berichte.

Der Berichtsband gibt hier nicht nur Auskunft zu den Kompetenzen der Schüler*innen, sondern auch zu ihren motivational-emotionalen Merkmalen. Auch eine Einordnung des Mathematikunterrichts in Deutschland findet sich im Berichtsband. Übergreifend ordnen die Autor*innen außerdem die Ergebnisse der PISA-Studie im Hinblick auf sozioökonomische Faktoren und Zuwanderungshintergrund ein und geben erstmals einen detaillierten international vergleichenden Einblick in das Lernen unter Pandemiebedingungen.

Nach der Übergabe an den Verlag und mehreren Korrekturschleifen konnte der Berichtsband im November in Druck gehen. Er gibt Bildungspolitik, -forschung und allen Interessierten einen detaillierten Einblick in die Ergebnisse der PISA-Studie 2022.

Ab Juli 2023 wertete das Team der nationalen PISA-Projektleitung die Daten der Hauptstudie aus. Die erreichten Kompetenzen der Fünfzehnjährigen wurden genauso beschrieben und international eingeordnet wie die Motivationen und Einstellungen der Schüler*innen. Auch der schulische und häusliche Kontext des Lernens und Lehrens, welcher über die Fragebögen für Schulleitungen, Lehrkräfte und Eltern erfragt worden war, wurde für den nationalen Berichtsband näher betrachtet.   

Außerdem überprüften die Autor*innen die Entwürfe der OECD-Berichte und diskutierten methodische Fragestellungen mit der internationalen Projektleitung.

Die praktischen Arbeiten am nationalen Berichtsband begannen bereits über ein Jahr vor der finalen Veröffentlichung der Ergebnisse. In der Konzeptualisierungsphase besprachen die Herausgeber*innen und das PISA-Team die Aufteilung der Themenbereiche und legten fest, wer für welches Kapitel verantwortlich ist. Diese Erstautor*innen suchten sich dann Expert*innen inner- und außerhalb des ZIB als Ko-Autor*innen. Und damit begannen die Literatursuche und das Schreiben der Theorie zum jeweiligen Kapitel. Welche in mehreren Runden mit den Herausgeber*innen besprochen wurde.

Nach der letzten Testung wurden die Daten aus den Kompetenztestungen der Schüler*innen sowie aus den Kontextfragebögen aufbereitet und an die internationale Studienleitung übergeben. In einem mehrstufigen Prozess arbeiteten internationale und nationale Studienleitung bei der Überprüfung der Datenqualität zusammen. Beispielsweise überprüfte das PISA-Team in München, ob jene Aufgaben, die von Schüler*innen in Deutschland besonders häufig ausgelassen worden waren, ggf. ausgeschlossen werden müssten. Dies war in Deutschland nicht der Fall, sodass der Datensatz sowohl von deutscher als auch internationaler Seite freigegeben werden konnte.

Im Frühjahr 2022 finden die PISA-Testungen der 8. Haupterhebung in den Schulen statt. Insgesamt bearbeiten 7700 Schüler*innen an rund 260 Schulen [Update vom 16.10.2023: Die finale Stichprobe umfasst 6116 Schüler*innen an 257 Schulen] in Deutschland Aufgaben der Kompetenzbereiche Mathematik, Naturwissenschaften, Lesen und kreatives Denken am Computer. Die Schüler*innen machen demographische Angaben und beantworten Fragen zu ihrem Lernverhalten, Einstellungen und Lernbedingungen. Auch die Schulleitungen, Lehrkräfte und Eltern füllen Fragebögen aus.

Die PISA Haupterhebung 2022 erfasst schwerpunktmäßig die mathematische Kompetenz sowohl anhand von neu entwickelten als auch mit Aufgaben aus vorherigen Erhebungsrunden. Deutschland nimmt erneut an der innovativen Domäne teil: kreatives Denken. Die naturwissenschaftliche Kompetenz und Lesekompetenz umfassen ausschließlich Aufgaben aus früheren PISA-Erhebungen, sogenannte Trend-Aufgaben.

Die Fragebögen erheben neben demographischen Angaben mathematikbezogene Lernbedingungen und Einstellungen sowie sozio-emotionale Eigenschaften der Schüler:innen und Informationen zu den Lernbedingungen während der Coronakrise.

Die geschulten Testleiter*innen bereiten die PISA-Testungen für die Schüler*innen in den Schulen vor und stimmen sich eng mit den Schulkoordinator*innen der Schulen ab, um einen standardisierten Ablauf zu gewährleisten.

Im Vorfeld der Haupterhebung der PISA-Studie 2022 werden alle Materialien, welche in diesem Rahmen eingesetzt werden, den Kultusministerien der jeweiligen Bundesländer zur datenschutzrechtlichen Prüfung vorgelegt. Geprüft werden hierbei neben den Prozeduren alle Anschreiben an die beteiligten Gruppen – Schüler*innen, Eltern, Lehrkräfte und Schulleitungen – sowie die zugehörigen Kontextfragebögen. Die Testaufgaben können aufgrund inhaltlicher Notwendigkeit nicht herausgegeben werden; einen guten Eindruck können Sie aber hier bekommen.  

Inhaltliche Rückmeldungen von den Kultusministerien zu den Materialien werden von uns nach Möglichkeit eingearbeitet. Da für PISA, als internationale Bildungsvergleichsstudie, die staatenübergreifende Vergleichbarkeit der Testmaterialien im Vordergrund steht, achten wir bei den Anpassungen besonders auf die Übereinstimmung mit den internationalen Vorgaben. Zudem gilt es stets die Vergleichbarkeit zu vorherigen Erhebungsrunden zu gewährleisten.    

Zeitnah nach Abschluss der Genehmigungsverfahren stellen wir auch den Kontextfragebogen der Schüler*innen für die Eltern auf unserer Webseite zur Verfügung.

Für die Stichprobenziehung der 15-jährigen Schüler*innen werden in einem ersten Schritt die Schulen nach einem statistischen Ziehungsverfahren anhand ihrer Verteilung der Schularten in allen Bundesländern gezogen. Sonder- und Förderschulen sowie Berufsschulen werden dabei hervorgehoben, um ihren Anteil in Deutschland so genau wie möglich widerzuspiegeln. Die Stichprobe der Schulen für die Haupterhebung umfasst insgesamt 271 Schulen in Deutschland.

In einem weiteren Schritt werden die 15-jährigen Schüler*innen innerhalb dieser Schulen zufällig gezogen, d. h. alle haben eine gleich große Wahrscheinlichkeit in die Stichprobe zu gelangen. Für jede Schule werden dabei 30 Jugendliche ausgewählt.

Neben den 15-jährigen Jugendlichen werden auch zwei 9. Klassen für die Befragung gezogen, um Aussagen auf der Klassenebene untersuchen zu können. Dafür werden in allen Schulen, außer in den Berufsschulen, zusätzlich zu den 15-jährigen Schüler*innen je 18 zufällig ausgewählte 9. Klässler*innen jeder Klasse für die Befragung ausgewählt. Die Berufsschulen werden aus der Ziehung der 9. Klassen ausgeschlossen, da es in dieser Schulform meist keine 9. Klassen gibt.

Neben den Schüler*innen werden auch Lehrkräfte an jeder Schule für eine Online-Befragung gezogen, wenn sie Mathematik oder ein sonstiges Fach in der 9. oder 10. Jahrgangsstufe unterrichten. Dabei sind die Zielgrößen auf 10 Mathematiklehrkräfte und 15 sonstige Lehrkräfte pro Schule festgesetzt worden. Des Weiteren werden für eine nationale Zusatzerhebung alle Lehrkräfte für Mathematik und der Naturwissenschaften, welche eine oder beide der gezogenen 9. Klassen unterrichten, in die Stichprobe einbezogen.

Basierend auf den Ergebnissen des Feldtests wurden die Instrumente für die Hauptstudie PISA 2022 ausgewählt. Das PISA National Center prüft in diesem Rahmen erneut alle Aufgaben der Kompetenzbereiche Mathematik, Naturwissenschaften, Lesen und kreatives Denken. Außerdem werden auch die Fragebögen für Schüler*innen, Lehrkräfte, Schulleitungen und Eltern erneut geprüft.

Dabei werden beispielsweise sprachliche Fehler oder Ungenauigkeiten korrigiert sowie einzelne Aufgaben und Fragen ausgeschlossen. Basierend auf den internationalen und nationalen Auswertungen des Feldtests sowie aufgrund inhaltlicher Überlegungen wird entschieden, ob Aufgaben und Fragen ausgeschlossen oder für die Hauptstudie PISA 2022 beibehalten werden. In einem letzten Schritt werden die Aufgaben und Fragen für die Hauptstudie PISA 2022 endgültig freigegeben.

Nach Qualitätskontrollen durch das internationale PISA-Konsortium erhielten die teilnehmenden Staaten am 30.09.2021 die aufbereiteten nationalen Datensätze. Zudem erhielten, unter anderem dank des Einsatzes des PISA National Centers in Deutschland, alle teilnehmenden Staaten ausführliche Qualitätskennwerte zu allen Aufgaben.

Von internationaler Seite wurden für die Fragebögen, die Hauptdomäne Mathematik sowie die innovative Domäne Berichte zur Güte der Verfahren erstellt. Diese beinhalten unter anderem Angaben zur Schwierigkeit der Aufgaben, zur Zuverlässigkeit der Kodierung, zu potentiellen Reihenfolgeeffekten, zur Bearbeitungszeit der Aufgaben sowie zur Skalierung.

Neben diesen internationalen Auswertungen führte das PISA-Team auch eigene Analysen mit den deutschen Feldtestdaten durch. Dabei wurden unter anderem die national ergänzten Instrumente zu verschiedenen Aspekten der Kreativität mit den internationalen PISA-Aufgaben zu kreativem Denken in Beziehung gesetzt.

Von April bis Juni 2021 wurde der Feldtest zu PISA 2022 durchgeführt. Es nahmen insgesamt 1.218 Schüler*innen an 41 Schulen in Deutschland daran teil. Die Schüler*innen bearbeiteten am Computer Aufgaben der Kompetenzbereiche Mathematik, Naturwissenschaften, Lesen und kreatives Denken. Zudem beantworteten sowohl die Schüler*innen als auch deren Eltern, Lehrkräfte und Schulleitungen Fragebögen.

Beim Feldtest wurden die Fragebögen sowie die Kompetenztests erprobt. Der Schwerpunkt lag dabei auf der Hauptdomäne mathematische Kompetenz. Die erstmals erhobene innovative Domäne kreatives Denken wurde dabei auch genauer in den Blick genommen. In den Bereichen naturwissenschaftliche Kompetenz und Lesekompetenz wurden ausschließlich Aufgaben eingesetzt, die bereits in früheren PISA-Erhebungen getestet wurden.

Es wurde unter anderem untersucht, ob Aufgaben in unterschiedlichen Staaten unterschiedlich schwierig sind. Bezüglich der Fragebögen wurden beispielsweise verschiedene Antwortformate getestet.

Da die PISA-Studie 2021 aufgrund der Schulschließungen durch die Corona-Pandemie um ein Jahr verschoben wurde, sind verschiedene inhaltliche und organisatorische Anpassungen erforderlich.

Bei der PISA-Studie 2022 wird ein ergänzendes Fragebogenmodul zu Globalen Krisen eingesetzt. Damit bezieht die internationale PISA-Projektleitung unter anderem die besonderen Umstände mit ein, unter denen Schule während der Corona-Pandemie stattgefunden hat. Dazu werden die Beteiligten beispielsweise nach ihren Erfahrungen im Zusammenhang mit Schulschließungen befragt. Seitens der nationalen Projektleitung wird dieses ergänzende Fragebogenmodul mit der gleichen Sorgfalt wie alle anderen Testmaterialien begutachtet (vgl. Itemreview).

Neben der wissenschaftlichen Begutachtung des neuen Moduls, sind auch organisatorische Anpassungen nötig. So muss beispielsweise die Computerplattform, mittels welcher die kognitiven Tests sowie die Fragebögen administriert werden, neu aufgesetzt und getestet werden. Auch die Informationen für Schulleitungen, Lehrkräfte, Eltern sowie Schüler*innen müssen aktualisiert werden. Sowohl die Informationsschreiben als auch die neuen Fragebögen müssen erneut das Genehmigungsverfahren durch die Kultusministerien durchlaufen.

Darüber hinaus müssen die Manuale für die Testleiter*innen sowie für die Schulkoordinator*innen an die neuen Gegebenheiten in den Schulen angepasst werden. Zudem müssen die Stichproben der Schüler*innen sowie der Lehrkräfte erneut gezogen werden, da es sich um einen anderen Jahrgang an fünfzehnjährigen Schüler*innen handelt. Für den Feldtest zu PISA 2022 war die Teilnahme von 2111 Schüler*innen an 46 Schulen geplant.

Die Vorbereitungen für den Feldtest wurden weitestgehend abgeschlossen. So wurden die deutschsprachigen Instrumente fertig gestellt, die Stichprobe für den Feldtest gezogen und die Manuale und Skripte für Testleiter*innen sowie für Schulkoordinator*innen vorbereitet.

Die Durchführung des Feldtests sowie der Hauptstudie wurde aufgrund der Schulschließungen durch die Corona-Pandemie um ein Jahr verschoben.

Im Vorfeld des Feldtests werden alle Materialien, welche in diesem Rahmen eingesetzt werden, von den Kultusministerien der jeweiligen Bundesländer inhaltlich begutachtet und zur datenschutzrechtlichen Prüfung vorgelegt. Geprüft werden hierbei neben den Prozeduren alle Anschreiben an die beteiligten Gruppen – Schüler*innen, Eltern, Lehrkräfte und Schulleitungen - sowie die zugehörigen Kontextfragebögen. Die Testaufgaben können aufgrund inhaltlicher Notwendigkeit nicht herausgegeben werden; einen guten Eindruck können Sie aber hier bekommen.  

Für den Feldtest 2020 hatte keines der gezogenen Bundesländer – Brandenburg, Nordrhein-Westfalen, Saarland und Schleswig-Holstein – datenschutzrechtliche Bedenken. Darüber hinaus geben die Kultusministerien teilweise auch inhaltliche Rückmeldungen zu den Materialien. Diese Rückmeldungen werden von uns nach Möglichkeit in den Feldtest oder die Haupterhebung eingearbeitet. Da für PISA, als internationale Bildungsvergleichsstudie, die länderübergreifende Vergleichbarkeit der Testmaterialien im Vordergrund steht, achten wir bei den Anpassungen besonders auf die Übereinstimmung mit den internationalen Vorgaben. Zudem gilt es stets die Vergleichbarkeit zu vorherigen Erhebungsrunden zu gewährleisten.    

Zeitnah nach Abschluss der Genehmigungsverfahren stellen wir auch den Kontextfragebogen der Schüler*innen für die Eltern auf dieser Seite zur Verfügung.

Für die Stichprobenziehung der 15-jährigen Schüler*innen werden in einem ersten Schritt die Schulen anhand ihrer Verteilung der Schularten in den Bundesländern gezogen. Sonder- und Förderschulen sowie Berufsschulen werden dabei extra hervorgehoben, um ihren Anteil in Deutschland so genau wie möglich widerzuspiegeln. Anders als in der Haupterhebung werden im Feldtest nicht alle Bundesländer ausgewählt, sondern lediglich ein kleiner Anteil. Dabei wird darauf geachtet, dass unterschiedlich große und diverse Bundesländer in der Stichprobe enthalten sind. Ebenfalls anders als in der Haupterhebung werden die Schulen nicht nach einem statistischen Ziehungsverfahren, sondern anhand ihrer logistischen, für eine Befragung günstigen Lage für die Stichprobe ausgewählt. Die Stichprobe der Schulen für den Feldtest umfasst 46 Schulen in den Bundesländern Brandenburg, Nordrhein-Westfalen, Saarland und Schleswig-Holstein.

In einem weiteren Schritt werden die 15-jährigen Schüler*innen innerhalb 40 dieser Schulen zufällig gezogen, d.h. alle haben eine gleich große Wahrscheinlichkeit in die Stichprobe zu gelangen. Für jede Schule werden dabei 54 Jugendliche ausgewählt.

Neben den 15-jährigen Jugendlichen werden auch zwei 9. Klassen für die Befragung gezogen, um Aussagen auf der Klassenebene untersuchen zu können. Dafür werden in drei dieser Schulen zusätzlich zu den 15-jährigen Schüler*innen je 18 zufällig ausgewählte 9. Klässler*innen jeder Klasse für die Befragung ausgewählt. Des Weiteren werden 3 Schulen in die Stichprobe aufgenommen, für welche es nur wenige 15-jährige Schüler*innen gibt. Da diese Jugendlichen in der Haupterhebung dann mit einem extra Gewichtungsfaktor hervorgehoben werden, muss dies im Feldtest getestet werden. Die gesamte Stichprobe der Schüler*innen umfasst insgesamt 2451 Jugendliche.

Neben den Schüler*innen werden auch Mathematik- und sonstige Lehrer*innen an jeder Schule für eine Online-Befragung gezogen, wenn sie Mathematik oder ein sonstiges Fach in der 9. oder 10. Jahrgangsstufe unterrichten. Dabei sind die Zielgrößen auf 10 Mathematiklehrkräfte und 15 sonstige Lehrkräfte pro Schule gesetzt worden. Des Weiteren werden für eine nationale Zusatzerhebung alle Lehrkräfte der Naturwissenschaften und Deutsch, welche eine oder beide der gezogenen 9. Klassen unterrichten, zusätzlich der Stichprobe hinzugefügt.

Beim Reconciling wird aus den beiden deutschen Übersetzungen aus dem vorherigen Arbeitsschritt unter Berücksichtigung fachlicher Richtigkeit zunächst eine einzige deutsche Version gebildet. Seit PISA 2009 besteht eine Übersetzungskooperation mit den anderen deutschsprachigen PISA Teilnehmer-Staaten (Schweiz, Österreich, Luxemburg). Wir erstellen in einem mehrtägigen Meeting eine „Common German Version“ der PISA-Items. Dabei unterstützen uns Kolleg*innen aus der Mathematikdidaktik dabei, Formulierungen zu finden, die dem Alltag des Mathematikunterrichts entsprechen. 

Abschließend muss die gemeinsame deutsche Version (Common German Version) durch die internationale Projektleitung auf die Vergleichbarkeit mit der Ursprungsversion sowie die Fairness gegenüber den Übersetzungen anderer Staaten überprüft werden. Diese Verifikation der gemeinsamen deutschen Version findet beim PISA Contractor cApStAn in Belgien statt. Dort werden alle Übersetzungen sprachlich überprüft und in mehreren Schleifen in Rücksprache mit den nationalen Projektleitungen überarbeitet. Danach sind die Items für den kognitiven Test sowie die Fragen für die Kontextfragebögen bereit für die Verwendung im Feldtest.

Von März 2019 bis Juni 2019 wurden die neuen PISA Items für Mathematik, Kreatives Denken sowie die Fragen der Kontextfragebögen von jeweils zwei Übersetzerinnen unabhängig voneinander aus der englischen oder französischen Ursprungsversion ins Deutsche übertragen. Wir freuen uns, mit einem sehr kompetenten Team zusammenzuarbeiten und bedanken uns herzlich bei:

Julia Frenzel (LF Languageservices), Ulrika Wiesner, Franziska Klos (that word), Ilse Freiburg (IKF Translations)

Der erste Meilenstein für PISA 2021 betrifft die Vorbereitung des Testmaterials. Dabei erhielten wir in mehreren Chargen die Units und Items, welche durch externe und interne Fachexperten beurteilt wurden. In der Domäne Mathematik sind wir sehr dankbar, von folgenden Personen unterstützt worden zu sein:

• Dr. Götz Bieber, Landesinstitut für Schule und Medien Berlin-Brandenburg (LISUM)

• Prof. em. Werner Blum, Universität Kassel

• Prof. Aiso Heinze, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel (IPN)

• Prof. Stefan Krauss, Universität Regensburg

• Prof. Dominik Leiß, Leuphana Universität Lüneburg

• StD a.D. Max Schmidt, Stiftung Wertebündnis Bayern

• Prof. Stefan Ufer, Ludwigs-Maximilian-Universität München

• Dr. Barbara Hank, Staatsinstitut für Schulqualität und Bildungsforschung München (ISB)

In Bezug auf die innovative Domäne danken wir ganz herzlich PD Dr. Mathias Benedek, Karl-Franzens-Universität Graz, für seinen wertvollen Input.