In einem weiteren Schritt wurden die 15-jährigen Schüler*innen innerhalb dieser Schulen durch die Schulkoordinator*innen gelistet.  Aus diesen Listen wurden die Schüler*innen zufällig gezogen, d. h. alle hatten eine gleich große Wahrscheinlichkeit in die Stichprobe zu gelangen. Für jede Schule wurden dabei rund 60 Jugendliche ausgewählt.

Für die Befragung zogen wir rund 36 15-Jährige, also Jugendliche die zwischen 1.1. und 31.12.2010 geboren wurden. Dass einige Schüler*innen zum Testzeitpunkt nicht genau 15 Jahre alt sind, ist gewollt und wird international in gleicher Weise gehandhabt.

Neben den 15-jährigen Jugendlichen wurden auch zwei 9. Klassen für die Befragung herangezogen, um Aussagen auf der Klassenebene untersuchen zu können. In allen Schulen, außer den Berufsschulen, wurde eine 9. Klasse gezogen und aus dieser 18 Schüler*innen (egal welchen Alters) zufällig ausgewählt. Berufsschulen schließen wir dabei aus, da es dort meist keine 9. Klassen gibt.

Neben den Schüler*innen nahmen an jeder Schule auch Lehrkräfte und Referendar*innen für eine Online-Befragung teil, wenn sie ein naturwissenschaftliches (Biologie, Chemie, Physik oder integrierte Naturwissenschaften) oder Englisch unterrichten.

Die Ziehung der Stichprobe auf Schulebene in Deutschland erfolgte durch die internationale Studienleitung. Dazu meldeten wir alle Schulen der Schularten, an denen 15-jährige Schüler*innen unterrichtet werden. Anschließend wählte die internationale Studienleitung aus diesen Schulen anhand der Verteilung der Schularten in den Bundesländern die Schulstichprobe aus. Die Stichprobe für die Haupterhebung umfasste rund 270 Schulen in Deutschland.

Basierend auf den Ergebnissen des Feldtests überarbeiteten wir die Instrumente für die Hauptstudie PISA 2025. Das PISA National Center prüfte in diesem Rahmen erneut alle Kompetenzaufgaben. Außerdem adaptierten wir auch ein weiteres Mal die Fragebögen für Schüler*innen, Lehrkräfte, Schulleitungen und Eltern.

Wie in jeder Erhebungsrunde korrigieren wir dabei sprachliche Fehler und Ungenauigkeiten und schließen, wenn notwendig, einzelne Fragen aus. Internationale und nationale Auswertungen des Feldtests sowie inhaltliche Überlegungen bestimmen, ob Aufgaben und Fragen ausgeschlossen oder für die Hauptstudie PISA 2025 beibehalten werden.

Im letzten Schritt gaben wir die Aufgaben und Fragen für die Hauptstudie PISA 2025 endgültig frei.

Im Herbst 2024 übergab das internationale PISA-Konsortium nach Qualitätskontrollen die aufbereiteten nationalen Datensätze an die teilnehmenden Staaten. Das PISA National Center in Deutschland trug dazu bei, dass alle Staaten auch ausführliche Qualitätskennwerte zu allen Aufgaben erhielten.

Von internationaler Seite wurden für die Fragebögen sowie alle Kompetenztests Berichte zur Güte der Verfahren erstellt. Diese beinhalten unter anderem Angaben zur Schwierigkeit der Aufgaben und zur Zuverlässigkeit der Kodierung.

Neben diesen internationalen Auswertungen führten wir auch eigene Analysen mit den deutschen Feldtestdaten durch. Dabei setzten wir unter anderem die national ergänzten Instrumente zu verschiedenen Aspekten des Lernens in der digitalen Welt mit den internationalen PISA-Aufgaben aus diesem Bereich in Beziehung.

Von April bis Mai 2024 wurde an den ausgewählten Schulen der Feldtest zu PISA 2025 durchgeführt. Es nahmen insgesamt 2.126 Schüler*innen an 50 Schulen in Deutschland daran teil.

Beim Feldtest erprobten wir die Fragebögen und Kompetenztests. Der Schwerpunkt lag dabei auf der naturwissenschaftliche Kompetenz als Hauptdomäne. Zudem nahmen wir die erstmals erhobene innovative Domäne Lernen in der digitalen Welt genauer in den Blick. Der Feldtest umfasste auch eine Fremdsprachentestung (Foreign Language Assessment), um die Englischkenntnisse der Schüler*innen zu messen. In den Bereichen mathematische Kompetenz und Lesekompetenz setzten wir ausschließlich Aufgaben ein, die bereits in früheren PISA-Erhebungen getestet wurden. Nähere Informationen zu den einzelnen Domänen finden Sie hier.

Der Feldtest dient der Erprobung sowohl der Materialien als auch der Prozeduren. Es wurde unter anderem untersucht, ob Aufgaben in unterschiedlichen Staaten unterschiedlich schwierig sind. Bei den Fragebögen wurden beispielsweise verschiedene Antwortformate getestet. Zudem überprüften wir damit, dass die praktische Durchführung der Fremdsprachentestung wie geplant funktioniert. Nach Abschluss des Feldtests übergab das Team die Daten aus Deutschland an das internationale Konsortium zur weiteren Aufbereitung.

Im Vorfeld des Feldtests werden alle dazugehörigen Materialien von den Kultusministerien der jeweiligen Bundesländer inhaltlich und datenschutzrechtlich begutachtet. Neben den Prozeduren werden auch alle Anschreiben an die beteiligten Gruppen (Schüler*innen, Eltern, Lehrkräfte und Schulleitungen) sowie die zugehörigen Kontextfragebögen geprüft. Die Testaufgaben werden aus inhaltlichen Gründen nicht veröffentlicht. Interessierte können jedoch hier einen Eindruck bekommen.  

Auch im Vorfeld des PISA-Feldtests 2025 wurde die PISA-Studie durch die Kultusministerien und Datenschutzbehörden der teilnehmenden Bundesländer vollumfänglich freigegeben. Die inhaltlichen Rückmeldungen zu den eingereichten Materialien haben wir, soweit es möglich war, im Feldtest integriert oder für die Haupterhebung vorgemerkt. Da PISA eine internationale Bildungsvergleichsstudie ist, steht die staatenübergreifende Vergleichbarkeit der Testmaterialien im Vordergrund. Bei den Anpassungen achten wir besonders auf die Übereinstimmung mit den internationalen Vorgaben. Wir stellen sicher, dass Vergleiche mit vorherigen Erhebungsrunden möglich sind.

Für die Stichprobenziehung der 15-jährigen Schüler*innen wählten wir im ersten Schritt die Schulen anhand der Verteilung der Schularten in den Bundesländern aus. Sonder- und Förderschulen sowie Berufsschulen werden dabei extra hervorgehoben, um deren Anteil in Deutschland so genau wie möglich abzubilden.

Im Gegensatz zur Haupterhebung werden im Feldtest nicht alle Bundesländer ausgewählt, sondern lediglich ein kleiner Anteil. Dabei wird darauf geachtet, dass unterschiedlich große und diverse Bundesländer in der Stichprobe enthalten sind. Zudem werden die Schulen (anders als in der Haupterhebung) nicht nach einem statistischen Ziehungsverfahren ausgewählt, sondern anhand ihrer logistisch, für eine Befragung günstigen Lage. Die Stichprobe der Schulen für den Feldtest für PISA 2025 umfasste 49 Schulen in den Bundesländern Nordrhein-Westfalen, Hessen, Berlin und Sachsen-Anhalt.

In einem weiteren Schritt wurden die 15-jährigen Schüler*innen innerhalb dieser Schulen zufällig gezogen, d.h. alle hatten eine gleich große Wahrscheinlichkeit in die Stichprobe zu gelangen. Für jede Schule wurden dabei maximal 64 Jugendliche ausgewählt.

Für die Befragung wurde neben den 15-jährigen Jugendlichen auch eine 9. Klasse einbezogen, um Aussagen auf Klassenebene zu untersuchen. Dafür wurden in drei dieser Schulen zusätzlich zu den 15-jährigen Schüler*innen je 18 zufällig ausgewählte 9. Klässler*innen jeder Klasse für die Befragung ausgewählt. Insgesamt umfasste die Stichprobe 2208 Jugendliche.

Nähere Informationen zu den Methoden der Datenerhebung und Auswertung finden Sie hier.

Neben den Schüler*innen nahmen in der Regel auch 10 Naturwissenschafts- (Biologie, Chemie, Physik oder integrierte Naturwissenschaften) und alle Englischlehrkräfte der 9. und 10. Klassen an jeder Schule für eine Online-Befragung teil.

Des Weiteren haben wir für die Zusatzdomäne Fremdsprachenkompetenz Englisch (FLA) rund 400 Schüler*innen sowie alle Englischlehrkräfte ausgewählt.

Beim Reconciling (Verfeinerung) erstellen wir aus den beiden deutschen Übersetzungen aus dem vorherigen Arbeitsschritt eine einzige, fachlich korrekte Version. Dabei passen wir die sprachliche Gestaltung an in Deutschland gängige Begriffe an. Seit PISA 2009 kooperieren wir dabei mit den anderen deutschsprachigen PISA-Teilnehmerstaaten (Schweiz, Österreich, Luxemburg). In einem mehrtägigen Meeting entwickeln wir eine „Common German Version“ der PISA-Items. Kolleg*innen aus naturwissenschaftlichen Bereichen unterstützen uns dabei, alltagstaugliche Formulierungen für naturwissenschaftliche Fächer zu finden.

Abschließend prüft die internationale Projektleitung die gemeinsame deutsche Version auf die Vergleichbarkeit mit der Ursprungsversion sowie die Fairness gegenüber den Übersetzungen anderer Staaten. Diese Verifikation der gemeinsamen deutschen Version findet beim PISA Contractor cApStAn in Belgien statt. Dort werden alle Übersetzungen sprachlich überprüft und in mehreren Schleifen in Rücksprache mit den nationalen Projektleitungen überarbeitet. Danach sind die Items für den kognitiven Test sowie die Fragen für die Kontextfragebögen bereit für den Einsatz im Feldtest.

Von März bis Oktober 2023 übertrugen zwei Übersetzerinnen unabhängig voneinander die neuen PISA-Items für die Bereiche naturwissenschaftliche Kompetenz, Lernen in der digitalen Welt und Fremdsprachenkompetenz Englisch sowie die Fragen der Kontextfragebögen aus der englischen oder französischen Ursprungsversion ins Deutsche. Wir freuen uns, mit einem sehr kompetenten Team zusammenzuarbeiten und bedanken uns herzlich bei:

Julia Frenzel aus Hamburg

Ulrika Wiesner aus Nürnberg

Franziska Klos aus München

Die Vorbereitung des Testmaterials für PISA 2025 begann im April 2022. Dabei erhielten wir in mehreren Chargen die Units und Items, welche durch externe und interne Fachexpert*innen beurteilt wurden. In der Domäne Naturwissenschaften möchten wir uns besonders für die Unterstützung folgender externer Expert*innen bedanken:

• Prof. Marcus Hammann (Didaktik der Biologie, Universität Münster)
• Prof. Alexander Kauertz (Didaktik der Physik, Universität Koblenz-Landau)
• Prof. Dr. Jenna Koenen (Didaktik der Chemie, Technische Universität München)
• Prof. Dr. Friederike Korneck Didaktik der Physik, Goethe-Universität Frankfurt am Main)
• Prof. Dr. Silke Mikelskis-Seifert (Institut für Chemie, Physik und Technik, Pädagogische Hochschule Freiburg)
• Prof. Knut Neumann (Didaktik der Physik, IPN Kiel)
• Prof. Mathias Ropohl (Didaktik der Chemie, Universität Duisburg-Essen)

In Bezug auf die innovative Domäne bedanken wir uns recht herzlich bei Prof. Dr. Ira Diethelm (Universität Oldenburg) und Dr. Michael Sailer (Ludwig-Maximilians-Universität München) für ihren wertvollen Input.