FAQ PISA 2022
In diesem Video wird die Planung, Durchführung und Auswertung der PISA-Studien in Deutschland an der TUM erläutert.
Hinweis: Aktuelle Informationen zu den Meilensteinen in PISA 2022 finden Sie hier.
2018: Begutachtung der Testmaterialien
2019: Übersetzung der Tests und Fragebögen in die jeweiligen Landessprachen
April-Mai 2020: Die Vorbereitungen für den Feldtest wurden weitestgehend abgeschlossen. So wurden die deutschsprachigen Instrumente fertiggestellt, die Stichprobe für den Feldtest gezogen und die Manuale und Skripte für Testleiter*innen sowie für Schulkoordinator*innen vorbereitet. Die Durchführung des Feldtests sowie der Hauptstudie wurde aufgrund der Schulschließungen durch die Corona-Pandemie um ein Jahr verschoben.
Juli 2020 bis April 2021: Vorbereitung von ergänzenden Testmaterialien, Anpassung der Computerplattform und Adaptierung der Durchführungsrichtlinien an die veränderte Testsituation. Zusätzlich erneute Ziehung der Stichproben der Schüler*innen sowie der Lehrkräfte und Testung der Computerplattform.
April/Mai 2021: Durchführung des Feldtests zu PISA 2022 an 40 Schulen mit 2451 Schüler*innen.
Juni bis Dezember 2021: Auswertung der Feldtest-Daten
Oktober bis Dezember 2021: Erneutes Review, ggf. Korrektur von Fehlern und endgültige Freigabe der Aufgaben und Fragebögen für die Hauptstudie
September 2021 bis Januar 2022: Stichprobenziehung für die PISA Hauptstudie 2022
Dezember 2021 bis März 2022: Genehmigungsverfahren der PISA-Materialien durch die 16 Bundesländer
April/Mai 2022: Durchführung der PISA Hauptstudie an ca. 230 Schulen mit ca. 13.000 Schüler*innen
Juni 2022 bis April 2023: Auswertung der Daten aus der Hauptstudie
Mai 2023 bis November 2023: Berichtsband PISA 2022: Schreibphase, Datenübergabe an den Verlag, mehrere Korrekturschleifen, Druck
Dezember 2023: Veröffentlichung der Ergebnisse aus PISA 2022 im Rahmen einer Pressekonferenz in Berlin
Bei PISA werden fünfzehnjährige Schüler*innen für die Teilnahme ausgewählt (Stichtag 01.01.2022), es handelt sich also um eine altersbasierte Stichprobe. Für PISA 2022 werden zur Durchführung von Vergleichen auf internationaler Ebene in Deutschland an ca. 260 Schulen jeweils 30 Schülerinnen und Schüler mit computerbasierten Aufgaben getestet. Darunter sind alle Schularten, also Gymnasien, Realschulen, Hauptschulen, Schulen mit mehreren Bildungsgängen, integrierte Gesamtschulen, Sonder- und Förderschulen sowie berufliche Schulen. [Update vom 16.10.2023]: Die finale Stichprobe umfasst 6116 Schüler*innen an 257 Schulen.
Zusätzlich nimmt Deutschland an der internationalen Option der klassenbasierten Testung teil. Hierzu wird in den teilnehmenden Schulen die Schülerstichprobe um 30 Schüler*innen pro Schule ergänzt (nicht in den beruflichen Schulen).
Weitere Stichproben:
- Pro teilnehmender Schule je 10 Lehrkräfte aus dem Unterrichtsfach Mathematik sowie 15 Lehrkräfte anderer Fachrichtungen. Zusätzlich alle Lehrkräfte, die in den beiden gezogenen 9. Klassen Mathematik und/oder ein naturwissenschaftliches Fach unterrichten.
- Die ca. 260 Schulleiter*innen der teilnehmenden Schulen
- Die Eltern der getesteten Schüler*innen
86 Staaten und Wirtschaftsregionen: 37 OECD-Mitgliedsstaaten, 49 OECD-Partnerstaaten.
Begonnen hat die erste PISA-Studie (PISA 2000) mit 28 OECD-Mitgliedsstaaten und 4 OECD-Partnerstaaten.
PISA 2022 ist bereits die achte Erhebungsrunde. Immer drei Runden bilden einen Zyklus, wobei jeweils einer der drei Kompetenzbereiche als Schwerpunkt untersucht wird. Der erste Zyklus bestand aus PISA 2000 (Lesen als Schwerpunkt), 2003 (Mathematik) und 2006 (Naturwissenschaften). Mit PISA 2015 schloss sich der zweite Zyklus aus PISA 2009 (Lesen), 2012 (Mathematik) und 2015 (Naturwissenschaften). Mit der PISA-Studie 2018 (Lesen) begann somit der dritte PISA-Zyklus, welcher nun mit PISA 2022 mit dem Schwerpunkt auf Mathematik fortgesetzt wird.
In PISA 2022 steht bereits zum dritten Mal (nach 2003 und 2012) die mathematische Kompetenz im Mittelpunkt. Wie in jeder PISA-Erhebungsrunde werden neben der mathematischen Kompetenz auch die Lesekompetenz und die naturwissenschaftliche Kompetenz der fünfzehnjährigen Schüler*innen getestet.
Mathematische Grundbildung wird in der PISA-Studie definiert als die Fähigkeit einer Person, in einer Vielzahl von Kontexten Problemstellungen mathematisch zu formulieren, zu bearbeiten und zu interpretieren sowie mathematisch zu argumentieren. Sie beinhaltet außerdem mathematisches Schlussfolgern und die Anwendung mathematischer Konzepte, Prozeduren, Fakten und Werkzeuge, um Phänomene zu beschreiben, zu erklären und vorherzusagen. Mathematische Grundbildung unterstützt Personen dabei zu erkennen und zu verstehen, welche Rolle Mathematik in der Welt spielt sowie fundierte Urteile und Entscheidungen zu treffen, die den Anforderungen des Lebens als konstruktive, engagierte und reflektierte Bürger*innen entsprechen.
Ergänzend wird in PISA 2022 als innovative Domäne das kreative Denken der Schüler*innen erfasst. Kreatives Denken wird dabei als die Kompetenz definiert, vielfältige, kreative Ideen zu produzieren, zu evaluieren und zu verbessern. Ideen können effektive Lösungen realer Probleme, Fortschritte im Wissen und wirkungsvolle Ausdrucksformen der Vorstellungskraft sein.
Bei PISA werden außerdem die Bedingungen erfasst, unter denen Schüler*innen aufwachsen, leben und lernen. Zu den sogenannten Kontextfaktoren zählen unter anderem Informationen zum sozialen Hintergrund der Schüler*innen, zum Schulklima und zur Unterrichtsgestaltung sowie zu den Einstellungen und Interessen der Jugendlichen. Dazu beantworten nicht nur die Schüler*innen, sondern auch ihre Eltern, Lehrkräfte und Schulleitungen Fragebögen.
In der Erhebung 2022 wird die Testung der Schüler*innen ausschließlich an entsprechend vorbereiteten Computern stattfinden. Das gilt auch für fast alle anderen Fragebögen, nur der Elternfragebogen wird in Papierform ausgegeben.
Das bei PISA verwendete Indikatorensystem verändert sich mit der gesellschaftlichen Realität, in der 15-jährige Schüler*innen leben und ihre Pflichtschulzeit beenden. In PISA 2000 sah diese Realität deutlich anders aus als in PISA 2022; allein die Verbreitung des Internets und die Verfügbarkeit digitaler Endgeräte haben in den 22 Jahren für spürbare Veränderungen gesorgt.
(i) Schülerfragebogen
Die Schüler*innen werden zu ihrem Lernverhalten und ihren Erfahrungen im Fach Mathematik befragt und geben an, wie sie ihren Schulalltag wahrnehmen. Außerdem wird der soziale Hintergrund erfasst, um Schüler*innen innerhalb von Deutschland miteinander sowie mit Schüler*innen aus anderen Staaten vergleichen zu können.
(ii) Elternfragebogen
Die Eltern geben Auskunft über die häusliche Lebensumwelt der Schüler*innen im Allgemeinen sowie spezifisch bezogen auf Mathematik; z. B. welche Hilfestellung in Mathematik sie ihrem Kind geben oder wie sie die Bedeutung der Mathematik für einen späteren Beruf einschätzen. Zudem bewerten sie die Zusammenarbeit mit der Schule.
(iii) Lehrerfragebogen
Die Lehrer*innen schätzen ihren Unterricht, die Organisation des Unterrichts und die Zusammenarbeit mit den Kolleg*innen sowie der Schulleitung ein. Zudem berichten die Lehrer*innen von ihrer Teilnahme an Fortbildungen und die Verwendung von digitalen Medien im Unterricht. Mathematiklehrkräfte werden darüber hinaus spezifisch zu diesem Fach befragt.
(iv) Schulleiterfragebogen
Die Schulleitung macht Angaben zu den Rahmenbedingungen der Schule (z. B. Größe, Schulform) und den zur Verfügung stehenden Ressourcen (z. B. Lehrkräfte, Computerausstattung). Außerdem gibt der/die Schulleiter*in Auskunft über spezifische Themen wie z. B. Berufsorientierung.
Per Zufall wird bestimmt, welche Schulen bei PISA 2022 mitmachen. Danach werden die teilnehmenden Schüler*innen innerhalb der ausgewählten Schulen ebenfalls zufällig ausgewählt. Weltweit sind alle PISA-Stichproben repräsentativ für die 15-Jährigen des jeweiligen Staats (aber z. B. nicht für ein Bundesland in Deutschland), die an Schulen angemeldet sind. Sollte in einem Staat die Rücklaufquote unter einen bestimmten Schwellenwert fallen, wird darauf im Bericht hingewiesen.
Teilnahmeberechtigt an PISA sind in Deutschland nur jene Schüler*innen, welche mindestens ein Jahr hier zur Schule gegangen sind und über ausreichende Deutschkenntnisse verfügen.
Bei PISA geht es nicht darum, zu untersuchen, wie gut die Lehrer:innen die Inhalte des Lehrplans an die Jugendlichen vermittelt haben bzw. Wissen in bestimmten Fächern zu erheben, sondern darum, grundlegende Kompetenzen zu erheben, welche die Schüler*innen am Ende der Pflichtschulzeit erworben haben sollen. Diese Grundbildung ist kulturübergreifend.
Die Kompetenzen der Schüler*innen werden nicht anhand einzelner Aufgaben gemessen, sondern mit vielen Teilaufgaben („Items“). Die Items sind unterschiedlich schwierig, so dass abgelesen werden kann, bis zu welchem Schwierigkeitsgrad Schüler*innen Aufgaben lösen können.
Die Items werden von internationalen Expert:innen des jeweiligen Inhaltsbereichs sorgfältig erstellt. Alle Aufgaben sind in einem mehrschrittigen Verfahren in der Praxis getestet worden, bevor sie für die PISA-Testung ausgewählt wurden. Auch die korrekte Übersetzung der Aufgaben in die Sprachen der jeweiligen Staaten wird international überprüft. Bei einer Vortestung ca. ein Jahr vor der Hauptstudie (dem sogenannten Feldtest) wird untersucht, ob die Aufgaben für Jugendliche aller teilnehmenden Staaten gleichermaßen geeignet und damit die Antworten auf diese Aufgaben zwischen den Staaten vergleichbar sind. Nur solche Aufgaben werden für die Hauptstudie verwendet.
Konkrete Aufgabenbeispiele finden Sie hier: http://www.pisa.tum.de/beispielaufgaben/
Dies hat den Vorteil, dass Wirkungen von Bildungsprozessen und -systemen international auf dasselbe Lebensalter und damit auf eine vergleichbare Zeitspanne bezogen werden. Darüber hinaus wird in vielen Ländern mit 15 Jahren das Ende der Pflichtschulzeit bzw. der Ganztagsbeschulung erreicht, sodass dieser Altersgruppe von besonderem Interesse ist.
In Bezug auf ihre Lerngelegenheiten müssen die Untersuchungsdomänen international vergleichbar sein, was bei Domänen wie z. B. Geschichte oder Sozialkunde i. d. R. schwieriger ist als etwa bei Mathematik oder Naturwissenschaften. Weiter müssen die Bildungsergebnisse mit Testverfahren aussagekräftig erfasst, zuverlässig bewertet und sinnvoll interpretiert werden können.
Darüber hinaus werden die Mathematik, die Naturwissenschaften sowie die Lesekompetenz als elementar erachtet für die Fähigkeit gesellschaftlich am Leben teilhaben zu können und für das lebenslange Lernen gerüstet zu sein.
Eine Hauptaufgabe von PISA ist es, Staaten in ihren Entscheidungen zur Bildungspolitik zu unterstützen. Ein Zyklus von drei Jahren versorgt die Teilnehmerstaaten zeitnah mit Informationen, Daten und Analysen, um die Auswirkungen ihrer politischen Entscheidungen und Programme zu erfassen. Kürzere Zyklen würden nicht genug Zeit lassen, um Auswirkungen von Reformen und Innovationen untersuchen zu können.
Zwischen PISA 2018 und PISA 2022 beträgt der Abstand zwischen den PISA-Runden vier Jahre, da die ursprünglich für das Jahr 2021 geplante Studie aufgrund der Schulschließungen durch die Corona-Pandemie um ein Jahr verschoben wurde.
Nein. Die PISA-Stichprobe ist repräsentativ für fünfzehnjährige Schüler*innen, die eine Schule in Deutschland besuchen - die Studie bezieht sich also auf Deutschland als Ganzes und hat keine Aussagekraft für einzelne Bundesländer.
Der Bildungstrend des Instituts zur Qualitätsentwicklung im Bildungswesen (IQB), welchem das inhaltliche Konzept der Bildungsstandards zugrunde liegt, erlaubt den Vergleich der Ergebnisse einzelner Bundesländer. Weitere Informationen zum IQB-Bildungstrend finden Sie hier https://www.iqb.hu-berlin.de/bt.
Die Verarbeitung der Daten und die veröffentlichten Ergebnisse werden auf zusammengefassten Daten beruhen. Die Ergebnisse können deshalb nicht mehr einzelnen Personen zugeordnet werden. Das Schulpersonal hat zu keinem Zeitpunkt Einblick in die Testunterlagen einzelner Schüler*innen.
Die Stichproben der Schulen, Lehrkräfte sowie Schüler*innen stellen eine Zufallsziehung aller betreffenden Personen (sprich Lehrkräfte oder Schüler*innen) in Deutschland dar und sind für diese repräsentativ (siehe FAQ „Wie werden die Schulen und die Schüler*innen ausgewählt?“).
Das Aufgabenmaterial wird durch internationale Expert:innen ausgewählt und nach aktuellem Stand der Forschung ausgewertet (s. „Wie werden die Aufgaben ausgewertet?“). Diese Maßnahmen erlauben einen wissenschaftlich fundierten und aussagekräftigen Vergleich von Bildungssystemen.
Die PISA-Ergebnisse basieren auf den Antworten der Schüler*innen der deutschen Stichprobe zu den vorgelegten (PISA-)Testaufgaben. Aus diesen Antworten leiten sich durch die Anwendung geeigneter psychometrischer Verfahren durchschnittliche Kompetenzkennwerte für fünfzehnjährige Schüler*innen in Deutschland ab.
Auf der Ebene des Individuums liegen diese als Plausible Values (PVs) vor: Im Gegensatz zu einfachen Testwerten (z. B. Anzahl der erreichten Punkte in einer Klassenarbeit) werden dabei für jeden/jede Schüler*in mit komplexen Modellen der Item Response Theorie (IRT) mehrere plausible Testwerte - daher deren Bezeichnung „Plausible Values“ - aus einer individuellen Verteilung der Kompetenz ermittelt. Durch dieses Verfahren wird der Messfehler bei der Ermittlung der Kompetenz angemessen berücksichtigt.
Ja. Die wiederholte Messung im 3-Jahres-Rhythmus ermöglicht eine Analyse der Veränderungen der Leistungsfähigkeit des Bildungssystems.
Änderungen im Design und in der Skalierung (wie z. B. die computergestützte Testung ab 2015) werden bei der Auswertung über die Verwendung von Korrekturindizes berücksichtigt, sodass Vergleiche mit vorherigen Erhebungsrunden wissenschaftlich fundiert sind.
Ziel von PISA ist es, den beteiligten Staaten in regelmäßigen Abständen Informationen über grundlegende Kompetenzen ihrer Schüler*innen am Ende der Pflichtschulzeit zur Verfügung zu stellen. Mit PISA hat die OECD ein eigenes Indikatorensystem für Bildungsergebnisse geschaffen. Die PISA-Studie gibt Auskunft über Erträge des Bildungssystems, zeigt Herausforderungen auf und gibt Hinweise auf Möglichkeiten für Verbesserungen. Beispielsweise wurden in der Folge von PISA 2000 erhebliche Anstrengungen unternommen, das Kompetenzniveau der Schüler*innen in Deutschland zu verbessern.
Die OECD untersucht, welche Reformen und Praktiken dazu beitragen, dass Staaten in der PISA-Studie hohe Leistungen oder deutliche Verbesserungen erzielen. Auf diese Befunde können alle Staaten zurückgreifen, die Reformen für ihre Bildungssysteme planen. Dabei müssen allerdings immer die unterschiedlichen Gegebenheiten in den einzelnen Ländern berücksichtigt werden. Es gibt kein allgemeingültiges Bildungsmodell, das auf alle Länder passt, und es ist auch nicht möglich, ein Bildungssystem aus einem Land direkt auf ein anderes zu übertragen.
Der vertrauliche Umgang mit Ihren Daten ist uns sehr wichtig.
Die Namen und Adressen teilnehmender Schulen oder der Schüler*innen sind dem PISA-Team in München nicht bekannt und könnten auch nicht genannt werden. Die Studie wird streng anonymisiert durchgeführt und alle Daten werden vertraulich behandelt. Die Liste mit den Namen der ausgewählten Schüler*innen verlässt zu keinem Zeitpunkt die Schule. Sie wird dort sicher aufbewahrt und nach Beendigung der Datenerfassung vernichtet.
Die Verarbeitung der Daten und die veröffentlichten Ergebnisse beruhen auf zusammengefassten Daten. Daher können die Ergebnisse nicht einzelnen Personen oder Schulen zugeordnet werden. Alle Testunterlagen werden von den Testleiter*innen unmittelbar nach Beendigung der Tests an die IEA Hamburg geschickt, wo die Daten aufbereitet werden. Das Schulpersonal hat daher zu keinem Zeitpunkt Einblick in die Testunterlagen.
Das Verfahren wird in jeder Erhebungsrunde erneut durch die Datenschutzbeauftragten der Bundesländer geprüft und freigegeben.
In Deutschland wird die PISA-Studie zum einen von der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (KMK) und zum anderen vom Bundesministerium für Bildung und Forschung (BMBF) finanziert. Die KMK finanziert die nationalen Forscher*innen, das BMBF leistet einen finanziellen Beitrag zu den internationalen Expertengruppen der OECD.
Die wichtigsten Informationen zur PISA-Studie in Deutschland finden Sie stets aktuell auf der offiziellen Webseite des National Centers: www.pisa.tum.de.
Antworten auf spezifisch-internationale Fragen finden Sie auf der Webseite der OECD (http://www.oecd.org/pisa/). Dort können auch die internationalen Datensätze aller bisherigen Zyklen abgerufen werden.
Die Datensätze, welche auch die nationalen Ergänzungen (z. B. die klassenbasierte Stichprobe) inkludieren, können interessierte Wissenschaftler*innen über das gemeinsame Forschungsdatenzentrum des Zentrums für internationale Bildungsvergleichsstudien am IQB beziehen: https://www.iqb.hu-berlin.de/fdz.
Sollten Sie darüber hinaus noch Fragen haben, steht Ihnen das Team des National Centers Deutschland am Zentrum für Internationale Bildungsvergleichsstudien an der Technischen Universität München gerne per E-Mail unter pisa@tum.de zur Verfügung.