Was ist der Zeitplan?

2016: Übersetzung der Tests und Fragebögen in die jeweiligen Landessprachen
2017: Erprobung und Verbesserung der Instrumente
November 2017: Information der ausgewählten Schulen über die PISA-Studie 2018
März 2018: Information der ausgewählten Schülerinnen und Schüler, Eltern sowie der Lehrerinnen und Lehrer
April-Mai 2018: Durchführung der Tests am vereinbarten Termin
Dezember 2019: Bericht über die Ergebnisse der PISA-Studie 2018

Wann werden die Ergebnisse aus der PISA-Studie 2018 bekannt gegeben?

Die Ergebnisse aus der PISA-Studie 2018 werden der Öffentlichkeit im Rahmen einer Pressekonferenz bekannt gegeben, die für Dienstag, den 3. Dezember 2019 vorgesehen ist.
Zusätzliche Informationen sind ab diesem Datum auf folgenden Webseiten erhältlich:

www.pisa.oecd.org
www.pisa.tum.de/pisa-2018
www.zib.education

Zusätzlich zu den Berichtsbändern über die internationalen Ergebnisse von Seiten der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD), wird durch die PISA-Arbeitsgruppe des Zentrums für internationale Bildungsvergleichsstudien (ZIB) an der Technischen Universität München ein nationaler Berichtsband mit dem Fokus auf Deutschland veröffentlicht.

Wer nimmt an der PISA-Studie 2018 teil?

Bei PISA werden fünfzehnjährige Schülerinnen und Schüler getestet, es handelt sich also um eine altersbasierte Stichprobe. Für PISA 2018 sind dies ca. 6400 Schülerinnen und Schüler in Deutschland, die ca. 230 Sekundarschulen besuchen (jeweils 30 Schülerinnen und Schüler pro Schule).

Es handelt sich um allgemeinbildende Schulen, berufliche Schulen und Förderschulen (d.h. Gymnasien, Realschulen, Hauptschulen, Schulen mit mehreren Bildungsgängen, integrierte Gesamtschulen, Sonder- und Förderschulen, berufliche Schulen).

Zusätzlich nimmt Deutschland an der internationalen Option der klassenbasierten Testung teil. Hierzu wird in den teilnehmenden Schulen die Schülerstichprobe um 15 Schülerinnen und Schüler der 9. Jahrgangsstufe ergänzt (nicht in den beruflichen Schulen). Schließlich wird eine Stichprobe von 15-jährigen Schülerinnen und Schülern gezogen, die PISA-Aufgaben zusätzlich in einer papierbasierten Version bearbeiten.

Weitere Stichproben:

  • Pro teilnehmende Schule je 15 Lehrerinnen und Lehrer aus dem Unterrichtsfach Deutsch sowie 20 Lehrkräfte anderer Fachrichtungen
  • Die ca. 230 Schulleiterinnen und Schulleiter der teilnehmenden Schulen
  • Die Eltern der getesteten Schülerinnen und Schüler

Wie viele Länder nehmen an der PISA-Studie 2018 teil?

80 Staaten: Alle 35 OECD-Mitgliedsstaaten, 45 OECD-Partnerstaaten

An der PISA-Studie 2015 nahmen 72 Staaten (35 OECD-Mitgliedsstaaten, 37 OECD-Partnerstaaten) teil, begonnen hat die der erste PISA-Studie (PISA 2000) mit 28 OECD-Mitgliedsstaaten und 4 OECD-Partnerstaaten.

Wie oft fand die PISA-Studie schon statt?

PISA 2018 ist bereits die siebte Erhebungsrunde. Mit PISA 2015 wurde der zweite PISA-Zyklus abgeschlossen: Immer drei Runden bilden einen Zyklus, wobei jeweils einer der drei Kompetenzbereiche als Schwerpunkt untersucht wird. Der erste Zyklus bestand aus PISA 2000 (Lesen als Schwerpunkt), 2003 (Mathematik) und 2006 (Naturwissenschaften). Mit PISA 2015 schloss sich der zweite Zyklus aus PISA 2009 (Lesen), 2012 (Mathematik) und 2015 (Naturwissenschaften). Mit der PISA-Studie 2018 (Lesen) beginnt somit der dritte PISA-Zyklus.

Welche Bereiche werden in PISA 2018 gemessen?

In PISA 2018 steht bereits zum dritten Mal (nach 2000 und 2009) die Lesekompetenz im Mittelpunkt. Wie in jeder PISA-Erhebungsrunde werden neben der Lesekompetenz auch die mathematische und die naturwissenschaftliche Kompetenz der fünfzehnjährigen Schülerinnen und Schüler getestet.

Lesekompetenz beinhaltet zum einen die Fähigkeit, relevante Informationen aus Texten herauszusuchen und zum anderen Texte zu verstehen, zu nutzen und über sie zu reflektieren. Zudem wird die Fähigkeit und Motivation erfasst, sich auf Texte einzulassen und sich mit den Inhalten auseinanderzusetzen. PISA untersucht die Fähigkeit, Texte unterschiedlicher Art bezüglich ihrer Aussagen, Absichten und Form verstehen und interpretieren zu können. Außerdem geht es darum, diese in einen größeren Zusammenhang einzuordnen, zu reflektieren und zu bewerten.

Bei PISA werden neben den drei Kompetenzbereichen Lesen, Mathematik und Naturwissenschaften auch die Bedingungen, unter denen Schülerinnen und Schüler aufwachsen, leben und lernen, erfasst. Zu den sogenannten Kontextfaktoren zählen unter anderem Informationen zum sozialen Hintergrund der Schülerinnen und Schüler, zum Schulklima und zur Unterrichtsgestaltung sowie zu den Einstellungen und Interessen der Jugendlichen.

Wie findet die Erhebung bei PISA 2018 statt?

In der Erhebung 2018 wird die Testung der Schülerinnen und Schüler hauptsächlich an entsprechend vorbereiteten Computern stattfinden. Der Elternfragebogen wird in Papierform ausgegeben, alle anderen Fragebögen werden am Computer beantwortet.

Im Rahmen nationaler Ergänzungen werden bei PISA 2018 an einigen Schulen – die darüber rechtzeitig informiert wurden – zusätzlich Papier- und Bleistifttests durchgeführt. An allen Schulen werden den Schülerinnen und Schülern zudem nach der Testung Elternfragebögen in Papierform ausgehändigt.

Warum wird mit Computern getestet?

Das bei PISA verwendete Indikatorensystem verändert sich mit der gesellschaftlichen Realität, in der 15-jährige Schülerinnen und Schüler leben und ihre Pflichtschulzeit beenden. In PISA 2000 sah diese Realität deutlich anders aus als in PISA 2015; allein die Verbreitung des Internets und die Verfügbarkeit digitaler Endgeräte haben in den 15 Jahren für spürbare Veränderungen gesorgt.

Was ist neu bei PISA 2018?

Neu bei PISA 2018 sind interaktive Aufgaben mit mehreren zu lesenden Texten in einer simulierten Web-Umgebung. Hierbei werden Aspekte der Lesekompetenz im digitalen Zeitalter erfasst, beispielsweise die Fähigkeit, Informationen durch das Navigieren auf Webseiten zu finden, zu vernetzen und zu beurteilen.

Nach der in PISA 2015 erfolgten Umstellung auf computerbasiertes Testen ist dieser dritte Zyklus zugleich der erste, mit welchem Trends in Bezug auf computergestützt erfasste Kompetenzen möglich sein werden.

Was erfassen die Kontextfragebögen in PISA 2018?

(i) Schülerfragebogen

Die Schülerinnen und Schüler werden zu ihrem Lernverhalten und ihren Erfahrungen in dem Fach Deutsch befragt und geben an, wie sie ihren Schulalltag wahrnehmen. Außerdem wird der soziale Hintergrund erfasst, um Schülerinnen und Schüler innerhalb von Deutschland miteinander sowie mit Schülerinnen und Schülern aus anderen Ländern vergleichen zu können.

(ii) Elternfragebogen
Die Eltern geben Auskunft über Voraussetzungen der Schülerinnen und Schüler, wie z. B. Leseangebote und Leseförderung zu Hause. Weiterhin geben sie an, welche Rolle das Lesen in der Familie spielt und wie sie die Schule sowie die Zusammenarbeit mit der Schule einschätzen.

(iii) Lehrerfragebogen
Die Lehrerinnen und Lehrer schätzen ihren Unterricht, die Organisation des Unterrichts und die Zusammenarbeit mit den Kolleginnen und Kollegen sowie der Schulleitung ein. Zudem berichten die Lehrerinnen und Lehrer von ihrer Teilnahme an Fortbildungen.

(iv) Schulleiterfragebogen
Die Schulleitung macht Angaben zu den Rahmenbedingungen der Schule (z. B. Größe, Schulform) und den zur Verfügung stehenden Ressourcen (z. B. Lehrkräfte, Computerausstattung).

Worum geht es bei der nationalen Ergänzungsstudie zu den Moduseffekten in PISA 2018?

Mit PISA 2015 erfolgte die Umstellung von papier- auf computerbasiertes Testen. In diesem Zusammenhang kamen zahlreiche Fragen zur Vergleichbarkeit der beiden Testformen auf, die innerhalb einer nationalen Ergänzungsstudie zu PISA 2018 näher in Augenschein genommen werden.

Einerseits geht es darum, zu prüfen, ob sich das Antwortverhalten bei der Bearbeitung von Aufgaben auf Papier im Vergleich zu dem am Computer unterscheidet. Die Testaufgaben für die Bearbeitung am Computer unterscheiden sich in ihrer Gestaltung teilweise von denen auf Papier. Dies lässt die Fragen aufkommen, ob dadurch andere Anforderungen an die Teilnehmerinnen und Teilnehmer gestellt werden und sich somit Veränderungen hinsichtlich der jeweils gemessenen Kompetenz zeigen (Konstruktäquivalenz), und darüber hinaus, ob sich die Schwierigkeit der Aufgaben ändert (Moduseffekte).

Ein zweiter wichtiger Punkt ist die Vergleichbarkeit der Studienergebnisse mit bisherigen PISA-Durchgängen. Neben der Beschreibung der Ergebnisse der jeweils aktuellen PISA-Studie wird im nationalen PISA-Berichtband auch die Entwicklung (Trend) analysiert und interpretiert. Mit der Umstellung auf computerbasiertes Testen ist ein Vergleich schwieriger möglich. Bei Analysen und Vergleichen müssen eventuelle Moduseffekte mitberücksichtigt werden. Mit dieser Ergänzungsstudie, die hauptsächlich vom Deutschen Institut für Internationale Pädagogische Forschung (DIPF; s. zib.education/de/forschung/aktuelle-zib-projekte/moduseffekt-studie.html) koordiniert wird, wird untersucht, ob Moduseffekte auftreten und inwiefern sich diese auf die Vergleichbarkeit auswirken.

Wie werden die Schulen und die Schülerinnen und Schüler ausgewählt?

Per Zufall wird bestimmt, welche Schulen bei PISA 2018 mitmachen. Danach werden die teilnehmenden Schülerinnen und Schüler innerhalb der ausgewählten Schulen ebenfalls zufällig ausgewählt. Alle PISA-Stichproben sind repräsentativ für die 15-Jährigen des jeweiligen Staats (aber z.B. nicht für ein Bundesland in Deutschland), die an Schulen angemeldet sind. Sollte in einem Staat die Rücklaufquote unter einen bestimmten Schwellenwert fallen, wird dies berichtet.

Teilnahmeberechtigt an PISA sind in Deutschland nur jene Schülerinnen und Schüler, welche mindestens ein Jahr hier zur Schule gegangen sind und über ausreichende Deutschkenntnisse verfügen.

Wie werden die Aufgaben ausgewählt?

Bei PISA geht es nicht darum, zu untersuchen, wie gut die Lehrerinnen und Lehrer die Inhalte des Lehrplans an die Jugendlichen vermittelt haben bzw. Wissen in bestimmten Fächern zu erheben, sondern darum, grundlegende Kompetenzen zu erheben, welche die Schülerinnen und Schüler am Ende der Pflichtschulzeit erworben haben sollen. Diese Kompetenzen sind kulturübergreifend.

Die Kompetenzen der Schülerinnen und Schüler werden nicht anhand einzelner Aufgaben gemessen, sondern mit vielen Teilaufgaben („Items“). Die Items sind unterschiedlich schwierig, so dass abgelesen werden kann, bis zu welchem Schwierigkeitsgrad Schülerinnen und Schüler Aufgaben lösen können.

Die Items werden von internationalen Expertinnen und Experten des jeweiligen Inhaltsbereichs sorgfältig erstellt. Alle Aufgaben sind in einem mehrschrittigen Verfahren in der Praxis getestet worden, bevor sie für die PISA-Testung ausgewählt wurden. Bei einer Vortestung ca. ein Jahr vor der Hauptstudie (dem sogenannten Feldtest) wird untersucht, ob die Aufgaben für Jugendliche aller teilnehmenden Staaten gleichermaßen geeignet und damit die Antworten auf diese Aufgaben zwischen den Staaten vergleichbar sind. Nur solche Aufgaben werden für die Hauptstudie verwendet. Bei PISA werden in allen Staaten die gleichen Aufgaben, in der entsprechenden Landessprache, gestellt.

Konkrete Aufgabenbeispiele finden sich z.B. hier: http://www.pisa.tum.de/beispielaufgaben/

Warum wird eine Alterskohorte anstelle von Klassen- oder Jahrgangsstufen untersucht?

Dies hat den Vorteil, dass Wirkungen von Bildungsprozessen und -systemen international auf dasselbe Lebensalter und damit auf eine bestimmte Zeitspanne bezogen werden. Darüber hinaus wird in vielen Ländern mit 15 Jahren das Ende der Pflichtschulzeit bzw. der Ganztagsbeschulung erreicht, sodass dieser Altersgruppe von besonderem Interesse ist.

Warum werden nur Lesen, Mathematik und Naturwissenschaften untersucht?

In Bezug auf ihre Lerngelegenheiten müssen die Untersuchungsdomäne international vergleichbar sein, was bei Domänen wie z.B. Geschichte oder Sozialkunde i.d.R. schwieriger ist als etwa bei Mathematik oder Naturwissenschaften. Weiter müssen die Bildungsergebnisse mit Testverfahren aussagekräftig erfasst, zuverlässig bewertet und sinnvoll interpretiert werden können, was z.B. in Kunst und Musik problematisch sein kann.

Darüber hinaus werden die Lesekompetenz, die Mathematik sowie die Naturwissenschaften als elementar erachtet für die Fähigkeit gesellschaftlich am Leben teilhaben zu können und für das lebenslange Lernen gerüstet zu sein.

Warum wird PISA alle drei Jahre durchgeführt?

Eine Hauptaufgabe von PISA ist es, Länder in ihren Entscheidungen zur Bildungspolitik zu unterstützen. Ein Zyklus von drei Jahren versorgt die Länder zeitnah mit Informationen, Daten und Analysen, um die Auswirkungen ihrer politischen Entscheidungen und Programme zu erfassen. Kürzere Zyklen würden nicht genug Zeit lassen, um Auswirkungen von Reformen und Innovationen untersuchen zu können. Ein größerer Zeitabstand würde bedeuten, dass auf rückläufige Leistungen nicht schnell genug reagiert werden kann.

Gibt es Ergebnisse für Bundesländer?

Nein. Die PISA-Stichprobe ist repräsentativ für fünfzehnjährige Schülerinnen und Schüler, die eine Schule in Deutschland besuchen - die Studie bezieht sich also auf Deutschland als Ganzes und hat keine Aussagekraft für einzelne Bundesländer. Ein Vergleich der Bundesländer wird durch das Institut zur Qualitätsentwicklung im Bildungswesen (IQB)-Bildungstrend ermöglicht. Informationen zum IQB-Ländervergleich finden Sie hier https://www.iqb.hu-berlin.de/bt.

Erhalten Schülerinnen und Schüler individuelle Rückmeldungen, wie sie abgeschnitten haben?

Die Verarbeitung der Daten und die veröffentlichten Ergebnisse werden auf zusammengefassten Daten beruhen. Die Ergebnisse können deshalb nicht mehr einzelnen Personen zugeordnet werden. Das Schulpersonal hat zu keinem Zeitpunkt Einblick in die Testunterlagen einzelner Schülerinnen und Schüler.

Gibt es Ergebnisse für Geflüchtete, die nach Deutschland gekommen sind?

Nein. Zwar sind vermutlich einige Flüchtlinge in die Schülerstichprobe gezogen worden (s. Frage „Wie werden die Schülerinnen und Schülern ausgewählt?“), allerdings wird in PISA nicht nach dem Grund für die Einwanderung nach Deutschland gefragt. Es wird demnach nicht erfasst, wie viele Flüchtlinge unter den getesteten Schülerinnen und Schülern sind. An PISA teilnehmen darf nur, wer mindestens ein Jahr eine Schule in Deutschland besucht hat und über ausreichende Deutschkenntnisse verfügt.

Wie aussagekräftig sind die Ergebnisse?

Die Stichproben der Schulen, Lehrkräfte sowie Schülerinnen und Schüler stellen eine Zufallsziehung aller betreffenden Personen (sprich Lehrkräfte oder Schülerinnen und Schüler) in Deutschland dar und sind für diese repräsentativ (siehe FAQ „Wie werden die Schulen und die Schülerinnen und Schülern ausgewählt?“).

Das Aufgabenmaterial wird durch internationale Expertinnen und Experten ausgewählt und nach aktuellem Stand der Forschung ausgewertet (s. „Wie werden die Aufgaben ausgewertet?“). Diese Maßnahmen erlauben einen wissenschaftlich fundierten und aussagekräftigen Vergleich von Bildungssystemen.

Wie werden die Aufgaben ausgewertet?

Die PISA Ergebnisse basieren auf den Antworten der Schülerinnen und Schüler der deutschen Teilstichprobe zu die vorgelegten (PISA-)Testaufgaben. Aus diesen Antworten leiten sich durch die Anwendung geeigneter psychometrischer Verfahren Kompetenzkennwerte für Deutschland ab. 

Auf der Ebene des Individuums liegen diese als Plausible Values (PVs) vor: Im Gegensatz zu einfachen Testwerten (z.B. Anzahl der erreichten Punkte in einer Klassenarbeit) werden dabei für jede Schülerin/jeden Schüler mit komplexen Modellen der Item Response Theorie (IRT) mehrere plausible Testwerte - daher deren Bezeichnung „plausible values“ - aus einer individuellen Verteilung der Kompetenz ermittelt. Durch dieses Verfahren wird der Messfehler bei der Ermittlung der Kompetenz angemessen berücksichtigt.

Können Ergebnisse über mehrere Zyklen hinweg verglichen werden?

Ja. Die wiederholte Messung im 3-Jahres-Rhythmus ermöglicht eine Analyse der Veränderungen der Leistungsfähigkeit des Bildungssystems.

Allerdings erschweren Änderungen im Design und in der Skalierung von PISA 2015 die Interpretation der Veränderungen der Ergebnisse zwischen früheren Erhebungen und den PISA-Studien 2015 und 2018. Mit der nationalen Ergänzungsstudie (s. „Worum geht es bei der nationalen Ergänzungsstudie zu den Moduseffekten in PISA 2018?“) wird die Vergleichbarkeit genauer untersucht.

Wie sinnvoll ist PISA bzw. was kann PISA bewirken?

Ziel von PISA ist es, den beteiligten Staaten in regelmäßigen Abständen Informationen über grundlegende Kompetenzen ihrer Schülerinnen und Schüler am Ende der Pflichtschulzeit zur Verfügung zu stellen. Mit PISA hat die OECD ein eigenes Indikatorensystem für Bildungsergebnisse geschaffen. Die PISA-Studie gibt Auskunft über Erträge des Bildungssystems, zeigt Herausforderungen auf und gibt Hinweise auf Möglichkeiten für Verbesserungen. Beispielsweise wurden in der Folge von PISA 2000 erhebliche Anstrengungen unternommen, das Kompetenzniveau der Schülerinnen und Schüler in Deutschland zu verbessern. Die Ergebnisse der PISA-Studie in Deutschland sind mittlerweile signifikant über dem Durchschnitt der OECD-Staaten.

Die OECD untersucht, welche Reformen und Praktiken dazu beitragen, dass Staaten in der PISA-Studie hohe Leistungen oder deutliche Verbesserungen erzielen. Auf diese Befunde können alle Staaten zurückgreifen, die Reformen für ihre Bildungssysteme planen. Dabei müssen allerdings immer die unterschiedlichen Gegebenheiten in den einzelnen Ländern berücksichtigt werden. Es gibt kein allgemeingültiges Bildungsmodell, das auf alle Länder passt, und es ist auch nicht möglich, ein Bildungssystem aus einem Land direkt auf ein anderes zu übertragen.

Wie werden die Daten der Teilnehmerinnen und Teilnehmer geschützt?

Der vertrauliche Umgang mit Ihren Daten ist uns sehr wichtig.

Die Namen und Adressen teilnehmender Schulen oder der Schülerinnen und Schüler sind dem PISA-Team in München nicht bekannt und könnten auch nicht genannt werden. Die Studie wird streng anonymisiert durchgeführt und alle Daten werden vertraulich behandelt. Die Liste mit den Namen der ausgewählten Schülerinnen und Schüler verlässt zu keinem Zeitpunkt die Schule. Sie wird dort sicher aufbewahrt und nach Beendigung der Datenerfassung vernichtet.

Die Verarbeitung der Daten und die veröffentlichten Ergebnisse beruhen auf zusammengefassten Daten. Daher können die Ergebnisse nicht einzelnen Personen oder Schulen zugeordnet werden. Alle Testunterlagen werden von den Testleiterinnen und Testleitern unmittelbar nach Beendigung der Tests an die IEA Hamburg geschickt, wo die Daten aufbereitet werden. Das Schulpersonal hat daher zu keinem Zeitpunkt Einblick in die Testunterlagen.

Die Datenschutzbeauftragten der Länder wurden über das Verfahren informiert und ihre Eingaben wurden berücksichtigt.

Wie wird die Durchführung der PISA-Studie finanziert?

In Deutschland wird die PISA-Studie zum einen von der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland (KMK) und zum anderen vom Bundesministerium für Bildung und Forschung (BMBF) finanziert. Die KMK finanziert die nationalen Forscherinnen und Forscher, das BMBF leistet einen finanziellen Beitrag zu den internationalen Expertengruppen der OECD.

Wo findet man mehr Informationen über die PISA-Studie?

Die wichtigsten Informationen zur PISA-Studie in Deutschland finden Sie auf der Webseite des National Centers: www.pisa.tum.de. Dort finden Sie nicht nur die Ergebnisse aller PISA-Zyklen, sondern beispielsweise auch eine speziell für Schulen zugeschnittene Präsentation mit Informationen zur PISA-Studie 2018.

Für Antworten zu internationalen Fragen ist die Webseite der OECD (http://www.oecd.org/pisa/) empfehlenswert. Auf dieser können auch die Datensätze aller bisherigen Zyklen abgerufen werden.

Sollten Sie darüber hinaus noch Fragen haben, steht Ihnen das Team des National Centers Deutschland am Zentrum für Internationale Bildungsvergleichsstudien an der Technischen Universität München gerne per E-Mail unter pisa@edu.tum.de zur Verfügung.