Der neue, digitale TestDaF – eingeführt im Oktober 2020 – hat im Juni 2021 das für den Nachweis seiner Qualität erforderliche Standard-Setting erfolgreich absolviert. Ziel des Standard-Settings war es, die neu konzipierten Aufgaben des digitalen TestDaF daraufhin zu untersuchen, ob sie das Spektrum der TestDaF-Niveaus 3 bis 5 zuverlässig abzubilden erlauben und den relevanten Niveaus B2 und C1 des Gemeinsamen europäischen Referenzrahmens für Sprachen (GER; Europarat, 2001) zuzuordnen sind. Für die Beantwortung dieser Fragestellung wurden auch die Skalen des GER-Begleitbandes (Council of Europe, 2020) herangezogen.
Coronabedingt wurde das Standard-Setting in einer mehrtägigen Veranstaltung von Mitarbeiterinnen und Mitarbeitern des TestDaF-Instituts ausschließlich online durchgeführt. Für die Kommunikation im Plenum kam ein Videokonferenz-System zum Einsatz. Testmaterialien wurden hingegen in der Moodle-Plattform und in eigenen Software-Anwendungen bereitgestellt.
Insgesamt 32 nationale und internationale Expertinnen und Experten aus den Bereichen der Testentwicklung und Leistungsbeurteilung erhielten zunächst eine Einführung in die neuen Aufgabenformate des digitalen TestDaF und in die verwendeten GER-Skalen. Anschließend wurden zwei Gruppen mit je 16 Expertinnen und Experten gebildet.
In zwei aufeinander folgenden Trainingsrunden übte Gruppe 1 die GER-Zuordnung ausgewählter Items im Lesen und Hören nach der Basket-Methode; Gruppe 2 übte die GER-Zuordnung typischer Leistungsbeispiele im Schreiben und Sprechen nach der Benchmarking-Methode (Council of Europe, 2009; Kecker, 2011; Kecker & Eckes, 2010). Beide Gruppen verwendeten dazu die neunstufige GER-Skala von A1 bis C2 inklusive der Plus-Stufen.
Psychometrische Analysen ergaben ein zufrieden stellendes Maß an Übereinstimmung innerhalb beider Gruppen nach Runde 2 der Trainingsphase. Im anschließenden Standard-Setting hatte Gruppe 1 (Lesen, Hören) Items aus der ersten digitalen TestDaF-Prüfung vom 22. Oktober 2020 wiederum nach der Basket-Methode zuzuordnen. Gruppe 2 (Schreiben, Sprechen) hatte aus dieser Prüfung stammende Leistungsbeispiele analog zum Training auf der GER-Skala einzuordnen.
Die Übereinstimmungs- und Reliabilitätswerte innerhalb beider Gruppen lagen wieder auf einem erfreulich hohen Niveau. Zudem stimmten die TDN-Einstufungen aus der ersten digitalen TestDaF-Prüfung mit den Einstufungen der Expertinnen und Experten weitgehend überein. In einer abschließenden Befragung konnten gelegentliche Abweichungen auf die besonderen Merkmale des Online-Formats zurückgeführt werden.
Die Expertinnen und Experten waren mehrheitlich von der Organisation und Gestaltung des Standard-Settings sehr angetan. Stellvertretend belegen dies die folgenden Zitate aus dem offenen Teil des Evaluationsfragebogens:
- „Veranstaltung exzellent organisiert; auch inhaltlich sehr interessant und anspruchsvoll“
- „Eine sehr beeindruckende Veranstaltung, hervorragende Organisation und Durchführung, methodisch unglaublich gut durchdacht“
- „Insgesamt eine tolle Veranstaltung in einer Qualität, die dem Thema sprachlicher Hochschulzugang gerecht wurde!“
- „Insgesamt war diese Veranstaltungsreihe sehr gut organisiert, vorbereitet und moderiert. Die Seminarleiterinnen waren sehr kompetent und souverän in ihren Erklärungen bzw. Informationen, auch in den Diskussionen einzelner Leistungsbeispiele. Danke dafür.“
Literatur:
Council of Europe. (2009). Relating language examinations to the “Common European Framework of Reference for Languages: Learning, Teaching, Assessment” (CEFR): A manual. Council of Europe/Language Policy Division.
Council of Europe. (2020). Gemeinsamer europäischer Referenzrahmen für Sprachen: Lernen, lehren, beurteilen. Begleitband. Klett Sprachen.
Europarat. (2001). Gemeinsamer europäischer Referenzrahmen für Sprachen: Lernen, lehren, beurteilen. Langenscheidt.
Kecker, G. (2011). Validierung von Sprachprüfungen: Die Zuordnung des TestDaF zum Gemeinsamen europäischen Referenzrahmen für Sprachen. Peter Lang.
Kecker, G., & Eckes, T. (2010). Putting the manual to the test: The TestDaF–CEFR linking project. In W. Martyniuk (Ed.), Aligning tests with the CEFR: Reflections on using the Council of Europe’s draft manual (pp. 50–79). Cambridge University Press.
