Laufzeit:

Forschungseinrichtung:

Projektleitung:

Projektmitarbeiterinnen:

Carolin Ramsteck, M.A.

Kathrin Hoffmann, M.A.

Untersuchte Fragestellungen:

Unter dem Stichwort "datenbasierte Unterrichtsentwicklung" werden verschiedene Konzepte diskutiert, wie Lehrkräfte Rückmeldungen über die Leistungsentwicklung ihrer Schülerinnen und Schüler für die gezielte Förderung bzw. die Optimierung des weiteren Unterrichts nutzen könnten. Mit den Vergleichsarbeiten VERA 8 werden gegen Ende der Sekundarstufe I wichtige Kompetenzen in den Hauptfächern geprüft. Studien zeigen allerdings, dass eine datenbasierte Unterrichtsentwicklung mit VERA-Rückmeldedaten an Grenzen stößt. Ein alternatives Konzept sind formative Lernverlaufsdiagnosen. Empirische Studien zeigen, dass die wiederholte Messung von Schülerleistungen zu einer Ausrichtung des Unterrichts an den Lernvoraussetzungen und Lernschwierigkeiten der Schülerinnen und Schüler und damit zu einer Leistungsverbesserung führen kann. Sowohl die internationale als auch die deutschsprachige Forschung in diesem Bereich sind jedoch auf den Primarbereich und auf prozeduralisierte Grundfertigkeiten fokussiert (Leseflüssigkeit, Grundrechenarten). Es gibt ein Forschungsdefizit bei formativer Lernverlaufsdiagnostik im Sekundarbereich für Lerndomänen mit überwiegend deklarativen Wissensfacetten, wie z.B. für den in den Bildungsstandards Deutsch wichtigen Bereich der Sprachbetrachtung.

Untersuchungsdesign:

Im Projekt wurde eine computergestützte, formative Lernverlaufsdiagnostik (CFLD) für ausgewählte deklarative Wissensfacetten des Kompetenzbereichs Sprachbetrachtung entwickelt (Wortarten, Kommasetzung, Zeitformen, Satzglieder, Groß- und Kleinschreibung) und evaluiert. Zunächst wurden schulinterne Lehrerfortbildung zu den Test- und Übungsmodulen durchgeführt. Dann wurden die formative Diagnosepraxis der Deutschlehrkräfte in Bezug auf den Kompetenzbereich Sprachbetrachtung in einer Vorerhebung mit einem quantitativen Fragebogen erfasst. Zudem sollten die Lehrkräfte die Schülerleistungen in den Testmodulen prognostizieren. Die Schülerinnen und Schüler wurden zu ihren Vornoten und zu einer Selbsteinschätzung in den getesteten Bereichen gefragt. Anschließend bearbeiteten die Schülerinnen und Schüler im Zeitraum von ca. einem Schuljahr die Test- und Übungsmodule. Die Inhalte der CFLD orientieren sich an den nationalen Bildungsstandards für den MSA in Deutsch sowie an den Lehrplänen und Schulbuchinhalten für die Jahrgangsstufe 5 bis 8 der Realschule in Baden-Württemberg. Begleitend zur Durchführung der Test- und Übungsmodule wurden die Lehrkräfte mündlich befragt. Neben unterrichtspraktischen Aspekten wurde vor allem erfasst, wie die Lehrkräfte mit den Rückmeldeinformationen aus den Tests umgehen.

Für die digitale Umsetzung wurde die Lernplattform Moodle gewählt. Darüber konnten die Leistungszuwächse der Schülerinnen und Schüler sowie die Rezeptionsaktivitäten der Lehrkräfte abgerufen werden. Nach Abschluss des Projekts an den Schulen wurden die Deutschlehrkräfte noch einmal mit einem Fragebogen zur formativen Diagnosepraxis im vergangenen Schuljahr befragt.

Untersuchte Akteure und Bundesländer:

An der Studie beteiligten sich 21 Deutschlehrkräfte an 9 Sekundarschulen in Baden-Württemberg

Zentrale Abschlussbefunde:

Aus den bisherigen Analysen zeichnen sich folgende Befunde ab:

An einer dreijährigen Begleitforschung nahmen 10 Realschulen mit 34 Lehrkräften und 887 Schülerinnen und Schülern teil. In die Analysen gingen die Daten von 820 Schülerinnen und Schülern ein. Mit unterschiedlichen Erhebungsmethoden und Instrumenten wurden die Lernerfolge (Bewertungen in Moodle), die Implementation der CFLD im Deutschunterricht (Beobachtungen, Interviews mit den Lehrkräften) und die individuelle Nutzung der CFLD durch die Lernenden (Testwerte, Log-Daten) erfasst. In Anlehnung an learning analytics-Studien wurden sämtliche Nutzerinteraktionen im Moodle-Kurs klassifiziert. Dafür wurde ein auf die formative Diagnostik abgestimmtes Klassifikationsschema entwickelt, das zwischen systematischen und unsystematischen Interaktionen sowie zwischen Diagnostik und Förderung unterscheidet. In den Analysen werden Zusammenhänge zwischen der didaktischen Einbettung des Moodle-Kurses in den Deutschunterricht, den Nutzungsmustern und den erzielten Lernfortschritten untersucht.

Die Befragung der Lehrkräfte ergab eine hohe curriculare Validität der formativen Tests sowie eine hohe Akzeptanz der CFLD als Ergänzung zum laufenden Deutschunterricht. Bei der Implementation spielten die technischen Voraussetzungen an den Schulen (W-LAN, Computerräume) sowie die Bereitstellung fester Zeitfenster für die Arbeit an der CFLD eine entscheidende Rolle. Vorwissen, Lernerfolge und Lernzuwächse variieren in den Klassen aber auch sehr deutlich zwischen den beteiligten Klassen. Eine systematische Nutzung der Übungen und Glossare hängt mit Lernzuwächsen in einzelnen Modulen zusammen, was die Theorie formativer Diagnostik bestätigt. Die differenzierte Analyse der Nutzerdaten führte zu einer Reihe von Optimierungsmöglichkeiten für die CFLD. Vor allem die systematische Einbindung der CFLD in den laufenden Deutschunterricht im Sinne der datenbasierten Unterrichtsentwicklung gelang lediglich in einem Teil der beteiligten Klassen. In diesen Fällen konnte jedoch gezeigt werden, dass formative Lernverlaufsdiagnosen zu zentralen Kompetenzbereichen wesentlich besser mit dem Unterricht verzahnt werden können als standardisierte Vergleichsarbeiten. In weiteren Studien sollten die Leistungseffekte einer weiterentwickelten CFLD unter kontrollierten Bedingungen (feste Zeiträume und Nutzungsintervalle, Kopplung mit Lerninhalten des laufenden Deutschunterrichts) geprüft werden.

Projektbezogene Veröffentlichungen:

Maier, U., Ramsteck, C., & Hoffmann, K. (im Druck). Formative Leistungsdiagnostik und Learning Analytics: Entwicklung, Nutzung und Optimierung eines Online-Kurses für die Diagnostik und Förderung von Grundwissen im Kompetenzbereich Sprachbetrachtung. Zeitschrift für Erziehungswissenschaft.

Maier, U. (2016). Lernen steuern durch computergestützte, formative Leistungsdiagnostik. Beispiele für effiziente Verfahren aus Forschungsprojekten. Gemeinsam lernen: Zeitschrift für Schule, Pädagogik und Gesellschaft, 2/2, 30-35.

Maier, U., Ramsteck, C., & Hoffmann, K. (2016). Lernplattform Moodle: Individuelle Lernverlaufsdiagnostik und Förderung im Kompetenzbereich Sprache. Schulmanagement, 2016/2, 30-32.

Muslic, B., & Ramsteck, C. (2016). Neo-Institutionalistische Perspektive auf die Organisation Schule. Organisationsinterne Kopplungs- und Entkopplungsprozesse infolge testbasierter Schulreform. In: Maier, M. S. (Hrsg.): Organisation und Bildung. Theoretische und empirische Zugänge (S. 199-219). Wiesbaden: Springer Verlag für Sozialwissenschaften.

Ramsteck, C., Muslic, B., Graf, T., Maier, U., & Kuper, H. (2015). Data-based school improvement: The role of principals and school supervisory authorities within the context of low-stakes mandatory proficiency testing in four German states. In: International Journal of Educational Management, 29/6, 766-789.

Ramsteck, C., & Maier, U. (2015). Testdatenbasierte Schul- und Unterrichtsentwicklung - Analyse von Handlungsmustern bei der Rezeption und Nutzung von Vergleichsarbeitsdaten. In: Schrader, J., Schmid, J., Amos, K., & Thiel, A. (Hrsg.): Governance von Bildung im Wandel. Interdisziplinäre Zugänge (S. 119-144). Wiesbaden: Springer Verlag für Sozialwissenschaften.

Maier, U. (2014). Datenbasierte Schul- und Unterrichtsentwicklung. Ein kritischer Blick auf die Realität. In: schulmanagement, 45/2, 8-11.

Maier, U. (2014). Computergestützte, formative Leistungsdiagnostik - Eine praktikable und effektive Methode. In: Schulverwaltung Baden-Württemberg, 23/11, 296-299.

Maier, U. (2014). Computergestützte, formative Leistungsdiagnostik in Primar- und Sekundarschulen. Ein Forschungsüberblick zu Entwicklung, Implementation und Effekten. Unterrichtswissenschaft, 42/1, 70-87.

Maier, U. (2014). Formative Leistungsdiagnostik in der Sekundarstufe - Grundlegende Fragen, domänenspezifische Verfahren und empirische Befunde. In: Hasselhorn, M., Schneider, W., & Trautwein, U. (Hrsg.), Jahrbuch der pädagogisch-psychologischen Diagnostik (S. 19-40). Tests und Trends, N. F. Band 12. Göttingen: Hogrefe.