Was ist Dein Replicandum?

Zusammenfassung Der Beitrag entgegnet der Kritik und Replikation der Studie von Esser und Seuring (2020) zu den Effekten der Stringenz der Leistungsdifferenzierung in den deutschen Bundesländern bei Heisig und Matthewes (2022). Es wird gezeigt wie Modifikationen bei Analysezielen und Analysestrategien gegen die theoretische Grundlage des Originalansatzes die Befunde verändern und zu unterschiedlichen Folgerungen über die Effekte führen können. Das wird an drei Punkten besonders deutlich: 1) Die Annahme einer Äquivalenz von kognitiven Fähigkeiten und schulischen Leistungen und den damit verbundenen Problemen bei den Analysen, 2) die Änderung des zentralen empirischen Estimandums: die im theoretischen Modell implizierte Dreifach-Interaktion von Stringenz, kognitivem Niveau und kognitiver Homogenität, und 3) die Anwendung eines spezifischen Vorgehens bei der Aggregation der Indikatoren für die Klassenkomposition. Re-Analysen zeigen, dass unter Beibehaltung des zentralen Estimandums auch die vorgeschlagenen Modifikationen kaum etwas an den Kernbefunden ändern. Dies untermauert zum einen die Robustheit der Befunde des Originalbeitrags und verdeutlicht zum anderen die Notwendigkeit auch bei Replikationen die ursprünglichen Analyseziele und theoretischen Hintergründe zu berücksichtigen. Ausführlichere Antworten auch zu den weiteren Einwänden sowie die Re-Analyse finden sich in einem Online-Anhang zu diesem Beitrag.