Kausalität und Plausibilität – Evaluation zwischen Wissenschaft und Praxis. Frühjahrstagung 2019 des Arbeitskreises ‚Methoden in der Evaluation‘ der DeGEval – Gesellschaft für Evaluation e.V.

Abstract

Evaluierende stehen heute mehr denn je vor der Aufgabe, den wissenschaftlichen und methodischen Ansprüchen an Evaluierung gerecht zu werden. Per Defi nition müssen diese den Anforderungen wissenschaftlicher Güte entsprechen und sind somit ‚angewandte Wissenschaft‘. Die Frage adäquater Methodenanwendung ist in den Evaluierungen somit inhärent und folglich Gegenstand anhaltender Diskussionen. Ein zentrales Thema ist hierbei der Einsatz adäquater Methoden zur Kausalitätsanalyse, die es ermöglichen, qualitativ hochwertige und wissenschaftlichen Standards genügende Designs vor dem Hintergrund eingeschränkter zeitlicher und fi nanzieller Ressourcen anzuwenden. Neben dem vermeintlichen Gold-Standard experimenteller Ansätze und quasi-experimentellen Designs stehen mittlerweile mit sogenannten theoriebasierten Evaluierungsansätzen auch wissenschaftstheoretische Alternativen zur Verfügung, die nicht auf der Untersuchung eines Kontrafaktums beruhen. Trotz dieser wissenschaftstheoretischen Fundierung unterscheiden sich Evaluierungen in der Praxis teilweise stark von wissenschaftlichen Studien. Einschränkungen in der Umsetzung anerkannter Methoden werden häufi g mit Hinweis auf einen Unterschied zwischen Wissenschaft und Praxis als unumgänglich angesehen und auf ‚Plausibilität‘ bzw. ‚Plausibilitätsüberlegungen‘ verwiesen. Plausibilität wird hierbei als ‚alternatives Konzept‘ zu den in der Wissenschaft angewandten Methoden und Designs bzw. als zulässige Alternative zu gängigen wissenschaftlichen Gütekriterien beschrieben. Durch den Bezug auf Plausibilität soll die Reliabilität und Validität von Evaluierungsergebnissen gewahrt werden. Plausibilität wird jedoch nicht näher defi niert und dementsprechend unterschiedlich und in Abhängigkeit der Evaluierenden genutzt. Letztendlich ist ungeklärt, was konkret unter ‚Plausibilität‘ verstanden wird. Ungeklärt ist auch, welcher konkrete Unterschied zwischen Wissenschaft und (Evaluations-)Praxis existiert, der den Bezug auf Plausibilität erforderlich machen