{"title":"Die Kompetenzstelle der Bundesregierung für Evaluierung im Statistischen Bundesamt","authors":"Leon Behre, Fabian Gerls, Daniel Kühnhenrich","doi":"10.31244/zfe.2023.01.10","DOIUrl":"https://doi.org/10.31244/zfe.2023.01.10","url":null,"abstract":"","PeriodicalId":41629,"journal":{"name":"Zeitschrift Fur Evaluation","volume":" 2","pages":""},"PeriodicalIF":0.3,"publicationDate":"2023-04-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"41251846","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":4,"RegionCategory":"社会学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
In the theoretical part of this article, we discuss the complementarity of action research and evaluation research in the context of the construct of meta-evaluation and of evaluation standards as a starting point for the quality requirements of final research reports. The empirical part of the research concentrates on describing the design of qualitative research and its outcomes, the aim of which is to describe the course and the findings of a meta-evaluation of action research reports written by students of teaching. The findings show that within one and the same research report, the content of each category differs in quality. In the analysed reports, categories connected to describing recommendations for pedagogical practice have proven problematic, despite the fact that recommendations are meant to be an essential finding of action research.
{"title":"A Meta-Evaluation of Action Research Final Reports","authors":"Alena Seberová","doi":"10.31244/zfe.2023.01.05","DOIUrl":"https://doi.org/10.31244/zfe.2023.01.05","url":null,"abstract":"In the theoretical part of this article, we discuss the complementarity of action research and evaluation research in the context of the construct of meta-evaluation and of evaluation standards as a starting point for the quality requirements of final research reports. The empirical part of the research concentrates on describing the design of qualitative research and its outcomes, the aim of which is to describe the course and the findings of a meta-evaluation of action research reports written by students of teaching. The findings show that within one and the same research report, the content of each category differs in quality. In the analysed reports, categories connected to describing recommendations for pedagogical practice have proven problematic, despite the fact that recommendations are meant to be an essential finding of action research.","PeriodicalId":41629,"journal":{"name":"Zeitschrift Fur Evaluation","volume":" ","pages":""},"PeriodicalIF":0.3,"publicationDate":"2023-04-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"48444152","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":4,"RegionCategory":"社会学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
Eine rationale und wissensbasierte politische Steuerung setzt nicht auf unkritisierbare Vorannahmen, Vorurteile und dogmatische Setzungen, sondern zieht zur Entscheidungsfindung immer wieder auch empirische Daten heran, die mit wissenschaftlichen Verfahren methodisch kontrolliert erhoben wurden. Im Idealfall können solche Daten auch zu Korrekturen und Revisionen bisheriger Entscheidungen führen, die Rationalität politischer Entscheidungen steigern sowie die Akzeptanz der Ergebnisse und darauf basierender Entscheidungen bei den Betroffenen erhöhen. Hierbei kann es aber auch zu Zielkonflikten zwischen den Erfordernissen wissenschaftlich seriöser Datenerhebung und -analyse einerseits und politischen Handlungszwängen andererseits kommen, weil die gesellschaftlichen Teilsysteme Wissenschaft und Politik nach jeweils unterschiedlichen Logiken arbeiten: Die Qualität wissenschaftlicher Forschung und ihrer Ergebnisse ist abhängig von der kritischen Haltung der jeweiligen scientific community – die Bereitschaft zu systematischer Fehlersuche und eine stets wache Skepsis gegenüber Daten und Befunden fördern deren beständige strenge Prüfung und erhöhen auf diese Weise letztendlich deren Validität. Dies hat zur Folge, dass auch lange bewährte Glaubenssätze und allgemein akzeptierte Erkenntnisse durch neue Daten in Frage gestellt und revidiert werden können. Prozesse beständiger Fehlersuche und Nachprüfung, so nutzbringend sie auch immer sein mögen, können jedoch erhebliche zeitliche und personelle Ressourcen beanspruchen. Dem wiederum können Handlungszwänge politischer Systeme entgegenstehen, wo mit begrenzten Ressourcen gearbeitet werden muss und, bspw. im Angesicht nicht zu tolerierender Missstände oder drohender schwerer Schäden, unter Zeitdruck Abhilfe hiergegen geschaffen werden soll. Politische Entscheidungen erfolgen dementsprechend oft unter Unsicherheit über die tatsächlichen Ursachen eines Problems oder über reale Wirkungen und Nebenwirkungen von Maßnahmen. Das hier beschriebene Spannungsfeld zwischen Wissenschaft und Politik spielt auch für die Praxis der Evaluation eine Rolle: Der Bedarf an abgesicherter Evidenz stellt eine
{"title":"Valide Daten – rationale Entscheidungen – akzeptierte Steuerung? 26. Jahrestagung der DeGEval – Gesellschaft für Evaluation vom 13. bis zum 15. September 2023 an der Otto-von-Guericke-Universität Magdeburg","authors":"","doi":"10.31244/zfe.2023.01.15","DOIUrl":"https://doi.org/10.31244/zfe.2023.01.15","url":null,"abstract":"Eine rationale und wissensbasierte politische Steuerung setzt nicht auf unkritisierbare Vorannahmen, Vorurteile und dogmatische Setzungen, sondern zieht zur Entscheidungsfindung immer wieder auch empirische Daten heran, die mit wissenschaftlichen Verfahren methodisch kontrolliert erhoben wurden. Im Idealfall können solche Daten auch zu Korrekturen und Revisionen bisheriger Entscheidungen führen, die Rationalität politischer Entscheidungen steigern sowie die Akzeptanz der Ergebnisse und darauf basierender Entscheidungen bei den Betroffenen erhöhen. Hierbei kann es aber auch zu Zielkonflikten zwischen den Erfordernissen wissenschaftlich seriöser Datenerhebung und -analyse einerseits und politischen Handlungszwängen andererseits kommen, weil die gesellschaftlichen Teilsysteme Wissenschaft und Politik nach jeweils unterschiedlichen Logiken arbeiten: Die Qualität wissenschaftlicher Forschung und ihrer Ergebnisse ist abhängig von der kritischen Haltung der jeweiligen scientific community – die Bereitschaft zu systematischer Fehlersuche und eine stets wache Skepsis gegenüber Daten und Befunden fördern deren beständige strenge Prüfung und erhöhen auf diese Weise letztendlich deren Validität. Dies hat zur Folge, dass auch lange bewährte Glaubenssätze und allgemein akzeptierte Erkenntnisse durch neue Daten in Frage gestellt und revidiert werden können. Prozesse beständiger Fehlersuche und Nachprüfung, so nutzbringend sie auch immer sein mögen, können jedoch erhebliche zeitliche und personelle Ressourcen beanspruchen. Dem wiederum können Handlungszwänge politischer Systeme entgegenstehen, wo mit begrenzten Ressourcen gearbeitet werden muss und, bspw. im Angesicht nicht zu tolerierender Missstände oder drohender schwerer Schäden, unter Zeitdruck Abhilfe hiergegen geschaffen werden soll. Politische Entscheidungen erfolgen dementsprechend oft unter Unsicherheit über die tatsächlichen Ursachen eines Problems oder über reale Wirkungen und Nebenwirkungen von Maßnahmen. Das hier beschriebene Spannungsfeld zwischen Wissenschaft und Politik spielt auch für die Praxis der Evaluation eine Rolle: Der Bedarf an abgesicherter Evidenz stellt eine","PeriodicalId":41629,"journal":{"name":"Zeitschrift Fur Evaluation","volume":" ","pages":""},"PeriodicalIF":0.3,"publicationDate":"2023-04-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"42620488","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":4,"RegionCategory":"社会学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
{"title":"Meta-Evaluierungen von Projektevaluierungen in der Praxis: Erfahrungen aus der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH","authors":"Vera Hundt","doi":"10.31244/zfe.2023.01.08","DOIUrl":"https://doi.org/10.31244/zfe.2023.01.08","url":null,"abstract":"","PeriodicalId":41629,"journal":{"name":"Zeitschrift Fur Evaluation","volume":"44 4","pages":""},"PeriodicalIF":0.3,"publicationDate":"2023-04-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"41265834","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":4,"RegionCategory":"社会学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
High-quality terms of reference (ToRs) point to solid evaluation objectives, precise evaluation questions, appropriately capturing of OECD/DAC criteria and specific methodological requirements. They guide evaluators by facilitating focussed evaluations, thus, more tailored data collection and analysis, which in turn is expected to uplift the quality of evaluation reports. Based on a meta-evaluation commissioned by Finland’s Ministry for Foreign Affairs, we assess the impact of ToRs on the quality of evaluation reports. For a sample of 70 mid-term and final evaluations of development interventions, we run different ordinary least square regressions with robust standard errors. We find that a one-unit increase of quality of ToRs (on a scale from 1 to 4) is statistically significantly associated to a third of a unit increase of quality of evaluation reports (on a scale from 1 to 4). Therefore, we conclude: it is plausible that ToRs matter.
{"title":"Terms of Reference Matter – Insights from Evaluations of Finnish Development Cooperation","authors":"S. Väth, Maja Flaig, Hansjörg Gaus","doi":"10.31244/zfe.2023.01.03","DOIUrl":"https://doi.org/10.31244/zfe.2023.01.03","url":null,"abstract":"High-quality terms of reference (ToRs) point to solid evaluation objectives, precise evaluation questions, appropriately capturing of OECD/DAC criteria and specific methodological requirements. They guide evaluators by facilitating focussed evaluations, thus, more tailored data collection and analysis, which in turn is expected to uplift the quality of evaluation reports. Based on a meta-evaluation commissioned by Finland’s Ministry for Foreign Affairs, we assess the impact of ToRs on the quality of evaluation reports. For a sample of 70 mid-term and final evaluations of development interventions, we run different ordinary least square regressions with robust standard errors. We find that a one-unit increase of quality of ToRs (on a scale from 1 to 4) is statistically significantly associated to a third of a unit increase of quality of evaluation reports (on a scale from 1 to 4). Therefore, we conclude: it is plausible that ToRs matter.","PeriodicalId":41629,"journal":{"name":"Zeitschrift Fur Evaluation","volume":" ","pages":""},"PeriodicalIF":0.3,"publicationDate":"2023-04-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"41465303","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":4,"RegionCategory":"社会学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
Was lässt sich aus Meta-Evaluationen lernen? Meta-Evaluationen, verstanden als Evaluationen von einer oder mehreren Evaluationen, verfolgen mitunter das Ziel, Hinweise zur Weiterentwicklung der Evaluation zu geben. Dieser Artikel beabsichtigt, Meta-Evaluationserfahrungen aufzuarbeiten, um damit Hinweise für die zukünftige Ausgestaltung von Meta-Evaluationen zu geben. Anhand von neun Fällen werden die Erfahrungen bei der Konzeption und Realisierung von Meta-Evaluationen aufgearbeitet. Diese bewerten zwischen einer und 126 Primärstudien, sie arbeiten mit unterschiedlichen Bewertungskriterien und Methoden. Schließlich ist auch die Frage aufzuwerfen, welche Folgen Meta-Evaluationen haben (können). Gestützt auf einen Fallvergleich formuliert der Beitrag Hinweise zur Ausgestaltung und Umsetzung zukünftiger Meta-Evaluationen.
{"title":"Hinweise zur Konzeption und Realisierung von Meta-Evaluationen","authors":"T. Widmer","doi":"10.31244/zfe.2023.01.06","DOIUrl":"https://doi.org/10.31244/zfe.2023.01.06","url":null,"abstract":"Was lässt sich aus Meta-Evaluationen lernen? Meta-Evaluationen, verstanden als Evaluationen von einer oder mehreren Evaluationen, verfolgen mitunter das Ziel, Hinweise zur Weiterentwicklung der Evaluation zu geben. Dieser Artikel beabsichtigt, Meta-Evaluationserfahrungen aufzuarbeiten, um damit Hinweise für die zukünftige Ausgestaltung von Meta-Evaluationen zu geben. Anhand von neun Fällen werden die Erfahrungen bei der Konzeption und Realisierung von Meta-Evaluationen aufgearbeitet. Diese bewerten zwischen einer und 126 Primärstudien, sie arbeiten mit unterschiedlichen Bewertungskriterien und Methoden. Schließlich ist auch die Frage aufzuwerfen, welche Folgen Meta-Evaluationen haben (können). Gestützt auf einen Fallvergleich formuliert der Beitrag Hinweise zur Ausgestaltung und Umsetzung zukünftiger Meta-Evaluationen.","PeriodicalId":41629,"journal":{"name":"Zeitschrift Fur Evaluation","volume":" ","pages":""},"PeriodicalIF":0.3,"publicationDate":"2023-04-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"46270744","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":4,"RegionCategory":"社会学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
Der Preis wird einmal jährlich für eine herausragende Arbeit im Bereich Evaluation im deutschsprachigen Raum an eine Nachwuchsevaluatorin/einen Nachwuchsevaluator oder eine Gruppe von Nachwuchsevaluatorinnen/Nachwuchsevaluatoren vergeben (bei Gruppenarbeiten muss die Gesamtgruppe aus Nachwuchsevaluatorinnen/Nachwuchsevaluatoren bestehen). Die prämierte Arbeit soll einen fundierten Beitrag zur fachlichen und professionellen Weiterentwicklung von Evaluation leisten. Einschlägig sind sowohl Beiträge zur Theorie und Methodik der Evaluation (Referierte Zeitschriftenartikel, Dissertationen Masterarbeiten) als auch beispielhafte Evaluationsberichte.
{"title":"DeGEval-Nachwuchspreis","authors":"Der Preis","doi":"10.31244/zfe.2023.01.14","DOIUrl":"https://doi.org/10.31244/zfe.2023.01.14","url":null,"abstract":"Der Preis wird einmal jährlich für eine herausragende Arbeit im Bereich Evaluation im deutschsprachigen Raum an eine Nachwuchsevaluatorin/einen Nachwuchsevaluator oder eine Gruppe von Nachwuchsevaluatorinnen/Nachwuchsevaluatoren vergeben (bei Gruppenarbeiten muss die Gesamtgruppe aus Nachwuchsevaluatorinnen/Nachwuchsevaluatoren bestehen). Die prämierte Arbeit soll einen fundierten Beitrag zur fachlichen und professionellen Weiterentwicklung von Evaluation leisten. Einschlägig sind sowohl Beiträge zur Theorie und Methodik der Evaluation (Referierte Zeitschriftenartikel, Dissertationen Masterarbeiten) als auch beispielhafte Evaluationsberichte.","PeriodicalId":41629,"journal":{"name":"Zeitschrift Fur Evaluation","volume":" ","pages":""},"PeriodicalIF":0.3,"publicationDate":"2023-04-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"47552383","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":4,"RegionCategory":"社会学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
{"title":"Hybride Lehre an Universitäten – eine Evaluation hybrider Seminare am Beispiel des Kompetenzzentrums Weiterbildung Allgemeinmedizin Saarland","authors":"Melanie Caspar","doi":"10.31244/zfe.2023.01.09","DOIUrl":"https://doi.org/10.31244/zfe.2023.01.09","url":null,"abstract":"","PeriodicalId":41629,"journal":{"name":"Zeitschrift Fur Evaluation","volume":" ","pages":""},"PeriodicalIF":0.3,"publicationDate":"2023-04-01","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"42511286","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":4,"RegionCategory":"社会学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
京公网安备 11010802042870号
京ICP备2023020795号-1
扫码关注我们
求助内容：
应助结果提醒方式：