{"title":"Editorial","authors":"W. Meyer, B. Simon, André Martinuzzi","doi":"10.31244/zfe.2020.02.01","DOIUrl":"https://doi.org/10.31244/zfe.2020.02.01","url":null,"abstract":"","PeriodicalId":41629,"journal":{"name":"Zeitschrift Fur Evaluation","volume":" ","pages":""},"PeriodicalIF":0.3,"publicationDate":"2020-10-21","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"47296827","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":4,"RegionCategory":"社会学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
As the climate emergency is looming, many local authorities worldwide have engaged in Transition Initiatives, with an aim to fi nd a new sustainable model of development. Such Initiatives are rarely evaluated and, actually, they defy standard evaluation practice. Using Contribution Analysis, we evaluated three of them in Northern France in the last seven years. Doing so proved a methodological challenge, if only because these Initiatives cannot be summed up as a programme of action engaged by an authority, but rather as a local dynamic fuelled by deeply ingrained political convictions. We provide here lessons about how to make the Initiatives evaluable, through the delineation of an evaluand and Theory of Change collaborative reconstruction. But what started with method ended up as a refl ection on values. “What is good” and how can Transition Initiatives contribute to it? And how does it interrogate our own norms and values as evaluators?
{"title":"Evaluators in Transition","authors":"Thomas Delahais, K. Sage, Vincent Honoré","doi":"10.31244/zfe.2020.02.03","DOIUrl":"https://doi.org/10.31244/zfe.2020.02.03","url":null,"abstract":"As the climate emergency is looming, many local authorities worldwide have engaged in Transition Initiatives, with an aim to fi nd a new sustainable model of development. Such Initiatives are rarely evaluated and, actually, they defy standard evaluation practice. Using Contribution Analysis, we evaluated three of them in Northern France in the last seven years. Doing so proved a methodological challenge, if only because these Initiatives cannot be summed up as a programme of action engaged by an authority, but rather as a local dynamic fuelled by deeply ingrained political convictions. We provide here lessons about how to make the Initiatives evaluable, through the delineation of an evaluand and Theory of Change collaborative reconstruction. But what started with method ended up as a refl ection on values. “What is good” and how can Transition Initiatives contribute to it? And how does it interrogate our own norms and values as evaluators?","PeriodicalId":41629,"journal":{"name":"Zeitschrift Fur Evaluation","volume":"23 1","pages":"239-260"},"PeriodicalIF":0.3,"publicationDate":"2020-10-21","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"75614697","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":4,"RegionCategory":"社会学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
Evaluierende stehen heute mehr denn je vor der Aufgabe, den wissenschaftlichen und methodischen Ansprüchen an Evaluierung gerecht zu werden. Per Defi nition müssen diese den Anforderungen wissenschaftlicher Güte entsprechen und sind somit ‚angewandte Wissenschaft‘. Die Frage adäquater Methodenanwendung ist in den Evaluierungen somit inhärent und folglich Gegenstand anhaltender Diskussionen. Ein zentrales Thema ist hierbei der Einsatz adäquater Methoden zur Kausalitätsanalyse, die es ermöglichen, qualitativ hochwertige und wissenschaftlichen Standards genügende Designs vor dem Hintergrund eingeschränkter zeitlicher und fi nanzieller Ressourcen anzuwenden. Neben dem vermeintlichen Gold-Standard experimenteller Ansätze und quasi-experimentellen Designs stehen mittlerweile mit sogenannten theoriebasierten Evaluierungsansätzen auch wissenschaftstheoretische Alternativen zur Verfügung, die nicht auf der Untersuchung eines Kontrafaktums beruhen. Trotz dieser wissenschaftstheoretischen Fundierung unterscheiden sich Evaluierungen in der Praxis teilweise stark von wissenschaftlichen Studien. Einschränkungen in der Umsetzung anerkannter Methoden werden häufi g mit Hinweis auf einen Unterschied zwischen Wissenschaft und Praxis als unumgänglich angesehen und auf ‚Plausibilität‘ bzw. ‚Plausibilitätsüberlegungen‘ verwiesen. Plausibilität wird hierbei als ‚alternatives Konzept‘ zu den in der Wissenschaft angewandten Methoden und Designs bzw. als zulässige Alternative zu gängigen wissenschaftlichen Gütekriterien beschrieben. Durch den Bezug auf Plausibilität soll die Reliabilität und Validität von Evaluierungsergebnissen gewahrt werden. Plausibilität wird jedoch nicht näher defi niert und dementsprechend unterschiedlich und in Abhängigkeit der Evaluierenden genutzt. Letztendlich ist ungeklärt, was konkret unter ‚Plausibilität‘ verstanden wird. Ungeklärt ist auch, welcher konkrete Unterschied zwischen Wissenschaft und (Evaluations-)Praxis existiert, der den Bezug auf Plausibilität erforderlich machen
{"title":"Kausalität und Plausibilität – Evaluation zwischen Wissenschaft und Praxis. Frühjahrstagung 2019 des Arbeitskreises ‚Methoden in der Evaluation‘ der DeGEval – Gesellschaft für Evaluation e.V.","authors":"Anna Katharina Kleinoscheg","doi":"10.31244/zfe.2020.02.12","DOIUrl":"https://doi.org/10.31244/zfe.2020.02.12","url":null,"abstract":"Evaluierende stehen heute mehr denn je vor der Aufgabe, den wissenschaftlichen und methodischen Ansprüchen an Evaluierung gerecht zu werden. Per Defi nition müssen diese den Anforderungen wissenschaftlicher Güte entsprechen und sind somit ‚angewandte Wissenschaft‘. Die Frage adäquater Methodenanwendung ist in den Evaluierungen somit inhärent und folglich Gegenstand anhaltender Diskussionen. Ein zentrales Thema ist hierbei der Einsatz adäquater Methoden zur Kausalitätsanalyse, die es ermöglichen, qualitativ hochwertige und wissenschaftlichen Standards genügende Designs vor dem Hintergrund eingeschränkter zeitlicher und fi nanzieller Ressourcen anzuwenden. Neben dem vermeintlichen Gold-Standard experimenteller Ansätze und quasi-experimentellen Designs stehen mittlerweile mit sogenannten theoriebasierten Evaluierungsansätzen auch wissenschaftstheoretische Alternativen zur Verfügung, die nicht auf der Untersuchung eines Kontrafaktums beruhen. Trotz dieser wissenschaftstheoretischen Fundierung unterscheiden sich Evaluierungen in der Praxis teilweise stark von wissenschaftlichen Studien. Einschränkungen in der Umsetzung anerkannter Methoden werden häufi g mit Hinweis auf einen Unterschied zwischen Wissenschaft und Praxis als unumgänglich angesehen und auf ‚Plausibilität‘ bzw. ‚Plausibilitätsüberlegungen‘ verwiesen. Plausibilität wird hierbei als ‚alternatives Konzept‘ zu den in der Wissenschaft angewandten Methoden und Designs bzw. als zulässige Alternative zu gängigen wissenschaftlichen Gütekriterien beschrieben. Durch den Bezug auf Plausibilität soll die Reliabilität und Validität von Evaluierungsergebnissen gewahrt werden. Plausibilität wird jedoch nicht näher defi niert und dementsprechend unterschiedlich und in Abhängigkeit der Evaluierenden genutzt. Letztendlich ist ungeklärt, was konkret unter ‚Plausibilität‘ verstanden wird. Ungeklärt ist auch, welcher konkrete Unterschied zwischen Wissenschaft und (Evaluations-)Praxis existiert, der den Bezug auf Plausibilität erforderlich machen","PeriodicalId":41629,"journal":{"name":"Zeitschrift Fur Evaluation","volume":"41 1","pages":"372-378"},"PeriodicalIF":0.3,"publicationDate":"2020-10-21","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"81695785","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":4,"RegionCategory":"社会学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
{"title":"Evaluation of Sustainable Development Goals between Ambition and Reality. How the Agenda 2030 Challenges the Evaluation Practice","authors":"W. Meyer","doi":"10.31244/zfe.2020.02.02","DOIUrl":"https://doi.org/10.31244/zfe.2020.02.02","url":null,"abstract":"","PeriodicalId":41629,"journal":{"name":"Zeitschrift Fur Evaluation","volume":"69 1","pages":"221-238"},"PeriodicalIF":0.3,"publicationDate":"2020-10-21","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"91191000","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":4,"RegionCategory":"社会学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
This paper provides a state-of-the-art review on how companies try to evaluate their impacts on the SDGs. It presents a quantitative analysis of 170 tools for corporate impact evaluation. In addition, fi ve selected tools were tested in collaboration with three multinational corporations. The diversity of tools is enormous, and the market is relatively new and opaque. Only a few tools use complete logic frameworks, the pathways of impact are rarely uncovered, data assurance is not a common standard, third-party verifi cation is rare, and none of the tools applies systems concepts. As a result, companies run the risk of creating a smooth façade of controllability, while underestimating the complexity of impacts and overlooking important leverage points. Bridging the gap between the business sector and the evaluation community could lift the practice of corporate impact evaluation to a higher level.
{"title":"Evaluating Corporate Impacts on the SDGs – Tools, Cases, and Future Challenges","authors":"Heike Vogel-Pöschl, A. Martinuzzi, N. Schönherr","doi":"10.31244/zfe.2020.02.04","DOIUrl":"https://doi.org/10.31244/zfe.2020.02.04","url":null,"abstract":"This paper provides a state-of-the-art review on how companies try to evaluate their impacts on the SDGs. It presents a quantitative analysis of 170 tools for corporate impact evaluation. In addition, fi ve selected tools were tested in collaboration with three multinational corporations. The diversity of tools is enormous, and the market is relatively new and opaque. Only a few tools use complete logic frameworks, the pathways of impact are rarely uncovered, data assurance is not a common standard, third-party verifi cation is rare, and none of the tools applies systems concepts. As a result, companies run the risk of creating a smooth façade of controllability, while underestimating the complexity of impacts and overlooking important leverage points. Bridging the gap between the business sector and the evaluation community could lift the practice of corporate impact evaluation to a higher level.","PeriodicalId":41629,"journal":{"name":"Zeitschrift Fur Evaluation","volume":"4 1","pages":"261-290"},"PeriodicalIF":0.3,"publicationDate":"2020-10-21","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"81885375","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":4,"RegionCategory":"社会学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
Alexander Chenchenko, Susanne von Jan, T. Bär, Kirsten Vorwerk
{"title":"Frühjahrstagung des Arbeitskreises Entwicklungspolitik und humanitäre Hilfe der DeGEval. #ZahlenDatenFakten – Monitoring in der Entwicklungszusammenarbeit und der humanitären Hilfe zwischen Anspruch und Realität","authors":"Alexander Chenchenko, Susanne von Jan, T. Bär, Kirsten Vorwerk","doi":"10.31244/zfe.2020.02.11","DOIUrl":"https://doi.org/10.31244/zfe.2020.02.11","url":null,"abstract":"","PeriodicalId":41629,"journal":{"name":"Zeitschrift Fur Evaluation","volume":"69 1","pages":"364-371"},"PeriodicalIF":0.3,"publicationDate":"2020-10-21","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"84354385","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":4,"RegionCategory":"社会学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
C. Hartmann, Kirsten Vorwerk, M. Sommer, A. Zimmermann
{"title":"Entwicklung von strategischen Analyseinstrumenten – ein Beispiel aus der deutschen Entwicklungszusammenarbeit","authors":"C. Hartmann, Kirsten Vorwerk, M. Sommer, A. Zimmermann","doi":"10.31244/zfe.2020.01.07","DOIUrl":"https://doi.org/10.31244/zfe.2020.01.07","url":null,"abstract":"","PeriodicalId":41629,"journal":{"name":"Zeitschrift Fur Evaluation","volume":"1 1","pages":"136-148"},"PeriodicalIF":0.3,"publicationDate":"2020-04-20","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"77545882","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":4,"RegionCategory":"社会学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
{"title":"C. Bergmüller, B. Causemann, S. Höck, J.-M. Krier, E. Quiring: Wirkungsorientierung in der entwicklungspolitischen Inlandsarbeit","authors":"Susanne von Jan","doi":"10.31244/zfe.2020.01.10","DOIUrl":"https://doi.org/10.31244/zfe.2020.01.10","url":null,"abstract":"","PeriodicalId":41629,"journal":{"name":"Zeitschrift Fur Evaluation","volume":"467 1","pages":"172-176"},"PeriodicalIF":0.3,"publicationDate":"2020-04-20","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"77736913","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":4,"RegionCategory":"社会学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
京公网安备 11010802042870号
京ICP备2023020795号-1
扫码关注我们
求助内容：
应助结果提醒方式：