{"title":"EFL writers’ cognitive engagement with AWE feedback","authors":"Ralf Giessler","doi":"10.1080/09658416.2023.2269088","DOIUrl":null,"url":null,"abstract":"AbstractThis paper reports on a pilot study with advanced EFL learners in Germany who were asked to use ProWritingAid (PWA) for a composition task in a German comprehensive school. PWA is an Automated Writing Evaluation (AWE) tool that provides writers with feedback on grammar, spelling mistakes, and writing style during the writing and editing process. Students’ engagement with PWA’s suggestions is documented with the help of screen capture software and a change tracker sheet. A coding grid, based on the three dimensions of learner engagement with AWE feedback, is developed in the process of analysing the data. Results indicate that there is cognitive engagement with AWE feedback even when learners reject suggestions for correction. It will be discussed whether episodes of cognitive engagement with AWE can be conceptualised as engagement with language according to Svalberg.ABSTRAKTAutomatisierte Diagnose- und Feedbacksysteme (ADFS) unterstützen Schreibende bei der Texterstellung und Überarbeitung. Dieser Beitrag berichtet über eine Pilotstudie mit fortgeschrittenen Englischlernenden, die gebeten wurden, ProWritingAid (PWA) bei der Erstellung eines Essays zu verwenden. PWA stellt während des Schreib- und Bearbeitungsprozesses Feedback zu Grammatik, Rechtschreibfehlern und Schreibstil bereit. Die Auseinandersetzung der Schülerinnen und Schüler mit den Vorschlägen von PWA wurde mit Hilfe einer Screen-Capture-Software und einem Change-Tracker-Bogen dokumentiert. Für die Analyse der Daten wurde ein Kodierschema entwickelt, welches drei Dimensionen der Auseinandersetzung (engagement) mit AWE-Feedback operationalisiert. Die Ergebnisse zeigen, dass Lernende begründet Korrekturvorschläge annehmen oder ablehnen, wenn diese nicht zu ihren Aussageabsichten passen. Episoden der kognitiven Auseinandersetzung mit AWE Feedback können als Form des engagement with language interpretiert werden.PLAIN LANGUAGE STATEMENTWhen EFL learners use a computer program to evaluate their writing, they receive feedback to help them improve. This feedback is called Automated Writing Evaluation (AWE) feedback. It can show them what they did well and what they can work on. This study explores how advanced EFL learners deal with the suggestions from an AWE tool. EFL learners who engage with AWE feedback actively read and consider the suggestions given by the program. They use this feedback to make changes and enhance their writing skills. By paying attention to AWE feedback, EFL learners can become better at writing in English.Keywords: Automated writing evaluationEFL writingformative assessmentengagement with languagetechnology-generated feedback","PeriodicalId":46683,"journal":{"name":"Language Awareness","volume":"36 1","pages":"0"},"PeriodicalIF":1.5000,"publicationDate":"2023-10-13","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"Language Awareness","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.1080/09658416.2023.2269088","RegionNum":2,"RegionCategory":"文学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"0","JCRName":"LANGUAGE & LINGUISTICS","Score":null,"Total":0}
引用次数: 0
Abstract
AbstractThis paper reports on a pilot study with advanced EFL learners in Germany who were asked to use ProWritingAid (PWA) for a composition task in a German comprehensive school. PWA is an Automated Writing Evaluation (AWE) tool that provides writers with feedback on grammar, spelling mistakes, and writing style during the writing and editing process. Students’ engagement with PWA’s suggestions is documented with the help of screen capture software and a change tracker sheet. A coding grid, based on the three dimensions of learner engagement with AWE feedback, is developed in the process of analysing the data. Results indicate that there is cognitive engagement with AWE feedback even when learners reject suggestions for correction. It will be discussed whether episodes of cognitive engagement with AWE can be conceptualised as engagement with language according to Svalberg.ABSTRAKTAutomatisierte Diagnose- und Feedbacksysteme (ADFS) unterstützen Schreibende bei der Texterstellung und Überarbeitung. Dieser Beitrag berichtet über eine Pilotstudie mit fortgeschrittenen Englischlernenden, die gebeten wurden, ProWritingAid (PWA) bei der Erstellung eines Essays zu verwenden. PWA stellt während des Schreib- und Bearbeitungsprozesses Feedback zu Grammatik, Rechtschreibfehlern und Schreibstil bereit. Die Auseinandersetzung der Schülerinnen und Schüler mit den Vorschlägen von PWA wurde mit Hilfe einer Screen-Capture-Software und einem Change-Tracker-Bogen dokumentiert. Für die Analyse der Daten wurde ein Kodierschema entwickelt, welches drei Dimensionen der Auseinandersetzung (engagement) mit AWE-Feedback operationalisiert. Die Ergebnisse zeigen, dass Lernende begründet Korrekturvorschläge annehmen oder ablehnen, wenn diese nicht zu ihren Aussageabsichten passen. Episoden der kognitiven Auseinandersetzung mit AWE Feedback können als Form des engagement with language interpretiert werden.PLAIN LANGUAGE STATEMENTWhen EFL learners use a computer program to evaluate their writing, they receive feedback to help them improve. This feedback is called Automated Writing Evaluation (AWE) feedback. It can show them what they did well and what they can work on. This study explores how advanced EFL learners deal with the suggestions from an AWE tool. EFL learners who engage with AWE feedback actively read and consider the suggestions given by the program. They use this feedback to make changes and enhance their writing skills. By paying attention to AWE feedback, EFL learners can become better at writing in English.Keywords: Automated writing evaluationEFL writingformative assessmentengagement with languagetechnology-generated feedback
摘要本文报道了在德国一所综合学校对高级英语学习者使用ProWritingAid (PWA)完成作文任务的初步研究。PWA是一种自动写作评估(AWE)工具,它在写作和编辑过程中为作者提供关于语法、拼写错误和写作风格的反馈。在屏幕捕捉软件和变更跟踪表的帮助下,记录了学生对PWA建议的参与情况。在分析数据的过程中,基于学习者参与AWE反馈的三个维度,开发了一个编码网格。结果表明,即使学习者拒绝纠正建议,也会对AWE反馈产生认知参与。根据Svalberg的说法,我们将讨论与AWE的认知接触是否可以被概念化为与语言的接触。摘要/ abstract摘要:自动诊断和反馈系统(ADFS)是一种基于自动诊断和反馈的系统。[2] [8] [8] [8] [8] [8] [8] [8] [8] [8] [8] [8] [8] [9] [6] [6] [6] [6] [6] [6] [6] [6] [6] [6] [6] [6] [6]PWA stellt während des Schreib- und bebeitungpropross .反馈的语法,rechtschreibfehln和Schreibstil bereit。Die auseindersetzung der sch lerinnen and sch mit den Vorschlägen von PWA wurde mit hilife - einer Screen-Capture-Software and einem Change-Tracker-Bogen dokumentiert。[1] [1] [4] [1] [2] [1] [2] [1] [2] [1] [2] [1] [2] [1] [2] [1] [1] [3] [1] [4]Die Ergebnisse zeigen, dass lerende begrndet Korrekturvorschläge annahmen oder ablehnen, wenn diese night zu ihren Aussageabsichten passen。情景性认知性auseindersetzung mit AWE反馈können形式与语言解释器werden的参与。当英语学习者使用计算机程序来评估他们的写作时,他们会收到反馈来帮助他们提高。这种反馈被称为自动写作评估(AWE)反馈。这可以让他们知道自己做得很好,可以在哪些方面继续努力。本研究探讨高级英语学习者如何处理来自AWE工具的建议。参与AWE反馈的英语学习者积极阅读并考虑该计划给出的建议。他们利用这些反馈来做出改变,提高自己的写作技巧。通过关注AWE反馈,英语学习者可以更好地用英语写作。关键词:自动写作评估;英语写作;形成性评估
期刊介绍:
Language Awareness encourages and disseminates work which explores the following: the role of explicit knowledge about language in the process of language learning; the role that such explicit knowledge about language plays in language teaching and how such knowledge can best be mediated by teachers; the role of explicit knowledge about language in language use: e.g. sensitivity to bias in language, manipulative aspects of language, literary use of language. It is also a goal of Language Awareness to encourage the establishment of bridges between the language sciences and other disciplines within or outside educational contexts.