Madde Güçlüklerinin Tahmin Edilmesinde Uzman Görüşleri ve ChatGPT Performansının Karşılaştırılması

Disiplinlerarası Eğitim Araştırmaları Dergisi Pub Date : 2023-07-25 DOI:10.57135/jier.1296255

Erdem Boduroğlu, Oğuz Koç, Mahmut Sami Yi̇ği̇ter

{"title":"Madde Güçlüklerinin Tahmin Edilmesinde Uzman Görüşleri ve ChatGPT Performansının Karşılaştırılması","authors":"Erdem Boduroğlu, Oğuz Koç, Mahmut Sami Yi̇ği̇ter","doi":"10.57135/jier.1296255","DOIUrl":null,"url":null,"abstract":"Bu çalışmada ChatGPT yapay zeka teknolojisinin eğitim alanında destekleyici unsur olarak kullanımına yönelik bir araştırma yürütülmüştür. ChatGPT’nin çoktan seçmeli test maddelerini yanıtlama ve bu maddelerin madde güçlük düzeylerini sınıflama performansı incelenmiştir. 20 maddeden oluşan beş seçenekli çoktan seçmeli test maddesine 4930 öğrencinin verdiği yanıtlara göre madde güçlük düzeyleri belirlenmiştir. Bu güçlük düzeyleri ile ChatGPT’nin ve uzmanların yaptığı sınıflandırmalar arasındaki ilişkiler incelenmiştir. Elde edilen bulgulara göre ChatGPT’nin çoktan seçmeli maddelere doğru yanıt verme performansının yüksek düzeyde olmadığı (%55) görülmüştür. Ancak madde güçlük düzeylerini sınıflandırma konusunda ChatGPT; gerçek madde güçlük düzeyleri ile 0.748, uzman görüşleri ile 0.870 korelasyon göstermiştir. Bu sonuçlara göre deneme uygulamasının yapılamadığı veya uzman görüşlerine başvurulamadığı durumlarda ChatGPT'den test geliştirme aşamalarında destek alınabileceği düşünülmektedir. Geniş ölçekli sınavlarda da uzman gözetiminde ChatGPT benzeri yapay zeka teknolojilerinden faydalanılabilir.","PeriodicalId":148928,"journal":{"name":"Disiplinlerarası Eğitim Araştırmaları Dergisi","volume":"147 1","pages":"0"},"PeriodicalIF":0.0000,"publicationDate":"2023-07-25","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"Disiplinlerarası Eğitim Araştırmaları Dergisi","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.57135/jier.1296255","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}

引用次数: 0

Abstract

Bu çalışmada ChatGPT yapay zeka teknolojisinin eğitim alanında destekleyici unsur olarak kullanımına yönelik bir araştırma yürütülmüştür. ChatGPT’nin çoktan seçmeli test maddelerini yanıtlama ve bu maddelerin madde güçlük düzeylerini sınıflama performansı incelenmiştir. 20 maddeden oluşan beş seçenekli çoktan seçmeli test maddesine 4930 öğrencinin verdiği yanıtlara göre madde güçlük düzeyleri belirlenmiştir. Bu güçlük düzeyleri ile ChatGPT’nin ve uzmanların yaptığı sınıflandırmalar arasındaki ilişkiler incelenmiştir. Elde edilen bulgulara göre ChatGPT’nin çoktan seçmeli maddelere doğru yanıt verme performansının yüksek düzeyde olmadığı (%55) görülmüştür. Ancak madde güçlük düzeylerini sınıflandırma konusunda ChatGPT; gerçek madde güçlük düzeyleri ile 0.748, uzman görüşleri ile 0.870 korelasyon göstermiştir. Bu sonuçlara göre deneme uygulamasının yapılamadığı veya uzman görüşlerine başvurulamadığı durumlarda ChatGPT'den test geliştirme aşamalarında destek alınabileceği düşünülmektedir. Geniş ölçekli sınavlarda da uzman gözetiminde ChatGPT benzeri yapay zeka teknolojilerinden faydalanılabilir.

查看原文

微信好友朋友圈 QQ好友复制链接

本刊更多论文

本研究将 ChatGPT 人工智能技术作为教育领域的辅助要素进行了研究。研究分析了 ChatGPT 在回答多项选择测试题目和划分这些题目难度等级方面的表现。项目难度等级是根据 4930 名学生对由 20 个项目组成的五选一多项选择测试项目的回答确定的。分析了这些难度等级与 ChatGPT 和专家分类之间的关系。研究结果表明，ChatGPT 在给出多项选择题正确答案方面的表现水平不高（55%）。不过，ChatGPT 与实际题目难度等级的相关性为 0.748，与专家意见在划分题目难度等级方面的相关性为 0.870。根据这些结果，我们认为在无法进行试验应用或无法咨询专家意见的情况下，可以使用 ChatGPT 来支持测试开发。在大规模考试中，可以在专家指导下使用类似 ChatGPT 的人工智能技术。

本文章由计算机程序翻译，如有差异，请以英文原文为准。

求助全文

约1分钟内获得全文去求助

来源期刊

Disiplinlerarası Eğitim Araştırmaları Dergisi

自引率

0.00%

发文量