Pub Date : 2024-07-10DOI: 10.7146/nys.v1i65.145394
Bolette Sandford Pedersen, Nathalie C. Hau Sørensen, S. Olsen, Sanni Nimb
In this paper, we describe how we have generated a number of evaluation datasets – a so-called benchmark – in order to evaluate certain reasoning and understanding capacities of Danish language models. We hypothesize that the semantic knowledge already given in existing Danish dictionaries can be conceived as a ‘ground truth’ for the semantics of the Danish vocabulary. Our method therefore regards turning the semantic dictionaries into a number of evaluation datasets that can be used for testing how well the models understand Danish. More specifically, we examine how well the models i) understand synonymy and semantic association between concepts, ii) make inferences in relation to conceptual knowledge and inheritance structures from super-con-cept to sub-concepts, iii) make correct inferences in relation to acts and events, iv) disambiguate correctly when words have multiple meanings, and v) treat ‘sentiment’, i.e. positive and negative connotation, in running text. We test our datasets on ChatGPT 3.5 turbo and ChatGPT 4.0 and find that the models are challenged in an adequate manner even if ChatGPT 4.0 does perform very well on several of the datasets.
{"title":"Evaluating language understanding in Danish LLMs based on semantic dictionaries","authors":"Bolette Sandford Pedersen, Nathalie C. Hau Sørensen, S. Olsen, Sanni Nimb","doi":"10.7146/nys.v1i65.145394","DOIUrl":"https://doi.org/10.7146/nys.v1i65.145394","url":null,"abstract":"In this paper, we describe how we have generated a number of evaluation datasets – a so-called benchmark – in order to evaluate certain reasoning and understanding capacities of Danish language models. We hypothesize that the semantic knowledge already given in existing Danish dictionaries can be conceived as a ‘ground truth’ for the semantics of the Danish vocabulary. Our method therefore regards turning the semantic dictionaries into a number of evaluation datasets that can be used for testing how well the models understand Danish. More specifically, we examine how well the models i) understand synonymy and semantic association between concepts, ii) make inferences in relation to conceptual knowledge and inheritance structures from super-con-cept to sub-concepts, iii) make correct inferences in relation to acts and events, iv) disambiguate correctly when words have multiple meanings, and v) treat ‘sentiment’, i.e. positive and negative connotation, in running text. We test our datasets on ChatGPT 3.5 turbo and ChatGPT 4.0 and find that the models are challenged in an adequate manner even if ChatGPT 4.0 does perform very well on several of the datasets.","PeriodicalId":509280,"journal":{"name":"NyS, Nydanske Sprogstudier","volume":"77 11","pages":""},"PeriodicalIF":0.0,"publicationDate":"2024-07-10","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"141662803","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
Pub Date : 2023-12-11DOI: 10.7146/nys.v1i64.141691
Liv Moeslund Ahlgren
Hadbeskeder er hadefulde, forhånende eller generelt chikanerende beskeder, som sendes til offentligt kendte personer, men på trods af at de efterhånden er et grundvilkår for disse personer, findes der meget lidt sprogvidenskabeligt funderet forskning i dem. I dette studie analyseres 49 autentiske hadbeskeder, og beskedernes retoriske træk og overordnede kommunikative formål kortlægges. Det vurderes, at beskedernes kommunikative formål er at nedværdige modtageren, at gøre gengæld (retaliation) og at manipulere afsenderen og modtagerens magtforhold. Der identificeres 17 retoriske træk, hvoraf hadbeskederne altid indeholder enten Fordømme karaktertræk, Verbal disciplinering, Kritisere opførsel i konkret situation eller Ønske modtager ondt. De fleste af trækkene bidrager til de overordnede kommunikative formål. Udover at give en forståelse af, hvordan hadbeskeder sprogligt er opbygget, kan resultaterne pege på nogle af de sociale og emotionelle mekanismer, der ligger bag beskedernes tilblivelse.
{"title":"Nogle iagttagelser af retoriske træk i danske hadbeskeder","authors":"Liv Moeslund Ahlgren","doi":"10.7146/nys.v1i64.141691","DOIUrl":"https://doi.org/10.7146/nys.v1i64.141691","url":null,"abstract":"Hadbeskeder er hadefulde, forhånende eller generelt chikanerende beskeder, som sendes til offentligt kendte personer, men på trods af at de efterhånden er et grundvilkår for disse personer, findes der meget lidt sprogvidenskabeligt funderet forskning i dem. I dette studie analyseres 49 autentiske hadbeskeder, og beskedernes retoriske træk og overordnede kommunikative formål kortlægges. Det vurderes, at beskedernes kommunikative formål er at nedværdige modtageren, at gøre gengæld (retaliation) og at manipulere afsenderen og modtagerens magtforhold. Der identificeres 17 retoriske træk, hvoraf hadbeskederne altid indeholder enten Fordømme karaktertræk, Verbal disciplinering, Kritisere opførsel i konkret situation eller Ønske modtager ondt. De fleste af trækkene bidrager til de overordnede kommunikative formål. Udover at give en forståelse af, hvordan hadbeskeder sprogligt er opbygget, kan resultaterne pege på nogle af de sociale og emotionelle mekanismer, der ligger bag beskedernes tilblivelse.","PeriodicalId":509280,"journal":{"name":"NyS, Nydanske Sprogstudier","volume":"68 7","pages":""},"PeriodicalIF":0.0,"publicationDate":"2023-12-11","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"139183720","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
Pub Date : 2023-12-11DOI: 10.7146/nys.v1i64.141695
Jacob Thøgersen, Bent Preisler
{"title":"The Danes and the English language – then and now","authors":"Jacob Thøgersen, Bent Preisler","doi":"10.7146/nys.v1i64.141695","DOIUrl":"https://doi.org/10.7146/nys.v1i64.141695","url":null,"abstract":"","PeriodicalId":509280,"journal":{"name":"NyS, Nydanske Sprogstudier","volume":"78 4","pages":""},"PeriodicalIF":0.0,"publicationDate":"2023-12-11","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"139184169","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
Pub Date : 2023-12-11DOI: 10.7146/nys.v1i64.141694
Ruben Schachtenhaufen
{"title":"Replik: Ny dansk fonetik og IPA","authors":"Ruben Schachtenhaufen","doi":"10.7146/nys.v1i64.141694","DOIUrl":"https://doi.org/10.7146/nys.v1i64.141694","url":null,"abstract":"","PeriodicalId":509280,"journal":{"name":"NyS, Nydanske Sprogstudier","volume":"40 5","pages":""},"PeriodicalIF":0.0,"publicationDate":"2023-12-11","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"139183835","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
Pub Date : 2023-12-11DOI: 10.7146/nys.v1i64.141699
Liv Moeslund Ahlgren
{"title":"Some perspectives on rhetorical moves in Danish hate messages","authors":"Liv Moeslund Ahlgren","doi":"10.7146/nys.v1i64.141699","DOIUrl":"https://doi.org/10.7146/nys.v1i64.141699","url":null,"abstract":"","PeriodicalId":509280,"journal":{"name":"NyS, Nydanske Sprogstudier","volume":"357 2","pages":""},"PeriodicalIF":0.0,"publicationDate":"2023-12-11","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"139183277","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
Pub Date : 2023-12-11DOI: 10.7146/nys.v1i64.141688
Jacob Thøgersen, Bent Preisler
I denne artikel undersøger vi hvordan danskeres selvoplevede kompetencer i, kontakt med og holdninger til det engelske sprog har ændret sig fra tiden omkring årtusindskiftet til i dag. Metoden er to spørgeskemasurveys med repræsentativ respondentudvælgelse i henholdsvis 1995–1996 og 2022. Surveyet, der blev gennemført i 1995–1996, er det som lå til grund for Preislers undersøgelse Danskerne og det engelske sprog (1999). Surveyet i 2022 blev gennemført inden for forskningsprojektet English and Globalisation in Denmark (Enida) og var (stort set) en gentagelse af Preislers undersøgelse. I begge surveys er respondenterne stillet de samme spørgsmål for at holde så mange ting som muligt konstante og sikre sammenligningsgrundlaget. Resultaterne viser at 1) yngre generationer rapporterer at de har højere kompetencer end ældre; og at en persons oplevelse af egne kompetencer er relativt stabil livet igennem. Med andre ord er danskernes engelskkompetencer blevet højere i takt med at de generationer der kan mindre engelsk, forsvinder og nye, engelskstærkere, generationer kommer til. 2) kontakten med engelsk er generelt øget, også i den enkeltes levetid, og det er især den ’produktive’ kontakt (tale og skrive) der er øget, mere end den ’receptive’ (høre og se). 3) danskeres holdninger til engelsk er blevet mere yderliggående, både i positiv og (især) i negativ retning. Ud over at fremlægge resultater overvejer vi de samfundshistoriske forhold som har forårsaget forandringerne, og vi diskuterer om det overhovedet er muligt at undersøge holdninger to gange med det samme spørgeskema.
在这篇文章中，我们调查了丹麦人自我感觉的英语能力、与英语的接触以及对英语的态度从千年之交到今天发生了怎样的变化。调查方法是分别于 1995-1996 年和 2022 年进行的两次具有代表性的问卷调查。 1995-1996 年进行的调查是 Preisler 的研究 Danskerne og det engelska språk (1999) 的基础。2022 年进行的调查是研究项目 "丹麦英语与全球化"（Enida）的一部分，（在很大程度上）重复了 Preisler 的调查。在两次调查中，受访者都被问到了相同的问题，以尽可能保持不变并确保可比性。结果表明：1）年轻一代的能力高于年长一代；一个人对自己能力的认识在一生中相对稳定。换句话说，丹麦人的英语熟练程度随着熟练程度较低的几代人的消失和熟练程度较高的新一代人的出现而提高。2）与英语的接触普遍增加，在个人的一生中也是如此，尤其是 "生产性 "接触（说和写）比 "接受性 "接触（听和看）更多。除了介绍调查结果之外，我们还考虑了导致这些变化的社会历史因素，并讨论了是否可以用同一份问卷调查两次丹麦人对英语的态度。
{"title":"Danskerne og det engelske sprog – dengang og nu","authors":"Jacob Thøgersen, Bent Preisler","doi":"10.7146/nys.v1i64.141688","DOIUrl":"https://doi.org/10.7146/nys.v1i64.141688","url":null,"abstract":"I denne artikel undersøger vi hvordan danskeres selvoplevede kompetencer i, kontakt med og holdninger til det engelske sprog har ændret sig fra tiden omkring årtusindskiftet til i dag. Metoden er to spørgeskemasurveys med repræsentativ respondentudvælgelse i henholdsvis 1995–1996 og 2022. Surveyet, der blev gennemført i 1995–1996, er det som lå til grund for Preislers undersøgelse Danskerne og det engelske sprog (1999). Surveyet i 2022 blev gennemført inden for forskningsprojektet English and Globalisation in Denmark (Enida) og var (stort set) en gentagelse af Preislers undersøgelse. I begge surveys er respondenterne stillet de samme spørgsmål for at holde så mange ting som muligt konstante og sikre sammenligningsgrundlaget. Resultaterne viser at 1) yngre generationer rapporterer at de har højere kompetencer end ældre; og at en persons oplevelse af egne kompetencer er relativt stabil livet igennem. Med andre ord er danskernes engelskkompetencer blevet højere i takt med at de generationer der kan mindre engelsk, forsvinder og nye, engelskstærkere, generationer kommer til. 2) kontakten med engelsk er generelt øget, også i den enkeltes levetid, og det er især den ’produktive’ kontakt (tale og skrive) der er øget, mere end den ’receptive’ (høre og se). 3) danskeres holdninger til engelsk er blevet mere yderliggående, både i positiv og (især) i negativ retning. Ud over at fremlægge resultater overvejer vi de samfundshistoriske forhold som har forårsaget forandringerne, og vi diskuterer om det overhovedet er muligt at undersøge holdninger to gange med det samme spørgeskema.","PeriodicalId":509280,"journal":{"name":"NyS, Nydanske Sprogstudier","volume":"21 12","pages":""},"PeriodicalIF":0.0,"publicationDate":"2023-12-11","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"139183936","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
Pub Date : 2023-12-11DOI: 10.7146/nys.v1i64.141692
Camilla Søballe Horslund, Jonas Villumsen
At lære et andetsprogs udtale er svært. Ifølge det dominerende paradigme i andetsprogsfonologien er årsagen til dette, at lørnere forveksler lyde fra andetsproget med lyde fra modersmålet, også selvom disse er forskellige. Dette fænomen undersøges ofte i fonologiske test, hvor lørnere bedes identificere eller skelne mellem ord, der indeholder de problematiske sproglyde. Formålet med sådanne tests er at generalisere om opfattelsen af selve lydene, også selvom det ofte faktisk er ord, deltagerne lytter til. Men kan man adskille opfattelsen af enkelte lyde fra genkendelsen af de ord, de indgår i? Denne diskussionsartikel argumenterer for, at eksisterende fonologiske test står over for tre udfordringer: (1) at ekskludere ordgenkendelse fra testen; (2) at ekskludere skriftsproglige indflydelser i testen; (3) at balancere 1 og 2 med, hvor meget testens procedure afspejler normal taleopfattelse. Der argumenteres for, at alment anvendte test, eksemplificeret med studier af danske lørnere af engelsk, opfylder disse tre krav dårligt, hvilket kan lede til fejlfortolkninger, der kan skævvride vores forståelse af lørneres processering af andetsprogets lyde.
{"title":"Kan man måle opfattelsen af andetsprogets lyde?","authors":"Camilla Søballe Horslund, Jonas Villumsen","doi":"10.7146/nys.v1i64.141692","DOIUrl":"https://doi.org/10.7146/nys.v1i64.141692","url":null,"abstract":"At lære et andetsprogs udtale er svært. Ifølge det dominerende paradigme i andetsprogsfonologien er årsagen til dette, at lørnere forveksler lyde fra andetsproget med lyde fra modersmålet, også selvom disse er forskellige. Dette fænomen undersøges ofte i fonologiske test, hvor lørnere bedes identificere eller skelne mellem ord, der indeholder de problematiske sproglyde. Formålet med sådanne tests er at generalisere om opfattelsen af selve lydene, også selvom det ofte faktisk er ord, deltagerne lytter til. Men kan man adskille opfattelsen af enkelte lyde fra genkendelsen af de ord, de indgår i? Denne diskussionsartikel argumenterer for, at eksisterende fonologiske test står over for tre udfordringer: (1) at ekskludere ordgenkendelse fra testen; (2) at ekskludere skriftsproglige indflydelser i testen; (3) at balancere 1 og 2 med, hvor meget testens procedure afspejler normal taleopfattelse. Der argumenteres for, at alment anvendte test, eksemplificeret med studier af danske lørnere af engelsk, opfylder disse tre krav dårligt, hvilket kan lede til fejlfortolkninger, der kan skævvride vores forståelse af lørneres processering af andetsprogets lyde.","PeriodicalId":509280,"journal":{"name":"NyS, Nydanske Sprogstudier","volume":"67 5","pages":""},"PeriodicalIF":0.0,"publicationDate":"2023-12-11","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"139183166","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
京公网安备 11010802042870号
京ICP备2023020795号-1
扫码关注我们
求助内容：
应助结果提醒方式：