Procjena vrednovanja eseja: kriteriji vrednovanja koje su izradili nastavnici i rubrike. Individualna i međusobna pouzdanost ocjenjivača i mišljenja nastavnika o tome

Abstract

Abstract Rater reliability plays a key role in essay assessment, which has to be valid, reliable and effective. The aims of this study are: to determine intra/inter reliability variations based on two sets of grades that five teachers/raters produced via assessing argumentative essays written by 10 students learning French as a foreign language in accordance with the criteria they had developed and with a rubric; to understand the criteria they used in the assessment process; and to note what the raters/teachers who used rubrics for the first time within the scope of this study think about rubrics. Quantitative data set has revealed that intra-rater reliability between the grades assigned, through the use of teacher-developed criteria and the rubrics, is low, that inter-rater reliability is again low for the grades based on teacher-developed criteria, and that inter-rater reliability is more consistent for assessments completed through the use of rubrics. Qualitative data obtained during individual interviews have shown that raters employed different criteria. During the second round of individual interviews following the use of rubrics, raters have noted that rubrics helped them to become more objective, contributed positively to the assessment process, and can be utilized to support students’ learning and to enhance teachers’ instruction.  Key words: evaluation; mixed-method research design; writing. --- Sažetak Pouzdanost ocjenjivaca ima kljucnu ulogu u vrednovanju eseja, koje mora biti valjano, pouzdano i ucinkovito. Ciljevi ovoga istraživanja su: odrediti individualnu i međusobnu pouzdanost ocjenjivaca na temelju dviju skupina ocjena koje je pet nastavnika/ocjenjivaca dalo tijekom vrednovanja 10 raspravljackih eseja koje su napisali studenti koji uce francuski jezik kao strani jezik, a vrednovanje se provodilo u skladu s kriterijima koje su nastavnici sami izradili i uz pomoc rubrika; razumjeti kriterije kojima su se koristili u procesu vrednovanja; zabilježiti sto ocjenjivaci/nastavnici koji su se prvi put u procesu vrednovanja koristili rubrikama misle o takvom nacinu vrednovanja. Kvantitativni podaci pokazali su da je individualna pouzdanost ocjenjivaca s obzirom na ocjene koje su dali na temelju vlastitih kriterija vrednovanja i na temelju rubrika niska; da je međusobna pouzdanost ocjenjivaca niska i kada se radi o ocjenama na temelju vlastitih kriterija te da je međusobna pouzdanost ocjenjivaca veca u procesu vrednovanja uz pomoc rubrika. Kvalitativni podaci dobiveni putem metode individualnih intervjua pokazali su da su se ocjenjivaci koristili razlicitim kriterijima. Tijekom drugoga kruga individualnih intervjua nakon primjene rubrika ocjenjivaci su primijetili da su im rubrike pomogle u postizanju vece objektivnosti, da su pozitivno utjecale na proces vrednovanja i da se mogu koristiti kako bi pomogli studentima u procesu ucenja i kako bi poboljsali provedbu nastavnoga procesa.  Kljucne rijeci: procjena; mjesovit model istraživanja; pisanje