EXAMINING GUIDELINES FOR DEVELOPING ACCURATE PROFICIENCY LEVEL SCORES

Abstract

One attempt to make scores from large ‐ scale assessments more interpretable has been to provide proficiency level scores to describe the meaning of student performance on tests. This study has examined the accuracy of Ercikan and Julian’s (2002) guidelines for developing proficiency level scores and the classification accuracy of proficiency level scores from British Columbia’s Foundation Skills Assessment tests. The guidelines were examined by comparing expected classification accuracies, based on these guidelines, to those estimated using a statistical procedure. The guidelines provided accurate expected classification accuracies to use in making decisions about assessment design. Key words: proficiency level scores, classification accuracy, assessment design, reliability L’une des facons utilisees pour faciliter l’interpretation des resultats d’epreuves communes a ete de fournir des scores de rendement comparatifs en fonction de normes de reference. Dans cet article, les auteurs analysent la pertinence des directives d’Ercikan et Julian (2002) ayant trait a l’elaboration des scores de rendement et l’exactitude du classement des scores de rendement dans les tests d’evaluation des competences fondamentales en Colombie ‐ Britannique. L’analyse des directives a donne lieu a une comparaison entre l’exactitude du classement en fonction des directives et l’exactitude du classement obtenue par une methode statistique. Les directives ont produit des classements exacts et conformes aux previsions et peuvent servir dans les decisions a prendre au sujet de la conception des evaluations. Mots cles : scores de rendement, exactitude du classement, conception de l’evaluation, fidelite