Dereceli Puanlama Anahtarıyla, Genel İzlenimle ve İkili Karşılaştırmalar Yöntemiyle Yapılan Değerlendirmelerin Karşılaştırılması

Dereceli Puanlama Anahtarıyla, Genel İzlenimle ve İkili Karşılaştırmalar Yöntemiyle Yapılan Değerlendirmelerin Karşılaştırılması

Comparison of the Evaluations Which Were Done With Rubric, Overall Impression and Paired Comparisons

Arş. Gör. Seçil ÖMÜR & Prof. Dr. Adnan ERKUŞ

ÖZET
Bu çalışmada, üç farklı şekilde (genel izlenimle, dereceli puanlama anahtarıyla ve Thurstone ikili karşılaştırmalar yöntemiyle) puanlanan ve değerlendirilen kompozisyonlardan elde edilen verilere dayanarak, üç farklı değerlendirmenin karşılaştırılması amaçlanmıştır. Bu amaçla “Kompozisyon Yazmaya İlişkin Dereceli Puanlama Anahtarı” geliştirilmiştir. Dereceleme ölçeğinin davranış ölçütlerinin nasıl bir yapı sergilediğini görebilmek için faktör analizi yapılmış ve hem tüm ölçeğin hem de üç ana bileşenin tek faktörlü olduğu ve Cronbach α katsayılarının oldukça yüksek çıktığı gözlenmiştir. Seçilen iki kompozisyon için dereceli puanlama anahtarı ile yapılan değerlendirmelerin güvenirliklerine test tekrar test yöntemi ile bakılmıştır. Yargıcıların kompozisyonları değerlendirmeleri sonucunda, hangi değerlendirme yapılırsa yapılsın kompozisyonların sıralamalarında bir değişikliğin olmadığı gözlenmiştir. Farklı yargıcıların beş ayrı kompozisyonu, genel izlenimle ve dereceli puanlama anahtarı ile puanlanmasında puanlayıcı güvenirliğinin belirlenmesinde G katsayıları hesaplanmış ve bu katsayılar yüksek bulunmuştur.

ABSTRACT
This study investigates comparison of three different evaluation types based on the data of the compositions which have been going to be rated and evaluated in three different types (overall impression, rubric and Thurstone’s method of paired comparison). Firstly, “The Rubric For Writing Composition” was constructed which was going to be used as a tool for evaluating writing skill. It is observed that, one factor explatory solution which is done to group of behavior criteria of rating scale constructed as rubric is accurate for both scale and its three components. Additionally, Cronbach alpha coefficients calculated for major and minor criteria of all composition is observed to be high. The relationship among rates of compositions which are evaluated with the rubric by the same judges found positive and significant. It is observed that there is no change in rank order of compositions for three different evaluation types. For determining rating reliability, G coefficients were calculated for overall impression and rubric evaluation and these coefficients are found as high.

ANAHTAR KELİMELER: Derecelendirme ölçekleri, dereceli puanlama anahtarı, ikili karşılaştırmalar yöntemi

KEYWORDS: Rating scales, rubric, paired comparison method.

[PDF]