Üniversitede Öğretimi Değerlendirme Puanlarının Ölçme Değişmezliği

Üniversitede Öğretimi Değerlendirme Puanlarının Ölçme Değişmezliği

The Measurement Invariance of University Students’ Ratings of Instruction

İlker KALENDER & Giray BERBEROĞLU

ÖZET
ÖZ: Bu çalışmada üniversite düzeyinde öğretimi değerlendirme anketi puanlarının üst ve alt başarı grupları arasındaki ölçme değişmezliği incelenmiştir. Başarı düzeyleri öğrencilerin not beklentileri ve dersin sene sonu başarı ortalaması şeklinde iki ölçüt ile belirlenmiştir. Çalışmanın verisi 625 dersten oluşmaktadır. Yedi maddelik anketin (i) faktör yapısı, (ii) factor yükleri, (iii) madde ortalamaları ve (iv) hata varyanslarının değişmezliği iki başarı grubu arasında analiz edilmiştir. Öğrencilerin not bekentilerine göre, üst ve alt başarı grupları hata varyanslarının değişmezliği dışında değişmez ölçek özellikleri göstermiştir. Diğer yandan, sene sonu notlarına göre yapılan inceleme sonucunda, madde ortalamaları ve hata varyanslarında tam değişmezlik gözlemlenmemiştir. Çalışma sonuçları Öğretim elemanı değerlendirme puanlarının sınıflar ve dersler arasında başarı düzeylerinden bağımsız olarak karşılaştırılmasının yanıltıcı sonuçlar doğurabileceğini göstermektedir. Üst ve alt başarı gruplarının ölçek başlangıç noktaları farklı olduğu için bu durum özellikle ciddi kararlar alınması aşamalarında daha önem kazanmaktadır.

ABSTRACT
ABSTRACT: The invariance in the scores of student rating of instruction was studied across high and low achieving classrooms. Achievement levels were determined by the two criteria such as self-reported expected grades and end of semester grades. The data included 625 classrooms. The equality of (i) factorial structure, (ii) factor loadings, (iii) item intercepts, and (iv) error variances of the 7 item rating scale were studied across these groups. With respect to self-reported expected grades, high and low achieving classes produced invariant scale characteristics except strict invariance. On the other hand, with respect to end of semester grades full equality in item intercepts and error variances were not achieved. It seems that comparing the rating results across the classrooms and courses independent of the achievement levels of the students may be misleading especially for the high stake decisions since the origin of the scale is not the same across high and low achieving groups.

ANAHTAR KELİMELER: öğretim elemanı değerlendirme anketi, puanların değişmezliği, çoklu grup faktör analizi, öğretim elemanı değerlendirme puanlarının geçerliği

KEYWORDS: student rating of instruction, invariance of student ratings, measurement equivalence, multi-group confirmatory factor analysis, validity of student ratings

DOI : [PDF]