Test Eşitlemede Çok Boyutluluğun Eş Zamanlı ve Ayrı Kalibrasyona Etkisi

Test Eşitlemede Çok Boyutluluğun Eş Zamanlı ve Ayrı Kalibrasyona Etkisi

The Effect of Multidimensionality on Concurrent and Separate Calibration in Test Equating

Neşe ÖZTÜRK GÜBEŞ

ÖZET
Bu araştırmanın amacı, çok boyutluluğun eş zamanlı ve ayrı kalibrasyon yapılarak elde edilen eşitlenmiş puanlara etkisini incelemektir. Araştırma simülasyon verileri kullanılarak yürütülmüştür. Araştırma kapsamında [4 (boyutluluk düzeyi: 1.00, 0.90, 0.75 ve 0.50) x 2 (kalibrasyon yöntemi: eş zamanlı ve ayrı kalibrasyon) x 2 (ölçek dönüştürme yöntemi: Stocking-Lord ve Haebara) x 2 (test eşitleme yöntemi: Madde Tepki Kuramı gerçek puan eşitleme ve gözlenen puan eşitleme) ] olmak üzere toplam 32 koşul incelenmiştir. Çok boyutluluk testlerin Ɵ1 ve Ɵ2 olmak üzere farklı iki yeteneği ölçtüğü varsayılarak oluşturulmuştur. İki yetenek arasındaki korelasyonun 1.00 olduğu durum tek boyutlu koşulu, 0.50 olduğu durum çok boyutluluğun derecesinin en yüksek olduğu koşulu temsil etmektedir. Eşdeğer olmayan gruplar ortak test deseni altında testler birbirine eşitlenmiştir. Elde edilen eşitlenmiş puanlar Bias, RMSE ve SD ölçütleri kullanılarak değerlendirilmiştir. Tek boyutlu ve çok boyutlu koşullarda en yanlı kestirimler eş zamanlı kalibrasyon yapılarak elde edilen eşitleme sonuçlarına ait olmuştur. Çok boyutluluğun derecesinin en yüksek olduğu koşulda en fazla random hataya sahip eşitlenme sonuçları SL yöntemi ile elde edilirken tek boyutlu ve iki boyut arasındaki korelasyonun yüksek olduğu koşullarda üç yöntem benzer performans göstermiştir. RMSE değerleri ölçüt olarak alındığında, tek boyutlu ve iki yetenek arasındaki korelasyonun yüksek olduğu koşullarda en yüksek eşitleme hatasına sahip sonuçlar eş zamanlı kalibrasyon ile elde edilmiş, SL ve Haebara yöntemleri daha az hata içeren sonuçlar vermiştir. Çok boyutluluğun derecesinin en yüksek olduğu koşulda en yüksek eşitleme hatasına sahip sonuçlar SL yöntemi ile en düşük hataya sahip sonuçlar Haebara yöntemiyle elde edilmiştir.

ABSTRACT
The aim of this study is investigating the effects of multidimensionality on equating results which obtained from separate and concurrent calibration methods. The study was conducted with using simulated data. In the scope of research, totally 32 simulation conditions [4 ( degree of multidimensionality: 1.00, 0.90, 0.75, and 0.50) x 2 calibration methods (separate and concurrent) x 2 (scale transformation methods: Stocking-Lord and Haebara) x 2 (test equating methods)] were examined. Multidimensionality was constructed as assuming the two test forms were measuring Ɵ1 and Ɵ2 abilities. While the simulation condition which has correlation between abilities 1.00 represents the unidimensional case, the correlation between abilities 0.50 represents the severe multidimensional case. Tests were equated under common-item non-equivalent groups design. Equating results were evaluated by using Bias, SD and RMSE evaluation criteria. Under one-dimensional and multidimensional conditions, the results showed that the most biased equating results were provided by concurrent calibration methods. While the multidimensionality was severe the highest random error was provided by SL equating results but while data was unidimensional and the correlation between dimensions were high three methods yielded similar results. Based on RMSE criteria, when data were unidimensional or multidimensionality was not severe characteristic curve methods yielded lower equating error than concurrent calibration method. But when the multidimensionality was severe the equating results from SL method had the highest equating error, equating results from Haebara method had the lowest equating error.

ANAHTAR KELİMELER: Test eşitleme, eş zamanlı kalibrasyon, ayrı kalibrasyon, ölçek dönüştürme yöntemleri, çok boyutluluk

KEYWORDS: Test equating, concurrent calibration, separate calibration, scale transformation methods, multidimensionality.

DOI : [PDF]