MIMIC, SIBTEST, Lojistik Regresyon ve Mantel-Haenszel Yöntemleriyle Gerçekleştirilen DMF ve Yanlılık Çalışması

MIMIC, SIBTEST, Lojistik Regresyon ve Mantel-Haenszel Yöntemleriyle Gerçekleştirilen DMF ve Yanlılık Çalışması

A DIF and Bias Study by using MIMIC, SIBTEST, Logistic Regression and Mantel-Haenszel Methods

Çiğdem AKIN ARIKAN, Seçil UĞURLU & Burcu ATAR

ÖZET
Bu çalışmanın amacı değişen madde fonksiyonu (DMF) belirleme yöntemlerinden MIMIC, SIBTEST, Lojistik Regresyon ve Mantel-Haenszel yöntemlerinin benzerlik ve farklılıklarını belirlemektir. Ayrıca uzman görüşleri ile yöntemlere göre elde edilen sonuçların tutarlılığı incelenmiştir. Araştırma yaklaşık 340000 öğrencinin yer aldığı veri setinden 300, 600 1000, 1200 ve 2000 kişilik alt örneklemler seçilerek yürütülmüştür. Dört ayrı yöntem için, örneklemlere göre DMF içeren ortak maddelere baktığımızda; 300 kişilik örneklemde 2. madde; 600 kişilik örneklemde 13. madde; 1000 kişilik örneklemde ortak DMF içeren madde olmadığı, 1200 kişilik örneklemde 19. madde ve 2000 kişilik örneklemde 2, 3 ve 4. maddelerin DMF içerdiği görülmüştür. Bu bakımdan büyük örneklemde, yöntemlerin birbiriyle daha uyumlu sonuçlar verdiği söylenebilir. Uzman kanılarına göre yanlı olduğu belirlenen 2, 5, 6 ve 12. maddeler istatistiksel analizlerin sonuçlarıyla karşılaştırıldığında bu maddelerin farklı yöntem ve ya farklı örneklemlerde DMF gösterdiği görülmüştür. Ayrıca uzman kanıları ile analiz sonuçlarının birbirleriyle tutarlı olduğu söylenebilir.

ABSTRACT
The aim of this study was to find out similarities and differences between methods for differential item functioning (DIF) such as MIMIC, SIBTEST, Logistic Regression and Mantel-Haenszel methods. Also the results obtained with expert opinions according to the methods were examined in terms of consistency. The study was carried out with subsamples of 300, 600, 1000, 1200 and 2000 examinees selected from the dataset of approximately 340.000 students. For the four methods, common items containing DIF were examined by sample groups. It was seen that item 2 does not contain common DMF in the sample of 300 persons, item 13 in the sample of 600, and no items contain common DIF in the sample of 1000 persons; whereas item 19 contains DIF in the group of 1200 and items 2, 3, and 4 contain DIF in the group of 2000 persons. In the light of this, it can be suggested that the methods for 2000 persons yielded more compliant results in the large sample. By comparing items 2, 5, 6 and 12 identified to be biased according to expert opinion with statistical analysis results, it was found out that those items showed DIF with different methods or samples. In addition, expert opinions seem to be consistent with results of the analysis.

ANAHTAR KELİMELER: MIMIC, SIBTEST, lojistik regresyon, Mantel-Haenzsel, DMF

KEYWORDS: MIMIC, SIBTEST, logistic regression, Mantel-Haenszel, DIF

DOI : [PDF]