Madde Havuzu Özelliklerinin Yetenek Kestirimi ve Madde Havuzu Kullanımına Etkileri: Bir Simülasyon Çalışması

Madde Havuzu Özelliklerinin Yetenek Kestirimi ve Madde Havuzu Kullanımına Etkileri: Bir Simülasyon Çalışması

Effects of Item Pool Characteristics on Ability Estimate and Item Pool Utilization: A Simulation Study

Nagihan BOZTUNÇ ÖZTÜRK & Melek Gülşah ŞAHİN

ÖZET
Bireyselleştirilmiş bilgisayarlı test uygulaması için madde havuzunun geliştirilmesi uzun ve zahmetli bir süreç gerektirmektedir. Bu süreç hem maddi hem de zaman anlamında yorucu olabilir. Bu nedenle ‘Optimal bir madde havuzu nasıl olmalıdır?, Bir madde havuzunda en az kaç madde yer almalıdır?’ gibi sorularla sıklıkla karşılaşılmaktadır. Optimal bir madde havuzunda bulunması gereken özellikler hakkında yapılan çalışmalar çeşitlilik göstermekle birlikte özellikle madde havuzunun büyüklüğü ile ilgili bir fikir birliği sağlanamamıştır. Bu çalışmada; farklı madde sayısına ve madde dağılımlarına sahip madde havuzlarının yetenek kestirimine ve madde havuzlarının kullanımına etkisi incelenmiştir. Çalışmada 36 farklı madde havuzu SimulCAT yazılımı kullanılarak üretilmiştir. 1000 birey kullanılarak tek oturumluk CAT ortamları simüle ve çalışmada iki farklı sonlandırma kuralı kullanılmıştır. Çalışmanın sonucu genel olarak ele alındığında madde havuzu büyüklüğü belli bir büyüklüğe kadar arttıkça ölçme kesinliğinin arttığı, kullanılmayan madde sayısının azaldığı görülmüştür. Sonuçlara b parametresi özelinde bakıldığında madde havuzu büyüdükçe b parametresi dağılımının değerler üstündeki etkisinin azaldığı görülmüştür.

ABSTRACT
Forming an item pool for computerized adaptive testing requires a long and demanding process that may be challenging, both in terms of time and cost. Therefore, one may come across such questions as ‘How should an optimal item pool be?’ and/or ‘How many items should exist in an item pool?’ Although research with regard to the features to exist in an optimal item pool vary, there has been no consensus reached about how big the item pool size should be. In the current study, the effect of different item pool size and item distribution on ability estimation and item pool utilization was analysed. 36 different item pools were generated through SimulCAT software. Using 1,000 simulees, single session CAT environments were simulated and two different termination rules were used in the study. Findings of the study indicated that as the size of the item pool increased to a specific size, the precision of measurement increased and the number of unused items decreased. By examining the results according to b parameter, it was found that the effect of b parameter distribution over the results decreased.

ANAHTAR KELİMELER: Bireyselleştirilmiş bilgisayarlı test, madde havuzu kalitesi, madde havuzu büyüklüğü, madde havuzu kullanımı, yetenek kestirimi

KEYWORDS: Computerized adaptive testing, item pool quality, item pool size, item pool utilization, ability estimation

DOI : [PDF]