Sınav Sorularının Geliştirilmesinde Rasch Analizi Kullanımı
Anahtar Kelimeler:
Rasch Analizi- Eğitimde Ölçme ve Değerlendirme- Test GeliştirmeÖzet
Eğitimciler öğrencileri, öğrenci becerilerini, yeterliliklerini sınav, test ve quiz gibi değerlendirme süreçlerini kullanarak ölçmek isterler. Bu çalışmanın amacı, eğitim süreçlerinde sınavların ölçme geçerliliğini ve güvenilirliğini artırmak için Rasch analizi yönteminin uygulamalı bir örneğini sunmak ve sınav sorularının zorluk düzeylerini ve ayırt edicilik özelliklerini belirlemedeki rolünü ortaya koymaktır. Bu çalışmada kullanılan ölçme aracı, Türkiye'deki bir üniversitede yabancı dil muafiyet sınavına giren 650 üniversite 1. Sınıf öğrencisinden oluşmaktadır. Testin özellikleri Rasch modeli kullanılarak incelenmiştir. 20 maddeden oluşan nihai testin güvenilirlik düzeyi 0,74 olarak hesaplanmıştır. Test sorularının modele uygunluğu için tek boyutluluk, değişmezlik, Rasch modele uyum, model güvenilirliği testleri uygulanmıştır. Verinin modele uygunluğu için varsayımlar( tek boyutluluk, değişmezlik, model uyumu, güvenirlik) sınanmış ve 6 soru analizden çıkarılmıştır. 14 soru için öğrencilerin yanıtlama düzeyleri ve soruların zorluk parametreleri elde edilmiştir. En zor soru s12 ve en kolay soru ise, s5 olarak bulunmuştur. Soruların %7,14’ü çok kolay ve çok zor, %14,2’si kolay, %50’si orta ve %21,4’ü zor sorulardan oluşmaktadır. Yetenek değerleri, genel olarak 0.540 ile 0.903 arasında değişmekte ve testin maddelerinin ayırt edicilik açısından makul düzeyde olduğunu göstermektedir. Zorluk düzeyleri dengeli dağıldığı için, test hem düşük hem de yüksek yetenek düzeyindeki bireyleri ayırt etme kapasitesine sahiptir. Düşük ayırt edicilik gösteren maddeler ("s12", "s16") gözden geçirilebilir ve gerekirse testten çıkarılabilir ya da yeniden düzenlenebilir.
Referanslar
Adedoyin, O.ve Mokobi, T. (2013). Using IRT Psychometric Analysis in Examining The Quality of Junior Certificate Mathematics Multiple Choice Examination Test Items. International Journal of Asian Social Science, 3(4), 992–1011, https://doi.org/10.1177/2158244019832706.
Azrilah, A.A., Azlinah, M., Azami, Z., Sohaimi, Z., Hamzah, A.G. ve Saidfudin, M. (2008). Evaluation of Information Professional Competency Face Validity Test Using Rasch Model. 5th WSEAS/IASME International Conference on Engineering Education (EE’08), Heraklion, Greece, 396-403.
Baghaei, P. ve Ravand, H. (2019). Method Bias in Cloze Tests as Reading Comprehension Measures. Sage Open, 9(1), https://doi.org/10.1177/2158244019832706.
Bond, T. G., ve Fox, C. M. (2015). Applying the Rasch Model: Fundamental Measurement in the Human Sciences. Routledge, New York.
Boone, W.J. (2016). Rasch Analysis for Instrument Development: Why, When, and How? CBE Life Sciences Education, 15 (4), .
Chen, Y. and Zhou, R. (2018). The application of Rasch Model in the quality analysis of cloze items in NMET. Foreign Language Testing and Teaching 1, 39-47, 64
Dhyaaldian, S. M. A., Al-Zubaidi, S. H., Mutlak, D. A., Neamah, N. R., Albeer, A. A. M. A., Hamad, D. A., Al Hasani, S. F., Jaber, M. M. ve Maabreh, H. G. (2022). Psychometric Evaluation of Cloze Tests with the Rasch Model. International Journal of Language Testing, 12(2), 95-106.
Draugalis, J.R. ve Jackson, T.R. (2004). Objective Curricular Evaluation: Applying the Rasch Model to a Cumulative Examination. American Journal of Pharmaceutical Education 68 (2): 1-12. http://archive.ajpe.org/aj6802/aj680235/aj680235.pdf. [12 November 2011].
Embretson, S. E., ve Reise, S. P. (2000). Item Response Theory for Psychologists. Lawrence Erlbaum Associates Publishers.
Gan Q., Yang, Y. ve Li, Y. Q. (2018). Rasch Model Based Comparative Study on Validity between Multiple-Choice Cloze Questions and Banked Cloze Questions in TEM-4. Journal of Chengde Petroleum College, 20(4), 49-53
Hambleton, R. K., Swaminathan, H., ve Rogers, H. J. (1991). Fundamentals of Item Response Theory. Sage Publications, Inc.
Linacre, J. M. (2023). A User’s Guide to Winsteps? Ministep: Rasch-Model Computer Programs. Program Manual 5.5.1.https://www.winsteps.com/winman/copyright.htm
Mair, S., Jones, A., Ward, J., Christie, I., Druckman, A., ve Lyon, F. (2018). A Critical Review of The Role of Indicators in Implementing the Sustainable Development Goals. Handbook of Sustainability Science and Research, 41-56.
Mokshein, S. E., Ishak, H. ve Ahmad, H. (2019). The Use of Rasch Measurement Model iEnglish Testing. Cakrawala Pendidikan: Jurnal Ilmiah Pendidikan, 1(1), 16-32.
Oliveira, K., D. S., Boruchovitch, E. ve Rueda, F (2012). Reading Comprehension: Differential Item Functioning Analysis of a Cloze Test. Paper Research, 25(2), 221-229.
Rasch G. (1960). Probabilistic Models for Some Intelligence and Attainment Tests. Danish Institute for Educational Research, Copenhagen.
Richichi, R. (1996). An Item Response Theory Analysis of Multiple-Choice Items Chosen at Random From a Publisher's Test Bank. Presentation at the 27th annual Northeastern Educational Research Association Conference, October, Ellenville, 2205-2214.
Tunç, E. B. (2023). A Review of Measurement Tools Developed and Adapted Based on the Rasch Model. İnsan Ve Sosyal Bilimler Dergisi, 6(2), 249-275. https://doi.org/10.53048/johass.1369336
Wright, B. D. ve Linacre, J. M. (1989). Observations are Always Ordinal; Measurements, However, must Be Interval. Archives of Physical Medicine and Rehabilitation, 70(12), 857-860.
Zulkifli, M.N., Mohd H. O., Noorhelyna, R., Fadiah, M.A. ve Izamarlina, A. (2010). How Good was the Test Set Up? From Rasch Analysis Perspective. Regional Conference on Engineering Education ve Research in Higher Education (RCEE ve RHEd), 7-9 June, Kuching.
Zulkifli, M. N., Mohd H. J., Nur A. I., Haliza O., Izamarlina A. ve Mohd H. O. (2012) Reliability Analisis of Examination Questions in a Mathematics Course Using Rasch Measurement Model. Sains Malaysiana, 41 (9). 1171-1176.
