Soru bankası nasıl kurulur? Etiketleme, havuzlar ve bakım
Soru bankası, bir klasör dolusu soru değil. Etiketlenmiş, sürümlenmiş ve zamanla temizlenen bir havuz. İlk günden doğru kurmak sonradan çok iş kurtarıyor.
Online Sınav
Madde analizi: Sorularınız gerçekten çalışıyor mu?
Bir sorunun iyi olup olmadığını yazarken değil, sınav sonrası veriye bakarak anlarsınız. Zorluk, ayırt edicilik ve çeldirici analizini sade bir dille anlattık.
Bir soru yazdınız. Size mantıklı geldi, meslektaşınız da okudu, "iyi" dedi. Sınavda kullandınız. Peki gerçekten iyi bir soru muydu?
Cevap, soruyu yazarken değil, sınavdan sonra elinizdeki veride saklı. Buna madde analizi (soru analizi) deniyor ve göründüğünden çok daha basit.
İki temel soru
Her soru için sorulabilecek iki soru var:
- Bu soru ne kadar zordu? (Zorluk)
- Bu soru, bilenlerle bilmeyenleri ayırabildi mi? (Ayırt edicilik)
Bu ikisinin cevabı, bir soruyu havuzda tutmaya, düzeltmeye ya da çıkarmaya karar vermenize yetiyor.
Zorluk indeksi
En basit hesap: soruyu doğru cevaplayanların oranı.
Yüz kişiden yetmişi doğru cevap verdiyse, zorluk indeksi 0,70. Yüksek değer, soru kolay demek; düşük değer, soru zor demek.
Kaba bir rehber olarak, çoğu sınavda 0,30 ile 0,80 arası değerler makul sayılır. Ama bu bir kural değil, sınavın amacına bağlı:
- Bir yeterlilik sınavında temel bilgileri soruyorsanız, çoğu kişinin doğru yapması (0,85-0,90) normaldir ve istenen şeydir.
- Bir seçme sınavında en iyileri ayırmak istiyorsanız, daha zor sorulara ihtiyaç vardır.
Şüpheli durumlar: Neredeyse herkesin doğru yaptığı (0,95 üzeri) ya da neredeyse kimsenin yapamadığı (0,10 altı) sorular genellikle bir şey anlatır. Ya soru fazla kolay/zordur, ya da yanlış cevap anahtarı vardır.
Ayırt edicilik indeksi
Bu daha ilginç. Sınavda yüksek puan alanlarla düşük puan alanları iki gruba ayırın (genelde en üst ve en alt yüzde yirmi yedi). Sonra o soruyu üst grubun ne kadarının, alt grubun ne kadarının doğru yaptığına bakın.
İyi bir soruyu, genel olarak başarılı olanların daha çok doğru yapması gerekir. Fark ne kadar büyükse soru o kadar ayırt edici.
Kabaca yorum:
| Ayırt edicilik | Yorum |
|---|---|
| 0,40 ve üzeri | Çok iyi |
| 0,30 – 0,39 | İyi |
| 0,20 – 0,29 | Sınırda, gözden geçirin |
| 0,20 altı | Zayıf, düzeltin ya da çıkarın |
| Negatif | Alarm: soru ters çalışıyor |
Negatif ayırt edicilik özellikle önemli. Başarısız olanlar soruyu başarılılardan daha çok doğru yapıyorsa, ya cevap anahtarı yanlış ya da soru yanıltıcı. Bu tür sorular acilen incelenmeli.
Çeldirici analizi
Çoktan seçmeli sorularda, her yanlış seçeneğin kaç kişi tarafından seçildiğine bakmak bilgi verir:
- Hiç seçilmeyen çeldirici: Bir işe yaramıyor, soruyu fiilen daha az şıklı hale getiriyor. Değiştirin.
- Çok seçilen çeldirici: Belki yaygın bir yanlış anlamayı yakalıyor (bu eğitim için değerli bilgi!), belki de aslında doğru olabilecek bir şık.
- Başarılı grubun çok seçtiği çeldirici: Soruda belirsizlik olabilir.
Güvenilirlik: büyük resim
Tek tek sorulardan sonra, sınavın bütününe bakmak da gerekir. Güvenilirlik, aynı sınavı aynı seviyedeki kişilere tekrar versek benzer sonuçlar çıkar mı sorusudur. İstatistik dünyasında bunun için Cronbach alfa (çoktan seçmelide KR-20) gibi katsayılar kullanılır. Genel bir rehber olarak, 0,70 üzerindeki değerler birçok amaç için kabul edilebilir bulunur; önemli kararlar verilen sınavlarda daha yüksek değerler aranır. Bu hesapları elle yapmanıza gerek yok, ama sistem size gösterirse yorumlamayı bilmek faydalı.
Ne zaman, kaç kişiyle?
Analiz için yeterli sayıda katılımcı gerekir. On kişilik bir grupta çıkan sonuçlar, tesadüfe çok açıktır. Yüzlerce katılımcıda ise analiz çok daha güvenilir. Küçük gruplarda yorumları yumuşak tutun ve veriyi zaman içinde biriktirin.
Peki bulgularla ne yapılır?
- Soru iyi çalışıyor: Havuzda tutun, "onaylı" statüsüne alın.
- Soru çok kolay/zor: Gerçekten kasıtlı mı? Değilse zorluğu ayarlayın.
- Ayırt edicilik zayıf: Soruyu netleştirin ya da çeldiricileri iyileştirin.
- Negatif ayırt edicilik: Önce cevap anahtarını kontrol edin.
- Hiç işe yaramayan soru: Emekliye ayırın.
Bu döngüyü her sınavdan sonra kısaca yapmak, birkaç dönem içinde havuzunuzun kalitesini gözle görülür biçimde yükseltir. Havuzun bakımı için soru bankası nasıl kurulur yazısına, sonuç raporlarını genel okuma için sınav sonuç raporları yazısına göz atın.
Vedubox Test ve Sınav Sistemi, sınav sonuçlarını anlık değerlendirip kişi ve eğitim bazında raporluyor; böylece soru ve grup performansını inceleyebileceğiniz bir veri tabanı oluşuyor. Detaylar Raporlama ve Sertifika sayfasında, platformun geniş tanıtımı ise vedubox.com üzerinde.