Yapay zekâ çağında ölçme ve değerlendirme: Sınavlar nasıl tasarlanmalı?

Birkaç yıl önce bir öğrencinin ödevini internetten kopyalayıp kopyalamadığını anlamak için bir benzerlik tarama aracı yeterliydi. Şimdi bir öğrenci, sıfırdan, özgün görünen bir metni on saniyede üretebiliyor. Benzerlik taraması hiçbir şey bulmuyor, çünkü kopyalanacak bir kaynak yok.

Eğitim dünyasındaki ilk tepki "yasaklayalım" oldu. Yasaklar uygulanamadığında "tespit edelim" geldi. İkisi de pek işe yaramadı. Bence asıl cevap üçüncü yerde: ölçme biçimini baştan düşünmek.

Tespit araçlarına güvenmeyin

Yapay zekâ ile yazılmış metni ayırt ettiğini iddia eden araçlar var. Ama bunların güvenilirliği tartışmalı: hem yanlış pozitif (insan yazısına "yapay zekâ" demek) hem yanlış negatif (yapay zekâ metnini kaçırmak) üretiyorlar. Üstelik yapılan bazı araştırmalar, bu araçların anadili farklı yazarlara karşı yanlı sonuçlar verebildiğini gösteriyor.

Bir öğrenciyi ya da çalışanı, bir tespit aracının çıktısına dayanarak suçlamak, hem adaletsiz hem riskli. Bu araçlar en iyi ihtimalle bir ipucu, asla bir kanıt değil.

Neyi ölçmeye çalışıyoruz?

Her şey bu soruyla başlıyor. Eğer ölçmek istediğiniz şey "ezber bilgi" ise, yapay zekâ ve arama motoru bu ölçmeyi büyük ölçüde anlamsız kılar. Eğer ölçmek istediğiniz şey "bilgiyi bir durumda kullanabilme", "karar verme" ya da "kendi başına düşünme" ise, o zaman farklı sınavlar kurmak gerekir.

İş dünyasında bir gerçek var: gerçek işte çoğu zaman yapay zekâyı kullanabilirsiniz. Peki o halde, yapay zekâyla birlikte iyi çalışma becerisini ölçmek de bir seçenek. Ama bu, her sınavın amacı değil. Temel bir yeterliliği (örneğin bir güvenlik prosedürünü bilmek) yardımsız bildiğinizi göstermeniz gerekiyorsa, sınav buna göre tasarlanmalı.

Yeniden tasarım seçenekleri

1. Kontrollü ortamda ölçmek

Yüksek riskli, ciddi sonuçları olan sınavlar için, gözetimli ve kontrollü bir ortam hâlâ en güvenilir yol. Bu, yüz yüze olabileceği gibi, gözetimli online sınav da olabilir. Gözetimin sınırlarını yapay zekâ gözetimli sınav yazısında anlattık.

2. Uygulamaya ve bağlama dayalı sorular

Genel bilgi sorularını yapay zekâ kolayca çözer. Ama sizin kurumunuzun spesifik bir müşteri durumu, kendi süreçleriniz ve ürününüz hakkında, bağlamı bilmeden cevaplanamayan sorular daha zor çözülür. Senaryo sorularını Bloom taksonomisiyle soru yazmak yazısında işledik.

3. Sözlü ve etkileşimli ölçme

Birine çalışmasını anlattırmak, sorularla derinleştirmek, "neden böyle yaptın?" diye sormak, yapay zekânın yardımıyla hazırlanmış bir işi bile çözer: gerçekten anlamış mı, yoksa kopyalamış mı, birkaç soruda belli olur. Maliyetli ama güçlü; kritik değerlendirmeler için uygun.

4. Süreç kanıtı

Sadece son ürüne değil, yola da bakın: taslaklar, düzeltmeler, kısa ara kontroller. Son ürünü yapay zekâ üretebilir, ama kişinin düşünce sürecinin izini üretmek çok daha zor.

5. Yapay zekâyı açıkça dahil etmek

Bazı görevlerde yapay zekâ kullanımına izin verip, katılımcıdan şunu istemek: "Yapay zekâya ne sordun, çıktısını nasıl değerlendirdin, neyi değiştirdin, neden?" Bu, hem gerçek iş dünyasına yakın hem de eleştirel düşünmeyi ölçüyor.

Her şeyi atmaya gerek yok

Çoktan seçmeli sınavlar, test sistemleri ve soru bankaları hâlâ değerli: hızlı, ölçeklenebilir, objektif. Yapay zekâ çağında bunların yerini almıyor, tamamlanması gerekiyor. Temel bilgi ve yeterlilik için kontrollü test; derin anlayış ve uygulama için sözlü, proje ve senaryo tabanlı değerlendirme.

Yapay zekâ ölçmenin de yardımcısı

Madalyonun diğer yüzü: yapay zekâ ölçme ve değerlendirme sürecini de iyileştiriyor. Soru üretimi, sonuç analizi, yazılı cevapların ön değerlendirmesi, şüpheli davranışların işaretlenmesi gibi alanlarda zaman kazandırıyor. Bunlar için yapay zekâ destekli sınav sistemi yazısına bakabilirsiniz.

Vedubox Test ve Sınav Sistemi, sekiz farklı soru tipini (video tabanlı ve yazılı sorular dahil), rastgele soru seçimini ve web kamerası destekli gözetimi bir arada sunuyor; bu da farklı ölçme biçimlerini tek yapıda birleştirmeyi mümkün kılıyor. Özellikler için Özellikler sayfasına, genel tanıtım için vedubox.com adresine göz atabilirsiniz.

Eski sınav biçimlerinin bir kısmı artık bir şey ölçmüyor ve bunu kabul etmek rahatsız edici. Ama hangi sınavın hâlâ çalıştığını yapay zekâya çözdürerek test edebilmek, işin iyi tarafı.