Yapay zekâ destekli sınav sistemi nedir, neleri değiştirir?

Bir sınav hazırlamanın en yorucu kısmı sınavın kendisi değildir. Önce konu başlıklarını çıkarırsınız, sonra soru yazarsınız, sonra o sorulara seçenek uydurursunuz (iyi bir çeldirici bulmak gerçekten zordur), sınavı uygularsınız, sonuçları toplarsınız. En sonunda bir tabloya bakıp "peki bu sayılar ne anlama geliyor?" diye düşünürsünüz.

Yapay zekâ destekli sınav sistemleri bu zincirin bazı halkalarını hafifletmek için var. Hepsini değil. Bu ayrımı baştan yapmak, hem doğru araç seçmenizi hem de hayal kırıklığı yaşamamanızı sağlıyor.

"Yapay zekâ destekli" derken neyi kastediyoruz?

Bugün hemen her yazılımın tanıtımında "yapay zekâ" geçiyor, o yüzden terimi biraz açmakta fayda var. Bir sınav sisteminde yapay zekânın gerçekten iş yaptığı yerler genelde şunlar:

• Soru üretimi: Bir konu, bir metin ya da bir zorluk seviyesi verirsiniz; sistem soru ve seçenek taslakları çıkarır.
• Gözetim: Web kamerası görüntüsünde ya da sınav davranışında alışılmadık bir şey olduğunda (ekranda iki kişi, uzun süre kameradan uzaklaşma gibi) olayı işaretler.
• Açık uçlu cevapların ön değerlendirmesi: Yazılı cevaplarda anahtar kavramları yakalar, puan önerir.
• Analiz: Hangi soru kötü çalışıyor, hangi konuda grup genel olarak zayıf, kim riskli görünüyor gibi soruları sizin yerinize taramaya yarar.

Fark edeceğiniz gibi bu maddelerin hiçbirinde "sistem karar verir" yok. Hepsi taslak, öneri ya da işaret. Bu bir eksiklik değil, doğru tasarım.

Asıl kazanç nerede?

Kâğıt üzerinde en çok zaman kazandıran yer soru üretimi. Elinizde bir eğitim dokümanı varsa ve ondan iki yüz soruluk bir havuz oluşturmanız gerekiyorsa, boş sayfadan başlamakla düzenlenecek bir taslakla başlamak arasında dağlar kadar fark var. Sorunun gövdesini siz yazmaktan kurtulursunuz, enerjinizi "bu soru doğru şeyi ölçüyor mu?" sorusuna harcarsınız. Konuyu ayrıntılı ele aldığımız yapay zekâ ile soru üretimi yazısında hangi kontrolleri yapmanız gerektiğini anlattık.

İkinci kazanç gözetimde. İki yüz kişilik bir sınavda herkesin kamerasını canlı izleyecek yeterince insan bulmak mümkün değil. Sistem şüpheli anları işaretlediğinde gözetmen sadece o kayıtlara bakıyor. Aynı konu yapay zekâ gözetimli sınav yazımızda daha detaylı.

Üçüncüsü ise sonrası: sınav bittiğinde sonuçlar hazır, soru bazında istatistikler hazır. Bunu "raporlama" diye geçiştirmek kolay ama bir eğitim sorumlusu için hafta sonunu geri vermek demek.

İnsanın kalması gereken yerler

Aynı şey gözetim için de geçerli. Yapay zekâ "bu öğrenci şüpheli" diyemez; en fazla "bu on saniyeye bakın" diyebilir. Kötü ışıkta oturan, kamerası eski, evde başka insanlar olan katılımcılar sistem için "şüpheli" görünebilir. Kararı kayıtlara bakan bir insan vermeli.

Yazılı cevaplarda da puanı son kez eğitmen onaylamalı. Ön değerlendirme zaman kazandırır, ama bir cümlenin derinliğini bazen yalnızca bir insan fark eder.

Bir sistemi değerlendirirken sorulacak sorular

Demo izlerken büyüleyici bir ekranla karşılaşabilirsiniz. Şu soruları sormak sizi sağlam zemine çeker:

1. Üretilen sorular kayıt altına alınmadan önce bir inceleme adımından geçiyor mu, yoksa direkt havuza mı düşüyor?
2. Gözetimde sistem otomatik bir ceza veriyor mu, yoksa sadece işaretliyor mu?
3. İşaretlenen kayıtları kimin, nasıl göreceği ve ne kadar süre saklanacağı belirlenebiliyor mu?
4. Mevcut soru arşivimi (Excel, PDF) sisteme taşıyabiliyor muyum, yoksa sıfırdan mı başlıyorum?
5. Raporlar kişi, konu ve eğitim bazında ayrışıyor mu?

Bu soruların cevabı, yapay zekâ özelliğinin "gösteriş" mi yoksa gerçekten iş mi gördüğünü ortaya çıkarır.

Peki hepsi ne işe yarıyor?

Kısacası sistem tekrarlayan işi azaltıyor, karar gerektiren işi size bırakıyor. Bir yazılım size sınav sürecini tamamen otomatikleştireceğini söylüyorsa biraz temkinli olun: sınav sonuçta bir ölçme işi ve neyi, neden ölçtüğünüze hâlâ siz karar veriyorsunuz.