Yapay zekâ ile soru üretimi: Nereye kadar güvenebilirsiniz?

Yapay zekâya bir paragraf verip "bana on soru yaz" dediğinizde, birkaç saniyede on tane makul görünen soru alıyorsunuz. İlk seferinde bu insanı gerçekten şaşırtıyor. İkinci seferinde ise o sorulardan birinin cevabının yanlış olduğunu fark ediyorsunuz.

İkisi de doğru: yapay zekâ soru yazmada çok hızlı ve bazen çok güvenle yanılıyor. Bu iki gerçeği birlikte taşıyabilirseniz, iş akışınız sağlam olur.

Yapay zekâ sorularda neyi iyi yapar?

• Boş sayfa sorununu çözer. Başlangıç taslağı hemen elinizde olur.
• Çeşit sağlar. Aynı konudan farklı açılarla sorular üretir; siz yazarken aklınıza gelmeyecek bir senaryo çıkabilir.
• Seçenek (çeldirici) önerir. İyi çeldirici bulmak yorucudur; yapay zekâ makul alternatifler üretmekte genelde iyidir.
• Biçimi hızla değiştirir. Çoktan seçmeli soruyu doğru-yanlışa ya da boşluk doldurmaya çevirmek saniyeler sürer.

Neleri kaçırır?

Burası önemli. Yapay zekâ üretimlerinde sık görülen sorunlar:

• Gerçek dışı bilgi. Kulağa doğru gelen ama aslında yanlış cevaplar.
• Belirsiz kök. Birden fazla cevabın savunulabileceği sorular.
• Yüzeysellik. Soruların çoğu "hatırlama" düzeyinde kalır; yorum ve uygulama gerektiren sorular daha az çıkar.
• Kurum diline uzaklık. Sizin ürününüzün, sürecinizin ya da mevzuat yorumunuzun özel ayrıntılarını bilmez.
• Birbirine benzerlik. Aynı kalıpta, aynı uzunlukta yüzlerce soru üretince havuz tek tip hale gelir.

Güvenle kullanmanın yol haritası

Üretmeden önce: iyi girdi verin

Genel bir "bana bir sınav yaz" yerine kaynak metni, hedef kitleyi ve zorluğu belirtin. "Satış ekibi için, aşağıdaki ürün dokümanından, orta zorlukta, her soru tek bir doğru cevaba sahip olacak şekilde" gibi bir istem, çok daha kullanılabilir sonuç verir. Kaynak metni siz sağlarsanız, model uydurma ihtimali de azalır.

Üretirken: küçük partilerle çalışın

Yüz soruyu bir seferde istemek yerine on soruluk partilerle gidin. Her partiyi okuyup beğenmediğiniz kalıpları istemden çıkarın. Bu yöntem, havuzda tekrar eden soru tipini de engeller.

Ürettikten sonra: üç kontrol

1. Doğruluk: Konuyu bilen biri her sorunun işaretli cevabını kaynağıyla karşılaştırsın.
2. Netlik: Soruyu ilk kez gören biri iki farklı şekilde yorumlayabiliyor mu?
3. Ölçtüğü şey: Soru, ölçmek istediğiniz hedefi mi ölçüyor, yoksa sadece bir bilgi kırıntısını mı?

Bilişsel düzeyi sizin ayarlamanız gerekir

Yapay zekâya özellikle belirtmezseniz, sorular çoğunlukla "tanımı hatırlama" düzeyinde kalıyor. Eğer çalışanınızın bir durumu analiz etmesini ya da bir kararı gerekçelendirmesini ölçmek istiyorsanız, bunu istemde açıkça yazın ve senaryo tabanlı sorular isteyin. Bloom taksonomisiyle soru yazmak yazısı, bu isteği nasıl formüle edebileceğinizi gösteriyor.

Soru bankasına nasıl girmeli?

Üretilen sorular doğrudan ana havuza değil, bir "inceleme bekliyor" alanına gitmeli. Konu, zorluk seviyesi ve kaynak bilgisiyle etiketlenmeli. Bir soru birkaç sınavda çalıştıktan sonra "onaylı" statüsüne geçebilir. Bu düzen kurulduğunda yapay zekâ, havuzu hızla büyütürken kaliteyi bozmuyor. Havuz yönetimi için soru bankası nasıl kurulur yazısına bakabilirsiniz.

Pratikte

Pratikte iş şöyle yürüyor: yapay zekâ taslağı çıkarır, siz eleyip düzeltirsiniz. Eleme adımını atlayanlar havuzlarını çok hızlı büyütüyor, ama sonra içindekilerin hatırı sayılır bir kısmını ayıklamak zorunda kalıyor.