BAÜN akademisyenlerinden Öğr. Gör. Dr. Özgür Çelik tarafından ortaya konulan “Lost in the middle? Examining scoring reliability and position bias in LLM-based automated essay scoring” başlıklı çalışma, uluslararası dergi sıralamalarında en üst dilimlerden olan SSCI Q1 ölçeğindeki “Education and Information Technologies” dergisinde yayınlandı.

Öğr. Gör. Dr. Özgür Çelik; “İnsan Gözetimiyle Yapay Zeka Destekli Puanlama Güvenilir Sonuçlar Verebilir”

Psikolojideki “seri konum etkisi” (serial position effect) kavramından yola çıkılarak yürütülen çalışma hakkında bilgi veren Öğr. Gör. Dr. Özgür Çelik, araştırmanın ChatGPT gibi yapay zeka araçlarının öğrenci kompozisyonlarını puanlarken metnin konumuna göre (baş, orta veya son) bir yanlılık sergileyip sergilemediğini incelediğini aktardı.

Farklı metin konumlarının değerlendirme üzerindeki etkisini test eden çalışmada 192 yazı örneği kullanıldığını belirten Öğr. Gör. Dr. Özgür Çelik, yapılan analizlerin ChatGPT’nin metnin giriş veya sonuç kısmına yönelik sistematik bir kayırma yapmadığını, aksine metni bütüncül biçimde değerlendirerek güçlü ve zayıf yönleri dengeli şekilde ayırt edebildiğini vurguladı.

Öğr. Gör. Dr. Özgür Çelik, elde edilen bulguların dil bilgisi gibi unsurların metnin her bölümünde eşit şekilde dikkate alındığını, içerik kalitesinin ise özellikle gövde paragraflarından değerlendirildiğini ortaya koyduğunu belirtti. Araştırmanın, yapay zeka destekli otomatik notlandırma süreçlerinin insan gözetimi ve kontrolü ile birlikte kullanıldığında güvenilir sonuçlar üretebileceğini gösterdiğini ifade etti.

(Balıkesir Üniversitesi)