Üretken yapay zekalar genellikle bazı şeyleri yanlış anlıyor - yapımcıları bile bu gerçeği saklamıyor - bu yüzden kod oluşturmaya yardımcı olmak için onları kullanmak iyi bir fikir değil. ChatGPT'nin bu alandaki genel yeteneklerini ve bilgisini test etmek için sisteme yarısından fazlası yanlış olan çok sayıda yazılım programlama sorusu soruldu. Ancak, yine de önemli sayıda insanı kandırmayı başardı.
Purdue Üniversitesi'nden ( The Reg aracılığıyla ) yapılan bir araştırma, ChatGPT 517 Yığın Taşması sorularını sormayı ve bir düzine gönüllü katılımcıya sonuçlar hakkında soru sormayı içeriyordu. Cevaplar sadece doğru olup olmadıklarına göre değil aynı zamanda tutarlılık, kapsamlılık ve özlülük açısından da değerlendirildi. Ekip ayrıca yanıtların dilsel stilini ve duyarlılığını da analiz etti.
ChatGPT için iyi bir gösteri değildi. OpenAI'nin aracı, soruların yalnızca %48'ini doğru yanıtlarken, %77'si "ayrıntılı" olarak tanımlandı.
Özellikle ilginç olan şey, ChatGPT'nin kapsamlılığı ve iyi ifade edilmiş dil stili, yanıtlarının neredeyse %40'ının hala katılımcılar tarafından tercih edilmesi anlamına geliyordu. Ne yazık ki üretici yapay zeka için tercih edilen yanıtların %77'si yanlıştı.
Araştırmacılar Samia Kabir, David Udo-Imeh, Bonan Kou ve yardımcı doçent Tianyi Zhang tarafından yazılan makale, "Çalışmamız sırasında, yalnızca ChatGPT yanıtındaki hata bariz olduğunda kullanıcıların hatayı tanımlayabildiğini gözlemledik" diyor. "Ancak, hata kolayca doğrulanamadığında veya harici IDE veya belgeler gerektirdiğinde, kullanıcılar genellikle yanlışlığı belirleyemez veya yanıttaki hata derecesini hafife alabilir."
ChatGPT'nin yanıtı açıkça yanlış olsa bile, 12 katılımcıdan ikisi yapay zekanın hoş, kendine güvenen ve olumlu tonu nedeniyle yine de bunu tercih etti. Kapsamlılığı ve ders kitabının yazım tarzı, bazı insanların gözünde gerçeklere dayalı olarak yanlış bir cevabın doğru görünmesine de katkıda bulundu.
Makale, "ChatGPT'nin sorulan sorunun altında yatan bağlamı anlayamaması nedeniyle birçok yanıtı yanlıştı" diye açıklıyor.
Üretken yapay zeka üreticileri, ürünlerinin sayfalarına, verdikleri yanıtların yanlış olma olasılığına ilişkin uyarılar ekler. Google bile çalışanlarını, kendi Bard'ı da dahil olmak üzere sohbet robotlarının tehlikeleri konusunda ve bu hizmetler tarafından üretilen kodları doğrudan kullanmaktan kaçınmaları konusunda uyardı . Nedeni sorulduğunda şirket, Bard'ın istenmeyen kod önerileri yapabileceğini ancak yine de programcılara yardımcı olduğunu söyledi. Google ayrıca teknolojisinin sınırlamaları konusunda şeffaf olmayı hedeflediğini söyledi. Bu arada Apple, Amazon ve Samsung , ChatGPT'yi tamamen yasaklayan firmalardan sadece birkaçı.
Kaynak:
https://www.techspot.com/news/99702-cha ... wrong.html
