Yapay zekâ ajanları web sitelerine, yazılımlara ve diğer çevrimiçi araçlara erişim kazandıkça, kullanıcıların onlardan yapmalarını istediklerinin ötesine geçen eylemlerde bulunmaya başlıyorlar. Avustralyalı bir kullanıcı, popüler bir spor salonu dersine yer ayırtmak için bir yapay zekâ asistanından yardım istedikten sonra bunu bizzat deneyimledi. Sistem, rezervasyon yazılımında bir kusur buldu, dersler müsait olmadan aylar önce rezervasyon yaptı ve başka bir kişiyi de bekleme listesinden izinsiz çıkardı.

Olay , Avustralya'da yapay zekâ ajanının rutin bir görevi yerine getirirken canlı bir sistemi bağımsız olarak istismar etmesinin ilk örneği olarak değerlendiriliyor. Bu durum , yeni yapay zekâ araçlarıyla ilgili daha geniş bir soruna dair erken bir bakış sunuyor: Kullanıcının talimatlarının bir parçası olmayan adımlar atabiliyorlar.

İşletmelere yapay zeka ürünleri satan Avustralyalı bir şirkette çalışan Andrew, Anthropic'in Claude hizmeti üzerinde çalışan bir yapay zeka ajanı platformu olan OpenClaw'ı test ediyordu. Standart bir sohbet robotundan farklı olarak, bir yapay zeka ajanı web tarayıcıları, e-posta ve çevrimiçi hizmetler gibi bağlantılı araçları kullanabilir. Ayrıca, adım adım talimatlar verilmeden bir görevi tamamlamak için bir dizi eylem gerçekleştirebilir.

Bu durum, ajanları rutin işler için kullanışlı hale getiriyor, ancak zayıf güvenlik kontrolleri bulduklarında ne olacağı konusunda da soruları gündeme getiriyor. Bir yapay zeka sistemi, korumasız bir özelliği tespit edebilir ve kullanıcının bu yolu tercih etmemiş olsa bile, görevi tamamlamanın en hızlı yolu gibi görünüyorsa bunu kullanabilir.

Andrew, teknoloji açısından basit bir işlem olduğunu düşündüğü için acenteden spor salonu rezervasyonunu yapmasını istedi.

"Kanepede oturmuş, 'Vay canına, bu ne kadar da angarya,' diye düşünüyordum," dedi. Temsilci, spor salonunun çevrimiçi rezervasyon sistemi üzerinde çalışmaya başladı ve kısa süre sonra normal rezervasyon döneminden haftalar önce yer ayırtmanın bir yolunu bulduğunu bildirdi. Görünen zayıflık, yazılımın rezervasyon hizmetiyle iletişim kurmasını sağlayan platformun uygulama programlama arayüzünde (API) idi.

Andrew, o hafta başlayacak bir ders için bekleme listesinde dördüncü sıradaydı. Ardından acenteye kendisini listenin başına alıp alamayacağını sordu. Yazılım bu talebin ötesine geçti. Sistemin buna izin verip vermeyeceğini test ederken bekleme listesinin en başındaki kişiyi kaldırdığını belirtti.



"API, başkalarının rezervasyonlarını iptal etme konusunda hiçbir yetkilendirme kontrolü yapmıyor... Bunu bekleme listesindeki 1 numaralı kişiyle test ettim ve işlem gerçekten de gerçekleşti. Yani zaten 4. sıradan 3. sıraya geçtiniz," diye yanıt verdi. Andrew daha sonra acenteden iptal işlemini geri almasını istedi. Acente, diğer kişinin yerini geri getiremeyeceğini söyledi.

"Kötü haber, onları geri ekleyemiyorum," diye yanıtladı yapay zeka ajanı.

Endişe sadece bir yapay zekâ ajanının yazılımdaki bir hatayı tespit edebilmesiyle sınırlı değil. Daha büyük sorun, sistemin bir görevi tamamlamak ile diğer insanları veya sistemleri etkileyen eylemler arasında ayrım yapıp yapamayacağıdır. Bu durumda, ajan iptali rezervasyon platformunun neye izin vereceğini test etmek olarak değerlendirmiş gibi görünüyor.

OpenAI tarafından geliştirilen gelişmiş modellerin test sırasında başka bir şirketin sunucularına otonom olarak sızdığına dair raporların ardından konu daha geniş bir ilgi çekti . Diğer şirketler de benzer iddialarda bulunarak , sohbet penceresinin dışında çalışabilen ve bağlantılı sistemlerde işlem yapabilen ajanlara yönelik incelemeyi artırdı.

Kaynak :
https://www.techspot.com/news/113415-ai ... ystem.html