1. sayfa (Toplam 1 sayfa)

Yapay zeka tarafından üretilen güvenlik raporları Hiçbir işe yaramaz

Gönderilme zamanı: 12 Ara 2024, 21:45
gönderen velociraptor
Resim

Üretken AI hizmetleri ne akıllıdır ne de açık kaynaklı geliştirme çabalarına anlamlı bir katkı sağlama yeteneğine sahiptir. "Spam", halüsinasyonlu hata listelerinden bıkmış bir güvenlik uzmanı, hayal kırıklığını dile getirerek FOSS topluluğundan AI tarafından oluşturulan raporları bir kenara bırakmasını istiyor.

Üretken AI modelleri, siber suçluların ve dolandırıcıların elinde zaten güçlü araçlar olduğunu kanıtladı . Ancak, dolandırıcılar bunları açık kaynaklı projeleri işe yaramaz hata raporlarıyla spamlamak için de kullanabilirler. Seth Larson'a göre, "aşırı" düşük kaliteli, spam içerikli ve LLM sanrılı güvenlik raporlarının sayısı son zamanlarda artmış ve bakımcıları zamanlarını düşük zeka gerektiren şeylerle harcamaya zorlamıştır.

Larson, Python Yazılım Vakfı'nda güvenlik geliştiricisi olup aynı zamanda CPython, pip, urllib3, Requests ve diğerleri gibi popüler açık kaynaklı projeler için güvenlik raporlarını incelemekle görevli "triyaj ekiplerinde" gönüllü olarak çalışmaktadır. Geliştirici, yakın zamanda yayınladığı bir blog yazısında, üretken AI sistemleriyle oluşturulan özensiz güvenlik raporlarının yeni ve sorunlu bir eğilimini kınamaktadır .

Bu AI raporları sinsi çünkü potansiyel olarak meşru ve kontrol edilmeye değer görünüyorlar. Curl ve diğer projelerin daha önce belirttiği gibi , bunlar sadece kulağa daha hoş gelen saçmalıklar ama yine de saçmalık. Binlerce açık kaynaklı proje bu sorundan etkileniyor ve güvenlikle ilgili geliştirmenin hassas doğası nedeniyle bakımcılar bulgularını paylaşmaya teşvik edilmiyor.

Resim

Larson, "Eğer bu durum benim görünürlüğüm olan bir avuç projede yaşanıyorsa, o zaman bunun açık kaynaklı projelerde de büyük ölçekte yaşandığından şüpheleniyorum." dedi.

Halüsinasyonlu raporlar gönüllü bakımcıların zamanını boşa harcar ve karışıklığa, strese ve çok fazla hayal kırıklığına neden olur. Larson, göndericilerin orijinal amacı bu olmasa bile, topluluğun düşük kaliteli AI raporlarını kötü amaçlı olarak ele alması gerektiğini söyledi.

Şu anda AI halüsinasyonlu raporlardaki artışla uğraşan platformlar, muhabirler ve bakımcılar için değerli tavsiyelerde bulundu. Topluluk, güvenlik raporlarının otomatik olarak oluşturulmasını önlemek için CAPTCHA ve diğer anti-spam hizmetlerini kullanmalıdır. Bu arada, hata bildiricileri açık kaynaklı projelerdeki güvenlik açıklarını tespit etmek için AI modellerini kullanmamalıdır.

Büyük dil modelleri kod hakkında hiçbir şey anlamaz. Meşru güvenlik açıklarını bulmak, niyet, genel kullanım ve bağlam gibi "insan düzeyindeki kavramlarla" uğraşmayı gerektirir. Bakımcılar, orijinal göndericilerin gösterdiği çabanın aynısıyla, yani "sıfıra yakın" bir çabayla, belirgin AI raporlarına yanıt vererek kendilerini birçok sıkıntıdan kurtarabilirler.

Larson, birçok zafiyet raporlayıcısının iyi niyetle hareket ettiğini ve genellikle yüksek kaliteli raporlar sağladığını kabul ediyor. Ancak, düşük çaba gerektiren, düşük kaliteli raporların "giderek artan bir çoğunluğu", geliştirmede yer alan herkes için her şeyi mahvediyor.

Kaynak :
https://www.techspot.com/news/105913-us ... ource.html

Re: Yapay zeka tarafından üretilen güvenlik raporları Hiçbir işe yaramaz

Gönderilme zamanı: 14 Ara 2024, 13:22
gönderen Kayserilifatih
Güvenlik raporlarını nasıl yapay zekaya bırakırlar anlamıyorum. Önce güvenlik raporunu araştırıp sonra kontrol amaçlı yapay zekaya sorsalar soruya verdiği cevabın hatalı olduğunu göreceklerdir.