Bir yapay zeka kodlama ajanı, bulut sağlayıcısına yaptığı tek bir API çağrısıyla bir girişimin üretim veritabanını ve yedeklerini dokuz saniyede sildi. Hata, Anthropic'in Claude Opus 4.6 sürümünü çalıştıran Cursor'ın Railway'in altyapısına üretim seviyesinde erişim izni verilmesiyle başladı ve rutin bir görevi tam bir veri kaybı olayına dönüştürdü.
Araç kiralama işletmelerine yazılım sağlayan PocketOS, ajanı yalnızca test ortamında tutmak yerine canlı altyapıya karşı kullanıyordu . Kurucu Jer Crane, yaptığı bir açıklamada bu olayı "sistemik hataların" kanıtı olarak nitelendirdi ve bunun tek bir hatalı komuttan ibaret olmadığını savundu.
Crane daha sonra ajandan davranışını açıklamasını istedi ve yanıtı olduğu gibi yayınladı. Modelin kendi analiz raporu, temel doğrulamayı atladığını, yanlış ortam kapsamını varsaydığını ve kontroller yerine tahminlere göre hareket ettiğini açıkça ortaya koydu.
"ASLA TAHMİN ETME! – ve ben de tam olarak bunu yaptım," diye yazdı Crane. "API aracılığıyla bir hazırlık birimini silmenin yalnızca hazırlık ortamıyla sınırlı olacağını tahmin ettim. Doğrulama yapmadım. Birim kimliğinin ortamlar arasında paylaşılıp paylaşılmadığını kontrol etmedim. Yıkıcı bir komut çalıştırmadan önce Railway'in ortamlar arasında birimlerin nasıl çalıştığına dair belgelerini okumadım."
Aynı görüşmede, yetkili kişi, önce izin istemek veya daha güvenli bir seçenek aramak yerine, altyapı kaynaklarını silerek kimlik bilgilerindeki uyumsuzluğu tek taraflı olarak "düzeltmeye" çalıştığını itiraf etti.
Şirket, doğrulamak yerine tahmin yürüterek, kimsenin talep etmediği yıkıcı bir komut çalıştırarak ve Railway birimlerinin farklı ortamlarda nasıl davrandığını anlamadan hareket ederek kendi kurallarını çiğnediğini belirtti. Bu kombinasyon, hazırlık aşamasında kontrol altında tutulması gereken bir hatayı, üretim depolama alanına doğrudan bir saldırıya dönüştürdü.
Ancak Crane, modelin "akıl almaz" karar alma mekanizmasından ziyade çevredeki sistemlere daha fazla önem verdi. Railway'in API'sinin, herhangi bir onay gerektirmeden bir birimi ve yedeklerini silmeye olanak sağladığını ve bu yedeklerin canlı verilerle aynı birimde bulunduğunu belirtti. Bu kurulumda, tek bir silme işlemi canlı veritabanını ve yedeklerini siliyor ve geniş yetkilere sahip CLI belirteçleri, ajanın ortamlar arasında erişim sağlamasına olanak tanıyordu.
Railway, müşterilerine yapay zeka kodlama ajanlarını tanıtıyordu ve Crane, Claude Opus 4.6 ile Cursor'ı kullanmasının platformun teşvik ettiği doğrultuda olduğunu söyledi. Ancak veriler kaybolduğunda kolay bir kurtarma yolu yoktu, bu nedenle PocketOS temiz bir geri yükleme çalıştırmak yerine, yapabildiği kadarını manuel olarak yeniden oluşturmaya geri döndü.
Yeni yedeklemeler kaybolunca, ekip kayıtları dış sistemlerden yeniden oluşturmaya başladı. Crane, müşterilerle saatlerce vakit geçirdiğini, Stripe ödeme geçmişlerinden, takvim entegrasyonlarından ve e-posta onaylarından rezervasyonları yeniden oluşturduğunu, bu sırada "her birinin 9 saniyelik bir API çağrısı nedeniyle acil manuel çalışma yaptığını" söyledi.
Üç ay öncesine ait bir yedekleme hala kullanılabilir durumdaydı, bu nedenle kalıcı kayıp aradaki aylarla sınırlı kaldı, ancak bu durum yedeklemelerin üretim ortamıyla aynı arıza yolunda bulunduğunda ne kadar kırılgan olduğunu da gösterdi.
Bu olaydan çıkarılacak ders, sadece bir yapay zekâ ajanının yanlış bir karar vermesi değil. Piyasadaki en iyilerden biri olarak kabul edilen büyük ölçekli bir kodlama ajanının, yıkıcı eylemlerin zayıf güvenlik önlemlerine, yetersiz ortam kapsamına ve bağımsız yedekleme katmanının bulunmamasına sahip bir bulut platformunda canlı altyapıyı değiştirmesine izin verilmiş olmasıdır. Bu yapılandırmada, otonom bir ajanın tek bir yanlış değerlendirilmiş "düzeltme"si, bir şirketin tüm operasyonel verilerini saniyeler içinde silmeye yetmiştir.
Kaynak :
https://www.techspot.com/news/112207-ai ... abase.html
