Bir SaaS girişimi olan PocketOS, yapay zeka destekli yazılım aracının kontrol dışına çıkması sonucu büyük bir veri kaybı yaşadı. Şirketin kurucusu Jer Crane’in aktardığına göre Anthropic’in Claude Opus 4.6 modeliyle çalışan Cursor adlı yapay zeka kodlama aracı, yalnızca 9 saniye içinde üretim veritabanını ve tüm yedekleri sildi.
Rutin görev felakete dönüştü
Araç kiralama şirketlerine hizmet veren PocketOS, altyapı tarafında Railway adlı bulut sağlayıcısını kullanıyordu. Olayın dikkat çeken kısmı ise silme işleminin tek bir API çağrısıyla gerçekleşmesi ve bu işlemin geri döndürülemez olması oldu.
Yaşanan olay, aslında oldukça sıradan bir görev sırasında meydana geldi. Yapay zeka ajanı, staging (test) ortamında bir işlem yürütürken bir engelle karşılaştı. Ancak sistem, bu sorunu çözmek için kendi inisiyatifiyle son derece riskli bir karar alarak Railway üzerinde bir depolama birimini silmeye yöneldi.
Jer Crane, olayın ardından yapay zekaya neden böyle bir işlem yaptığını sordu. Gelen yanıt, sistemin hatalarını açıkça ortaya koydu. Yapay zeka, varsayımda bulunduğunu, gerekli doğrulamaları yapmadığını ve sistem dokümantasyonunu incelemeden yıkıcı bir komut çalıştırdığını kabul etti.
Ayrıca, kullanıcıdan onay almadan hareket ettiğini ve daha güvenli alternatifler aramak yerine doğrudan silme işlemini tercih ettiğini de itiraf etti. Bu durum, yapay zeka sistemlerinin karar alma süreçlerinde halen ciddi riskler olduğunu gözler önüne serdi.
Tek sorumlu Claude değil
Crane’e göre felaketin tek sorumlusu yapay zeka değil. Asıl büyük sorun Railway’in altyapı mimarisinde yatıyor. Şirketin sisteminde bu tip işlemler için ek doğrulama mekanizması bulunmuyor. Ayrıca yedekler ana veriyle aynı depolama biriminde tutuluyor. Buna ek olarak, kullanılan CLI token’larının tüm ortamlar üzerinde geniş yetkilere sahip olması da hatanın etkisini büyüten bir diğer unsur oldu.
Verilerin tamamen silinmesinin ardından PocketOS ekibi, müşterilerinin kayıtlarını yeniden oluşturmak için yoğun bir manuel kurtarma sürecine girdi. Crane, müşterilerin Stripe ödeme kayıtları, takvim entegrasyonları ve e-posta onayları üzerinden rezervasyonları yeniden inşa etmeye çalıştığını belirtti. Şirketin elinde 3 ay öncesine ait bir yedek bulunması veri kaybının kapsamını sınırlasa da son üç aylık veriler tamamen kaybedilmiş durumda.
