İronik bir şekilde, açık kaynaklı yapay zeka (AI) platformu Hugging Face, otonom bir AI ajan sistemi tarafından gerçekleştirilen bir hacklemenin kurbanı olduğunu ortaya çıkardı.
Şirket, geçen hafta başında üretim altyapısını hedef alan olayı tespit edip müdahale ettiğini söyledi.
Şirketsaidbir açıklamada "Sınırlı sayıda dahili veri kümesine ve hizmetlerimiz tarafından kullanılan çeşitli kimlik bilgilerine yetkisiz erişim tespit ettik" dedi.
İzinsiz girişle ilgili soruşturma devam ederken Hugging Face, AI aracısının halka açık, kullanıcıya yönelik modelleri, veri kümelerini veya Alanları ve kendi yazılım tedarik zincirini kurcaladığına dair hiçbir kanıt bulamadığını söyledi.
Saldırının başlangıç noktası, veri işleme hattının kendisiydi; kötü amaçlı bir veri kümesi, bir işleme çalışanında kod çalıştırmak için uzak kod veri kümesi yükleyicisinde ve veri kümesi yapılandırmasındaki şablon enjeksiyonunda olmak üzere iki kod yürütme yolunu kötüye kullanıyordu.
Bu erişimle tehdit aktörünün düğüm düzeyinde erişime ulaştığı, bulut ve küme kimlik bilgilerini topladığı ve bir hafta sonu boyunca yanal olarak birkaç dahili kümeye geçtiği söyleniyor.
Saldırıyı gerçekleştirmek için kullanılan tam büyük dil modeli (LLM) belirsizdir, ancak kampanya, "kamu hizmetlerinde kendi kendine geçiş yapan komuta ve kontrol ile kısa ömürlü bir sanal alan sürüsü üzerinde binlerce bireysel eylem" gerçekleştiren özerk bir aracı çerçevesi tarafından yürütüldü.
Hugging Face, sorunun temel nedenini, tam olarak ilk erişim için kullanılan kod yürütme yollarını ele aldığını söyledi. Ayrıca aşağıdaki iyileştirme adımlarını da gerçekleştirdi -
- Saldırganın etkilenen kümelerdeki dayanağı kaldırıldı ve güvenliği ihlal edilmiş düğümler yeniden oluşturuldu
- Etkilenen kimlik bilgileri ve belirteçler iptal edildi ve dönüşümlü olarak kullanıldı ve önlem olarak daha geniş bir sır rotasyonu uygulandı.
- Kümelerine ek korkuluklar ve daha sıkı giriş kontrolleri yerleştirildi
- Müdahale ekiplerinin 7/24 dakikalar içinde bilgilendirilmesini sağlamak için geliştirilmiş algılama ve uyarı sistemi
Hugging Face, daha başka bir koruma olarak, müşterilerini tüm erişim jetonlarını döndürmeye ve hesaplarındaki son etkinlikleri incelemeye çağırıyor.
Şirket ayrıca, Batılı sınır modellerinin gerçek saldırı komutları, istismar yükleri ve komuta ve kontrol (C2) yapılarını içeren talepleri güvenlik korkulukları tetiklendiğinden ve bir saldırgan ile meşru olay müdahale çabasını ayırt edememeleri nedeniyle reddetmesinin ardından adli analiz yapmak için Z.ai'ninÇin açık ağırlıklı modeli olan GLM 5.2'yebaşvurduğunu söyledi.
New York merkezli şirket, "Bu deneyim, planlamaya değer bir boşluğa işaret ediyor" dedi. "Saldırganın aracılarına hangi modelin güç verdiğini bilmiyoruz; jailbreakli barındırılan bir model mi yoksa sınırsız açık ağırlıklı bir model mi; her iki durumda da, saldırgan hiçbir kullanım politikasına bağlı değildi; kendi adli tıp çalışmalarımız ise ilk denediğimiz barındırılan modellerin korkulukları tarafından engellendi."
"Savunmacılar için pratik ders: Hem korkulukların kilitlenmesini önlemek hem de saldırgan verilerinin ve kimlik bilgilerinin ortamınızdan çıkmasını önlemek için, kendi altyapınızda çalıştırabileceğiniz, incelenmiş ve bir olaydan önce hazır olan yetenekli bir modele sahip olun."
