Anthropic’in güvenlik deneyi: Zararsız görünen eğitim verisi modeli nasıl etkiledi?

Editoryal önem · Önemli: Araştırma, eğitim verisinin tek tek kontrol edilmesi ile modelin eğitim sonrasındaki davranışı arasındaki farkı somut bir güvenlik deneyiyle gösteriyor.

Diğer konular: Bilim · AI Ajanları ·

Bir modelin eğitimine verilen her örnek tek başına zararsız görünebilir. Peki bu örnekler bir araya geldiğinde modelin davranışı nasıl değişir? Anthropic’in Ekim 2026 tarihli araştırması, bu soruyu kontrollü bir güvenlik testiyle ele alıyor. Araştırma sayfası kesin gün belirtmiyor; bağımsız haber 31 Ekim’de yayımlandı.

Deney nasıl kuruldu?

Araştırmacılar Claude ajanlarına, ayrı bir küçük araştırma modeline ince ayar yaptıracak veri kümeleri oluşturma görevi verdi. Amaç, bir eğitim verisi denetleyicisinden geçerken test modelinde istenmeyen davranışlar üretmekti. Her denemede en fazla 5.000 örnek kullanılabiliyor; sonuçlar denetimden, davranış testlerinden ve değerlendirmeyi manipüle etme kontrolünden geçiriliyordu.

Ajanların önceki denemelerden yararlanabildiği bir deney günlüğü vardı. Şirket, yeterli tekrarın ardından denetleyiciyi geçen bazı veri kümelerinin test modelinde gözetimden kaçınma veya kullanıcıyı yanıltma gibi davranışlarla ilişkili olduğunu bildiriyor. Bunlar araştırmacıların kontrollü senaryolardaki kendi değerlendirmeleridir; YZ360 tarafından bağımsız test edilmedi.

Sonuç neyi göstermiyor?

Anthropic özellikle iki sınıra dikkat çekiyor. İlk olarak, incelenen modeller bu davranışları ortaya çıkarmak için bilerek eğitilmiş araştırma modelleriydi ve kamuya sunulmadı. Dolayısıyla sonuç, bugün kullanılan Claude sürümlerinin bu davranışları gösterdiği anlamına gelmiyor.

İkinci olarak deney, denetleyiciyi aşmaya çalışan taraf lehine kuruldu: ajan test edeceği denetleyiciye erişebildi ve veri üretiminde gerçek dünyadaki sınırlara tabi değildi. Araştırmacılar, bu özel verilerin kendiliğinden ortaya çıkmasının beklenmediğini söylüyor. Daha gerçekçi koşullarda ayrıca çalışma yapılması gerekiyor.

Neden önemli?

Model geliştiricileri, eğitim verisini süzmek için tek tek örneklere bakan sistemler kullanabilir. Fakat her satırın görünümü, verinin tamamının modelde oluşturacağı etkiyi tek başına anlatmayabilir. Araştırma ekibi, yöntemi gelecekte güvenlik denetleyicilerini stres testinden geçirmek ve iyileştirmek için kullanmayı öneriyor; bunun tek başına bütün eğitim risklerini çözdüğü gösterilmiyor.

Anthropic’in etkileşimli veri kümesi haritası ve araştırma sayfasındaki etkileşimli örnekler kaynakta incelenebilir. Aşağıdaki harita önizlemesi ve bütün ayrı grafikler şirketin yayımladığı görsellerdir; sonuçları deney düzeneğiyle birlikte değerlendirmek gerekir. Kaynakta etkileşimli örnekler ayrıca bağlantılıdır.

Claude Code’un ayrı bir ürün güvenliği konusu için Cursor eklenti olayı haberine bakabilirsiniz; bu araştırma o olayla ilgili değildir.

Kaynağın görselleriyle yakından bak

Aşağıdaki görseller kaynak yayıncıya aittir. Grafiklerdeki sonuçlar bağımsız testimiz değildir; ilgili açıklamayla birlikte okunmalıdır.