Web siteleri için ortak YZ eğitim tercihi: robots.txt taslağı ne getiriyor?

Editoryal önem · Yüksek öncelik: Ortak bir tercih sinyali, yayıncıların model eğitimi kararlarını birden fazla sağlayıcıya iletme biçimini değiştirebilir.

Diğer konular: Gizlilik ve Güvenlik · Geliştiriciler ·

Bir yayıncı, sitesinin içeriğinin model eğitiminde kullanılmasını istemediğinde bugün farklı sağlayıcıların farklı kontrollerini takip etmek zorunda kalabiliyor. 30 Ekim’de sunulan öneri, aynı tercihi destekleyen şirketlere tek bir ortak sinyalle iletmeyi amaçlıyor. Taslak, Anthropic’ten Kevin Kelley tarafından sunulmuş bireysel bir Internet-Draft; IETF tarafından onaylanmış tamamlanmış bir standart değil.

Önerilen sinyal nasıl çalışıyor?

Taslak, mevcut robots.txt söz dizimiyle __usage_ai-training adlı bir politika belirteci tanımlıyor. Aşağıdaki örnek, taslağa göre sitenin tamamı için üretken YZ eğitimine karşı bir tercih ifade eder:

User-Agent: __usage_ai-training
Disallow: /

Yol bazında farklı tercihler de tanımlanabiliyor. Taslağa göre yalnızca User-Agent: * kullanmak bu özel tercihi ifade etmiyor. Sinyal bir erişim engeli değil: içeriğin kullanımına dair tercihi belirtir; bir botun sayfayı getirip getiremeyeceği kendi tarayıcı kurallarıyla ayrıca yönetilir. Bir tercihin etkisi sağlayıcının uygulamasına bağlıdır; uymayan toplayıcıları teknik olarak durdurmaz ve eski eğitim verilerinin silindiğini göstermez.

Kim, ne zaman uygulayacak?

• Google, 2027’de desteklemeyi hedefliyor. Google-Extended açıkça belirtilmemişse ortak ret sinyalini Google-Extended engeli gibi yorumlamayı planlıyor. Bu ilişki, Gemini Apps gibi yüzeylerde web içeriğinden yararlanma tercihini de etkileyebilir; Google’ın kendi açıklaması ayrıca okunmalı.
• OpenAI, gelecek aylarda uygulamayı hedefliyor; mevcut tarayıcı kontrollerinin devam edeceğini söylüyor.
• Microsoft, 1 Şubat 2027’den itibaren yeni tercihleri yeniden taradıkça uygulamayı planlıyor. Şirket, eğitimden ayrı olarak sayfa düzeyinde yanıtların web içeriğiyle temellendirilmesi için de kontrol tanımlıyor. 1 Mart 2027’den sonra eski NoArchive/NoCache değerlerini eğitim veya grounding tercihi olarak okumayacak; geçiş kapsamındaki yayıncılar grounding kısıtını korumak için sayfa tercihi yanında Bing Webmaster Tools’ta geçici tercihi de belirlemeli.
• Anthropic, taslağın yazarı aracılığıyla desteği geliştirmeye başladığını, hizmetlerin tamamına yaymanın zaman alacağını bildirdi; kesin tamamlanma tarihi vermedi.

Eğitim, model parametrelerinin güncellenmesiyle ilgilidir. Grounding, bir yanıt oluşturulurken güncel içeriğin dayanak olarak kullanılmasıdır. İki kararın arama sonuçlarında listelenme, bot erişimi ve kaynak gösterilmesiyle ilişkisi her sağlayıcıda aynı değildir.

Yayıncılar bugün ne yapmalı?

Mevcut robots.txt ve bot güvenlik kurallarını envantere alın; her sağlayıcının geçerli belgelerini ve yeni sinyalin etkinleşme tarihini izleyin. Google-Extended gibi özel kuralların önceliğini ayrıca kontrol edin. Microsoft’un geçiş açıklamasındaki tarihleri ve sayfa düzeyindeki tercihleri kendi siteniz açısından değerlendirin. Bu haber, Yapayzeka360’ın kendi robots.txt politikasının değiştirildiği anlamına gelmez.

Ağ erişimini ayrı yönetme örneği için Vercel AI Bots haberine bakabilirsiniz. Firewall engeli, eğitim tercihi ve lisans sözleşmesi birbirinin yerine geçmez.