Intel–Oracle YZ altyapı planı: Xeon, OCI X14 ve ajan iş yükleri

Editoryal önem · Önemli: Ajan işlerinin uygulama, veri ve çıkarım katmanlarında CPU kapasitesini ele alıyor; planlanan X14 erişimi mevcut ürünle karıştırılmamalı.

Bir YZ modelinin cevap üretmesi, kurumsal görevin tamamının yalnız model sunucusunda yürütüldüğü anlamına gelmez. Uygulamalar, veri erişimi, araç çağrıları ve güvenlik kontrolleri de işlem kapasitesi kullanır. Intel–Oracle planı bu katmanlarda CPU’nun rolünü öne çıkarıyor.

Mevcut hizmet ile gelecekteki X14

Duyuru mevcut ve gelecek Xeon platformlarında kapasite planlamasını anlatıyor. Diamond Rapids kod adlı sonraki sunucu işlemcisine dayalı OCI X14 seçenekleri planlanan ürünler olarak geçiyor. Bugün kullanılabilen Xeon tabanlı OCI hizmetleriyle aynı erişim durumuna sahip değiller.

Kaynak mevcut hizmetlerde esnek CPU/bellek seçenekleri ve Oracle Acceleron ağını anıyor. Gelecek ürünün açıklanan yönü ise kapasiteyi ve işlemci yeteneklerini daha geniş YZ iş yükleriyle eşleştirmek. Kesin dağıtım günü veya X14 fiyatı burada doğrulanmıyor.

Teknik yetenekler neyi hedefliyor?

Planlanan gelişmeler arasında FP8, FP16 ve BF16 destekli Intel AMX ile uygulamalardaki komut yükünü azaltmayı hedefleyen Intel APX sayılıyor. Kaynak embedding üretimi, yeniden sıralama ve daha küçük model çıkarımı gibi örnekler veriyor.

Bu özelliklerin adlarını bilmek, mevcut uygulamanın otomatik olarak hızlanacağını göstermez. Çıkarım yazılımının ve kütüphanelerin bu donanımı kullanması gerekir. Bir ajanın toplam süresi, model dışındaki veri kaynağının bekleme süresiyle de sınırlanabilir.

Altyapı kararına nasıl çevrilir?

YZ360 önerisi: İş akışını model çağrısı, veri erişimi ve uygulama yürütme olarak ölçün. Her adımda süreyi ve kaynak kullanımını ayırın. Darboğaz veri taşıma veya sıralama ise yalnızca model hızını artırmak aynı oranda toplam kazanç getirmeyebilir.

Kaynak, uygulama hizmetleri ve ajan yürütmesinin büyük modelleri çalıştıran hızlandırıcılardan bağımsız ölçeklenebilmesini anlatıyor. Bunun her iş yükünde daha ucuz olduğu sonucunu çıkarmıyoruz. İş birliği metni ileriye dönük beklentiler taşıyor ve gerçekleşmeyebilecek planları ayrıca işaretliyor.

Erişim ve karşılaştırma sınırı

Bu bir model lansmanı veya kullanıcıya açılmış yeni sohbet uygulaması değil. Satın alma kararı için mevcut OCI seçenekleriyle planlanan X14’ü ayrı değerlendirin. Diğer bir altyapı ortaklığının bağlamı için NVIDIA–Meta Muse yazısına bakın.