Giga ML: İşletmeler İçin Yerel LLM Dağıtımının Öncüsü
Yapay zeka, özellikle metin üreten yapay zeka, yani büyük dil modelleri (ChatGPT gibi modelleri düşünün), büyük bir ilgi görüyor. Yaklaşık 1000 işletme örgütü üzerinde yapılan bir ankette, katılımcıların %67.2’si, büyük dil modellerini (LLM’ler) 2024 başlarına kadar öncelikli olarak benimsemeyi planladıklarını belirtti.
Ancak, özelleştirme ve esneklik eksikliği, şirket bilgisi ve fikri mülkiyetin korunamaması gibi engeller, birçok işletmenin LLM’leri üretime dahil etmesini engelliyor.
Bu durum, Varun Vummadi ve Esha Manideep Dinne’yi şirketlerin LLM benimseme zorluğuna bir çözüm aramaya itti. Bu amaçla Giga ML adında, şirketlerin LLM’leri yerinde (on-premise) dağıtabilecekleri bir platform geliştiren bir startup kurdular. Bu yaklaşım, maliyetleri düşürmeyi ve gizliliği korumayı hedefliyor.
Vummadi:
Veri gizliliği ve LLM’lerin özelleştirilmesi, işletmelerin LLM’leri sorun çözme amaçlı benimserken karşılaştıkları en büyük zorluklardan bazılarıdır” dedi. “Giga ML, bu iki zorluğu da ele alıyor.”
Giga ML’nin Kuruluşu ve Hedefleri
Giga ML, kod üretme ve yaygın müşteri sorularını yanıtlama (örneğin, “Siparişim ne zaman gelecek?”) gibi görevler için “X1 serisi” adında kendi LLM setini sunuyor. Startup, bu modellerin, Meta’nın Llama 2 modeli üzerine inşa edildiğini ve diyaloglar için MT-Bench test setinde popüler LLM’leri bazı ölçütlerde geride bıraktığını iddia ediyor.
Ancak X1’in niteliksel olarak nasıl bir performans gösterdiği belirsiz; rapor yazarı Giga ML’nin çevrimiçi demosunu denedi ancak teknik sorunlarla karşılaştı.
Vummadi, Giga ML’nin asıl amacının en iyi performans gösteren LLM’leri yaratmak değil, işletmelerin yerel olarak LLM’leri ince ayar yapmalarını sağlayacak araçlar geliştirmek olduğunu belirtti.
“Şirketlerin kendi yerinde altyapılarında veya sanal özel bulutlarında LLM’leri güvenli ve verimli bir şekilde dağıtmalarına yardımcı olmak Giga ML’nin misyonudur.”
dedi Vummadi. “Giga ML, eğitim, ince ayar ve LLM’leri çalıştırma sürecini kolay kullanımlı bir API aracılığıyla basitleştiriyor ve bu süreçteki her türlü zahmeti ortadan kaldırıyor.”
Vummadi, modellerin çevrimdışı çalıştırılmasının gizlilik avantajlarını vurguladı. Bu avantajlar, bazı işletmeler için ikna edici olabilir.
Giga ML’nin Pazar Analizi ve Gelecek Planları
Predibase, düşük kodlu bir yapay zeka geliştirme platformu, şirketlerin dörtte birinden azının hassas veya mülki verileri satıcılarla paylaşma endişeleri nedeniyle ticari LLM’leri kullanmaktan rahat olduğunu buldu. Ankete katılanların neredeyse %77’si, gizlilik, maliyet ve özelleştirme eksikliği gibi sorunlar nedeniyle ticari LLM’leri prototiplerin ötesinde üretimde kullanmadıklarını veya kullanmayı planlamadıklarını belirtti.
“C-suite seviyesindeki BT yöneticileri, LLM’lerin güvenli yerinde dağıtımı, belirli kullanım durumlarına göre özelleştirilebilir modeller ve hızlı çıkarım nedeniyle Giga ML’nin tekliflerini değerli buluyor” dedi Vummadi.
Giga ML, şu ana kadar Nexus Venture Partners, Y Combinator, Liquid 2 Ventures, 8vdx ve birkaç diğerinden yaklaşık 3,74 milyon dolarlık sermaye fonu topladı. Şirket, yakın zamanda iki kişilik ekibini büyütmeyi ve ürün Ar-Ge’sini hızlandırmayı planlıyor. Sermayenin bir kısmı, şu anda finans ve sağlık sektörlerindeki adı açıklanmayan “kurumsal” şirketleri içeren Giga ML’nin müşteri tabanını desteklemek için de kullanılacak.
