Google’ın Gemini’ye ilişkin ilk izlenimler pek iyi değil!
Bu hafta Google, aralarında Google’ın ChatGPT rakibi Bard‘ın da bulunduğu bir dizi ürün ve hizmete güç verecek yeni amiral gemisi üretken yapay zeka modeli Gemini‘yi tanıttı . Blog gönderilerinde ve basın materyallerinde Google, Gemini’nin üstün mimarisini ve yeteneklerini övdü ve modelin OpenAI’nin GPT-4’ü gibi diğer önde gelen nesil yapay zeka modellerinin performansını karşıladığını veya aştığını iddia etti .
Ancak anekdot niteliğindeki kanıtlar aksini gösteriyor.
Gemini’nin “lite” bir versiyonu olan Gemini Pro, dün Bard’da yayınlanmaya başladı ve kullanıcıların bu sürümle ilgili hayal kırıklıklarını X’te (eski adıyla Twitter) dile getirmeye başlaması çok uzun sürmedi.
I'm extremely disappointed with Gemini Pro on Bard. It still give very, very bad results to questions that shouldn't be hard anymore with RAG.
A simple question like this with a simple answer like this, and it still got it WRONG. pic.twitter.com/5GowXtscRU
— Vitor de Lucca 🏳️🌈 / threads.net/@vitor_dlucca (@vitor_dlucca) December 7, 2023
Gemini Pro’nun geçen yıl En İyi Erkek Oyuncu ödülünü kazandığını, gerçek kazanan Brendan Fraser’ın değil, Brendan Gleeson’un yanlış olduğunu iddia ettiğini unutmayın.
Modele aynı soruyu sormayı denedim ve tuhaf bir şekilde farklı bir yanlış cevap verdi:
Geçen yıl En İyi Belgesel Ödülünü “Tüm Güzellik ve Kan Dökülmesi” değil “Navalny” kazandı; “Batı Cephesinde Her Şey Sessiz” En İyi Uluslararası Film ödülünü kazandı; “Kadınlar Konuşuyor” En İyi Uyarlama Senaryo ödülünü kazandı; ve “Pinokyo” En İyi Uzun Metrajlı Animasyon Film ödülünü kazandı. Bu çok fazla hata demek.
Çeviri de Gemini Pro’nun güçlü yanı gibi görünmüyor. Fransızcada altı harfli bir kelime bulmakta zorlanıyor:
FYI, Google Gemini is complete trash. pic.twitter.com/EfNzTa5qas
— Benjamin Netter (@benjaminnetter) December 6, 2023
Aynı soruyu Bard’a yönelttiğimde (“Bana Fransızcada 6 harfli bir kelime verebilir misin?”), Gemini Pro beş harfli bir kelime yerine yedi harfli bir kelimeyle yanıt verdi – bu da hakkındaki raporlara bir miktar güven veriyor. Gemini’nin zayıf çoklu dil performansı.
Haberleri özetlemeye ne dersiniz? Elbette Gemini Pro, Google Arama ve Google Haberler’in emrindeyken güncel bir konunun özetini verebilir mi? Şart değil.
Aynı istemi denedim ve çok benzer bir yanıt aldım. ChatGPT ise aksine, haber makalelerinden alıntılar içeren bir madde işareti listesi özeti sunar:
Bunların yanı sıra ilginç bir şekilde Gemini Pro, Ukrayna’daki savaşla ilgili güncellemelerin bir özetini sundu . Ancak bilgiler bir aydan fazla güncelliğini kaybetmişti. Ve daha birçok konuda Gemini Pro’nun eksik yanları fark edildi. X’de de (Twitter) fazla sayıda konuya ilişkin paylaşımlar yer aldı.
Gemini Pro, Gemini’nin en yetenekli versiyonu değil; bu model olan Gemini Ultra’nın gelecek yıl Bard ve diğer ürünlerde piyasaya sürülmesi planlanıyor. Google, Gemini Pro’nun performansını GPT-4’ün öncülü olan ve yaklaşık bir yıllık bir model olan GPT-3.5 ile karşılaştırdı.
Ancak Google yine de, Gemini Pro’nun içeriği özetleme, beyin fırtınası yapma ve yazma konusunda daha iyi olduğunu iddia ederek, Bard’ı destekleyen önceki modele göre Gemini Pro ile akıl yürütme, planlama ve anlama konusunda iyileştirmeler vaat etti. Belli ki bu departmanlarda yapılacak işler var. Hepimiz bekleyip yeni gelişmeleri yakından takip edeceğiz…
Son günlerin trend konusu Google Bard AI’ya dair detaylı bilgi için yazımıza göz atabilirsiniz.
“Google Bard Nedir? Bilmeniz Gereken Her Şey…”
Yapay zeka gündemine dair daha fazla haber ve içerik için YapayZeka 360‘ı takip edebilirsiniz.
