Gemini API Computer Use genel erişimde: Ekranı gören ajanlar nasıl çalışıyor?

Editoryal önem · Önemli: Genel API erişimi, ekran üzerinden çalışan ajanları geliştiren ekipler için ürün durumunu ve güvenli uygulama sorumluluğunu önemli hale getiriyor.

Diğer konular: Geliştiriciler · Gizlilik ve Güvenlik ·

Bir yapay zekâ modeli, ekran görüntüsüne bakarak arayüzde hangi işlemin sırada olabileceğini söyleyebilir. Ama gerçek sayfanın açılması, tıklamanın uygulanması ve sonuç ekranının geri gönderilmesi için ayrıca bir uygulama gerekir. Google’ın 30 Ekim sürüm notu, bu döngüde kullanılan Computer Use aracının iki Gemini API yüzeyinde genel erişime geçtiğini belirtiyor.

Ne değişti?

Computer Use artık hem Interactions API hem de GenerateContent API için genel erişim durumunda. Bu bir model lansmanı değil; desteklenen modellerle kullanılan bir araç özelliğinin erişim durumu. Google’ın belgeleri, Gemini 4 Argon ve 3.x ailesinden desteklenen örnekleri listeliyor; araç desteği seçilen model ve hesap koşullarına göre güncel belgelerden kontrol edilmeli.

Google, 2026 Haziran’ında Gemini 3.5 Flash için herkese açık önizleme desteği duyurmuştu. 30 Ekim genel erişim kaydı, bu önceki önizlemenin yerini gösteriyor; tüm özelliklerin ilk kez o gün geliştirildiği anlamına gelmiyor. Aynı şekilde duyuru, Gemini tüketici uygulamasındaki her hesaba bilgisayar kontrolünün açıldığını söylemiyor.

Ajan ekranda nasıl işlem yapıyor?

1. Geliştiricinin uygulaması görevi ve mevcut ekran görüntüsünü modele gönderir.
2. Model; tıklama, kaydırma veya yazma gibi önerilen bir arayüz eylemi döndürür.
3. İstemci uygulaması izin verilen eylemi kendi çalıştırma ortamında uygular.
4. Yeni ekran görüntüsü modele gönderilir; görev tamamlanana veya durdurulana kadar döngü sürer.

Google’ın belgelediği ortamlar tarayıcı, mobil ve masaüstünü kapsıyor. Arayüz testleri veya tekrar eden form işlemleri gibi işler için kullanılabilir; işin gerçekten doğru tamamlanması yine uygulama tarafından denetlenmelidir. Kaynak diyagramı bu döngüyü görsel olarak özetliyor.

Güvenlik ve erişim sınırları

Google, ayrı bir sanal makine veya konteyner gibi yalıtılmış ortam kullanılmasını öneriyor. Yanıtta bir güvenlik kararı bulunabilir: uygulama, engellenen eylemi durdurmalı; require_confirmation durumunda kullanıcı onayı istemeli. Web sayfaları ve ekranlar modele yönelik kötü niyetli talimatlar içerebilir. Google’ın ekran görüntülerindeki talimat saldırılarını tarama özelliği isteğe bağlı ve varsayılan olarak kapalıdır.

Ödeme, mesaj gönderme veya hesap değiştirme gibi önemli işlemlerde açık yetki, dar kapsamlı hesaplar ve kayıt tutma pratik önlemlerdir. Google ayrıca kritik kararlar, hassas veriler veya ciddi hataları geri alınamayan işler için bu yeteneği kullanmamayı öneriyor.

Genel erişim, her bölge ve hesapta aynı kota veya fiyatın geçerli olduğunu göstermiyor. Model token’ları ve kullanılan çevre altyapısı için güncel fiyat ve koşulları uygulama kurulmadan kontrol etmek gerekir. CLI üzerinden Gemini iş akışları için Gemini API CLI haberini okuyabilirsiniz; CLI ile Computer Use aynı ürün değildir.

Kaynağın görselleriyle yakından bak

Aşağıdaki görseller kaynak yayıncıya aittir. Grafiklerdeki sonuçlar bağımsız testimiz değildir; ilgili açıklamayla birlikte okunmalıdır.