Copilot Vision ile deneyimim: Garip bir his, ama bir bakıma faydalı - işte benim fikrim

ABD'deki kullanıcılar artık Windows 11'de (ve 10'da) PC'nizde yaptığınız hemen hemen her şeyde size yardımcı olan bir yapay zeka asistanı olan Copilot Vision'ı kullanabilir. Gerçekten işe yarayıp yaramadığını mı merak ediyorsunuz? Ben denedim ve bu kılavuzda bu özelliğin neler sunduğunu, nasıl edinebileceğinizi ayrıntılı olarak açıklayacağım ve bununla ilgili kişisel deneyimimi paylaşacağım.

Copilot uygulamasında özellik şu şekilde: "Vizyon" Ekranınızı bir sohbet robotuyla paylaşmanıza ve ekranınızda ne olduğunu görmesine ve yorumlamasına olanak tanıyan bir özellik. Uygulamalarınızda veya tarayıcınızda görüntülenen içeriğe göre gerçek zamanlı yardım, yanıtlar ve içgörüler sağlayarak ikinci bir çift göz görevi görür.

Bu da isteğe bağlı bir özelliktir, bu nedenle Copilot sürüm 1.25061.104.0 ve sonrasında bunu manuel olarak etkinleştirmeniz gerekir. Bir tarayıcı kullanıyorsanız Microsoft KenarAyrıca Copilot entegrasyonu üzerinden de bu özelliğe erişebilirsiniz.

Yapay zekanın, DRM korumalı materyal veya başka bir tür kısıtlanmış içerik olmadığı sürece hemen hemen her türlü içeriği görüntüleyebileceğini belirtmek önemlidir.

Bu özellik aboneliği olmayan herkesin kullanımına açıktır. Yardımcı Pilot Pro Windows 10 ve 11'de. Copilot Vision'a iOS ve Android'den de erişebilirsiniz, ancak bu mobil cihazlarda kullanmak için bir aboneliğe ihtiyacınız olacak.

Bu kılavuzda, bu özelliği kullanmaya başlamak için gereken adımları ana hatlarıyla açıklayacağım ve deneyimlerimi paylaşacağım.

Windows 11'de Copilot Vision nasıl edinilir ve etkinleştirilir

Copilot Vision şu anda Amerika Birleşik Devletleri'nde Copilot uygulama sürümü 1.25061.104.0 ve üzeri ile başlayarak mevcuttur. Bu nedenle, ilk adım Microsoft Store uygulamasını açmak, "İndirmeler ve Güncellemeler" bölümüne gitmek ve bilgisayarınıza uygulamanın en son sürümünün yüklendiğinden emin olmak için "Güncellemeleri Al" düğmesine tıklamaktır. Bu adım, cihazınızın yeni özelliklerle uyumlu olduğundan ve Copilot'un genel performansını iyileştirdiğinden emin olmak için gereklidir.

Daha önce kaldırdıysanız uygulamayı Microsoft Store'dan edinebilirsiniz. Mağazada Copilot'u arayın ve tüm özelliklerinin keyfini çıkarmak için yükleyin.

Microsoft, Vision'ın isteğe bağlı bir özellik olduğunu açıklıyor, bu teknik olarak doğru çünkü ekranınızı paylaşma izni vermeniz gerekiyor. Ancak, ayarlar sayfasında özelliği tamamen kapatma seçeneği olmadığından varsayılan olarak kullanılabilir. Bu, uygulamayı güncellediğinizde Vision'ın kullanıma hazır olacağı ancak ekran içeriğine erişmeden önce açık izninizin gerektiği anlamına gelir.

Copilot ayarları sayfasında yalnızca "Önemli Noktalar"ı açma ve kapatma seçeneğini bulacaksınız, ancak bu özellik yalnızca AI'nın ekrandaki eylemleri görsel olarak belirtme yeteneğini kontrol eder. Uygulamada özelliğin kullanılabilirliğini kontrol etmez. Başka bir deyişle, "Önemli Noktalar"ı devre dışı bıraksanız bile, Vizyon özelliği yine de kullanılabilir olacak, ancak ekrandaki görsel öğeleri vurgulamayacaktır.

Genel olarak Copilot kullanma fikrinden rahatsızsanız, Ayarlar > Uygulamalar > Yüklü Uygulamalar'dan uygulamayı kaldırmanız ve "Kaldır" seçeneğine dokunarak "Copilot"a girmeniz en iyisidir. Bu, uygulamayı cihazınızdan tamamen kaldıracak ve verilerinize veya sistem kaynaklarınıza erişmesini engelleyecektir.

Windows 11'de Copilot Vision'ı Kullanma Deneyimim: İlk Bakış

Copilot Vision ile Windows 11'deki ilk etkileşimim biraz garip geldi, çünkü daha önce hiç deneyimlemediğim bir paradigma değişimini temsil ediyordu. Bağlamı belirlemek için ayrıntılı metin veya sesli komutlar formüle etmek yerine, Copilot'un akıllı asistanı bağlamı otomatik olarak anlıyor ve bu da anında ve etkili yardım sağlamasını sağlıyordu. Belirli talimatlar gerektirmeden bağlamı anlama yeteneği, bilgisayarlarla etkileşim kurma şeklimizde önemli bir değişimi temsil ediyor.

Copilot Vision'ın doğruluğu hala geliştirilme aşamasında olsa da, bilişimin geleceğine dair erken bir bakış sunuyor. Bilgisayarın, belirli komutları yürüttüğümüz basit bir araç olmaktan ziyade, ihtiyaçlarımızı anlayan ve öngören akıllı bir ortak haline geldiği, daha sorunsuz ve entegre bir bilişim deneyimine doğru umut verici bir adımı temsil ediyor. Bu teknoloji, çalışma, yaratma ve öğrenme şeklimizi kökten değiştirme potansiyeline sahip.

Copilot Vision'a Başlarken

Copilot Vision'ın bilgisayarımda mevcut olduğunu doğruladıktan sonra, onu test etmeye başladım. Birkaç uygulama açtım, sonra da Yardımcı pilot Başlat menüsünden. Sonra, düğmeye tıklayın "Vizyon" (Gözlükler) seçeneğine dokunun, ardından Copilot ile paylaşmak istediğiniz uygulamayı seçin ve seçeneği etkinleştirin "Paylaş".

Uygulama ile ilgili test sorusu

Not Defteri'ni kullanırken Copilot'a uygulamanın varsayılan yazı tipini nasıl değiştireceğimi göstermesini istedim ancak yanlış bir cevap verdi.

Yardımcı pilot listeye göz atmayı önerdi. "Görünüm" (Görünüm), ancak bu seçenek bu konumda mevcut değildi. Bunun nedeni, Not Defteri'nin mevcut tasarımına göre, yazı tipi değiştirme ayarlarının menüden erişilebilen Ayarlar sayfasında yer almasıdır. "Düzenle" (Düzenle) veya düğmeye tıklayarak "Vites" (dişli) Uygulamanın sağ üst köşesinde yer almaktadır.

Sonunda, Copilot kademeli bir eleme süreciyle doğru cevaba ulaştı. İlginç bir şekilde, sohbet robotu, Not Defteri'nin farklı sürümlerini karıştırdığı için bir hata yaptığını belirtti. Ancak, menüde yazı tipi ayarları olan herhangi bir Not Defteri sürümünü hatırlamıyorum. "Görünüm" (Göster) hiç. Bu, Copilot'un güncel olmayan veya yanlış bilgilere dayanmış olabileceğini düşündürmektedir.

Test Sorusu Ayarları

Test sürecinin bir parçası olarak, Windows 11'de Ayarlar uygulamasını başlattım ve ardından Copilot'tan bilgisayarımı en son sistem güncellemeleriyle güncellemesini istedim.

Bu durumda mümkün oldu Microsoft Yardımcı Pilotu Vision ile Ayarlar uygulamasının içinde olduğumu doğru bir şekilde belirledi. Beni tam olarak bölüme yönlendirdi "Windows güncelleme" Ve düğmeyi vurguladı "Güncellemeleri kontrol et".

Sonra, daha az yaygın (ama yine de alakalı) bir komut sundum. Güncelleme işlemi sırasında bilgisayarımın diğer cihazlara güncellemeleri indirmesini nasıl önleyeceğimi sordum. Bu özellikle karmaşık bir istek olmasa da, asistanın daha incelikli kullanıcı niyetlerini yorumlama yeteneğini test etti.

İlk denemede, Vision sorguyu yanlış anladı ve genel cihaz güncelleme talimatlarına varsayılan olarak geçti. İkinci denemede, ifadelerimi düzelttikten sonra soruyu doğru bir şekilde tanıdı.

Ancak, rehberliği ekranda gördüğümle tutarsızdı. Örneğin, hiçbir işlem yapmamış olmama rağmen güncelleme paylaşım özelliğini başarıyla devre dışı bıraktığımı belirtti. Bu, asistanın canlı sistem durumunu gerçekten analiz etmek yerine beklenen davranışa dayalı varsayımlarda bulunduğunu gösteriyor. Bu, Microsoft Copilot'un kullanıcı bağlamını daha doğru bir şekilde anlama ve özellikle Windows 11 ayarları ve güncelleme seçenekleriyle ilgili olarak daha doğru ve güvenilir yanıtlar sağlama becerisini geliştirme ihtiyacını vurguluyor.

Element Tanıma Testi: Aşama 3

Bir sonraki testte Copilot'un ekrandaki görsel öğeleri tanıma yeteneğini test etmek istedim. Bunu yapmak için belirli bir resmi açtım ve Copilot'tan içindeki öğeyi doğru bir şekilde tanımlamasını istedim.

Bu durumda Copilot'a kırmızı bir ceket resmi gösterildi. Chatbot ürünü doğru bir şekilde tanımlayıp tanımlayabildi ve hatta talep üzerine ek ilgili bilgiler bile sağlayabildi. Bu, Copilot Vision'ın resimleri analiz etme ve içerikleri hakkında ayrıntılı bilgi sağlama yeteneğini göstermektedir.

Ancak, chatbot ceketin Amazon'da satışta olduğunu fark etmesine rağmen, görsel ayrı bir sekmede açık olsa bile, gerçek ürün sayfasına göz atmadığımı belirleyemedi. Sonuç olarak, bana Amazon'daki canlı ürün sayfası hakkında bilgi sağlayamadı. Bu, Copilot'un görsel bilgileri kullanıcının geçerli tarama bağlamıyla ilişkilendirme becerisindeki sınırlamaları düşündürmektedir.

Metin Çıkarma Testi

Copilot Vision'ın sunduğu bir diğer özellik de resimlerden metin çıkarımıdır. Daha önce, işletim sistemleri resimlerdeki metni algılayıp çıkaramıyordu, ancak artık bu görevi etkili bir şekilde gerçekleştirmek için birden fazla yöntem mevcuttur.

Örneğin, artık PowerToys aracılığıyla kullanılabilen Metin Çıkarıcı özelliği, Kesme Aracı gibi özel metin çıkarma araçlarına sahipsiniz. Yapmak için tıklayınArtık bu süreçte de Copilot Vision’a güvenebilirsiniz.

Bu özelliği test etmek için Ayarlar uygulamasını Oyun Modu sayfasına açtım ve Copilot'a mevcut metni çıkarıp çıkaramayacağını sordum. Akıllı bot sayfadaki tüm metni yüksek sesle okumayı başardı.

Karşılaştığım tek dezavantaj, Click to Do'da mümkün olduğu gibi, çıkarılan metni panoya kopyalayamamak veya metni doğrudan seçememekti. Ancak, bot her şeyi konuşma geçmişinin bir parçası olarak Copilot uygulamasına kopyaladı.

Metin Yazma Testi: Yapay Zekanın İçerik Analizi ve Optimizasyonundaki Yetenekleri

Teknik olarak, ekrandaki herhangi bir şey hakkında herhangi bir soru sorabilirsiniz. Örneğin, belirli bir dosya üzerinde çalışıyorsanız, AI'ya bir grafiği veya görüntülenen herhangi bir başka veri türünü analiz etmesini söyleyebilirsiniz.

Bu teknoloji ayrıca belirli bir sahnenin veya görüntünün açıklamasını istemenize, bir dönüm noktasını veya coğrafi konumu tanımlamanıza veya hayal edebileceğiniz başka bir şeye olanak tanır. Olasılıklar sonsuzdur.

Yazılı bir metin üzerinde çalışıyorsanız, AI'dan metni okumasını ve iyileştirme fikirleri önermesini isteyebilirsiniz. Bu özellik özellikle yazarlar, blog yazarları ve yazılarının kalitesini artırmak isteyen öğrenciler için faydalıdır.

Son testimde, Not Defteri'ne basit bir metin yükledim ve chatbot'tan bunu uzatmasını istedim. Orijinal metnin geliştirilmiş alternatif bir versiyonunu başarıyla önerdi.

Akıllı asistanın ekranda görüntülenen metni anlayıp alternatif bir versiyon önerme becerisi etkileyici olsa da, yapılması gereken sonraki eylemleri anlamada pek de isabetli değildi.

Metni doğrudan önerilenle kopyalayıp değiştirmenin mümkün olmadığını bilmeme rağmen, metnin değiştirilen versiyonunu kopyalayıp yapıştırmanın mümkün olup olmadığını sordum, ancak bunun yerine eklemem için dosyada bir bölüm gösterdi.

Buradaki çözüm Copilot Vision'ı açıp kapatmak, ardından Copilot arayüzünden sohbet geçmişinizden metin seçip kopyalamaktır. Bu, AI önerilerinden kolayca ve etkili bir şekilde yararlanmanızı sağlar.

Sonuç olarak

Uzun yıllardır rehber yazan biri olarak, bu teknolojinin ekran içeriğini anlama ve gerekli yardımı sağlama konusunda gerçekten etkileyici olduğunu düşünüyorum.

Ancak, çok fazla hata yaptığı ve gerçekleştirmek istediğiniz prosedür hakkında temel bir anlayışa sahip değilseniz çok faydalı olmayabileceği kabul edilmelidir. Başka bir deyişle, bundan en iyi şekilde yararlanmak için konuyla ilgili önceden bilgi sahibi olmak önemlidir.

Ek olarak, tam bir farkındalıkla hareket ediyor gibi görünse de, gerçekte, çevrimiçi olarak mevcut olan içeriği kopyalayan bir yapay zekadan ibarettir. Bu, yenilikçi bir araç olarak değerini azaltır.

Bazen, Copilot Vision'ı kullanmak telefonla teknik destekle konuşmak gibi hissettirir. Chatbot ekranı görebilse de, sizi bir teknik destek temsilcisinin yapacağı gibi yönlendirir ve genellikle görevi tamamlayıp tamamlamadığınızı anlamaz. Bu bağlamsal farkındalık eksikliği önemli bir zorluktur.

Ayrıca, çoğu durumda talimatlarınızda son derece spesifik olmanız gerekir, hatta sıklıkla gerçekleştirmek istediğiniz tam eylemi belirtmeniz gerekir. Bu, kullanıcının niyetini doğal olarak anlaması gereken bir AI'nın amacıyla temelde çelişir. Bu özelliğin öncelikle teknik olmayan kullanıcılar için tasarlandığını unutmamak önemlidir, çünkü teknik uzmanlığa sahip kişilerin buna güvenme olasılığı düşüktür.

Genel olarak, Vision kişisel asistanınız olarak umut vadetse de, daha derin bağlamsal farkındalığı ve doğruluğunun hala geliştirilmesi gerekiyor. Ekrandaki içeriğin mevcut durumunu etkin bir şekilde izlemek ve yanıtlamak yerine, komuta dayalı olarak "tahmin" ediyormuş gibi hissettiriyor. Bu, onu karmaşık senaryolarda daha az güvenilir hale getiriyor.

Son olarak, bu kılavuz için kullandığım belirli sorulardan bahsetmediğimi belirtmek önemlidir çünkü bunlar alakasız. Bir sohbet robotunun fikri, başka bir insanla konuşuyormuşsunuz gibi normal bir sohbet yürütmektir. Odak noktası, etkileşimin akıcılığı olmalıdır.

Ayrıca, bu özellik sizin adınıza işlem yapamaz. Yalnızca ekranınızdaki içerikleri analiz edebilir. İşlem yapmak için AI'nın bir ajan olması gerekir, ancak şu anda yalnızca Copilot+ PC'ler bu yeteneğe sahiptir ve Ayarlar uygulamasında sınırlı bir yeteneğe sahiptir.

Son olarak, özellik ücretsiz olmasına rağmen sınırlamaları var. Örneğin, bir Microsoft 365 aboneliğim olmasına rağmen, birkaç etkileşimden sonra uygulama bana Copilot Pro'ya yükseltmem gerektiğini söylüyor.

Yani, bir sorunu gideriyorsanız ve sürecin ortasındaysanız, düzeltmeyi tamamlaması için AI asistanına ödeme yapmanız istenebilir. Bu yaklaşım, ücretsiz yardıma güvenen kullanıcıları üzebilir.