Kameralar için rekabetin yeni dönemi: yarışın özü, anlama yeteneklerinde yatıyor.

Beni ikna eden gösteri, kendi ellerimle inşa ettiğim bir sanat galerisinde gerçekleşti.

Rehber ekibi sağlayamadığımız için, onların yerini alacak bir yan proje geliştirdim. Herhangi bir giriş kutusu veya yazılacak bir şey yoktu. Telefonunuzu bir şeye doğrultuyordunuz ve size neye baktığınızı söylüyordu. Sonra sergi sona erdi, ama insanlar yine de kullanmaya devam etti.

Onu binalara, çiçeklere, çocuklarının oyuncaklarına, sokaktaki posterlere yönlendirdiler ve bunların hiçbirinin sergiyle bir ilgisi yoktu.

Kimse onlardan bunu istemese de, kameranın onlara dünyayı açıklayabilmesi gerektiğine karar verdiler.

Bu beklentiyi karşılamak artık sektörün sorumluluğunda ve bu durum, yapay zekanın eğitim probleminden çıkarım problemine doğru kaydığı bir dönemde ortaya çıkıyor; burada asıl işin büyük kısmı, birisi telefonunu işbirliği yapmayan gerçek dünyaya doğrulturken cihazın kendisinde yapılıyor.

Bir mankenin bir kadrajdan beklediği şeyler, gözünüzün beklediğinden farklıdır: dayanabileceği kenarlar ve çekim parlamayla veya bulanıklıkla dolu olduğunda yeniden kazanabileceği bir yapı. Bir fotoğrafın güzel görünmesini sağlayan renkler ve kontrast, bir manken için genellikle bir engeldir.

İnsan gözüyle izlemek için istediğiniz sensör ile model için istediğiniz sensör farklı tasarımlar gerektirir.

Sensör artık bir algılama sorunu haline geldi ve gerçek zamanlı görüntüleme sistemleri geliştiren kişiler, tıpkı eskiden fotoğrafçıların endişelendiği gibi, bu konuyla ilgileniyorlar.

Sensör nereden geldi?

Eric Fossum tarafından 1990'ların başında geliştirilen aktif piksel CMOS sensörü, bugün neredeyse her cebimizde yetenekli bir kameranın bulunmasının nedenidir.

Daha sonraki çalışmaları tamamen farklı bir yöne evrildi: tek tek fotonları sayan kuantum görüntü sensörü. Bu gidişat, yapay zekanın şu anda neler yaptığını gösteriyor: bir insanın beğenebileceği bir kareyi yakalamaktan, makinenin işleyebileceği en temiz sinyali yakalamaya doğru ilerliyor.

Sensör bir algılama aracı haline gelir ve fotoğrafçılık da bu aracın kullanım alanlarından sadece biridir.

Akıl yürütme, işin doğasını neden değiştirir?

Çıkarım, sorunu acil kılan şeydir. Daha önce, yapay zeka esas olarak eğitimle ilgiliyken, kameranın rolü dolaylıydı: daha sonra kategorize edilecek ve öğrenilecek verileri yavaş bir tempoda üretiyordu. Çıkarım yavaş değildir. Zaman açısından hassas yapay zeka uygulamalarında olduğu gibi, yetersiz güce sahip ve zaten aşırı ısınmış bir cihazda canlı olarak gerçekleşir.

Bir sistemin, kamera hala ona doğrultulmuşken bir şeyi tanıması ve çok geç olmadan tepki vermesi gerektiğinde, en zayıf halka modele giden kısımdır ve bu da ürünün yapabileceklerinin sınırını belirler.

Sektörün bir kısmı hala yanlış şeye bahis oynuyor. Varsayım, yeterince büyük bir modelin kameranın beslediği her şeyi temizleyeceği yönünde. Bunun iki yıldır ürün yol haritalarını engellediğini gördüm ve bunun fizik yasalarına karşı geçerli olduğunu düşünmüyorum.

Hiçbir boyutlandırma modeli, hareket bulanıklığı veya parlamayla zaten yok edilmiş ayrıntıları veya model kareyi görmeden önce güzellik öncelikli bir işlemle atılan ayrıntıları geri getiremez. Darboğaz artık yukarıya, sensöre ve sensör ile model arasında kalan kısma doğru kayıyor.

Bu cihazlar aslında ne işe yarıyor?

Bazı sensörler artık işlemenin bir kısmını çip üzerinde gerçekleştiriyor, böylece ilk hesaplamalar veriler piksel dizisinden ayrılmadan önce gerçekleşiyor. Bazen nöromorfik olarak da adlandırılan olay tabanlı sensörler, sahnenin yalnızca değişen kısımlarını kaydediyor; bu da tam kare akışına kıyasla gerçek zamanlı algılama için çok daha uygun. Küresel deklanşörler de makine okumalarını bozabilecek hareket bozulmalarını azaltarak yardımcı oluyor.

Gökyüzünü çarpıcı bir şekilde görüntülemek için uzun zamandır tasarlanmış olan yüksek dinamik aralık (HDR) teknolojisi bile, artık modelin yüksek kontrastta net bir şekilde okuyabileceğiyle eşleşecek şekilde yeniden kalibre ediliyor. Farklılıklarına rağmen, bu teknolojilerin hepsi aynı yöne işaret ediyor: modelin işleyebileceği bir dünya versiyonuna doğru.

Tanımlamadan sonuca kadar

En sezgisel şey görsel aramayı geliştirmektir: kamerayı bir şeye doğrulttuğunuzda etiketlenir. Ancak telefonunuzu bir menüye doğrulttuğunuzda, ne yiyeceğinize karar vermenize yardımcı olacak bir şey istersiniz; bir postere doğrulttuğunuzda ise, faydalı bir adım etkinliği takviminize kaydetmek olabilir. Nesne tanıma sadece başlangıç ​​noktasıdır. Ürünün özü, bundan sonra ne olması gerektiğini bilmekte yatar. İşte burada sensör, sadece bilgi yakalamanın ötesine geçerek, daha uzun bir yorumlama zincirinin ilk halkası haline gelir.

Aslında bir kamera ürünü üretmeyi hiç düşünmemiştim; tek bir sergi için rehber tutmaktan kaçınmanın ucuz bir yolu olarak başlamıştı. Ancak bu küçük proje bana bu içgüdünün zaten var olduğunu öğretti. Kamera dünyasındaki bir sonraki zorluk, tüm sistemle ilgili olacak: sensör, görüntü işleme yolu, çevresel hesaplama , model biçimlendirme ve sistemin nihayetinde ne yaptığı.

Donanım üreticileri yıllardır görüntü kalitesini iyileştirmek için çalışıyorlar ve çıkarım kalitesini de aynı ciddiyetle ele almak zorunda kalacaklar. Yazılım geliştiriciler, sinyal yakalamayı başkasının sorunu olarak ele alamazlar: bir sinyalin nasıl yakalandığı ve yönlendirildiği, kullanıcı onu görmeden çok önce sonucu şekillendirir. Gerçek zamanlı algılamaya daha derinlemesine indikçe, donanım ve yazılım arasındaki eski sınırlar daha az önem kazanıyor.

Burada hâlâ yeni girişimler için yer var. Avantajları, sorunu büyük oyuncular tartışmayı bitirmeden önce formüle etme hızında yatıyor. Genel modelin savunulması giderek zorlaşıyor. Soru şu: Tek bir sistem aynı olayı görebilir, önceden düşünebilir ve ona göre hareket edebilir hale geldiğinde ne olacak ve tam işlevli bir ürünle oraya ilk kim ulaşacak?

İnsan gözleri mi, yoksa makine zihinleri mi?

Tahminimce önümüzdeki birkaç yıl şirketleri iki kampa ayıracak: insan gözü için performansı optimize edenler ve makinenin okuması gerekenler için performansı optimize edenler. Amiral gemisi bir telefonda, bu hedefler hala yeterince örtüşüyor ve aradaki farkı gizliyor.

Ancak bir strateji olarak bu hedefler şimdiden birbirinden ayrılmaya başladı. En sürdürülebilir konum, kaotik gerçek dünyayı makinenin çıkarabileceği en temiz sinyale dönüştürebilenin konumu olacaktır.

Bu, sensörle başlar.

En iyi kameralı telefonları inceledik, değerlendirdik ve sıraladık.