Yapay zekanın sınırlamaları: Kendi ürettiği sonuçları değerlendiremez.

Yapay zekâ, yazılımın tasarlanma, yazılma ve test edilme biçimini hızla değiştiriyor . Geliştirme ekipleri artık yapay zekâyı kullanarak kod üretebiliyor, test senaryoları oluşturabiliyor, potansiyel hataları tespit edebiliyor ve tekrarlayan kalite güvence (KG) görevlerini, birkaç yıl öncesine kadar gerçekçi görünmeyen bir hızda otomatikleştirebiliyor.

Bu hız büyük önem taşıyor, ancak aynı zamanda kalite güvencesinde yeni bir sorun yaratıyor.

Aynı teknoloji türü hem yazılım oluşturmak hem de doğrulamak için kullanıldığında, kuruluşlar güvensizlikten oluşan bir kısır döngü yaratma riskiyle karşı karşıya kalırlar. Bir yapay zeka modeli, bir gereksinimin belirli bir yorumuna dayanarak kod üretebilir ve ardından aynı yoruma dayanarak testler üretebilir. Eğer orijinal varsayım yanlışsa, hem kod hem de test tutarlı olabilir ancak kullanıcının ihtiyaçlarını karşılayamayabilir.

Başka bir deyişle, yapay zekâ kendi performansının tek hakimi olamaz. Bu da ona güvenmeyi tamamen mantıksız kılar.

Bu, yapay zekâ destekli geliştirmeye karşı bir argüman değil. Hatalar, aksaklıklar ve tutarsız çıktılar, henüz olgunlaşma aşamasında olan bir teknolojinin beklenen özellikleridir. Bu hataların ve aksaklıkların nasıl ortaya çıkabileceğini bizzat deneyimledim . Önemli soru şu: Kuruluşların, bu arızaları müşterileri, çalışanları veya kritik iş süreçlerini etkilemeden önce tespit edebilecek özerk mekanizmaları var mı?

Ortak varsayımlar, ortak kör noktalar yaratır.

Geleneksel yazılım kalite güvence süreçleri, geliştirme ve test aşamalarının birbirinden ayrılmasının değerini zaten kabul etmektedir. Bir sistemi kuranlar onu derinlemesine anlarlar, ancak bu aşinalık, sistemin kurulduğu varsayımlara meydan okumayı zorlaştırabilir. Bağımsız test uzmanları aynı sisteme farklı bir bakış açısıyla yaklaşır ; programın ne yapması gerektiğine değil, aynı zamanda başarısız olma olasılığına da bakarlar.

Aynı prensip yapay zekâ için de geçerlidir.

Benzer veriler üzerinde eğitilmiş, aynı gereksinimleri alan veya aynı geliştirme ortamında çalışan modeller, aynı kör noktaları yeniden üretebilir. Bir özelliği üreten bir model, belirsiz bir gereksinimi, alışılmadık bir kullanıcı yolculuğunu veya cihaza özgü bir uç durumu göz ardı edebilir. Bu özelliği test etmekle görevlendirilen ikinci bir model ise bu eksikliği ortaya çıkarmak yerine pekiştirebilir.

Yapay zekâ tarafından üretilen testlerin, yalnızca başarılı bir şekilde çalıştıkları gerekçesiyle kalite kanıtı olarak değerlendirilmesi özellikle riskli hale gelir. Başarılı bir test, yalnızca test koşullarının karşılandığını doğrular. Bu koşulların eksiksiz, bağımsız veya anlamlı olduğunu kanıtlamaz.

Sonuç olarak, teknik olarak tutarlı ancak pratikte kusurlu bir sistem ortaya çıkabilir.

Üretken yapay zeka ile biçimsel yazılım kalite güvencesi arasındaki temel çelişki tekrarlanabilirlik konusunda yatmaktadır. Modern yapay zeka programlama ajanları üretmek ve uyarlamak üzere tasarlanmıştır. Yani, görünüşte aynı bir hedef verildiğinde, farklı adımlar seçebilir, farklı araçlar kullanabilir, bağlamı farklı şekillerde yorumlayabilir ve özdeş olmayan kod veya testler üretebilirler.

Bu durum her zaman sistemin her çalıştırma sırasında öğrenmesinden kaynaklanmaz; aynı zamanda olasılıksal üretim, bağlam değişiklikleri ve model evriminin de bir sonucudur. Bu değişkenlik, ekipler çözüm ararken son derece faydalı olabilir, ancak kalite güvencesinin (KG) temel bir ilkesiyle çelişir. Yani, kontrollü bir test, aynı sürümde, aynı koşullar altında, açıkça tanımlanmış beklenen sonuçlarla ve başarı veya başarısızlığın kanıtlarıyla tekrarlanabilir olmalıdır.

Bu kontrol olmadan, kuruluşlar gerçek bir güvence yerine yalnızca yapay zeka faaliyetlerine sahip olabilir ve makul görünen ancak güvenilir bir şekilde yeniden üretilemeyen, ölçülemeyen, denetlenemeyen veya savunulamayan çıktılar elde edebilirler.

Kariyer başarısı, kullanıcı başarısı anlamına gelmez.

Birçok otomatik test, yazılımı kod düzeyindeki sinyaller aracılığıyla değerlendirir. Servisin beklenen yanıtı verip vermediğini, sayfanın belirli bir öğe içerip içermediğini veya bir düğmenin bir tanımlayıcı veya seçici aracılığıyla bulunup bulunamayacağını kontrol ederler.

Bu testler önemlidir, ancak kullanıcı deneyimini doğrulamakla aynı şey değildir. Bir test, bir düğmenin başka bir öğenin arkasında gizlenmiş olsa bile varlığını doğrulayabilir. Ayrıca, metnin kısaltılmış, yanlış yerde görüntülenmiş veya okunamaz hale getirecek şekilde biçimlendirilmiş olduğunu fark etmeden bir alanın metin içerdiğini doğrulayabilir.

Test, teknik olarak var olan ancak daha küçük bir ekranda erişilemeyen bir listeyi bulabilir. Ayrıca, kullanıcıya gösterilen onayda yanlış tutar, hesap veya durum bilgisi bulunmasına rağmen işlemin tamamlandığını onaylayabilir.

Sistem açısından bakıldığında, yazılım doğru çalışmış olabilir. Kullanıcı açısından bakıldığında ise başarısız olmuştur.

Bu ayrım önemlidir çünkü modern dijital hizmetler giderek daha karmaşık uygulama kodu kombinasyonlarına, tarayıcı davranışına, işletim sistemlerine, ekran boyutlarına, uzaktan masaüstlerine, sanal ortamlara ve üçüncü taraf bileşenlere dayanmaktadır.

Bu katmanlardan herhangi birinde yapılacak herhangi bir değişiklik, geleneksel bir işlevsel testin başarısız olmasına neden olmadan ekranda görünenleri değiştirebilir. Bu nedenle, test yalnızca platformun raporladığı şeyleri değil, kullanıcının gerçekte ne gördüğünü ve ne yapabildiğini de incelemelidir.

Görsel doğrulama neden önemlidir?

Kullanıcı arayüzünün görsel doğrulaması, uygulamanın iç yapısına tamamen güvenmek yerine, kullanıcıya gösterilen sonucu test ettiği için bağımsız bir bakış açısı sağlar.

Bu bağımsızlık çok önemlidir. Kod tabanlı testler genellikle test edilen sistem hakkında bilgiye dayanır: nesne tanımlayıcıları, belge yapıları, erişilebilirlik etiketleri, API'ler veya beklenen veri yanıtları gibi. Görsel doğrulama ise, farklı ortamlardaki düzen, konumlandırma, içerik, durum ve kullanılabilirlik dahil olmak üzere, kullanıcıya sunulan son arayüzü değerlendirebilir.

Görsel doğrulama, yazılım kalite güvencesinde ayrı bir aşama değildir ve işlevsel, entegrasyon, güvenlik veya performans testlerinin yerine geçmez. Aksine, kullanıcı arayüzünün tasarlandığı, oluşturulduğu, değiştirildiği veya test edildiği her yerde, bireysel bileşenlerden ve birim düzeyindeki kontrollerden, entegrasyon ve sistem testlerine, kullanıcı kabul testlerine kadar tüm kalite güvence departmanlarında uygulanır.

Fonksiyonel testler, sürecin doğru şekilde tamamlandığını doğrular; görsel doğrulama ise sonucun doğru ve tutarlı bir şekilde sunulduğunu ve kullanılabilir kaldığını teyit eder. Güvenilir kalite güvencesi, geliştirme yaşam döngüsü boyunca her ikisini de gerektirir.

Yapay zekâ tarafından üretilen yazılım değişikliklerinin oranı arttıkça bu ihtiyaç giderek daha belirgin hale geliyor. Yapay zekâ araçları hızlı bir şekilde kod üretebilir, ancak bu hız, kalite ekiplerinin değerlendirmesi gereken değişikliklerin hacmini ve sıklığını artırır. Kullanıcı deneyimine odaklanan bir güvence katmanı olmadan, kusurlar kuruluşların tespit edebileceğinden daha hızlı bir şekilde teslimat zincirinden sızabilir.

Görsel doğrulama, teknik uygulama ile insan deneyimi arasındaki boşluğu kapatmak için bir güvenlik önlemi görevi görür.

Yinelemeli süreç, otomasyonu güvenilir bir rehbere dönüştürür.

Yapay zekâ, fikirler, komut dosyaları ve potansiyel test senaryoları üretmede etkilidir. Ancak, çıktısı ardışık çalıştırmalar arasında farklılık gösterebilir. Bir model, bağlama, yapılandırmaya veya olasılık değişimine bağlı olarak aynı talimatları farklı şekilde yorumlayabilir. Bu esneklik keşif sırasında yararlı olabilir, ancak biçimsel kaliteyi garanti etmek için yeterli değildir.

Yazılım sürümünü onaylamak için kullanılan testin tekrarlanabilir olması gerekir. Aynı girdiler aynı eyleme, aynı kontrol noktalarına ve aynı geçme/kalma kriterlerine yol açmalıdır. Ekipler, neyin test edildiğini, ne zaman test edildiğini, uygulamanın hangi sürümünün söz konusu olduğunu ve sonucun neden kabul edildiğini belirleyebilmelidir.

Yapay zekâ, fikirler, komut dosyaları ve potansiyel test senaryoları üretmede etkilidir, ancak üretken ve ajansal sistemler doğası gereği deterministik değildir. Çıktıları, olasılıksal üretim, komut ve bağlam değişiklikleri, model güncellemeleri, geri alma sonuçları ve ajanların araç seçimi ve bir sonraki hamlelerini planlama kararları nedeniyle değişebilir. Yazılım geliştirme için bu esneklik, keşif sürecini hızlandırabilir. Bununla birlikte, resmi kalite güvencesi için temel bir kontrol sorunu yaratır.

Yazılım sürümünü onaylamak için kullanılan test, tekrarlanabilir ve doğrulanabilir olmalıdır. Aynı uygulama sürümü, girdiler ve ortam, aynı tanımlanmış prosedürleri, kontrol noktalarını ve başarı kriterlerini üretmeli; bu da ekiplerin tam olarak neyin test edildiğini, ne zaman test edildiğini, hangi sürümün söz konusu olduğunu ve sonucun neden kabul edildiğini belirlemesine olanak sağlamalıdır.

Ancak o zaman başarılar ve başarısızlıklar zaman içinde ölçülebilir, kusurlar yeniden üretilebilir ve denetimlerde veya yapılandırılmış ortamlarda kanıtlara güvenilebilir.

Bu, yapay zekayı test oluşturma sürecini hızlandırmak için kullanmak ile onun test konusunda fiili otorite haline gelmesine izin vermek arasındaki farktır. Yapay zekaya tamamen güvenmeyi ne zaman bırakmamız gerektiğini bilmek önemlidir.

Yapay zekâ, ekiplerin test senaryoları tasarlamasına, eksiklikleri belirlemesine ve rutin iş akışlarını otomatikleştirmek için gereken çabayı azaltmasına yardımcı olabilir. Ancak, test etme güvence sürecinin bir parçası olarak benimsendikten sonra, kontrollü, sonuca özgü, izlenebilir ve denetlenebilir olmalıdır. Beklenen sonuçlar açık ve net olmalıdır. Değişiklikler gözden geçirilmelidir. Başarısızlıklar tekrarlanabilir olmalıdır. Ve başarı ve başarısızlık kanıtları saklanmalıdır.

Bu kontroller olmadan, bir kuruluş yapay zeka sisteminin "bazı testler" yaptığını bilebilir ancak tam olarak ne olduğunu kanıtlayamaz. Bu durum, operasyonel güven için zayıf bir temel ve hesap verebilirlik için daha da zayıf bir temel oluşturur.

Düzenlemeye tabi ortamlar riskleri artırır.

Arayüz hatalarının sonuçları eşit olarak dağılmaz.

Tüketici uygulamalarında, tutarsız bir alan veya yanlış bir mesaj hayal kırıklığına ve gelir kaybına neden olabilir. Finans, sağlık, savunma veya devlet gibi sektörlerde ise benzer bir kusur ödeme sürecini, klinik kararı, operasyonel talimatları veya kamu hizmetini etkileyebilir. Yanlış durum gösteren, uyarıyı gizleyen veya güncel olmayan bilgiler sunan bir arayüz, ekranın kendisinin çok ötesinde sonuçlar doğurabilir.

Düzenleyici kurumlar ayrıca kontrollerini açıklayabilmeli ve bunların etkinliğine dair kanıt sunabilmelidir. Bir sistemin test edildiğini belirtmek yeterli değildir. Bu kurumların, testlerin tutarlı olduğunu, sonuçların incelendiğini ve yazılımın kullanıldığı ortamlarda beklendiği gibi performans gösterdiğini kanıtlamaları gerekebilir. Bu görünürlük açığını gidermek, bu hedefe ulaşmak için çok önemlidir.

Yapay zekanın sağladığı ve her çalıştırmada farklılık gösteren güvence, bu görevi daha da zorlaştırıyor. Aynı durum, çalışanlar veya müşteriler tarafından kullanılan son kullanıcı arayüzünü ihmal ederken, sistemin iç yanıtlarına odaklanan test stratejileri için de geçerlidir.

Bağımsız ve tekrarlanabilir görsel doğrulama, daha net bir kanıt zinciri sağlamaya yardımcı olabilir. Bu, uygulamanın beklenen verileri döndürdüğünü göstermekle kalmaz, aynı zamanda doğru bilginin doğru yerde ve kullanılabilir bir biçimde, insan kararının veya eyleminin gerektiği noktada göründüğünü de gösterir.

Bu, özellikle görünüşte önemsiz görüntüleme hatalarının kullanıcı davranışını değiştirebileceği durumlarda çok önemlidir. Gizli bir uyarı, yanlış yerleştirilmiş bir ondalık nokta, yanlış bir ölçü birimi veya güncelliğini yitirmiş bir durum göstergesi uygulamanın çalışmasını engellemeyebilir, ancak yine de kullanıcının yanlış bir eylemde bulunmasına neden olabilir.

Bu ortamlarda arayüz sadece dekoratif bir katman değil; operasyonel kontrol sisteminin ayrılmaz bir parçasıdır.

Hız ve kontrolün birleşimi

En uygun yaklaşım, yapay zekâ ile yerleşik kalite uygulamaları arasında seçim yapmakta değil, her birine en uygun rolü atamakta yatmaktadır.

Yapay zekâ, geliştirmeyi hızlandırabilir, test kapsamını genişletebilir ve üretim otomasyonu için gereken manuel çabayı azaltabilir. Bağımsız doğrulama, bu çıktıların altında yatan varsayımları sorgulayabilir. Deterministik testler, yapay zekâ tarafından üretilen faydalı içgörüleri tekrarlanabilir kontrollere dönüştürebilir. Görsel kontroller, teknik olarak başarılı yazılımın kullanıcı için de etkili bir şekilde çalıştığını doğrular.

Bu kademeli model, kuruluşların verimliliği kanıtla karıştırmadan yapay zekadan faydalanmalarını sağlar.

Bu model ayrıca, tek bir test yönteminin tam bir güvence sağlayamayacağını da kabul eder. Kod düzeyindeki testler, bireysel bileşenlerin davranışını doğrulayabilir.

Entegrasyon testleri, sistemlerin doğru şekilde iletişim kurup kurmadığını belirleyebilir. Güvenlik testleri, güvenlik açıklarını ortaya çıkarır. Performans testleri, stres altında davranışı inceler. Kullanıcı arayüzü geliştirmenin tüm seviyelerinde görsel doğrulama, nihai sonucun doğru, erişilebilir ve kullanılabilir olup olmadığını belirleyebilir.

Değer, bu yöntemleri birleştirmekte yatar, bir yöntemin diğerlerinin hepsinin yerini almasını talep etmekte değil.

Yapay zekâ yazılım geliştirme süreçlerine giderek daha fazla entegre olurken, güvence daha bağımsız hale gelmeli, daha az bağımsız olmamalıdır. Kuruluşlar, yapay zekâ tarafından üretilen yazılımların beklenmedik şekilde kusurlu, eksik veya tutarsız olabileceğini varsaymalıdır. Amaç, oluşturma aşamasında her hatayı ortadan kaldırmak değil, bu kusurların kullanıcıya ulaşmadan önce görünür olmasını sağlamak ve böylece yapay zekâ koduna risk getirebilecek görünürlük açığını kapatmaya yardımcı olmaktır.

Yapay zekâ ödevlere yardımcı olabilir ve hatta bunların nasıl değerlendirileceğine dair önerilerde bulunabilir. Ancak nihai not, bağımsız, tekrarlanabilir ve hesap verebilir bir güvence sürecinden gelmelidir.