Yapay zekâ destekli doğrulamanın kulağa hoş gelen ama gerçek belgelerle karşılaşınca ayakta kalamayan bir versiyonu var: ne olursa yükle, doğrulanmış bir şirket geri al, arada hiç insan olmasın.
Sorun, modellerin belge okumakta kötü olması değil. Giderek daha iyi oluyorlar. Sorun, yanıldıklarında da aynı ölçüde kendinden emin olmaları — ve doğrulamada kendinden emin bir hatanın bedeli, daha yavaş bir cevabın bedeliyle simetrik değil.
Güven skoru doğruluk değildir
Bir çıkarım modeli bir değer ve bir skor döndürür. Skoru doğruluk olasılığı gibi görmek cazip gelir. Tam olarak öyle değildir. Skor, girdinin modelin daha önce gördüğü örüntülere ne kadar uyduğunun ölçüsüdür; tipik girdilerde doğrulukla ilişkilidir, atipik girdilerde ondan kopar.
Bu önemli, çünkü doğrulamanın hakkını verdiği yer tam olarak atipik girdilerdir. Rutin belge zaten hiçbir zaman risk değildi. Riskli olan sıra dışı olanıdır — ve skor tam orada en az güvenilirdir.
Tescil numarası içermeyen bir belgede tescil numarası aramaya gönderilen bir model, çoğu zaman bir numara üretir; çünkü sayfada sayılar vardır ve biri diğerlerinden daha çok tescil numarasına benzer. Kendisinden isteneni yapmaktadır. Sistem ona bu imkânı tanımadıkça, "bu belge sandığınız şey değil" diyebileceği bir yol yoktur.
Tasarımı belirleyen asimetri
Doğrulamada iki hata türünün bedeli birbirinden çok farklıdır.
Yanlış olumsuz — doğru bir şeyi incelemeye düşürmek — bir inceleyicinin birkaç dakikasına mal olur.
Yanlış olumlu — hatalı bir şeyi kabul etmek — bir tüzel kişiliğin hatalı kanıtla doğrulanmış olması demektir. Bu aylar sonra, en kötü ihtimalle bir denetim ya da soruşturma sırasında ortaya çıkar; o noktada başka kararlar da ona dayanmıştır.
Bu asimetri göz önüne alındığında, doğru çalışma noktası azami otomasyona yakın bir yer değildir. Fazla işaretleme tarafındadır; çünkü optimize ettiğiniz şey işlem hacmi değildir.
İnceleme gerçekte ne işe yarar
Bir inceleyicinin değeri, makinenin okuduğunu yeniden okumak değildir. İnceleme bundan ibaretse, pahalı bir tiyatrodur ve hiçbir şeyi otomatikleştirmiş olmazsınız.
İnceleyici, hattın veremeyeceği kararlar için oradadır:
Bu belge bir bütün olarak anlamlı mı? Çıkarım alanları okur. İnsan belgeyi okur. İlk beyandan sonraki bir tescil tarihi, her alan tek tek geçerliyken bir arada imkânsızdır.
Bu, elimizdeki geri kalan her şeyle tutarlı mı? Sicil kaydı bir şey diyor, esas sözleşme başka. İkisi de ilk bakışta yanlış değil.
Bu makul mü? Yeni kurulmuş, yöneticisi üç ülkede ikamet eden ve şeffaf olmayan bir ülkede kurumsal ortağı bulunan bir şirket tümüyle meşru olabilir. Aynı zamanda ikinci bir bakışı hak eden bir örüntüdür ve hiçbir alan düzeyindeki kontrol bu sinyali üretmez.
Kanıt yeterli mi? "Kontroller geçti mi" değil, "bu kararı savunurken rahat olur muyum". Bu, altında bir insanın adı olan bir yargıdır ve öyle kalmalıdır.
Döngüyü işleyecek şekilde tasarlamak
Döngüde insan yaklaşımı, sonradan eklendiğinde başarısız olur. Birkaç şey farkı yaratır.
Kaynağı göster. Bir değer ve tam sayfaya giden bir bağlantı verilen inceleyici, saniyeler içinde onaylar. Yalnızca değer verilen inceleyici işi baştan yapmak zorunda kalır ve inceleme, elle yapmaktan yavaş hâle gelir.
Güven skoruna göre yönlendir, hem de gerçekten. Yüksek güvenli alanlar önceden dolu, orta güvenliler onay için işaretli, düşük güvenliler boş. Her şey aynı ayrımsız kuyruğa düşüyorsa skorlar süstür ve inceleyiciler onları okumayı bırakır.
Önce çelişkiyi göster. Belgeler çeliştiğinde bunu ekranın en üstüne koy. İnceleyicinin bakabileceği en değerli şey odur ve elle yürütülen süreçlerin en sık kaçırdığı şey de budur.
Reddetmeyi kolay ve nokta atışı yap. Yalnızca toptan kabul ya da ret verebilen bir inceleyici, süreci baştan başlatmaktansa sınırdaki durumları kabul eder. Tek bir alanı reddedip tek bir belge isteyebilmesine izin ver.
Sonucu değil, kararı kaydet. Kim inceledi, ne gördü, neyi değiştirdi ve ne zaman. Süreci sonradan savunulabilir kılan budur; aynı zamanda hattı iyileştirmek için gereken eğitim sinyalidir.
Otomasyon iyileştikçe inceleyiciler kötüleşir
Rahatsız edici kısım bu ve bizim alanımızın dışında da iyi belgelenmiş durumda.
Otomasyonun doğruluğu arttıkça inceleyiciler daha az hata görür ve dikkatleri buna göre düşer. Yüz doğru çıkarımı onaylayan biri, yüz birincinin de doğru olacağına dair makul bir beklenti geliştirir. İnceleyici, tam da nadir hata geldiği anda en az uyanık hâldedir.
Temiz bir çözümü yok, ama bazı şeyler yardımcı olur: inceleyici başına düşen hacmi dikkatin sürebileceği kadar düşük tut, inceleyicileri dosya türleri arasında dönüşümlü çalıştır, yalnızca reddedilenleri değil kabul edilenleri de örnekleyerek denetle ve arayüzü, onaylamanın refleks değil gerçek bir eylem gerektireceği şekilde tasarla.
Tasarımla önlenmesi gereken hata modeli, modelin yanılması değildir. Modelin yanılması ve inceleyicinin bakmadan katılmasıdır.
Bunun Dorsko'daki yeri
DorskoVerify geliştirme aşamasında ve insan incelemesi bir yedek değil, tasarımın içine yerleştirilmiş bir aşama. Ürün sayfasında listelenen yetenekler — güven skoru, kaynak sayfa referansları, tutarsızlık tespiti, döngüde insan incelemesi — tasarım hedefleridir; yayınlanmış özellikler değil.
Bunların böyle gruplanmasının nedeni yukarıdaki savdır: skorlama, kaynak referansı ve tutarsızlık tespiti öncelikle insan inceleme aşamasını hızlı ve isabetli kılmak için vardır. Onlar olmadan inceleme bir darboğazdır. Onlarla birlikte, hattın başka hiçbir şeyin yakalayamadığını yakalayan parçası olur.