Amerikalı oyuncu Kellin Pelrine, bu açıktan yararlanarak KataGo sistemini kesin bir yenilgiye uğrattı ve 15 oyunun 14'ünü başka bilgisayar yardımı olmadan kazandı. Bu, AlphaGo'nun 2016'daki dönüm noktası niteliğindeki zaferinden bu yana insanlar için nadir görülen bir Go zaferi ve mevcut yapay zeka çılgınlığının önünü açtı. Aynı zamanda en gelişmiş yapay zeka sistemlerinin bile göze batan kör noktaları olabileceğini gösteriyor.
Pelrine'nin zaferi, KataGo'nun zayıflıklarını araştırmak için bir program geliştiren FAR AI adlı bir araştırma firması tarafından mümkün kılındı. Bir milyondan fazla oyun oynadıktan sonra, iyi bir amatör oyuncu tarafından istismar edilebilecek bir zayıflık bulmayı başardı. Pelrine, "tamamen önemsiz değil ama öğrenmesi de çok zor değil" dedi. Aynı yöntemi bir başka üst düzey Go yapay zekası olan Leela Zero'yu yenmek için de kullandı.
Yöntem şöyle işliyor: Amaç, rakibin grubunu çevrelemek için büyük bir taş "döngüsü" oluşturmak, ardından tahtanın diğer alanlarında hamleler yaparak bilgisayarın dikkatini dağıtmak. Kendi grubu neredeyse kuşatıldığında bile bilgisayar bu stratejiyi fark edemedi. Pelrine, "Bir insan olarak bunu fark etmek oldukça kolay olurdu," dedi, çünkü çevreleyen taşlar tahtada açıkça göze çarpıyor.
Bu hata, yapay zeka sistemlerinin eğitimlerinin ötesinde gerçekten "düşünemediklerini" gösteriyor, bu nedenle genellikle insanlara inanılmaz derecede aptalca görünen şeyler yapıyorlar. Benzer şeyleri Microsoft'un Bing arama motoru tarafından kullanılan sohbet botlarında da görmüştük. Bir seyahat programı bulmak gibi tekrarlayan görevlerde iyi olsa da, aynı zamanda yanlış bilgiler verdi, kullanıcıları zamanını boşa harcadıkları için azarladı ve hatta muhtemelen üzerinde eğitildiği modeller nedeniyle "dengesiz" davranışlar sergiledi.
Lightvector (KataGo'nun geliştiricisi), oyuncuların birkaç aydır istismar ettiği sorunun kesinlikle farkında. Bir GitHub gönderisinde, istismarı kullanan çeşitli saldırı türleri için bir düzeltme üzerinde çalıştığını söyledi.