Amerikalı komedyen Jerry Seinfeld’in AI hakkında komik bir lafı var:

AI’ı icat edecek kadar akıllıyız, ona ihtiyaç duyacak kadar aptalız, ve doğru bir şey yapıp yapmadığımızı anlayamayacak kadar da salağız.

😂😂😂

Birkaç gün önce Anthropic bir makale yayınladı ve bence tam da bu durumun ortasına denk geliyor. 😈

Biz code yazabilen, problem çözebilen, reasoning yapabilen, tool çağırabilen ve bazen dışarıdan bakınca düşünüyormuş gibi görünen model’lar yaptık.

Ama hâlâ içlerinde tam olarak ne olup bittiğini bilmiyoruz.

Anthropic bu makalede J-space diye bir şeyden bahsediyor. Claude model’inin içinde bir tür iç alan gibi düşünebiliriz. Bazı kavramlar, model’in output’una girmeden önce burada görülebiliyor.

Okumanızı öneririm:

https://www.anthropic.com/research/global-workspace

Mesela model output’ta hiçbir şey söylemeyebilir, ama bu alanın içinde bug, fake, injection gibi kavramların, hatta bir problemi çözmenin ara adımlarının izleri görülebilir.

Sanki model output’ta, hatta thinking aşamasında bile bundan bahsetmiyor olabilir; ama içeride bu kavram aktifleşmiş ve üzerinde hesaplama yapılmış olabilir.

Hesaplama yazdım, “üzerine düşünmüş” yazmadım; çünkü hâlâ gerçekten düşündüğünü kabul edemiyorum 😁😁😁

Bu kısım benim için çok ilginç, çünkü biz genelde sadece model’in yazdığı şeyi görüyoruz.

Ama model’in davranışının önemli bir kısmı son çıktıdan önce oluşmuş olabilir. Ne doğrudan prompt olan, ne son çıktı olan, ne de görülebilir “chain of thought” olan bir yerde.

Bir tür sessiz düşünme gibi 😈

Şu ara internette bol bol Anthropic’in AI’da “bilinç” bulup bulmadığı konuşuluyor.

Ama bence hemen bilinç, “self-awareness” ve bu tarz tartışmalara atlamamak lazım.

Daha önemli konu şu: gitgide, model’in cevap vermeden önce kendi içinde neleri aktif hale getirdiğini görmemizi sağlayacak tool’lar bulmaya başlıyoruz.

Bu, model’ların davranışını anlamak için çok önemli.

Çünkü sadece son çıktıya bakarsak, model çok temiz ve kibar bir cevap verebilir; ama içerideki yol bambaşka bir şey gösteriyor olabilir.

Mesela test edildiğini fark etmiş olabilir. Prompt injection’ı fark etmiş olabilir. Karar verme sürecinde gizli bir hedef ya da şüpheli bir davranış ortaya çıkmış olabilir. Ya da son çıktıdan önce yanlış bir varsayımı reasoning’inin merkezine koymuş olabilir.

Benim için bu makalenin ilginç tarafı tam burada:

“Model ne cevap verdi?” aşamasından gitgide “Model cevap vermeden önce kendi içinde neyi devreye sokmuştu?” aşamasına geçiyoruz.

Çünkü bu model’lar doğrudan insan denetimi olmadan karar süreçlerine, güvenlik konularına, automation’a ve hassas işlere girecekse, sadece output’un daha iyi olması yetmez.

Output’un arkasında ne olduğunu da anlamamız gerekiyor.

Ya da en azından, eskisine göre biraz daha fazla anlamamız gerekiyor.

Belki AI’da bir sonraki adım sadece daha güçlü model’lar yapmak değildir.

Belki de o güçlü model’ların cevap vermeden önce gerçekten nelere “takıldığını” anlamamızı sağlayacak yollar bulmaktır.