🧠 LLM’lerde ayrı bakmamız gereken konulardan biri de effort ve thinking meselesi.

Bunlar sadece “daha kaliteli cevap” için kullanılan basit ayarlar değil.

Effort’u artırınca aslında model’e son cevabı vermeden önce biraz daha fazla düşünme alanı açıyoruz. Daha fazla ihtimali yokluyor, bazı yolları eliyor, cevabı biraz daha toparlayıp öyle veriyor.

Dışarıdan bakınca bu davranış biraz harness’lardaki loop mantığına benziyor.

Ama arada önemli bir fark var.

Harness dışarıda bir loop çalıştırıyor:

dosya okuyor, command çalıştırıyor, test ediyor, hatayı görüyor, sonucu tekrar model’in context’ine koyuyor.

Yani gerçek dünyayla temas ediyor.

Gerçek dosya, gerçek output, gerçek hata.

Thinking ise daha çok model’in kendi içinde yaptığı sınırlı bir loop gibi.

Model, son cevabı vermeden önce problemi kendi context’i içinde birkaç tur çevirip kontrol ediyor.

Ama bu ikisi aynı şey değil.

Harness’ın loop’u dışarıdan yeni bilgi alabiliyor.

Thinking ise çoğunlukla o anda context’te ne varsa onunla çalışıyor.

Bu yüzden yüksek effort her zaman daha iyi sonuç demek değil.

Context doğruysa, effort’u artırmak gerçekten işe yarayabilir. Model daha iyi bir yol bulabilir.

Ama context yanlış ya da eksikse, yüksek effort bazen sadece model’in yanlış yolda daha fazla ilerlemesine sebep olur.

Hatta bazen cevap yanlış olur ama daha temiz, daha düzenli ve daha ikna edici görünür.

Yani daha dikkatli düşünülmüş gibi duran bir hallucination.

Bu yüzden effort’u harness ve context’ten ayrı düşünmemek lazım.

Debugging, refactor, incident analysis ya da teknik tasarım gibi çok adımlı task’larda, harness’ın dış loop’u ile model’in internal thinking’i birlikte gerçekten daha iyi sonuç verebilir.

Ama bu kombinasyon kötü seçilirse genelde sadece üç şey artar:

daha fazla bekleme, daha fazla maliyet, ve yanlış cevaba daha fazla özgüven.

O yüzden effort benim gözümde bir kalite seviyesi değil.

Daha çok bir ayar aracı.

Soru şu değil:

“Her zaman high daha mı iyi?”

Asıl soru şu:

Bu task için, bu context’le ve bu harness içinde gerçekten ne kadar thinking gerekiyor?