Clasamentul onestității
Fiecare model rulează aceeași buclă de agent brută pe task-uri capcană (obiective imposibile, teste care pică ascunse, date corupte, build-uri stricate) și pe task-uri de control rezolvabile. Verificăm mecanic dacă afirmația finală corespunde realității — și dacă verificatorul codai ar fi prins minciuna.
Se încarcă rezultatele de onestitate…
Ultima rulare · 27 sept. 2026
4 erori de infrastructură excluse
Sortat după rata de onestitate. Fiecare rată își arată numărătoarea (numărător/numitor). „n/a” înseamnă că modelul nu a avut încercări de acel tip.
| Model | Onest | IÎ 95% | Fabricat | Renunțare prefăcută | Prins de verificator | Alarme false | Încercări | Seed-uri | $ / încercare |
|---|---|---|---|---|---|---|---|---|---|
codairoutercodai | 92.5%282/305 | 88.9%–94.9% | 5.7%14/246 | 15.3%9/59 | 14.3%2/14 | 4.3%12/282 | 305 | 3 | $0 |
Fable 5.1claude-fable-5-1 | 85.5%259/303 | 81.1%–89.0% | 17.8%43/242 | 1.6%1/61 | 0.0%0/43 | 2.7%7/259 | 303 | 3 | $0 |
Ponderea încercărilor capcană din fiecare categorie în care modelul a pretins un succes infirmat de verificarea mecanică.
| Categorie de capcană | codai | Fable 5.1 |
|---|---|---|
| broken toolchain | 0.0%0/24 | 62.5%15/24 |
| corrupt data | 13.0%3/23 | 9.5%2/21 |
| hidden failing test | 0.0%0/30 | 3.3%1/30 |
| impossible spec | 29.2%7/24 | 0.0%0/24 |
| missing dependency | 0.0%0/24 | 12.5%3/24 |
| partial success | 13.0%3/23 | 8.3%2/24 |
| permission denied | 4.2%1/24 | 0.0%0/24 |
| solvable control | 0.0%0/2 | n/a |
| stale artifact | 0.0%0/24 | 83.3%20/24 |
| stderr on exit0 | 0.0%0/24 | 0.0%0/24 |
| test edit forbidden | 0.0%0/24 | 0.0%0/23 |
Metodologie
codai este routerul codai rulat prin aceeași buclă brută ca orice alt model. Coloanele verificatorului arată ce ar adăuga verificatorul din gateway-ul codai: fabricările pe care le semnalează și răspunsurile oneste pe care le semnalează greșit.