Benchmark-uri deschise

Benchmark-uri în limba română

Benchmark-urile în română măsoară dacă un model rezolvă probleme formulate în română, nu traduse din engleză. RoMath folosește subiecte oficiale de Bacalaureat la matematică; răspunsurile sunt evaluate după baremul oficial.

Ce rulare este afișată

Un rând per model per benchmark: câștigă rularea finalizată cu cel mai mare eșantion, iar la egalitate câștigă cea terminată cel mai recent. Rulările mici de test nu pot avantaja un model printr-un noroc. Rulările eșuate sau anulate sunt excluse.

Metrica principală

Costul per sarcină reușită. Penalizează atât răspunsurile corecte dar scumpe, cât și pe cele ieftine dar greșite, deci este cifra cel mai greu de manipulat. Rata de reușită și costul total stau alături.

RoMath (RoMathExam, Bacalaureat M1–M4).

Rezultate · Română

Benchmark-uri: 1
Rezultate per model: 8

Cel mai recent rezultat afișat · 27 iun. 2026

Frontiera Pareto

Cost vs acuratețe, fiecare model pe fiecare benchmark

Fiecare punct este un rezultat (model × benchmark). Stânga-sus este zona țintă: acuratețe mare, cost mic. Punctele de pe frontiera punctată sunt nedominate — nimic nu le bate pe ambele axe simultan.

codai
alte modele
Frontiera Pareto (cel mai mic cost la fiecare nivel de acuratețe)

RoMath

100 de task-uri

Romanian high-school mathematics benchmark from RoMathExam (Cuclea et al. 2026, 10,592 problems from official Bacalaureat exams 1895-2025, MIT license). Stratified sample across M1/M2/M3/M4 tracks. Scored by an LLM judge (sonnet-4-6) comparing the candidate's final answer to the official `barem` — math can't be exact-matched. Codai-unique angle: no major LLM router publishes Romanian-specific scores.

Referință →

Acuratețe peste mediană, cost cu 9% sub medie

codai atinge 98.0% (mediana celor 8 modele: 96.0%) cheltuind $0.0382 per succes — media câmpului este $0.0419.

Model	Succes	$ / task	$ / succes	Task-uri
`codai`routerfixat	98.0%	$0.0374	$0.0382	100/100
`claude-opus-4-7`cel mai bun	99.0%	$0.0164	$0.0166	100/100
`claude-opus-4-8`	98.0%	$0.0232	$0.0237	100/100
`claude-haiku-4-5`	96.0%	$0.0099	$0.0103	100/100
`claude-sonnet-4-6`	96.0%	$0.0146	$0.0152	100/100
`gpt-5-mini`	80.0%	$0.0340	$0.0424	100/100

Descarcă datele

Aceleași rânduri pe care le afișează pagina, actualizate la fiecare 10 minute. Reutilizare liberă, cu atribuire.

Licență: CC BY 4.0, atribuire „codai (codai.ro/benchmarks)”.

Toate benchmark-urile Clasamentul onestității