Kolik agenta stojí překlad souboru s texty

Otázka

Kódovací agent požádaný o překlad souboru s texty pro i18n může práci udělat sám, nebo může soubor předat překladači, který běží na témž počítači. První spotřebuje tokeny API na každou hodnotu. Druhý nespotřebuje na hodnoty žádné, a BetterTranslator to zvládne úplně bez agenta ve smyčce. Srovnání měří, co každý způsob stojí, na jednom souboru, v tokenech, v přibližných dolarech, v požadavcích a v čase na hodinách.

Měřeny byly tři větve, pojmenované tak, jak je pojmenovávají artefakty.

Čtvrtá cesta, vlastní okno BetterTranslatoru nebo bt translate zcela bez agenta, spotřebuje ze své podstaty nula tokenů API a v projekci se nese jako nulový řádek.

Jak byl test postaven

Hodnota se do vzorku kvalifikuje, když je řetězcem o 20 až 180 znacích bez svislítka pro množné číslo, bez značky HTML a bez zalomení řádku, a když po odstranění zástupných symbolů stále drží alespoň 4 slov a 20 písmen ASCII. Každá vybraná hodnota je prostý text, který překladatel musí změnit. Každý vzorek je předponou toho nejbližšího většího. Úplný otisk zdroje je a8fdce5aba678743b2aac57a9b8c06405e41b836cd174051fc09357da648a633.

Poznámka k účtování: toto sestavení Claude Code nevydává žádné metriky ani události OpenTelemetry, takže účtování po jednotlivých požadavcích se čte z bloků usage ve streamu Clauda a z výsledkového objektu v tiskovém režimu. Vyzkoušeno bylo 4 konfigurací exportéru a žádná nedala výstup. Jako křížovou kontrolu porovnává harness oba zdroje u každého běhu: 22 z 33 běhů se shoduje do 2 procent a 11, které se neshodují, nesou v summary.csv obě čísla.

Podle vzorku

Třetí větev, pro úplnost. Při 500 klíčích nebyla podle zadání spuštěna.

Co delegování mění

Delegovaná větev proti agentovi, který soubor překládá sám. Řádek pro 500 klíčů srovnatelný není, protože delegovaná větev nevytvořila žádný soubor.

Tokeny a peníze tyto větve neřadí stejně. V tokenech nedojde ke zlomu nikde mezi 10 a 500 klíči: delegovaná cesta stojí víc u každého měřeného vzorku. V přibližných dolarech se obě křivky protnou zhruba u 87 klíčů, protože delegovaná cesta vyměňuje čerstvý vstup za čtení z mezipaměti a to se účtuje hluboko pod ním. Při 200 klíčích je delegovaná cesta z těch dvou levnější v penězích, přestože spotřebuje téměř šestinásobek tokenů.

Kam jdou tokeny: náklad opravdu zůstává mimo kontext. U nejmenšího vzorku je celá výměna přes MCP 306 bajtů argumentů nástrojů a 707 bajtů výsledků nástrojů proti vstupnímu souboru o 1,205 bajtech a celé rozhraní nástrojů přidává oproti cestě agenta 743 tokenů vytvoření mezipaměti. Nákladem je počet požadavků. Každý dotaz job_status je plnohodnotný požadavek k API, který přehraje celou konverzaci, takže účet této větve určuje to, jak často se ptá, zda už místní model skončil: 7.0 požadavků při 10 klíčích, 26.5 při 200. Proložená spodní hranice u prázdného souboru je 244,502 tokenů. Ponechte vše ostatní beze změny a dejte této větvi počet požadavků cesty agenta, jak by to udělalo blokující volání nebo čekací nástroj, a táž práce nad 200 klíči přistane poblíž 183,575 tokenů proti 195,574. Poslední číslo je aritmetika nad měřeným nákladem na jeden požadavek, nikoli měřený běh.

Celý soubor

Projektováno, nikoli měřeno: soubor o 4,666 klíčích se nevejde do jednoho kontextového okna, takže projekce opakuje největší měřený vzorek, 200 klíčů, jako 24 částí. Je to aritmetika nad měřenými běhy.

Dvě buňky se neuvádějí. Počet požadavků u mcp-value nemá při 200 klíčích žádný podklad, který by prošel bránou, protože obě opakování spadla na jiný model. Místní čas na hodinách se neuvádí, protože si artefakty vzájemně odporují.

Řádek mcp-path je v penězích levnější než cesta agenta jen nad zlomem u 87 klíčů a k této ceně dojde s 27,361,836 tokeny proti 4,693,764. Projekce mcp-value stojí na bězích, které brána vyloučila, a je třeba ji číst jako horní hranici, ne jako výsledek.

Brána férovosti

Běh projde jen tehdy, když je jeho výstupní soubor objektem JSON, jehož sada klíčů i jejich pořadí přesně odpovídají vzorku, jehož hodnoty jsou všechny neprázdné řetězce, jehož multimnožina zástupných symbolů u každé hodnoty odpovídá zdroji a jehož žádná hodnota se nerovná svému zdroji. Poslední kontrola má jednu úlevu: hodnota se smí rovnat svému zdroji, když je každé abecední slovo v ní značkou na seznamu povolených, protokolem nebo kódem lokalizace, případně začíná velkým písmenem, což pokrývá názvy produktů a vlastní jména psaná velkými počátečními písmeny, nebo když je hodnotou příkazová řádka nesoucí název spustitelného souboru či dlouhý přepínač.

Napříč všemi 33 zaznamenanými běhy hlásí summary.csv 0 chyb v sadě klíčů, 0 chyb v pořadí klíčů a 0 chyb v zástupných symbolech. 29 z 33 běhů vůbec doručilo soubor. Každé vyloučení níže je nepřeložená hodnota, přechod na jiný model, limit sezení nebo chybějící soubor.

Z 33 běhů si 33 účtovalo požadavek, 1 skončilo na limitu sezení účtu a 3 spadlo z požadovaného modelu na jiný, což tyto běhy činí nesrovnatelnými.

Omezení

Server MCP stojí víc tokenů, ne míň. U každého měřeného vzorku spotřebovala víc než agent, který soubor překládá sám: o 137.1 procent víc při 10 klíčích, o 337.2 procent při 50, o 482.9 procent při 200. Její doložená výhoda jsou peníze nad zlomem u 87 klíčů, a ta výhoda existuje proto, že čtení z mezipaměti se účtuje pod čerstvým vstupem. Není to úspora tokenů a v žádné velikosti měřené zde se jí nestane.

Žádný soud o kvalitě neexistuje. Nic v tomto běhu nehodnotí přesnost, plynulost ani význam. Jediné měření na úrovni hodnot je to, zda se výstupní hodnota liší od své zdrojové. Na vzorcích, na kterých byl měřen, nechal místní engine 2.3 procenta hodnot v angličtině. Cesta agenta prošla bránou u každého vzorku. Toto srovnání pokrývá nepřeložené hodnoty a nic jiného. Jakékoli tvrzení o tom, jak dobře která strana překládá, leží mimo tyto artefakty.

Delegovaná cesta nevytvořila při 500 klíčích žádný soubor. Všech 3 opakování si naúčtovalo požadavky a nedodalo nic. Agent přestal čekat, zatímco místní úloha ještě běžela, a server MCP umírá se sezením, které jej spustilo, takže dokončená práce přišla vniveč. Tyto běhy jsou selháním dodání, ne levným výsledkem, a proto jsou vyloučeny z tabulky rozdílů a proto největší vzorek nemá žádné přímé srovnání.

Čísla za celý soubor jsou projekce. Žádný běh nikdy nepřeložil pod měřením všech 4,666 klíčů. Projekce násobí vzorek o 200 klíčích počtem 24. Jiné dělení na části nebo dosažení limitu kontextu či sezení v půli cesty výsledek mění.

Málo opakování. Dvě srovnatelná opakování na buňku, protože opakování 1 je vyloučeno jako zahřátí cache. Zpráva označuje buňky s velkým rozptylem: cestu agenta při 500 klíčích (15.0 procent), mcp-value při 10 klíčích (32.7 procent) a při 50 klíčích (48.0 procent).

Jeden soubor, jedna dvojice, jeden počítač. Jediný soubor en.json přeložený z angličtiny do češtiny, na jednom hostiteli s Windows, s jedním místním modelem v jedné kvantizaci, proti jedné verzi CLI a jednomu modelu Claude. Obě strany tohoto srovnání se v čase mění.

Jak to zopakovat

btbench prepare --source <path to en.json> --model claude-opus-5 --sizes 10,50,200,500
btbench run --run <run-id> --arms direct,mcp-path --reps 3
btbench collect --run <run-id>
btbench compare --run <run-id>

prepare prozkoumá server MCP, spočítá otisk zdroje a nařeže vzorky. run provede každou větev a každé opakování v čerstvém sezení. collect znovu odvodí summary.csv z přepisů. compare zapíše compare.md. Orchestrátorem je projekt v .NET, který se sestavuje do btbench.

Artefakty

Každý údaj výše se rozřeší na jeden z těchto souborů, na oddíl, řádek tabulky a sloupec, které registr zaznamenává. Ty čtyři, na které se údaje odvolávají, cestují spolu s webem, takže kontrola běží offline.