Letronna®

Бенчмарк // Написано на Rust

Скорость —
это функция.

Letronna — один нативный бинарный файл. Ни среды выполнения, которую нужно загрузить, ни интерпретатора, которому нужно прогреться, ни сборщика мусора между вами и ответом. Вот что это даёт — в замерах.

  • Холодный старт

    7,65ms

    Запуск терминального приложения до готовности к вводу, с 500 сессиями на диске, в псевдотерминале

  • RAM в простое

    9,52MB

    Резидентная память (RSS) в момент готовности к вводу

  • Разбор потока из 10 тыс. событий

    13,2ms

    Длинный ответ, слово за словом, с локального сервера

Скорость // медиана 7 прогонов

Все горячие пути.

То, чего ждёт человек, и то, что растёт вместе с историей сессий: бенчмарк ядра и бенчмарк терминала, каждый сверяется с базовыми значениями, зафиксированными в репозитории, так что более медленная сборка бенчмарк не проходит. Модель не вызывается: здесь измеряется только обвязка агента (harness).

  1. [ 01 ]Холодный стартterminal_start_ms7,65msЗапуск терминального приложения до готовности к вводу, с 500 сессиями на диске, в псевдотерминале
  2. [ 02 ]RAM в простоеterminal_rss_mb9,52MBРезидентная память (RSS) в момент готовности к вводу
  3. [ 03 ]Список из 500 сессийlisting_500_ms1,47msЗагрузка списка сессий из индекса
  4. [ 04 ]Список из 5 000 сессийlisting_5000_ms16,0msТо же самое, но на диске около 90 МБ сессий
  5. [ 05 ]Поиск по 5 000 сессийsearch_5000_ms102msПолнотекстовый, по частому слову и по редкому, 20 лучших совпадений
  6. [ 06 ]Открытие сессии на 10 тыс. сообщенийload_10k_ms11,8msЧтение с диска долгого дня, полного вызовов инструментов
  7. [ 07 ]Окно контекста на 200 тыс. токеновwindow_start_10k_ms0,522msНаложение окна в 200 тыс. токенов на те же 10 000 сообщений
  8. [ 08 ]Разбор потока из 10 тыс. событийstream_10k_events_ms13,2msДлинный ответ, слово за словом, с локального сервера

Полосы — в логарифмической шкале, от 0,1 мс до 1 с. Другие обвязки агентов будут замерены на том же компьютере с теми же данными; их строки появятся здесь после замеров — не раньше.

Harness-Bench // задач для агентов: 106

Быстро —
и правильно.

Скорость ничего не значит, если работа сделана неправильно. Harness-Bench — это реальные задачи, от работы с файлами и git до разбора почты и отладки кода, и оценивает их тот же автоматический проверяющий (judge), что и в исходной статье. На этом бенчмарке лучший прогон Letronna превосходит все конфигурации из статьи, а среднюю обвязку агента (harness) из статьи на той же модели опережает на 15–27 баллов.

Та же модель · DeepSeek V4 Flash

Средняя обвязка из статьи57,5
Letronna84,0

+26,5 балла

Та же модель · Claude Sonnet 4.6

Средняя обвязка из статьи65,3
Letronna80,4

+15,1 балла

В рейтинге с лучшими конфигурациями из статьи

  1. [ 01 ]LetronnaDeepSeek V4 Flash84,0этот прогон
  2. [ 02 ]LetronnaMuse Spark 1.383,6этот прогон
  3. [ 03 ]LetronnaClaude Opus 5.583,4этот прогон
  4. [ 04 ]LetronnaClaude Sonnet 5.583,4этот прогон
  5. [ 05 ]NanoBotGPT-5.481,3статья
  6. [ 06 ]LetronnaClaude Sonnet 4.680,4этот прогон
  7. [ 07 ]CodexGPT-5.480,4статья
  8. [ 08 ]MoltisGPT-5.474,4статья
  9. [ 09 ]HermesGPT-5.474,0статья
  10. [ 10 ]OpenClawGPT-5.469,3статья
  11. [ 11 ]NullClawGPT-5.468,9статья
  12. [ 12 ]ZeroClawGPT-5.454,3статья

Затраты на задачу

ОбвязкаОценкаТокенытыс. на задачуВызовы моделина задачу
LetronnaDeepSeek V4 Flash84,0112,79,0
LetronnaMuse Spark 1.383,670,18,7
LetronnaClaude Opus 5.583,450,17,1
LetronnaClaude Sonnet 5.583,447,36,4
LetronnaClaude Sonnet 4.680,486,211,3
Codexстатья · среднее по 8 моделям80,486,15,0
NanoBotстатья · среднее по 8 моделям76,268,77,3
Hermesстатья · среднее по 8 моделям71,2139,722,6
Moltisстатья · среднее по 8 моделям68,8134,98,0
NullClawстатья · среднее по 8 моделям64,4175,112,1
ZeroClawстатья · среднее по 8 моделям61,4133,28,6
OpenClawстатья · среднее по 8 моделям52,482,15,0

Оценки от 0 до 100; как и в статье, они складываются из проверки результата задачи, контроля безопасности и критериев автоматического проверяющего. Letronna: один прогон на задачу, учтены задачи, которые проверяющий оценил (106 из 106 на Sonnet 4.6, 105 на DeepSeek V4 Flash). Цифры статьи считаны с её рисунка 3 и из таблицы 2. Модели в строках разные; сравнение на одной и той же модели — выше.

Обзор задач // всего задач: 106

Каждая задача, каждый комментарий.

Сборка main в сравнении с base — сборкой до работы над обвязкой агента. Выберите строку, чтобы прочитать комментарии проверяющего к обеим сборкам. Сырые данные — это файл, из которого читает эта таблица.

Загрузка сырых данных…

SWE-bench Verified // задач: 10

Сколько токенов
уходит на решение.

Десять задач, опубликованных в бенчмарке обвязок агентов от OpenHuman; решения проверяет официальный оценщик SWE-bench, все обвязки работают на DeepSeek V4.1 Flash. Чем меньше, тем лучше. Letronna решает все десять, расходуя меньше токенов, чем любая другая обвязка, которой это удаётся.

Токены на решённую задачу · тыс.

  1. [ 01 ]Codexопубликовано370kрешено 7/10 · 1,74 ¢
  2. [ 02 ]Letronnaпервый раунд376kрешено 10/10 · 0,81 ¢
  3. [ 03 ]OpenCodeопубликовано390kрешено 10/10 · 0,77 ¢
  4. [ 04 ]Claude Codeопубликовано428kрешено 10/10 · 3,51 ¢
  5. [ 05 ]OpenClawопубликовано442kрешено 9/10 · 1,07 ¢
  6. [ 06 ]Hermesопубликовано482kрешено 10/10 · 0,82 ¢
  7. [ 07 ]DeepSeek harnessопубликовано744kрешено 10/10 · 1,29 ¢
  8. [ 08 ]Letronnaбазовая версия801kрешено 9/10 · 2,07 ¢

Letronna на разных моделях

МодельРешеноиз 10Токенытыс. на решённуюВызовы моделина задачуСтоимостьцентов на решённую
DeepSeek V4.1 Flash1074024,01,27
Claude Haiku 5.59645,81,72
Claude Sonnet 5.59726,65,15
Kimi K2.7 Code946725,212,59
GLM-5.3 Flash8869,90,89
GPT-6 Luna714710,11,24

Один прогон на задачу; от прогона к прогону одной и той же задаче может понадобиться в несколько раз больше вызовов, а прогон более поздней сборки дал 740 тыс. токенов на решённую задачу (10/10, 1,27 ¢). Токены — это входные (промпт) и выходные токены по всем десяти задачам, делённые на число решённых задач. Стоимость в строках DeepSeek посчитана по собственным ценам DeepSeek, включая веб-поиск опубликованных обвязок, а в таблице моделей — по прейскурантной цене каждой модели. Опубликованные обвязки работали с доступом в интернет; прогоны Letronna — без сети. Токенизаторы у разных семейств моделей разные, поэтому по токенам корректнее всего сравнивать в пределах одной модели. Все задачи: swe-bench.json.

Terminal-Bench 2.0 // задач: 89

Задачи, решённые
в терминале.

Все задачи Terminal-Bench 2.0 (89), запущенные через Harbor; Letronna работает агентом на каждой модели, одна попытка на задачу. Результат считается от всех 89; чем больше, тем лучше.

Пройденные задачи · Letronna на каждой модели

  1. [ 01 ]LetronnaClaude Sonnet 5.579,8%пройдено 71/89
  2. [ 02 ]LetronnaGPT-6.1 Sol78,7%пройдено 70/89
  3. [ 03 ]LetronnaClaude Opus 5.576,4%пройдено 68/89
  4. [ 04 ]LetronnaGPT-6 Sol70,8%пройдено 63/89
  5. [ 05 ]LetronnaDeepSeek V4.1 Flash69,7%пройдено 62/89
  6. [ 06 ]LetronnaClaude Haiku 5.565,2%пройдено 58/89
  7. [ 07 ]LetronnaMuse Spark 1.353,9%пройдено 48/89

Дата прогона: 20 октября 2026 г., запуск через Harbor 0.24. Засчитывается последняя попытка по каждой задаче; прогон, в котором агент искал ответы к задаче в интернете, считается проваленным, а попытки, сорванные инфраструктурой (docker, сбои у провайдеров), запускались заново. Модели Claude работали с высоким уровнем рассуждений. У Claude Opus 5.5 фильтр безопасности провайдера заблокировал 9 задач по безопасности и биологии, у Sonnet 5.5 — 3, у Haiku 5.5 — 1; они засчитаны как проваленные. Grok 4.7 не учитывается, пока его прогон не завершится.

Методика

Как проводились замеры.

Компьютер
Mac mini (Mac16,10), Apple M4 (4P + 6E cores), 16 GB, macOS 26.2
Сборка
Релизная сборка, cargo test --release -- --ignored, больше ничего не запущено. Сессии по-настоящему записываются на диск, около 90 МБ.
Данные
Синтетические сессии той же структуры, что и реальные: пять ходов, каждый из вопроса, вызова инструмента, результата и ответа, плюс один день работы с инструментами на 10 000 сообщений. Поток идёт с локального сервера, так что сеть в замеры не попадает.
SWE-bench
SWE-bench Verified, 10 задач из бенчмарка обвязок агентов от OpenHuman (tinyhumansai/openhuman-benchmarks), в его контейнере для задач (4 CPU, 8 ГБ) за его прокси для учёта расхода; решения проверяет официальный оценщик. Letronna работает без интерфейса (headless), letronna -p. Опубликованные строки — результаты прогона на этом стенде от 2 октября 2026 года.
Harness-Bench
Qihoo360/harness-bench на коммите 1025086, все задачи (106); автоматический проверяющий (judge) — Claude Sonnet 4.6, как в статье. Повторный прогон 13 октября 2026 года на сборке Letronna из ветки main (847fa57c). Статья: arXiv 2605.27922.