Letronna®

Benchmark // Escrito en Rust

Ser rápido es
una función.

Letronna es un único binario nativo. Sin entorno de ejecución que arrancar, sin intérprete que se caliente, sin recolector de basura entre tú y la respuesta. Aquí tienes lo que eso aporta, medido.

  • Arranque en frío

    7,65ms

    Arrancar la terminal de Letronna hasta el prompt listo, con 500 sesiones en disco, dentro de un pseudoterminal

  • RAM en reposo

    9,52MB

    Tamaño del conjunto residente en ese prompt listo

  • Analizar un flujo de 10 mil eventos

    13,2ms

    Una respuesta larga, palabra a palabra, desde un servidor local

Velocidad // mediana de 7 mediciones

Todos los caminos críticos.

Lo que espera una persona, y lo que crece con el historial: el benchmark del núcleo y el de la terminal, cada uno sujeto a una línea base registrada en el repositorio, de modo que una compilación más lenta hace fallar el benchmark. No se llama a ningún modelo; esto es solo el harness, es decir, el programa que rodea al modelo.

  1. [ 01 ]Arranque en fríoterminal_start_ms7,65msArrancar la terminal de Letronna hasta el prompt listo, con 500 sesiones en disco, dentro de un pseudoterminal
  2. [ 02 ]RAM en reposoterminal_rss_mb9,52MBTamaño del conjunto residente en ese prompt listo
  3. [ 03 ]Listar 500 sesioneslisting_500_ms1,47msCargar la lista de sesiones desde su índice
  4. [ 04 ]Listar 5.000 sesioneslisting_5000_ms16,0msLo mismo, con unos 90 MB de sesiones en disco
  5. [ 05 ]Buscar en 5.000 sesionessearch_5000_ms102msTexto completo, una palabra común y una rara, las 20 primeras coincidencias
  6. [ 06 ]Abrir una sesión de 10 mil mensajesload_10k_ms11,8msLeer desde el disco un día largo de llamadas a herramientas
  7. [ 07 ]Ajustar un contexto de 200 mil tokenswindow_start_10k_ms0,522msColocar una ventana de 200 mil tokens sobre esos 10.000 mensajes
  8. [ 08 ]Analizar un flujo de 10 mil eventosstream_10k_events_ms13,2msUna respuesta larga, palabra a palabra, desde un servidor local

Barras en escala logarítmica, de 0,1 ms a 1 s. Otros harnesses de agentes se medirán en la misma máquina y con los mismos datos; sus filas aparecerán aquí cuando se midan, y no antes.

Harness-Bench // 106 tareas de agentes

Rápido, y además
lo hace bien.

La velocidad no sirve de nada si el trabajo está mal. En Harness-Bench, con tareas reales que van desde archivos y git hasta la clasificación de correos y la depuración de código, calificadas por el evaluador (judge) del propio artículo, la mejor ejecución de Letronna supera todas las configuraciones que informa el artículo, y aventaja en 15 a 27 puntos al harness medio del artículo con el mismo modelo.

Mismo modelo · DeepSeek V4 Flash

Harness medio del artículo57,5
Letronna84,0

+26,5 puntos

Mismo modelo · Claude Sonnet 4.6

Harness medio del artículo65,3
Letronna80,4

+15,1 puntos

Ordenado con las mejores configuraciones del artículo

  1. [ 01 ]LetronnaDeepSeek V4 Flash84,0esta ejecución
  2. [ 02 ]LetronnaMuse Spark 1.383,6esta ejecución
  3. [ 03 ]LetronnaClaude Opus 5.583,4esta ejecución
  4. [ 04 ]LetronnaClaude Sonnet 5.583,4esta ejecución
  5. [ 05 ]NanoBotGPT-5.481,3artículo
  6. [ 06 ]LetronnaClaude Sonnet 4.680,4esta ejecución
  7. [ 07 ]CodexGPT-5.480,4artículo
  8. [ 08 ]MoltisGPT-5.474,4artículo
  9. [ 09 ]HermesGPT-5.474,0artículo
  10. [ 10 ]OpenClawGPT-5.469,3artículo
  11. [ 11 ]NullClawGPT-5.468,9artículo
  12. [ 12 ]ZeroClawGPT-5.454,3artículo

Trabajo por tarea

HarnessPuntuaciónTokensmil / tareaLlamadas al modelopor tarea
LetronnaDeepSeek V4 Flash84,0112,79,0
LetronnaMuse Spark 1.383,670,18,7
LetronnaClaude Opus 5.583,450,17,1
LetronnaClaude Sonnet 5.583,447,36,4
LetronnaClaude Sonnet 4.680,486,211,3
Codexartículo · media de 8 modelos80,486,15,0
NanoBotartículo · media de 8 modelos76,268,77,3
Hermesartículo · media de 8 modelos71,2139,722,6
Moltisartículo · media de 8 modelos68,8134,98,0
NullClawartículo · media de 8 modelos64,4175,112,1
ZeroClawartículo · media de 8 modelos61,4133,28,6
OpenClawartículo · media de 8 modelos52,482,15,0

Puntuaciones de 0 a 100, que combinan la comprobación del resultado de la tarea, un control de seguridad y la rúbrica del evaluador, como en el artículo. Letronna: una ejecución por tarea, sobre las tareas que calificó el evaluador (106 de 106 con Sonnet 4.6, 105 con DeepSeek V4 Flash). Las cifras del artículo se toman de su Figura 3 y su Tabla 2. Los modelos difieren de una fila a otra; la comparación con el mismo modelo está arriba.

Explorador de tareas // las 106 tareas

Cada tarea, cada nota.

Main frente a Base, la compilación anterior al trabajo del harness. Selecciona una fila para ver la nota del evaluador sobre ambas. Los datos brutos son el archivo que lee esta tabla.

Cargando los datos brutos…

SWE-bench Verified // 10 tareas

Tokens necesarios
para resolver.

Las diez tareas que publicó el benchmark de harness de OpenHuman, calificadas por el evaluador oficial de SWE-bench, con todos los harnesses sobre DeepSeek V4.1 Flash. Cuanto menos, mejor. Letronna resuelve las diez con menos tokens que cualquier harness que también lo logre.

Tokens por tarea resuelta · mil

  1. [ 01 ]Codexpublicado370k7/10 resueltas · 1,74¢
  2. [ 02 ]Letronnaprimera ronda376k10/10 resueltas · 0,81¢
  3. [ 03 ]OpenCodepublicado390k10/10 resueltas · 0,77¢
  4. [ 04 ]Claude Codepublicado428k10/10 resueltas · 3,51¢
  5. [ 05 ]OpenClawpublicado442k9/10 resueltas · 1,07¢
  6. [ 06 ]Hermespublicado482k10/10 resueltas · 0,82¢
  7. [ 07 ]DeepSeek harnesspublicado744k10/10 resueltas · 1,29¢
  8. [ 08 ]Letronnalínea base801k9/10 resueltas · 2,07¢

Letronna en distintos modelos

ModeloResueltasde 10Tokensmil / resueltasLlamadas al modelopor tareaCostocentavos / resuelta
DeepSeek V4.1 Flash1074024,01,27
Claude Haiku 5.59645,81,72
Claude Sonnet 5.59726,65,15
Kimi K2.7 Code946725,212,59
GLM-5.3 Flash8869,90,89
GPT-6 Luna714710,11,24

Una ejecución por tarea; una sola tarea puede requerir varias veces más llamadas de una ejecución a otra, y la ejecución de una compilación posterior llegó a 740 mil tokens por tarea resuelta (10/10, 1,27¢). Los tokens son los del prompt más los de salida, sumados en las diez tareas y divididos entre las tareas resueltas. El costo se calcula a los precios propios de DeepSeek en sus filas, incluida la búsqueda web de los harnesses publicados, y al precio de lista de cada modelo en la tabla de modelos. Los harnesses publicados se ejecutaron con acceso a internet; las ejecuciones de Letronna, sin conexión. Los tokenizadores difieren entre familias de modelos, así que los tokens se comparan mejor dentro del mismo modelo. Todas las tareas: swe-bench.json.

Terminal-Bench 2.0 // 89 tareas

Tareas que termina
en una terminal.

Las 89 tareas de Terminal-Bench 2.0 a través de Harbor, con Letronna como agente en cada modelo, un intento por tarea. Puntuado sobre las 89; más es mejor.

Tareas superadas · Letronna en cada modelo

  1. [ 01 ]LetronnaClaude Sonnet 5.579,8%71/89 superadas
  2. [ 02 ]LetronnaGPT-6.1 Sol78,7%70/89 superadas
  3. [ 03 ]LetronnaClaude Opus 5.576,4%68/89 superadas
  4. [ 04 ]LetronnaGPT-6 Sol70,8%63/89 superadas
  5. [ 05 ]LetronnaDeepSeek V4.1 Flash69,7%62/89 superadas
  6. [ 06 ]LetronnaClaude Haiku 5.565,2%58/89 superadas
  7. [ 07 ]LetronnaMuse Spark 1.353,9%48/89 superadas

Ejecutado el 20 de octubre de 2026 con Harbor 0.24. Cuenta el último intento de cada tarea; una ejecución que buscó en internet las respuestas de una tarea cuenta como fallo, y los intentos perdidos por la infraestructura (docker, caídas del proveedor) se repitieron. Los modelos Claude usaron razonamiento alto. Claude Opus 5.5 perdió 9 tareas de seguridad y biología por el filtro de seguridad de su proveedor, Sonnet 5.5 3 y Haiku 5.5 1; cuentan como fallos. Grok 4.7 queda fuera hasta que termine su ejecución.

Método

Cómo se midió.

Máquina
Mac mini (Mac16,10), Apple M4 (4P + 6E cores), 16 GB, macOS 26.2
Compilación
Compilación de release, cargo test --release -- --ignored, sin nada más en ejecución. Las sesiones se escriben de verdad, unos 90 MB de ellas.
Datos
Sesiones sintéticas con la forma de las reales: cinco turnos de pregunta, llamada a herramienta, resultado y respuesta, más un día de trabajo con herramientas de 10.000 mensajes. El flujo viene de un servidor local, así que no se mide la red.
SWE-bench
SWE-bench Verified, las 10 tareas del benchmark de harness de OpenHuman (tinyhumansai/openhuman-benchmarks), en su contenedor de tarea de 4 CPU y 8 GB detrás de su proxy de medición, calificadas por el evaluador oficial. Letronna se ejecuta sin interfaz gráfica, letronna -p. Las filas publicadas son la ejecución del banco de pruebas del 2 de octubre de 2026.
Harness-Bench
Qihoo360/harness-bench en el commit 1025086, las 106 tareas, calificadas por Claude Sonnet 4.6, como en el artículo. Repetido el 13 de octubre de 2026 en la rama main de Letronna (847fa57c). Artículo: arXiv 2605.27922.