Letronna®

基准测试 // 用 Rust 编写

速度本身
就是功能。

Letronna 是一个原生二进制程序。没有要启动的运行时，没有要预热的解释器，在你和答案之间也没有垃圾回收器。这换来了什么？下面是实测结果。

  • 冷启动

    7.65ms

    在伪终端中启动终端应用直到提示符就绪，磁盘上有 500 个会话

  • 空闲内存

    9.52MB

    提示符就绪时的常驻集大小（RSS）

  • 解析 10k 个事件的流

    13.2ms

    一段很长的回复，从本地服务器逐词传来

速度 // 7 次运行的中位数

每一条热路径。

人要等待的部分，以及随历史增长的部分：核心和终端各自的基准测试，每一项都对照仓库中签入的基线，所以构建一旦变慢，测试就会失败。不调用任何模型；这只是智能体框架（harness）本身。

  1. [ 01 ]冷启动terminal_start_ms7.65ms在伪终端中启动终端应用直到提示符就绪，磁盘上有 500 个会话
  2. [ 02 ]空闲内存terminal_rss_mb9.52MB提示符就绪时的常驻集大小（RSS）
  3. [ 03 ]列出 500 个会话listing_500_ms1.47ms从索引加载会话列表
  4. [ 04 ]列出 5,000 个会话listing_5000_ms16.0ms同上，磁盘上约有 90 MB 的会话
  5. [ 05 ]搜索 5,000 个会话search_5000_ms102ms全文搜索，一个常见词和一个罕见词，取前 20 条结果
  6. [ 06 ]打开一个 10k 条消息的会话load_10k_ms11.8ms从磁盘读入一整天的工具调用记录
  7. [ 07 ]装入 200k 上下文window_start_10k_ms0.522ms在这 10,000 条消息上放置一个 200k token 的窗口
  8. [ 08 ]解析 10k 个事件的流stream_10k_events_ms13.2ms一段很长的回复，从本地服务器逐词传来

条形图为对数刻度，从 0.1 毫秒到 1 秒。其他智能体框架将在同一台机器上用同样的数据计时；测过之后它们的行才会出现在这里，不会提前。

Harness-Bench // 106 个智能体任务

快，
而且做得对。

如果结果是错的，速度毫无意义。Harness-Bench 的任务都是真实任务，从文件和 git 到邮件分类和代码调试，由论文自带的审核员（judge）评分；在这上面，Letronna 的最佳一次运行超过了论文报告的所有配置，并且在同一模型上比论文中框架的平均水平高出 15 到 27 分。

同一模型 · DeepSeek V4 Flash

论文框架平均值57.5
Letronna84.0

+26.5 分

同一模型 · Claude Sonnet 4.6

论文框架平均值65.3
Letronna80.4

+15.1 分

与论文中的最佳配置一同排名

  1. [ 01 ]LetronnaDeepSeek V4 Flash84.0本次运行
  2. [ 02 ]LetronnaMuse Spark 1.383.6本次运行
  3. [ 03 ]LetronnaClaude Opus 5.583.4本次运行
  4. [ 04 ]LetronnaClaude Sonnet 5.583.4本次运行
  5. [ 05 ]NanoBotGPT-5.481.3论文
  6. [ 06 ]LetronnaClaude Sonnet 4.680.4本次运行
  7. [ 07 ]CodexGPT-5.480.4论文
  8. [ 08 ]MoltisGPT-5.474.4论文
  9. [ 09 ]HermesGPT-5.474.0论文
  10. [ 10 ]OpenClawGPT-5.469.3论文
  11. [ 11 ]NullClawGPT-5.468.9论文
  12. [ 12 ]ZeroClawGPT-5.454.3论文

每个任务的工作量

框架得分Token千 / 任务模型调用每任务
LetronnaDeepSeek V4 Flash84.0112.79.0
LetronnaMuse Spark 1.383.670.18.7
LetronnaClaude Opus 5.583.450.17.1
LetronnaClaude Sonnet 5.583.447.36.4
LetronnaClaude Sonnet 4.680.486.211.3
Codex论文 · 8 个模型的平均值80.486.15.0
NanoBot论文 · 8 个模型的平均值76.268.77.3
Hermes论文 · 8 个模型的平均值71.2139.722.6
Moltis论文 · 8 个模型的平均值68.8134.98.0
NullClaw论文 · 8 个模型的平均值64.4175.112.1
ZeroClaw论文 · 8 个模型的平均值61.4133.28.6
OpenClaw论文 · 8 个模型的平均值52.482.15.0

得分为 0 到 100，综合任务的结果检查、安全关卡和审核员的评分标准，与论文相同。Letronna：每个任务运行一次，统计审核员评了分的任务（Sonnet 4.6 上 106 个中的 106 个，DeepSeek V4 Flash 上 105 个）。论文数据读自其图 3 和表 2。各行的模型不同；同一模型的比较见上方。

任务浏览器 // 全部 106 个任务

每个任务，每条评语。

主线（main）对比基线（base），即框架改进之前的构建。选中一行可查看审核员对两者的评语。原始数据就是这张表读取的文件。

正在加载原始数据…

SWE-bench Verified // 10 个任务

解决一个任务
要多少 token。

OpenHuman 的框架基准测试发布的十个任务，由官方 SWE-bench 评估器评分，所有框架都使用 DeepSeek V4.1 Flash。越低越好。Letronna 解决了全部十个任务，而且在所有做到这一点的框架中用的 token 最少。

每个已解决任务的 token 数 · 千

  1. [ 01 ]Codex已发布370k已解决 7/10 · 1.74¢
  2. [ 02 ]Letronna第一轮376k已解决 10/10 · 0.81¢
  3. [ 03 ]OpenCode已发布390k已解决 10/10 · 0.77¢
  4. [ 04 ]Claude Code已发布428k已解决 10/10 · 3.51¢
  5. [ 05 ]OpenClaw已发布442k已解决 9/10 · 1.07¢
  6. [ 06 ]Hermes已发布482k已解决 10/10 · 0.82¢
  7. [ 07 ]DeepSeek harness已发布744k已解决 10/10 · 1.29¢
  8. [ 08 ]Letronna基线801k已解决 9/10 · 2.07¢

Letronna 在各模型上的表现

模型已解决共 10 个Token千 / 已解决模型调用每任务费用美分 / 已解决
DeepSeek V4.1 Flash1074024.01.27
Claude Haiku 5.59645.81.72
Claude Sonnet 5.59726.65.15
Kimi K2.7 Code946725.212.59
GLM-5.3 Flash8869.90.89
GPT-6 Luna714710.11.24

每个任务运行一次；同一个任务在不同次运行中，调用次数可能相差数倍，后来一次构建的运行达到了每个已解决任务 740k token（10/10，1.27¢）。Token 数为全部十个任务的提示加输出之和，除以已解决的任务数。DeepSeek 各行的费用按 DeepSeek 自己的价格计算，已发布框架的网页搜索费用计算在内；模型表中则按各模型的标价计算。已发布的框架在联网状态下运行；Letronna 的运行是离线的。不同模型系列的分词器不同，因此 token 数在同一模型之间比较最有意义。所有任务：swe-bench.json。

Terminal-Bench 2.0 // 89 个任务

在终端里
完成的任务。

通过 Harbor 运行 Terminal-Bench 2.0 的全部 89 个任务，每个模型都以 Letronna 作为智能体，每个任务一次试验。按全部 89 个任务计分，越高越好。

通过的任务 · Letronna 在各模型上

  1. [ 01 ]LetronnaClaude Sonnet 5.579.8%通过 71/89
  2. [ 02 ]LetronnaGPT-6.1 Sol78.7%通过 70/89
  3. [ 03 ]LetronnaClaude Opus 5.576.4%通过 68/89
  4. [ 04 ]LetronnaGPT-6 Sol70.8%通过 63/89
  5. [ 05 ]LetronnaDeepSeek V4.1 Flash69.7%通过 62/89
  6. [ 06 ]LetronnaClaude Haiku 5.565.2%通过 58/89
  7. [ 07 ]LetronnaMuse Spark 1.353.9%通过 48/89

2026年10月20日 使用 Harbor 0.24 运行。每个任务以最后一次试验为准；在网上查找任务答案的运行算作失败，因基础设施（docker、服务商故障）丢失的试验会重新运行。Claude 模型以高推理强度运行。Claude Opus 5.5 有 9 个安全与生物类任务被其服务商的安全过滤拦下，Sonnet 5.5 有 3 个，Haiku 5.5 有 1 个，均算作失败。Grok 4.7 的运行完成前暂不列出。

方法

测试是如何运行的。

机器
Mac mini (Mac16,10), Apple M4 (4P + 6E cores), 16 GB, macOS 26.2
构建
发布版构建，cargo test --release -- --ignored，没有其他程序在运行。会话是真实写入磁盘的，约 90 MB。
数据
合成的会话，形态与真实会话相同：五轮提问、工具调用、结果和回答，外加一天 10,000 条消息的工具工作。流来自本地服务器，因此计时不包含网络。
SWE-bench
SWE-bench Verified，OpenHuman 框架基准测试的 10 个任务（tinyhumansai/openhuman-benchmarks），在其 4 核 CPU、8 GB 内存的任务容器中、经由其计量代理运行，由官方评估器评分。Letronna 以无界面方式运行：letronna -p。已发布各行是该测试平台在 2026 年 10 月 2 日的运行结果。
Harness-Bench
Qihoo360/harness-bench，提交 1025086，全部 106 个任务，与论文一样由 Claude Sonnet 4.6 评分。于 2026 年 10 月 13 日在 Letronna 主线（main，847fa57c）上重新运行。论文：arXiv 2605.27922。