Letronna®

ベンチマーク // Rust 製

速さは、
機能です。

Letronna は単一のネイティブバイナリです。起動を待つランタイムも、ウォームアップするインタープリターも、答えとの間に割り込むガベージコレクターもありません。それで何が得られるのか、計測した結果がこちらです。

  • コールドスタート

    7.65ms

    ターミナルアプリを起動し、プロンプトが使える状態になるまで。ディスク上に 500 セッション、擬似端末内で計測

  • アイドル時のメモリ

    9.52MB

    プロンプトが使える状態での常駐セットサイズ（RSS）

  • 10k イベントのストリームを解析

    13.2ms

    ローカルサーバーからの長い返答を、1 語ずつ受け取る

速度 // 7 回実行の中央値

すべてのホットパス。

人が待たされる処理と、履歴が増えるほど重くなる処理。コアとターミナルそれぞれのベンチを、リポジトリに記録したベースラインと照らし合わせ、遅くなったビルドはベンチで失敗します。モデルは呼び出しません。ハーネス単体の計測です。

  1. [ 01 ]コールドスタートterminal_start_ms7.65msターミナルアプリを起動し、プロンプトが使える状態になるまで。ディスク上に 500 セッション、擬似端末内で計測
  2. [ 02 ]アイドル時のメモリterminal_rss_mb9.52MBプロンプトが使える状態での常駐セットサイズ（RSS）
  3. [ 03 ]500 セッションの一覧listing_500_ms1.47msインデックスからセッション一覧を読み込む
  4. [ 04 ]5,000 セッションの一覧listing_5000_ms16.0ms同じ処理を、ディスク上に約 90 MB のセッションがある状態で
  5. [ 05 ]5,000 セッションの検索search_5000_ms102ms全文検索。よくある単語と珍しい単語で、上位 20 件
  6. [ 06 ]10k メッセージのセッションを開くload_10k_ms11.8msツール呼び出しが続いた長い 1 日分を、ディスクから読み込む
  7. [ 07 ]200k コンテキストを収めるwindow_start_10k_ms0.522msその 10,000 メッセージに、200k トークンのウィンドウを当てはめる
  8. [ 08 ]10k イベントのストリームを解析stream_10k_events_ms13.2msローカルサーバーからの長い返答を、1 語ずつ受け取る

バーは 0.1 ミリ秒から 1 秒までの対数スケールです。ほかのエージェントハーネスも同じマシン、同じデータで計測する予定で、その行は計測が済んでからここに加わります。

Harness-Bench // 106 件のエージェントタスク

速く、
そして正確に。

作業が間違っていては、速さに意味はありません。Harness-Bench では、ファイルや git からメールの仕分け、コードのデバッグまでの実際のタスクを、論文自身の「判定モデル（judge）」で採点します。Letronna の最良の実行は、論文が報告するすべての構成を上回り、同じモデルでの論文の平均ハーネスを 15〜27 ポイント上回りました。

同じモデル · DeepSeek V4 Flash

論文の平均ハーネス57.5
Letronna84.0

+26.5 ポイント

同じモデル · Claude Sonnet 4.6

論文の平均ハーネス65.3
Letronna80.4

+15.1 ポイント

論文の最良構成と並べた順位

  1. [ 01 ]LetronnaDeepSeek V4 Flash84.0この実行
  2. [ 02 ]LetronnaMuse Spark 1.383.6この実行
  3. [ 03 ]LetronnaClaude Opus 5.583.4この実行
  4. [ 04 ]LetronnaClaude Sonnet 5.583.4この実行
  5. [ 05 ]NanoBotGPT-5.481.3論文
  6. [ 06 ]LetronnaClaude Sonnet 4.680.4この実行
  7. [ 07 ]CodexGPT-5.480.4論文
  8. [ 08 ]MoltisGPT-5.474.4論文
  9. [ 09 ]HermesGPT-5.474.0論文
  10. [ 10 ]OpenClawGPT-5.469.3論文
  11. [ 11 ]NullClawGPT-5.468.9論文
  12. [ 12 ]ZeroClawGPT-5.454.3論文

タスクあたりの作業量

ハーネススコアトークン千 / タスクモデル呼び出しタスクあたり
LetronnaDeepSeek V4 Flash84.0112.79.0
LetronnaMuse Spark 1.383.670.18.7
LetronnaClaude Opus 5.583.450.17.1
LetronnaClaude Sonnet 5.583.447.36.4
LetronnaClaude Sonnet 4.680.486.211.3
Codex論文 · 8 モデルの平均80.486.15.0
NanoBot論文 · 8 モデルの平均76.268.77.3
Hermes論文 · 8 モデルの平均71.2139.722.6
Moltis論文 · 8 モデルの平均68.8134.98.0
NullClaw論文 · 8 モデルの平均64.4175.112.1
ZeroClaw論文 · 8 モデルの平均61.4133.28.6
OpenClaw論文 · 8 モデルの平均52.482.15.0

スコアは 0〜100 で、論文と同じく、タスクの結果チェック、セキュリティゲート、判定モデル（judge）のルーブリックを組み合わせたものです。Letronna：タスクごとに 1 回実行し、判定モデルが採点したタスクを対象としています（Sonnet 4.6 では 106 件中 106 件、DeepSeek V4 Flash では 105 件）。論文の数値は、その Figure 3 と Table 2 から読み取ったものです。行ごとにモデルは異なります。同一モデルでの比較は上にあります。

タスクエクスプローラー // 全 106 タスク

すべてのタスク、すべてのメモ。

現在のビルド（メイン）と、ハーネス改良前のビルド（ベース）の比較です。行を選ぶと、両方に対する判定モデルのメモが表示されます。生データは、この表が読み込んでいるファイルそのものです。

生データを読み込み中…

SWE-bench Verified // 10 タスク

解くまでに
かかるトークン。

OpenHuman のハーネスベンチマークが公開した 10 タスクを、公式の SWE-bench 評価器で採点。すべてのハーネスを DeepSeek V4.1 Flash で実行しています。少ないほど良い結果です。Letronna は 10 タスクすべてを解き、全問解いたハーネスの中で最もトークンが少なくて済みました。

解決タスクあたりのトークン · 千

  1. [ 01 ]Codex公開値370k7/10 解決 · 1.74¢
  2. [ 02 ]Letronnaラウンド 1376k10/10 解決 · 0.81¢
  3. [ 03 ]OpenCode公開値390k10/10 解決 · 0.77¢
  4. [ 04 ]Claude Code公開値428k10/10 解決 · 3.51¢
  5. [ 05 ]OpenClaw公開値442k9/10 解決 · 1.07¢
  6. [ 06 ]Hermes公開値482k10/10 解決 · 0.82¢
  7. [ 07 ]DeepSeek harness公開値744k10/10 解決 · 1.29¢
  8. [ 08 ]Letronnaベースライン801k9/10 解決 · 2.07¢

モデル別の Letronna

モデル解決10 件中トークン千 / 解決タスクモデル呼び出しタスクあたり費用セント / 解決タスク
DeepSeek V4.1 Flash1074024.01.27
Claude Haiku 5.59645.81.72
Claude Sonnet 5.59726.65.15
Kimi K2.7 Code946725.212.59
GLM-5.3 Flash8869.90.89
GPT-6 Luna714710.11.24

タスクごとに 1 回実行。同じタスクでも実行ごとに呼び出し回数が数倍変わることがあり、後のビルドの実行では解決タスクあたり 740k トークン（10/10、1.27¢）でした。トークンは 10 タスク全体のプロンプトと出力の合計を、解いたタスク数で割ったものです。費用は、DeepSeek の行では DeepSeek 自身の価格（公開ハーネスの Web 検索を含む）、モデル表では各モデルの定価で計算しています。公開ハーネスはインターネット接続ありで実行され、Letronna の実行はオフラインでした。トークナイザーはモデルファミリーごとに異なるため、トークン数は同じモデル同士で比べるのが最も適切です。全タスク：swe-bench.json。

Terminal-Bench 2.0 // 89 タスク

ターミナルで
やり遂げるタスク。

Terminal-Bench 2.0 の全 89 タスクを Harbor で実行し、各モデルで Letronna をエージェントとして、タスクごとに 1 回試行。全 89 タスクに対する得点で、高いほど良い。

合格したタスク · 各モデルの Letronna

  1. [ 01 ]LetronnaClaude Sonnet 5.579.8%71/89 合格
  2. [ 02 ]LetronnaGPT-6.1 Sol78.7%70/89 合格
  3. [ 03 ]LetronnaClaude Opus 5.576.4%68/89 合格
  4. [ 04 ]LetronnaGPT-6 Sol70.8%63/89 合格
  5. [ 05 ]LetronnaDeepSeek V4.1 Flash69.7%62/89 合格
  6. [ 06 ]LetronnaClaude Haiku 5.565.2%58/89 合格
  7. [ 07 ]LetronnaMuse Spark 1.353.9%48/89 合格

2026年10月20日、Harbor 0.24 で実行。各タスクは最後の試行で数えます。タスクの答えをネットで調べた実行は不合格とし、インフラ（docker、プロバイダー障害）で失われた試行はやり直しました。Claude モデルは高い推論設定で実行。Claude Opus 5.5 はセキュリティと生物学の 9 タスクをプロバイダーの安全フィルターで失い、Sonnet 5.5 は 3、Haiku 5.5 は 1 で、いずれも不合格として数えます。Grok 4.7 は実行が終わるまで載せていません。

計測方法

どのように実行したか。

マシン
Mac mini (Mac16,10), Apple M4 (4P + 6E cores), 16 GB, macOS 26.2
ビルド
リリースビルド、cargo test --release -- --ignored、ほかには何も動かしていない状態。セッションは実際に書き込み、約 90 MB 分です。
データ
実際のセッションと同じ形の合成セッション：質問、ツール呼び出し、結果、回答の 5 ターンと、ツール作業が 10,000 メッセージ続いた 1 日分。ストリームはローカルサーバーから届くので、ネットワークの時間は含まれません。
SWE-bench
SWE-bench Verified のうち、OpenHuman のハーネスベンチマーク（tinyhumansai/openhuman-benchmarks）の 10 タスクを、その 4 CPU・8 GB のタスクコンテナ内で、計測プロキシ経由で実行し、公式の評価器で採点。Letronna はヘッドレスの letronna -p で実行。公開値の行は、同ベンチマークの 2026 年 10 月 2 日の実行結果です。
Harness-Bench
Qihoo360/harness-bench のコミット 1025086、全 106 タスクを、論文と同じく Claude Sonnet 4.6 で判定。2026 年 10 月 13 日に Letronna の main（847fa57c）で再実行。論文：arXiv 2605.27922。