Letronna®

Benchmark // In Rust geschrieben

Schnell ist
ein Feature.

Letronna ist ein einziges natives Binary. Keine Runtime, die hochfahren muss, kein Interpreter, der warmlaufen muss, kein Garbage Collector zwischen dir und der Antwort. Was das bringt, steht hier – gemessen.

  • Kaltstart

    7,65ms

    Die Terminal-App bis zum bereiten Prompt starten, 500 Sitzungen auf der Festplatte, in einem Pseudo-Terminal

  • Arbeitsspeicher im Leerlauf

    9,52MB

    Resident Set Size an diesem bereiten Prompt

  • Einen Stream mit 10k Events parsen

    13,2ms

    Eine lange Antwort, Wort für Wort, von einem lokalen Server

Geschwindigkeit // Median aus 7 Durchläufen

Jeder Hot Path.

Worauf ein Mensch wartet und was mit dem Verlauf wächst: der Benchmark des Kerns und der des Terminals, beide an eine eingecheckte Baseline gebunden, sodass ein langsamerer Build den Benchmark nicht besteht. Kein Modell wird aufgerufen; das ist allein das Harness.

  1. [ 01 ]Kaltstartterminal_start_ms7,65msDie Terminal-App bis zum bereiten Prompt starten, 500 Sitzungen auf der Festplatte, in einem Pseudo-Terminal
  2. [ 02 ]Arbeitsspeicher im Leerlaufterminal_rss_mb9,52MBResident Set Size an diesem bereiten Prompt
  3. [ 03 ]500 Sitzungen auflistenlisting_500_ms1,47msDie Sitzungsliste aus ihrem Index laden
  4. [ 04 ]5.000 Sitzungen auflistenlisting_5000_ms16,0msDasselbe, mit rund 90 MB Sitzungen auf der Festplatte
  5. [ 05 ]5.000 Sitzungen durchsuchensearch_5000_ms102msVolltext, ein häufiges und ein seltenes Wort, die 20 besten Treffer
  6. [ 06 ]Sitzung mit 10k Nachrichten öffnenload_10k_ms11,8msEinen langen Tag voller Tool-Aufrufe von der Festplatte einlesen
  7. [ 07 ]Einen 200k-Kontext einpassenwindow_start_10k_ms0,522msEin Fenster von 200k Tokens über diese 10.000 Nachrichten legen
  8. [ 08 ]Einen Stream mit 10k Events parsenstream_10k_events_ms13,2msEine lange Antwort, Wort für Wort, von einem lokalen Server

Balken auf einer logarithmischen Skala, 0,1 ms bis 1 s. Andere Agent-Harnesses werden auf derselben Maschine mit denselben Daten gemessen; ihre Zeilen erscheinen hier, sobald sie gemessen sind, nicht vorher.

Harness-Bench // 106 Agenten-Aufgaben

Schnell, und das
Ergebnis stimmt.

Geschwindigkeit bedeutet nichts, wenn die Arbeit falsch ist. Auf Harness-Bench – echte Aufgaben, von Dateien und Git bis zu E-Mail-Triage und Code-Debugging, bewertet vom automatischen Prüfer („Judge“) des Papers selbst – übertrifft Letronnas bester Durchlauf jede Konfiguration, die das Paper nennt, und schlägt das durchschnittliche Harness des Papers auf demselben Modell um 15 bis 27 Punkte.

Gleiches Modell · DeepSeek V4 Flash

Durchschnitts-Harness des Papers57,5
Letronna84,0

+26,5 Punkte

Gleiches Modell · Claude Sonnet 4.6

Durchschnitts-Harness des Papers65,3
Letronna80,4

+15,1 Punkte

Im Ranking mit den besten Konfigurationen des Papers

  1. [ 01 ]LetronnaDeepSeek V4 Flash84,0dieser Durchlauf
  2. [ 02 ]LetronnaMuse Spark 1.383,6dieser Durchlauf
  3. [ 03 ]LetronnaClaude Opus 5.583,4dieser Durchlauf
  4. [ 04 ]LetronnaClaude Sonnet 5.583,4dieser Durchlauf
  5. [ 05 ]NanoBotGPT-5.481,3Paper
  6. [ 06 ]LetronnaClaude Sonnet 4.680,4dieser Durchlauf
  7. [ 07 ]CodexGPT-5.480,4Paper
  8. [ 08 ]MoltisGPT-5.474,4Paper
  9. [ 09 ]HermesGPT-5.474,0Paper
  10. [ 10 ]OpenClawGPT-5.469,3Paper
  11. [ 11 ]NullClawGPT-5.468,9Paper
  12. [ 12 ]ZeroClawGPT-5.454,3Paper

Aufwand pro Aufgabe

HarnessScoreTokensTausend / AufgabeModellaufrufepro Aufgabe
LetronnaDeepSeek V4 Flash84,0112,79,0
LetronnaMuse Spark 1.383,670,18,7
LetronnaClaude Opus 5.583,450,17,1
LetronnaClaude Sonnet 5.583,447,36,4
LetronnaClaude Sonnet 4.680,486,211,3
CodexPaper · Mittel aus 8 Modellen80,486,15,0
NanoBotPaper · Mittel aus 8 Modellen76,268,77,3
HermesPaper · Mittel aus 8 Modellen71,2139,722,6
MoltisPaper · Mittel aus 8 Modellen68,8134,98,0
NullClawPaper · Mittel aus 8 Modellen64,4175,112,1
ZeroClawPaper · Mittel aus 8 Modellen61,4133,28,6
OpenClawPaper · Mittel aus 8 Modellen52,482,15,0

Scores von 0 bis 100, zusammengesetzt aus der Ergebnisprüfung der Aufgabe, einem Sicherheits-Gate und dem Bewertungsraster des Prüfers, wie im Paper. Letronna: ein Durchlauf pro Aufgabe, über die Aufgaben, die der Prüfer bewertet hat (106 von 106 auf Sonnet 4.6, 105 auf DeepSeek V4 Flash). Die Zahlen des Papers sind aus dessen Abbildung 3 und Tabelle 2 abgelesen. Die Modelle unterscheiden sich von Zeile zu Zeile; der Vergleich auf gleichem Modell steht oben.

Aufgaben-Explorer // alle 106 Aufgaben

Jede Aufgabe, jede Notiz.

Main gegen Base, den Build vor der Harness-Arbeit. Wähl eine Zeile für die Notiz des Prüfers zu beiden. Die Rohdaten sind die Datei, aus der diese Tabelle liest.

Rohdaten werden geladen …

SWE-bench Verified // 10 Aufgaben

Tokens bis
zur Lösung.

Die zehn Aufgaben, die OpenHumans Harness-Benchmark veröffentlicht hat, bewertet vom offiziellen SWE-bench-Evaluator, jedes Harness auf DeepSeek V4.1 Flash. Weniger ist besser. Letronna löst alle zehn mit den wenigsten Tokens aller Harnesses, die das schaffen.

Tokens pro gelöste Aufgabe · Tausend

  1. [ 01 ]Codexveröffentlicht370k7/10 gelöst · 1,74 ¢
  2. [ 02 ]LetronnaRunde eins376k10/10 gelöst · 0,81 ¢
  3. [ 03 ]OpenCodeveröffentlicht390k10/10 gelöst · 0,77 ¢
  4. [ 04 ]Claude Codeveröffentlicht428k10/10 gelöst · 3,51 ¢
  5. [ 05 ]OpenClawveröffentlicht442k9/10 gelöst · 1,07 ¢
  6. [ 06 ]Hermesveröffentlicht482k10/10 gelöst · 0,82 ¢
  7. [ 07 ]DeepSeek harnessveröffentlicht744k10/10 gelöst · 1,29 ¢
  8. [ 08 ]LetronnaBaseline801k9/10 gelöst · 2,07 ¢

Letronna über Modelle hinweg

ModellGelöstvon 10TokensTausend / gelöste AufgabeModellaufrufepro AufgabeKostenCent / gelöste Aufgabe
DeepSeek V4.1 Flash1074024,01,27
Claude Haiku 5.59645,81,72
Claude Sonnet 5.59726,65,15
Kimi K2.7 Code946725,212,59
GLM-5.3 Flash8869,90,89
GPT-6 Luna714710,11,24

Ein Durchlauf pro Aufgabe; eine einzelne Aufgabe kann von einem Durchlauf zum nächsten ein Vielfaches an Aufrufen brauchen, und der Durchlauf eines späteren Builds kam auf 740k Tokens pro gelöste Aufgabe (10/10, 1,27 ¢). Tokens sind Prompt plus Ausgabe über alle zehn Aufgaben, geteilt durch die gelösten Aufgaben. Die Kosten gelten zu DeepSeeks eigenen Preisen für die DeepSeek-Zeilen, die Websuche der veröffentlichten Harnesses eingeschlossen, und zum Listenpreis jedes Modells in der Modelltabelle. Die veröffentlichten Harnesses liefen mit Internetzugang; Letronnas Durchläufe waren offline. Tokenizer unterscheiden sich zwischen Modellfamilien, deshalb vergleichen Tokens am besten dasselbe Modell. Jede Aufgabe: swe-bench.json.

Terminal-Bench 2.0 // 89 Aufgaben

Aufgaben, die es
im Terminal löst.

Alle 89 Aufgaben von Terminal-Bench 2.0 über Harbor, mit Letronna als Agent auf jedem Modell, ein Versuch pro Aufgabe. Gewertet über alle 89; höher ist besser.

Bestandene Aufgaben · Letronna auf jedem Modell

  1. [ 01 ]LetronnaClaude Sonnet 5.579,8%71/89 bestanden
  2. [ 02 ]LetronnaGPT-6.1 Sol78,7%70/89 bestanden
  3. [ 03 ]LetronnaClaude Opus 5.576,4%68/89 bestanden
  4. [ 04 ]LetronnaGPT-6 Sol70,8%63/89 bestanden
  5. [ 05 ]LetronnaDeepSeek V4.1 Flash69,7%62/89 bestanden
  6. [ 06 ]LetronnaClaude Haiku 5.565,2%58/89 bestanden
  7. [ 07 ]LetronnaMuse Spark 1.353,9%48/89 bestanden

Ausgeführt am 20. Oktober 2026 mit Harbor 0.24. Es zählt der letzte Versuch je Aufgabe; eine Ausführung, die die Antworten einer Aufgabe online nachschlug, zählt als nicht bestanden, und an der Infrastruktur (Docker, Ausfälle beim Anbieter) verlorene Versuche liefen erneut. Claude-Modelle liefen mit hohem Reasoning. Claude Opus 5.5 verlor 9 Sicherheits- und Biologie-Aufgaben an den Sicherheitsfilter seines Anbieters, Sonnet 5.5 3 und Haiku 5.5 1; sie zählen als nicht bestanden. Grok 4.7 fehlt, bis seine Ausführung fertig ist.

Methode

So wurde gemessen.

Maschine
Mac mini (Mac16,10), Apple M4 (4P + 6E cores), 16 GB, macOS 26.2
Build
Release-Build, cargo test --release -- --ignored, sonst läuft nichts. Die Sitzungen werden tatsächlich geschrieben, rund 90 MB davon.
Daten
Synthetische Sitzungen in der Form echter: fünf Turns aus Frage, Tool-Aufruf, Ergebnis und Antwort, plus ein Tag Tool-Arbeit mit 10.000 Nachrichten. Der Stream kommt von einem lokalen Server, es wird also kein Netzwerk mitgemessen.
SWE-bench
SWE-bench Verified, die 10 Aufgaben von OpenHumans Harness-Benchmark (tinyhumansai/openhuman-benchmarks), in dessen Aufgaben-Container mit 4 CPUs und 8 GB hinter dessen Metering-Proxy, bewertet vom offiziellen Evaluator. Letronna läuft headless, letronna -p. Die veröffentlichten Zeilen stammen aus dem Durchlauf des Testaufbaus vom 2. Oktober 2026.
Harness-Bench
Qihoo360/harness-bench bei Commit 1025086, alle 106 Aufgaben, bewertet von Claude Sonnet 4.6 als Prüfer, wie im Paper. Erneut gemessen am 13. Oktober 2026 auf Letronna main (847fa57c). Paper: arXiv 2605.27922.