Letronna®

벤치마크 // Rust로 작성

속도도
기능입니다.

Letronna는 네이티브 바이너리 하나입니다. 띄울 런타임도, 예열할 인터프리터도, 답과 나 사이에 끼어드는 가비지 컬렉터도 없습니다. 그래서 무엇을 얻는지, 측정했습니다.

  • 콜드 스타트

    7.65ms

    의사 터미널(pty)에서 터미널 앱을 실행해 프롬프트가 준비될 때까지, 디스크에 세션 500개

  • 유휴 시 RAM

    9.52MB

    프롬프트가 준비된 시점의 상주 메모리 크기(RSS)

  • 이벤트 10k개 스트림 파싱

    13.2ms

    로컬 서버에서 한 단어씩 오는 긴 답변

속도 // 7회 실행의 중앙값

자주 실행되는 경로 전부

사람이 기다리는 것과 기록이 쌓일수록 늘어나는 것: 코어의 벤치와 터미널의 벤치는 각각 저장소에 체크인된 기준선에 묶여 있어, 느려진 빌드는 벤치에 실패합니다. 모델은 호출하지 않습니다. 하네스만 잰 것입니다.

  1. [ 01 ]콜드 스타트terminal_start_ms7.65ms의사 터미널(pty)에서 터미널 앱을 실행해 프롬프트가 준비될 때까지, 디스크에 세션 500개
  2. [ 02 ]유휴 시 RAMterminal_rss_mb9.52MB프롬프트가 준비된 시점의 상주 메모리 크기(RSS)
  3. [ 03 ]세션 500개 나열listing_500_ms1.47ms인덱스에서 세션 목록 불러오기
  4. [ 04 ]세션 5,000개 나열listing_5000_ms16.0ms같은 작업, 디스크에 약 90 MB의 세션이 있는 상태
  5. [ 05 ]세션 5,000개 검색search_5000_ms102ms전문 검색, 흔한 단어 하나와 드문 단어 하나, 상위 20건
  6. [ 06 ]메시지 10k개 세션 열기load_10k_ms11.8ms긴 하루치 도구 호출 기록을 디스크에서 읽어 들이기
  7. [ 07 ]200k 컨텍스트 맞추기window_start_10k_ms0.522ms그 10,000개 메시지 위에 200k 토큰 창 배치
  8. [ 08 ]이벤트 10k개 스트림 파싱stream_10k_events_ms13.2ms로컬 서버에서 한 단어씩 오는 긴 답변

막대는 0.1 ms에서 1 s까지 로그 스케일입니다. 다른 에이전트 하네스도 같은 기기에서 같은 데이터로 측정할 예정이며, 측정이 끝나면 그때 여기에 행이 추가됩니다. 그 전에는 아닙니다.

Harness-Bench // 에이전트 작업 106개

빠르면서도
제대로 해냅니다.

일을 틀리게 하면 속도는 아무 의미가 없습니다. 파일과 git에서 이메일 분류와 코드 디버깅까지 실제 작업으로 이루어진 Harness-Bench에서, 논문 자체의 판단 모델(judge)로 채점한 결과, Letronna의 최고 실행은 논문이 보고한 모든 구성을 앞서고, 같은 모델에서 논문의 평균 하네스를 15~27점 차이로 이깁니다.

같은 모델 · DeepSeek V4 Flash

논문의 평균 하네스57.5
Letronna84.0

+26.5점

같은 모델 · Claude Sonnet 4.6

논문의 평균 하네스65.3
Letronna80.4

+15.1점

논문의 최고 구성들과 함께 순위

  1. [ 01 ]LetronnaDeepSeek V4 Flash84.0이번 실행
  2. [ 02 ]LetronnaMuse Spark 1.383.6이번 실행
  3. [ 03 ]LetronnaClaude Opus 5.583.4이번 실행
  4. [ 04 ]LetronnaClaude Sonnet 5.583.4이번 실행
  5. [ 05 ]NanoBotGPT-5.481.3논문
  6. [ 06 ]LetronnaClaude Sonnet 4.680.4이번 실행
  7. [ 07 ]CodexGPT-5.480.4논문
  8. [ 08 ]MoltisGPT-5.474.4논문
  9. [ 09 ]HermesGPT-5.474.0논문
  10. [ 10 ]OpenClawGPT-5.469.3논문
  11. [ 11 ]NullClawGPT-5.468.9논문
  12. [ 12 ]ZeroClawGPT-5.454.3논문

작업당 소요량

하네스점수토큰천 개 / 작업모델 호출작업당
LetronnaDeepSeek V4 Flash84.0112.79.0
LetronnaMuse Spark 1.383.670.18.7
LetronnaClaude Opus 5.583.450.17.1
LetronnaClaude Sonnet 5.583.447.36.4
LetronnaClaude Sonnet 4.680.486.211.3
Codex논문 · 모델 8개 평균80.486.15.0
NanoBot논문 · 모델 8개 평균76.268.77.3
Hermes논문 · 모델 8개 평균71.2139.722.6
Moltis논문 · 모델 8개 평균68.8134.98.0
NullClaw논문 · 모델 8개 평균64.4175.112.1
ZeroClaw논문 · 모델 8개 평균61.4133.28.6
OpenClaw논문 · 모델 8개 평균52.482.15.0

점수는 0~100점으로, 논문과 같이 작업의 결과 검사, 보안 게이트, 판단 모델의 루브릭을 합산한 것입니다. Letronna: 작업당 1회 실행, 판단 모델이 채점한 작업 기준(Sonnet 4.6에서 106개 중 106개, DeepSeek V4 Flash에서 105개). 논문 수치는 논문의 그림 3과 표 2에서 읽었습니다. 행마다 모델이 다르며, 같은 모델끼리의 비교는 위에 있습니다.

작업 탐색기 // 전체 작업 106개

모든 작업, 모든 노트

Main과 base의 비교입니다. base는 하네스 작업 전의 빌드입니다. 행을 선택하면 양쪽에 대한 판단 모델의 노트가 보입니다. 원본 데이터는 이 표가 읽는 파일 그대로입니다.

원본 데이터를 불러오는 중…

SWE-bench Verified // 작업 10개

해결에 드는
토큰

OpenHuman의 하네스 벤치마크가 공개한 10개 작업을 공식 SWE-bench 평가기로 채점했으며, 모든 하네스가 DeepSeek V4.1 Flash에서 실행되었습니다. 낮을수록 좋습니다. Letronna는 10개를 모두 해결하면서, 모두 해결한 하네스 중 토큰을 가장 적게 씁니다.

해결한 작업당 토큰 · 천 개

  1. [ 01 ]Codex공개 결과370k7/10 해결 · 1.74¢
  2. [ 02 ]Letronna1라운드376k10/10 해결 · 0.81¢
  3. [ 03 ]OpenCode공개 결과390k10/10 해결 · 0.77¢
  4. [ 04 ]Claude Code공개 결과428k10/10 해결 · 3.51¢
  5. [ 05 ]OpenClaw공개 결과442k9/10 해결 · 1.07¢
  6. [ 06 ]Hermes공개 결과482k10/10 해결 · 0.82¢
  7. [ 07 ]DeepSeek harness공개 결과744k10/10 해결 · 1.29¢
  8. [ 08 ]Letronna기준선801k9/10 해결 · 2.07¢

모델별 Letronna

모델해결10개 중토큰천 개 / 해결 작업모델 호출작업당비용센트 / 해결 작업
DeepSeek V4.1 Flash1074024.01.27
Claude Haiku 5.59645.81.72
Claude Sonnet 5.59726.65.15
Kimi K2.7 Code946725.212.59
GLM-5.3 Flash8869.90.89
GPT-6 Luna714710.11.24

작업당 1회 실행입니다. 같은 작업이라도 실행마다 호출 횟수가 몇 배씩 달라질 수 있으며, 이후 빌드의 실행은 해결한 작업당 740k 토큰이 나왔습니다(10/10, 1.27¢). 토큰은 10개 작업 전체의 프롬프트와 출력을 합해 해결한 작업 수로 나눈 값입니다. 비용은 DeepSeek 행에서는 DeepSeek 자체 가격 기준이며 공개된 하네스의 웹 검색 비용을 포함하고, 모델 표에서는 각 모델의 정가 기준입니다. 공개된 하네스는 인터넷에 연결된 채 실행되었고, Letronna의 실행은 오프라인이었습니다. 토크나이저는 모델 계열마다 다르므로, 토큰은 같은 모델끼리 비교할 때 가장 정확합니다. 모든 작업: swe-bench.json.

Terminal-Bench 2.0 // 89개 과제

터미널에서
끝내는 과제.

Terminal-Bench 2.0의 89개 과제 전부를 Harbor로, 모델마다 Letronna를 에이전트로 삼아 과제당 한 번씩 실행했습니다. 전체 89개 기준 점수이며 높을수록 좋습니다.

통과한 과제 · 모델별 Letronna

  1. [ 01 ]LetronnaClaude Sonnet 5.579.8%71/89 통과
  2. [ 02 ]LetronnaGPT-6.1 Sol78.7%70/89 통과
  3. [ 03 ]LetronnaClaude Opus 5.576.4%68/89 통과
  4. [ 04 ]LetronnaGPT-6 Sol70.8%63/89 통과
  5. [ 05 ]LetronnaDeepSeek V4.1 Flash69.7%62/89 통과
  6. [ 06 ]LetronnaClaude Haiku 5.565.2%58/89 통과
  7. [ 07 ]LetronnaMuse Spark 1.353.9%48/89 통과

2026년 10월 20일, Harbor 0.24로 실행. 과제마다 마지막 시도가 기준이며, 과제의 답을 온라인에서 찾아본 실행은 실패로 치고, 인프라(docker, 제공업체 장애)로 잃은 시도는 다시 실행했습니다. Claude 모델은 높은 추론 수준으로 실행했습니다. Claude Opus 5.5는 보안·생물학 과제 9개를 제공업체의 안전 필터에 막혔고, Sonnet 5.5는 3개, Haiku 5.5는 1개이며 모두 실패로 칩니다. Grok 4.7은 실행이 끝날 때까지 빼 두었습니다.

방법

실행 방법

기기
Mac mini (Mac16,10), Apple M4 (4P + 6E cores), 16 GB, macOS 26.2
빌드
릴리스 빌드, cargo test --release -- --ignored, 다른 것은 실행하지 않은 상태. 세션은 실제로 디스크에 쓰며, 약 90 MB 분량입니다.
데이터
실제와 같은 형태의 합성 세션: 질문, 도구 호출, 결과, 답변으로 이루어진 5턴, 그리고 메시지 10,000개짜리 하루치 도구 작업 하나. 스트림은 로컬 서버에서 오므로 네트워크 시간은 측정에 들어가지 않습니다.
SWE-bench
SWE-bench Verified, OpenHuman 하네스 벤치마크(tinyhumansai/openhuman-benchmarks)의 10개 작업을, 그 벤치마크의 CPU 4개, RAM 8 GB 작업 컨테이너 안에서 계측 프록시를 거쳐 실행하고, 공식 평가기로 채점했습니다. Letronna는 헤드리스 letronna -p로 실행됩니다. 공개 행은 그 장비의 2026년 10월 2일 실행 결과입니다.
Harness-Bench
Qihoo360/harness-bench의 커밋 1025086, 전체 106개 작업, 논문과 같이 Claude Sonnet 4.6이 판단. Letronna main(847fa57c)에서 2026년 10월 13일 재실행. 논문: arXiv 2605.27922.