Letronna®

מבחני ביצועים // נכתב ב-Rust

מהירות היא
תכונה.

Letronna הוא קובץ הרצה נייטיב אחד. אין סביבת ריצה שצריך להפעיל, אין מפרש שמתחמם, ואין מנגנון איסוף זבל (garbage collector) בינכם לבין התשובה. הנה מה שזה מביא, במדידה.

  • הפעלה קרה

    7.65ms

    הפעלת אפליקציית הטרמינל עד לשורת פקודה מוכנה, עם 500 סשנים על הדיסק, בפסאודו-טרמינל

  • זיכרון במצב סרק

    9.52MB

    גודל ה-resident set (RSS) בשורת הפקודה המוכנה

  • ניתוח זרם של 10k אירועים

    13.2ms

    תשובה ארוכה, מילה אחר מילה, משרת מקומי

מהירות // חציון של 7 הרצות

כל נתיב חם.

מה שאדם מחכה לו, ומה שגדל עם ההיסטוריה: מבחן הליבה ומבחן הטרמינל, כל אחד מהם מול קו בסיס שנשמר בקוד, כך שבנייה איטית יותר נכשלת במבחן. לא נקרא שום מודל; זו מסגרת הסוכן (harness) לבדה.

  1. [ 01 ]הפעלה קרהterminal_start_ms7.65msהפעלת אפליקציית הטרמינל עד לשורת פקודה מוכנה, עם 500 סשנים על הדיסק, בפסאודו-טרמינל
  2. [ 02 ]זיכרון במצב סרקterminal_rss_mb9.52MBגודל ה-resident set (RSS) בשורת הפקודה המוכנה
  3. [ 03 ]הצגת 500 סשניםlisting_500_ms1.47msטעינת רשימת הסשנים מהאינדקס שלה
  4. [ 04 ]הצגת 5,000 סשניםlisting_5000_ms16.0msאותו דבר, עם כ-⁦90 MB⁩ של סשנים על הדיסק
  5. [ 05 ]חיפוש ב-5,000 סשניםsearch_5000_ms102msטקסט מלא, מילה נפוצה ומילה נדירה, 20 התוצאות המובילות
  6. [ 06 ]פתיחת סשן של 10k הודעותload_10k_ms11.8msקריאה מהדיסק של יום ארוך של קריאות לכלים
  7. [ 07 ]התאמה להקשר של 200kwindow_start_10k_ms0.522msהנחת חלון של 200k טוקנים על 10,000 ההודעות האלה
  8. [ 08 ]ניתוח זרם של 10k אירועיםstream_10k_events_ms13.2msתשובה ארוכה, מילה אחר מילה, משרת מקומי

העמודות בסולם לוגריתמי, מ-0.1 מילישנייה עד 1 שנייה. מסגרות סוכן אחרות ימדדו על אותו מחשב ועם אותם נתונים; השורות שלהן יופיעו כאן כשיימדדו, ולא לפני כן.

Harness-Bench // משימות סוכן: 106

מהיר, וגם
פותר נכון.

מהירות לא שווה כלום אם העבודה שגויה. ב-Harness-Bench, משימות אמיתיות, מקבצים ו-git ועד מיון מיילים ודיבוג קוד, שמדורגות על ידי השופט האוטומטי (judge) של המאמר עצמו: הריצה הטובה ביותר של Letronna עולה על כל תצורה שהמאמר מדווח עליה, ומנצחת את מסגרת הסוכן הממוצעת של המאמר באותו מודל ב-15 עד 27 נקודות.

אותו מודל · DeepSeek V4 Flash

מסגרת הסוכן הממוצעת במאמר57.5
Letronna84.0

נקודות: +26.5

אותו מודל · Claude Sonnet 4.6

מסגרת הסוכן הממוצעת במאמר65.3
Letronna80.4

נקודות: +15.1

מדורגים לצד התצורות הטובות ביותר של המאמר

  1. [ 01 ]LetronnaDeepSeek V4 Flash84.0ההרצה הזו
  2. [ 02 ]LetronnaMuse Spark 1.383.6ההרצה הזו
  3. [ 03 ]LetronnaClaude Opus 5.583.4ההרצה הזו
  4. [ 04 ]LetronnaClaude Sonnet 5.583.4ההרצה הזו
  5. [ 05 ]NanoBotGPT-5.481.3מאמר
  6. [ 06 ]LetronnaClaude Sonnet 4.680.4ההרצה הזו
  7. [ 07 ]CodexGPT-5.480.4מאמר
  8. [ 08 ]MoltisGPT-5.474.4מאמר
  9. [ 09 ]HermesGPT-5.474.0מאמר
  10. [ 10 ]OpenClawGPT-5.469.3מאמר
  11. [ 11 ]NullClawGPT-5.468.9מאמר
  12. [ 12 ]ZeroClawGPT-5.454.3מאמר

עבודה לכל משימה

מסגרת סוכןציוןטוקניםאלף / משימהקריאות למודללמשימה
LetronnaDeepSeek V4 Flash84.0112.79.0
LetronnaMuse Spark 1.383.670.18.7
LetronnaClaude Opus 5.583.450.17.1
LetronnaClaude Sonnet 5.583.447.36.4
LetronnaClaude Sonnet 4.680.486.211.3
Codexמאמר · ממוצע של 8 מודלים80.486.15.0
NanoBotמאמר · ממוצע של 8 מודלים76.268.77.3
Hermesמאמר · ממוצע של 8 מודלים71.2139.722.6
Moltisמאמר · ממוצע של 8 מודלים68.8134.98.0
NullClawמאמר · ממוצע של 8 מודלים64.4175.112.1
ZeroClawמאמר · ממוצע של 8 מודלים61.4133.28.6
OpenClawמאמר · ממוצע של 8 מודלים52.482.15.0

ציונים מ-0 עד 100, שמשלבים את בדיקת התוצאה של המשימה, מחסום אבטחה וקריטריוני הדירוג של השופט האוטומטי, כמו במאמר. Letronna: ריצה אחת לכל משימה, על המשימות שהשופט האוטומטי דירג (106 מתוך 106 ב-Sonnet 4.6, 105 ב-DeepSeek V4 Flash). נתוני המאמר נקראו מאיור 3 ומטבלה 2 שבו. המודלים שונים משורה לשורה; ההשוואה על אותו מודל נמצאת למעלה.

סייר המשימות // כל המשימות: 106

כל משימה, כל הערה.

השוואה של main מול base, הבנייה שלפני עבודת מסגרת הסוכן. בחרו שורה כדי לראות את הערת השופט האוטומטי על שניהם. הנתונים הגולמיים הם הקובץ שהטבלה הזו קוראת.

טוען את הנתונים הגולמיים…

SWE-bench Verified // משימות: 10

טוקנים שנדרשים
לפתרון.

עשר המשימות שמבחן המסגרות של OpenHuman פרסם, שנבדקו על ידי המעריך הרשמי של SWE-bench, כל מסגרת על DeepSeek V4.1 Flash. ככל שנמוך יותר, כך טוב יותר. Letronna פותר את כל העשר עם הכי מעט טוקנים מכל מסגרת שפותרת את כולן.

טוקנים לכל משימה שנפתרה · אלף

  1. [ 01 ]Codexמפורסם370kנפתרו: 7/10 · 1.74¢
  2. [ 02 ]Letronnaסבב ראשון376kנפתרו: 10/10 · 0.81¢
  3. [ 03 ]OpenCodeמפורסם390kנפתרו: 10/10 · 0.77¢
  4. [ 04 ]Claude Codeמפורסם428kנפתרו: 10/10 · 3.51¢
  5. [ 05 ]OpenClawמפורסם442kנפתרו: 9/10 · 1.07¢
  6. [ 06 ]Hermesמפורסם482kנפתרו: 10/10 · 0.82¢
  7. [ 07 ]DeepSeek harnessמפורסם744kנפתרו: 10/10 · 1.29¢
  8. [ 08 ]Letronnaקו בסיס801kנפתרו: 9/10 · 2.07¢

Letronna בין מודלים

מודלנפתרומתוך 10טוקניםאלף / משימה שנפתרהקריאות למודללמשימהעלותסנטים / משימה שנפתרה
DeepSeek V4.1 Flash1074024.01.27
Claude Haiku 5.59645.81.72
Claude Sonnet 5.59726.65.15
Kimi K2.7 Code946725.212.59
GLM-5.3 Flash8869.90.89
GPT-6 Luna714710.11.24

ריצה אחת לכל משימה; משימה בודדת יכולה לדרוש פי כמה קריאות מריצה לריצה, וריצה של בנייה מאוחרת יותר הגיעה ל-740k טוקנים לכל משימה שנפתרה (10/10, 1.27¢). טוקנים הם סך הפרומפט והפלט על כל עשר המשימות, חלקי מספר המשימות שנפתרו. העלות היא לפי המחירים של DeepSeek עצמה בשורות של DeepSeek, כולל חיפוש הרשת של המסגרות שפורסמו, ולפי המחירון של כל מודל בטבלת המודלים. המסגרות שפורסמו רצו עם גישה לאינטרנט; הריצות של Letronna היו בלי חיבור לאינטרנט. מנגנוני הטוקניזציה שונים בין משפחות מודלים, ולכן השוואת טוקנים עובדת הכי טוב על אותו מודל. כל המשימות: swe-bench.json.

Terminal-Bench 2.0 // 89 משימות

משימות שהוא
מסיים בטרמינל.

כל 89 המשימות של Terminal-Bench 2.0 דרך Harbor, עם Letronna כסוכן בכל מודל, ניסיון אחד לכל משימה. הניקוד מתוך כל 89; גבוה יותר עדיף.

משימות שעברו · Letronna בכל מודל

  1. [ 01 ]LetronnaClaude Sonnet 5.579.8%71/89 עברו
  2. [ 02 ]LetronnaGPT-6.1 Sol78.7%70/89 עברו
  3. [ 03 ]LetronnaClaude Opus 5.576.4%68/89 עברו
  4. [ 04 ]LetronnaGPT-6 Sol70.8%63/89 עברו
  5. [ 05 ]LetronnaDeepSeek V4.1 Flash69.7%62/89 עברו
  6. [ 06 ]LetronnaClaude Haiku 5.565.2%58/89 עברו
  7. [ 07 ]LetronnaMuse Spark 1.353.9%48/89 עברו

הורץ בתאריך 20 באוקטובר 2026 עם Harbor 0.24. נספר הניסיון האחרון בכל משימה; הרצה שחיפשה ברשת את תשובות המשימה נחשבת כישלון, וניסיונות שאבדו בגלל תשתית (docker, תקלות אצל הספק) הורצו שוב. מודלי Claude רצו בחשיבה גבוהה. Claude Opus 5.5 איבד 9 משימות אבטחה וביולוגיה למסנן הבטיחות של הספק שלו, Sonnet 5.5 איבד 3, ו-Haiku 5.5 איבד 1; הן נחשבות כישלון. Grok 4.7 לא מופיע עד שההרצה שלו תסתיים.

שיטה

איך זה הורץ.

מחשב
Mac mini (Mac16,10), Apple M4 (4P + 6E cores), 16 GB, macOS 26.2
בנייה
בנייית Release, cargo test --release -- --ignored, בלי שום דבר אחר שרץ. הסשנים נכתבים בפועל, כ-⁦90 MB⁩ מהם.
נתונים
סשנים סינתטיים בצורה של סשנים אמיתיים: חמישה תורות של שאלה, קריאה לכלי, תוצאה ותשובה, ועוד יום אחד של עבודת כלים בן 10,000 הודעות. הזרם מגיע משרת מקומי, ולכן אין זמן רשת במדידה.
SWE-bench
SWE-bench Verified, 10 המשימות של מבחן המסגרות של OpenHuman (tinyhumansai/openhuman-benchmarks), בקונטיינר משימה עם 4 CPU ו-⁦8 GB⁩, מאחורי פרוקסי המדידה שלו, ונבדק על ידי המעריך הרשמי. Letronna רץ ללא ממשק גרפי, letronna -p. השורות שפורסמו הן הריצה של מערך הבדיקה מ-2 באוקטובר 2026.
Harness-Bench
Qihoo360/harness-bench בקומיט 1025086, כל המשימות (106), נבדקו על ידי Claude Sonnet 4.6, כמו במאמר. הורץ מחדש ב-13 באוקטובר 2026 על ה-main של Letronna (847fa57c). המאמר: arXiv 2605.27922.