Letronna®

قياس الأداء // مكتوب بلغة Rust

السرعة
ميزة.

Letronna ملف ثنائي أصلي واحد. لا وقت تشغيل يحتاج إلى إقلاع، ولا مفسِّر يحتاج إلى تسخين، ولا جامع للمهملات بينك وبين الجواب. وإليك ما يحققه ذلك، مقاساً.

  • بدء التشغيل البارد

    7.65ms

    تشغيل تطبيق الطرفية حتى يظهر الموجّه الجاهز، مع 500 جلسة على القرص، داخل شبه طرفية

  • الذاكرة في الخمول

    9.52MB

    حجم المجموعة المقيمة في الذاكرة (resident set size) عند ذلك الموجّه الجاهز

  • تحليل بث من 10k حدث

    13.2ms

    رد طويل، كلمة كلمة، من خادم محلي

السرعة // وسيط 7 تشغيلات

كل مسار حرج للأداء.

ما ينتظره الإنسان، وما ينمو مع السجلّ: قياس أداء النواة وقياس أداء الطرفية، كلٌّ منهما مقيَّد بخط أساس محفوظ في المستودع، فيفشل قياس الأداء إن أبطأ بناءٌ ما. لا يُستدعى أي نموذج؛ فهذا إطار تشغيل الوكيل وحده.

  1. [ 01 ]بدء التشغيل الباردterminal_start_ms7.65msتشغيل تطبيق الطرفية حتى يظهر الموجّه الجاهز، مع 500 جلسة على القرص، داخل شبه طرفية
  2. [ 02 ]الذاكرة في الخمولterminal_rss_mb9.52MBحجم المجموعة المقيمة في الذاكرة (resident set size) عند ذلك الموجّه الجاهز
  3. [ 03 ]عرض 500 جلسةlisting_500_ms1.47msتحميل قائمة الجلسات من فهرسها
  4. [ 04 ]عرض 5,000 جلسةlisting_5000_ms16.0msالأمر نفسه، مع نحو ⁦90 MB⁩ من الجلسات على القرص
  5. [ 05 ]البحث في 5,000 جلسةsearch_5000_ms102msبحث في النص كاملاً، بكلمة شائعة وأخرى نادرة، وأفضل 20 نتيجة
  6. [ 06 ]فتح جلسة من 10k رسالةload_10k_ms11.8msقراءة يوم طويل من استدعاءات الأدوات من القرص
  7. [ 07 ]ملاءمة سياق بحجم 200kwindow_start_10k_ms0.522msوضع نافذة من 200k رمز فوق تلك الرسائل البالغ عددها 10,000
  8. [ 08 ]تحليل بث من 10k حدثstream_10k_events_ms13.2msرد طويل، كلمة كلمة، من خادم محلي

أشرطة على مقياس لوغاريتمي، من 0.1 مللي ثانية إلى 1 ثانية. ستُقاس أطر تشغيل الوكلاء الأخرى على الجهاز نفسه بالبيانات نفسها، وتظهر صفوفها هنا حين تُقاس، لا قبل ذلك.

Harness-Bench // مهام الوكيل: 106

سريع، والعمل
صحيح.

السرعة لا تعني شيئاً إن كان العمل خاطئاً. في Harness-Bench، وهي مهام حقيقية تمتد من الملفات إلى git حتى فرز البريد الإلكتروني وتصحيح الشيفرة، ويُقيّمها المُراجِع الآلي (judge) الخاص بالورقة نفسها، يتفوّق أفضل تشغيل من Letronna على كل إعداد تذكره الورقة، ويتجاوز متوسط إطار تشغيل الوكيل في الورقة على النموذج نفسه بفارق 15 إلى 27 نقطة.

النموذج نفسه · DeepSeek V4 Flash

متوسط إطار تشغيل الوكيل في الورقة57.5
Letronna84.0

النقاط: +26.5

النموذج نفسه · Claude Sonnet 4.6

متوسط إطار تشغيل الوكيل في الورقة65.3
Letronna80.4

النقاط: +15.1

مرتّبة مع أفضل إعدادات الورقة

  1. [ 01 ]LetronnaDeepSeek V4 Flash84.0هذا التشغيل
  2. [ 02 ]LetronnaMuse Spark 1.383.6هذا التشغيل
  3. [ 03 ]LetronnaClaude Opus 5.583.4هذا التشغيل
  4. [ 04 ]LetronnaClaude Sonnet 5.583.4هذا التشغيل
  5. [ 05 ]NanoBotGPT-5.481.3الورقة
  6. [ 06 ]LetronnaClaude Sonnet 4.680.4هذا التشغيل
  7. [ 07 ]CodexGPT-5.480.4الورقة
  8. [ 08 ]MoltisGPT-5.474.4الورقة
  9. [ 09 ]HermesGPT-5.474.0الورقة
  10. [ 10 ]OpenClawGPT-5.469.3الورقة
  11. [ 11 ]NullClawGPT-5.468.9الورقة
  12. [ 12 ]ZeroClawGPT-5.454.3الورقة

العمل لكل مهمة

إطار التشغيلالدرجةالرموزألف / مهمةاستدعاءات النموذجلكل مهمة
LetronnaDeepSeek V4 Flash84.0112.79.0
LetronnaMuse Spark 1.383.670.18.7
LetronnaClaude Opus 5.583.450.17.1
LetronnaClaude Sonnet 5.583.447.36.4
LetronnaClaude Sonnet 4.680.486.211.3
Codexالورقة · متوسط 8 نماذج80.486.15.0
NanoBotالورقة · متوسط 8 نماذج76.268.77.3
Hermesالورقة · متوسط 8 نماذج71.2139.722.6
Moltisالورقة · متوسط 8 نماذج68.8134.98.0
NullClawالورقة · متوسط 8 نماذج64.4175.112.1
ZeroClawالورقة · متوسط 8 نماذج61.4133.28.6
OpenClawالورقة · متوسط 8 نماذج52.482.15.0

درجات من 0 إلى 100، تجمع نتيجة فحص المهمة، وحاجزاً أمنياً، وتقييم المُراجِع الآلي، كما في الورقة. Letronna: تشغيل واحد لكل مهمة، على المهام التي قيّمها المُراجِع الآلي (106 من 106 على Sonnet 4.6، و105 على DeepSeek V4 Flash). أرقام الورقة مقروءة من الشكل 3 والجدول 2. النماذج تختلف بين الصفوف؛ والمقارنة على النموذج نفسه في الأعلى.

مستكشف المهام // جميع المهام: 106

كل مهمة، وكل ملاحظة.

Main مقابل Base، أي البناء الذي سبق عمل الإطار. اختر صفاً لتظهر ملاحظة المُراجِع الآلي على الاثنين. البيانات الخام هي الملف الذي يقرأ منه هذا الجدول.

جارٍ تحميل البيانات الخام…

SWE-bench Verified // المهام: 10

الرموز اللازمة
للحل.

المهام العشر التي نشرها قياس أداء أطر التشغيل لدى OpenHuman، يقيّمها المقيِّم الرسمي من SWE-bench، لكل إطار تشغيل على DeepSeek V4.1 Flash. الأقل أفضل. يحل Letronna المهام العشر كلها بأقل الرموز بين كل إطار تشغيل يحلها.

الرموز لكل مهمة محلولة · ألف

  1. [ 01 ]Codexمنشور370k7/10 محلولة · 1.74¢
  2. [ 02 ]Letronnaالجولة الأولى376k10/10 محلولة · 0.81¢
  3. [ 03 ]OpenCodeمنشور390k10/10 محلولة · 0.77¢
  4. [ 04 ]Claude Codeمنشور428k10/10 محلولة · 3.51¢
  5. [ 05 ]OpenClawمنشور442k9/10 محلولة · 1.07¢
  6. [ 06 ]Hermesمنشور482k10/10 محلولة · 0.82¢
  7. [ 07 ]DeepSeek harnessمنشور744k10/10 محلولة · 1.29¢
  8. [ 08 ]Letronnaخط الأساس801k9/10 محلولة · 2.07¢

Letronna عبر النماذج

النموذجمحلولةمن 10الرموزألف / محلولةاستدعاءات النموذجلكل مهمةالتكلفةسنت / محلولة
DeepSeek V4.1 Flash1074024.01.27
Claude Haiku 5.59645.81.72
Claude Sonnet 5.59726.65.15
Kimi K2.7 Code946725.212.59
GLM-5.3 Flash8869.90.89
GPT-6 Luna714710.11.24

تشغيل واحد لكل مهمة؛ قد تحتاج المهمة الواحدة إلى أضعاف الاستدعاءات من تشغيل إلى آخر، وبلغ تشغيل من بناء لاحق 740 ألف رمز لكل مهمة محلولة (10/10, 1.27¢). الرموز هي الموجّه والمخرجات معاً على المهام العشر كلها، مقسومة على المهام المحلولة. التكلفة بأسعار DeepSeek نفسها لصفوف DeepSeek، مع احتساب بحث الويب الخاص بالأطر المنشورة، وبسعر القائمة لكل نموذج في جدول النماذج. عملت الأطر المنشورة مع الوصول إلى الإنترنت، أما تشغيلات Letronna فكانت دون اتصال. تختلف أدوات تقسيم الرموز بين عائلات النماذج، لذلك تُقارَن الرموز بأفضل صورة على النموذج نفسه. كل المهام: swe-bench.json.

Terminal-Bench 2.0 // 89 مهمة

مهام يُنجزها
في الطرفية.

جميع مهام Terminal-Bench 2.0 البالغة 89 عبر Harbor، مع Letronna وكيلًا على كل نموذج، محاولة واحدة لكل مهمة. الدرجة من أصل 89؛ الأعلى أفضل.

المهام الناجحة · Letronna على كل نموذج

  1. [ 01 ]LetronnaClaude Sonnet 5.579.8%نجح في 71/89
  2. [ 02 ]LetronnaGPT-6.1 Sol78.7%نجح في 70/89
  3. [ 03 ]LetronnaClaude Opus 5.576.4%نجح في 68/89
  4. [ 04 ]LetronnaGPT-6 Sol70.8%نجح في 63/89
  5. [ 05 ]LetronnaDeepSeek V4.1 Flash69.7%نجح في 62/89
  6. [ 06 ]LetronnaClaude Haiku 5.565.2%نجح في 58/89
  7. [ 07 ]LetronnaMuse Spark 1.353.9%نجح في 48/89

شُغّل في 20 أكتوبر 2026 باستخدام Harbor 0.24. تُحتسب آخر محاولة لكل مهمة؛ والتشغيل الذي بحث عن إجابات المهمة على الإنترنت يُعدّ فشلًا، أما المحاولات التي ضاعت بسبب البنية التحتية (docker، أعطال المزوّد) فأُعيد تشغيلها. شُغّلت نماذج Claude بمستوى تفكير مرتفع. خسر Claude Opus 5.5 عدد 9 مهام في الأمن والأحياء بسبب مرشّح الأمان لدى مزوّده، وخسر Sonnet 5.5 عدد 3، وخسر Haiku 5.5 مهمة 1؛ وتُعدّ فشلًا. استُبعد Grok 4.7 حتى ينتهي تشغيله.

المنهج

كيف جرى القياس.

الجهاز
Mac mini (Mac16,10), Apple M4 (4P + 6E cores), 16 GB, macOS 26.2
البناء
بناء الإصدار، cargo test --release -- --ignored، ولا شيء آخر يعمل. تُكتب الجلسات فعلياً، ونحو ⁦90 MB⁩ منها.
البيانات
جلسات اصطناعية بشكل الجلسات الحقيقية: خمس جولات من سؤال واستدعاء أداة ونتيجة وجواب، إضافة إلى يوم واحد من عمل الأدوات يضم 10,000 رسالة. يأتي البث من خادم محلي، لذلك لا يُقاس أي زمن شبكة.
SWE-bench
SWE-bench Verified، و10 مهام من قياس أداء أطر التشغيل لدى OpenHuman (tinyhumansai/openhuman-benchmarks)، في حاوية المهمة الخاصة بها: 4 وحدات معالجة و8 جيجابايت، خلف خادم وساطة (proxy) يقيس الاستهلاك، ويقيّمها المقيِّم الرسمي. يعمل Letronna دون واجهة، letronna -p. الصفوف المنشورة من تشغيل منصة الاختبار في 2 أكتوبر 2026.
Harness-Bench
Qihoo360/harness-bench عند commit 1025086، كل المهام البالغ عددها 106، يقيّمها Claude Sonnet 4.6 بوصفه المُراجِع الآلي كما في الورقة. أُعيد التشغيل في 13 أكتوبر 2026 على فرع main في Letronna (847fa57c). الورقة: arXiv 2605.27922.