Llama 3.3 Nemotron Super 49B v1.5
NVIDIA Llama 3.3 Nemotron Super 49B v1.5 ist eine durch Pruning und Destillation optimierte Variante von Metas Llama 3.3 70B mit 49 Milliarden Parametern. Das Modell bietet hohe Reasoning-Leistung bei geringerem Ressourcenbedarf, ein Kontextfenster von 131.000 Tokens und optionalen Thinking-Modus über System-Prompt-Steuerung. Unter NVIDIA Open Model License als Open-Weights-Variante lokal oder über Cloud-Anbieter verfügbar.
- Open Weights
- Server
- OR
- Text
- Instruction-Tuned
- Interactive
Schlüsselmetriken
Score · Latenz · Kosten · Qualität
- Total Score Silver
- 69.85
- Routine
- 43.71
- Reasoning
- 26.14
- LLM Judge Avg
- 3.49 / 5
- 100 Coverage
- Avg Task Duration
- 36.91s
- ️ Interactive
- Token Rate
- 20.73tok/s
- Output Rate
- P95 Latency
- 83.14s
- Top 5 %
- Total Tokens
- 99700
- Output Volume
- Cost per 1K
- $0.0004
- USD / 1K Requests
- Benchmark Cost
- $0.04
- Total · 99700 tok
Benchmark-Module
10 Module · gewichtet · vs. Modellmedian & Spitzenreiter
Llama 3.3 Nemotron Super 49B v1.5
Bestes Modell
Ø Alle Modelle
Code Quality
66
CLI Benchmark
80.34
Logical Reasoning
66.22
UX Writing
68.69
Documentation
64.72
Content Transform.
76.5
Cultural Intelligence
71.72
Synthesis Quality
55.83
Tool Execution
90
ToolUse Score
72.92
Benchmark Cost
$0.04
Token-Effizienz & Latenz
Verbrauch pro Modul vs. Modellmedian
Token-Verbrauch pro Modul
Performance-Profil
Schlüsselmetriken – Legende
Score
- Total Score
- Gesamtpunktzahl aus Routine- und Reasoning-Score. Basis für den Flotten-Rang und die Tier-Zuordnung (Gold / Silver / Bronze).
- Routine
- Punktzahl für Standardaufgaben: Code-Generierung, Texttransformation, strukturierte Ausgaben. Gewichtet nach Aufgabenkomplexität.
- Reasoning
- Punktzahl für analytische und logische Aufgaben: mehrstufige Problemlösung, mathematisches Schlussfolgern, strukturierte Argumentationen.
- Rang
- Position im Flottenvergleich, sortiert nach Total Score. Bezieht sich auf den Snapshot zum Zeitpunkt des Tests.
LLM Judge
- LLM Judge Ø
- Durchschnittliche Qualitätsbewertung durch ein unabhängiges Richter-Modell auf einer Skala von 1–5.
- Coverage
- Anteil der Aufgaben, für die eine Judge-Bewertung vorliegt. 100 % bedeutet, alle Antworten wurden bewertet.
Latenz & Geschwindigkeit
- Avg. Task Duration
- Durchschnittliche Zeit pro Aufgabe vom ersten bis zum letzten Token der Antwort, gemessen über alle Benchmark-Aufgaben.
- Token Rate
- Ausgabe-Geschwindigkeit in Tokens pro Sekunde. Relevant für interaktive Anwendungen und Echtzeit-Streaming.
- P95 Latency
- 95. Perzentil der Antwortzeiten – zeigt Ausreißer. Niedrigere Werte bedeuten weniger lange Wartezeiten in Ausnahmefällen.
Kosten
- Cost per 1K
- API-Preis pro 1.000 Output-Tokens in US-Dollar. Basis für Kostenkalkulation bei produktivem Einsatz.
- Benchmark Cost
- Gesamtkosten für den vollständigen Benchmark-Durchlauf dieses Modells.