Gemma 3 4B (Unsloth)
Gemma 3 4B ist die ungewöhnlichste Nano-Klasse-Variante im CrucibleMark-Portfolio: ein multimodales Google-DeepMind-Modell mit Text- und Bild-Verarbeitung bei nur 4 Mrd. Parametern. 128.000 Tokens Kontext, Gemma-Nutzungsbedingungen, lokal als Unsloth-GGUF betreibbar — der kompakteste multimodale Vertreter der Gemma-3-Familie.
- Restricted Weights
- Nano
- llama.cpp
- Text
- Vision
- Instruction-Tuned
- Real-Time
Sovereign Risk: LOW Google DeepMind veröffentlicht Gemma 3 unter den Gemma Terms of Use als herunterladbare Gewichte; bei lokalem Betrieb ohne Cloud-Egress ist das operative Risiko gering. Unsloth dient hier als GGUF-Distribution für lokale Inferenz.
Schlüsselmetriken
Score · Latenz · Kosten · Qualität
- Total Score Bronze
- 61.52
- Routine
- 37.9
- Reasoning
- 23.63
- LLM Judge Avg
- 2.79 / 5
- 100 Coverage
- Avg Task Duration
- 18.29s
- Real-Time
- Token Rate
- 44.46tok/s
- Output Rate
- P95 Latency
- 31.66s
- Top 5 %
- Total Tokens
- 58500
- Output Volume
- Cost per 1K
- $0
- USD / 1K Requests
- Benchmark Cost
- $0
- Total · 58500 tok
Benchmark-Module
10 Module · gewichtet · vs. Modellmedian & Spitzenreiter
Gemma 3 4B (Unsloth)
Bestes Modell
Ø Alle Modelle
Code Quality
58.8
CLI Benchmark
71.12
Logical Reasoning
58.73
UX Writing
60.15
Documentation
47.15
Content Transform.
68.52
Cultural Intelligence
71
Synthesis Quality
Tool Execution
ToolUse Score
Benchmark Cost
$0
Token-Effizienz & Latenz
Verbrauch pro Modul vs. Modellmedian
Token-Verbrauch pro Modul
Performance-Profil
Schlüsselmetriken – Legende
Score
- Total Score
- Gesamtpunktzahl aus Routine- und Reasoning-Score. Basis für den Flotten-Rang und die Tier-Zuordnung (Gold / Silver / Bronze / Standard).
- Routine
- Punktzahl für Standardaufgaben: Code-Generierung, Texttransformation, strukturierte Ausgaben. Gewichtet nach Aufgabenkomplexität.
- Reasoning
- Punktzahl für analytische und logische Aufgaben: mehrstufige Problemlösung, mathematisches Schlussfolgern, strukturierte Argumentationen.
- Rang
- Position im Flottenvergleich, sortiert nach Total Score. Bezieht sich auf den Snapshot zum Zeitpunkt des Tests.
LLM Judge
- LLM Judge Ø
- Durchschnittliche Qualitätsbewertung durch ein unabhängiges Richter-Modell auf einer Skala von 1–5.
- Coverage
- Anteil der Aufgaben, für die eine Judge-Bewertung vorliegt. 100 % bedeutet, alle Antworten wurden bewertet.
Latenz & Geschwindigkeit
- Avg. Task Duration
- Durchschnittliche Zeit pro Aufgabe vom ersten bis zum letzten Token der Antwort, gemessen über alle Benchmark-Aufgaben.
- Token Rate
- Ausgabe-Geschwindigkeit in Tokens pro Sekunde. Relevant für interaktive Anwendungen und Echtzeit-Streaming.
- P95 Latency
- 95. Perzentil der Antwortzeiten – zeigt Ausreißer. Niedrigere Werte bedeuten weniger lange Wartezeiten in Ausnahmefällen.
Kosten
- Cost per 1K
- API-Preis pro 1.000 Output-Tokens in US-Dollar. Basis für Kostenkalkulation bei produktivem Einsatz.
- Benchmark Cost
- Gesamtkosten für den vollständigen Benchmark-Durchlauf dieses Modells.