Gemma 4 E2B (Unsloth)

Gemma 4 E2B ist das kompakteste Gemma-4-Modell und der Einstieg in die neue Familie mit Apache-2.0-Lizenz. PLE-Architektur mit 5,1 Mrd. Gesamt- und 2,3 Mrd. effektiven Parametern, 128.000 Tokens Kontext, multimodale Eingabe für Text, Bild und Audio sowie eingebautes Reasoning und Function-Calling. Lokal als Unsloth-GGUF auf Edge- und Phone-Klasse lauffähig.

Google Version 4 Kommerzielle Nutzung erlaubt Dense 5.1 B (2.3 B aktiv) 128 K Context 01/2025 local getestet

  • Open Weights
  • Nano
  • llama.cpp
  • Text
  • Vision
  • Audio
  • Instruction-Tuned
  • Real-Time

Sovereign Risk: LOW TODO

Tool-Use-Profil: 6 Assets im Detail

Vergleich der Asset-Performance (P1/P2/Combined) gegenüber dem Flotten-Durchschnitt

Asset-Performance (Radar)

Score Breakdown vs. Fleet Average


Tool-Use-Details

Asset-Performance, Zuverlässigkeit und Laufzeit-Profil

CrucibleMark prüft Tool-Use in 6 voneinander unabhängigen Tests. Klicken Sie auf einen Test-Namen für die Details.

Reliability

  • Tool Call Valid: Nein
  • Retry: Nicht erforderlich
  • Halluzination: Nicht erkannt

Reliability misst, wie verlässlich ein Modell Werkzeugaufrufe tatsächlich ausführt: Tool Call Valid Schema und Format akzeptiert, Retry Required erst nach Wiederholung erfolgreich, Halluzination Flag erfundene Tools oder Parameter erkannt. Alle drei grün bedeutet produktionstauglich.

Betriebsprofil

Call 1
1.03
First Request
MCP
0.47
Protocol Latency
Synthesis
4.41
Response Generation
Total
35.46
Sum of All Phases
Token
10477
Input + Output
Cost
$0
Cost per Run

Das Betriebsprofil zeigt die Laufzeit- und Kostenkennzahlen des Modell-Laufs: Call 1 First Request, MCP Protocol Latency, Synthesis Response Generation, Total Summe aller Phasen, erganzt um Token Input und Output sowie Cost Kosten pro Lauf.

Tool-Use-Review

Erstellt am · Instruction-Tuned

Deployment-Urteil

Bedingt deploy: Das Modell zeigt brauchbare Tool-Orientierung, ist aber wegen ungültiger Tool-Calls und schwacher Synthesetreue nicht vertrauenswürdig genug für autonome MCP-Pipelines.

Tool-Execution-Profil

Gemma 4 E2B erkennt Werkzeugbedarf nicht nur schematisch, sondern mit echter Situationsanpassung. Beim Web Search & Tool Selection-Test, der prüft, ob ohne Hinweis search statt fetch gewählt wird, trifft es die Werkzeugwahl sicher. Auch beim URL-Construction-Test, der die eigenständige Ableitung einer Ziel-URL und den anschließenden Fetch misst, arbeitet es grundsätzlich korrekt, aber nicht präzise genug für strikt deterministische Abläufe. Das Gesamtbild ist damit besser als der Rohwert vermuten lässt: Das Modell versteht, wann Suche nötig ist und wann direkter Abruf reicht.

Der operative Haken liegt nicht in der Auswahl, sondern in der Protokolltreue. Tool-Call valide steht auf false. Für Produktionsbetrieb heißt das: Die Planungslogik ist brauchbar, die Übergabe an die MCP-Infrastruktur aber nicht stabil genug. Da kein Retry erforderlich war, spricht das eher für unzuverlässige Ausführungsausgabe als für ein bloßes Formatproblem nach dem ersten Versuch.

Synthesetreue

Wie gut verdichtet es Tool-Ergebnisse? Nur eingeschränkt. Die P2-Leistung ist der Hauptgrund gegen einen breiten Einsatz. Solide Werte bei HTTP Fetch & Extract sowie bei URL Construction & Fetch zeigen, dass das Modell einzelne Tool-Ergebnisse noch ordentlich zusammenziehen kann. Sobald die Aufgabe aber mehr Auswahl, Grenzfälle oder Mehrsprachigkeit verlangt, bricht die Verdichtungsqualität sichtbar ein.

Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Hier ist das Vertrauenssignal gemischt. Im Honeypot EU License Research, der prüft, ob aktuelle Lizenzrestriktionen wirklich aus Web-Quellen geholt werden, erzielt das Modell P2=0. Positiv ist nur, dass keine Halluzination markiert wurde. Negativ ist das eigentliche Produktionssignal: Es liefert keine belastbare, quellengebundene Verdichtung genau dort, wo Compliance-nahe Aktualität entscheidend ist.

Fehlerresilienz

Bei Tool-Fehlern reagiert das Modell akzeptabel. Im 404-Test, der transparente Fehlerkommunikation gegen erfundenen Ersatzinhalt prüft, halluziniert es keinen Seiteninhalt. Das ist für Produktion wichtig. Ein fehlgeschlagener Call beschädigt damit nicht automatisch die Faktengrundlage der gesamten Antwort. Die Fehlerkommunikation ist nicht stark, aber ausreichend sicher.

Souveränitätsprofil

Lokal betreibbar mit Apache-2.0-Gewichten und damit souverän einsetzbar. Mit 59.25 Combined liegt es 8.50 Punkte unter dem Fleet-Ø von 67.75. Der Vorteil ist Kontrolle über Laufzeit und Datenpfad, nicht fleet-kompetitive Tool-Leistung.

Fazit & Empfehlung

Geeignet für lokale, datensensible Pipelines mit Mensch-in-der-Schleife, klaren Werkzeugpfaden und geringer Compliance-Last. Nicht geeignet für autonome Recherchestrecken, mehrsprachige Synthese, Lizenz- oder Policy-Prüfungen und allgemein für Pipelines, in denen MCP-Calls strikt valide und inhaltlich belastbar verdichtet werden müssen. Wenn Sie es einsetzen, dann als kostengünstigen lokalen Executor unter enger Guardrail- und Post-Validation-Schicht.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.