Zum Inhalt springen
CrucibleMark

Gemma 4 26B-A4B Instruct (thinking on)

Google DeepMind unterscheidet Gemma 4 26B-A4B Instruct bewusst von früheren Gemma-Generationen: unter echter Apache-2.0-Lizenz, also ohne restriktive Gemma-Nutzungsbedingungen. Das Open-Weight-MoE aktiviert pro Token nur etwa 3,8 von 25,2 Milliarden Parametern und unterstützt Multi-Token-Prediction für schnelleres Decoding. Multimodalität für Text und Bild, 262.144 Tokens Kontext, natives Function-Calling und konfigurierbarer Thinking-Modus runden das Profil ab.

Google Version 4-26B-A4B-Instruct Kommerzielle Nutzung erlaubt MoE 25.2 B (3.8 B aktiv) 262 K Context 02/2026 local getestet

  • Open Weights
  • Workstation
  • VSPK
  • Text
  • Vision
  • Instruction-Tuned
  • Batch

Sovereign Risk: MEDIUM Google DeepMind ist ein US-Unternehmen, daher besteht bei Cloud-/API-Nutzung (z.B. Google Cloud, OpenRouter) US-CLOUD-Act-Exposition. Gemma 4 wurde im Gegensatz zu älteren Gemma-Generationen unter echter Apache-2.0-Lizenz veröffentlicht (keine Gemma Terms of Use mehr), was Fine-Tuning und kommerzielle Nutzung ohne Auflagen erlaubt. Bei rein lokalem Betrieb über llama.cpp/GGUF entfällt die CLOUD-Act-Relevanz vollständig, da keine Datenübertragung an Google erfolgt. Weights sind offen auf Hugging Face verfügbar.

Tool-Use-Profil: 6 Assets im Detail

Vergleich der Asset-Performance (P1/P2/Combined) gegenüber dem Flotten-Durchschnitt

Asset-Performance (Radar)

Score Breakdown vs. Fleet Average

Tool-Use-Details

Asset-Performance, Zuverlässigkeit und Laufzeit-Profil

Name P1 P2 Combined
EU License Research 100 40 64
HTTP Fetch & Extract 80 60 70
Tool Failure Handling (404) 40 80 51
Web Search & Tool Selection 100 80 91
URL Construction & Fetch 80 60 70
Multilingual Search & Synthesis 95 40 67.5

CrucibleMark prüft Tool-Use in 6 voneinander unabhängigen Tests. Klicken Sie auf einen Test-Namen für die Details.

Reliability

  • Tool Call Valid: Nein
  • Retry: Nicht erforderlich
  • Halluzination: Nicht erkannt

Reliability misst, wie verlässlich ein Modell Werkzeugaufrufe tatsächlich ausführt: Tool Call Valid Schema und Format akzeptiert, Retry Required erst nach Wiederholung erfolgreich, Halluzination Flag erfundene Tools oder Parameter erkannt. Alle drei grün bedeutet produktionstauglich.

Betriebsprofil

Call 1
12.25
First Request
MCP
0.84
Protocol Latency
Synthesis
39.58
Response Generation
Total
316.04
Sum of All Phases
Token
18018
Input + Output
Cost
$0
Cost per Run

Das Betriebsprofil zeigt die Laufzeit- und Kostenkennzahlen des Modell-Laufs: Call 1 First Request, MCP Protocol Latency, Synthesis Response Generation, Total Summe aller Phasen, erganzt um Token Input und Output sowie Cost Kosten pro Lauf.

Tool-Use-Review

· Instruction-Tuned

Deployment-Urteil

Bedingt deploy, weil die Tool-Nutzung oft zielführend ist, aber valide Tool-Calls nicht konsistent gelingen und die Synthesequalität für produktive Entscheidungsstrecken zu schwach bleibt.

Tool-Execution-Profil

Gemma 4 26B-A4B Instruct zeigt echte Werkzeugintelligenz bei der Auswahl. Im Test Web Search & Tool Selection, der ohne expliziten Hinweis die Wahl zwischen Suche und direktem Abruf prüft, erkennt es den Bedarf für web_search sehr sicher. Das spricht gegen ein starres Muster und für brauchbare situative Planung. Auch beim URL-Construction-Test, der die eigenständige Ableitung einer Ziel-URL und anschließenden Fetch misst, arbeitet es überwiegend korrekt, aber nicht präzise genug für deterministische Pipelines.

Der Hauptvorbehalt ist operativ: Tool-Call valide steht insgesamt auf false. Das heißt nicht, dass das Modell Tools grundsätzlich nicht versteht. Es heißt, dass die Protokolltreue im MCP-Kontext nicht zuverlässig genug ist, um unbeaufsichtigt jede Übergabe zu tragen. Da kein Retry erforderlich war, liegt das Problem eher in Konsistenz und Ausführung als in einem bloßen Formatfehler.

Synthesetreue

Wie gut verdichtet es Tool-Ergebnisse? Nur eingeschränkt. Die P2-Leistung bleibt mit 60 deutlich hinter der Tool-Ausführung zurück. Das Muster zieht sich durch mehrere Assets: EU License Research und Multilingual Search & Synthesis zeigen ordentliche Rechercheanläufe, aber die Verdichtung verliert Präzision, Priorisierung und belastbare Schlussführung. Für Pipelines, die aus Tool-Output direkt entscheidungsreife Antworten erwarten, ist das zu wenig.

Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Überwiegend ja, und das ist der wichtigere Vertrauenspunkt. Im Honeypot EU License Research, der prüft, ob aktuelle Lizenzrestriktionen wirklich aus Web-Quellen geholt werden, halluziniert es nicht. Das Modell erfindet also keine aktuelle Compliance-Lage aus dem Parametergedächtnis. Allerdings ist die Antwort danach nur begrenzt belastbar verdichtet. Vertrauen in die Quelle ist da, Vertrauen in die Zusammenfassung nur bedingt.

Fehlerresilienz

Bei Tool-Fehlern verhält sich das Modell produktionsgerecht. Im 404-Test, der transparentes Fehlermanagement gegen erfundenen Ersatzinhalt prüft, kommuniziert es den Fehlschlag sauber und halluziniert keinen Seiteninhalt. Das ist für reale MCP-Pipelines ein wichtiger Sicherheitsanker.

Betriebsprofil

Call 1: 12.25s. Call 2: 39.58s. MCP-Latenz: 0.84s. Total: 316.04s. Langsam für die erreichte Qualität. Kosten/Run: local. Günstig im Betrieb, aber die Zeitkosten sind hoch.

Fazit & Empfehlung

Geeignet für lokal betriebene Recherche- und Vorstrukturierungs-Pipelines, in denen Tool-Auswahl wichtig ist und ein nachgelagerter Validator oder ein stärkeres Synthese-Modell die Endantwort absichert. Nicht geeignet als alleinige letzte Instanz für Compliance, Policy oder andere toolgestützte Entscheidungsantworten, bei denen präzise Verdichtung und strikt valide MCP-Ausführung ohne Aufsicht erforderlich sind.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.