Gemma 4 26B-A4B Instruct (thinking on)

Mit einem Gesamtscore von 70.47% zeigt Gemma 4 26B-A4B Instruct im hier getesteten Thinking-Modus ein eigentümliches Doppelgesicht: als generalistisches Workstation-Modell mit MoE-Architektur und nur 3,8 Milliarden aktiven Parametern bei 25,2 Milliarden Gesamtparametern denkt es oft klüger, als seine aktive Kapazität vermuten lässt, verliert dabei aber zu häufig die Zügel über Format, Sprache und Ausgabelogik. Der Speed-Profile-Badge Batch DevOps Expert passt gut: kein Modell für hektische Dialoge, sondern für Aufgaben, bei denen man ihm Zeit zum Ausformulieren gibt. Als Text-only-Benchmark sieht CrucibleMark zudem nur einen Teil des Profils, denn die vorab zugewiesene Multimodalität bleibt hier ungenutzt.

Kopfnoten: Stabilität und Zuverlässigkeit

Architektur und Charakter

Die Metadaten treffen den Kern erstaunlich präzise. Gemma 4 26B-A4B Instruct ist ein Generalist in der Workstation-Klasse, aber eben keiner mit klassisch dichter Architektur. Die relevante Zahl ist nicht die Gesamtgröße, sondern die aktive Kapazität von 3,8 Milliarden Parametern pro Token. Für ein MoE-Modell dieser Kategorie ist deshalb nicht entscheidend, ob es wie ein 25B-Modell klingt, sondern ob es mehr liefert als ein gutes kleines Dense-Modell. Genau das tut es phasenweise.

Der getestete Lauf fand ausdrücklich im Thinking-Modus statt. Das ist wichtig, weil es die Maßstäbe verschiebt. Längere Denkpfade, ausführlichere Begründungen und auch etwas mehr Reibung bei der Interaktivität sind hier kein Makel, sondern Teil des Versprechens. Gleichzeitig trägt das Modell auch den Instruct-Charakter in sich. Diese Mischung ist produktiv, aber nicht immer sauber austariert. Man sieht Antworten, die inhaltlich vernünftig sind, sich dann aber an Nebenforderungen verhaken. Ein Modell, das denkt, aber nicht immer gehorcht, ist im Alltag manchmal beeindruckend und manchmal unerquicklich.

Dass es außerdem als multimodal eingestuft ist, muss man fairerweise als Benchmark-Grenze benennen. Dieser Report bewertet nur die Textseite. Wer das Modell wegen Bildverständnis, multimodaler Dokumentarbeit oder visueller Agenten prüft, bekommt hier nur die halbe Wahrheit.

Geschwindigkeit und Effizienz

Als lokal betriebenes Modell auf ASUS GX10 / NVIDIA DGX Spark (GB10 Grace Blackwell Superchip, ~115 GB Unified Memory — kein praktisches Speicherlimit für getestete Modellgrößen) zeigt Gemma 4 26B-A4B Instruct das Verhalten, das der Badge bereits andeutet: Batch DevOps Expert heißt in der Praxis moderates bis eher behäbiges Arbeitstempo mit spürbarem Fokus auf vollständige Ausarbeitung statt auf spontane Schlagfertigkeit. Für asynchrone Analysen, längere Code-Reviews oder Dokumentaufgaben ist das vertretbar. Für flüssige Mensch-Maschine-Taktung ist der lange Antwort-Tail dagegen ein echter Dämpfer.

Positiv ist die Token-Ökonomie. Über alle budgetierten Module bleibt das Modell unter dem Fleet-Median. Es redet also nicht einfach nur länger, weil es sich gern reden hört. Die Effizienz ist für ein Thinking-Modell sogar auffallend diszipliniert. Das Problem ist nicht Geschwätzigkeit, sondern Streuung. Wenn es ausreißt, dann nicht wegen sichtbarer Textlawinen, sondern weil Denkpfade und Antwortaufbau in einzelnen Fällen die Stabilität untergraben.

Reasoning und Logik

Im logischen Schlussfolgern zeigt Gemma 4 26B-A4B Instruct seine beste Seite. Das Modell löst klassische Denkaufgaben korrekt, erklärt nachvollziehbar und bleibt sprachlich sauber. Im vorliegenden Metakognitions-Protokoll zur Wahrheitsager-Lügner-Frage liegt die Antwort sachlich richtig, gut strukturiert und didaktisch brauchbar vor. Der Judge moniert nicht die Logik, sondern den fehlenden letzten Schliff: alternative Formulierungen werden kaum ausgeleuchtet, die konzeptionelle Pointe der doppelten Inversion wird eher umkreist als auf den Punkt gebracht.

Das ist ein wiederkehrendes Muster. Gemma denkt oft richtig, aber nicht maximal elegant. Statt die zugrunde liegende Struktur glasklar freizulegen, baut es eine solide, manchmal etwas sperrige Erklärung. Die Formel „Wahrheit × Lüge = Lüge“ ist dafür exemplarisch. Nicht falsch genug, um als Fehler durchzugehen. Aber schief genug, um Kennern die Stirn zu runzeln. Gute Reasoning-Modelle vermeiden solche Hilfskonstruktionen. Sehr gute machen den Mechanismus einfacher, nicht nur länger.

Trotzdem: Für ein MoE-Generalistenmodell mit 3,8 Milliarden aktiven Parametern ist das Niveau respektabel. Die Schwäche liegt weniger in Denkfehlern als in mangelnder intellektueller Verdichtung. Gemma kommt an, aber nicht immer mit der elegantesten Route.

Code Quality und Security

Im Bereich Code Quality ist das Modell brauchbar, aber nicht furchteinflößend. Der Security-Fall mit den absichtlich verwundbaren PHP-Snippets zeigt sehr klar, wo die Grenze verläuft. Gemma 4 26B-A4B Instruct identifiziert 13 von 19 relevanten Schwachstellen, also einen ordentlichen Grundstock: SQL Injection, XSS, Path Traversal, IDOR, CSRF, schwache Token-Erzeugung, Header Injection, Type Juggling. Das ist kein Zufallstreffer, sondern solide Sicherheitsarbeit.

Dann kommt der Haken. Es fehlen gleich mehrere wirklich teure Lücken: hardcodierte DB-Credentials, hardcodierte Secrets, Session Fixation, unsichere Cookies, Reset-Token ohne Ablaufzeit. Genau dort also, wo aus einer Sammlung einzelner Bugs eine belastbare Angriffskette wird. Der Judge beschreibt das treffend: Das Modell sieht viele Bäume, aber nicht den Waldbrand. Für Security-Reviews im Team ist das nützlich als erste Lagekarte. Für eine finale Freigabe ist es zu lückenhaft.

Erschwerend kommt hinzu, dass die Severity-Einstufungen tendenziell etwas zu zahm bleiben. Path Traversal, IDOR oder Loose Comparison werden erkannt, aber nicht immer mit der Schärfe bewertet, die ein operativer Angreifer ansetzen würde. Das ist kein Halluzinationsproblem, sondern ein Tiefenproblem. Die Antwort ist formal sauber und in Deutsch ordentlich formuliert. Ihr fehlt nur jene Kompromisslosigkeit, die gute Security-Analyse von bloßer Bug-Inventur trennt.

Content Transformation und redaktionelle Anpassung

Hier liefert Gemma 4 26B-A4B Instruct eines seiner rundesten Ergebnisse. Die Umwandlung eines Sicherheitsstoffs in ein produktionsreifes YouTube-Skript gelingt erstaunlich gut: Timestamps sitzen, der Ton ist sprechbar statt papiern, visuelle Regiehinweise sind vorhanden, Timing und Dramaturgie funktionieren. Das ist mehr als bloßes Umschreiben. Das Modell versteht, wie ein Skript auf dem Bildschirm leben muss.

Gerade deshalb fällt auf, was fehlt. Die vorgeschaltete Analyse bleibt kompakter als ideal und verliert einige der tieferen Begründungen, die ein wirklich erfahrener Redakteur oder Producer miterklären würde. Das Easter Egg existiert, ist aber dramaturgisch schwächer platziert als möglich. Und die Meta-Ebene, also das Warum hinter Hook, Pattern Interrupt und Retention-Punkt, bleibt unterbelichtet. Gemma liefert die Bühne, aber nicht immer die Regieanmerkung für Profis.

Für Content-Teams ist das trotzdem ein klares Plus. Es produziert nutzbares Material statt bloßer Rohmasse. Man merkt, dass das Modell im Transformationsteil nicht nur Sprache paraphrasiert, sondern Form und Nutzungskontext ernst nimmt.

Cultural Intelligence

Im Modul Cultural Intelligence zeigt sich eine der interessanteren Spannungen dieses Modells. Inhaltlich versteht Gemma 4 26B-A4B Instruct die Aufgabe. Es entfernt toxische Begriffe, neutralisiert Geschlechterbias und schreibt auf Deutsch. Der Kern der Stellenanzeige wird sauber entschärft. Das Problem liegt nicht im Wollen, sondern im Gehorchen.

Der konkrete Fall ist lehrbuchhaft: Gefordert war ausschließlich der umgeschriebene Text. Das Modell hängt eine ausführliche Erklärung an. Für Menschen liest sich das zunächst sogar hilfreich. Für einen realen Workflow ist es ein Fehlverhalten. Wer explizit „nur den finalen Text“ bestellt, will kein pädagogisches Beiwerk. Hier verrät der Thinking-Modus seinen Preis. Das Modell produziert sichtbare Rechtfertigung, wo Zurückhaltung gefragt gewesen wäre.

Das Längenproblem ist kein isolierter Ausreißer. Über mehrere Aufgaben mit gleichzeitigen Vorgaben aus Sprache, Länge und Format zeigt das Modell ein konsistentes Muster: Es verliert das Ausgabelimit oder die strikte Form zuerst. Das ist nicht dramatisch im lockeren Chat. In automatisierten Content-Pipelines ist es Gift.

UX Writing und Microcopy

Gerade in UX Writing zeigt sich die Sollbruchstelle des Thinking-Modus besonders hart. Wenn es funktioniert, formuliert Gemma knapp, strukturiert und mit brauchbarer Progression. Die vorhandenen Qualitätsnotizen deuten an, dass in einzelnen Aufgaben Tabellenstruktur, Schrittfolge und Nutzwert durchaus stimmen. Das Problem ist die operative Zuverlässigkeit des Moduls insgesamt.

In einer UX-Aufgabe hat das Modell die Aufgabe als abgeschlossen gemeldet, aber keinen sichtbaren Antworttext produziert. Das bedeutet entweder einen rein internen Reasoning-Only-Output, eine stille Verweigerung oder einen Silent-Failure. In allen drei Fällen stand dem Judge kein bewertbarer Text zur Verfügung. Für Anwender ist das der schlimmste Fehlertyp, weil er sich leise tarnt.

Hinzu kommt ein harter Constraint-Befund: In einer UX-Writing-Aufgabe haben interne Denk-Tokens das Ausgabe-Kontingent verdrängt. Sichtbar blieb zu wenig Platz für die vollständige Antwort. Der automatische Abzug greift hier nicht wegen schlechter Qualität, sondern wegen technischer Unvollständigkeit. Das ist bei Reasoning-Modellen ein bekanntes Muster, aber deshalb nicht weniger relevant. Wer Agenten-Workflows oder Vorlagen-Generatoren baut, braucht nicht nur gute Gedanken, sondern auch tatsächlich ausgelieferten Text.

Das Modulurteil fällt deshalb nüchterner aus, als die Stilkompetenz allein vermuten ließe. UX-Schreiben ist nicht nur Formulierungskunst. Es ist Disziplin unter engen Vorgaben. Genau dort rutscht Gemma weg.

Documentation Quality

Dokumentation ist oft der Ort, an dem mittelgute Modelle unauffällig solide wirken. Gemma 4 26B-A4B Instruct schafft das nur teilweise. Sprachlich und strukturell kann es Dokumente vernünftig aufbauen, aber das Modul wird von einem Fehler überschattet, der in professionellen Umgebungen schlicht nicht passieren darf.

In einer Dokumentationsaufgabe ignorierte das Modell die explizite Sprachanweisung und antwortete auf Englisch statt auf Deutsch. Das ist kein Schönheitsfehler, sondern ein klarer Instruction-Following-Ausfall. In Teams mit fester Zielsprache, Freigabeprozessen oder lokalisierter Produktdokumentation ist so etwas ein echter Produktionsstopper.

Dazu kommt der automatische Constraint-Verstoß derselben Aufgabe: Die Sprachvorgabe wurde regelbasiert verletzt, der Score sinkt also nicht wegen einer Meinungsfrage des Judges, sondern wegen einer harten formalen Verfehlung. Die inhaltliche Qualität der Antwort spielt in diesem Moment nur noch die zweite Geige. Wer Dokumentation produziert, braucht Verlässlichkeit bei Sprache und Format. Genau diese verhandelbaren Basics dürfen kein Glücksspiel sein.

CLI und Tool-Nähe

Der Zahlenblock zum CLI-Bereich ist stark genug, um eine klare Tendenz zu erkennen: Gemma 4 26B-A4B Instruct versteht operative Aufgaben im Terminal-Kontext gut. Das passt auch zum Speed-Badge, der es als DevOps-nahes Modell einordnet. Der Charakter ist nicht der eines hyperpräzisen Tool-Spezialisten, sondern eher der eines Modells, das Kommandos, kurze Ablaufanweisungen und technische Schrittfolgen zuverlässig genug zusammenhält, ohne in epische Erklärungsschleifen abzugleiten.

Gerade für einen Generalisten ist das wichtig. Viele offene Modelle sind entweder sprachlich nett oder technisch brauchbar. Gemma ist hier erfreulich wenig binär. Es kann Technik, ohne nur noch Technik zu sein. Das ist kein trivialer Befund.

Datenschutz und Datenhoheit

Für dieses rein lokale Open-Weights-Modell ist kein eigener Datenschutzblock nötig. Relevanter ist die Weights-Provenienz: Die Gewichte stammen von Google DeepMind (US), das Risiko wird mit MEDIUM bewertet. Praktisch heißt das aber auch: Bei rein lokalem Betrieb entfällt die CLOUD-Act-Relevanz, weil keine Nutzdaten an einen Provider übertragen werden. Die Apache-2.0-Lizenz ist dabei ein seltener Lichtblick in einem Markt voller juristischer Fußangeln. Fine-Tuning, kommerzielle Nutzung und Weiterverbreitung sind hier nicht durch Sonderbedingungen vermint.

Fazit

Gemma 4 26B-A4B Instruct ist ein interessantes, stellenweise sehr gutes lokales Modell mit klar erkennbarem Charakter. Es kombiniert als generalistisches Workstation-MoE vernünftiges Reasoning, gute technische Alltagskompetenz und erstaunlich ordentliche Content-Transformation mit einer Achillesferse, die man nicht wegmoderieren sollte: unter harten Vorgaben verliert es zu oft Formdisziplin und operative Zuverlässigkeit. Das ist kein Totalschaden. Aber es ist genau die Sorte Mangel, die aus einem starken Assistenten noch kein blind vertrauenswürdiges Produktionswerkzeug macht.

Für den praktischen Einsatz heißt das: gut geeignet für lokale Analyse, technische Erstentwürfe, Content-Umbauten, längere Prompt-Aufgaben und als datensparsame Arbeitsmaschine mit offen lizenzierten Gewichten. Weniger geeignet für streng formatierte UX-Ausgaben, sprachkritische Dokumentationspipelines und unattended Agenten-Jobs, bei denen ein stiller Ausfall oder eine falschsprachige Antwort sofort Folgekosten erzeugt. Im direkten Vergleich mit dem Standard-Lauf desselben Modells wirkt der Thinking-Modus hier nicht wie ein Upgrade, sondern wie eine Charakterverschiebung. Er denkt ausführlicher, zahlt dafür aber sichtbar mit schwächerer Disziplin und dem niedrigeren Gesamtergebnis. Über alle Tests hinweg keine nennenswerten Halluzinationen. Das Modell erfindet lieber zu wenig als zu viel. Das ist sympathisch. Und für manche Einsätze mehr wert als ein weiterer Prozentpunkt.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.