Gemma 4 31B Instruct (thinking on)

Mit einem Gesamtscore von 72.06% zeigt Gemma 4 31B Instruct im hier ausgewerteten Thinking-Lauf ein widersprüchliches Profil: inhaltlich oft klug, formal meist diszipliniert, operativ aber unerquicklich. Der Speed Profile Badge lautet Unusable DevOps Expert. Das ist ein sprechender Name: Das Modell denkt sichtbar tief, arbeitet aber im Test so langsam und instabil, dass aus Kompetenz schnell Friktion wird. Sovereign Risk: HIGH — Google DeepMind unterliegt als US-Anbieter dem CLOUD Act; bei Cloud-Betrieb wären Datenzugriffe durch US-Behörden unter bestimmten Voraussetzungen rechtlich möglich.

Kopfnoten: Stabilität und Zuverlässigkeit

Architektur und Erwartungsrahmen

Die Metadaten dieses Laufs sind wichtig, weil sie das Modell sauber einordnen. Gemma 4 31B Instruct ist hier als Generalist klassifiziert, in der Größenklasse Workstation und als dichte Architektur. Das heißt: 30,7 Milliarden Parameter sind auch wirklich 30,7 Milliarden aktive Parameter. Kein Experten-Routing, kein MoE-Trick, keine nominelle Größe, die sich in der Praxis kleiner anfühlt. Man darf also breite Kompetenz erwarten, gerade auf dem professionellen Niveau eines lokal betreibbaren Workstation-Modells.

Ebenso wichtig ist der tatsächliche Betriebsmodus. Dieser Bericht bewertet ausdrücklich den Thinking-Lauf. Das ist keine Fußnote, sondern prägt den Charakter der Ergebnisse. Bei einem Modell mit den Tags Reasoning, Thinking und Instruct erwartet man längere, überlegtere Antworten, aber auch eine gewisse Strenge beim Befolgen von Anweisungen. Die Benchmark-Daten zeigen genau diese Spannung: Gemma 4 31B Instruct ist selten fahrig, oft präzise und erstaunlich token-ökonomisch. Doch der Preis für diese kontrollierte Denktiefe ist im Testsystem brutal sichtbar.

Dazu kommt eine methodische Einschränkung, die man fair benennen muss: Gemma 4 31B Instruct ist multimodal. Ein reiner Text-Benchmark misst also nur einen Teil seiner eigentlichen Produktidentität. Das entschuldigt keine Schwächen im Textbetrieb, relativiert aber jede Totalverurteilung. Wer dieses Modell für Dokumentverständnis, OCR-nahe Aufgaben oder Bild-Text-Arbeit ins Auge fasst, bekommt hier nur die halbe Wahrheit.

Geschwindigkeit und Praxisprofil

Der Speed Profile Badge Unusable DevOps Expert ist keine Übertreibung, sondern eine Warnplakette. Er sagt im Klartext: Das Modell ist nicht an fehlender Intelligenz gescheitert, sondern an seinem Praxisprofil. Für DevOps-nahe oder agentische Workflows, in denen viele Einzelschritte zuverlässig und mit kalkulierbarer Wartezeit abgearbeitet werden müssen, ist das ein ernstes Problem.

Auf dem lokalen Referenzsystem ASUS GX10 / NVIDIA DGX Spark (GB10 Grace Blackwell Superchip, ~115 GB Unified Memory — kein praktisches Speicherlimit für getestete Modellgrößen) lief dieses lokale Modell sichtbar schwerfällig. Im Fluss des Arbeitens zählt nicht nur, ob eine Antwort irgendwann richtig wird, sondern ob sie rechtzeitig und reproduzierbar kommt. Genau daran kratzt Gemma 4 31B Instruct im Thinking-Modus zu oft vorbei. Das Modell produziert dabei keineswegs ausufernden Text um des Effekts willen. Im Gegenteil: Über alle Module hinweg verhält es sich token-ökonomisch, kein Bereich überschreitet den erwarteten Verbosity-Rahmen. Das ist die bittere Pointe. Selbst mit vergleichsweise diszipliniertem Ausgabevolumen bleibt das Praxisprofil zu zäh.

Reasoning und Logik

Hier liegt der Grund, warum man dieses Modell nicht einfach abschreiben sollte. In den vorliegenden Reasoning-Protokollen argumentiert Gemma 4 31B Instruct sauber, nachvollziehbar und in korrektem Deutsch. Beim klassischen Wächterrätsel liefert es die richtige Lösung, strukturiert den Gedankengang transparent in Szenarien und endet mit einer klar markierten Antwort. Das ist keine geniale Demonstration von Eleganz, aber eine solide Vorführung von Denkdisziplin.

Der Judge moniert vor allem fehlende zweite Schichten. Gemma erklärt, was funktioniert, aber seltener, warum die Methode allgemein funktioniert. Alternative Formulierungen, Meta-Erklärungen wie das Prinzip der doppelten Verneinung oder eine abstrahierte Generalisierung bleiben unterbelichtet. Anders gesagt: Das Modell löst das Problem, aber es doziert nicht darüber. Für Anwender ist das oft völlig ausreichend. Für einen Reasoning-Benchmark kostet es Punkte, weil dort nicht nur das Ziel, sondern auch die gedankliche Ausleuchtung zählt.

Bemerkenswert ist, dass die Format-Compliance im metakognitiven Bereich hier funktionierte. Das Modell nutzte die geforderten <thought>-Tags und hielt die Struktur ein. Bei Thinking-Modellen ist das keine Selbstverständlichkeit, weil manche sich an solchen Stellen hinter Policy-Floskeln verschanzen. Gemma tat das hier nicht. Wenn Punkte verloren gehen, dann primär wegen begrenzter Tiefe im Erklären, nicht wegen Verweigerung.

Trotzdem bleibt ein Makel, den man nicht weichreden sollte: Ein Reasoning-Modell, das in einem relevanten Teil seiner Denkaufgaben regelmäßig mit Timeouts oder massiven Ausreißern kämpft, ist wie ein guter Schachspieler mit brüchiger Uhr. Die Züge sind oft richtig. Nur nützt das wenig, wenn die Partie regelmäßig an der Zeitkontrolle scheitert.

Code Quality und Security

Im Modul Code Quality zeigt Gemma 4 31B Instruct eine der angenehmeren Eigenschaften dieses Tests: Es versteht, worauf es bei Sicherheitsanalyse ankommt. Das Modell identifiziert die offensichtlichen Kritikalitäten zuverlässig, darunter SQL Injection, Klartext-Passwörter, gebrochene Zugriffskontrolle und IDOR. Auch subtilere Probleme wie Weak Randomness, Type Juggling oder Session Fixation tauchen auf. Die Sicherheitsintuition ist also vorhanden. Das Modell sieht mehr als nur OWASP-Buzzwords.

Der Haken ist Vollständigkeit. Im vorliegenden Audit fehlen vier relevante Schwachstellen gegenüber dem Goldstandard, darunter hardcodierte Secrets, root-nahe Datenbank-Credentials ohne Passwort, Header-Injection nach Output sowie ein Reset-Token ohne Ablaufzeit. Das ist kein kosmetischer Verlust. Wer „alle Sicherheitslücken“ verspricht und gut ein Fünftel übersieht, liefert keine belastbare Sicherheitsprüfung, sondern einen brauchbaren ersten Sweep. Für Entwickler ist das noch nützlich. Für Security-Freigaben ist es zu wenig.

Die zweite Schwäche ist fehlende Angriffstiefe. Gemma nennt Probleme und meist auch korrekte Fix-Richtungen, etwa Prepared Statements oder password_hash(). Was weitgehend fehlt, ist die Darstellung realistischer Exploit-Ketten. Gerade bei Security-Reviews entscheidet oft nicht die Liste einzelner Fehler, sondern die Fähigkeit, ihre Verkettung zu erkennen. Der Goldstandard zeigt das mit Admin-Takeover-Pfaden; Gemma bleibt deutlich knapper. Das ist die Handschrift eines Instruct-Modells mit guter Disziplin, aber begrenztem investigativem Biss.

Erschwerend kommt hinzu, dass dieses Modul operativ komplett entgleist ist. Wenn ein Modell im Code-Quality-Bereich nur in einem Teil der Läufe überhaupt rechtzeitig verwertbar antwortet, ist jede fachliche Stärke nur unter Vorbehalt nutzbar. Security-Arbeit lebt von Verlässlichkeit. Ein Analytiker, der an zwei von drei Tagen nicht zum Meeting erscheint, ist kein Senior Reviewer, sondern ein Risiko.

Content Transformation und UX-Nähe

Im Bereich Content Transformation zeigt Gemma 4 31B Instruct eine erfreulich moderne Stärke: Es kann funktionalen Content nicht nur umschreiben, sondern in ein produktionsreifes Format übersetzen. Das beste Beispiel ist das deutschsprachige YouTube-Skript zur 2FA-Erklärung. Die Antwort erfüllt die Vorgaben vollständig, bleibt in deutscher Sprache, setzt auf scanbare Struktur mit Timestamps, visuellen Cues und gesprochenem Text und respektiert sogar die explizite Anweisung, die Analyse vorab knapp zu halten. Das ist mehr als nur Prompt-Gehorsam. Das ist redaktionelle Selbstbeherrschung.

Inhaltlich fehlt dem Modell dann aber die letzte Schicht psychologischer Raffinesse. Der Hook ist eher sachlich als emotional zugespitzt. Pattern Interrupts sind vorhanden, aber nicht mit der Inszenierungsschärfe eines wirklich guten Creator-Skripts. Auch der Call-to-Action bleibt funktional statt clever. Man kann das so lesen: Gemma schreibt ein gutes Produktionsdokument. Ein erfahrener Content-Creator würde daraus mit wenig Aufwand ein besser klickendes Video machen.

Gerade deshalb ist es ärgerlich, dass das Modul bei der Stabilität so schlecht dasteht. Die Qualität der fertigen Antwort spricht für ein Modell, das Briefings versteht, Längen diszipliniert handhabt und nicht am eigenen Token-Ausstoß erstickt. Die Praxisdaten sprechen gleichzeitig gegen einen sorglosen Einsatz in automatisierten Pipelines. In Content-Teams mag man eine langsame, gute Antwort noch tolerieren. In agentischen Systemen wird daraus schnell Sand im Getriebe.

Cultural Intelligence und Sprachgefühl

Das kulturelle Profil von Gemma 4 31B Instruct ist besser, als der eher technische Zuschnitt der Tags erwarten lässt. In der HR-bezogenen Rewrite-Aufgabe liefert das Modell eine professionelle, gut lesbare deutsche Fassung, entfernt toxische Signale und bereinigt geschlechtliche Schieflagen. Das ist nicht nur formal korrekt, sondern im Grundton brauchbar für den DACH-Raum.

Was fehlt, ist die feine Kalibrierung. Der Judge nennt zu Recht die mangelnde positive Umdeutung der entfernten Härten, etwas weniger idiomatische Formulierungen und den Verzicht auf inklusivere Schreibweisen wie Bewerber:innen oder vergleichbare Marker. Das ist keine Blamage, aber es zeigt Charakter. Gemma wirkt hier wie ein sehr kompetenter internationaler Redakteur, der die Hausstile deutscher Personalabteilungen kennt, ohne sie ganz zu atmen.

Für ein als Generalist eingestuftes Workstation-Modell ist das insgesamt ein gutes Ergebnis. Es zeigt, dass die Coding- und Reasoning-Nähe des Modells seine Sprachkompetenz nicht aufgefressen hat. Nur sollte man von ihm keine instinktsichere kulturelle Feinzeichnung erwarten. Es trifft den sachlichen Ton. Den letzten Millimeter Milieugefühl muss meist noch ein Mensch setzen.

Dokumentation, CLI und Instruction-Following

Die breiteren Teilwerte zeichnen das Bild eines Modells, das mit strukturierten Arbeitsaufträgen gut zurechtkommt. Besonders im Tool- und CLI-nahen Bereich bleibt Gemma 4 31B Instruct belastbar. Das passt zu seinem Profil als Coder plus Instruct: Es folgt Anweisungen ordentlich, bleibt in Formaten kontrolliert und verschwendet wenig Text.

Gerade diese Nüchternheit ist eine Stärke. Viele Thinking-Modelle kompensieren Unsicherheit mit Wortmasse. Gemma tut das hier nicht. Seine Antworten bleiben in fast allen Modulen unter dem Fleet-Median der ausgegebenen Tokens. Das bedeutet im lokalen Einsatz nicht automatisch bessere Qualität, aber oft weniger Leerlauf. Wer mit langen Dokumenten, technischen Briefings oder strukturierten Transformationen arbeitet, bekommt ein Modell, das selten ins Schwafeln kippt. Das ist keine glamouröse Tugend, aber eine, die im Alltag Geld, Zeit und Nerven spart.

Datenschutz und Datenhoheit

Ein eigener Datenschutz-Abschnitt ist für diesen Lauf nicht nötig, weil Gemma 4 31B Instruct hier als lokales Open-Weights-Modell betrieben wurde. Relevant bleibt dennoch die Provenienz der Gewichte: Das Weights-Provenienz-Risiko ist als MEDIUM eingestuft, weil Google DeepMind ein US-Unternehmen ist und bei Cloud-Nutzung CLOUD-Act-Exposition bestünde. Im rein lokalen Betrieb entfällt diese Relevanz praktisch, weil keine Daten an Google übertragen werden.

Fazit

Gemma 4 31B Instruct im Thinking-Modus ist ein gutes Modell mit schlechtem Benehmen. Es erreicht 72.06%, argumentiert sauber, schreibt diszipliniert, halluziniert über alle Tests hinweg nicht nennenswert und zeigt besonders bei Code-Analyse, Content-Transformation und strukturiertem Instruction-Following echte Klasse. Aber diese Klasse kommt im vorliegenden Lauf zu oft verspätet oder gar nicht auf die Bühne.

Für wen lohnt es sich trotzdem? Für Nutzer, die lokal arbeiten wollen, eine echte Apache-2.0-Lizenz schätzen und ein breites, rationales Modell mit starkem Textverständnis suchen. Für Security-Analysen als Erstpass, für technische Redaktion, für strukturierte Umschreibungen, für längere reasoning-lastige Aufgaben mit menschlicher Aufsicht. Für zeitkritische Agenten, unbeaufsichtigte Produktivketten oder DevOps-Flows mit vielen abhängigen Schritten ist dieser Thinking-Lauf dagegen kaum zu empfehlen.

Der Vergleich mit dem Standard-Lauf desselben Modells fällt ernüchternd aus. Der Standard-Modus erzielt 76.03% und wirkt im Gesamtcharakter deutlich praxistauglicher. Der Thinking-Modus bringt hier nicht den erhofften Erkenntnisgewinn, sondern vor allem operative Last. Das ist die eigentliche Lehre dieses Reports: Gemma 4 31B Instruct kann denken. Nur sollte man sehr genau überlegen, ob man ihm dabei zusehen will.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.