Gemma 4 31B Creative Wordsmith (Uncensored)

Mit einem Gesamtscore von 71,91 % ist Gemma 4 31B Creative Wordsmith Uncensored Q8_0 kein Blender, sondern ein eigensinniger Generalist der Workstation-Klasse: 31 Milliarden dichte Parameter, lokal betreibbar, mit klarer Schlagseite zu ausführlichem Denken und freierer Textproduktion. Der Speed-Profile-Badge lautet „Batch DevOps Expert“; das ist ein ziemlich ehrlicher Warnhinweis, denn dieses Modell arbeitet eher wie ein gründlicher Nachtredakteur als wie ein Chat-Ferrari. Sovereign Risk: MEDIUM — die Gewichte basieren auf einem US-Modell unter CLOUD-Act-Jurisdiktion und wurden anschließend mehrfach von der Community modifiziert, was die Provenienz nachvollziehbar, aber nicht makellos macht.

Kopfnoten: Stabilität und Zuverlässigkeit

Architektur und Charakter: viel Anspruch, wenig Eile

Die vorab vergebene Kategorie trifft den Kern erstaunlich gut, aber nicht ohne Reibung. Als Thinking-Modell zeigt Gemma eine klare Neigung zu längeren, argumentativ ausgebauten Antworten. Als Instruct-Modell folgt es Aufgaben oft diszipliniert, solange die Instruktionen nicht gleichzeitig Sprache, Format und Präzision unter Volllast verlangen. Multimodal ist hier vor allem Metadatum mit Vorbehalt: Dieser Benchmark misst nur Text. Er zeigt also nur einen Ausschnitt dessen, was das Modell grundsätzlich können soll. Und Uncensored erklärt einen Teil des Temperaments: Das Modell wirkt weniger defensiv, aber die mehrstufige Modifikation aus Abliteration, Fine-Tune und Quantisierung hinterlässt Spuren in der Konsistenz.

Wichtig ist auch die Einordnung jenseits der Schlagworte. Das hier ist ein Generalist, kein Coding-Spezialist und kein reines Reasoning-Arbeitstier. Es gehört zur Workstation-Klasse und basiert auf einer Dense-Architektur. Anders gesagt: Alle 31 Milliarden Parameter arbeiten bei jeder Antwort mit. Das ist einerseits ein Vorteil für gleichmäßige Kapazität. Andererseits ist der Ressourcenhunger real. Wer bei einem solchen Modell Frontier-Autorität plus Realtime-Tempo erwartet, verwechselt einen schweren Kombi mit einem Motorrad.

Geschwindigkeit: langsam ist kein Makel, Instabilität schon

Auf dem lokalen Referenzsystem NVIDIA DGX Spark (GB10 Grace Blackwell Superchip, ~115 GB Unified Memory) erzeugte das Modell 9,69 Tokens pro Sekunde. Das ist für ein 31B-Dense-Modell in Q8_0 nicht skandalös, aber klar auf der langsamen Seite. Der Badge „Batch DevOps Expert“ passt deshalb gut: Dieses Modell ist eher für längere, weniger zeitkritische Arbeitsläufe gedacht als für interaktive Schlagabtausche im Sekundentakt.

Entscheidend ist nur: Langsamkeit allein wäre verzeihlich. Die Kombination aus niedriger Generierungsgeschwindigkeit und extremer Ausreißer-Latenz ist es nicht. Auf dem Testsystem kratzt das Modell offenbar regelmäßig an praktischen Grenzen. Bei 31 Milliarden dichten Parametern ist die 115-GB-Grenze zwar nicht per se zu klein, aber sie wird in der Praxis durch Kontext, Zwischenspeicher und Lastspitzen relevant. Genau dort kippt Gemma von „gemächlich“ zu „unkalkulierbar“. Für beaufsichtigte Einzelaufgaben ist das noch handhabbar. Für Agenten-Workflows, Batch-Pipelines mit Fristen oder alles, was verlässlich durchlaufen soll, ist das ein echtes Problem.

Immerhin: token-ökonomisch verhält sich das Modell vernünftig. Kein Modul übersteigt den erwarteten Verbosity-Rahmen. Die Langsamkeit kommt hier also nicht aus hemmungslosem Textauswurf, sondern aus dem Modell selbst und aus seiner praktischen Ausführung.

Reasoning und Logik: klug, oft richtig, aber nicht immer gehorsam

Das Reasoning-Profil ist die sympathischste Seite dieses Modells. Wenn Gemma ins Denken kommt, arbeitet es meist sauber, nachvollziehbar und mit sichtbarer Lust an Struktur. Im Wächter-Rätsel etwa liefert es eine logisch korrekte Lösung, nutzt die geforderten <thought>-Tags, prüft beide Fälle und erklärt den Mechanismus so, dass auch Leser ohne Logikseminar folgen können. Das ist kein billiger Trick, sondern solides Handwerk. Der Reasoning-Teilwert von 72,19 % ist deshalb glaubwürdiger als der Blick auf die reinen Ausfallzahlen zunächst vermuten lässt.

Genau hier zeigt sich aber auch die Zerrissenheit der Architektur-Kategorie. Ein Thinking-Modell darf ausführlich sein. Es darf sogar umständlich sein, wenn am Ende Klarheit steht. Was es sich nicht leisten darf, ist massive Unzuverlässigkeit. Im Reasoning-Modul lagen die Modulmargen bei 7 von 11 Timeouts. Das ist nicht der Preis für Tiefgang, sondern dessen Sabotage.

Hinzu kommt ein klar dokumentierter Sprachfehler. In einer Metakognitions-Aufgabe im Reasoning-Bereich ignorierte das Modell die explizite Deutsch-Vorgabe und antwortete auf Englisch. Das ist keine Petitessen-Kritik, sondern ein klassischer Instruction-Following-Fehler. In Umgebungen mit fester Zielsprache scheitert so etwas direkt an der Abnahme. Dazu kommt der automatische Hard-Constraint-Abzug: Die Aufgabe verlangte Deutsch, das Modell lieferte Englisch. Die inhaltliche Qualität spielt in diesem Moment keine Rolle mehr, weil die Strafe regelbasiert greift. Das Modell zeigt damit eine echte Schwäche bei Sprachinstruktions-Compliance unter formalen Zusatzanforderungen.

Code Quality und Security: ordentliches Auge, lückenhafte Tatkraft

Mit 78,16 % in Code Quality gehört Gemma hier zu seinen besseren Disziplinen. Das Modell erkennt viele klassische Schwachstellen zuverlässig: SQL-Injection in mehreren Varianten, XSS, Path Traversal, Session Fixation, Type Juggling, Informationsleckagen. Es liefert strukturierte Tabellen, ordentliche Kategorisierung und brauchbare Schweregrade. Das ist keine Nebelmaschine. Es sieht tatsächlich etwas.

Aber Security ist kein Feld, in dem „zwölf von neunzehn“ als gutes Gefühl durchgeht. In den Protokollen fehlen ausgerechnet mehrere Folgen schwerer Grundsatzfehler: hartkodierte Secrets, root-nahe Datenbank-Credentials ohne Passwort, fehlender CSRF-Schutz, fehlende Ablaufzeiten für Reset-Tokens, unsichere Auth-Cookies, Probleme rund um Redirects und Header-Verhalten. Der Judge benennt das zurecht als substanziellen Qualitätsverlust. Gemma erkennt viele Symptome, aber nicht die ganze Angriffskette. Es liefert eine Flurkarte, wo ein forensischer Bericht nötig wäre.

Das ist für die Praxis wichtig. Wer ein Modell für Security-Reviews einsetzt, braucht nicht nur Vokabeln wie „SQL Injection“, sondern auch Priorisierung, Verkettung und Reparaturtiefe. Genau dort bleibt Gemma unter seinen Möglichkeiten. Das Modell kann Code auditieren. Es ersetzt aber keinen ernsthaften Sicherheitsreview und taugt schon gar nicht als letzte Instanz.

Mildernd darf man anmerken: Ein uncensored Fine-Tune ist nicht primär für DevSecOps gebaut worden. Der Einsatzzweck liegt näher an freierer Textproduktion als an chirurgischer Präzisionsanalyse von Web-Sicherheitslücken. Das entschuldigt die Schwächen nicht, erklärt sie aber.

Documentation Quality: brauchbare Substanz, katastrophale Praxis

Die Dokumentationsleistung wirkt auf dem Papier fast besser, als sie in der Realität ist. Inhaltlich erkennt das Modell Accessibility-Lücken und liefert ordentliche Props-Tabellen. Es kann also Struktur. Aber es lässt wichtige Expertenthemen liegen: keine Controlled-vs.-Uncontrolled-Dokumentation, keine Breaking Changes, keine Composition Patterns. Das ist schon inhaltlich nur Mittelmaß.

Der eigentliche Schlag kommt von der Betriebsrealität: 5 von 5 Timeouts im Documentation-Quality-Modul. Damit ist der Bereich praktisch unbenutzbar. Ein Modell, das bei Dokumentationsaufgaben zuverlässig wegstirbt, ist kein Dokumentationsmodell, egal wie ordentlich eine einzelne Teilleistung aussieht.

Hinzu kommt ein zweiter dokumentierter Sprachverstoß. In einer Aufgabe im Documentation-Bereich ignorierte das Modell die explizite Sprachanweisung und antwortete auf Englisch. Auch hier gilt: Das ist ein Instruction-Following-Problem, kein Schönheitsfehler. Der automatische Hard-Constraint-Abzug griff, weil Deutsch gefordert war und Englisch geliefert wurde. In Produktteams mit fester Dokumentationssprache ist das nicht „unschön“, sondern ein unmittelbarer Ausschlussgrund.

Noch schwerer wiegt, dass dieser Sprachfehler nicht isoliert bleibt. Über mehrere Aufgabenbereiche hinweg zeigt das Modell ein konsistentes Muster: Bei simultanen Vorgaben aus Sprache, Format und Inhalt verliert es die Sprachvorgabe als erste Bedingung. Genau das will ein Benchmark sichtbar machen. Und genau das würde im Alltag Tickets zurück auf Start setzen.

UX Writing: erstaunlich brauchbar, solange man warten kann

Das kreative Fine-Tuning zahlt sich im UX-Writing sichtbar aus. Mit 66,23 % ist Gemma hier nicht brillant, aber durchaus lebendig. In der protokollierten Workflow-Aufgabe analysiert es die kognitive Last der Vorlage sauber, benennt konkrete Probleme und übersetzt technische Interface-Sprache in brauchbare, menschlichere Microcopy. Besonders positiv: Das Modell hält die deutsche Sprache ein, respektiert Strukturvorgaben und bleibt innerhalb eines vernünftigen Ausgabeumfangs. Es schreibt nicht wie ein Formularautomat, sondern wie jemand, der echte Nutzer schon einmal scheitern gesehen hat.

Die Schwächen sind eher die eines guten, aber nicht exzellenten Texters. Schritt drei der optimierten Nutzerführung bleibt leicht unscharf, weil die eigentliche Aktionsauswahl nicht deutlich genug gemacht wird. Die psychologischen Prinzipien sind praxisnah, aber akademisch dünn untermauert. Es fehlt jene letzte Präzision, die aus „brauchbar“ ein Stakeholder-Dokument macht, das man ohne Nacharbeit verschicken könnte.

Das größere Problem ist erneut die Laufzeit. 1 von 5 Timeouts ist nur sporadisch, aber in Verbindung mit der massiven Tail-Latenz kein Zufallsrauschen mehr. Wer UX-Texte im Dialog verfeinern will, braucht Reaktionsfähigkeit. Gemma liefert eher eine gute Fassung nach langem Atem als einen schnellen Pingpong-Partner.

Content Transformation und Cultural Intelligence: zivilisiert, aber nicht immer idiomatisch scharf

In Content Transformation erzielt das Modell 72,85 %, in Cultural Intelligence 65,96 %. Diese Kombination passt gut zu seinem Charakter. Gemma kann Tonlagen anpassen, Inhalte umarbeiten und toxische oder unpassende Formulierungen entschärfen. Im Recruiting-Beispiel entfernt es problematische Begriffe zuverlässig, schreibt grammatisch sauber und bleibt professionell. Das ist die gute Nachricht.

Die weniger gute: Es klingt dabei bisweilen etwas generisch. Der Judge bemängelt zu Recht, dass das Modell zwar sichere deutsche Formulierungen findet, aber nicht immer die idiomatisch stärksten. Aus „Ninja“ und ähnlichem Gift wird dann eben korrektes, aber etwas blasses Personaldeutsch. Wo der Goldstandard auf kulturell punktgenaue Begriffe wie „Fachkraft“ oder idiomatische Kraftwörter setzt, entscheidet sich Gemma öfter für die sichere Mitte. Das ist kein peinlicher Fehler. Es ist die Sprache eines Modells, das lieber niemanden verprellt als einen wirklich guten Satz zu riskieren.

Immerhin: In Cultural Intelligence lief das Modell stabil. 0 von 5 Timeouts in diesem Modul sind fast schon eine kleine Überraschung. Vielleicht, weil kürzere, klar umrissene Textaufgaben dem System besser liegen als lange, strukturierte Mammutantworten.

CLI und Tool-Nähe: ordentlich, aber ohne Aura des Operators

Der CLI- und Tool-Execution-Bereich fällt ordentlich aus, ohne zu glänzen. Der CLI-Wert von 86,67 % ist stark genug, um Routineaufgaben sauber abzudecken. Der ToolUse-Score von 65,5 % zeigt aber, dass Gemma kein Modell ist, dem man komplexe Werkzeugketten blind anvertrauen sollte. Es versteht Befehlslogik häufig gut, aber nicht mit jener nüchternen Exaktheit, die DevOps-Profis von einem echten Operator erwarten.

Das passt wieder zur Grundfigur dieses Modells: ein alltagstauglicher Generalist mit Reasoning-Ambition, kein bornierter Spezialist für shellgenaue Direktive. Der Badge „Batch DevOps Expert“ klingt insofern etwas schmeichelhafter als die Praxis. „Batch“ stimmt. „Expert“ nur in Maßen.

Datenschutz und Datenhoheit

Ein eigener Datenschutz-Alarm ist bei diesem Modell nicht nötig, weil es lokal als Open-Weights-Modell läuft und kein externer Provider im Benchmark-Pfad hängt. Relevant ist hier stattdessen die Provenienz der Gewichte: Das Weights-Provenienz-Risiko liegt bei MEDIUM. Die Basis stammt von Google DeepMind und damit aus einer US-Jurisdiktion unter dem CLOUD Act; darauf folgen Community-Abliteration, kreatives Fine-Tuning und Q8_0-Quantisierung. Für Unternehmen heißt das nicht automatisch „Finger weg“, aber sehr wohl: Herkunft und Modifikationskette sind kommerziell nutzbar, jedoch nur begrenzt auditierbar.

Fazit

Gemma 4 31B Creative Wordsmith Uncensored Q8_0 ist ein interessantes, stellenweise beeindruckendes Modell mit klarer Persönlichkeit und ebenso klaren Macken. Es denkt oft sauber, schreibt meist natürlich, bleibt token-ökonomisch und liefert in Code-Audits und UX-Aufgaben mehr als bloßen Durchschnitt. Für ein lokales Workstation-Modell ist das respektabel. Aber Respekt ist noch kein Freifahrtschein.

Die eigentliche Geschichte dieses Benchmarks lautet: gute Substanz, schlechte Praxisstabilität. Sechzehn Timeouts in 43 Tests, kritische Tail-Latenz, komplette Ausfälle in Documentation Quality und wiederholte Sprach-Compliance-Patzer machen das Modell für unbeaufsichtigte produktive Abläufe untragbar. Wer es einsetzt, sollte das bewusst tun: für kreative Textarbeit, längere Denkschritte, explorative Entwürfe und Einzelfälle mit menschlicher Nachkontrolle. Nicht für verlässliche Agenten-Pipelines, nicht für zeitkritische Assistenz und nicht als letzte Instanz bei Security oder Dokumentation. Über alle Tests hinweg keine nennenswerten Halluzinationen. Das Modell erfindet lieber wenig, als sich spektakulär zu blamieren. Das ist ehrenwert. Es reicht nur nicht, wenn der Motor zu oft ausgeht.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.