Gemma 4 26B-A4B Instruct (Thinking)

Mit einem Gesamtscore von 74.94% zeigt Gemma 4 26B-A4B Instruct im hier ausgewerteten Thinking-Lauf ein klares Profil: ein generalistisches Workstation-Modell mit MoE-Architektur, das eher über sauberes Denken und breite Brauchbarkeit kommt als über stilistische Eleganz. Der Speed Profile Badge lautet „Batch DevOps Expert“. Das passt erstaunlich gut: Dieses Modell arbeitet methodisch, oft treffend, aber selten mit dem Tempo oder der formalen Schärfe eines Werkzeugs für hektische Interaktion. Sovereign Risk: HIGH — Google DeepMind ist einem US-Rechtsrahmen mit CLOUD-Act-Relevanz zugeordnet; bei lokalem Betrieb entfällt die Datenübertragung, die Provenienz der Gewichte bleibt aber US-basiert.

Kopfnoten: Stabilität und Zuverlässigkeit

Architektur und Erwartungsrahmen

Die Metadaten sind hier nicht Beiwerk, sondern der Schlüssel zur fairen Einordnung. Gemma 4 26B-A4B Instruct ist als Generalist klassifiziert, also kein Spezialist für Code, keine reine Schreibmaschine und auch kein Agenten-Orchestrator. Zugleich läuft es in der Size Class Workstation. Das heißt: Die Messlatte liegt höher als bei Edge- oder Desktop-Modellen. Man darf solide Breite erwarten, inklusive brauchbarer Leistungen in Logik, Code, Dokumentation und Alltags-Transformationen.

Entscheidend ist die MoE-Struktur. Auf dem Papier stehen 25.2 Milliarden Parameter, aktiv sind aber nur 3.8 Milliarden. Genau an dieser aktiven Kapazität muss man das Modell messen, nicht an der Gesamtsumme. Das erklärt einen Teil seines Charakters ziemlich gut: Es wirkt oft klüger, als seine aktive Größe vermuten lässt, aber nicht durchgehend tief genug, um in jedem Modul letzte Präzision zu liefern. Es ist ein Modell mit Sinn für Priorisierung, nicht für Allmacht.

Wichtig ist außerdem der tatsächliche Testmodus. Dieser Bericht bewertet ausdrücklich den Thinking-Lauf. Bei diesem Modus sind längere, reasoning-getriebene Antworten gewollt. Mehr Erklärtiefe ist hier also keine Geschwätzigkeit per se, sondern Teil des Versprechens. Gemma liefert das auch. Nur verwandelt tieferes Denken nicht automatisch jede Antwort in eine gute.

Geschwindigkeit und Praxisprofil

Als lokales Modell wurde Gemma 4 26B-A4B Instruct nativ auf einem ASUS GX10 / NVIDIA DGX Spark (GB10 Grace Blackwell Superchip, ~115 GB Unified Memory — kein praktisches Speicherlimit für getestete Modellgrößen) evaluiert. Der Badge „Batch DevOps Expert“ signalisiert bereits den praktischen Kern: kein Echtzeit-Flitzer, sondern ein Modell für Aufgaben, bei denen Substanz vor Reaktionsgefühl kommt. Auf dem Testsystem generiert es in einer moderaten Geschwindigkeitsklasse. Für längere Analyse-, Dokumentations- und Review-Aufgaben ist das vertretbar. Für eng getaktete, interaktive Workflows fühlt es sich dagegen mitunter zäh an.

Diese Einordnung wird durch das Latenzbild bestätigt. Nicht die nackte Durchschnittsleistung ist das Problem, sondern die Streuung. Ein einzelner Timeout ist noch kein Drama, aber die deutlichen Tail-Ausreißer machen aus einem eigentlich vernünftigen lokalen Modell kein sorgenfreies Werkzeug für unbeaufsichtigte Kettenjobs. Wer damit Agenten-Workflows baut, sollte Retries und Timeouts nicht als Ausnahme behandeln, sondern als Pflichtprogramm.

Positiv ist die Token-Ökonomie. Über alle gemessenen Module bleibt Gemma diszipliniert und unterschreitet den Fleet-Median teils deutlich. Das Modell verhält sich token-ökonomisch. Kein Modul übersteigt den erwarteten Verbosity-Rahmen. Für ein lokales Thinking-Modell ist das keine Nebensache, sondern echte Reife. Es denkt ausführlich, ohne den sichtbaren Output unnötig aufzublasen.

Reasoning: stark, aber nicht brillant

Im Reasoning zeigt Gemma 4 26B-A4B Instruct, warum die Kategorien Reasoning und Thinking hier nicht bloß Etiketten sind. Das klassische Wächter-Rätsel löst das Modell korrekt, erklärt den doppelten Umkehrschluss sauber und liefert eine didaktisch brauchbare Fallunterscheidung. Der Judge lobt zu Recht die klare Logik und die verständliche Verifikation. Das ist kein Blendwerk, sondern echtes Schlussfolgern.

Ganz ohne Kratzer bleibt das nicht. Die Antwort ist sichtbar redundant. Gemma erklärt dieselbe Lösung mehrfach in leicht anderer Verpackung, einmal als Fließtext, dann tabellarisch, dann noch als nummerierte Begründung. Das ist nicht falsch, aber es verrät einen gewissen Hang zur Absicherung. Thinking-Modelle dürfen ausführlich sein. Sie sollten trotzdem wissen, wann ein Gedanke fertig ist.

Gemessen an seiner aktiven Kapazität ist das Reasoning-Ergebnis respektabel. Gemma erreicht hier keine philosophische Tiefe und spielt alternative Formulierungen oder Varianten der Lösung nicht besonders elegant aus, aber die Kernarbeit sitzt. Für Nutzer heißt das: Das Modell ist verlässlich genug für logische Alltagsprobleme, Erklärtexte und Analyseaufgaben. Wer auf originelle Perspektivwechsel oder außergewöhnliche konzeptionelle Reichweite hofft, bekommt eher solides Handwerk als Geistesblitz.

Code Quality und Security: ordentlich im Zugriff, lückenhaft in der Fläche

Im Code-Quality-Modul liegt die eigentliche Ambivalenz dieses Modells offen auf dem Tisch. Gemma kann Sicherheitsprobleme erkennen, priorisieren und sauber in ein brauchbares Format bringen. Die Markdown-Tabelle sitzt, die Sprache bleibt präzise, die Schweregrade sind meistens sinnvoll gesetzt, und die vorgeschlagenen Fixes sind handwerklich brauchbar. Das ist die gute Nachricht.

Die schlechte Nachricht ist relevanter. In der konkreten Security-Audit-Aufgabe identifiziert das Modell 11 von 19 Schwachstellen. Das sind nur 58 Prozent Abdeckung. Und die fehlenden Punkte sind keine exotischen Nischenfehler, sondern Dinge, die in einem professionellen Audit nicht unter den Tisch fallen dürfen: Session Fixation, fehlende CSRF-Absicherung, harte Zugangsdaten im Code, Cookie-Flags wie HttpOnly und Secure, fehlende Token-Ablaufzeit. Wer so etwas übersieht, hat nicht nur Lücken im Bericht, sondern potenziell Löcher im System.

Gerade im Security-Kontext ist das entscheidend. Ein Modell darf bei der Form nicht glänzen, wenn der Inhalt an zentralen Stellen ausdünnt. Gemma macht hier den typischen Fehler eines gut trainierten Instruct-Systems mit Reasoning-Ambition: Es präsentiert eine saubere, vertrauenerweckende Struktur, aber die Abdeckung bleibt unvollständig. Das ist gefährlicher als offener Unsinn, weil es Kompetenz glaubhaft simuliert, ohne sie durchgehend einzulösen.

Trotzdem sollte man das Ergebnis nicht vorschnell abtun. Die gefundenen Schwachstellen waren korrekt, die Priorisierung war brauchbar, und die Ausgabe war produktionsnah. Für Code Review als erste Sichtung taugt Gemma damit durchaus. Für Security-Audits ohne menschliche Gegenkontrolle taugt es nicht. Zwischen „hilfreich“ und „hinreichend“ liegt hier der ganze Unterschied.

Content Transformation: überraschend stark

Im Bereich Content Transformation zeigt Gemma eine der angenehmsten Seiten seines Charakters. Die Video-Script-Aufgabe auf Deutsch erledigt es nicht nur regelkonform, sondern mit echtem Gespür für Produktionspraxis. Analyse knapp, Script vollständig genug, Hook vorhanden, Regiehinweise konkret, Spoken-Word-Ton stimmig. Besonders stark ist die Entscheidung für ein tabellarisches Format aus Timestamp, Audio und Visuals. Das ist weniger literarisch als manche Musterlösung, aber oft nützlicher für Menschen, die daraus tatsächlich ein Video bauen sollen.

Der Judge bescheinigt dem Modell hier hohe Actionability, und das wirkt nachvollziehbar. Produktionshinweise wie Bildschirm-Annotationen, B-Roll und kleine Rhythmuswechsel sind nicht bloß erwähnt, sondern ausführbar formuliert. Auch der eingebaute „Easter Egg“-Hinweis zeigt, dass Gemma Anforderungen nicht nur abhakt, sondern in einen funktionalen Ablauf einbettet.

Ganz makellos ist das nicht. Das Script bleibt etwas unter der versprochenen Fünf-Minuten-Marke und komprimiert den Troubleshooting-Teil stärker als die Musterlösung. Aber das ist ein qualitativer Schatten, kein struktureller Bruch. In diesem Modul wirkt Gemma fast besser kalibriert als in Security: weniger besessen von Vollständigkeit, stärker auf Nutzbarkeit ausgerichtet. Man könnte böse sagen, es denkt hier wie ein Produzent und nicht wie ein Prüfer. Für diese Aufgabe ist das ein Kompliment.

UX Writing, Kultur und Dokumentation: kompetent, aber mit kühler Stirn

Die qualitativen Protokolle aus dem Kultur- und Sprachbereich zeigen ein Muster, das sich gut mit dem Gesamteindruck deckt. Gemma schreibt korrektes, professionelles Deutsch und erfüllt explizite Anforderungen zuverlässig. Im Beispiel einer entgifteten Stellenausschreibung entfernt das Modell toxische Sprache sauber, bleibt inklusiv und formal korrekt. Es scheitert nicht am Handwerk. Es scheitert an der Wärme.

Genau das ist die eigentliche Stilgrenze dieses Modells. Wo eine Musterlösung mit einladender Sprache, emotionaler Kalibrierung und präzise gewähltem Vokabular arbeitet, antwortet Gemma neutraler, sachlicher, etwas steifer. „Viel Einsatz“ statt „Tatkraft und Leidenschaft“ ist mehr als nur eine andere Formulierung. Es ist ein Charakterhinweis. Dieses Modell meidet den rhetorischen Sprung, wenn nüchterner Boden verfügbar ist.

Das betrifft auch UX Writing und Dokumentation im weiteren Sinn. Die Zahlen sprechen dort nicht von einem Ausfall, aber auch nicht von Dominanz. Gemma dokumentiert ordentlich, strukturiert verständlich und bleibt inhaltlich auf Kurs. Doch die Texte tragen selten jene editoriale Selbstverständlichkeit, die gute Dokumentation von bloß korrekter Dokumentation trennt. Man liest wenig Peinliches und wenig Erstaunliches. Das ist für interne Doku oft völlig ausreichend. Für nutzernahe Kommunikation ist es eher die obere Mittelklasse als die feine Klinge.

CLI und Instruction-Following: zuverlässig genug, aber nicht messerscharf

Das CLI-Ergebnis ist ordentlich und passt ins Gesamtbild eines DevOps-orientierten Batch-Modells. Mit einem hohen Teilscore ist Gemma hier klar brauchbar. Zugleich ist die Architektur-Einstufung als Instruct relevant: Solche Modelle sollen direkte Arbeitsaufträge ohne Umwege abarbeiten. Genau das gelingt Gemma oft. Es verliert sich nicht in langen Vorreden, hält Formatvorgaben typischerweise ein und bleibt sichtbar kontrolliert.

Aber „Instruct“ bedeutet nicht automatisch absolute Präzision unter Mehrfach-Constraints. Gerade dort, wo Ton, Umfang, implizite Vollständigkeit und Fachstruktur gleichzeitig gefordert sind, zeigt Gemma, dass es Prioritäten setzt. Meist rettet es Form und Klarheit. Mitunter leidet dafür die letzte Schicht inhaltlicher Vollständigkeit. Das ist akzeptabel für produktive Assistenz. Für Systeme, die ohne menschliche Endkontrolle exakte Erfüllung erwarten, ist es ein Warnsignal.

Halluzinationen und Vertrauensprofil

Auffällig positiv ist, was nicht passiert. Die vorliegenden Protokolle zeigen kein nennenswertes Halluzinationsproblem. Gemma erfindet in diesen Tests nicht wild, sondern bleibt lieber innerhalb des Gewussten. Das macht seine Fehler vorhersehbarer. Es lässt eher etwas weg, als Unsinn mit Überzeugung vorzutragen. Für den Alltag ist das die deutlich angenehmere Schwäche.

Das verändert auch das Vertrauensprofil. Man kann diesem Modell eher zutrauen, als nüchterner erster Bearbeiter zu dienen: Texte umschreiben, Security-Code einmal durchkämmen, Skripte strukturieren, Logik erklären, Shell-nahe Aufgaben vorbereiten. Man sollte ihm aber nicht die letzte Instanz übertragen, wenn Vollständigkeit über Korrektheit im Einzelfall hinaus zählt.

Datenschutz und Datenhoheit

Für diesen Test ist der operative Datenschutzvorteil klar: Das Modell lief lokal, also ohne erzwungene Datenübertragung an einen Cloud-Provider. Relevant bleibt dennoch die Herkunft der Gewichte. Das Weights-Provenienz-Risiko ist als MEDIUM eingeordnet, weil Google DeepMind ein US-Unternehmen ist. Bei lokalem Einsatz spielt der CLOUD Act praktisch keine Rolle für die eigentlichen Eingabedaten. Bei API- oder Cloud-Betrieb würde sich das schlagartig ändern.

Die Lizenzlage ist dagegen ungewöhnlich erfreulich. Gemma 4 26B-A4B Instruct steht unter Apache-2.0. Das ist eine echte Open-Weights-Situation mit kommerzieller Nutzbarkeit, Fine-Tuning und Weiterverteilung ohne die früheren Gemma-Sonderbedingungen. Für Unternehmen ist das kein romantisches Detail, sondern eine handfeste Erleichterung bei Beschaffung, Governance und Produktintegration.

Fazit

Gemma 4 26B-A4B Instruct ist im Thinking-Modus ein ernstzunehmender lokaler Generalist mit MoE-Charakter: nicht monströs in aktiver Kapazität, aber klug genug, um auf breiter Fläche mitzuhalten. Seine Stärken liegen in nachvollziehbarem Reasoning, token-ökonomischer Disziplin, brauchbarer CLI-Nähe und einer überraschend guten Hand für produktionsreife Content-Transformation. Seine Schwächen liegen dort, wo formale Souveränität über inhaltliche Vollständigkeit hinwegtäuschen kann, besonders bei Security-Audits und stilistisch fein kalibrierter Kommunikation. Über alle Tests hinweg keine nennenswerten Halluzinationen — das Modell erfindet lieber nichts, als sich wichtig zu machen.

Der Vergleich mit dem Standard-Lauf desselben Modells ist aufschlussreich. Ohne Thinking ist Gemma klar schneller und wirkt interaktiver, erreicht aber den geringeren Gesamtscore von 73.27%. Mit aktiviertem Thinking steigt die Gesamtleistung auf 74.94%, vor allem durch stärkere Logik und robustere Wissensarbeit. Der Preis dafür ist ein deutlich batchigeres Nutzungsgefühl. Wer lokal ein vielseitiges, lizenzfreundliches Open-Weight-Modell für Dokumente, Analysen, Skriptarbeit und technische Assistenz sucht, bekommt hier ein gutes Werkzeug. Wer ein Security-Auditor, ein Stilist oder ein Echtzeit-Kollege erwartet, sollte weiterziehen. Gemma ist kein Blender. Aber es ist auch kein Wunderkind. Es ist das seltenere, nützlichere Ding: ein vernünftiges Modell mit klaren Grenzen.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.