Gemma 4 26B-A4B Instruct

Mit einem Gesamtscore von 71.95% liefert Gemma 4 26B-A4B Instruct ein Ergebnis, das man respektieren muss, ohne davor strammzustehen. Das Modell tritt hier als Generalist an, in der Workstation-Klasse, auf einer MoE-Architektur mit 25.2 Milliarden Parametern insgesamt, aber nur 3.8 Milliarden aktiven Parametern pro Token. Genau daran sollte man es messen: nicht als rohen 26B-Koloss, sondern als effizienten Spezialisten-Mix mit begrenzter aktiver Kapazität. Im konkreten Benchmark lief dieser Bericht im Standard-Modus, also mit deaktiviertem Thinking. Kürzere, direktere Antworten sind hier Absicht, kein Defekt.

Kopfnoten: Stabilität und Zuverlässigkeit

Architektur und Charakter: viel Anspruch, bewusst kurz gehalten

Die vorab vergebene Kategorie passt erstaunlich gut, wenn man sie sauber auseinanderhält. Ja, Gemma 4 26B-A4B Instruct gehört architektonisch in die Familie von Reasoning- und Thinking-Modellen. Im hier getesteten Lauf war dieses Potenzial aber nicht freigeschaltet. Das Ergebnis ist ein Modell mit doppeltem Charakter: Im Unterbau steckt analytische Reserve, an der Oberfläche verhält es sich wie ein diszipliniertes Instruct-Modell, das Befehle eher knapp als feierlich ausführt.

Das ist wichtig, weil sonst falsche Vorwürfe im Raum stehen. Wer sichtbare Gedankengänge, ausufernde Begründungen und demonstratives Problemlösen erwartet, liest den Test falsch. Im Standard-Modus soll das Modell gerade nicht seinen inneren Debattierclub nach außen tragen. Interessanter ist deshalb die Frage, ob die Reasoning-Anlage trotz abgeschaltetem Thinking noch trägt. Die Antwort lautet: oft ja, aber nicht immer mit der Tiefe, die seine Metadaten versprechen.

Als multimodales Modell bleibt Gemma 4 26B-A4B Instruct in diesem Benchmark zudem nur halb ausgeleuchtet. CrucibleMark bewertet hier Textkompetenz. Bildverstehen, visuelle Grounding-Fähigkeiten und multimodale Workflows bleiben außen vor. Das ist kein Schönheitsfehler der Messung, aber ein klarer Hinweis für die Einordnung: Wer ein Vision-Language-Modell im Text-only-Test beurteilt, sieht nur die halbe Maschine.

Geschwindigkeit und Effizienz

Für ein lokal betriebenes Open-Weight-Modell auf ASUS GX10 / NVIDIA DGX Spark (GB10 Grace Blackwell Superchip, ~115 GB Unified Memory — kein praktisches Speicherlimit für getestete Modellgrößen) ist das Leistungsprofil erfreulich alltagstauglich. Der Speed Profile Badge lautet Real-Time Tool Expert. Das ist keine Raketenpoesie, sondern eine nüchterne Aussage: Das Modell reagiert typischerweise schnell genug für interaktive Werkzeuge, Terminal-Hilfe, kleinere Agenten-Schritte und direkte Arbeitsdialoge.

Noch wichtiger: Es verhält sich token-ökonomisch. In allen gemessenen Modulen bleibt die Ausgabe unter dem Fleet-Median, teils deutlich. Das betrifft CLI, Code Quality, Dokumentation, Content-Transformation, Cultural Intelligence und UX Writing gleichermaßen. Dieses Modell redet also nicht, um Rechenzeit in Wärme umzuwandeln. Es kommt zur Sache. Gerade bei einem lokalen Modell ist das kein Nebenaspekt, sondern Praxisqualität: weniger Text bedeutet kürzere Wartezeiten und weniger Friktion.

Der Haken liegt nicht in der sichtbaren Generierungsgeschwindigkeit, sondern im Profil. Der Badge „Tool Expert“ trifft den Kern: Gemma 4 26B-A4B Instruct ist zügig und brauchbar, aber nicht das Modell, das jeden längeren Gedankengang mit aristokratischer Gelassenheit auswalzt. Es ist eher der pragmatische Techniker als der philosophierende Systemarchitekt.

Reasoning und Logik: korrekt, aber nicht luxuriös

Im Reasoning-Bereich zeigt Gemma 4 26B-A4B Instruct seine solide Seite. Der Logik-Score von 74.42% ist kein Zufall. Im vorliegenden Metakognitions-Protokoll löst das Modell das klassische Wächter-Rätsel korrekt, sauber und ohne Ausflüchte. Die Kernlogik stimmt, die Schlusskette hält, die Antwort ist belastbar. Das ist die gute Nachricht.

Die weniger schmeichelhafte Nachricht: Das Modell bleibt in der Darstellung unter seinen Möglichkeiten. Der Judge notiert fehlende Vergleichstabellen, keine Alternativformulierungen, weniger pädagogische Tiefe und sogar einen kleinen Tippfehler. Das ist kein Denkfehler. Es ist eher das bekannte Problem vieler guter Instruct-Modelle: Sie finden die richtige Tür, aber sie beleuchten den Flur nicht. Für Nutzer, die vor allem korrekte Antworten wollen, ist das akzeptabel. Für Nutzer, die auch didaktische Exzellenz oder argumentativen Mehrwert suchen, bleibt etwas auf dem Tisch liegen.

Der Vergleich mit dem separaten Thinking-Lauf ist aufschlussreich. Dort steigt der Gesamtscore auf 74.94%, der Logik-Teil auf 76.55%. Das ist kein Erdrutsch, aber ein klares Signal. Gemma profitiert von aktiviertem Thinking messbar. Der Standard-Lauf ist die kürzere, flinkere Fassung. Der Thinking-Lauf ist die gründlichere. Man bekommt also tatsächlich zwei verschiedene Temperamente desselben Modells, nicht bloß zwei Dateinamen.

Code Quality und Security: ordentliches Audit, keine vollständige Forensik

Der Bereich Code Quality ist bei Gemma 4 26B-A4B Instruct zweigeteilt. Formal arbeitet das Modell sauber. Tabellenformat, Struktur, technische Sprache und Priorisierung sitzen. Auch fachlich erkennt es eine respektable Zahl an Sicherheitsproblemen und benennt darunter nicht nur die offensichtlichen Verdächtigen wie SQL Injection oder Klartext-Passwörter, sondern auch anspruchsvollere Themen wie Mail Header Injection, Session Fixation, Path Traversal oder Type Juggling.

Trotzdem reicht es nur zu 71.28% im Modul und im exemplarischen Security-Audit sieht man, warum. Das Modell findet nicht alle relevanten Schwachstellen. Im protokollierten Fall verfehlt es sechs von neunzehn Lücken, darunter fehlenden CSRF-Schutz, unsichere Cookies und hartkodierte Zugangsdaten in sauberer Ausdifferenzierung. Noch schwerer wiegt die Fehleinstufung bei Type Juggling, das vom Golden Standard als kritisch behandelt wird, vom Modell aber nur als mittleres Risiko. In der Sicherheitsanalyse ist so etwas kein Schönheitsfehler. Es ist der Unterschied zwischen „später patchen“ und „sofort Alarm“.

Auch bei den Fixes fehlt mitunter die letzte Schärfe. Das Modell weiß, in welche Richtung man gehen muss, liefert aber nicht immer die präziseste Reparatur. Konkrete Details wie hash_equals() oder robustere Pfadvalidierung tauchen zu schwach auf. Vor allem aber fehlt die Angriffskette. Gute Security-Reviews zählen nicht nur Löcher, sie erklären, wie aus mehreren mittelgroßen Problemen ein einziger katastrophaler Exploit wird. Genau diese Synthese blieb aus. Gemma sieht den Maschinenraum. Sie zeichnet aber nicht jedes Leck in rot an.

Für den Alltag heißt das: als erster Sicherheits-Reviewer brauchbar, als letzter Unterzeichner ungeeignet. Wer mit dem Modell Audits vorbereitet, spart Zeit. Wer seine Vollständigkeit ungeprüft in ein Freigabedokument schreibt, verwechselt Nützlichkeit mit Verlässlichkeit.

CLI und Tool-Nähe: die pragmatische Stärke

Der CLI-Score von 86.0% passt hervorragend zum Speed-Badge. Gemma 4 26B-A4B Instruct ist sichtbar näher an Werkzeugen und direkter Aufgabenexekution als an literarischer Eleganz. Gerade bei Befehlsfolgen, strukturierten Schritten und operativen Antworten spielt das Modell seine Instruct-Natur aus. Es formuliert knapp, bleibt bei der Aufgabe und produziert keinen unnötigen Nebel.

Dass der ToolUse-Teil mit 56.67% spürbar niedriger liegt, bremst den Jubel. Das Modell ist also besser in textueller Tool-Nähe als in komplexerer Tool-Orchestrierung oder ausführbarer Synthese. Anders gesagt: Es ist ein brauchbarer Werkstattassistent, aber noch kein Meister der autonomen Werkbank. Für lokale Agenten-Setups ist das wichtig. Ein Modell, das sauber einzelne Schritte erklärt, ist noch lange kein Modell, das robuste mehrstufige Tool-Ketten steuern kann.

UX Writing: funktional, aber nicht feinfühlig genug

Hier zeigt sich die größte Schwäche des Modells. 63.85% im UX-Writing sind für einen Generalisten dieser Klasse zu wenig, und die qualitativen Protokolle erklären den Absturz ziemlich klar. Gemma 4 26B-A4B Instruct erfüllt Strukturvorgaben, liefert Tabellen, nennt Probleme und schlägt Optimierungen vor. Das klingt nach einer guten Woche im Redaktionssystem. Im Detail aber fehlen Breite, quantitative Disziplin und erzählerische Klarheit.

Der Judge bemängelt unter anderem fehlende Wortzählungen, eine zu dünne Psychologie-Sektion, innere Inkonsistenz und mangelnde narrative Führung. Das Modell empfiehlt Fortschrittsmarker, setzt sie aber selbst nicht überzeugend um. Solche Fehler sind im UX-Bereich besonders unerquicklich, weil sie nicht nach dummer Nachlässigkeit aussehen, sondern nach halb verstandenem Handwerk. Das Modell kennt die Buzzwords, aber nicht immer die Dramaturgie dahinter.

Das ist schade, weil die Oberfläche zunächst souverän wirkt. Genau diese Art von Antwort besteht in vielen Alltagssituationen den ersten Blick und scheitert erst beim zweiten. Für Microcopy, Conversion-Texte oder Onboarding-Optimierungen reicht Gemma damit eher als Rohfassungsgenerator denn als verlässlicher Endredakteur.

Documentation und Content Transformation: nützlich, oft professionell, selten brillant

In der Documentation Quality landet Gemma 4 26B-A4B Instruct bei 66.81%. Das ist kein Ausfall, aber auch kein Ruhmesblatt. Der generelle Eindruck: Das Modell schreibt verwertbar, strukturiert und verständlich, bleibt aber häufiger unter der Tiefe, die man bei komplexeren technischen oder didaktischen Dokumentationsaufgaben erwartet. Es liefert brauchbare Erstentwürfe. Der letzte Schliff, die Priorisierung, die schärfere Leserführung fehlen öfter.

Deutlich besser wirkt der Bereich Content Transformation mit 76.33%. Das vorliegende Video-Skript-Protokoll zeigt ein Modell, das produktionsnahe Aufgaben ernst nimmt: Zeitmarken, Spoken-Word, Screen-Annotations, Produktionshinweise, CTA und Easter Egg sind vorhanden. Das ist mehr als bloßes Umschreiben. Es ist operationalisierter Content.

Aber auch hier bleibt die Reserve sichtbar. Die Analyse vor dem eigentlichen Umbau ist zu flach, der Easter Egg ist eher beliebig als strategisch, und die Dramaturgie wirkt stellenweise gehetzt. Der Judge bringt es auf den Punkt: produktionsreif, aber nicht expertentief. Das ist ein treffendes Urteil. Gemma kann Material brauchbar in ein neues Format bringen. Sie transformiert kompetent, aber sie inszeniert nicht meisterhaft.

Cultural Intelligence: eine stille Stärke

Mit 78.52% gehört Cultural Intelligence zu den angenehmsten Kapiteln dieses Modells. Im Beispiel einer sensiblen deutschsprachigen Umschreibung entfernt Gemma toxische Formulierungen, gendered Sprache und den falschen Ton ziemlich treffsicher. Das Deutsch ist natürlich, die kulturelle Anpassung gelingt, und das Modell überzieht die Aufgabe nicht mit selbstverliebter Erklärung.

Interessant ist die einzige echte Kritik des Judges: Das Modell hielt sich zu strikt an die sichtbare Instruktion „nur den umgeschriebenen Text“ und verzichtete dadurch auf erklärenden Mehrwert, den der Golden Standard dennoch bot. Das ist fast schon ein Charakterporträt des Modells. Gemma ist hier nicht kulturell unsensibel, sondern instruktionsgläubig. Es befolgt die Anweisung manchmal genauer, als es dem didaktischen Gesamtwert guttut.

Für produktive Texte in deutscher Zielsprache ist das eher ein Kompliment. Für Schulungs- oder Review-Szenarien, in denen auch Begründungen erwünscht sind, sollte man diese Erwartung explizit ausformulieren.

Halluzinationen und Verlässlichkeit im Inhalt

Gemma 4 26B-A4B Instruct wirkt insgesamt nicht wie ein Modell, das sich mit frei erfundenem Selbstbewusstsein durchmogelt. Die Schwächen liegen eher in Unterabdeckung, Priorisierung und analytischer Tiefe als in wilden Fantasiebehauptungen. Gerade in Security, Reasoning und Cultural Intelligence ist das eine echte Tugend. Ein Modell, das lieber etwas nicht vollständig erkennt, als überzeugend Unsinn zu präsentieren, ist im professionellen Alltag oft die weniger gefährliche Sorte Maschine.

Fazit

Gemma 4 26B-A4B Instruct ist ein interessanter Widerspruch: architektonisch ehrgeizig, im Standard-Lauf aber bewusst nüchtern. Als Generalist in der Workstation-Klasse mit MoE-Struktur und nur 3.8 Milliarden aktiven Parametern spielt es nicht auf rohe Dominanz, sondern auf Effizienz, Werkzeugnähe und solide Breite. Das gelingt in weiten Teilen. CLI, Cultural Intelligence, Content Transformation und logische Kernaufgaben sitzen ordentlich bis gut. UX Writing und tiefere Dokumentationsarbeit offenbaren dagegen spürbar, wo die aktive Kapazität und die Instruct-Kürze an ihre Grenzen stoßen.

Für den praktischen Einsatz ist die Empfehlung deshalb klar. Wer ein lokales, Apache-2.0-lizenziertes Modell für Tool-nahe Assistenz, strukturierte Textaufgaben, deutsche Umschreibungen und verlässliche Alltagslogik sucht, bekommt hier ein ernstzunehmendes Paket. Wer hingegen exzellente Security-Vollständigkeit, ausgefeilte UX-Dramaturgie oder durchgehend tiefe Analyse erwartet, sollte Gemma nicht alleine auf die Bühne schicken. Der Thinking-Lauf zeigt zudem, dass in derselben Modellfamilie noch etwas mehr Substanz steckt, wenn man bereit ist, den gründlicheren Modus zu wählen. Über alle Tests hinweg keine nennenswerten Halluzinationen. Das Modell erfindet lieber zu wenig, als sich mit falscher Grandezza zu blamieren.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.