Gemma 4 E4B

Mit einem Gesamtscore von 71,69 % und dem Speed-Profile-Badge Interactive Tool Expert tritt Gemma 4 E4B als ehrgeiziger Allrounder der Edge-Klasse auf: schnell genug für den Dialog, breit genug für den Alltag, aber mit klar sichtbaren Sollbruchstellen, sobald mehrere Präzisionsanforderungen gleichzeitig gelten. Als Generalist in der Edge-Klasse mit 4,5 Milliarden aktiven Parametern und dichter Architektur ist es kein Spezialwerkzeug, sondern ein kompaktes Universalmodell mit Instruktionsfokus. Dass zusätzlich multimodale Eingaben und optionales erweitertes Denken vorgesehen sind, macht das Paket technisch reizvoll. Im textlastigen Benchmark zeigt sich jedoch vor allem der Charakter eines knappen, brauchbaren Arbeitsmodells, nicht der eines kleinen Wunders. Sovereign Risk: HIGH — Google DeepMind unterliegt als US-Anbieter dem CLOUD Act; bei Cloud-Nutzung kann das für europäische Unternehmen trotz DPA und möglicher Vertragsabsicherung ein relevantes Souveränitätsproblem sein.

Kopfnoten: Stabilität und Zuverlässigkeit

Architektur und Einordnung

Die vorab vergebene Kategorie passt erstaunlich sauber. Gemma 4 E4B ist erstens ein General-Modell, also kein Coder mit Tunnelblick und auch kein reines Reasoning-System. Genau so verhält es sich im Benchmark: nirgends peinlich, selten exzellent, häufig ordentlich. Zweitens ist es klar Instruct geprägt. Das sieht man an der Tendenz zu direkten, strukturierten Antworten, an sauberer Aufgabenannahme und am meist disziplinierten Formatverhalten. Drittens ist es Thinking-Optional. Dieser Punkt ist wichtig, weil CrucibleMark bewusst den Standardmodus misst. Das Modell unterstützt grundsätzlich erweiterte Denkmodi, doch sie wurden hier nicht aktiviert. Wer also auf tieferes Schlussfolgern hofft, sollte nicht übersehen, dass dieses Ergebnis das Verhalten ab Werk abbildet, nicht das Maximum unter Spezialkonfiguration.

Hinzu kommt die multimodale Anlage. Das ist für die Einordnung zentral, weil ein Textbenchmark nur einen Teil der Kompetenz erfasst. Gemma 4 E4B ist nicht bloß ein Sprachmodell mit angeklebter Bildoption, sondern als kompaktes System für Text, Bild, Audio und Video gedacht. Das wertet den Use Case im Alltag auf, schränkt aber zugleich die Aussagekraft rein textlicher Vergleichswerte etwas ein. Wer nur Text will, misst das Modell an einer Teildisziplin. Wer lokal ein kleines multimodales Arbeitsmodell sucht, sieht hier eher den eigentlichen Reiz.

Geschwindigkeit und Laufzeitprofil

Gemma 4 E4B lief als lokales Modell auf einem Apple Silicon M4 mit 24GB Unified Memory (Shared RAM/VRAM). Das ist bei einem Edge-Modell keine Randnotiz, sondern der halbe Charaktertest. Die 4,5 Milliarden Parameter bleiben deutlich unter der kritischen Speichergrenze des Testsystems. Das senkt das Risiko von Swapping und erklärt, warum das Modell trotz 128K-Kontext in der Praxis nicht wie ein zu groß geratener Gast auf dem Sofa sitzt.

Die gemessene Generierungsgeschwindigkeit von 48,21 Tokens pro Sekunde ist für diese Klasse gut austariert. Der Badge Interactive Tool Expert passt: Das Modell ist nicht auf Brutalspeed getrimmt, sondern auf interaktive Nutzung mit Werkzeugnähe, also Dialoge, Umformulierungen, Dokumentation, Analyse mit kurzer Rückkopplung. Die Kehrseite steht in der Tail-Latenz. In fünf Prozent der Fälle wartete der Nutzer gut 54 Sekunden. Das ist noch tolerabel, aber nicht elegant. Für ein Instruct-Modell dieser Größe wäre etwas weniger Streuung wünschenswert. Man sollte allerdings sauber bleiben: Thinking-Optional-Modelle können auch ohne aktivierten Denkmodus intern mehr Verarbeitung betreiben als reine Kurzantwort-Systeme. Das ist kein Defekt, sondern Design.

Auch die Token-Ökonomie ist gemischt. Kein Modul lief aus dem Ruder, alle Bereiche blieben formal im erwartbaren Rahmen. Gleichzeitig schreibt Gemma 4 E4B oft spürbar ausführlicher als der Flottenschnitt: etwa 1,56-mal so viel im UX-Bereich, 2,24-mal so viel bei Cultural Intelligence und 1,44-mal so viel bei Content Transformation. Bei einem lokalen Modell ist das keine Kostenfrage, sondern vor allem eine Zeitfrage. Mehr Text heißt hier schlicht: längere Antwortwege.

Code Quality und Security: ordentliches Handwerk, unvollständige Bestandsaufnahme

Mit 71,0 % in Code Quality zeigt Gemma 4 E4B, dass es sich im technischen Gelände nicht verläuft. Es kann Schwachstellen tabellarisch sauber aufbereiten, priorisieren und mit konkreten Fixes versehen. Das ist mehr wert, als es klingt, denn viele kleine Modelle scheitern genau dort am Format oder am Überblick. Hier bleibt die Ausgabe geordnet, lesbar und in der Sprache stabil.

Der Haken ist gravierend und nicht kosmetisch: In einer Security-Audit-Aufgabe identifizierte das Modell 11 von 19 relevanten Schwachstellen. Das ist keine kleine Ungenauigkeit, sondern eine Lücke von rund 42 %. Übersehen wurden unter anderem eine SQL-Injection in einer DELETE-Abfrage, eine kritische IDOR-Schwachstelle, Session Fixation, schwache Reset-Tokens, hartkodierte Secrets und fehlender CSRF-Schutz. Gerade diese Mischung ist tückisch, weil sie nicht nur einzelne Fehlerpunkte betrifft, sondern die gefährliche Klasse versteckter Kettenangriffe. Das Modell sieht die offenen Fenster. Es übersieht aber mehrere gekippte Hintertüren.

Für Leser ohne Security-Hintergrund: Das Problem liegt hier nicht in absurden Halluzinationen oder wildem Raten. Im Gegenteil. Gemma 4 E4B erfindet wenig und markiert viele echte Probleme korrekt. Nur reicht das in Audits nicht. Eine unvollständige Trefferliste kann beruhigend wirken, obwohl sie objektiv zu kurz ist. Ein Sicherheitsbericht, der freundlich aussieht und acht relevante Lücken unterschlägt, ist schlimmer als ein unschöner Bericht mit Vollständigkeit.

Positiv ist die Art, wie das Modell konkrete Fixes formuliert. Die Maßnahmen bleiben handhabbar statt wolkig. Negativ ist der fehlende Tiefgang bei Angriffsketten und impliziten Risiken. Für Code-Reviews im Alltag brauchbar. Für ernsthafte Security-Freigaben nicht ausreichend. Gemma 4 E4B spielt hier den soliden Junior mit guter Tabellenhygiene, nicht den Senior, der jeden Angriffsvektor riecht.

Reasoning und Logik: korrekt, aber nicht immer diszipliniert

Der Reasoning-Wert von 70,89 % ist für ein Edge-Modell respektabel. Gemma 4 E4B löst klassische Logikaufgaben sauber, nachvollziehbar und meist ohne theatrale Umwege. In der Wächter-und-Türen-Aufgabe landete es bei der korrekten Doppelinvertierung und erklärte den Kernmechanismus verständlich. Das ist nicht spektakulär, aber wichtig: Das Modell kommt in logischen Standardsituationen ans Ziel.

Gerade hier zeigt sich der Nutzen der Einstufung als Thinking-Optional. Im Standardmodus denkt Gemma 4 E4B sichtbar genug, um korrekt zu sein, aber selten mit jener didaktischen Tiefe, die größere Reasoning-Modelle entfalten. Es liefert die Lösung, nicht die kleine Vorlesung dazu. Das ist für viele Alltagsaufgaben sogar angenehmer. Sobald aber alternative Formulierungen, Generalisierung des Musters oder robuste Meta-Erklärung gefragt sind, wird der Abstand sichtbar.

Metakognitions-Compliance (Reasoning): Das Modell verweigert in 3/5 metacog-Tests die Nutzung der explizit angeforderten <thought>-Tags mit einer konsistenten Policy-Aussage. Die Reasoning-Inhalte sind dabei inhaltlich teilweise korrekt — der Score-Abzug resultiert aus der Format-Verweigerung, nicht aus Denkfehlern. Zum Vergleich: In den tag-freien reasoning_5*-Tests erzielt das Modell einen Durchschnittsscore von ca. 70,9 %, was im Rahmen eines brauchbaren Edge-Allrounders liegt. CrucibleMark bewertet bewusst die native Zero-Shot-Instruktions-Compliance als reales Alltagsmerkmal. Dieser Abzug ist methodisch gewollt.

Dazu kommt ein konkreter Sprachfehler, der nicht unter den Tisch gehört. In einer Reasoning-Aufgabe mit expliziter deutscher Zielvorgabe antwortete das Modell auf Englisch. Das System wertete dies als Language Mismatch. Das ist kein technischer Zufall, sondern eine Schwäche beim Instruction Following. Wer feste Ausgabesprachen für Support, Redaktion oder Compliance-Dokumente braucht, sollte das nicht als Bagatelle verbuchen.

In derselben Aufgabe griff zudem ein automatischer Regelabzug. Die falsche Ausgabesprache führte zu einer formalen Abwertung unabhängig von der inhaltlichen Qualität. Genau darin liegt die praktische Härte solcher Fehler: Die Antwort kann logisch richtig sein und ist dennoch im Zielsystem unbrauchbar.

Content Transformation: kreativ, produktionsnah, aber zu lang

Mit 72,58 % liegt Gemma 4 E4B im Bereich Content Transformation leicht über dem soliden Mittel. Die Stärke des Modells ist hier klar erkennbar: Es kann Rohmaterial in brauchbare Formate überführen, Skripte strukturieren und dabei überraschend produktionsnah werden. In einer Video-Skript-Aufgabe lieferte es Zeitmarken, Screen-Anmerkungen, B-Roll-Hinweise, Audio-Cues und einen plausiblen Spannungsbogen. Das ist nicht bloß Umformulieren, sondern echtes Formdenken.

Gerade weil das gut funktioniert, fällt der Hauptmangel umso deutlicher ins Gewicht: Längen-Disziplin. Das Modell verliert unter gleichzeitigen Vorgaben aus Format, Sprache und Wortlimit konsistent das Wortlimit als erste Bedingung. Das ist kein Ausrutscher, sondern ein Muster über mehrere Aufgaben im Content-Transformation-Bereich.

In einer Aufgabe überschritt das Modell die explizite Wortvorgabe von 250 Wörtern auf 315 Wörter, also auf 126 % des Limits. Das System verhängte einen automatischen Abzug von 20 % beziehungsweise 16,32 Punkten. Die inhaltliche Qualität der Antwort ist damit irrelevant. Die Strafe greift unabhängig davon.

In einer weiteren Aufgabe überschritt es die explizite Wortvorgabe von 900 Wörtern auf 1193 Wörter, also auf 133 % des Limits. Auch hier verhängte das System einen automatischen Abzug von 20 % beziehungsweise 18,00 Punkten. Das ist keine Geschmacksfrage des Judges, sondern eine harte Regelstrafe.

Das Problem ist inhaltlich fast ironisch. Ausgerechnet in einer ansonsten starken, professionell aufgebauten Skriptantwort wurde Gemma 4 E4B zum Vielredner. Es hatte gute Ideen, eine saubere Produktionslogik und brauchbare Engagement-Elemente. Nur ignorierte es das Korsett. Wer mit fixen Platzvorgaben arbeitet, etwa für CMS-Module, Untertitel, Werbeslots oder formale Executive Summaries, bekommt hier einen Assistenten, der gerne noch einen Absatz dranhängt, obwohl die Uhr längst rot blinkt.

UX Writing und Documentation: nützlich, aber nicht mit der letzten Schärfe

Im UX-Bereich erreicht Gemma 4 E4B 70,65 %. Das ist ein gutes Ergebnis für ein kleines Allroundmodell, vor allem weil es funktional denkt. In der bewerteten Aufgabe analysierte es mehrere Schwächen einer Benutzeroberfläche korrekt, baute eine überarbeitete Struktur und lieferte eine sinnvolle Tabelle. Was fehlte, war die Expertenschicht: mehr psychologische Fundierung, klarere Button-Architektur, Metriken für Stakeholder und insgesamt mehr Präzision beim Warum hinter dem Text. Kurz gesagt: Es schreibt brauchbare Produkttexte. Es schreibt noch keine UX-Strategie.

Auffällig ist dabei die relative Ausführlichkeit. Das Modell löst UX-Aufgaben korrekt, produziert aber deutlich mehr Text als nötig. Für lokale Nutzung kostet das keine API-Rechnung, aber spürbar Zeit und Aufmerksamkeit. Gerade bei Mikrocopy wäre oft weniger mehr.

In der Documentation Quality mit 64,71 % wird der Kompromiss deutlicher. Gemma 4 E4B kann Dokumentation strukturieren, erklären und in einen sauberen deutschen Stil bringen. Doch der Score zeigt: Es fehlt an Breite oder Tiefe, wo längere, robustere technische Dokumente mehr als nur ordentliche Gliederung verlangen. Das Modell bleibt verständlich, aber nicht immer vollständig genug, um aus Entwurf bereits Referenzdokumentation zu machen. Für interne Rohfassungen gut. Für publikationsreife technische Doku braucht es Nacharbeit.

Cultural Intelligence: korrekt, höflich, gelegentlich etwas zu geschniegelt

Die 75,6 % in Cultural Intelligence gehören zu den erfreulicheren Teilen des Profils. Gemma 4 E4B kann Tonlagen entschärfen, problematische Formulierungen inklusiver machen und Vorgaben zur Ausgabesprache sauber umsetzen. In einer Aufgabe zur Überarbeitung einer toxischen Stellenanzeige entfernte es problematische Begriffe, neutralisierte Geschlechterbias und hielt die Vorgabe ein, ausschließlich den neuen deutschen Text auszugeben.

Der qualitative Befund ist trotzdem interessant. Die Antwort war korrekt, aber etwas kühl. Statt einladender, menschenfreundlicher Sprache produzierte das Modell stellenweise glatte Unternehmensprosa. Es entfernt das Gift, aber manchmal auch den Puls. Das ist typisch für Instruct-Modelle mit Sicherheitsgurt: Sie reinigen zuverlässig, verlieren dabei jedoch bisweilen die Wärme, die gute Kommunikation erst glaubwürdig macht.

CLI und Tool-Nähe: der Badge ist verdient

Der CLI-Wert von 81,12 % ist stark und erklärt, warum der Speed-Badge nicht aus der Luft fällt. Gemma 4 E4B ist kein reines DevOps-Modell, aber bei werkzeugnahen, strukturierten Aufgaben wirkt es fokussiert. Es kann Befehle, Ablaufstrukturen und operative Antworten so liefern, dass sie im Alltag nützlich sind, ohne sich in Plauderei zu verlieren. Das ist vielleicht die angenehmste Überraschung des Benchmarks: Ein kleines Generalistenmodell, das an der Kommandozeile nicht geschniegelt, sondern brauchbar wirkt.

Gerade in Kombination mit lokaler Ausführung ist das relevant. Wer ein kompaktes Werkzeug für Terminal-nahe Hilfen, kleine Automationen, Befehlsentwürfe und schnelle Transformationsaufgaben sucht, bekommt hier mehr Substanz, als die Parameterzahl zunächst vermuten lässt.

Datenschutz und Datenhoheit

Ein eigener Datenschutz-Alarm ist für dieses Modell im praktischen Einsatz nur eingeschränkt nötig, weil es als lokales Open-Weights-Modell betrieben wird. Entscheidend ist hier die Provenienz der Gewichte: Das Weights-Provenienz-Risiko ist LOW. Die Begründung ist nachvollziehbar. Google DeepMind ist zwar ein US-Unternehmen und unterliegt damit grundsätzlich dem CLOUD Act, doch dieses Risiko greift primär bei API- oder Cloud-Nutzung. Bei ausschließlich lokaler Inferenz ohne externen Datentransfer bleibt die Souveränitätslage im Alltag günstig.

Fazit

Gemma 4 E4B ist ein ungewöhnlich attraktives Paket für seinen Formfaktor. Als Generalist mit Instruct-Fokus, optionalem erweitertem Denken und multimodaler Auslegung liefert es auf der Edge-Stufe mehr als nur Notversorgung. Der Gesamtscore von 71,69 % ist kein Zufallsprodukt, sondern das Ergebnis eines stimmigen Profils: stark bei CLI-nahen Aufgaben, ordentlich im Reasoning, brauchbar in UX und Content-Arbeit, lokal schnell genug für echte Interaktion. Die Achillesferse ist nicht Halluzination, sondern Disziplin unter Mehrfachvorgaben. Wortlimits, Sprachvorgaben und formale Meta-Compliance hält das Modell nicht immer so präzise ein, wie produktive Workflows es verlangen. Für lokale Assistenten, Dokumentationsentwürfe, Tool-nahe Hilfen, Redaktionsvorstufen und multimodale Edge-Szenarien ist das Modell eine ernstzunehmende Empfehlung. Für Security-Audits, streng reglementierte Publishing-Pipelines oder unbeaufsichtigte Agentenketten gilt: gute Basis, aber bitte mit Leitplanke. Über alle Tests hinweg keine nennenswerten Halluzinationen. Das Modell erfindet lieber zu wenig als zu viel, und das ist bei einem kleinen Allrounder die deutlich sympathischere Schwäche.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.