Mistral Small 4

LLM Model Review

· Instruction-Tuned · Long Context

Mit einem Gesamtscore von 73.32% tritt Mistral Small 4 als ungewöhnlich schneller Allrounder auf: ein kommerzielles Cloud-Modell über die Mistral-API, mit dem Speed-Profile-Badge Real-Time DevOps Expert und einer Generierungsgeschwindigkeit von 187.59 Tokens pro Sekunde. Das ist für ein als Generalist eingestuftes Modell in der Workstation-Klasse bemerkenswert, zumal hier eine MoE-Architektur arbeitet, also 119 Milliarden Gesamtparameter, aber nur 6.5 Milliarden aktive Parameter pro Token mobilisiert. Der Charakter ist klar: keine Denkmaschine für die letzte Meile, sondern ein straffer, effizienter Produktionsarbeiter mit breiter Werkzeugtasche. Sovereign Risk: LOW — Mistral ist ein französischer Anbieter unter EU-Recht, mit EU-Datenhaltung und ohne aktuellen CLOUD-Act-Bezug in der beschriebenen Anbieterstruktur.

Kopfnoten: Stabilität und Zuverlässigkeit

Diese Kopfnoten sind mehr als Kosmetik. Wer ein Cloud-Modell in Agenten-Frameworks oder produktive Workflows hängt, braucht keine schöne Durchschnittslatenz, sondern Vorhersagbarkeit am Rand. Genau dort liefert Mistral Small 4 ab. Keine Timeouts in 43 Tests und eine P95-Antwortzeit von 15.68 Sekunden bedeuten in der Praxis: Das Modell kommt, wenn man es ruft. Für eine agentische Einordnung ist das fast wichtiger als ein paar zusätzliche Prozentpunkte in einem Einzelmodul.

Architektur und Einordnung: viel Breite, begrenzte aktive Tiefe

Die vorab vergebene Kategorie passt erstaunlich gut zum beobachteten Profil. Als Generalist wird Mistral Small 4 über die volle Aufgabenbreite gemessen. Es ist kein Spezialwerkzeug für Code und kein explizites Thinking-Modell, das sich Zeit für tiefe Ableitungen nimmt. Als Instruct-Modell folgt es Anweisungen meist direkt, knapp und ohne den Hang zum ausschweifenden Erklären. Als Vision-Capable und Long-Context-Modell bringt es Fähigkeiten mit, die dieser textzentrierte Benchmark nur teilweise abbildet. Das muss man sauber sagen: Die 256K Kontextlänge und die Bildfähigkeit sind hier eher Hintergrundrauschen als Leistungsbeweis.

Entscheidend ist die dritte Säule, die Architektur. Mistral Small 4 ist ein MoE-Modell, also eine Mixture of Experts. Das klingt größer, als es in der Praxis ist. Relevant für die Erwartungshaltung sind nicht die 119.0 Milliarden Gesamtparameter, sondern die 6.5 Milliarden aktiven Parameter. Genau deshalb ist das Ergebnis interessant. Das Modell spielt mit aktiver Kapazität, die eher nach kompakter Effizienz als nach roher Gewalt aussieht, in einem Bereich, in dem viele Systeme schon sichtbar ins Stolpern kommen. Es gewinnt nicht durch majestätische Tiefe, sondern durch saubere Triage. Erst sortieren, dann liefern.

Performance-Profil: absurd schnell, überraschend günstig

Der Badge Real-Time DevOps Expert ist nicht bloß Dekoration. Er beschreibt den praktischen Einsatzzweck ziemlich treffend: ein Modell, das schnell genug für interaktive technische Arbeit ist, ohne in Batch-Denke zu verfallen. Mit 187.59 Tokens/s gehört Mistral Small 4 auf der API-Seite zu den sehr schnellen Vertretern seiner Klasse. Diese Geschwindigkeit ist in der Cloud natürlich keine Aussage über irgendein Endgerät, sondern über den Hersteller-Stack und die Endpunkt-Performance. Genau deshalb zählt hier der Dreiklang aus Tempo, Preis und Stabilität.

Und da wird das Paket attraktiv. 0.1 Dollar pro 1 Million Input-Token und 0.3 Dollar pro 1 Million Output-Token sind aggressiv kalkuliert. Die ausgewiesenen Benchmark-Kosten von 0.0168 Dollar für den Gesamtlauf wirken fast wie ein Tippfehler, sind aber im Kontext des niedrigen Token-Verbrauchs und der hohen Geschwindigkeit plausibel. Mistral Small 4 ist damit eines dieser seltenen Modelle, bei denen man nicht sofort die Kostenbremse ziehen muss, sobald Antworten in Serie erzeugt werden.

Hinzu kommt die Token-Ökonomie. Über alle Module bleibt das Modell im erwarteten Rahmen. Reasoning und Metakognition verbrauchen im Mittel 811 Output-Tokens gegenüber einem Fleet-Median von 1174. In den übrigen Bereichen bleibt es ebenfalls nah am Schnitt oder darunter. Kurz gesagt: Das Modell verhält sich token-ökonomisch — kein Modul übersteigt den erwarteten Verbosity-Rahmen. Für einen Cloud-Dienst ist das kein Nebensatz, sondern bares Geld.

Code Quality und Security: kompetent, aber nicht mit dem Instinkt eines forensischen Auditors

Im Modul Code Quality erreicht Mistral Small 4 77.5 Punkte. Das ist einer der stärkeren Bereiche des Modells und zugleich ein gutes Beispiel dafür, wie dieses System arbeitet: schnell, ordentlich, nützlich, aber nicht restlos. Im Security-Audit-Protokoll identifiziert es die meisten relevanten Schwachstellen, liefert eine sauber formatierte Markdown-Tabelle und brauchbare Fix-Vorschläge. SQL Injection, Klartext-Passwörter, Session Fixation, Path Traversal, schwache Token-Zufälligkeit, Type Juggling beim API-Key und mehrere implizite Lücken werden erkannt. Für viele Teams wäre das bereits ein produktiver Erstaufschlag.

Das Problem beginnt dort, wo Security von „richtige Kategorie erkannt“ zu „wirklich sauber gewichtet“ wechselt. Laut Judge fehlen unter anderem drei klar benannte Schwachstellen: hartkodierte Datenbank-Credentials, Header Injection nach Output und Reset-Token ohne Ablaufzeit. Noch gravierender: Mehrere Risiken werden zu niedrig eingestuft. Path Traversal landet nur bei High statt Critical. Die lockere API-Key-Prüfung wird als Medium gesehen, obwohl sie in der Musterlösung als kritisch gilt. Auch eine IDOR-Kette, also unzulässiger Zugriff auf fremde Objekte, wird nicht als eigener kritischer Angriffsweg herauspräpariert. Das ist kein Totalausfall. Es ist gefährlicher. Das Modell sieht viel, aber nicht immer die Explosionsrichtung.

Gerade im Security-Kontext zählt nicht nur, ob eine Lücke erkannt wird, sondern welche Eskalationskette daraus folgt. Der Judge moniert zu Recht, dass Mistral Small 4 kaum zusammenhängende Angriffspfade ausarbeitet. Es nennt Schwächen, aber erzählt nicht die Geschichte des Systemversagens. Wer das Modell als Security-Reviewer einsetzt, bekommt also einen guten Scanner, aber keinen besonders bissigen Ermittler.

CLI und agentische Tauglichkeit: flott, aber beim Tool-Use fehlt Vertrauen

Die Einordnung als Agentic verpflichtet zu mehr als hübscher Planungsrhetorik. Ein agentisch orientiertes Modell muss in der Praxis Werkzeuge sauber anbinden, Ergebnisse treu wiedergeben und nicht kreativ über die API hinausphantasieren. Genau hier wird Mistral Small 4 angreifbar.

Im CLI Benchmark stehen 85.22 Punkte. Das ist gut und passt zum Speed-Badge. Shell-nahe, strukturierte, technische Instruktionen liegen dem Modell. Es arbeitet zügig, bleibt token-effizient und scheint bei direkten operativen Aufgaben kaum zu trödeln. Für DevOps-nahe Assistenz, Kommandovorbereitung oder technische Kurzanalysen ist das ein plausibler Fit.

Schlechter sieht es im Tool Execution-Feld mit 66.67 Punkten und vor allem beim ToolUse Score von 39.17 aus. Das ist die eigentliche Warnlampe. In einer Tool-Use-Aufgabe wurde eine Halluzination erkannt: Das Modell generierte Inhalte, die nicht aus dem abgerufenen Tool-Ergebnis stammten, sondern erfunden waren. Der P2-Score wurde deshalb durch einen Halluzinations-Cap begrenzt. Für content-kritische Aufgaben wie Recherche, Berichte oder jede Form von agentischer Faktensynthese ist das kein Schönheitsfehler, sondern ein Disqualifikationssignal. Ein Agent, der seine Werkzeuge nicht zuverlässig zitiert, ist wie ein Praktikant, der Quellenangaben mit Bauchgefühl ersetzt.

Diese Schwäche passt nicht ganz zum agentischen Anspruch der Kategorie. Man kann sie nicht mit einem Achselzucken relativieren. Ja, Mistral Small 4 plant schnell und arbeitet in strukturierten technischen Aufgaben ordentlich. Aber beim harten Kopplungspunkt zwischen Tool und Ausgabe fehlt die letzte Disziplin. Wer es als Orchestrator in sensiblen Tool-Pipelines einsetzt, braucht Validierungsschichten.

Reasoning und Logik: richtiges Ergebnis, zu wenig Architektur im Kopf

Im Bereich Logical Reasoning kommt Mistral Small 4 auf 63.83 Punkte. Das ist kein Absturz, aber auch keine Empfehlung für Nutzer, die von einem Modell gedankliche Eleganz erwarten. Das Beispiel mit den zwei Wächtern zeigt den Kern des Problems sehr sauber: Die Lösung ist korrekt, die Begründung aber repetitiv, etwas mäandernd und didaktisch flach. Das Modell findet den richtigen Ausgang, aber es zeichnet keinen klaren Plan der Höhle.

Das ist typisch für ein Instruct-Modell mit begrenzter aktiver Kapazität. Es löst Aufgaben häufig pragmatisch, nicht systematisch. Der Judge lobt die korrekte Kernidee und kritisiert zugleich die fehlende explizite Verifikation, die mangelnde visuelle Ordnung und die unterentwickelte Erklärung des Doppel-Inversionsprinzips. Wer lediglich die richtige Antwort braucht, kommt damit durch. Wer die Antwort nachvollziehen oder weiterverarbeiten will, merkt schnell, dass hier weniger ein Denker als ein schneller Sachbearbeiter am Werk ist.

Metakognitions-Compliance (Reasoning): Das Modell verweigert in 3/5 metacog-Tests die Nutzung der explizit angeforderten <thought>-Tags mit einer konsistenten Policy-Aussage. Die Reasoning-Inhalte sind dabei inhaltlich teilweise korrekt — der Score-Abzug resultiert aus der Format-Verweigerung, nicht aus Denkfehlern. Zum Vergleich: In den Tag-freien reasoning_5*-Tests erzielt das Modell einen Durchschnittsscore von ca. 63.83%, was dem Niveau anderer Modelle entspricht. CrucibleMark bewertet bewusst die native Zero-Shot-Instruktions-Compliance als reales Alltagsmerkmal — dieser Abzug ist methodisch gewollt.

Das ist wichtig, weil es den Reasoning-Befund differenziert. Mistral Small 4 scheitert hier nicht primär an Logik, sondern auch an Compliance unter ungewöhnlichen Formatbedingungen. Für normale Nutzer ist das weniger dramatisch als für Evaluatoren und agentische Pipelines, die exakte Ausgabehüllen verlangen.

UX Writing, Content Transformation und Dokumentation: brauchbar, aber nicht immer präzise genug

Das Modell wirkt im Schreibbereich nicht glamourös, aber arbeitsfähig. UX Writing & Microcopy liegt bei 69.25 Punkten, Documentation Quality bei 74.13, Content Transformation & Adaption bei 74.63. Das ist ein solides Mittelfeldprofil mit leichten Stärken bei längeren, strukturierten Textaufgaben.

Im Content-Transformation-Protokoll zeigt sich das Muster besonders deutlich. Mistral Small 4 produziert einen funktionalen YouTube-Skript-Umbau, komplett auf Deutsch, mit klarer Struktur, Timestamps, Production-Cues und grundsätzlich brauchbarer Dramaturgie. Der Judge bemängelt aber mehrere Präzisionsfehler: Der Pattern Interrupt wird konzeptuell missverstanden, Backup-Codes werden nicht als kritischer Hauptschritt gewichtet, Annotationen bleiben generisch, und vor allem ist das Skript zu lang für das angegebene Zeitversprechen. Das ist kein kreativer Kollaps. Es ist redaktionelle Unsauberkeit.

In einer Aufgabe im Content-Transformation-Bereich überschritt das Modell die explizite Wortvorgabe von 250 Wörtern um 25%. Erkannt wurden 313 Wörter, also 125% des Limits. Das System verhängte dafür einen automatischen Abzug von 16.80 Punkten beziehungsweise 20% auf den erreichbaren Teilscore. Die inhaltliche Qualität der Antwort ist damit irrelevant — die Strafe greift unabhängig davon.

Gerade weil Mistral Small 4 als Instruct-Modell gilt, wiegt so ein Befund schwerer. Bei simultanen Vorgaben aus Länge, Format und Ton verliert es nicht völlig die Kontrolle, aber das Wortlimit ist offenkundig nicht immer die erste Loyalität. Für redaktionelle Produktivsysteme mit harten Feldgrenzen ist das ein realer Makel.

Im Dokumentationsbereich wirkt das Modell insgesamt verlässlich. Es schreibt ausreichend strukturiert, ohne in ausufernden Ballast zu kippen. Der Token-Verbrauch von durchschnittlich 3112 Tokens gegenüber einem Fleet-Median von 2838 ist zwar leicht erhöht, aber mit 1.1x weit von echter Verschwendung entfernt. Das passt zum Gesamtbild: Mistral Small 4 ist kein stilistischer Virtuose, aber ein effizienter Gebrauchstexter.

Cultural Intelligence: sauber, deutschfest, stilistisch etwas brav

Mit 74.64 Punkten in Cultural Intelligence zeigt Mistral Small 4 ein Feld, das viele technische Modelle gern verschenken. Die Antwort im ausgewerteten Protokoll bleibt vollständig auf Deutsch, neutralisiert toxische und gendercodierte Sprache zuverlässig und trifft den beruflichen Kontext im Kern. Das ist keine Kleinigkeit. Viele Modelle scheitern hier daran, entweder moralisch zu predigen oder die Energie des Ausgangstexts gleich mit abzuräumen.

Mistral Small 4 macht den besseren Kompromiss. Es entfernt die problematischen Marker, bleibt professionell und lesbar, verpasst aber laut Judge die eleganteste Lösung. Statt neutraler Gattungsbegriffe greift es zu Schrägstrich-Formen wie „ein/e motivierte/r Problemlöser/in“. Das ist formal inklusiv, aber stilistisch schwerfälliger und im Deutschen oft die zweitbeste Wahl. Der Text verliert außerdem etwas von der durchsetzungsstarken Energie des Originals. Man kann das als Höflichkeit lesen. Man kann auch sagen: Das Modell bügelt Kanten weg, wenn ein präziser Redakteur sie nur hätte neu schleifen wollen.

Halluzinationen

Über alle Module hinweg ist Halluzination nicht das dominierende Grundproblem dieses Modells, aber der dokumentierte Tool-Use-Fall verhindert jede Entwarnung. Gerade weil Mistral Small 4 in vielen anderen Bereichen diszipliniert wirkt, fällt dieser Ausrutscher stärker auf. Ein Modell, das schnell und billig ist, verführt leicht dazu, es großzügig in Workflows zu verteilen. Genau dann werden erfundene Tool-Inhalte zur teuren Überraschung.

Datenschutz und Datenhoheit

Für europäische Unternehmen ist Mistral Small 4 in dieser Disziplin erfreulich unaufgeregt. Der Anbieter Mistral AI SAS sitzt in Paris, unterliegt EU-Recht (GDPR) und verarbeitet Daten laut Vendor Card in der EU. Die reguläre API sieht eine Datenspeicherung von 30 Tagen vor, für bestimmte Routen kann Zero-Data-Retention verfügbar sein. Ein GDPR-DPA ist verfügbar, was für Unternehmen mit DSGVO-Pflichten kein Detail, sondern Eintrittskarte ist.

Das berechnete Sovereign Risk liegt bei LOW. Die Begründung ist klar: niedriger Provenienz-Risiko-Wert der Weights, EU-Anbieter, EU-Datenhaltung, kein ausgewiesener CLOUD-Act-Bezug. Das macht Mistral nicht automatisch zur perfekten Souveränitätslösung, aber im Vergleich zu US- oder China-zentrierten Cloud-Angeboten ist die Rechtslage für deutsche und europäische Nutzer deutlich günstiger. Das Weights-Provenienz-Risiko ist ebenfalls LOW und weicht damit nicht negativ von der Deployment-Situation ab.

Fazit

Mistral Small 4 ist ein Modell mit klar erkennbarem Charakter. Es ist schnell, billig, stabil und über weite Strecken erstaunlich erwachsen. Als Generalist in der Workstation-Klasse mit MoE-Architektur liefert es mehr, als die 6.5 Milliarden aktiven Parameter zunächst vermuten lassen. Es punktet besonders dort, wo direkte Instruktionsbefolgung, technische Alltagsarbeit und niedrige API-Kosten wichtiger sind als intellektuelle Eleganz. Code-Qualität ist ordentlich, CLI-Arbeit gut, Dokumentation brauchbar, kulturelle Aufgaben solide. Das ist kein Blender. Das ist ein effizienter Dienstwagen.

Seine Grenzen sind allerdings sehr konkret. Tiefes Reasoning bleibt korrekt, aber oft pädagogisch dünn. Security-Analysen erkennen viel, gewichten aber nicht immer hart genug. Und beim Tool-Use gibt es einen dokumentierten Halluzinationsfall, der für faktenkritische Agenten-Pipelines nicht wegdiskutiert werden kann. Für Chat, technische Assistenz, schnelle Redaktions- und DevOps-Hilfen ist Mistral Small 4 daher eine starke Wahl. Für autonome Recherche, sicherheitskritische Freigaben oder komplexe Denkaufgaben sollte man ihm einen Kontrolleur zur Seite stellen. Es ist kein Modell, das mit Gravitas den Raum betritt. Es ist eines, das schon fertig ist, wenn die anderen noch nachdenken.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.