Mistral Small 4

Mit einem Gesamtscore von 73,3 Prozent tritt Mistral Small 4 als überraschend günstiger Cloud-Allrounder aus der Mistral-API auf, mit dem Speed-Profile-Badge „Real-Time DevOps Expert“. Das passt: Das Modell antwortet schnell, bleibt knapp und wirkt in vielen Aufgaben wie ein Mitarbeiter, der zügig liefert, aber nicht immer die letzte Schleife dreht. Seine Metadaten versprechen viel zugleich: generalistischer Anspruch, Bildfähigkeit, langes Kontextfenster, Instruct-Charakter und agentische Eignung. Im Text-only-Benchmark sieht man davon vor allem drei Dinge deutlich: Disziplin bei der Ausgabe, brauchbare Logik und eine spürbare Schwäche, sobald Präzision im Tool-Use oder harte Formvorgaben wichtiger werden als souveränes Formulieren. Sovereign Risk: LOW: Mistral AI ist ein französisches Unternehmen mit Sitz in der EU. Es unterliegt der europäischen Gesetzgebung, wobei die Risiken für staatliche Zugriffe im Vergleich zu US-amerikanischen Anbietern oder chinesischen Jurisdiktionen als geringer eingestuft werden.

Kopfnoten: Stabilität und Zuverlässigkeit

Dass dieser Lauf im werksseitigen Standardverhalten des Endpunkts erfolgte, ist wichtig. Einen umschaltbaren Thinking-Modus gibt es hier nicht. Mistral Small 4 wurde also so bewertet, wie ein normaler API-Nutzer es tatsächlich bekommt. Für ein kommerzielles Cloud-Modell ist die Kombination aus null Timeouts und kurzer Schwanzlatenz mehr als nur Hygiene. Sie ist ein echter Praxisvorteil, gerade in Agenten-Workflows, in denen ein einzelner Aussetzer ganze Ketten blockieren kann.

Architektur und Einordnung

Die vorab vergebene Kategorie trifft den Charakter des Modells erstaunlich gut. Als General-Modell muss Mistral Small 4 breit funktionieren, nicht bloß in einer Nische glänzen. Als Instruct-Modell darf man direkte, eher kompakte Antworten erwarten. Genau das liefert es: wenig Umwege, wenig Selbstgespräche, selten tokenfressende Prosa. Das Long-Context-Label bleibt im vorliegenden Text-Benchmark eher Hintergrundrauschen. Das 256K-Kontextfenster ist auf dem Papier stark, aber viele Aufgaben hier liegen deutlich darunter. Man sieht also eher, ob das Modell strukturiert denkt, nicht ob es ganze Aktenordner elegant verdaut.

Die beiden spannendsten Etiketten sind Vision-Capable und Agentic. Ersteres relativiert den Benchmark zwangsläufig, weil ein text-only Parcours nur einen Teil der Modellkompetenz misst. Wer ein multimodales Modell bewertet, ohne ihm Bilder zu geben, prüft eben nur das Sprachbein. Das ist legitim, aber unvollständig. Agentic wiederum heißt nicht automatisch, dass das Modell in Tool-Aufgaben exzellent abschneidet. Es heißt eher, dass es für mehrstufige Arbeitsabläufe und Werkzeugnutzung gedacht ist. Gerade deshalb fallen die schwachen Tool-Use-Werte hier umso unangenehmer auf. Ein agentisches Modell darf beim eigenständigen Direkt-Antworten stolpern. Es sollte aber nicht beim Umgang mit Werkzeugergebnissen ins Fabulieren geraten.

Zur formalen Modellklassifikation gibt es allerdings einen harten Widerspruch in den gelieferten Metadaten, den man benennen muss. Kuratiert wurde Mistral Small 4 als use_case_primary = generalist, size_class = Frontier, parameter_architecture = moe. In den Modell-Infos steht zugleich: 119 Milliarden Parameter gesamt, 6,5 Milliarden aktiv, MoE, und damit faktisch ein Modell, dessen Leistungsmaßstab am aktiven Teil kalibriert werden sollte, nicht an der imposanten Gesamtzahl. Genau das erklärt auch den Charakter der Ergebnisse. Mistral Small 4 spielt nicht wie ein massiver Großdenker auf, sondern wie ein effizienter Spezialist auf Abruf. Viel Hülle, vergleichsweise schlanker aktiver Kern. Das ist kein Makel. Es ist die Architekturidee.

Performance und Kostenprofil

Der Speed-Profile-Badge „Real-Time DevOps Expert“ ist keine Zierde, sondern eine präzise Kurzbeschreibung. Mistral Small 4 ist im praktischen Eindruck schnell genug für interaktive Nutzung, also für Chat, Assistenz, Überarbeitungen und kurze technische Rückfragen. Dazu kommt ein sehr aggressiver Preis von 0,15 Dollar pro 1 Million Input-Token und 0,6 Dollar pro 1 Million Output-Token. Für ein kommerzielles Cloud-Modell ist das eine Ansage. Hier versucht Mistral nicht, das klügste Modell im Raum zu sein. Es versucht, das Modell zu sein, das man ohne schlechtes Gewissen oft aufruft.

Bemerkenswert ist auch die Token-Ökonomie. Kein Modul überschreitet den erwarteten Verbosity-Rahmen. Im Gegenteil: Reasoning und Metakognition liegen mit durchschnittlich 770 Output-Tokens deutlich unter dem Fleet-Median von 1412, CLI bei 150 statt 303, Code Quality bei 1897 statt 3104. Selbst dort, wo es minimal über dem Median liegt, etwa in der Dokumentationsqualität mit 3132 zu 3110 Tokens, ist das kein Ausreißer, sondern Rundungsrauschen. Anders gesagt: Mistral Small 4 schreibt selten mehr als nötig. Bei einem API-Modell ist das direkt Geld.

Diese Effizienz hat aber ihren Preis inhaltlich. Kürze wirkt hier oft wie Tugend, manchmal aber auch wie Sparmaßnahme am falschen Ende. Das Modell liefert selten sichtbaren Leerlauf. Es lässt aber mitunter die Tiefe weg, die den Unterschied zwischen brauchbar und belastbar ausmacht.

Code Quality: ordentliches Handwerk, aber kein kompromissloser Auditor

Im Code-Quality-Modul erreicht Mistral Small 4 70,92 Prozent. Das ist kein Absturz, aber auch kein Sicherheits-Instinkt, der einem nachts ruhig schlafen lässt. Das qualitative Protokoll zeigt ein recht typisches Bild: Die Tabelle sitzt, die Sprache sitzt, die Struktur ist sauber, die wichtigsten Klassen von Schwachstellen werden erkannt. Bei einer PHP-Sicherheitsanalyse fand das Modell 15 von 19 Schwachstellen, also knapp 79 Prozent Abdeckung. Was es identifizierte, war weitgehend korrekt klassifiziert und brauchbar erklärt. Das ist die gute Nachricht.

Die schlechte Nachricht ist schärfer. Ausgerechnet bei sicherheitskritischen Lücken fehlten Dinge, die man in einem echten Audit nicht übersehen will: eine SQL-Injection in einer DELETE-Abfrage, hartkodierte Datenbank-Zugangsdaten, ein Reset-Token ohne Ablaufzeit, unsichere Cookie-Flags und ein Header-Injection-Problem nach bereits gesendetem Output. Dazu kamen Fehlkalibrierungen bei der Schwere. Eine IDOR-Lücke wurde zu harmlos bewertet, Path Traversal ebenfalls. Das sind keine kosmetischen Patzer. Das sind Priorisierungsfehler. Wer Security ernst meint, braucht nicht nur Treffer, sondern die richtigen Treffer in der richtigen Reihenfolge.

Gleichzeitig zeigt sich hier die Instruct-Natur des Modells. Mistral Small 4 liefert saubere, zügige Tabellen mit kompakten Fixes. Es formuliert wie ein pflichtbewusster Reviewer, nicht wie ein paranoider Red-Teamer. Das kann in Alltagsentwicklung angenehm sein. Für tiefes Security-Review reicht es nicht. Die Achillesferse ist nicht Unsinn, sondern Untertiefe.

Reasoning und Logik: korrekt, kompakt, selten brillant

Im Logical-Reasoning-Bereich kommt Mistral Small 4 auf 72,47 Prozent. Das ist respektabel, vor allem wenn man die MoE-Architektur fair am aktiven Teil misst. Die qualitative Probe mit dem Zwei-Wächter-Rätsel zeigt: Die Lösung stimmt, die Logik stimmt, die Antwort bleibt in Deutsch und sogar das geforderte <thought>-Format wurde in diesem Beispiel sauber erfüllt. Das Modell arbeitet den klassischen Doppel-Inversions-Trick korrekt durch und landet zuverlässig beim richtigen Ergebnis.

Was fehlt, ist die zweite Ebene. Das Modell abstrahiert weniger elegant als stärkere Reasoning-Modelle, benennt Prinzipien nicht immer explizit und baut weniger visuelle oder didaktische Struktur auf. Es erklärt richtig, aber nicht mit jener intellektuellen Großzügigkeit, die schwierige Zusammenhänge plötzlich leicht erscheinen lässt. Man bekommt die Lösung. Man bekommt nicht unbedingt die beste Erklärung für einen Dritten.

Für die zugewiesene Kategorie ist das dennoch stimmig. Mistral Small 4 ist kein dediziertes Thinking-Modell, sondern ein Generalist mit Instruct-Temperament. In diesem Licht ist die Leistung gut. Das Modell denkt ausreichend klar, bleibt dabei ökonomisch und vermeidet die Art von ausufernder Selbstbeschäftigung, an der andere Systeme gelegentlich ersticken. Wer tiefe Herleitungen, alternative Beweiswege und didaktische Eleganz sucht, muss woanders einkaufen. Wer korrekte, kompakte Logikantworten will, ist hier ordentlich bedient.

Content Transformation und UX: nützlich, aber nicht immer gehorsam

In Content Transformation liegt Mistral Small 4 bei 72,61 Prozent. Das ist einerseits ein Zeichen dafür, dass das Modell strukturierte Umarbeitung beherrscht. Andererseits zeigen die Protokolle genau jene Reibung, die aus einem guten Assistenten keinen verlässlichen Produktionsschreiber macht. Bei einer aufwendig inszenierten YouTube-Skript-Aufgabe lieferte das Modell fast alles: Analyse, Zeitmarken, Spoken-Word-Ton, Screen-Anweisungen, Production Cues, Hook, CTA, Easter Egg. Inhaltlich war das komplett und technisch sauber. Was fehlte, war das Feintuning. Die dramaturgische Präzision blieb unter dem Referenzniveau, die visuelle Regie blieb gröber, und vor allem wurde das vorgegebene Längenfenster überzogen.

In einer Aufgabe im Content-Transformation-Bereich überschritt das Modell die explizite Wortvorgabe von 250 Wörtern um 25 Prozent. Das System verhängte einen automatischen Abzug von 16,80 Punkten beziehungsweise 20 Prozent auf den erreichbaren Teilscore. Die inhaltliche Qualität der Antwort ist damit irrelevant. Die Strafe greift unabhängig davon. Solche harten Constraint-Verstöße sind mehr als bloße Schlamperei. Sie zeigen, welche Regel das Modell unter Last zuerst fallen lässt. Hier ist es das Wortlimit.

Das ist kein isolierter Ausreißer. Über mehrere Aufgaben im Content-Transformation-Bereich zeigt das Modell ein konsistentes Muster: Bei simultanen Vorgaben aus Sprache, Länge und Format verliert es das Wortlimit als erste Bedingung. Die Videoskript-Aufgabe lief zu lang, eine andere Aufgabe kassierte eine automatische Strafwertung wegen klarer Überschreitung. Mistral Small 4 kann umschreiben. Es kann sogar recht geschmeidig umschreiben. Aber wenn mehrere Zügel zugleich angelegt werden, zieht es eher an der Präzision vorbei als am Sinn vorbei. Für den Leser nett, für Produktionspipelines riskant.

Im UX-nahen Schreiben passt dieses Verhalten ins Bild. Das Modell klingt oft vernünftig, manchmal professionell, mitunter etwas zu erklärfreudig. Gerade Instruct-Modelle sollten bei „nur den finalen Text“ eigentlich gehorsam sein. Mistral Small 4 leistet sich hier aber auffällig menschliche Unarten: Es weiß, was gemeint ist, und kommentiert trotzdem.

Cultural Intelligence: inhaltlich sensibel, formal nicht immer diszipliniert

Im Bereich Cultural Intelligence erreicht Mistral Small 4 71,44 Prozent. Das qualitative Beispiel ist aufschlussreich. Bei der Umschreibung einer toxischen Stellenanzeige in korrektes, inklusives Deutsch traf das Modell inhaltlich vieles richtig. Es neutralisierte aggressive Sprache, beseitigte Geschlechterbias und formulierte insgesamt professionell. Der kulturelle Instinkt ist also vorhanden. Das Modell weiß, wie eine moderne, deutschsprachige HR-Kommunikation klingen sollte.

Der Punktabzug kam ausgerechnet nicht über den Inhalt, sondern über die Disziplin. Die Aufgabe verlangte ausschließlich den umgeschriebenen Text. Mistral Small 4 lieferte zusätzlich mehrere Begründungsabsätze. Das ist keine stilistische Randnotiz, sondern ein glatter Verstoß gegen die Aufgabenform. Der LLM-Judge wertete das zurecht als kritischen Strukturfehler. Man kann es auch weniger höflich sagen: Das Modell redet, wenn es schweigen soll. Für kulturell heikle Umformulierungen ist das ärgerlich, weil gerade dort Formvorgaben oft nicht Dekoration, sondern Compliance sind.

Interessant ist dabei, dass die sprachliche Qualität selbst nicht das Problem war. Das Deutsche ist sauber, natürlich und kontextfest. Mistral Small 4 scheitert hier nicht an Sprachgefühl, sondern an Selbstdisziplin. Das ist die bessere Art zu verlieren, aber verlieren bleibt verlieren.

Dokumentation und Alltagsassistenz: solide Mittelklasse mit brauchbarem Pragmatismus

Mit 76,4 Prozent in Documentation Quality zeigt das Modell eine seiner sympathischeren Seiten. Es schreibt offenbar mit genug Struktur, um nützlich zu sein, ohne sich in endlosen Exkursen zu verlieren. Dass die Token-Nutzung in diesem Modul praktisch exakt dem Fleet-Median entspricht, passt dazu. Kein unnötiger Schaum, keine geizige Telegrammprosa. Für Wissensaufbereitung, sachliche Erklärtexte und Standarddokumentation ist das ein vernünftiges Arbeitsgerät.

Gerade hier zahlt sich die Kombination aus Instruct-Temperament und aktiv schlanker MoE-Kapazität aus. Mistral Small 4 versucht selten, den Leser mit Genialität zu beeindrucken. Es versucht, eine brauchbare, geordnete Antwort zu liefern. Das klingt nach kleinem Lob. Im Alltag ist es oft das wertvollere.

Tool-Use, Halluzinationen und Security-Risiko: hier wird es ernst

Der eigentliche Warnhinweis steckt nicht in der allgemeinen Sprachleistung, sondern im Werkzeugbereich. Der ToolUse-Score liegt bei nur 20,33 Prozent, die synthetische Tool-Ausführung bei 39,17 Prozent. Für ein Modell, das wir auch als agentisch einordnen, ist das deutlich zu schwach. Das Problem ist nicht bloß fehlende Eleganz beim Tool-Aufruf, sondern ein handfester Halluzinationsbefund.

In einer Tool-Use-Aufgabe halluzinierte das Modell Inhalte, die nicht aus dem abgerufenen Werkzeugergebnis stammten, sondern frei erfunden waren. Deshalb wurde der P2-Score durch einen Halluzinations-Cap begrenzt. Für content-kritische Aufgaben wie Recherche oder faktengebundene Berichte ist das ein disqualifizierendes Signal. Hier versagt nicht bloß die Format-Compliance. Hier bricht die Grundregel agentischer Systeme: Nutze das Werkzeug, glaube dem Werkzeug, erfinde nicht darüber hinaus.

Das ist der entscheidende Makel dieses Modells. Mistral Small 4 ist als Cloud-Assistent schnell, billig und oft ordentlich. Aber sobald externe Fakten oder Tool-Rückgaben die Wahrheitsschiene bilden, braucht es Aufsicht. Ein agentisches Modell, das beim Werkzeuglesen fabuliert, ist wie ein Kurier, der Pakete auf dem Weg neu verpackt. Man kann ihn nicht unbeobachtet losschicken.

Datenschutz und Datenhoheit

Für ein kommerzielles Cloud-Modell fällt die Datenschutzlage hier vergleichsweise günstig aus. Mistral AI SAS sitzt in Paris, unterliegt laut Anbieterkarte dem EU-Recht und hält Daten in der EU. Das berechnete Sovereign Risk liegt bei LOW. Für Nutzer in Deutschland und Europa ist das ein realer Vorteil, weil hier weder US-CLOUD-Act-Strukturen noch eine unklare außereuropäische Jurisdiktion im Vordergrund stehen.

Wichtig bleibt dennoch: Die Nutzung erfolgt über die Hersteller-Cloud, nicht in eigener Infrastruktur. Laut Vendor Card beträgt die reguläre Datenspeicherung 30 Tage, ein GDPR-DPA ist verfügbar. Für Unternehmen mit DSGVO-Pflichten ist das die relevante Nachricht. Es macht den Einsatz nicht automatisch sorgenfrei, aber deutlich besser handhabbar als bei vielen US-Anbietern. Das Weights-Provenienz-Risiko liegt ebenfalls bei LOW, was hier zur Deployment-Situation passt und keinen zusätzlichen Souveränitätsbruch erzeugt.

Fazit

Mistral Small 4 ist ein Modell mit klar erkennbarem Charakter. Schnell, preiswert, cloudseitig stabil, token-ökonomisch und in vielen Standardaufgaben erfreulich vernünftig. Für ein MoE-System mit nur 6,5 Milliarden aktiven Parametern spielt es in Textarbeit, Dokumentation und allgemeiner Assistenz überzeugend erwachsen. Das Modell hat keine Starallüren. Es arbeitet.

Aber genau deshalb wiegt seine Schwäche im Tool-Use schwer. Wer Fakten aus Werkzeugen verlässlich weitertragen muss, bekommt hier keine belastbare Sicherheit. Dazu kommen wiederkehrende Probleme mit harten Formvorgaben, vor allem bei Wortlimits und der Anweisung, keine Zusatzkommentare zu liefern. Das ist nicht katastrophal, aber es ist im Produktionsalltag die Sorte Fehler, die Tickets, Retrys und Nachkontrollen produziert.

Unterm Strich ist Mistral Small 4 ein starkes Preis-Leistungs-Angebot aus der Mistral-API für allgemeine Produktivaufgaben, schnelle technische Hilfestellung, Dokumentationsarbeit und robuste interaktive Nutzung. Für Security-Audits reicht die Tiefe nicht ganz. Für autonome Recherche- oder Tool-Pipelines reicht die Verlässlichkeit noch weniger. Wer einen günstigen, wachen Cloud-Generalisten sucht, findet hier viel Gegenwert. Wer einem Agenten die Schlüssel zum Werkzeugschrank geben will, sollte erst die Finger davon lassen.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.