LLM Model Review
· Instruction-Tuned
Mit einem Gesamtscore von 72.35% zeigt Mistral Medium 3.5 den seltenen Mix aus Tempo und brauchbarer Breite, den man von einem kommerziellen Cloud-Modell der Mistral-AI-API in dieser Klasse erwarten darf. Das Modell ist als Generalist eingestuft, trägt aber klar die Handschrift seiner Zusatzrollen: Instruct in der Form, agentisch in der Struktur, multimodal im Anspruch. Der Speed Profile Badge lautet Real-Time Tool Expert, dazu kommen 144.22 Tokens pro Sekunde. Das ist kein Schönwetterwert, sondern ein klares Signal: Dieses Modell will im produktiven Werkzeugbetrieb nicht nachdenken wie ein Essayist, sondern liefern wie ein gut geölter Assistent. Sovereign Risk: LOW — Mistral AI sitzt in Frankreich, verarbeitet laut Vendor Card in der EU und unterliegt nicht der US-CLOUD-Act-Logik.
Kopfnoten: Stabilität und Zuverlässigkeit
| Metrik | Wert | Bewertung | Analyse |
|---|---|---|---|
| Timeout-Rate | 0/43 | Stabil | Das Modell lief im Test absolut stabil und zuverlässig. |
| P95-Antwortzeit | 20.85 s | Konsistent | Sehr geringer Tail, kaum Ausreißer. |
Architektur und Charakter: Was dieses Modell sein will
Die editorische Einordnung passt erstaunlich gut zum beobachteten Verhalten. Mistral Medium 3.5 ist ein Generalist, also kein Spezialwerkzeug mit Tunnelblick, sondern ein Modell für die volle Aufgabenbreite. Zugleich ist es als Server-Klasse eingestuft. Das heißt: Hier gelten keine Ausreden der Leichtgewichtsklasse. Ein dichtes, also dense aufgebautes Modell mit 128 Milliarden Parametern und 128 Milliarden aktiven Parametern muss nicht alles dominieren, aber es sollte in fast jedem Modul ernsthaft mitreden. Genau das tut Mistral Medium 3.5 auch. Nur eben nicht immer mit derselben Überzeugungskraft.
Die Zusatzlabels erklären den Tonfall der Antworten. Als Instruct-Modell folgt es Anweisungen meist sauber und ohne rhetorische Ausschläge. Als agentisches Modell denkt es oft in brauchbaren Strukturen für Tool- und Workflow-Kontexte. Das sieht man besonders dort, wo Aufgaben in Schritte, Prioritäten oder Produktionslogik zerfallen. Das multimodale Etikett sollte man zugleich korrekt einhegen: Dieser Benchmark misst fast ausschließlich Textleistung. Wer aus dem Ergebnis ein Gesamturteil über Bildverständnis oder visuelle Agentenpipelines ableitet, würde mehr behaupten, als die Daten tragen.
Performance und Preis: Schnell, aber nicht billig genug, um Fehler zu verzeihen
144.22 Tokens pro Sekunde sind für ein Cloud-Modell dieser Größe stark. Zusammen mit dem Badge Real-Time Tool Expert ergibt sich ein klares Einsatzprofil: Mistral Medium 3.5 ist für interaktive Arbeit mit Werkzeugen, strukturierte Assistenz und schnelle Rückkopplung gebaut. Nicht für kontemplative Langstrecken, sondern für den Takt des Arbeitsalltags.
Der Preis liegt bei 1.5 Dollar pro Million Eingabetokens und 7.5 Dollar pro Million Ausgabetokens. Das ist kein Kampfpreis. Angesichts der Geschwindigkeit und des breiten Leistungsbilds ist das vertretbar, aber nicht sensationell. Die Benchmark-Kosten von 0.3884 Dollar für den gesamten Lauf bleiben im Rahmen, vor allem weil das Modell token-ökonomisch arbeitet. Kein Modul überschreitet den erwarteten Verbosity-Rahmen. Im Gegenteil: In fast allen Bereichen bleibt Mistral Medium 3.5 unter dem Fleet-Median. Es schreibt also selten zu viel. Das ist in einer Hersteller-Cloud nicht nur eine Stilfrage, sondern schlicht eine Kostenfrage.
Code Quality: Stark in der Breite, etwas schwächer in der forensischen Schärfe
Mit 79.6 Punkten im Code-Quality-Audit spielt Mistral Medium 3.5 sichtbar über Durchschnitt. Die qualitative Auswertung bestätigt den Eindruck. In einer Sicherheitsanalyse identifizierte das Modell 24 Schwachstellen, also sogar mehr als der Referenzstandard. Das ist zunächst ein gutes Zeichen: Es sieht viel und lässt sich von komplexem Material nicht einschüchtern.
Der Haken liegt im zweiten Schritt. Mistral Medium 3.5 ist hier eher gründlicher Inventarisierer als kompromissloser Incident-Analyst. Kritische Probleme wie SQL Injection, Klartextpasswörter, Path Traversal, IDOR, unsichere Cookies oder schwache Token-Generierung erkennt es sauber. Auch die Formatseite sitzt. Die Markdown-Tabelle war korrekt, die Kategorien waren brauchbar, die Korrekturvorschläge nicht dekorativ, sondern praktisch.
Was fehlte, war die letzte Schärfe. Der Judge bemängelt zu Recht, dass dem Modell der konkrete Angriffspfad fehlte, also die Verkettung mehrerer Schwachstellen zu einem realistischen Exploit-Szenario. Genau dort trennt sich ein guter Befund von einer sicherheitsrelevanten Priorisierung. Noch auffälliger ist die Fehlkalibrierung bei Type Juggling. Das Modell erkannte das Problem, bewertete es aber zu niedrig. Für PHP-nahe Sicherheitsarbeit ist das keine Petitesse, sondern ein Warnsignal: Mistral Medium 3.5 kennt die Landkarte, aber nicht jede Mine bekommt das richtige Warnschild.
Für Code-Reviews, sichere Refactoring-Hinweise und strukturierte Schwachstellenlisten ist das stark. Für High-Stakes-Security-Audits ohne menschliche Gegenprüfung reicht es nicht. Ein Modell, das Sicherheitsprobleme sieht, aber ihre Exploit-Kette nicht deutlich genug erzählt, ist nützlich. Es ist nur noch kein digitaler Pentester.
CLI, Tool-Use und agentische Praxis: Hier zeigt sich die eigentliche Begabung
Der Real-Time Tool Expert-Badge ist nicht zufällig vergeben. Im CLI-Benchmark erreicht Mistral Medium 3.5 87.22 Punkte, im Tool Execution sogar 90.0. Das ist die Zone, in der seine Kategorisierung als agentisches Modell Substanz bekommt. Das Modell zerlegt Aufgaben brauchbar, arbeitet strukturiert und bewegt sich im Werkzeugkontext mit einer Selbstverständlichkeit, die vielen bloßen Chat-Modellen fehlt.
Doch es gibt einen Makel, und der wiegt schwerer als ein verunglückter Befehl. In einer Tool-Use-Aufgabe halluzinierte das Modell Inhalte, die nicht aus dem abgerufenen Werkzeugergebnis stammten. Das System kappte den P2-Score deshalb per Halluzinations-Cap. Für content-kritische Aufgaben wie Recherche, Prüfberichte oder faktengebundene Agentenketten ist das ein disqualifizierendes Signal. Wer ein Tool aufruft und danach dennoch frei improvisiert, verhält sich nicht wie ein Assistent, sondern wie ein Praktikant mit zu viel Selbstvertrauen.
Das relativiert die sonst guten Tool-Werte deutlich. In operativen Workflows mit klarer Nachkontrolle bleibt Mistral Medium 3.5 attraktiv. In Pipelines, in denen Tool-Output als wahr angenommen und ungeprüft weiterverarbeitet wird, muss man es enger an die Leine nehmen.
Reasoning und Logik: richtige Antwort, unnötig viele Schleifen
Im Logical-Reasoning-Bereich steht am Ende ein Wert von 65.87 Punkten. Das ist kein Einbruch, aber auch kein Ruhmesblatt für ein Server-Modell dieser Größe. Die qualitative Probe ist aufschlussreich: Bei einem klassischen Wächterrätsel fand Mistral Medium 3.5 die richtige Lösung, formulierte die korrekte Meta-Frage und kam logisch ans Ziel. Inhaltlich also bestanden.
Das Problem liegt in der Art des Denkens. Der dokumentierte Gedankengang war lang, repetitiv und kreiste mehrfach um denselben Kern. Der Judge spricht von zirkulärem Grübeln. Das trifft es gut. Das Modell denkt nicht falsch, aber oft wie jemand, der beim Whiteboard dieselbe Skizze fünfmal neu zeichnet. Dadurch wirkt die Lösung schwerfälliger, als sie sein müsste. Die finalen Erklärungen bleiben zudem knapper und didaktisch ärmer als sie sein könnten. Wer das Modell für saubere, lehrreiche Herleitungen einsetzt, bekommt richtige Ergebnisse, aber nicht immer elegante.
Metakognitions-Compliance (Reasoning): Das Modell verweigert in 3/5 metacog-Tests die Nutzung der explizit angeforderten <thought>-Tags mit einer konsistenten Policy-Aussage. Die Reasoning-Inhalte sind dabei inhaltlich teilweise korrekt — der Score-Abzug resultiert aus der Format-Verweigerung, nicht aus Denkfehlern. Zum Vergleich: In den Tag-freien reasoning_5*-Tests erzielt das Modell einen Durchschnittsscore von ca. 65.87%, was dem Niveau anderer Modelle entspricht. CrucibleMark bewertet bewusst die native Zero-Shot-Instruktions-Compliance als reales Alltagsmerkmal — dieser Abzug ist methodisch gewollt.
Das ist wichtig, weil es den Charakter des Modells zeigt. Mistral Medium 3.5 scheitert hier nicht primär an Logik, sondern an der Bereitschaft, eine sehr spezielle Darstellungsanweisung kompromisslos zu befolgen. Für normale Nutzer ist das weniger dramatisch als für Agenten-Frameworks, die exakt definierte Antwortformate erwarten.
Content Transformation: funktional stark, emotional nicht erste Liga
Mit 75.5 Punkten gehört Content Transformation zu den besseren Feldern des Modells. Die qualitative Probe eines deutschsprachigen Video-Skript-Umbaus zeigt ein bekanntes Muster: Mistral Medium 3.5 erledigt die Aufgabe vollständig und sauber, bleibt aber etwas zu nüchtern, wo mehr dramaturgischer Druck gutgetan hätte.
Die Analyse des Ausgangsmaterials war korrekt, aber knapp. Fehlende Elemente wie Hook, Spoken-Word-Ton, Produktionshinweise oder Engagement-Bausteine wurden benannt, jedoch nicht tief erklärt. In der eigentlichen Transformation lieferte das Modell dann ein funktionales Skript mit Zeitmarken, Regiehinweisen, CTA und sogar Easter Egg. Das ist mehr als Pflichtprogramm. Es ist produktionsnah genug, dass man damit weiterarbeiten kann.
Was fehlte, war die psychologische Raffinesse. Der Hook war direkt, aber weniger packend als die Referenz. Die visuellen Hinweise waren vorhanden, aber sparsamer und weniger filmisch. Die Erklärungen arbeiteten stärker mit Statistik und Metapher als mit narrativer Dringlichkeit. Kurz gesagt: Das Modell schreibt brauchbare Produktionsfassungen, aber keine magnetischen. Für Marketing, Tutorials und YouTube-ähnliche Formate reicht das oft. Wer aber Zuschauer nicht nur informieren, sondern festnageln will, merkt den Abstand.
UX Writing und Cultural Intelligence: professionell, inklusiv, aber selten brillant
Im UX-Writing landet Mistral Medium 3.5 bei 66.75 Punkten. Das ist solide, aber für ein Modell mit Instruct-Label nicht überragend. Die Cultural-Intelligence-Werte mit 71.44 Punkten fallen besser aus, und die qualitative Probe bestätigt das. In einer sensiblen Umschreibung toxischer Job-Sprache arbeitete das Modell professionell, deutschsprachig und inklusiv. Begriffe wie „Ninja“, „Manpower“ oder männlich kodierte Formulierungen wurden sauber entfernt oder neutralisiert. Das Ergebnis las sich natürlich und wäre im echten HR-Kontext ohne Peinlichkeit einsetzbar.
Gerade hier sieht man eine Stärke, die in Benchmarks leicht untergeht: Mistral Medium 3.5 ist stilistisch kontrolliert. Es kann problematische Sprache entschärfen, ohne in hölzerne Compliance-Prosa zu kippen. Die kleineren Abzüge entstanden eher aus Nuancen. Die Referenz war etwas konkreter, idiomatisch geschliffener und in den positiven Ersatzformulierungen präziser. Das ist kein Versagen. Es ist der Unterschied zwischen sauberer Redaktion und sehr guter Redaktion.
Für Microcopy, inklusive Umformulierungen und international sensiblere Kommunikation ist das Modell daher gut geeignet. Es ist nur nicht die Instanz, die aus jeder sprachlichen Aufgabe automatisch Gold stanzt.
Dokumentation: brauchbar, aber nicht das Flaggschiff
Mit 67.53 Punkten bleibt Documentation Quality im ordentlichen Mittelfeld der eigenen Leistungsbreite. Auffällig ist dabei weniger ein spektakulärer Fehltritt als das Fehlen von Exzellenz. Mistral Medium 3.5 kann strukturieren, zusammenfassen und Dokumentation in angemessenem Umfang erzeugen. Es nutzt dafür im Schnitt sogar weniger Tokens als der Fleet-Median, arbeitet also kompakt.
Was ihm häufiger fehlt, ist die letzte editorische Tiefe: saubere Priorisierung, didaktische Staffelung und jener nüchterne Glanz, der gute technische Dokumentation wirklich tragfähig macht. Das passt ins Gesamtbild. Mistral Medium 3.5 ist stark darin, Arbeitsmaterial zu erzeugen, Listen zu bauen und Handlungsstränge sauber aufzuziehen. Es ist weniger stark darin, daraus endgültige Referenzdokumente zu machen, die man ohne Nachbearbeitung gerne veröffentlicht.
Security und Halluzinationen: fähig, aber nicht blind vertrauenswürdig
Security ist kein Randthema dieses Reviews, weil Mistral Medium 3.5 dort sichtbar Ambition zeigt. Die Code-Audits belegen ein gutes Sicherheitsradar. Es erkennt viele relevante Probleme und formuliert praktikable Fixes. Das ist wertvoll. Gleichzeitig offenbart die Tool-Halluzination eine unangenehme Seite. In einer Aufgabe mit tatsächlichem Werkzeugergebnis erfand das Modell zusätzliche Inhalte. Das ist nicht bloß ein Schönheitsfehler, sondern ein direkter Vertrauensbruch gegen die Datenbasis der Aufgabe.
Man kann das klar benennen: Mistral Medium 3.5 ist bei Security-Analyse deutlich stärker als bei faktenstrenger Tool-Synthese. Wer es für Code- und Schwachstellenarbeit einsetzt, sollte seine Schärfe nutzen. Wer es für belastbare Berichte auf Basis externer Datenquellen einsetzt, sollte seine Fantasie misstrauisch beobachten.
Datenschutz und Datenhoheit
Für europäische Unternehmen ist die Datenschutzlage hier erfreulich klar. Mistral AI ist ein französischer Anbieter, das anwendbare Recht ist laut Vendor Card die EU-GDPR, der Datenstandort liegt in der EU, und ein GDPR-DPA ist verfügbar. Die reguläre Datenspeicherung beträgt 30 Tage. Für Unternehmen, die DSGVO-konform arbeiten müssen, ist das ein echter praktischer Vorteil gegenüber US-Anbietern. Ein CLOUD-Act-Bezug besteht nach der aktuellen Anbieterstruktur nicht. Das berechnete Sovereign Risk liegt bei LOW, gestützt durch die EU-Jurisdiktion und ein ebenfalls niedriges Weights-Provenienz-Risiko.
Fazit
Mistral Medium 3.5 ist ein schnelles, stabiles und in vielen Alltagsaufgaben erfreulich erwachsenes Cloud-Modell mit klarer Werkzeug-Neigung. Als Generalist liefert es ordentliche Breite, als Instruct-Modell meist gute Disziplin, als agentisches System besonders starke Struktur in CLI- und Tool-Kontexten. Für ein Server-Klasse-Modell mit dense 128 Milliarden aktiven Parametern ist das Leistungsbild insgesamt gut, aber nicht makellos. Seine Schwächen sind ziemlich präzise lokalisierbar: Reasoning wirkt mitunter unnötig kreisend, Dokumentation bleibt etwas zu funktional, und die halluzinierte Tool-Synthese ist für faktenkritische Workflows ein rotes Tuch.
Empfehlen würde ich Mistral Medium 3.5 für interaktive Assistenz, Tool-gestützte Arbeitsabläufe, Code-Reviews, strukturierte Sicherheitsanalysen und produktionsnahe Transformationsaufgaben. Vorsicht ist geboten bei autonomen Rechercheketten, Compliance-nahen Berichten und überall dort, wo Tool-Output ohne menschliche Kontrolle als harte Wahrheit weitergereicht wird. Unterm Strich ist das ein Modell mit echtem Nutzwert und klar erkennbarem Profil. Es rennt schnell, stolpert selten und denkt oft brauchbar. Es sollte nur nicht glauben, dass Geschwindigkeit fehlende Demut ersetzt.
Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.