Mistral 3 Large

Mit einem Gesamtscore von 72,27 % zeigt Mistral 3 Large das Profil eines erwachsenen Allrounders: kein Blender, kein Spezialist, sondern ein Frontier-Generalist, der vieles ordentlich kann und sich an einigen entscheidenden Stellen selbst den Fuß stellt. Der Speed-Profile-Badge „Real-Time Tool Expert“ passt nur zur Hälfte. Echtzeit liefert das Modell, bei tool-nahen Wahrheitsfragen aber nicht immer die Wahrheit. Als kommerzielles Cloud-Modell von Mistral AI spielt es in der Frontier-Klasse, obwohl seine MoE-Architektur effektiv nur 41 Milliarden aktive Parameter pro Token mobilisiert, nicht die oft zitierten 675 Milliarden Gesamtparameter. Das erklärt manches: viel Breite, nicht immer maximale Tiefe. Sovereign Risk: LOW — französischer Anbieter, EU-Jurisdiktion, EU-Datenhaltung und offene Apache-2.0-Gewichte ohne proprietären Lock-in.

Kopfnoten: Stabilität und Zuverlässigkeit

Diese Kopfnoten sind besser, als der Markt sie vielen großen Cloud-Modellen gönnt. 0 von 43 Timeouts sind bei einem kommerziellen API-Modell keine Nebensache, sondern ein echtes Qualitätsmerkmal. Wer Mistral 3 Large in Automationen, Redaktions-Workflows oder Assistenzketten einspannt, bekommt hier keine Diva, sondern einen Endpunkt, der seine Arbeit macht. Die P95-Antwortzeit von 46,88 Sekunden ist allerdings der Preis für diese Ernsthaftigkeit. In fünf Prozent aller Anfragen wartet der Nutzer also fast 47 Sekunden oder länger. Das ist für interaktive Arbeit noch tragbar, aber weit entfernt von dem Gefühl, dass das Modell einem gedanklich am Schreibtisch gegenübersitzt.

Architektur und Charakter: Generalist mit Augen und langem Atem

Die Metadaten General, Vision-Capable, Long-Context sind bei diesem Modell keine Dekoration, sondern der richtige Bewertungsrahmen. Mistral 3 Large ist ein Generalist, also kein auf Code oder formales Reasoning verengter Spezialmotor. Man muss ihn deshalb über die gesamte Breite beurteilen: Textarbeit, Logik, Struktur, Sicherheitsdenken, Instruktionsdisziplin. Zugleich ist es vision-fähig und auf 256K Kontext ausgelegt. Das ist wichtig, weil ein reiner Text-Benchmark nur einen Ausschnitt seiner möglichen Leistung zeigt. Wer Bilder, Screenshots, PDFs oder sehr lange Dokumentstränge verarbeiten will, kauft hier ein anderes Werkzeug als bei einem schlichten Chat-Modell.

Ebenso wichtig ist die Architekturfrage. Mistral 3 Large ist ein Mixture-of-Experts-Modell. Das heißt: Es trägt nominell 675 Milliarden Parameter, aktiviert pro Token aber nur 41 Milliarden. Für Leser ohne ML-Hintergrund: Das Modell ist weniger ein riesiger Monolith als ein Team aus Spezialisten, von denen pro Antwort jeweils nur ein Teil arbeitet. Das sorgt oft für gute Effizienz und hohe thematische Breite, relativiert aber auch die Erwartung, dass hier in jeder Einzeldisziplin die rohe Wucht eines voll aktiven Frontier-Dense-Modells antritt. Genau dieses Bild zeigt der Benchmark: breit kompetent, oft schnell, aber nicht unerbittlich präzise.

Der Trainings-Cutoff 2024-12 ist frisch genug, um im aktuellen Wissensraum nicht alt auszusehen. Für Dokumentarbeit, Assistenz, Analyse und längere Kontexte ist das ein seriöses Fundament. Man merkt dem Modell an, dass es in erwachsenen Workflows zuhause sein will. Man merkt ihm aber auch an, dass „kann viel“ nicht dasselbe ist wie „macht nichts falsch“.

Performance, Tempo und Kosten

Die nackte Generierungsgeschwindigkeit beträgt 59,46 Tokens pro Sekunde. In einem lokalen Setup würde so ein Wert wenig aussagen; hier, in der Hersteller-Cloud, ist er als API-Profil relevant. Zusammen mit dem Speed-Badge „Real-Time Tool Expert“ signalisiert das: Mistral positioniert dieses Modell für interaktive Assistenz und werkzeugnahe Abläufe, also für Szenarien, in denen Antworten zügig eintreffen und in weitere Verarbeitungsschritte einfließen sollen.

Ganz so einfach ist das Bild nicht. Zwar ist die Rohgeschwindigkeit gut, die tatsächliche Nutzererfahrung wird aber vom Tail geprägt, also von den langsamen Ausreißern. Und die liegen mit 46,88 Sekunden P95 eben nicht im Echtzeitgefühl, sondern im Bereich „kurz den Kaffee umrühren“. Das Modell ist schnell genug, um Dialoge nicht zu ersticken, aber langsam genug, dass man es nicht blind als Taktgeber für latenzkritische Agenten-Jobs einplanen sollte.

Preislich arbeitet Mistral 3 Large über die Mistral-AI-API mit 2,0 Dollar pro 1 Million Input-Tokens und 6,0 Dollar pro 1 Million Output-Tokens. Das ist für ein Frontier-Cloud-Modell nicht aus dem Rahmen, aber auch kein Discounter-Angebot. Die gute Nachricht: Das Modell verhält sich token-ökonomisch. Kein Modul schießt über den erwartbaren Verbosity-Rahmen hinaus. Im CLI-Bereich liegt es mit 169 Output-Tokens sogar deutlich unter dem Fleet-Median von 287. In Code Quality, UX, Doku und Content bewegt es sich jeweils nahe am Schnitt. Für den API-Einsatz ist das wichtig, denn Kosten steigen bei Cloud-Modellen proportional mit ausgegebenem Text. Mistral 3 Large redet meist nicht länger als nötig. Das ist ein unterschätztes Qualitätsmerkmal.

Code Quality und Security: stark in der Bestandsaufnahme, schwächer in der Angriffserzählung

Im Modul Code Quality erzielt Mistral 3 Large 78,0 %. Das ist ein guter Wert und passt zum qualitativen Eindruck. Besonders in Sicherheitsanalysen arbeitet das Modell sorgfältig, strukturiert und mit technischem Ernst. In einem Audit-Test identifizierte es 20 Schwachstellen, während der Referenzstandard 19 auflistete. Es erkannte klassische Probleme wie SQL Injection, Klartext-Passwörter, Session Fixation, CSRF, Open Redirect, Path Traversal und unsichere Cookies ebenso wie anspruchsvollere Themen wie Type Juggling, schwache Token-Generierung, Timing-Angriffe oder Mail-Header-Injection. Das ist kein oberflächliches Buzzword-Bingo, sondern eine belastbare Bestandsaufnahme.

Lob verdient auch die Qualität der konkreten Fix-Vorschläge. Empfehlungen wie vorbereitete SQL-Statements, password_hash(), password_verify(), hash_equals() oder kryptografisch saubere Token-Generierung sind praxisnah und nicht bloß dekoratives Namedropping. Viele Modelle benennen Fehler korrekt und werden dann bei den Reparaturen schwammig. Mistral 3 Large macht das besser. Es will nicht nur klug wirken, sondern nützlich sein.

Die Schwäche liegt dort, wo Security für Entscheider und Incident-Teams erst wirklich gefährlich wird: bei der Verkettung von Schwachstellen. In den Protokollen wird ausdrücklich kritisiert, dass das Modell zwar einzelne Lücken sauber findet, aber die Exploitation Chain nicht stark genug erzählt. Anders gesagt: Es erkennt die losen Drähte, zeigt aber nicht mit derselben Wucht, wie daraus der Kabelbrand wird. Hinzu kommt ein konkreter blinder Fleck: eine fehlende separate Benennung unsicherer Datenbank-Credentials inklusive Root-Privilegien. Für ein Modell dieser Klasse ist das keine Katastrophe, aber eben auch kein Kavaliersdelikt.

Wer Mistral 3 Large für Code Reviews, Sicherheits-Checklisten oder Erstanalysen nutzt, bekommt einen brauchbaren Auditor mit guter Trefferquote. Wer von ihm hingegen eine erstklassige Angreiferperspektive erwartet, also das narrative Durchdringen komplexer Eskalationspfade, merkt die Grenze des Generalisten. Es ist eher ein gewissenhafter Prüfer als ein paranoider Red-Teamer. Das ist ein Unterschied, der in der Praxis sehr teuer werden kann.

Reasoning und Logik: korrekt, ordentlich, manchmal ohne den letzten Glanz

Im Bereich Logical Reasoning kommt Mistral 3 Large auf 69,5 %. Das ist solide, aber nicht einschüchternd. Die qualitativen Protokolle zeigen ein Modell, das logische Aufgaben inhaltlich oft korrekt löst und seine Schritte sauber erklärt, dem aber gelegentlich die elegante Verdichtung fehlt. Beim klassischen Wächter-Rätsel etwa fand es die richtige Lösung, strukturierte die Erklärung ordentlich in mehreren Abschnitten und verglich direkte mit indirekten Ansätzen. Das ist gute Arbeit. Was fehlte, war die begriffliche Schärfe des Referenzstandards, etwa die explizite Einordnung als Doppel-Inversion und die didaktische Kraft visueller Hilfen.

Das ist typisch für Mistral 3 Large in diesem Benchmark: Es denkt nicht wirr, sondern meist nachvollziehbar. Aber es ist nicht immer der Autor, der aus einer richtigen Lösung auch die beste Erklärung macht. Gerade bei Logikaufgaben ist das relevant, weil Nutzer nicht nur Antworten wollen, sondern Vertrauen. Ein Modell, das den Mechanismus glasklar macht, wirkt nicht nur besser, es ist besser.

Metakognitions-Compliance (Reasoning): Das Modell verweigert in 3/5 metacog-Tests die Nutzung der explizit angeforderten <thought>-Tags mit einer konsistenten Policy-Aussage. Die Reasoning-Inhalte sind dabei inhaltlich teilweise korrekt — der Score-Abzug resultiert aus der Format-Verweigerung, nicht aus Denkfehlern. Zum Vergleich: In den Tag-freien reasoning_5*-Tests erzielt das Modell einen Durchschnittsscore von ca. 69,5 %, was dem Niveau anderer Modelle entspricht. CrucibleMark bewertet bewusst die native Zero-Shot-Instruktions-Compliance als reales Alltagsmerkmal — dieser Abzug ist methodisch gewollt.

Dieser Befund ist wichtiger, als er auf den ersten Blick klingt. Für Anwender in Agenten- oder Workflow-Systemen bedeutet er: Mistral 3 Large kann inhaltlich auf dem richtigen Weg sein und dennoch an einer scheinbar banalen Formatvorgabe scheitern. Das ist kein philosophisches Problem, sondern ein Produktproblem. Wer strukturierte Ausgaben fordert, will strukturierte Ausgaben. Punkt.

Content Transformation: kreativ genug, aber das Wortlimit ist nicht verhandelbar

Im Modul Content Transformation & Adaption landet Mistral 3 Large bei 71,13 %. Der qualitative Eindruck ist zweigeteilt. Auf der starken Seite steht die Fähigkeit, aus Rohmaterial brauchbare, publikationsfähige Formate zu machen. Ein Video-Skript zu 2FA lieferte das Modell vollständig auf Deutsch, mit Zeitmarken, gesprochenem Tonfall, Screen-Anmerkungen, Produktionshinweisen und Easter Egg. Das war nicht maximal raffiniert, aber funktional und einsatznah. Der Judge beschreibt es treffend als produktionsreif, wenn auch weniger dramaturgisch präzise als der Referenzstandard.

Die schwache Seite ist härter, weil sie nicht nach Geschmack riecht, sondern nach Regelverstoß. In zwei Aufgaben dieses Moduls überschritt das Modell explizite Wortlimits und kassierte dafür automatische Strafen. Das ist kein Schönheitsfehler, sondern eine systemische Schwäche bei simultanen Vorgaben aus Inhalt, Format und Länge.

Das Längenproblem ist kein isolierter Ausreißer. Über mehrere Aufgaben im Content-Transformation-Bereich zeigt das Modell ein konsistentes Muster: Bei simultanen Vorgaben aus Sprache, Länge und Format verliert es das Wortlimit als erste Bedingung. Konkret betraf das unter anderem eine Videoskript-Aufgabe mit fester Obergrenze sowie eine weitere Transformationsaufgabe mit deutlich engerem Längenrahmen. Wer das Modell für redaktionelle oder marketingnahe Produktionen mit präzisen Zeichenvorgaben einsetzt, sollte das nicht übersehen.

In einer Aufgabe im Content-Transformation-Bereich überschritt das Modell die explizite Wortvorgabe von 250 Wörtern um 72 %. Das System verhängte einen automatischen Abzug von 12,80 Punkten beziehungsweise 20 %. Die inhaltliche Qualität der Antwort ist damit irrelevant. Die Strafe greift unabhängig davon.

In einer weiteren Aufgabe im Content-Transformation-Bereich überschritt das Modell die explizite Wortvorgabe von 900 Wörtern um 26 %. Das System verhängte einen automatischen Abzug von 17,60 Punkten beziehungsweise 20 %. Auch hier gilt: Ob die Antwort gut war, spielt für den Malus keine Rolle. Wer das Limit reißt, verliert.

Das ist die Stelle, an der Mistral 3 Large den Autor in sich nicht immer vom Auftraggeber trennen kann. Es schreibt gern noch den einen Absatz mehr. Für freie Textarbeit ist das oft angenehm. Für Produktionsketten mit starren Limits ist es ein echter Defekt.

Documentation Quality: kompetent, aber nicht herausragend

Mit 70,74 % in Documentation Quality zeigt Mistral 3 Large eine der typischsten Frontier-Generalisten-Leistungen dieses Benchmarks: gut genug für den Alltag, nicht scharf genug für den Sonderstatus. Das Modell kann strukturieren, erklären, ordnen und längere Ausgaben im Rahmen seines 256K-Kontextfensters sauber tragen. Gerade für Dokument-Workflows ist dieser lange Atem ein echter Mehrwert. Handbücher, umfangreiche Briefings, Quelltext plus Spezifikation oder verstreute Anforderungen lassen sich damit in einem Rutsch zusammendenken, ohne dass das Modell sofort den Faden verliert.

Was fehlt, ist die letzte editoriale Souveränität. Mistral 3 Large dokumentiert meist brauchbar, aber nicht immer mit jener Klarheit, die aus Information Orientierung macht. Es ist eher ein solider Fachautor als ein brillanter Informationsarchitekt. Das klingt höflich und ist als Urteil gemeint.

UX Writing und Cultural Intelligence: höflich, sprachlich sauber, nicht immer maximal präzise

Im Modul UX Writing & Microcopy erreicht das Modell 73,65 %. Das deutet auf ordentliche Benutzertext-Kompetenz hin, ohne in die Liga der Modelle vorzustoßen, die Mikrotexte wirklich mit chirurgischer Präzision setzen. Mistral 3 Large schreibt in der Regel sauber, verständlich und ohne grobe Fehlgriffe. Seine leichte Tendenz zu etwas ausführlicheren, erklärenden Formulierungen kann im Produktkontext allerdings zum Problem werden, wenn Kürze selbst Teil der Aufgabe ist.

Spannend ist der Blick auf Cultural Intelligence, wo das Modell auf 65,32 % fällt. Das ist kein Absturz, aber ein sichtbarer Dämpfer. Ein vorliegendes Protokoll zur inklusiven Umschreibung einer toxischen Stellenanzeige zeigt gut, warum. Mistral 3 Large entfernt problematische Begriffe sauber, formuliert professionell und hält die deutsche Sprache stabil. Es verfehlt aber an einzelnen Stellen die präzise Entsprechung. Aus „manly courage“ wird keine explizite, genderneutrale Kompetenz wie „Mut“, sondern eine weichere allgemeine Positivformel. Das Ergebnis ist brauchbar und zivilisiert, aber weniger treffsicher als der Referenztext.

Der Unterschied ist subtil und zugleich entscheidend. Gute Cultural Intelligence heißt nicht nur, Beleidigungen zu entfernen oder neutraler zu formulieren. Sie heißt, die soziale Funktion eines problematischen Ausdrucks präzise zu erkennen und in einen professionellen, fairen Ersatz zu überführen. Mistral 3 Large schafft die Bereinigung. Die feinere kulturelle Übersetzung gelingt ihm nicht immer mit maximaler Präzision.

CLI und Tool-Nähe: effizient im Format, riskant im Wahrheitsgehalt

Im CLI Benchmark kommt Mistral 3 Large auf 82,78 %. Das ist ein starkes Resultat und passt gut zum schlanken Token-Profil in diesem Bereich. Das Modell formuliert kompakt, trifft oft den Arbeitsmodus technischer Nutzer und verschwendet keine Luft. Für shell-nahe Aufgaben, Befehlsvorschläge und operative Kurzantworten ist das ein echtes Pfund.

Problematisch wird es beim Blick auf die ToolUse-Subscores. Der reine Tool-Execution-Wert liegt zwar bei 90,0 %, der ToolUse Score aber nur bei 30,0 %, die Synthesis Quality bei 59,71 %. Das ist kein Messrauschen, sondern ein Alarmsignal. Es bedeutet: Das Modell kann in tool-artigen Szenarien offenbar formal funktionieren, halluziniert aber bei der inhaltlichen Weiterverarbeitung zu oft.

Halluzinationen: die eigentliche Sollbruchstelle

Hier liegt die härteste Kritik an Mistral 3 Large. In vier ToolUse-Aufgaben wurden Halluzinationen explizit erkannt: Das Modell generierte Inhalte, die nicht aus dem abgerufenen Tool-Ergebnis stammten, sondern erfunden waren. Der Judge begrenzte den Score in diesen Fällen per Halluzinations-Cap. Für content-kritische Aufgaben wie Recherche, Faktenberichte oder agentische Zusammenfassungen ist das nicht bloß ein Schönheitsfehler, sondern ein disqualifizierendes Signal.

Entscheidend ist der Kontext. Diese Fehler traten nicht in freier Kreativarbeit auf, wo erfundene Ausschmückung lästig, aber erwartbar sein kann. Sie traten in Aufgaben auf, in denen ein Modell an konkrete externe Ergebnisse gebunden sein sollte. Dort ist Halluzination kein Stilbruch, sondern Vertragsbruch. Ein Tool-gestütztes Modell, das seine Quelle ergänzt, als wäre sie nur ein Schreibimpuls, sägt am Fundament jeder verlässlichen Automatisierung.

Damit bekommt auch der Speed-Badge „Real-Time Tool Expert“ einen bitteren Beigeschmack. Ja, Mistral 3 Large ist schnell genug für werkzeugnahe Abläufe. Aber ein Tool-Experte, der sich Ergebnisse dazudichtet, ist wie ein Navigator, der bei schlechtem GPS einfach die Straße erfindet. Bis zur ersten Ausfahrt klingt das plausibel.

Datenschutz und Datenhoheit

Für europäische Nutzer ist Mistral 3 Large in der getesteten Mistral-AI-Cloud datenschutzrechtlich deutlich angenehmer positioniert als viele US- oder China-Angebote. Der Anbieter sitzt in Paris, Frankreich, unterliegt EU-Recht und der DSGVO, speichert Daten laut Provider-Card in der EU und nennt eine Aufbewahrungsdauer von 30 Tagen. Ein GDPR-DPA ist verfügbar, was für Unternehmen mit formalen Compliance-Anforderungen kein Detail, sondern Voraussetzung ist.

Das berechnete Sovereign Risk liegt bei LOW. Die Begründung ist schlüssig: europäischer Anbieter, EU-Jurisdiktion und offene Gewichte unter Apache 2.0. Das senkt sowohl den proprietären Lock-in als auch die rechtliche Unsicherheit. Ein CLOUD-Act-Bezug besteht nach der aktuellen Anbieterstruktur nicht. Für deutsche und europäische Unternehmen heißt das: Mistral ist auf der Governance-Seite kein Freifahrtschein, aber ein merklich vernünftigerer Vertragspartner als viele außereuropäische Alternativen.

Auch das Weights-Provenienz-Risiko ist mit LOW bewertet. Das ist hier relevant, weil offene Gewichte und Cloud-Betrieb oft auseinanderfallen können. Bei Mistral fällt diese Schere deutlich kleiner aus. Herkunft der Gewichte, Anbieterstruktur und Rechtsraum ziehen in dieselbe Richtung. Das ist selten genug, um es ausdrücklich zu würdigen.

Fazit

Mistral 3 Large ist ein ernsthafter Frontier-Generalist mit Vision-Fähigkeit, 256K Kontext, offener Apache-2.0-Gewichtsbasis und einem für europäische Nutzer ungewöhnlich guten Souveränitätsprofil. Im Benchmark zeigt es gute Code- und Dokumentkompetenz, brauchbares Reasoning, starke CLI-Nähe und saubere operative Stabilität ohne Timeouts. Seine Schwächen sind aber nicht kosmetisch. Es reißt wiederholt Wortlimits, verweigert in Teilen formale Metakognitionsvorgaben und leistet sich vor allem in tool-gestützten Aufgaben Halluzinationen, die für faktenkritische Workflows nicht akzeptabel sind.

Die klare Empfehlung lautet deshalb: gut geeignet für allgemeine Assistenz, längere Dokumentarbeit, Code-Reviews, strukturierte Textproduktion und breit angelegte Analyseaufgaben in der Mistral-Cloud. Nur mit Absicherung geeignet für Agenten-Workflows, Recherchepipelines und alle Prozesse, in denen Tool-Ergebnisse strikt quellentreu weiterverarbeitet werden müssen. Wer ein offenes europäisches Frontier-Modell mit erwachsener Gesamtleistung sucht, findet hier viel Substanz. Wer blindes Vertrauen in tool-nahe Faktentreue braucht, sollte sehr genau hinsehen. Mistral 3 Large ist kein Scharlatan. Aber an seiner schwächsten Stelle ist es eben auch kein Notar.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.