Devstral 2

Mit einem Gesamtscore von 72,47 Prozent zeigt Devstral 2 ziemlich klar, was es sein will: kein charmantes Universalgenie, sondern ein ernsthaftes Arbeitsmodell für Software-Aufgaben. Das passt zur kuratierten Einordnung als Coding-Modell, zur Frontier-Klasse und zur dichten 123B-Architektur, bei der die volle Modellkapazität pro Anfrage aktiv ist. Der Speed-Profile-Badge Interactive DevOps Expert trifft den Charakter gut: Devstral 2 antwortet mit 56,23 Tokens pro Sekunde schnell genug für interaktive Technik-Workflows, ohne in die hektische Kurzform mancher Autocomplete-Sprinter zu verfallen. Sovereign Risk: LOW — Mistral AI ist ein französischer Anbieter unter EU-Recht, mit EU-Datenhaltung und ohne CLOUD-Act-Bezug nach aktueller Anbieterstruktur.

Kopfnoten: Stabilität und Zuverlässigkeit

Der erste Eindruck ist also zweigeteilt. Einerseits keine Ausfälle über den gesamten Lauf. Das ist bei einem kommerziellen Cloud-Modell aus der Mistral-AI-Cloud mehr als nur Statistik, es ist ein Vertrauenssignal. Andererseits zieht die Tail-Latenz die Handbremse. In fünf Prozent aller Anfragen wartete man fast anderthalb Minuten. Für Einzelaufgaben ist das erträglich. In agentischen Ketten, in denen mehrere Schritte seriell laufen, wird aus dieser Streuung schnell echter Produktivitätsverlust.

Architektur-Fit: Coder, agentisch, langes Gedächtnis

Devstral 2 wurde vorab als Coder, Agentic, Long-Context eingeordnet. Genau an diesem Raster sollte man es messen, nicht an der Erwartung, dass es auch noch nebenbei der beste Werbetexter im Raum ist.

Als Coding-Spezialist liefert es in den technischen Modulen brauchbar bis stark ab. Der Code-Quality-Wert von 67,84 Prozent ist kein Triumphzug, aber klar oberhalb des Niveaus, auf dem ein Modell nur Muster nachahmt. Im CLI-Benchmark mit 80,34 Prozent zeigt sich die eigentliche Praxisnähe: Devstral 2 formuliert technische Schritte, Shell-nahe Anweisungen und operative Abläufe robust genug, dass man nicht bei jeder zweiten Antwort den Schraubenschlüssel wieder aus der Hand legen muss.

Die agentische Seite ist spürbar, aber nicht spektakulär. Devstral 2 strukturiert Aufgaben ordentlich, zerlegt Probleme sinnvoll und bleibt bei mehrstufigen Anforderungen meist auf Kurs. Was ihm fehlt, ist die strategische Wucht der ganz großen Orchestratoren. Die Planung stimmt. Die letzte Schicht Tiefenschärfe fehlt manchmal.

Der Long-Context-Anspruch mit 256K Kontextfenster bleibt in diesem Benchmark naturgemäß nur indirekt sichtbar, weil CrucibleMark keine Romanlänge simuliert, sondern modulare Aufgabenqualität misst. Für die Einordnung ist die Zahl trotzdem wichtig: Devstral 2 ist ausdrücklich für große Codebasen, Multi-File-Änderungen und längere technische Sitzungen positioniert. Das Review hier sagt also mehr über seine Entscheidungsgüte unter Benchmark-Druck als über sein Maximum bei gigantischen Projektkontexten.

Performance und Kostenprofil

Für ein kommerziell nutzbares Cloud-Modell mit offenen Gewichten ist Devstral 2 überraschend vernünftig bepreist: 0,4 US-Dollar pro eine Million Input-Tokens, 2,0 US-Dollar pro eine Million Output-Tokens. Im Benchmark ergibt das 0,0981 US-Dollar pro vollständigem Lauf. Das ist für die Frontier-Klasse kein Ausrutscher nach oben, sondern eher ein diszipliniertes Angebot.

Der Badge Interactive DevOps Expert ist hier mehr als Etikett. Er signalisiert ein Modell, das eher auf dialogische Technikarbeit als auf massenhafte Offline-Verarbeitung ausgelegt ist. Die gemessenen 56,23 Tokens pro Sekunde stützen das. Devstral 2 fühlt sich nicht wie ein Batch-Schiff an, das langsam anlaufen muss. Es ist interaktiv genug für Debugging, Audit-Kommentare, Refactoring-Vorschläge und Shell-nahe Assistenz. Was stört, sind nicht die Rohdaten der Generierung, sondern die Ausreißer am Ende der Verteilung.

Positiv ist die Token-Ökonomie. Kein Modul überschreitet den erwarteten Verbosity-Rahmen. Im Gegenteil: Devstral 2 bleibt in allen gemessenen Bereichen unter oder nahe dem Fleet-Median. Das ist in der Cloud kein Schönheitsdetail, sondern bares Geld. Ein Modell, das denselben Job mit weniger Ausgabetext erledigt, schont Budget und Geduld zugleich.

Code Quality: technisch wach, sicherheitlich nicht scharf genug

Die wichtigste Frage bei einem Coding-Modell lautet nicht, ob es hübsche Tabellen schreiben kann. Sie lautet, ob es in echtem Quelltext die gefährlichen Dinge sieht, sauber priorisiert und vernünftige Fixes liefert. Hier fällt Devstral 2 ordentlich, aber nicht kompromisslos aus.

Im Security-Audit einer PHP-Codebasis identifiziert das Modell 15 Schwachstellen, während der Goldstandard 19 aufführt. Das ist kein kosmetischer Abstand, sondern ein Loch in der Sicherheitsdecke. Besonders heikel ist, dass Devstral 2 bei den SQL-Injection-Pfaden nicht vollständig trennt und einzelne kritische Vektoren nicht sauber als eigenständige Probleme ausweist. Dazu kommen Lücken bei hartkodierten Secrets, offengelegten Datenbank-Zugangsdaten und der fehlenden Ablaufzeit für Reset-Tokens. Das sind keine exotischen Spitzfindigkeiten. Das ist das Zeug, aus dem echte Incidents gebaut werden.

Auch qualitativ zeigt sich ein Muster: Devstral 2 erkennt den offensichtlichen Schaden, aber nicht immer die Angriffskette. Beim Thema IDOR, also unzureichend kontrollierte Objektzugriffe, fehlt die vollständige Eskalationslogik bis zur möglichen Kontoübernahme. Beim losen Vergleich eines API-Keys benennt das Modell den Fehler, aber nicht die eigentliche PHP-Falle mit Type Juggling, Timing-Aspekten und der saubereren Abhilfe via hash_equals(). Das ist der Unterschied zwischen „Problem gesehen“ und „Problem wirklich verstanden“.

Trotzdem wäre es unfair, den Befund schlechter zu machen, als er ist. Die Antworten sind strukturiert, präzise formatiert und auf Deutsch sauber formuliert. Für einen ersten Sicherheitsdurchgang taugt Devstral 2. Für einen finalen Audit-Bericht ohne menschliche Nachkontrolle taugt es gerade deshalb nicht. Es sieht zu viel, um nutzlos zu sein, und zu wenig, um allein gelassen zu werden. Das ist eine gefährliche Zwischenlage.

CLI und operative Technikarbeit: die stärkste Alltagsdisziplin

Der CLI-Wert von 80,34 Prozent ist für dieses Modell fast schon programmatisch. Hier wirkt Devstral 2 am natürlichsten. Das passt zur Produktidee eines Code-Agenten, der nicht nur Funktionen ausspuckt, sondern technische Arbeitsschritte in nachvollziehbare Sequenzen gießt.

Wo andere Modelle bei Shell-Aufgaben entweder in sturer Kürze erstarren oder in Handbuch-Prosa ausufern, bleibt Devstral 2 zweckmäßig. Es formuliert Schritte knapp genug für operative Nutzung und ausführlich genug, um nicht wie ein schlecht gelaunter Terminal-Hinweis zu klingen. Gerade in DevOps-nahen Abläufen ist das wertvoll. Der Nutzer braucht nicht bloß korrekte Syntax, sondern auch einen Plan, der in der Realität nicht beim zweiten Befehl implodiert.

Man sieht hier auch die agentische Komponente in ihrer brauchbaren Form. Devstral 2 denkt in Ablaufketten, nicht nur in isolierten Antworten. Es ist kein großer Stratege, aber ein brauchbarer Einsatzleiter für die kleine technische Schicht.

Reasoning und Logik: korrekt, nüchtern, nicht tief genug für Glanz

Mit 72,87 Prozent im logischen Reasoning ist Devstral 2 besser, als man einem reinen Coding-Modell reflexhaft zutrauen würde. Der Richter lobt in einer klassischen Wächter-Aufgabe die korrekte Lösung, saubere Fallunterscheidung und effiziente Argumentation. Das Modell prüft mehrere Ansätze, verwirft ungeeignete Strategien und landet beim richtigen Meta-Fragetyp. Das ist solide Denkarbeit.

Was fehlt, ist intellektuelle Großzügigkeit. Der Goldstandard liefert zusätzliche Perspektiven, Visualisierung, Mechanik-Erklärung und didaktische Tiefe. Devstral 2 löst die Aufgabe, aber es baut keinen Lehrmoment darum herum. Es ist der Ingenieur, der die Brücke korrekt hinstellt, nicht der Professor, der Ihnen nebenbei noch Statik beibringt.

Für die Klassifikation ist das ein fairer Befund. Devstral 2 ist kein Thinking-Modell mit fest verdrahteter Kette aus ausführlichem Schlussfolgern. Es ist ein Instruction-Following-System mit technischem Schwerpunkt. Gemessen daran ist die Logikleistung respektabel. Wer aber maximale Analysebreite oder originelle Alternativpfade will, wird anderswo glücklicher.

Documentation Quality und Content Transformation: besser als das Etikett vermuten lässt

Gerade spezialisierte Code-Modelle wirken außerhalb ihres Kerngebiets oft wie ein guter Elektriker auf einer Vernissage. Man respektiert die Kompetenz, aber man möchte ihn nicht die Einladungstexte schreiben lassen. Devstral 2 überrascht hier positiv.

In Content Transformation & Adaption erreicht es 80,3 Prozent. Das ist kein Zufallstreffer. In der protokollierten Aufgabe produziert es ein vollständig nutzbares deutsches Videoskript inklusive Zeitmarken, Screen-Annotations, B-Roll-Hinweisen, Musik-Cues und Call-to-Action. Der Richter moniert zu Recht die unrealistisch verdichtete Laufzeit und eine etwas flache Analyse des Ausgangsmaterials. Aber das Grundurteil ist klar: Das Ergebnis ist produktionsnah und praktisch verwertbar.

Gerade dieser Befund ist für ein Coding-Modell interessant. Devstral 2 schreibt nicht elegant um des Schreibens willen, sondern funktional. Es erzeugt Arbeitsdokumente. Das ist eine andere Tugend als literarische Finesse, im Berufsalltag aber oft die wertvollere.

Auch in der Documentation Quality mit 70,21 Prozent zeigt sich diese Handschrift. Keine Spitzenklasse, aber ein brauchbares Niveau für technische Dokumentation, Schrittfolgen und transformationsnahe Texte. Wer Marketingpoesie will, sollte weitergehen. Wer verwertbare Artefakte will, bleibt stehen.

UX Writing und Cultural Intelligence: brauchbar, aber nicht seine große Bühne

Mit 72,49 Prozent im UX Writing und 67,2 Prozent in der Cultural Intelligence sieht man die Grenze der Spezialisierung. Devstral 2 ist hier nicht schlecht. Es ist nur nicht besonders inspiriert.

Das UX-Protokoll zeigt eine formal saubere Bearbeitung mit korrekter Tabellenstruktur, knappen Schritten und sinnvoller Progression. Gleichzeitig bleibt der Stil etwas mechanisch. Das ist nicht katastrophal. Es ist nur die Stimme eines Modells, das eher an Abläufe als an Zwischentöne denkt.

In der kulturell sensiblen Umschreibung einer toxischen Stellenanzeige liefert Devstral 2 eine vollständig deutsche, professionelle und inklusive Fassung. Es entfernt problematische Begriffe, vermeidet gendercodierte Sprache und hält die Formatvorgaben ein. Der Richter merkt aber an, dass die Lösung etwas generischer wirkt als der Goldstandard, etwa bei der semantischen Umdeutung von „Manpower“ oder beim Reframing des „work-hard-play-hard“-Tons. Das ist eine treffende Diagnose. Devstral 2 säubert zuverlässig, aber nicht mit feiner Klinge.

Für ein auf Coding optimiertes Modell ist das kein Makel, den man dramatisieren sollte. Es ist schlicht kein Modell, das kulturelle Nuancen mit besonderer Freude ausleuchtet. Es macht den Job. Es singt nicht.

Sicherheit, Halluzinationen und Vertrauensprofil

Die Sicherheitsleistung ist, wie oben beschrieben, ambivalent. Devstral 2 erkennt viele Schwachstellen und formuliert oft plausible Fixes. Gleichzeitig fehlt ihm an mehreren Stellen die letzte Explosionszeichnung des Problems: Angriffsketten, versteckte Sekundärrisiken, präzise Priorisierung. Für Security-Reviews heißt das praktisch: als Assistent brauchbar, als Prüfinstanz allein nicht belastbar.

Wichtiger ist, was es nicht tut. Devstral 2 wirkt im vorliegenden Material nicht wie ein Modell, das wild Dinge erfindet, um Kompetenz zu simulieren. Wenn es Lücken hat, dann eher durch Auslassung als durch Fantasie. Das ist die bessere Art von Schwäche. Ein stilles Loch lässt sich finden. Eine überzeugend formulierte Halluzination frisst Teams.

Datenschutz und Datenhoheit

Für europäische Unternehmen ist Devstral 2 in dieser Disziplin fast schon angenehm unspektakulär. Das getestete Modell lief als kommerzielles Cloud-Modell über Mistral AI SAS mit Sitz in Paris. Es gilt EU-Recht inklusive DSGVO, der angegebene Datenstandort ist die EU, und ein GDPR-DPA ist verfügbar. Die reguläre Datenspeicherung beträgt 30 Tage, wobei laut Anbieter für bestimmte Routen auch Zero-Data-Retention möglich sein kann.

Das berechnete Sovereign Risk ist LOW. Das liegt an der Kombination aus französischem Anbieter, EU-Jurisdiktion, EU-Datenhaltung und niedrigem Provenienzrisiko der Gewichte. Für deutsche und europäische Nutzer ist das rechtlich deutlich günstiger als bei US-Anbietern, bei denen der CLOUD Act stets mit am Tisch sitzt. Ganz risikofrei ist Cloud nie. Aber in Sachen Datenhoheit sitzt Devstral 2 auf der richtigen Seite des Spielfelds.

Fazit

Devstral 2 ist ein charakterfestes Modell. Als kommerzielles Cloud-Angebot von Mistral AI bringt es die richtigen Anlagen für technische Praxis mit: gute CLI-Leistung, brauchbares Reasoning, starke Content-Transformation für arbeitsnahe Artefakte und eine insgesamt disziplinierte Token-Ökonomie. Der Gesamtscore von 72,47 Prozent ist kein Ausrufungszeichen, aber ein belastbarer Leistungsnachweis in der Frontier-Klasse.

Sein Problem ist nicht Instabilität. Die gibt es im Test erfreulicherweise nicht. Sein Problem ist Schärfe. In Security- und Code-Audit-Szenarien erkennt Devstral 2 viel, aber nicht alles, und vor allem nicht immer die gefährlichsten Verbindungslinien zwischen einzelnen Befunden. Für Debugging, Refactoring, Codebasis-Exploration, Shell-Hilfe und technische Transformationsaufgaben ist es daher gut geeignet. Für sicherheitskritische Reviews, Compliance-nahe Audits und finale Freigaben sollte immer ein menschlicher Gegencheck folgen. Über alle Tests hinweg keine nennenswerten Halluzinationen — Devstral 2 erfindet eher zu wenig, als sich mit falscher Gewissheit zu blamieren.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.