Zum Inhalt springen
CrucibleMark

Mistral 3 Large

Mistral 3 Large ist das offene Frontier-Modell aus Mistral AIs dritter Generation mit nativem Text- und Bildeingang und einem Kontextfenster von 256.000 Tokens. Die Sparse-MoE-Architektur vereint 675 Milliarden Gesamtparameter mit 41 Milliarden aktiven Parametern pro Token. Unter Apache-2.0-Lizenz verfügbar, aus einem europäischen Anbieter-Umfeld mit DSGVO-Konformität.

Mistral AI Version 3 Kommerzielle Nutzung erlaubt MoE 675 B (41 B aktiv) 256 K Context 12/2024 $0.5 / $1.5 per 1M

  • Open Weights
  • Frontier
  • Mistral AI
  • Text
  • Vision
  • Long Context
  • Real-Time

Sovereign Risk: LOW Mistral AI ist ein französisches Unternehmen und veröffentlicht die Gewichte dieses Modells offen unter Apache 2.0. Damit besteht kein proprietärer Gewichts-Lock-in und die rechtliche Einordnung bleibt im EU-Kontext.

Tool-Use-Profil: 6 Assets im Detail

Vergleich der Asset-Performance (P1/P2/Combined) gegenüber dem Flotten-Durchschnitt

Asset-Performance (Radar)

Score Breakdown vs. Fleet Average

Tool-Use-Details

Asset-Performance, Zuverlässigkeit und Laufzeit-Profil

Name P1 P2 Combined
EU License Research 100 20 52
HTTP Fetch & Extract 80 35 57.5
Tool Failure Handling (404) 80 60 73
Web Search & Tool Selection 100 80 91
URL Construction & Fetch 80 35 57.5
Multilingual Search & Synthesis 100 60 80

CrucibleMark prüft Tool-Use in 6 voneinander unabhängigen Tests. Klicken Sie auf einen Test-Namen für die Details.

Reliability

  • Tool Call Valid: Nein
  • Retry: Nicht erforderlich
  • Halluzination: Erkannt

Reliability misst, wie verlässlich ein Modell Werkzeugaufrufe tatsächlich ausführt: Tool Call Valid Schema und Format akzeptiert, Retry Required erst nach Wiederholung erfolgreich, Halluzination Flag erfundene Tools oder Parameter erkannt. Alle drei grün bedeutet produktionstauglich.

Betriebsprofil

Call 1
11.1
First Request
MCP
1.75
Protocol Latency
Synthesis
9.53
Response Generation
Total
134.31
Sum of All Phases
Token
9061
Input + Output
Cost
$0
Cost per Run

Das Betriebsprofil zeigt die Laufzeit- und Kostenkennzahlen des Modell-Laufs: Call 1 First Request, MCP Protocol Latency, Synthesis Response Generation, Total Summe aller Phasen, erganzt um Token Input und Output sowie Cost Kosten pro Lauf.

Tool-Use-Review

Erstellt am · Long Context

Deployment-Urteil

Bedingt deploy, weil die Tool-Ausführung stark ist, aber die Synthesetreue mit Combined 68.50 und invalidem Tool-Call nicht stabil genug für unbeaufsichtigte MCP-Pipelines ausfällt. Das Modell kann Infrastruktur nutzen, verdient aber kein blindes Vertrauen.

Tool-Execution-Profil

Mistral 3 Large zeigt echte Werkzeugintelligenz statt bloßem Routinenabruf. Beim Test Web Search & Tool Selection, der prüft ob ohne Hinweis web_search statt fetch gewählt wird, arbeitet es sicher und trifft die richtige Entscheidung. Das spricht für brauchbare Planung in dynamischen Tool-Ketten. Beim Test URL Construction & Fetch, der die präzise Ableitung einer Ziel-URL misst, bleibt es brauchbar, aber nicht deterministisch genug. P1 80 ist für Produktion kein Ausfall, zeigt aber, dass aus Weltwissen konstruierte URLs zusätzliche Validierung brauchen.

Das Gesamtbild in P1 90.00 ist klar positiv. Die Schwäche liegt nicht in der grundsätzlichen Bereitschaft, Tools zu nutzen, sondern in der Protokollsauberkeit. Tool-Call valide: false ist für MCP-Betrieb ein Warnsignal. Wenn der Call formal nicht verlässlich parsebar ist, scheitert die Pipeline trotz inhaltlich richtiger Absicht.

Synthesetreue

Wie gut verdichtet es Tool-Ergebnisse? Nur eingeschränkt. P2 30.00 ist der eigentliche Engpass dieses Modells. Es findet Informationen, verdichtet sie aber oft nicht präzise genug in belastbare Endausgaben. Das sieht man besonders bei EU License Research sowie bei HTTP Fetch & Extract und URL Construction & Fetch. Für Product- und Architekturentscheidungen ist genau diese letzte Meile entscheidend.

Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Im Honeypot EU License Research, der prüft ob aktuelle Lizenzrestriktionen aus Web-Quellen statt aus Trainingswissen kommen, halluziniert es nicht. Das ist der positive Teil. Gleichzeitig steht hallucination_flag=true im Gesamtlauf. Das ist kein bloßer Qualitätsmangel, sondern ein Sicherheitsrisiko. Sobald ein Modell erfundene Fakten als Tool-Ergebnisrahmen ausgibt, verliert die gesamte Tool-Infrastruktur ihren Vertrauenswert.

Fehlerresilienz

Beim 404-Test, der transparente Reaktion auf fehlgeschlagene Tool-Calls misst, bleibt das Modell akzeptabel. Es halluziniert keinen Seiteninhalt trotz Fehler und kommuniziert den Fehlschlag erkennbar. P2 60 ist nicht stark, aber produktionsfähig. Für robuste Pipelines ist diese Eigenschaft wichtiger als stilistische Qualität.

Betriebsprofil

Total 134.31s. Call 1 11.10s. MCP-Latenz 1.75s. Call 2 9.53s. Langsam für den erzielten Nutzwert. Kosten/Run: local. Günstig im direkten Run-Kalkül, aber nur wenn die vorhandene Infrastruktur die Frontier-Klasse effizient trägt.

Fazit & Empfehlung

Geeignet für assistierte Research-Pipelines, mehrsprachige Suche und Tool-orientierte Vorstufen, in denen nachgelagerte Validatoren oder ein strikter Orchestrator die Ausgabe prüfen. Nicht geeignet für Compliance-, Vertrags-, Policy- oder andere High-Trust-Pipelines, in denen das Modell Tool-Ergebnisse selbständig korrekt verdichten und formal sauber zurückgeben muss. Wer Mistral 3 Large einsetzt, sollte Schema-Validation, Antwort-Postprocessing und harte Source-Grounding verpflichtend vorschalten.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.