Zum Inhalt springen
CrucibleMark

Mistral Medium 3.5

Mistral Medium 3.5 ist Mistral AIs Frontier-Modell mit Fokus auf agentische Workflows und Coding. Mit 128 Milliarden Parametern arbeitet das Modell bei einem Kontextfenster von 256.000 Tokens und unterstützt multimodale Eingaben für Text und Bild. Als Open-Weights-Modell unter Modified-MIT-Lizenz lokal oder über die Cloud-API nutzbar, aus einem europäischen Anbieter-Umfeld mit DSGVO-Konformität.

Mistral AI Version 3.5 Kommerzielle Nutzung erlaubt Dense 128 B (128 B aktiv) 256 K Context 12/2025 $1.5 / $7.5 per 1M

  • Open Weights
  • Frontier
  • Mistral AI
  • Text
  • Vision
  • Instruction-Tuned
  • Real-Time

Sovereign Risk: LOW Mistral AI ist in Frankreich ansässig. Als EU-Unternehmen unterliegt die Speicherung und der Zugriff auf die Gewichte nicht den US-amerikanischen CLOUD-Act-Bestimmungen oder chinesischen Sicherheitsgesetzen.

Tool-Use-Profil: 6 Assets im Detail

Vergleich der Asset-Performance (P1/P2/Combined) gegenüber dem Flotten-Durchschnitt

Asset-Performance (Radar)

Score Breakdown vs. Fleet Average

Tool-Use-Details

Asset-Performance, Zuverlässigkeit und Laufzeit-Profil

Name P1 P2 Combined
EU License Research 100 40 64
HTTP Fetch & Extract 80 35 57.5
Tool Failure Handling (404) 80 60 73
Web Search & Tool Selection 100 35 70.8
URL Construction & Fetch 80 80 80
Multilingual Search & Synthesis 100 60 80

CrucibleMark prüft Tool-Use in 6 voneinander unabhängigen Tests. Klicken Sie auf einen Test-Namen für die Details.

Reliability

  • Tool Call Valid: Nein
  • Retry: Nicht erforderlich
  • Halluzination: Erkannt

Reliability misst, wie verlässlich ein Modell Werkzeugaufrufe tatsächlich ausführt: Tool Call Valid Schema und Format akzeptiert, Retry Required erst nach Wiederholung erfolgreich, Halluzination Flag erfundene Tools oder Parameter erkannt. Alle drei grün bedeutet produktionstauglich.

Betriebsprofil

Call 1
0.64
First Request
MCP
2.04
Protocol Latency
Synthesis
3.84
Response Generation
Total
39.11
Sum of All Phases
Token
9593
Input + Output
Cost
$0
Cost per Run

Das Betriebsprofil zeigt die Laufzeit- und Kostenkennzahlen des Modell-Laufs: Call 1 First Request, MCP Protocol Latency, Synthesis Response Generation, Total Summe aller Phasen, erganzt um Token Input und Output sowie Cost Kosten pro Lauf.

Tool-Use-Review

Erstellt am · Instruction-Tuned

Deployment-Urteil

Bedingt deploy, weil die Tool-Ausführung stark ist, aber ein invalider Tool-Call und erkannte Halluzination das Vertrauen in unbeaufsichtigte MCP-Pipelines begrenzen. Der Gesamteindruck ist gut, aber nicht robust genug für High-Trust-Automation.

Tool-Execution-Profil

Mistral Medium 3.5 zeigt echte Werkzeugwahl-Kompetenz, nicht nur starres Ablaufverhalten. Beim Web-Search-and-Tool-Selection-Test, der ohne expliziten Hinweis die Wahl zwischen Suche und direktem Fetch prüft, wählt es das richtige Werkzeug sicher. Das spricht für brauchbare Orchestrierungslogik. Beim URL-Construction-Test, der die eigenständige Ableitung einer Ziel-URL und den anschließenden Fetch misst, bleibt es brauchbar, aber weniger präzise. Das ist der typische Punkt, an dem produktive Pipelines deterministische Guardrails brauchen.

Kritisch ist der Befund, dass der Tool-Call nicht durchgehend valide war. Da kein Retry nötig war, wirkt das nicht wie ein bloßes Formatproblem mit anschließender Selbstkorrektur, sondern wie ein einmaliger Protokoll- oder Parameterausrutscher, den die Laufzeit nicht abgefangen hat. Für MCP bedeutet das: gute Tool-Intelligenz, aber keine durchgehend verlässliche Protokollhygiene.

Synthesetreue

Wie gut verdichtet es Tool-Ergebnisse? Nur eingeschränkt verlässlich. Die P2-Leistung ist mit 59.17 der klare Schwachpunkt. Besonders bei EU License Research, das aktuelle Lizenzrestriktionen aus Web-Quellen zusammenführen soll, und bei HTTP Fetch & Extract, das präzise Faktentreue aus Fetch-Inhalten misst, verliert das Modell an Genauigkeit und Verdichtungsschärfe. Es findet Material, aber die letzte Meile der belastbaren Zusammenfassung ist nicht konstant stark.

Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Im Honeypot EU License Research, der genau dieses Verhalten prüft, halluziniert es nicht. Das ist der wichtigste Vertrauensanker in diesem Bericht. Gleichzeitig ist der globale Halluzinationsbefund ein Sicherheitsrisiko: Sobald ein Modell in einer Tool-Pipeline erfundene Fakten als Tool-Ergebnis ausgibt, wird nicht nur eine Antwort schlecht, sondern die Infrastruktur selbst unzuverlässig.

Fehlerresilienz

Beim 404-Test, der prüft ob ein fehlgeschlagener Tool-Call transparent kommuniziert oder Seiteninhalt erfunden wird, reagiert das Modell akzeptabel. Es halluziniert trotz Fehler keinen Ersatzinhalt. Die Fehlerkommunikation ist damit produktionsfähig, auch wenn sie nicht besonders stark verdichtet oder handlungsleitend ausfällt.

Betriebsprofil

Total 39.11s pro Run. MCP-Latenz 2.04s. Modell-Calls 0.64s und 3.84s. Für die gezeigte Qualität langsam. Kosten: local. Preislich günstig im Betrieb, aber die Zeit pro Durchlauf ist für interaktive Tool-Pipelines hoch.

Fazit & Empfehlung

Geeignet für recherchierende MCP-Pipelines mit menschlicher Kontrolle, für mehrsprachige Beschaffung, Discovery-Schritte und Tool-Auswahl vor nachgelagerter Validierung. Nicht geeignet für Compliance, Lizenzprüfung, regulatorische Antworten oder andere Pfade, in denen die Synthese selbst als belastbarer Endbefund dient. Deployen nur mit Schema-Validation, Tool-Call-Guardrails und einer zweiten Instanz zur Ergebnisprüfung.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.