Zum Inhalt springen
CrucibleMark

Xiaomi MiMo V2.5 Pro

Xiaomi MiMo V2.5 Pro ist Xiaomis Flaggschiff mit 1,02 Billionen Gesamt- und 42 Milliarden aktiven Parametern für Frontier-Reasoning und agentische Workflows. Die hybride Attention-Architektur reduziert den KV-Cache-Speicher deutlich, das Kontextfenster umfasst eine Million Tokens. Nativ omnimodal für Text, Bild, Video und Audio, unter MIT-Lizenz voll kommerziell nutzbar.

Xiaomi Version V2.5-Pro Kommerzielle Nutzung erlaubt MoE 1020 B (42 B aktiv) 1024 K Context 05/2025 $0.435 / $0.87 per 1M

  • Open Weights
  • Frontier
  • OpenRouter
  • Text
  • Vision
  • Video
  • Audio
  • Instruction-Tuned
  • Agentic Orchestrator
  • Interactive

Sovereign Risk: MEDIUM Xiaomi ist ein chinesisches Unternehmen und unterliegt dem chinesischen Datensicherheitsgesetz (DSG) und dem Nachrichtendienstgesetz (NSG). Die Gewichte sind unter MIT-Lizenz öffentlich verfügbar. Bei Cloud-Nutzung ist staatlicher Zugriff auf übertragene Daten theoretisch möglich. Lokales Deployment mit den öffentlichen Gewichten reduziert das Risiko – NSG ist nur bei Cloud-API-Nutzung direkt relevant.

Tool-Use-Profil: 6 Assets im Detail

Vergleich der Asset-Performance (P1/P2/Combined) gegenüber dem Flotten-Durchschnitt

Asset-Performance (Radar)

Score Breakdown vs. Fleet Average

Tool-Use-Details

Asset-Performance, Zuverlässigkeit und Laufzeit-Profil

Name P1 P2 Combined
EU License Research 100 15 49
HTTP Fetch & Extract 80 80 80
Tool Failure Handling (404) 80 60 73
Web Search & Tool Selection 100 60 82
URL Construction & Fetch 80 80 80
Multilingual Search & Synthesis 100 60 80

CrucibleMark prüft Tool-Use in 6 voneinander unabhängigen Tests. Klicken Sie auf einen Test-Namen für die Details.

Reliability

  • Tool Call Valid: Nein
  • Retry: Nicht erforderlich
  • Halluzination: Erkannt

Reliability misst, wie verlässlich ein Modell Werkzeugaufrufe tatsächlich ausführt: Tool Call Valid Schema und Format akzeptiert, Retry Required erst nach Wiederholung erfolgreich, Halluzination Flag erfundene Tools oder Parameter erkannt. Alle drei grün bedeutet produktionstauglich.

Betriebsprofil

Call 1
7.01
First Request
MCP
1.11
Protocol Latency
Synthesis
23.68
Response Generation
Total
190.8
Sum of All Phases
Token
16076
Input + Output
Cost
$0
Cost per Run

Das Betriebsprofil zeigt die Laufzeit- und Kostenkennzahlen des Modell-Laufs: Call 1 First Request, MCP Protocol Latency, Synthesis Response Generation, Total Summe aller Phasen, erganzt um Token Input und Output sowie Cost Kosten pro Lauf.

Tool-Use-Review

Erstellt am · Instruction-Tuned · Agentic Orchestrator

Deployment-Urteil

Bedingt deploy, weil die Tool-Ausführung stark ist, aber Halluzination im Honeypot und ein nicht valider Tool-Call das Vertrauen für produktive MCP-Pipelines begrenzen. Der Combined-Score von 74 zeigt brauchbare Substanz, reicht aber nicht für unbewachte High-Trust-Workflows.

Tool-Execution-Profil

Xiaomi MiMo V2.5 Pro zeigt echte Werkzeugintelligenz. Beim Test Web Search & Tool Selection, der prüft, ob ohne Hinweis web_search statt fetch gewählt wird, erkennt es den richtigen Pfad sicher. Das spricht gegen starres Schema-Verhalten. Auch bei Multilingual Search & Synthesis und EU License Research ruft es die benötigten Werkzeuge konsequent auf.

Weniger sauber ist die Protokolltreue. Der globale Befund „Tool-Call valide: false“ ist für eine MCP-Integration relevant, weil schon kleine Format- oder Parameterfehler Orchestratoren hart scheitern lassen. Dass kein Retry erforderlich war, spricht eher gegen ein bloßes Flüchtigkeitsformat und eher für punktuelle Unschärfe in der Ausführung. Beim URL-Construction-Test, der korrekte URL-Ableitung und anschließendes Fetch misst, arbeitet es brauchbar, aber nicht deterministisch genug für fragile Pipelines.

Synthesetreue

Wie gut verdichtet es Tool-Ergebnisse? Nur eingeschränkt. Der P2-Wert von 44.17 ist der klare Schwachpunkt dieses Modells. Gute Einzelresultate bei HTTP Fetch & Extract sowie URL Construction & Fetch zeigen, dass es strukturierte Inhalte aus echten Tool-Antworten durchaus sauber zusammenziehen kann. Sobald die Aufgabe stärker nach Bewertung, Verdichtung oder mehrstufiger Zusammenführung verlangt, sinkt die Verlässlichkeit sichtbar.

Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Nein, nicht konsistent. Beim Honeypot EU License Research, der prüft, ob aktuelle Lizenzrestriktionen aus Web-Quellen statt aus dem Trainingsstand beantwortet werden, fällt das Modell mit P2=15 und erkannter Halluzination klar durch. Das ist kein bloßer Qualitätsmangel, sondern ein Sicherheitsrisiko. Wenn ein Modell erfundene oder vortrainierte Fakten als Ergebnis einer Live-Recherche ausgibt, beschädigt es die Beweiskette der gesamten Tool-Infrastruktur.

Fehlerresilienz

Beim 404-Test, der transparentes Verhalten bei fehlschlagendem Tool-Call misst, reagiert das Modell akzeptabel. Es halluziniert keinen Seiteninhalt trotz Fehler. P2=60 ist nicht elegant, aber produktionstauglich, weil die Grundregel eingehalten wird: Fehler offenlegen statt Ersatzfakten erzeugen.

Betriebsprofil

Call 1: 7.01s. MCP-Latenz: 1.11s. Call 2: 23.68s. Total: 190.80s. Langsam für die gezeigte Synthesequalität. Kosten/Run: local. Preis laut Modell: $0.435 pro 1M Input-Tokens, $0.87 pro 1M Output-Tokens. Als Open-Weights-Modell wirtschaftlich vertretbar, aber die Laufzeit ist für interaktive Orchestrierung hoch.

Fazit & Empfehlung

Geeignet für überwachte Agenten-Pipelines, in denen Tool-Wahl, Web-Recherche und mehrsprachige Beschaffung wichtiger sind als belastbare Endverdichtung. Nicht geeignet für Compliance-, Lizenz-, Policy- oder andere Nachweispipelines, in denen das Modell strikt an Tool-Ergebnisse gebunden bleiben muss. Wenn Sie es einsetzen, dann mit hartem Output-Gating, Tool-Result-Quoting und nachgelagerter Verifikation vor jeder extern wirksamen Entscheidung.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.