LLM Model Review
· Instruction-Tuned · Agentic Orchestrator
Mit einem Gesamtscore von 70.43% zeigt Xiaomi MiMo V2.5 ein Profil, das interessanter ist als seine Endnote zunächst vermuten lässt: ein großes Cloud-Open-Weights-Modell via OpenRouter, gebaut für Planung, Tool-Nutzung und multimodale Breite, aber im Text-Benchmark nicht durchgehend mit der Präzision eines ausoptimierten Spezialisten. Der Speed Profile Badge Interactive Tool Expert verrät den Charakter ziemlich gut: eher zügiger Werkzeug-Arbeiter als langsamer Denker, also interaktiv brauchbar, aber nicht spektakulär schnell. Als agentisches Server-Modell mit 310 Milliarden Gesamtparametern, davon 15 Milliarden aktiv in einer MoE-Architektur, muss es sich an gehobenen Erwartungen messen lassen. Sovereign Risk: MEDIUM: Xiaomi ist ein chinesisches Unternehmen und unterliegt dem chinesischen Datensicherheitsgesetz (DSG) und dem Nachrichtendienstgesetz (NSG). Die Gewichte sind unter MIT-Lizenz öffentlich verfügbar. Bei Cloud-Nutzung ist staatlicher Zugriff auf übertragene Daten theoretisch möglich. Rein lokales Deployment mit den öffentlichen Gewichten reduziert das Risiko – NSG ist nur bei Cloud-API-Nutzung direkt relevant.
Kopfnoten: Stabilität und Zuverlässigkeit
| Metrik | Wert | Bewertung | Analyse |
|---|---|---|---|
| Timeout-Rate | 1/49 | Sporadisch | Das Modell zeigt sporadische Aussetzer, die in der Praxis Retrys erfordern würden. Bei einem Cloud-Open-Weights-Modell via OpenRouter ist das kein Geräteproblem, sondern ein Reliability-Risiko des Endpunkts oder der Netzstrecke. |
| P95-Antwortzeit | 71.95 s | Problematisch | Signifikante Ausreißer, die den Arbeitsfluss unterbrechen. Für interaktive Nutzung reicht die Grundgeschwindigkeit oft aus, aber im Randbereich zieht das Modell den Nutzer spürbar aus dem Takt. |
Architektur und Erwartungsrahmen
Xiaomi MiMo V2.5 trägt viele Etiketten, und diesmal sind sie keine Deko. Als General-Modell muss es auf der ganzen Breite liefern. Als Instruct-Modell sollte es Anweisungen sauber und ohne theatrale Umwege befolgen. Als Thinking-Optional-Modell ist mehr Tiefgang grundsätzlich möglich, wurde in diesem Testlauf aber nicht gesondert aktiviert; der Modus steht hier folgerichtig auf n/a, also Standardverhalten des Cloud-Endpunkts. Als Multimodal-Modell ist außerdem wichtig: Dieser Benchmark sieht nur den Textausschnitt eines eigentlich omnimodalen Systems. Und als Agentic-Orchestrator ist MiMo eher dafür gebaut, Aufgaben zu zerlegen und Werkzeuge klug einzusetzen, als jede Detailanforderung im Alleingang mit pedantischer Formtreue zu exekutieren.
Dazu kommt die Modellklasse: Use Case agentic, Size Class Server, MoE-Architektur. Das ist kein kleines Effizienzwunder, das man milde nach Parameterzahl beurteilt. Es ist ein großer Server-Kandidat, der im Wettbewerb mit ernsthaften Cloud-Modellen stehen will. Gleichzeitig kalibriert man MoE fairerweise an den 15 Milliarden aktiven Parametern, nicht an den 310 Milliarden auf dem Karton. Das erklärt, warum MiMo oft kompetent wirkt, aber nicht die brutale Souveränität der stärksten Frontier-Systeme entfaltet. Es ist eher ein gut sortierter Werkzeugwagen als ein Panzer.
Performance und Kostencharakter
Der Badge Interactive Tool Expert passt. MiMo antwortet im Alltag meist in einer Geschwindigkeit, die zu Agenten-Workflows und Tool-Aufgaben passt. Die gemessene Generierungsgeschwindigkeit ist dabei ausdrücklich als Leistungsbild von OpenRouter zu lesen, also des Cloud-Infrastrukturpfads samt Netzlatenz. Solche Werte sind ein Endpunkt-Benchmark, keine abstrakte Eigenschaft des Modells im luftleeren Raum.
Weniger erfreulich ist der lange Schweif der Antwortzeiten. Im Mittel wirkt MiMo interaktiv. In den Ausreißern verhält es sich wie ein Assistent, der mitten im Gespräch noch einmal den Keller nach einem Ordner durchsucht. Das ist nicht katastrophal, aber für zeitkritische Agentenketten unerquicklich.
API-Kostenprofil
MiMo verhält sich insgesamt token-ökonomisch genug, um kein notorischer Schwätzer zu sein. Es gibt aber zwei Bereiche, in denen der Textausstoß deutlich über dem Fleet-Median liegt und damit bei API-Nutzung reale Kosten verursacht. Im CLI-Benchmark produziert das Modell durchschnittlich 1590 Tokens bei einem Fleet-Median von 283. Das entspricht einem Faktor von 5.62 gegenüber dem Schnitt aller getesteten Modelle. Auch in der Cultural Intelligence liegt MiMo mit 629 Tokens gegenüber 257 im Median bei einem Faktor von 2.45.
Das ist nicht bloß Stilfrage. Bei einem Cloud-Modell mit Preisschild bedeutet mehr Text bei gleichem Nutzwert direkt mehr Rechnung. MiMo löst Aufgaben oft ordentlich, gönnt sich dabei aber gerade in operativen Tool-Kontexten deutlich mehr Worte als nötig. Ein Agent, der jede Schraube mit einem kleinen Vortrag eindreht, ist nicht kaputt. Er ist nur teuer.
Code Quality und Security: kompetent, aber nicht mit letzter Schärfe
Im Code- und Security-Umfeld zeigt Xiaomi MiMo V2.5 eine der klareren Stärken des Modells. Der Code-Quality-Audit-Wert von 68.64 ist nicht überragend, aber die qualitativen Protokolle zeichnen ein besseres Bild als die Zahl allein. In einem Sicherheitsreview zu PHP-Code liefert MiMo eine sauber formatierte Markdown-Tabelle, erkennt die großen Brocken zuverlässig und liefert konkrete Fixes statt bloßer Alarmrhetorik. SQL Injection, Klartext-Passwörter, Path Traversal, Insecure Cookies, Weak Randomness, IDOR und CSRF werden erkannt. Das ist die Basis. Ohne die sollte man über Security gar nicht erst reden.
Der Haken liegt im Detail, und dort trennt sich in diesem Modul gut von exzellent. MiMo verfehlt die besondere Rolle einer impliziten Type-Juggling-Lücke, stuft sie zu niedrig ein und baut keine überzeugende Angriffskette, also kein realistisches Exploit-Narrativ aus mehreren Schwachstellen. Genau diese Kette war im Referenzrahmen ein wichtiger Marker für tieferes Sicherheitsverständnis. MiMo sieht viele Bäume, aber nicht immer den Waldbrand.
Für den praktischen Einsatz heißt das: als Erstprüfer brauchbar, als letzte Instanz ungeeignet. Wer Security-Analysen für Tickets, Priorisierung und erste Fixvorschläge sucht, bekommt hier Substanz. Wer Threat Modeling oder exploitbare Ketten auf Senior-Niveau erwartet, wird Lücken finden.
Reasoning und Logik: solide, mit weniger Tiefgang als die Architektur verspricht
Im Reasoning landet MiMo bei 72.76, und das ist ein recht treffender Ausdruck seines Charakters. Das Modell denkt sauber genug, fällt nicht über triviale Logikrätsel und hält Formatvorgaben ein. Im metakognitiven Protokoll zum Wächter-Rätsel nutzt es die verlangten <thought>-Tags korrekt, argumentiert auf Deutsch, kommt zur kanonisch richtigen Lösung und bleibt dabei innerhalb eines vernünftigen Budgets. Das ist die gute Nachricht.
Die schlechtere Nachricht ist subtiler: Die Antworten sind richtig, aber oft linear statt elegant. MiMo erklärt, was funktioniert. Es zeigt seltener die zusätzliche didaktische Schicht, die aus einer korrekten Antwort eine wirklich starke macht. Keine Visualisierung, keine besonders kluge Generalisierung der Methode, wenig konzeptioneller Mehrwert. Für ein Modell, das als Thinking-Optional und Agentic-Orchestrator klassifiziert ist, darf man gerade bei Strategie und Struktur etwas mehr Souveränität erwarten.
Wichtig ist dabei der Modus-Kontext: Dieser Testlauf hatte kein Thinking-Toggle, also n/a. MiMo wurde im Standardverhalten des Cloud-Endpunkts geprüft. Extended Thinking ist architektonisch vorhanden, aber hier nicht separat aktiviert oder budgetiert worden. Das schützt das Modell vor einem unfairen Vorwurf. Es entschuldigt aber nicht jede Mittelmäßigkeit. Denn auch ohne explizites Denkbudget sollte ein großes Agentenmodell in Logik-Aufgaben etwas mehr Glanz entwickeln als bloße Korrektheit.
UX Writing und Content Transformation: stark im Material, anfällig bei harten Leitplanken
In den sprachlichen Produktionsaufgaben wirkt Xiaomi MiMo V2.5 häufig wie ein talentierter Redakteur, der die Seitenvorgabe erst ernst nimmt, nachdem der Text schon fast fertig ist. Das zeigt sich besonders im Content-Transformation-Modul mit 71.37 und in UX Writing mit 68.27. Inhaltlich kann MiMo viel: Es schreibt professionell, strukturiert verständlich, hält den Ton meist sauber und produziert im besten Fall Material, das man nicht neu erfinden muss.
Das qualitative Protokoll zur YouTube-Skript-Aufgabe ist dafür ein gutes Beispiel. MiMo liefert ein produktionsreifes Skript, gute Dramaturgie, sinnvolle Produktionshinweise und sogar ein funktionierendes Easter Egg. Der inhaltliche Kern sitzt. Gleichzeitig ignoriert das Modell eine explizite Begrenzung der Analyse-Länge und überschreitet auch die angepeilte Skriptlänge deutlich. Das ist kein Schönheitsfehler, sondern ein klassischer Instruct-Makel: Die Maschine will helfen und tritt dabei die Leitplanke um.
Im UX-Bereich zeigt sich ein ähnliches Muster. Die Antworten sind oft gehaltvoll, psychologisch informiert und leserfreundlich. Ein Protokoll attestiert sogar nahezu lehrbuchhafte Qualität mit Verweisen auf Kahneman, Sweller und Nunes. Aber auch dort gibt es kleine Formabweichungen. MiMo ist gut darin, eine Aufgabe zu verstehen. Es ist weniger gut darin, sich beim Erfüllen nicht noch einen kleinen Exkurs zu erlauben. Für Editorial-Arbeit kann das charmant sein. Für starre Produktionspipelines ist es Reibung.
Dokumentation und Wissensaufbereitung: die eigentliche Schwachstelle
Mit 62.88 in Documentation Quality liegt der eigentliche Problemraum dieses Modells offen zutage. Für ein großes Agentenmodell ist das zu wenig. Gerade dort, wo komplexe Informationen geordnet, priorisiert und in belastbare Arbeitsdokumente gegossen werden sollen, fehlt MiMo die Konstanz.
Das ist relevant, weil Agentic-Orchestrator-Modelle in der Praxis oft nicht an der ersten Idee scheitern, sondern an der zweiten Hälfte der Arbeit: Zusammenfassen, strukturieren, verdichten, ohne den Faden zu verlieren. Wenn ein Modell Planung und Tool-Nutzung verspricht, aber bei Dokumentation unter den Erwartungen bleibt, kratzt das am Kernversprechen. Ein Assistent, der gute Zwischenrufe liefert, aber schwächere Abschlussdokumente, ist im Team nützlich. Er führt das Team aber nicht.
Cultural Intelligence: sprachlich sicher, kulturell nicht immer fein genug
Im Modul Cultural Intelligence erreicht MiMo 70.24. Das ist ordentlich, aber nicht feinmechanisch. Das qualitative Beispiel zur Entschärfung problematischer Stellenausschreibungs-Sprache zeigt die typische MiMo-Mischung aus Kompetenz und stumpfer Kante. Das Modell entfernt toxische Begriffe, bleibt vollständig auf Deutsch und verwendet genderneutrale Sprache. Damit erledigt es den Kernauftrag.
Gleichzeitig schleppt es Formulierungen wie „marktbeherrschend“ mit, also Vokabular, das im deutschen HR-Kontext unnötig aggressiv wirkt. Auch die Entscheidung für das diffuse Plural „Teammitglieder“ statt einer präziseren singularen Ansprache schwächt die professionelle Wirkung. MiMo versteht das Problem. Es trifft aber nicht immer den kulturell besten Ton. Das ist kein Desaster. Es ist das sprachliche Äquivalent eines Anzugs, der sitzt, aber an den falschen Stellen glänzt.
CLI, Tool-Use und Halluzinationsrisiko: hier liegt die schärfste Warnung
Im CLI-Benchmark und beim ToolUse Score zeigt MiMo zwei Gesichter. Einerseits passt die Grundanlage des Modells zum Einsatz als Werkzeug-Orchestrator. Der Modulwert von 86.67 im CLI-Bereich ist stark und bestätigt, dass MiMo mit operativen Aufgaben besser umgehen kann als mit filigraner Doku. Andererseits fällt der ToolUse Score mit 70.0 zwar nicht ab, aber eine konkrete Halluzination macht den Befund härter, als die Zahl klingt.
In einer Aufgabe im Tool-Use-Bereich halluzinierte das Modell Inhalte, die nicht im abgerufenen Tool-Ergebnis standen. Der automatische Halluzinations-Cap griff, der P2-Score wurde begrenzt. Für content-kritische Aufgaben wie Recherche, Faktenberichte oder agentische Auswertung externer Daten ist das kein Kavaliersdelikt, sondern ein Ausschlusskriterium. Wenn ein Modell Werkzeugausgaben nicht nur liest, sondern nach Belieben ergänzt, wird aus Automatisierung schnell dekorierter Unsinn.
Gerade für ein als agentisch eingeordnetes Modell ist das bitter. Denn Tool-Use lebt nicht von Eloquenz, sondern von Treue zur Quelle. MiMo kann Werkzeuge offenbar bedienen. Aber in mindestens einem kritischen Fall konnte es der Versuchung nicht widerstehen, die Lücken selbst zu füllen. Das ist der Moment, in dem ein Assistent vom Mitarbeiter zum Risiko wird.
Datenschutz und Datenhoheit
Bei Xiaomi MiMo V2.5 ist der Datenschutzkontext kein Beipackzettel, sondern Teil der Kaufentscheidung. Der berechnete Sovereign Risk liegt bei MEDIUM. Die Begründung ist klar: Entwickler und Anbieter stammen aus China, anwendbar ist damit China (PIPL/CSL/DSL). Für Unternehmen in Deutschland und Europa bedeutet das einen Drittlandkontext mit eigenem Rechts- und Zugriffsumfeld, das nicht unter die Schutzlogik der DSGVO fällt.
Wichtig ist die Deployment-Lage dieses Reviews: Hier geht es um ein Cloud-Open-Weights-Modell via OpenRouter. Die Gewichte selbst stehen unter MIT-Lizenz, was die kommerzielle Nutzbarkeit erfreulich unkompliziert macht. Das reduziert aber nicht automatisch das Risiko des tatsächlichen Cloud-Betriebs. Laut Vendor Card ist keine GDPR DPA verfügbar. Für EU-Unternehmen ist das ein konkretes Compliance-Hindernis, nicht bloß ein formaler Schönheitsfehler.
Zur Datenspeicherung nennt die Card 0 Tage, der Datenstandort beim Hersteller ist als N/A ausgewiesen, verbunden mit dem Hinweis, dass die Gewichte grundsätzlich selbst deploybar sind. Für diesen konkreten Cloud-Pfad gilt dennoch: Wer sensible Unternehmensdaten durch einen externen Endpunkt schickt, kauft nicht nur Rechenleistung, sondern auch Jurisdiktion ein. Das Weights-Provenienz-Risiko liegt bei MEDIUM, weil offene MIT-Gewichte eines chinesischen Unternehmens mit der tatsächlichen Deployment-Situation auseinanderfallen können. Anders gesagt: Offenheit der Gewichte ist gut. Sie ersetzt keine saubere Governance des Endpunkts.
Fazit
Xiaomi MiMo V2.5 ist ein interessantes, aber nicht restlos ausgereiftes Server-Modell mit klar erkennbarem Profil. Es ist stark genug für interaktive Tool-Arbeit, brauchbar im Security-Review, ordentlich in Logik und oft überraschend gut im sprachlichen Ausbau von Rohmaterial. Gleichzeitig fehlt ihm in mehreren Disziplinen die letzte Disziplin: zu schwache Dokumentationsleistung für seine Klasse, zu lockere Constraint-Treue in Schreibaufgaben und ein realer Halluzinationsbefund im Tool-Use. Das ist kein Totalschaden. Aber es ist auch kein Modell, dem man unbeaufsichtigt die Schlüssel zum Maschinenraum gibt.
Wer ein multimodales, agentisches Cloud-Open-Weights-Modell via OpenRouter sucht und vor allem in Workflows mit Tool-Aufgaben, Strukturierung und ersten Fachentwürfen arbeitet, kann mit MiMo sinnvoll experimentieren. Für faktensensible Recherche, streng reglementierte Produktionspipelines und Compliance-nahe Unternehmensprozesse ist Vorsicht Pflicht. Xiaomi MiMo V2.5 hat Talent, keine Frage. Nur leider auch die unangenehme Angewohnheit, ausgerechnet dann selbstbewusst zu werden, wenn es lieber exakt sein sollte.
Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.