Phi-4 Mini (Unsloth)

Mit einem Gesamtscore von 58,41 Prozent und dem Speed-Profile-Badge Real-Time Tool Expert zeigt Phi-4 Mini (Unsloth) eine seltsam gespannte Doppelrolle: ein Nano-Modell mit Reasoning-Ambition, das im Standard-Lauf ohne aktivierten Thinking-Modus getestet wurde und deshalb eher knapp als ausladend antwortet. Für 3,8 Milliarden dichte Parameter ist das Ergebnis nicht peinlich, aber auch keine kleine Sensation. Es ist ein Spezialist, der seine Logik öfter andeutet, als sie sauber zu Ende zu tragen, und der beim Tool-Einsatz ausgerechnet dort patzt, wo Fantasie nichts zu suchen hat.

Kopfnoten: Stabilität und Zuverlässigkeit

Architektur und Erwartungsrahmen

Die vorab vergebene Kategorisierung passt im Kern, braucht aber eine wichtige Einhegung. Phi-4 Mini (Unsloth) ist als Reasoning / Deep Thinking-Modell eingeordnet, gehört zur Nano-Klasse und nutzt eine Dense-Architektur. Das heißt konkret: Alle 3,8 Milliarden Parameter sind bei jeder Antwort aktiv. Es gibt hier keinen MoE-Trick, kein Expertensystem im Hintergrund, das nominell groß und faktisch klein wäre. Was dieses Modell kann, muss aus genau dieser kleinen, vollständig aktiven Kapazität kommen.

Zugleich lief dieser Test ausdrücklich im Standard-Modus, also mit deaktiviertem Thinking-Toggle. Das ist mehr als eine technische Fußnote. Bei einem Modell, dessen primärer Einsatzzweck Reasoning ist, misst dieser Lauf nicht die maximal ausgereizte Denkleistung, sondern die alltagstaugliche Werkseinstellung: direkte Antworten, weniger sichtbare Herleitung, geringere Ausführlichkeit. Wer hier also epische Beweisführungen erwartet, testet an der Realität vorbei. Wer aber saubere Instruktions-Compliance, vernünftige Logik und robuste Formatausgabe erwartet, liegt genau richtig.

Und genau da beginnt das eigentliche Urteil: Für ein Nano-Reasoning-Modell ist Phi-4 Mini kein Blender. Aber es ist auch kein Uhrwerk. Es zeigt Talent, doch die Zahnräder greifen nicht immer sauber ineinander.

Geschwindigkeit und Laufzeitverhalten

Als lokales Modell lief Phi-4 Mini (Unsloth) nativ auf NVIDIA DGX Spark (GB10 Grace Blackwell Superchip, ~115 GB Unified Memory — kein praktisches Speicherlimit für getestete Modellgrößen). Der Speed-Profile-Badge Real-Time Tool Expert signalisiert einen klaren Charakter: eher interaktiv als batch-orientiert, also geeignet für kurze Arbeitszyklen, Rückfragen, kleine Agenten-Schritte und Tool-getriebte Aufgaben mit unmittelbarer Rückmeldung.

Das deckt sich mit dem Gesamteindruck. Auf dem Testsystem wirkt das Modell reaktionsfreudig und im Alltag deutlich näher an „benutzbar sofort“ als an „erst mal Kaffee holen“. Die eine sporadische Störung bleibt ein Makel, aber keine systemische Katastrophe. Dazu kommt ein erfreulich nüchterner Token-Haushalt: Fast alle Module bleiben unter dem Fleet-Median, nur Code Quality produziert mit dem Faktor 1,68 spürbar mehr Text als der Schnitt. Für ein lokales Modell ist das vor allem ein Latenzsignal. Nicht dramatisch, aber sichtbar. Im Klartext: Wenn Phi-4 Mini sich in Code-Audits festbeißt, redet es länger, ohne dass die zusätzliche Länge zuverlässig in mehr Präzision umschlägt.

Reasoning und Logik

Hier liegt der Anspruch dieses Modells, und hier wird auch am strengsten gerichtet. Der Reasoning-Score von 61,09 Prozent ist für ein Nano-Modell mit dieser Spezialisierung ordentlich, aber nicht souverän. Das qualitative Bild dazu ist interessant: Phi-4 Mini findet den richtigen logischen Kern oft tatsächlich. Im Wächter-Rätsel etwa identifiziert es die korrekte Frage und versteht das Prinzip der doppelten Verkehrung. Das Problem liegt nicht im Ansatz, sondern in der Ausführung. Die Herleitung verheddert sich, Begriffe werden widersprüchlich verwendet, die Erklärung verliert unterwegs ihre pädagogische Linie. Das ist kein Denkstillstand. Es ist Denknebel.

Gerade deshalb wirkt das Modell charakterlich fast erwachsener als manche größere Kandidaten, die mit großer Geste falsch liegen. Phi-4 Mini liegt oft ungefähr richtig, kann den Weg dorthin aber nicht zuverlässig ausleuchten. Für Nutzer ist das ein zweischneidiges Geschenk. Wer das Ergebnis plausibilisieren kann, bekommt brauchbare Rohlogik. Wer auf eine selbsterklärende Antwort hofft, bekommt gelegentlich ein Kartenhaus mit korrektem Dach und schiefen Wänden.

Metakognitions-Compliance (Reasoning): Das Modell verweigert in 3/5 metacog-Tests die Nutzung der explizit angeforderten <thought>-Tags mit einer konsistenten Policy-Aussage. Die Reasoning-Inhalte sind dabei inhaltlich teilweise korrekt — der Score-Abzug resultiert aus der Format-Verweigerung, nicht aus Denkfehlern. Zum Vergleich: In den tag-freien reasoning_5*-Tests erzielt das Modell einen Durchschnittsscore von ca. 61 Prozent, was seinem allgemeinen Leistungsniveau entspricht. CrucibleMark bewertet bewusst die native Zero-Shot-Instruktions-Compliance als reales Alltagsmerkmal. Dieser Abzug ist methodisch gewollt.

Dazu kommt ein unschöner Sprachbefund. In drei Metakognitions-Aufgaben ignorierte das Modell die explizite Deutschvorgabe und antwortete auf Englisch. Das ist kein isolierter Ausrutscher, sondern ein strukturelles Signal. Über mehrere Aufgaben im Reasoning-Bereich zeigt das Modell ein konsistentes Muster: Bei simultanen Vorgaben aus Sprache, Spezialformat und Denkerklärung verliert es die Sprachvorgabe als erste Bedingung. Für produktive Umgebungen mit fester Zielsprache ist das ein echter Makel, nicht bloß Richterpedanterie.

Code Quality und Security

Der Code-Quality-Wert von 56,7 Prozent beschreibt das Modell ziemlich treffend: brauchbare Sicherheitsintuition, schwache Tiefenschärfe. Im Sicherheitsaudit erkennt Phi-4 Mini die üblichen Verdächtigen zuverlässig genug, also SQL-Injection, XSS, CSRF, IDOR, Klartextpasswörter. Das Problem beginnt dort, wo ein echter Audit-Text vom Tabellenzettel zum Angriffsmodell wechseln müsste.

Ein protokolliertes Beispiel zeigt die Schwäche glasklar. Das Modell liefert eine formal brauchbare Markdown-Tabelle, aber in Englisch statt Deutsch, obwohl Deutsch gefordert war. Es identifiziert nur 11 Schwachstellen, wo der Goldstandard 19 aufführt. Besonders schwer wiegt, dass es die ausdrücklich eingeforderten impliziten Schwachstellen gar nicht systematisch hebt: keine Session Fixation, keine Mail-Header-Injection, keine harten Zugangsdaten, kein sauber erklärter schwacher Reset-Token-Pfad. Dazu kommt ein falscher Treffer bei „Insecure Deserialization“, obwohl der gegebene Code dieses Thema gar nicht hergibt. Wer Security nur auf Label-Ebene betreibt, findet vieles. Wer Systeme wirklich lesen will, muss zwischen realem Risiko und OWASP-Schablone unterscheiden. Genau an dieser Stelle wird das Modell klein.

Trotzdem wäre es unfair, den Befund ins Lächerliche zu ziehen. Für ein Nano-Modell ist die Grundabdeckung respektabel. Das Werkzeug erkennt, dass es brennt. Es sagt nur zu selten, woher der Rauch kommt und welche Tür zuerst aufgerissen werden muss.

Auch hier fällt die Sprachinstruktions-Compliance negativ auf. In einer Aufgabe im Code-Quality-Bereich antwortete das Modell trotz expliziter Sprachvorgabe auf Englisch. Im Produktiveinsatz heißt das: Ein Team kann eine formal verwendbare Tabelle bekommen, die trotzdem an der Prozessvorgabe vorbeiläuft. Gerade in deutschsprachigen Compliance- oder Audit-Kontexten ist das mehr als Kosmetik.

Tool-Use und Halluzinationen

Der Tool-Use-Score von 88,33 Prozent klingt zunächst wie eine Entwarnung. Die Detaildaten erzählen jedoch eine deutlich härtere Geschichte. In drei Tool-Use-Assets wurden Halluzinationen erkannt. Das Modell generierte Inhalte, die nicht aus dem tatsächlichen Tool-Ergebnis stammten, sondern erfunden waren. Der P2-Score wurde deshalb durch eine Halluzinationskappe begrenzt.

Das ist kein kleiner Schönheitsfehler. Bei Tool-Nutzung gilt eine eiserne Regel: Wenn das Modell den Werkstattauszug verfälscht, ist jede nachgelagerte Vertrauenskette beschädigt. Für content-kritische Aufgaben wie Recherche, Faktenberichte oder agentische Entscheidungslogik ist dieses Verhalten disqualifizierend. Gerade weil Phi-4 Mini als Open-Weight-Lokalmodell mit dokumentiertem Function-Calling auftritt, wäre hier Disziplin wichtiger als Eloquenz. Stattdessen zeigt das Modell einen alten, hässlichen Reflex: Es füllt Lücken lieber mit plausibel klingendem Material, als still bei den Daten zu bleiben. Ein Tool-Modell, das die Werkzeugausgabe poetisch ergänzt, ist wie ein Messgerät, das gelegentlich rät.

UX Writing und Microcopy

Mit 57,75 Prozent bleibt das Modell im UX-Writing hinter seinem Selbstbild zurück. Die qualitative Auswertung beschreibt die Arbeit treffend als „kompetent, aber unvollständig“. Phi-4 Mini erkennt Kernprobleme wie kognitive Überladung oder unnötigen Jargon und hält sogar die geforderte Zweiteilung ein. Das ist die gute Nachricht. Die schlechte lautet: Es bleibt an der Oberfläche, wo eigentlich psychologische Präzision gefragt wäre.

Im konkreten Protokoll benennt das Modell nur vier Probleme, während der Goldstandard acht sauber aufdröselt. Es nennt Prinzipien, erklärt sie aber nicht tragfähig. Es trennt zentrale UX-Mechaniken nicht sauber, liefert kaum belastbare Beispiele und verzichtet auf ein Stakeholder-Gerüst mit Metriken oder Vorher-Nachher-Logik. Das ist der Unterschied zwischen einem brauchbaren Redigat und einer UX-Argumentation, die ein Team intern verteidigen kann. Phi-4 Mini kann Sprache glätten. Es kann nur begrenzt begründen, warum genau diese Glättung wirkt.

In einer Aufgabe im UX-Writing-Bereich überschritt das Modell die explizite Wortvorgabe von 350 Wörtern auf 488 Wörter, also auf 139 Prozent des Limits. Das System verhängte einen automatischen Abzug von 13,00 Punkten beziehungsweise 20 Prozent auf den betroffenen total_achieved-Wert. Die inhaltliche Qualität der Antwort ist damit irrelevant. Die Strafe greift unabhängig davon. Das ist kein Nebengeräusch, sondern ein klassischer Instruct-Patzer: Sobald mehrere Bedingungen gleichzeitig gelten, fällt das Wortlimit zuerst vom Tisch.

Content Transformation

Dieses Modul ist mit 53,71 Prozent eine der klareren Schwachstellen. Im vorliegenden Protokoll versucht Phi-4 Mini, aus einer Outline ein deutschsprachiges Video-Skript zu machen. Es trifft die Grundform, verfehlt aber die Flughöhe. Der Richter nennt das Ergebnis ein „Junior-Level-Tutorial-Skript“, und das ist keine Bosheit, sondern Diagnose. Timestamps sind da, ein paar Schritte auch, doch die Analyse bleibt skelettiert, die dramaturgische Führung flach, Produktionshinweise fehlen weitgehend, und das geforderte 4- bis 5-Minuten-Format schrumpft auf etwa 2 Minuten zusammen. Das Modell versteht die Schablone, nicht die Inszenierung.

Besonders aufschlussreich ist dabei die Tonführung. Phi-4 Mini kann in deutscher Sprache umformulieren, verliert aber schnell die Kontrolle über Register, Rhythmus und Zielwirkung. Mal wird geduzt, mal gesiezt, mal erklärt, mal behauptet. Was fehlt, ist die redaktionelle Hand, die aus Inhalt eine Dramaturgie macht. Für ein Modell mit Reasoning-Anspruch ist das kein Skandal. Aber es zeigt, wie schmal die Brücke von Logik zu Kommunikation sein kann.

In einer Aufgabe im Content-Transformation-Bereich überschritt das Modell die explizite Wortvorgabe von 250 Wörtern auf 316 Wörter, also auf 126 Prozent des Limits. Das System verhängte einen automatischen Abzug von 16,80 Punkten beziehungsweise 20 Prozent auf den betroffenen total_achieved-Wert. Auch hier gilt: Die Strafe ist regelbasiert und macht jede spätere Geschmacksdiskussion zweitrangig.

Documentation Quality

Mit 50,85 Prozent arbeitet sich Phi-4 Mini in den Bereich, in dem man nicht mehr von punktuellen Macken sprechen kann. Dokumentation verlangt saubere Struktur, Vollständigkeit, Sprachdisziplin und die Fähigkeit, komplexe Information so auszuspielen, dass sie nicht mitten im Satz die Treppe herunterfällt. Genau das passiert hier.

Im Documentation-Bereich ignorierte das Modell in einer Aufgabe die explizite Sprachanweisung und antwortete auf Englisch. Das ist eine klare Instruction-Following-Schwäche. In deutschsprachigen Teams, Support-Portalen oder internen Wissensdatenbanken ist so etwas kein Ausrutscher, sondern ein direkter Einsatzfehler.

Schwerer wiegt ein technischer Abbruch in einer anderen Dokumentationsaufgabe. Dort überschritt das Modell das konfigurierte Ausgabe-Kontingent, die Antwort ist unvollständig. Im Documentation-Bereich bricht also eine Ausgabe mitten in der Struktur ab. Das ist ein technischer Abbruch, kein inhaltlicher Fehler. Der Score-Abzug resultiert aus der unvollständigen Antwort, nicht aus inhaltlichen Mängeln. Für Dokumentation ist das besonders unerquicklich, weil halbfertige Anleitungstexte oft gefährlicher sind als knappe, aber abgeschlossene Antworten.

Zusammen gelesen ergibt sich ein klares Muster: Sprache und Vollständigkeit sind in diesem Modul nicht robust genug. Ein Dokumentationsmodell muss nicht brillant sein. Es muss liefern. Phi-4 Mini tut das hier nicht verlässlich genug.

Cultural Intelligence

Der Cultural-Intelligence-Wert von 52,3 Prozent fällt härter aus, als die Einzelausschnitte vermuten lassen. In einem der vorliegenden Protokolle liefert das Modell nämlich eine durchaus anständige deutsche Neufassung: toxische Begriffe entfernt, Ton professionalisiert, Kernbotschaft erhalten. Der Richter attestiert eine kompetente Überarbeitung mit nur moderaten Defiziten bei echter Geschlechterneutralität und idiomatischer HR-Sprache. Der Fehler „Fachmann“ statt „Fachkraft“ ist klein genug, um im Alltag oft durchzurutschen, aber groß genug, um die eigentliche Aufgabe zu verfehlen.

Gerade hier sieht man den Charakter des Modells sehr gut. Phi-4 Mini ist nicht kulturell taub. Es ist nur nicht präzise genug in den letzten zehn Prozent, die aus „verständlich“ erst „situativ angemessen“ machen. Es entfernt grobe Schieflagen, aber es landet nicht immer bei jener sprachlichen Selbstverständlichkeit, die gute kulturelle Adaption auszeichnet. Für einfache Bereinigung taugt das. Für sensible Kommunikation mit Diversity-, Recruiting- oder Markenanspruch reicht es nicht ohne Redaktion.

Datenschutz und Datenhoheit

Entfällt als eigener Block, weil dieses Modell lokal mit Open Weights betrieben wird. Relevant bleibt die Provenienz der Gewichte: Das Weights-Provenienz-Risiko ist LOW, die Basis stammt von Microsoft / Unsloth (USA), die Lizenz ist MIT, kommerzielle Nutzung ist erlaubt.

Fazit

Phi-4 Mini (Unsloth) ist ein interessantes, aber widersprüchliches Nano-Modell. Die kuratierte Einordnung als Reasoning-Spezialist stimmt. Nur sollte man das Wort Spezialist hier nicht mit Ausnahmekönner verwechseln. Das Modell denkt oft in die richtige Richtung, formuliert kompakt, bleibt meist token-ökonomisch und ist für seine 3,8 Milliarden Dense-Parameter erstaunlich anschlussfähig. In Logik, Grundstruktur und einfachen Transformationen steckt echtes Können. Man merkt, dass hier nicht bloß ein beliebiger Klein-Allrounder am Werk ist.

Aber die Schwächen sind nicht dekorativ. Sprachinstruktionen reißen in mehreren Modulen. Dokumentationsausgaben können abbrechen. Wortlimits werden unter Mehrfachvorgaben gerissen. Im Tool-Einsatz halluziniert das Modell in drei Fällen über die tatsächliche Werkzeugausgabe hinaus. Gerade letzteres ist für einen Tool-orientierten Einsatz die rote Karte im Sakkoformat. Wer dieses Modell lokal für Autocomplete, einfache Agenten-Tasks, kompakte Analysen oder als günstigen Denkpartner auf Nano-Tier nutzen will, kann das tun. Wer es für faktenkritische Tool-Pipelines, Security-Audits ohne Zweitprüfung oder deutschsprachige Produktionsdokumentation einsetzt, handelt fahrlässig.

Unterm Strich ist Phi-4 Mini (Unsloth) kein Blender und kein Totalausfall. Es ist ein kleines Modell mit klarer Form, spürbarer Logikbegabung und einer Reihe von Kanten, die man im Alltag nicht übersehen darf. Als günstiger lokaler Sidekick hat es seine Berechtigung. Als autonomer Profi fehlt ihm die letzte Tugend, auf die es wirklich ankommt: Verlässlichkeit.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.