Qwen 2.5 Coder 7B

Mit einem Gesamtscore von 55,32 Prozent zeigt Qwen 2.5 Coder 7B einen klaren Charakter: ein spezialisiertes Coding-Modell mit direkter Instruct-Handschrift, das im Standard-Modus getestet wurde und deshalb eher knapp als ausufernd antwortet. Der Speed Profile Badge lautet Interactive DevOps Expert. Das passt nur zur Hälfte: interaktiv genug ist es, als DevOps- oder Tool-Modell aber nicht vertrauenswürdig genug. Als Coding-Modell in der kuratierten Klasse Desktop und mit dichter Parameter-Architektur von 7,61 Milliarden aktiv genutzten Parametern ist es kein Generalist und auch kein Tiefdenker auf Frontier-Niveau. Gerade daran gemessen ist das Bild ernüchternd, aber nicht hoffnungslos.

Kopfnoten: Stabilität und Zuverlässigkeit

Die Kopfnoten sind für ein lokales Modell dieser Größenordnung kein Totalschaden, aber auch kein Freifahrtschein. Ein einzelner Timeout im Gesamtlauf ist verkraftbar. Er erinnert trotzdem daran, dass „läuft lokal“ nicht automatisch „läuft narrensicher“ bedeutet. Die Tail-Latenz, also die langsamen Ausreißer am oberen Rand, bleibt noch im Bereich dessen, was interaktive Nutzung erlaubt. Wer auf durchgehend gleichförmiges Verhalten hofft, bekommt hier aber keine Schweizer Uhr, eher ein ordentliches Werkzeug mit gelegentlichem Stolpern.

Architektur und Charakter: viel Coder, wenig Denker

Die vorab vergebene Tag-Kombination trifft den Kern erstaunlich gut. Qwen 2.5 Coder 7B ist als Coder erkennbar, als Instruct sogar noch deutlicher und als Thinking in diesem Testlauf eigentlich nur auf dem Papier. Das liegt nicht zwingend am Modell selbst, sondern am gewählten Betriebsmodus: Dieser Bericht betrachtet den Standard-Lauf mit deaktiviertem Thinking. Kürzere, direktere Antworten sind also erwartbar und kein Makel an sich.

Trotzdem bleibt ein Restwiderspruch. Wenn ein Modell architektonisch als Thinking-System eingeordnet wird, erwartet man zumindest Spuren von tieferem Schlussfolgern, selbst ohne sichtbare Gedankenkette. Genau diese Tiefe fehlt hier oft. Die Antworten sind nicht wirr. Sie sind nur häufig zu flach für Aufgaben, die mehr brauchen als saubere Formatierung und ein paar richtige Schlagworte. Man merkt dem Modell an, dass es lieber zügig liefert als gründlich bohrt. Das ist für Code-Vervollständigung oft eine Tugend. Bei Security, Tool-Execution und anspruchsvoller Analyse wird es schnell zur Hypothek.

Geschwindigkeit und Effizienz

Als lokales Modell auf Apple Silicon M4, 24GB Unified Memory (Shared RAM/VRAM) zeigt Qwen 2.5 Coder 7B ein stimmiges Geschwindigkeitsprofil für den Alltag. Der Badge Interactive DevOps Expert steht für ein Modell, das auf dem Testsystem eher für dialogische, schrittweise Arbeitsabläufe taugt als für lange Batch-Jobs. Im praktischen Eindruck heißt das: keine Schnecke, kein Sprintwunder, aber flott genug, um im Editor oder Terminal nicht wie Ballast zu wirken.

Wichtiger als blanke Geschwindigkeit ist hier die Token-Ökonomie. Und die fällt überwiegend positiv aus. Das Modell verhält sich token-ökonomisch. Kein Modul übersteigt den erwarteten Verbosity-Rahmen. Selbst im Reasoning-Bereich bleibt es unter dem Fleet-Median, in CLI, Dokumentation, Content und Kultur deutlich darunter. Nur im Bereich Code Quality wird es spürbar gesprächiger als der Schnitt. Das ist lokal weniger eine Kostenfrage als eine Latenzfrage. Mehr Text heißt hier vor allem: länger warten. Immerhin bleibt die Ausgabe noch innerhalb des Budgets. Qwen redet also nicht endlos. Es redet nur manchmal mehr, ohne entsprechend mehr zu liefern.

Code Quality und Security: formatstark, inhaltlich lückenhaft

Hier müsste das Modell zu Hause sein. Ist es auch, aber mit Einschränkungen. Im Code-Quality-Audit erreicht Qwen 2.5 Coder 7B 52,3 Prozent. Das ist für ein Coding-Spezialmodell kein Ruhmesblatt. Besonders auffällig ist die Diskrepanz zwischen Form und Substanz: Tabellen kann das Modell sauber liefern, die Struktur sitzt, die Sprache ist meist knapp, die Antworten lesen sich ordentlich. Nur leider übersieht es dabei zu viele sicherheitsrelevante Punkte.

Ein exemplarischer Security-Audit zeigt das Problem sehr klar. Das Modell identifiziert 10 von 19 relevanten Schwachstellen, verpasst also 9 Befunde, darunter IDOR, fehlenden CSRF-Schutz, Session Fixation, unsichere Reset-Tokens und Debug-Lecks. Noch problematischer: Es etikettiert manche Risiken falsch. Type Juggling als eher fortgeschrittenes statt kritisches Problem einzuordnen, ist nicht bloß ein Schönheitsfehler. Es verändert Prioritäten. In Security-Fragen ist das so nützlich wie ein Rauchmelder, der nur flüstert.

In einer Aufgabe im Code-Quality-Bereich ignorierte das Modell die explizite Sprachanweisung und antwortete auf Englisch statt auf Deutsch. Das ist kein technischer Defekt, sondern eine Compliance-Schwäche bei der Ausgabesprache. In produktiven Teams mit fester Zielsprache ist das ein realer Fehlerfall, weil die Antwort trotz eventuell brauchbarer Inhalte direkt aus dem Prozess kippt.

Das Sprachversagen ist kein isolierter Ausreißer. Über mehrere Aufgaben im Code- und Dokumentations-nahen Bereich zeigt das Modell ein konsistentes Muster: Bei simultanen Vorgaben aus Sprache, Länge und Format verliert es die Sprachvorgabe als erste Bedingung. Für ein Instruct-Modell ist das keine Petitessenfrage, sondern eine Kernschwäche.

CLI und technische Exekution: erstaunlich ordentlich

Im CLI Benchmark erreicht das Modell 85,56 Prozent. Das ist einer der klaren Lichtblicke des gesamten Profils. Für Shell-nahe, operative Aufgaben arbeitet Qwen präzise, knapp und mit der richtigen Direktheit. Hier spielt ihm die Instruct-Natur in die Karten. Wo exakte Befehle, kurze Entscheidungswege und wenig rhetorischer Ballast gefragt sind, wirkt das Modell fokussiert statt flach.

Das ist die gute Nachricht. Die schlechte folgt im Tool-Bereich. Denn CLI-Kompetenz ist nicht dasselbe wie verlässliche Tool-Execution. Ein gutes Terminal-Gefühl ersetzt keine robuste Bindung an echte Werkzeuge und ihre Outputs.

Reasoning: korrekt im Ton, schwach in der Tiefe

Im Modul Logical Reasoning landet Qwen 2.5 Coder 7B bei 53,39 Prozent. Für ein Modell mit Thinking-Metadaten ist das der Bereich, in dem der Lack sichtbar abblättert. Man sollte fair bleiben: Dieser Lauf fand im Standard-Modus statt, nicht im Thinking-Modus. Trotzdem bleiben die Defizite deutlich.

Ein Protokoll zur klassischen Wächter-Tür-Aufgabe zeigt die Schwäche exemplarisch. Das Modell formuliert eine elegante, aber falsche Frage und zieht daraus die falsche Schlussfolgerung. Sprachlich ist das sauber, logisch aber brüchig. Genau das ist das Gefährliche an mittelguten Reasoning-Antworten: Sie klingen plausibel, bis man die Logik belastet.

Auch in qualitativen UX-nahen Analyseaufgaben fehlt dem Modell die Schicht unter der Schicht. Es erkennt Symptome, aber selten die Mechanik dahinter. Psychologische Konzepte, kausale Erklärung, Begründungstiefe, systematische Verifikation: all das bleibt zu oft auf halber Strecke. Qwen antwortet wie ein pflichtbewusster Junior mit ordentlichem Template, nicht wie ein Senior, der die Sache wirklich durchdrungen hat.

Documentation Quality: brauchbar als Rohmaterial, unsicher als Endfassung

Mit 50,2 Prozent im Dokumentationsmodul zeigt sich dieselbe Grundspannung wie im Code-Bereich: Die Antworten sind oft strukturiert und verständlich, aber nicht robust genug, um ohne Nachkontrolle in die Welt geschickt zu werden. Vor allem die Sprachdisziplin wackelt. In zwei Dokumentationsaufgaben antwortete das Modell auf Englisch, obwohl Deutsch explizit verlangt war.

Das Sprachversagen ist kein isolierter Ausreißer. Über mehrere Aufgaben im Dokumentations-Bereich zeigt das Modell ein konsistentes Muster: Bei simultanen Vorgaben aus Sprache, Länge und Format verliert es die Sprachvorgabe als erste Bedingung. Betroffen waren hier Dokumentationsaufgaben mit klarer deutscher Zielausgabe. Für interne Notizen mag das tolerierbar sein. Für produktive Dokumentation mit festen Styleguides ist es ein unnötiges Risiko.

Content Transformation: gute Handgriffe, schwache Publikumsintuition

Im Bereich Content Transformation & Adaption kommt Qwen auf 58,92 Prozent. Das ist kein Desaster, aber weit weg von publizistischer Souveränität. Das Modell kann Material umformen. Es kann strukturieren, Timestamps setzen, Produktionshinweise einbauen und eine Aufgabe sichtbar bearbeiten. Was ihm fehlt, ist das Gespür dafür, warum ein Text oder Skript funktioniert.

Ein besonders aufschlussreicher Fall ist ein deutsch verlangtes Video-Skript, das das Modell überwiegend auf Englisch ausliefert. Formell ist damit die Aufgabe bereits beschädigt. Inhaltlich kommt hinzu, dass Hook, Spannungsführung, Zuschauerbindung und Easter Egg eher mechanisch als dramaturgisch gedacht sind. Das Modell baut Requisiten auf die Bühne, aber es versteht nicht recht, warum die Szene tragen soll.

In zwei Aufgaben im Content-Transformation-Bereich ignorierte das Modell die explizite Sprachanweisung und antwortete auf Englisch. Das ist kein Einzelfehler, sondern ein unmittelbarer Bruch mit der Instruktion. In redaktionellen oder lokalisierten Workflows scheitert so eine Ausgabe ohne menschliche Rettung direkt am Gate.

Das Sprachversagen ist kein isolierter Ausreißer. Über mehrere Aufgaben im Content-Transformation-Bereich zeigt das Modell ein konsistentes Muster: Bei simultanen Vorgaben aus Sprache, Länge und Format verliert es die Sprachvorgabe als erste Bedingung. Konkret betraf das unter anderem eine Videoskript-Aufgabe mit deutscher Zielgruppe. Für ein Modell, das Inhalte umschreiben und anpassen soll, ist das ein strukturelles Problem.

UX Writing und Microcopy: formal korrekt, menschlich unterversorgt

Mit 54,75 Prozent im UX-Writing-Modul bleibt Qwen im Mittelfeld der Enttäuschungen. Die Antworten sind nicht unbrauchbar. Sie sind schlicht zu nüchtern, zu wenig psychologisch kalibriert, zu wenig nutzergeführt. Das Modell liefert Funktionssprache, wo Verhaltensdesign gefragt wäre. Ein Judge-Protokoll beschreibt es treffend als „kompetenten ersten Entwurf“, aber eben nicht als Senior-Perspektive. Das ist präzise beobachtet.

In einer Aufgabe im UX-Writing-Bereich überschritt das Modell die explizite Wortvorgabe von 350 Wörtern um 65 Prozent. Das System verhängte einen automatischen Abzug von 10,00 Punkten, also 20 Prozent auf diese Aufgabe. Die inhaltliche Qualität der Antwort ist damit irrelevant. Die Strafe greift unabhängig davon. Gerade bei Microcopy und UX-Texten ist das keine kleinliche Formalie. Wer ein Limit für Dialogtexte oder UI-Bausteine ignoriert, verfehlt das Medium selbst.

Cultural Intelligence: hier endet die Spezialisierung

Im Modul Cultural Intelligence fällt das Modell auf 44,6 Prozent zurück. Das ist der Bereich, in dem die Coder-Spezialisierung nicht entschuldigt, aber erklärt. Qwen übersetzt und bereinigt toxische Stellenausschreibungs-Sprache nicht konsequent genug. Problematische Begriffe wie „Ninja“ bleiben stehen, männliche Markierungen bleiben teilweise erhalten, dazu kommen holprige oder semantisch schiefe Formulierungen.

Entscheidend ist dabei weniger ein einzelner missratener Satz als die Art des Fehlers. Das Modell behandelt kulturelle Sensibilität oft wie Oberflächenkosmetik. Es ersetzt Wörter, ohne den sozialen Subtext vollständig umzubauen. Für Coding ist das nicht zentral. Für Employer Branding, Recruiting oder inklusives Wording ist es zu wenig.

Halluzinationen und Tool-Use: die eigentliche rote Linie

Halluzinationen

Der kritischste Befund des gesamten Profils steckt nicht in der Sprachfrage und auch nicht im mittelmäßigen Reasoning, sondern in der Halluzinationsresistenz bei Tool-Aufgaben. In drei Tool-Use-Assets generierte das Modell Inhalte, die nicht aus dem abgerufenen Tool-Ergebnis stammten, sondern erfunden waren. Der Score wurde deshalb per Halluzinations-Cap gedeckelt. Das ist kein weicher Qualitätsmangel, sondern ein harter Vertrauensbruch.

Gerade weil Qwen 2.5 Coder 7B im CLI-Modul ordentlich wirkt, ist dieser Kontrast gefährlich. Das Modell kann operative Kompetenz simulieren, ohne in Tool-gebundenen Situationen sauber an der Quelle zu bleiben. Für Recherche, Statusberichte, Auswertungen oder agentische Abläufe ist das disqualifizierend. Sobald ein Modell behauptet, ein Tool habe etwas geliefert, was dort nie stand, wird aus Assistenz Fiktion mit Kommandozeile.

Hier zeigt sich auch eine architektonische Grenze der Coder-Variante. Laut Modellhinweisen sind Tool-Calling-Tokens in solchen Ablegern nicht immer sauber trainiert. Das erklärt den Befund, entschuldigt ihn aber nicht. Wer Tool-Use braucht, sollte dieses Modell nicht unbeaufsichtigt an externe Zustände lassen.

Datenschutz und Datenhoheit

Da dieses Modell vollständig lokal mit Open Weights betrieben wird, entsteht im praktischen Einsatz kein zwingender Cloud-Abfluss der Nutzdaten. Relevant bleibt die Provenienz der Gewichte: Das dokumentierte Weights-Provenienz-Risiko ist LOW, weil die Apache-2.0-lizenzierten Gewichte aus der Qwen2.5-Coder-Familie von Alibaba stammen, hier aber lokal ausgeführt werden. Die Herkunft bleibt chinesisch-juristisch, die operative Datenexposition wird durch das lokale Deployment jedoch deutlich entschärft.

Fazit

Qwen 2.5 Coder 7B ist ein Modell mit klarer Spezialisierung und ebenso klarer Decke. Es eignet sich für lokale Coding-Assistenz, für kurze CLI-nahe Hilfen, für Code-Skizzen, erste Audits und technische Routinearbeit unter Aufsicht. Genau dort profitiert es von seiner direkten Instruct-Art, seiner ordentlichen Geschwindigkeit und seiner insgesamt disziplinierten Token-Nutzung. Wer einen kompakten Open-Weights-Helfer für den Entwickleralltag sucht, bekommt hier ein brauchbares Werkzeug.

Sobald die Aufgabe aber über saubere Syntax hinausgeht, werden die Schwächen sichtbar. Security-Audits sind zu lückenhaft. Reasoning ist zu oft plausibel statt belastbar. Sprachinstruktionen in Deutsch werden wiederholt gebrochen. UX- und Kulturaufgaben leiden an mangelnder Tiefe. Und die Halluzinationen im Tool-Use-Bereich sind die Art von Fehler, die man nicht wegmoderieren kann. Dieses Modell ist kein schlechter Arbeiter. Es ist nur einer, dem man keine alleinige Nachtschicht geben sollte.

Unterm Strich ist Qwen 2.5 Coder 7B als lokales Coding-Modell interessant, aber eng einzuhegen: gut für Entwürfe, hilfreich für Shell- und Code-Alltag, ungeeignet für unbeaufsichtigte Security-, Recherche- oder Tool-Pipelines. Sein Charakter ist der eines schnellen, brauchbaren Werkstattassistenten. Nicht der eines verlässlichen technischen Gutachters.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.