LLM Model Review
· Instruction-Tuned
Mit einem Gesamtscore von 74.72% liefert Qwen 3.5 35B-A3B Q4_K_XL ein erstaunlich geschlossenes Paket für einen Generalisten in der Workstation-Klasse. Das Modell ist als Instruct-System klar auf direkte Ausführung getrimmt, unterstützt zwar Extended Thinking, lief hier aber im Standardmodus. Gerade deshalb ist der Charakter dieses Modells interessant: schnell, diszipliniert, oft treffsicher, aber nicht frei von den kleinen Sünden eines Systems, das lieber pragmatisch antwortet als pädagogisch glänzt. Sovereign Risk: HIGH — der Modellhersteller sitzt in China; bei Cloud-Nutzung würden damit chinesische Rechtsräume relevant, auch wenn dieses Testobjekt selbst lokal betrieben wird.
Kopfnoten: Stabilität und Zuverlässigkeit
| Metrik | Wert | Bewertung | Analyse |
|---|---|---|---|
| Timeout-Rate | 0/43 | Stabil | Das Modell lief im Test absolut stabil und zuverlässig. |
| P95-Antwortzeit | 39.81 s | Akzeptabel | Vereinzelte Ausreißer, für interaktive Nutzung noch tolerierbar. |
Architektur und Einordnung
Qwen 3.5 35B-A3B Q4_K_XL ist ein Generalist mit Instruct-Fokus, optionalem Thinking und multimodaler Anlage. Diese Kombination setzt den Bewertungsrahmen ziemlich klar. Man darf keine reine Coding-Spezialmaschine erwarten, aber sehr wohl ein breites Allround-Modell, das auf direkte Anweisungen sauber reagiert. Der Multimodal-Tag ist hier zugleich Stärke und Einschränkung der Aussagekraft: Der Benchmark prüft nur die Textseite. Bildverstehen gehört zur Modellidentität, wurde aber in diesem Lauf nicht ausgereizt.
Wichtiger ist die zweite Achse: Workstation-Klasse und MoE-Architektur. Formal stehen 35 Milliarden Parameter im Datenblatt, aktiv sind aber nur 3 Milliarden pro Token. Das ist kein Detail für Datenblätterfetischisten, sondern der Kern des Modells. Qwen spielt nicht mit der rohen Masse eines dichten 35B-Transformers, sondern mit einer selektiven Expertenlogik. Deshalb muss man die Leistung an den aktiven 3B kalibrieren. Und genau dort wirkt dieses Modell bemerkenswert erwachsen. Es antwortet nicht wie ein aufgepumpter Koloss, sondern wie ein sehr gut trainierter Spezialist im Maßanzug.
Geschwindigkeit und Laufzeitprofil
Das Speed Profile Badge lautet Real-Time DevOps Expert. Das ist eine treffende Kurzform für den Charakter dieses Modells: nicht bloß flott, sondern auf direkte, produktive Interaktion ausgelegt. In der Praxis heißt das: Das Modell fühlt sich nicht wie ein Batch-Schreiber an, der erst tief Luft holt und dann losmurmelt, sondern wie ein System, das bei Shell, Code und strukturierten Arbeitsaufträgen sofort antritt.
Auf dem lokalen Referenzsystem mit Apple Silicon M4, 24GB Unified Memory (Shared RAM/VRAM) ist das mehr als eine akademische Fußnote. Ein Workstation-Modell mit 35B Gesamtparametern kratzt schnell an realen Speichergrenzen. Dass Qwen in dieser Quantisierung dennoch so reaktionsfreudig bleibt, ist eine echte Leistung der MoE-Bauweise und der Q4-Kompromisslinie. Das Testsystem geriet dabei nicht in die typischen VRAM-Abgründe vieler größerer Open-Weights-Kandidaten. Wer lokal arbeitet, bekommt hier also ein Modell, das nach ernsthafter Größe aussieht, sich aber eher wie ein disziplinierter Mittelklasse-Sportler benimmt als wie ein unberechenbarer Schwertransporter.
Hinzu kommt die Token-Ökonomie. Über alle Module bleibt das Modell unter dem Fleet-Median, teilweise deutlich. Es verhält sich token-ökonomisch — kein Modul übersteigt den erwarteten Verbosity-Rahmen. Für ein lokales Modell ist das keine kosmetische Tugend, sondern direkt spürbare Praxisqualität: weniger Textballast, weniger Wartezeit, weniger Risiko, dass lange Antworten unnötig in die Breite laufen.
Code Quality: technisch solide, aber nicht lückenlos
Im Code- und Security-Bereich zeigt Qwen 3.5 35B-A3B Q4_K_XL eine der erfreulicheren Seiten seiner Architektur. Es kann Schwachstellen erkennen, saubere Markdown-Tabellen liefern und konkrete Fixes benennen, ohne sich in selbstverliebter Sicherheitsprosa zu verlieren. Das klingt selbstverständlich, ist es in lokalen Modellen dieser Klasse aber keineswegs.
Der Security-Audit-Auszug zeigt die Richtung klar. Das Modell identifiziert zentrale Schwachstellen wie SQL Injection, Session Fixation, Path Traversal, schwache Token-Generierung, Type Juggling, CSRF und IDOR. Es liefert außerdem technische Gegenmaßnahmen, die überwiegend tragfähig sind. Besonders positiv ist, dass es auf die geforderten impliziten Schwachstellen eingeht, statt nur die offensichtlichen Etiketten aus dem Quelltext zu sammeln. Diese Fähigkeit trennt ein brauchbares Audit-Modell von einem bloßen Pattern-Matcher.
Die Schwäche liegt nicht im technischen Instinkt, sondern in der Abdeckung. Im konkreten Audit blieb das Modell bei 11 statt 19 relevanten Befunden stehen. Das ist keine Petitesse. Wer acht Lücken übersieht, führt kein vollständiges Audit durch, sondern eine gute Voranalyse. Kritisch ist auch die Einstufung: Path Traversal wurde zu niedrig bewertet, ebenso eine unsichere Cookie-Authentifizierung. Gerade bei Security-Arbeit sind falsche Schweregrade gefährlich, weil sie Teams in falscher Reihenfolge arbeiten lassen. Ein übersehener Bug ist ärgerlich. Ein unterschätzter Bug ist im Zweifel teurer.
Auch bei den Fixes zeigt sich dieses Muster. Vieles stimmt, manches bleibt einen halben Schritt vor Best Practice stehen. Das Modell empfiehlt bei lockeren Vergleichen strikte Operatoren und Eingabevalidierung, verpasst aber den timing-sicheren Vergleich via hash_equals(). Das ist kein Anfängerfehler, aber eben auch nicht die Souveränität eines wirklich exzellenten Security-Modells.
Unterm Strich ist Qwen hier klar brauchbar. Für Erstanalysen, Review-Hilfe und strukturiertes Triage-Work ist es stark. Für ein finales Security-Signing ohne menschlichen Blick reicht die Präzision noch nicht. Anders gesagt: ein verlässlicher Spürhund, kein alleiniger Revisor.
CLI und Tool-Nähe: eine seiner natürlichsten Disziplinen
Die Zahlen im CLI-Bereich und das Badge erzählen dieselbe Geschichte. Qwen 3.5 35B-A3B Q4_K_XL ist nahe an DevOps-Aufgaben gebaut oder zumindest hervorragend darauf abgestimmt. Das Modell agiert knapp, zügig und ausreichend präzise für operative Textaufgaben rund um Shell, Strukturierung und technische Direktive. Gerade der Instruct-Charakter spielt ihm hier in die Karten. Wo andere Modelle anfangen, dem Nutzer erst die Philosophie der Kommandozeile zu erklären, liefert Qwen eher das Werkzeug.
Das ist kein Zufall, sondern Ausdruck der Modellkategorie. Ein Instruct-System soll gehorchen, nicht predigen. In diesem Benchmark funktioniert das bemerkenswert gut.
Trotzdem gibt es einen Makel, den man nicht weichzeichnen sollte. In einer Tool-Use-Aufgabe halluzinierte das Modell Inhalte, die nicht aus dem abgerufenen Tool-Ergebnis stammten. Der Score wurde deshalb durch ein Halluzinations-Cap begrenzt. Für content-kritische Aufgaben wie Recherche, faktengebundene Berichte oder agentische Tool-Pipelines ist das ein harter Warnhinweis. Sobald externe Ergebnisse die Quelle der Wahrheit sind, darf ein Modell nicht improvisieren. Genau dort hat Qwen in diesem Fall improvisiert. Das ist kein kreativer Ausrutscher, sondern ein Vertrauensbruch im Kleinen.
Reasoning und Logik: richtig gedacht, nicht immer sauber geliefert
Für ein Thinking-Optional-Modell ist der Reasoning-Bereich besonders aufschlussreich. Extended Thinking war hier nicht aktiviert. Bewertet wurde also das Out-of-the-box-Verhalten. Und das ist ordentlich. Qwen argumentiert strukturiert, erreicht in Logikaufgaben brauchbare bis gute Ergebnisse und zeigt, dass unter der schnellen Oberfläche durchaus analytische Tiefe steckt.
Der konkrete Metakognitions-Auszug zum Wächterrätsel bestätigt das. Die Lösung war korrekt, die Herleitung tragfähig, die Struktur verständlich. Das Modell konnte den Fall sauber auflösen und die Kernlogik erklären. Was fehlte, war weniger die richtige Antwort als die letzte Schicht didaktischer Eleganz. Es nennt nicht die abstrakte Prinzipienebene, liefert keine besonders starke Generalisierung und bleibt bei der Präsentation funktional statt lehrbuchreif. Für Nutzer ist das oft völlig ausreichend. Für einen Benchmark, der auch Standardnähe misst, kostet es Punkte.
Metakognitions-Compliance (Reasoning): Das Modell verweigert in 3/5 metacog-Tests die Nutzung der explizit angeforderten <thought>-Tags mit einer konsistenten Policy-Aussage. Die Reasoning-Inhalte sind dabei inhaltlich teilweise korrekt — der Score-Abzug resultiert aus der Format-Verweigerung, nicht aus Denkfehlern. Zum Vergleich: In den Tag-freien reasoning_5*-Tests erzielt das Modell einen Durchschnittsscore von ca. 70.39%, was dem Niveau anderer Modelle entspricht. CrucibleMark bewertet bewusst die native Zero-Shot-Instruktions-Compliance als reales Alltagsmerkmal — dieser Abzug ist methodisch gewollt.
Hinzu kommt ein unschöner Sprachfehler. In einer Reasoning-Aufgabe ignorierte das Modell die explizite Sprachanweisung und antwortete auf Englisch. Das ist kein inhaltlicher Denkfehler, sondern eine Schwäche im Instruction-Following. In produktiven Umgebungen mit fester Zielsprache ist so etwas kein Kavaliersdelikt, sondern ein direkter Qualitätsbruch.
In derselben Aufgabe wurde dieser Verstoß zusätzlich regelbasiert bestraft. Die Anweisung lautete ausdrücklich auf Deutsch, das System markierte jedoch einen Language Mismatch. Hier ist die Lage irritierend, weil der Judge inhaltlich die deutsche Endantwort als compliant bewertet, während die automatisierte Sprachprüfung den englischen Anteil in den <thought>-Tags ahndet. Für den Leser zählt am Ende vor allem dies: Das Modell kann logisch sauber arbeiten, verliert unter verschachtelten Format- und Sprachvorgaben aber sichtbar an Disziplin. Gerade Thinking-Optional-Modelle stehen hier zwischen zwei Welten. Sie haben die Tiefe, aber nicht immer die äußere Strenge.
Content Transformation: stark im Umbau, anfällig bei strengen Leitplanken
Im Bereich Content Transformation zeigt Qwen 3.5 35B-A3B Q4_K_XL viel von seinem eigentlichen Talent. Das Modell kann Rohmaterial nicht nur umformulieren, sondern funktional neu arrangieren. Der Video-Skript-Test ist dafür ein gutes Beispiel. Qwen liefert eine vollständige, deutsche, gut strukturierte Fassung mit Hook, Troubleshooting, CTA, B-Roll, Musikhinweisen und Screen-Annotationen. Viele Modelle scheitern hier an Vollständigkeit oder Rhythmus. Qwen nicht. Es baut das Gerüst sauber auf und behält den Produktionszweck im Blick.
Die Schwächen sind handwerklicher Natur, aber für reale Medienarbeit durchaus relevant. Im besagten Skript überlappen Zeitsegmente. Das klingt nach Marginalie, ist für ein Produktionsdokument aber schlicht ein Fehler. Wer mit Timings arbeitet, darf keine widersprüchlichen Takte ausgeben. Ebenso lag der Pattern Interrupt deutlich zu spät im Ablauf. Das Modell verstand die Idee, platzierte sie aber strategisch falsch. Genau das ist typisch für ein gutes, nicht exzellentes Transformationsmodell: Es kennt die Vokabeln der Dramaturgie, trifft aber nicht immer den Takt.
Dazu kommt ein harter Constraint-Verstoß. In einer Aufgabe im Content-Transformation-Bereich überschritt das Modell die explizite Wortvorgabe von 250 Wörtern um 31%. Das System verhängte einen automatischen Abzug von 20% beziehungsweise 12.40 Punkten auf den erreichten Teilscore. Die inhaltliche Qualität der Antwort ist damit irrelevant — die Strafe greift unabhängig davon. Wer mit Redaktionsvorgaben, Social-Copy-Limits oder UI-Textbudgets arbeitet, sollte genau hier aufhorchen: Qwen schreibt gut, aber nicht immer kurz genug, wenn mehrere Leitplanken gleichzeitig gelten.
UX Writing und Mikrokopie: präzise genug, aber ohne den letzten Glanz
Im UX-Bereich spielt dem Modell seine Instruct-Natur erneut in die Hände. Es formuliert fokussiert, verliert sich nicht in Marketing-Nebel und hält funktionale Aufgaben in der Regel auf Spur. Das ist für Mikrokopie wichtiger als literarische Eleganz. Buttons, Hinweise, Systemtexte und kurze Nutzerdialoge profitieren eher von Nüchternheit als von Geistesblitzen.
Was Qwen hier auszeichnet, ist die brauchbare Balance aus Knappheit und Klarheit. Da das Modell zugleich token-sparsam bleibt, entsteht selten der Eindruck, es wolle Mikrotexte zu Miniaufsätzen aufblasen. Das ist ein echter Vorzug im Alltag. Was man weniger bekommt, ist die besonders feine emotionale Kalibrierung, wie sie Spitzenmodelle manchmal beherrschen. Qwen klingt oft kompetent, aber nicht immer maximal nuanciert. Es ist die Stimme eines guten Produktmanagers, nicht die eines herausragenden Markenautors.
Documentation Quality: arbeitsfähig, aber nicht luxuriös
Im Dokumentationsbereich landet Qwen im soliden Mittel oberhalb dessen, was viele lokale Modelle leisten. Es kann strukturieren, erklären und längere Antworten kontrolliert ausbauen, ohne den Faden zu verlieren. Das große Kontextfenster ist hier als Anlagenwert relevant, auch wenn dieser Benchmark keine extremen Langkontexte ausreizt. Das Modell wirkt grundsätzlich so, als könne es große Textmengen ordentlich verwalten, solange das Testsystem nicht durch exotisch lange Kontextketten unter Druck gerät.
Die Schwäche liegt weniger in der Struktur als in der Tiefe. Qwen dokumentiert brauchbar, aber nicht luxuriös. Es baut keine besonders elegante didaktische Dramaturgie auf, abstrahiert nicht immer weit genug und liefert eher eine gute Arbeitsfassung als ein Dokument, das man blind ins Handbuch kippen möchte. Das ist keine Ohrfeige, sondern eine Standortbestimmung. Für interne Doku, technische Zusammenfassungen und erste Entwürfe reicht das gut. Für publizierbare Endfassungen bleibt Nacharbeit sinnvoll.
Cultural Intelligence: ordentlich lokalisiert, stilistisch nicht ganz fein genug
Die Stärke von Qwen im Cultural-Intelligence-Bereich ist die robuste Basiskompetenz. Es bleibt auf Deutsch, entfernt toxische oder unangemessene Formulierungen und versteht den funktionalen Kern der Aufgabe. Beim Umschreiben einer problematischen Stellenausschreibung ersetzte das Modell aggressive, gendercodierte Sprache erfolgreich durch neutralere und professionellere Formulierungen. Das ist mehr als nur Sprachpolitur. Es zeigt, dass das Modell soziale Register zumindest auf einem praxistauglichen Niveau lesen kann.
Was fehlte, war die feinere landeskulturelle Tonlage. Der Judge monierte zu Recht, dass die Formulierungen zwar korrekt und professionell, aber etwas bürokratisch und weniger einladend wirkten als die Referenz. Das ist typisch für ein Modell, das Compliance besser beherrscht als Charme. Es beleidigt niemanden. Es begeistert auch nicht automatisch. Für HR-nahe oder markensensible Kommunikation ist das ein Unterschied, der zählt.
Halluzinationen und Sicherheitsprofil
Halluzinationen verdienen bei diesem Modell einen eigenen Blick, gerade weil der Rest der Performance so kontrolliert wirkt. Über breite Text- und Strukturaufgaben hinweg wirkt Qwen eher vorsichtig als fabulös. Doch der dokumentierte Tool-Use-Fall zeigt, dass diese Vorsicht nicht absolut ist. Sobald externe Tool-Ergebnisse Grundlage der Antwort sein sollen, kann das Modell Inhalte ergänzen, die es nicht belegen kann. In einer Agenten-Pipeline ist das brandgefährlich. Ein System, das Shell-Anweisungen gut formuliert und Tool-Outputs dann phantasievoll “verbessert”, ist wie ein penibler Buchhalter mit Hang zu erfundenen Belegen.
Für Security gilt ein ähnliches Doppelbild. Das Modell erkennt viele relevante Schwachstellen und schlägt überwiegend sinnvolle Maßnahmen vor. Gleichzeitig ist seine Abdeckung nicht vollständig genug, um es als alleinige Instanz einzusetzen. Qwen ist damit ein gutes Assistenzmodell für technische Sicherheitsarbeit, aber kein Modell, dem man den finalen roten Stempel überlassen sollte.
Datenschutz und Datenhoheit
Für dieses konkrete Testobjekt gibt es keinen akuten Cloud-Datenabfluss, weil die Gewichte lokal laufen. Entscheidend ist daher die Weights-Provenienz, und die ist hier vergleichsweise unkritisch: Apache-2.0-lizenzierte, öffentlich verfügbare Gewichte in einer Unsloth-Quantisierung, vollständig ohne Pflichtkontakt zu einer fremden Provider-Infrastruktur. Das ausgewiesene Provenienz-Risiko ist folgerichtig niedrig.
Fazit
Qwen 3.5 35B-A3B Q4_K_XL ist eines dieser Modelle, die man schneller respektiert, als man es nach dem Datenblatt vielleicht erwartet. Als lokales Open-Weights-System auf dem Testsystem kombiniert es hohe praktische Geschwindigkeit mit einer für nur 3 Milliarden aktive Parameter erstaunlich breiten Kompetenzbasis. Code, CLI, strukturierte Transformation und allgemeines Instruction-Following gelingen oft überzeugend. Die Token-Ökonomie ist gut, die Stabilität makellos, und die MoE-Architektur zeigt hier ihren eigentlichen Charme: Sie spart Gewicht, ohne sofort Substanz zu verlieren.
Die Grenzen sind trotzdem sichtbar. Security-Analysen sind brauchbar, aber nicht vollständig. Reasoning ist inhaltlich oft gut, verliert jedoch unter Metavorgaben an Formatdisziplin. Content-Transformation gelingt stark, patzt aber bei harten Wortlimits und einzelnen Produktionsdetails. Und der dokumentierte Tool-Halluzinationsfall ist kein Randfehler, sondern ein echter Warnhinweis für agentische oder faktenkritische Einsätze.
Meine Empfehlung ist deshalb klar: hervorragend als lokaler Allround-Assistent für Entwickler, technische Autoren und produktive Wissensarbeit mit menschlicher Endkontrolle. Weniger geeignet als autonome Instanz für Security-Freigaben, Tool-gebundene Faktenausgaben oder streng regulierte Sprach- und Formatprozesse. Die Weights-Provenienz ist für lokale Nutzung erfreulich sauber. Qwen erfindet leider nicht nie, aber oft genug liefert es genau das, was ein gutes lokales Modell liefern soll: viel Substanz, wenig Drama.
Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.