LLM Model Review
Erstellt am · Instruction-Tuned
Mit einem Gesamtscore von 64,13 Prozent zeigt Qwen 3.6 35B-A3B NVFP4 (vLLM, MoE, MTP) im hier getesteten Thinking-Modus ein eigentümliches Profil: inhaltlich oft klug, formal meist diszipliniert, als Gesamtpaket aber spürbar weniger scharf als seine Architektur-Tags erwarten lassen. Der Speed Profile Badge lautet Batch DevOps Expert, und genau so fühlt sich das Modell an: eher gründlicher Stapelverarbeiter als nervenstarker Live-Assistent. Für einen Generalisten der Workstation-Klasse mit MoE-Architektur und nur rund 3 Milliarden aktiven Parametern pro Token ist das keine Blamage, aber eben auch kein Ausbruch aus der Mittelzone. Sovereign Risk: HIGH — der Provider-Kontext Alibaba unterliegt chinesischer Jurisdiktion; bei lokalem Betrieb entfällt zwar die laufende Cloud-Verarbeitung, die Herkunftsbewertung bleibt dennoch relevant.
Kopfnoten: Stabilität und Zuverlässigkeit
| Metrik | Wert | Bewertung | Analyse |
|---|---|---|---|
| Timeout-Rate | 0/49 | Stabil | Das Modell lief im Test absolut stabil und zuverlässig. |
| P95-Antwortzeit | 85.72 s | Problematisch | Signifikante Ausreißer, die den Arbeitsfluss unterbrechen. |
Architektur und Erwartungsrahmen
Die Metadaten versprechen viel: Reasoning, Thinking, Coder, Agentic, Instruct, Multimodal, dazu Open Weights und MoE. Das klingt nach Schweizer Taschenmesser mit Maschinenraum. Entscheidend ist aber die redaktionelle Einordnung: Primär ist das hier ein Generalist, nicht ein reines Coding- oder reines Deep-Thinking-Modell. Es gehört in die Workstation-Klasse und setzt auf Mixture of Experts, also eine Architektur, bei der pro Token nur ein kleiner Teil der Gewichte aktiv arbeitet. Im konkreten Fall zählen deshalb nicht 35 Milliarden Gesamtparameter als Maßstab, sondern die rund 3 Milliarden aktiven Parameter.
Das ist wichtig, weil es die Leistung besser erklärt als jede Marketingfolie. Qwen 3.6 35B-A3B NVFP4 (vLLM, MoE, MTP) tritt mit großer nomineller Masse auf, arbeitet aber faktisch mit deutlich kleinerer aktiver Kapazität. Man sollte also keine Frontier-Dampfwalze erwarten, sondern ein Effizienzmodell mit Spezialisierungstendenzen. Dass dieser Testlauf ausdrücklich im Thinking-Modus stattfand, verschiebt die Messlatte zusätzlich: längere, analytischere Antworten sind hier gewollt. Wenn das Modell sich also Zeit nimmt und Gedankengänge ausformuliert, ist das keine Macke, sondern Teil des Betriebsmodus.
Zugleich bleibt ein methodischer Vorbehalt: Das Modell ist multimodal angelegt, der Benchmark ist hier aber textzentriert. Wer aus diesen Resultaten ein Gesamturteil über Bild- oder Videoverständnis ableiten will, urteilt über ein Werkzeug nur nach der Schraubendreher-Seite.
Geschwindigkeit und Laufcharakter
Der Speed Profile Badge Batch DevOps Expert ist keine dekorative Etikette, sondern die treffendste Kurzbeschreibung dieses Modells. Es generiert nicht wie ein hektischer Terminal-Komplize, sondern wie ein System, das lieber einmal zu viel prüft als einmal zu schnell danebenliegt. Auf dem lokalen Referenzsystem ASUS GX10 / NVIDIA DGX Spark (GB10 Grace Blackwell Superchip, ~115 GB Unified Memory — kein praktisches Speicherlimit für getestete Modellgrößen) zeigt sich genau dieser Charakter: ordentlicher Durchsatz, aber ein klarer Hang zu Tail-Latenzen, die interaktive Arbeit ausbremsen können.
Dass die P95-Antwortzeit problematisch ausfällt, passt zum Thinking-Modus und zum Badge. Das entschuldigt die Ausreißer nicht vollständig, erklärt sie aber. Für Batch-Jobs, längere Prüfungen, Dokumentarbeit oder asynchrone Agentenketten ist das akzeptabel. Für direkte Werkzeugsteuerung unter Zeitdruck eher nicht. Kurz gesagt: Dieses Modell arbeitet wie ein gründlicher Kollege, der selten fehlt, aber gern die Sitzung überzieht.
Positiv ist die Token-Ökonomie. Über alle gemessenen Module bleibt das Modell im erwartbaren Rahmen, kein Bereich läuft textlich aus dem Ruder. Gerade bei einem lokalen Modell ist das mehr als eine Schönheitsfrage, denn zusätzliche Tokens bedeuten hier direkt mehr Wartezeit. Qwen verhält sich token-ökonomisch. Das ist professionelle Nüchternheit, kein Glamour, aber im Alltag Gold wert.
Reasoning und Logik
Im Reasoning zeigt Qwen 3.6 35B-A3B NVFP4 (vLLM, MoE, MTP) seine überzeugendste Seite. Das Modell kann mehrstufige Logik nicht nur korrekt lösen, sondern didaktisch aufbereiten. Im Zwei-Wächter-Rätsel arbeitet es sauber mit <thought>-Tags, liefert die richtige Meta-Frage und erklärt sogar alternative Herleitungen. Das wirkt nicht wie auswendig gelernte Puzzle-Folklore, sondern wie echtes Strukturdenken.
Interessant ist dabei der Stil. Qwen neigt nicht zur kalten Minimalantwort, sondern zum erklärenden Ausbau. Das ist im Thinking-Modus ausdrücklich willkommen. Die Schwäche liegt eher in der Eleganz als in der Korrektheit. Der Judge bemängelt, dass mathematische Analogien wie Wahrheit-mal-Lüge zwar kreativ, aber unnötig abstrakt geraten. Das stimmt. Qwen denkt sichtbar, aber nicht immer mit dem schönsten Vokabular. Es ist der Unterschied zwischen einem guten Mathematiklehrer und einem wirklich guten Feuilletonisten.
Unterm Strich bleibt der Befund klar: Logisch ist das Modell belastbar. Es zerlegt Probleme ordentlich, exploriert Alternativen und halluciniert sich nicht in Nebengleise. Für Agentenplanung und analytische Zwischenstufen ist das eine echte Stärke.
Code Quality und Security
Wer bei den Architektur-Tags auf den Coder-Aspekt schaut, bekommt hier eine überwiegend seriöse Vorstellung. Im Security-Audit identifiziert Qwen fast das komplette Verwundbarkeitsbild, inklusive impliziter Lücken wie Header Injection, User Enumeration oder versteckter IDOR-Probleme. Das ist keine oberflächliche Checklisten-Abhakerei, sondern fachlich brauchbare Analyse. Die Markdown-Tabelle steht, die Maßnahmen stimmen, die Terminologie sitzt. Für einen offenen Generalisten mit 3 Milliarden aktiven Parametern ist das respektabel.
Aber genau hier zeigt sich auch die Grenze. Qwen erkennt viel, erzählt aber zu wenig über die Angriffsdynamik. Wo ein wirklich starkes Security-Modell Exploit-Pfade aufspannt, Prioritäten brutal klarzieht und dem Leser sagt, wie aus drei kleinen Rissen eine vollständige Systemkompromittierung wird, bleibt Qwen etwas schulbuchhaft. Der Judge kritisiert zu Recht fehlende Angriffsketten, zu knappe Exploit-Beispiele und stellenweise zu milde Schweregrade. Besonders bei Type Juggling und Session Fixation ist die Kalibrierung etwas zu zahm. Das Modell sieht die Bombe, beschreibt aber eher die Lackschäden.
Trotzdem: Für Code Review, Schwachstelleninventur und erste Remediation-Vorschläge ist das Ergebnis gut nutzbar. Die vorgeschlagenen Fixes sind technisch vernünftig, von Prepared Statements bis random_bytes(). Was fehlt, ist nicht Kompetenz, sondern Biss. Dieses Modell ist ein sauberer Auditor, kein Alarmist. In Security ist das sympathisch, aber nicht immer optimal.
CLI, Tool-Use und agentisches Verhalten
Die Tags „Agentic“ und „Instruct“ wecken die Erwartung, dass Qwen Aufgaben nicht nur versteht, sondern in operative Schritte übersetzt. Im Benchmark zeigt sich ein zweigeteiltes Bild. Strategisch denkt das Modell ordentlich, doch die direkte Werkzeugausführung bleibt im Thinking-Lauf nicht auf dem Niveau, das man sich von einem Agentenmodell wünscht. Der Gesamtdatensatz zeigt einen spürbaren Abstand zwischen Standard- und Thinking-Variante gerade dort, wo unmittelbare Tool- oder DevOps-Tauglichkeit zählt.
Das ist kein Widerspruch, sondern fast schon ein Lehrstück. Mehr Denken hilft nicht automatisch bei besserer Exekution. Im Gegenteil: Bei präzisen Tool-Tasks ist zu viel deliberative Energie manchmal Ballast. Der Thinking-Lauf wirkt stellenweise wie ein Ingenieur, der vor dem Drücken des Knopfs erst noch den Maschinenbau neu herleiten möchte. Für Planung, Strukturierung und Analyse ist das stark. Für knappe, exakte Werkzeuginteraktion ist der Standard-Lauf des gleichen Modells sichtbar pragmatischer.
Documentation Quality
Dokumentationsaufgaben liegen Qwen ordentlich. Die Kombination aus strukturiertem Denken, genug Kontextfenster und disziplinierter Textmenge zahlt sich hier aus. Es produziert typischerweise brauchbare, nachvollziehbare Ausarbeitungen, ohne in Redundanz zu kippen. Die Stärke ist weniger stilistische Eleganz als technische Sauberkeit. Leser bekommen in der Regel einen belastbaren Text, keinen literarischen Siegerkranz.
Gleichzeitig fehlt bisweilen die letzte Verdichtung. Qwen schreibt so, wie viele gute interne Entwicklerdokumente geschrieben sind: vollständig, korrekt, vernünftig priorisiert. Was man seltener bekommt, ist die brillante redaktionelle Zuspitzung. Das ist für interne Wissensarbeit oft völlig ausreichend. Wer aus dem Modell aber exzellente publizistische Dokumentation erwartet, sollte die Ambition dämpfen.
Content Transformation und UX Writing
Hier wird das Modell ambivalenter. In einer deutschen Umschreibungsaufgabe für ein toxisch formuliertes Job-Inserat arbeitet Qwen sauber, neutralisiert problematische Begriffe, wechselt zu inklusiver Sprache und wahrt den professionellen Ton. Das ist handwerklich gut und vollständig compliant. Der Haken: Die Antwort bleibt etwas kühl. Sie entfernt Toxizität, ohne wirklich Wärme zu erzeugen. Anders gesagt: Das Modell räumt den Raum auf, dekoriert ihn aber nicht.
Diese leichte stilistische Untertemperatur zeigt sich auch in komplexeren Transformationsaufgaben. In der Video-Skript-Aufgabe liefert Qwen nahezu alle geforderten Bausteine, inklusive Hook, Timing-Markern, Produktionshinweisen, Retention-Elementen und Troubleshooting. Das ist inhaltlich stark und produktionstauglich. Aber das Modell verliert die Längenbremse. In einer Aufgabe im Content-Transformation-Bereich überschritt das Modell die explizite Wortvorgabe von 900 Wörtern um 25 Prozent. Das System verhängte einen automatischen Abzug von 17,52 Punkten beziehungsweise 20 Prozent auf den erreichbaren Teilscore. Die inhaltliche Qualität der Antwort ist damit irrelevant. Die Strafe greift unabhängig davon.
Gerade dieser Befund ist für die Praxis wichtiger, als er auf den ersten Blick wirkt. Wer mit festen Textbudgets arbeitet, etwa in CMS-Workflows, Publishing-Pipelines oder Agentensystemen mit hartem Ausgabeformat, kann sich auf „inhaltlich gut gemeint“ nicht verlassen. Qwen ist in diesem Bereich nicht widerspenstig, aber auch nicht stählern präzise. Wenn Sprache, Format und Länge gleichzeitig unter Druck stehen, ist das Wortlimit nicht sakrosankt.
Cultural Intelligence
Cultural Intelligence gehört zu den angenehmeren Feldern dieses Modells. Die deutsche Ausgabedisziplin sitzt, inklusive Formvorgaben werden eingehalten, und die inhaltliche Bearbeitung sozial sensibler Texte gelingt ohne peinliche Schlenker. Im Recruiting-Beispiel ersetzt Qwen maskuline und aggressive Chiffren zuverlässig durch neutrale, professionelle Sprache. „Fachkraft“ statt Macho-Rhetorik ist kein Kunststück, aber viele Modelle patzen selbst daran noch.
Die Schwäche ist auch hier eher tonal als sachlich. Das Modell formuliert korrekt und respektvoll, bleibt aber weniger einladend als ein wirklich starkes Kommunikationsmodell. Der Judge beschreibt das treffend als korrekt, professionell, aber nicht außergewöhnlich warm. Für interne Kommunikation oder Compliance-nahe Textbereinigung ist das vollkommen ausreichend. Für Markenstimme, die zugleich inklusiv und emotional tragfähig sein soll, fehlt etwas Glanz.
Halluzinationen, Verlässlichkeit im Inhalt
Über alle Tests hinweg keine nennenswerten Halluzinationen. Das Modell erfindet lieber nichts, als sich mit falscher Gewissheit zu blamieren. Das ist gerade im Security- und Reasoning-Kontext ein echter Vertrauensgewinn.
Datenschutz und Datenhoheit
Ein eigener Datenschutzblock ist hier trotz vorhandener Vendor-Daten nicht der Hauptpunkt des Einsatzszenarios, weil dieses Modell mit lokalen Gewichten betrieben wird. Relevant bleibt aber die Provenienz der Gewichte: Das Weights-Provenienz-Risiko ist mit MEDIUM eingestuft, weil das Modell vom in China ansässigen Qwen-Team von Alibaba stammt, aber unter Apache 2.0 offen vorliegt und vollständig lokal ohne Verbindung zu Alibaba-Servern betrieben werden kann. Für europäische Unternehmen ist das ein wichtiger Unterschied. Das operative Datenrisiko des lokalen Betriebs ist deutlich niedriger als bei Nutzung einer chinesischen Cloud-API. Die Herkunftsbewertung verschwindet damit nicht, sie verliert nur ihre operative Schärfe.
Fazit
Qwen 3.6 35B-A3B NVFP4 (vLLM, MoE, MTP) ist im getesteten Thinking-Modus ein interessantes, aber nicht geschlossenes Modell. Es argumentiert gut, analysiert Code und Security mit echter Substanz, bleibt sprachlich diszipliniert und halluziniert auffallend selten. Gleichzeitig zahlt es für seinen Denkmodus einen realen Preis: Die Exekution wird nicht automatisch besser, die Tail-Latenz bleibt spürbar, und bei harten Formvorgaben fehlt manchmal die letzte Präzision.
Als Generalist in der Workstation-Klasse ist das Ergebnis ordentlich. Als MoE-Modell mit nur etwa 3 Milliarden aktiven Parametern pro Token ist die Leistung in Reasoning und Security sogar beachtlich. Aber die Architektur-Tags Coder, Agentic und Thinking erzeugen Erwartungen, die dieser konkrete Lauf nur teilweise einlöst. Das Modell denkt oft wie ein guter Berater und handelt zu selten wie ein präziser Operator.
Für den Einsatz heißt das: sehr brauchbar für Analyse, Code-Review, Dokumentation, sicherheitsnahe Erstbewertungen und asynchrone Agentenketten. Weniger überzeugend für strikte Live-Tool-Execution oder Workflows, in denen Wortlimits und formale Constraints absolut nicht verhandelbar sind. Im direkten Charaktervergleich innerhalb desselben Modells ist der Unterschied klar: Der Standard-Lauf wirkt operativer und insgesamt stärker, der Thinking-Lauf reflektierter, aber ineffizienter im Gesamtergebnis. Qwen zeigt hier Intelligenz mit Reibungsverlusten. Das ist respektabel. Es ist nur noch nicht die Form von Souveränität, aus der man blind eine Produktionsentscheidung machen sollte.
Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.