Qwen 3.5 397B A17B

Mit einem Gesamtscore von 73,0 Prozent zeigt Qwen 3.5 397B A17B ein durchaus erkennbares Profil: kein Blender, kein Präzisionsinstrument, sondern ein großes Cloud-Modell mit strategischer Intelligenz, ordentlicher Tool-Nähe und zu viel Hang zum Ausholen. Der zugewiesene Speed Profile Badge „Batch DevOps Expert“ passt verblüffend gut: Dieses Modell arbeitet eher wie ein gründlicher Nachtjob als wie ein flinkes Dialogwerkzeug. Als kommerzielles Cloud-Modell über Alibaba Cloud beziehungsweise DashScope, eingestuft als Vision-Language-Generalist der Frontier-Klasse mit MoE-Architektur und 397 Milliarden Gesamtparametern, aber nur 17 Milliarden aktiven Parametern, muss es sich an den Besten messen lassen. Sovereign Risk: HIGH — Alibaba unterliegt chinesischem Recht inklusive NSL-nahem Zugriffsumfeld; für europäische Nutzer bedeutet das ein reales Drittland- und Souveränitätsrisiko.

Kopfnoten: Stabilität und Zuverlässigkeit

Architektur und Einordnung

Qwen 3.5 397B A17B ist in diesem Testfeld ein interessanter Sonderfall. Die Metadaten weisen es gleichzeitig als General, Instruct, Thinking-Optional, Multimodal und Agentic-Orchestrator aus. Das klingt zunächst nach Bauchladen. In der Praxis ergibt sich daraus aber ein relativ klares Charakterbild.

Als Generalist muss Qwen auf breiter Front liefern. Als Instruct-Modell sollte es Anweisungen sauber und ohne Theater ausführen. Als Thinking-Optional-Modell unterstützt es erweitertes Nachdenken per API, dieser Modus war im Benchmark aber bewusst nicht aktiviert. Gemessen wurde also das Standardverhalten, so wie ein typischer API-Nutzer das Modell ohne Spezialkonfiguration erlebt. Dass ein solches Modell trotzdem intern mehr plant und dadurch langsamer wirkt, ist plausibel und hier auch sichtbar. Als Agentic-Orchestrator darf man ihm kleine Schwächen bei haarklein exakten Formataufgaben etwas milder auslegen, wenn dafür Planung, Struktur und Synthese stark sind. Genau dort liegen auch seine besseren Momente.

Wichtig ist außerdem die Use-Case-Klassifikation als Vision-Language-Modell. Dieser Benchmark ist textzentriert und misst nur einen Teil der tatsächlichen Kompetenz. Qwen 3.5 397B A17B ist also nicht vollständig über diesen Parcours zu fassen. Wer Bild- oder Videoeingaben nutzen will, bekommt hier nur die halbe Wahrheit. Im reinen Textbetrieb muss es sich dennoch dem Frontier-Maßstab stellen. Und dort zählt nicht die große Zahl auf dem Karton, sondern die aktive Kapazität: Bei einer Mixture-of-Experts-Architektur sind hier 17 Milliarden aktive Parameter der realistische Referenzwert, nicht die 397 Milliarden Gesamtgröße. Das erklärt manches. Entschuldigen kann es nicht alles.

Performance und Arbeitsgefühl

Die nackte Generierungsgeschwindigkeit liegt bei 22,82 Tokens pro Sekunde. Für ein Frontier-Modell aus der Cloud ist das nicht dramatisch langsam, aber in Verbindung mit der enormen Streuung bei den Antwortzeiten ergibt sich ein klares Bild: Qwen ist kein Modell für den schnellen Ping-Pong am Bildschirm. Der Badge „Batch DevOps Expert“ sagt genau das. Gemeint ist ein Modell, das eher für umfangreichere, nicht zeitkritische Arbeitsläufe taugt als für reaktive Interaktion.

Diese Einordnung ist wichtig, weil man Geschwindigkeit bei Cloud-Modellen nie isoliert lesen darf. Entscheidend ist das Verhältnis aus Preis, Latenz und Stabilität. Qwen kostet 0,39 Dollar pro Million Input-Token und 2,34 Dollar pro Million Output-Token. Das ist für ein Frontier-Modell nicht absurd teuer. Aber die API-Realität frisst den Vorteil teilweise wieder auf. Wenn ein Modell lange antwortet, häufig ausreißt und dabei noch überdurchschnittlich viele Tokens produziert, wird aus einem scheinbar fairen Preis schnell ein betrieblicher Kostenfaktor. Billig pro Token ist nicht automatisch günstig pro erledigter Aufgabe. Dieser Unterschied ist hier zentral.

API-Kostenprofil

Qwen 3.5 397B A17B ist kein sparsamer Schreiber. Das fällt gerade deshalb ins Gewicht, weil es als Cloud-Modell nach Token abrechnet.

Im CLI-Benchmark produziert das Modell durchschnittlich 6704 Tokens bei einem Fleet-Median von 287. Das entspricht dem 23,36-Fachen des Schnitts aller getesteten Modelle und überschreitet sogar das gesetzte Budget deutlich. Im Cultural-Intelligence-Modul sind es 3177 Tokens gegenüber 220 im Median, also der 14,44-fache Umfang. Auch UX Writing liegt mit 5138 Tokens gegenüber 1438 beim 3,57-fachen, Content Transformation mit 3992 gegenüber 1768 beim 2,26-fachen und Code Quality mit 4760 gegenüber 2317 beim 2,05-fachen.

Das ist kein bloßer Stilunterschied. Für API-Nutzer bedeutet es proportional höhere Kosten bei teils identischem oder nur leicht besserem Ergebnis. Qwen schreibt oft so, als würde niemand die Rechnung sehen.

Code Quality und Security

In der Code-Qualität erreicht Qwen 72,8 Prozent. Das ist auf Frontier-Niveau kein Triumph, aber auch kein Totalausfall. Die qualitativen Protokolle zeigen ein Modell, das Sicherheitsprobleme zuverlässig erkennt, sauber strukturiert und in gut lesbare Tabellen gießt. Es versteht die Oberfläche des Problems und liefert brauchbare Erstdiagnosen. Für einen schnellen Audit-Durchgang ist das nützlich.

Der Haken liegt in der Tiefe. In einem der Security-orientierten Code-Quality-Fälle identifizierte Qwen 15 von 19 Schwachstellen. Das klingt zunächst solide. Im Sicherheitskontext ist es aber ein Unterschied, ob vier Lücken kosmetisch oder systemisch fehlen. Hier fehlen unter anderem Session Fixation, ein Debug-bezogener Sensitive-Data-Exposure-Fall, eine Header-Injection-Variante nach Output und ein Reset-Token ohne Ablaufzeit. Vor allem aber bleiben die gefährlichen Kettenreaktionen unterbelichtet. Das Modell benennt etwa IDOR, erklärt aber nicht überzeugend, wie daraus zusammen mit schwachen Reset-Mechanismen ein kompletter Admin-Takeover werden kann. Genau diese Angriffspfade sind in der Praxis der Unterschied zwischen „unsauberes PHP“ und „akut kompromittierbar“.

Bemerkenswert ist, dass Qwen bei vielen Expert-Themen formal richtig liegt, aber analytisch vor der letzten Kurve ausrollt. Mail-Header-Injection wird erkannt, aber ohne greifbares Angriffsszenario wie Bcc-Missbrauch oder Spam-Relay. Type Juggling wird erkannt, aber ohne die PHP-spezifischen Fallstricke, die den Fall eigentlich scharf machen. Path Traversal wird erkannt, aber die typischen Umgehungen bleiben abstrakt. Das ist kein Anfängerfehler. Es ist die Handschrift eines Modells, das viel weiß, aber nicht immer mit letzter Konsequenz priorisiert.

Für Entwicklerteams heißt das: Qwen taugt als breiter Security-Screener, nicht als Ersatz für einen erfahrenen Reviewer. Wer daraus Tickets ableitet, spart Zeit. Wer daraus Entwarnung ableitet, spart am falschen Ende.

Reasoning und Logik

Im Bereich Logical Reasoning landet Qwen bei 72,66 Prozent. Das ist respektabel, aber nicht majestätisch. Seine Stärke liegt weniger im originellen Denksprung als in der kontrollierten, nachvollziehbaren Herleitung. Im Protokoll zur klassischen Wächterlogik liefert das Modell die richtige Frage, erklärt die doppelte Umkehr sauber und bleibt sprachlich präzise. Es argumentiert in Prosa statt mit Visualisierung, was die Antwort etwas weniger elegant macht, aber nicht falsch.

Hier zeigt sich auch, wie die Architektur-Kombination wirkt. Ein Thinking-Optional-Modell ohne aktivierten erweiterten Denkmodus kann intern durchaus viel arbeiten, ohne nach außen episch zu werden. Genau das passiert hier. Der Richter vermerkt hohen internen Denkaufwand bei einer sichtbar kompakten Antwort. Das ist grundsätzlich ein gutes Zeichen. Es bedeutet, dass das Modell nicht bloß flott improvisiert.

Metakognitions-Compliance (Reasoning): Das Modell verweigert in 3/5 metacog-Tests die Nutzung der explizit angeforderten <thought>-Tags mit einer konsistenten Policy-Aussage. Die Reasoning-Inhalte sind dabei inhaltlich teilweise korrekt — der Score-Abzug resultiert aus der Format-Verweigerung, nicht aus Denkfehlern. Zum Vergleich: In den Tag-freien reasoning_5*-Tests erzielt das Modell einen Durchschnittsscore von ca. 72,66 Prozent, was dem Niveau anderer Modelle entspricht. CrucibleMark bewertet bewusst die native Zero-Shot-Instruktions-Compliance als reales Alltagsmerkmal — dieser Abzug ist methodisch gewollt.

Das ist mehr als ein formaler Nebensatz. In Agenten- oder Workflow-Systemen zählen solche Dinge. Wenn ein Modell eine explizite Formatvorgabe wiederholt nicht ausführt, obwohl die inhaltliche Lösung vorhanden wäre, ist das kein philosophisches Problem, sondern ein Integrationsproblem. Qwen denkt oft brauchbar. Es gehorcht nicht immer präzise genug.

CLI und Tool-Nähe

Der CLI-Wert von 90,67 Prozent gehört zu den klaren Stärken des Modells. Das passt zur Agentic-Orchestrator-Einstufung. Qwen kann Aufgaben strukturieren, tool-nahe Schritte ableiten und im DevOps-Kontext sinnvoll arbeiten. Auch der ToolUse Score von 78,8 Prozent unterstreicht das. Dieses Modell versteht operative Abläufe deutlich besser, als sein gemächliches Antworttempo vermuten lässt.

Gleichzeitig offenbart gerade dieses Modul die größte Effizienzschwäche. Die Ausgabe ist mit 6704 Tokens nicht einfach lang, sondern aus dem Ruder. Wenn ein Modell CLI-Aufgaben korrekt löst, dabei aber ein Vielfaches des nötigen Texts erzeugt, ist das kein Qualitätsbonus. Es ist ein Kostenproblem und in automatisierten Ketten auch ein Stabilitätsrisiko. Shell-nahe Aufgaben leben von Präzision, nicht von essayistischer Fürsorge.

Für die Praxis heißt das: Qwen eignet sich eher als planender DevOps-Assistent, der Vorgehen begründet und Optionen sortiert, als als kompromisslos knapper Befehlsgenerator. Wer ein Modell für One-Liner mit chirurgischer Kürze sucht, wird sich hier öfter durch Übererfüllung kämpfen müssen.

UX Writing und Microcopy

Mit 63,79 Prozent ist UX Writing einer der sichtbar schwächeren Bereiche. Das überrascht nicht völlig. Instruct-Modelle tendieren zu funktionalen Antworten. Gute Microcopy braucht aber nicht nur Regelgehorsam, sondern Takt, Verdichtung und ökonomische Sprache. Genau dort wird Qwen unnötig breit.

Ein qualitatives Protokoll zeigt ein typisches Muster: Die Grundstruktur stimmt, eine Markdown-Tabelle ist vorhanden, die Analyse beginnt ordentlich, doch die Spaltenstruktur bleibt unvollständig und das Feingefühl für präzise, kompakte Optimierung fehlt. Das Resultat wirkt nicht inkompetent, eher schwerfällig. Microcopy soll Schilder aufstellen, keine Abhandlungen schreiben.

Hinzu kommt die Praxisnote: Das UX-Modul verzeichnet 2 Timeouts in 5 Tests. Für einen Bereich, in dem Antworten meist kurz und direkt sein sollten, ist das unerquicklich. Wenn ein Microcopy-Job hängen bleibt, zeigt das weniger künstlerische Tiefe als operative Unwucht.

Content Transformation

Hier liefert Qwen mit 78,52 Prozent eine seiner besseren Leistungen. Das Modell kann Inhalte umarbeiten, strukturieren und in neue Formate überführen, ohne dabei den roten Faden zu verlieren. Im Protokoll zu einem deutschsprachigen Videoskript für ein Security-Thema analysiert es die Defizite des Ausgangsmaterials sauber, baut funktionierende Timestamps ein und erzeugt natürliche, sprechbare deutsche Passagen. Der Text klingt nicht nach Übersetzungskarton, sondern nach einer Stimme, die man tatsächlich aufnehmen könnte.

Die Grenzen liegen wieder im letzten professionellen Schliff. Das Modell bleibt bei visuellen Hinweisen oft auf Abschnittsebene, während ein wirklich produktionsreifes Skript framegenau arbeitet. Das Outro bleibt knapper als ideal, und besonders die Backup-Codes, dramaturgisch ein zentraler Punkt in so einem Sicherheitsvideo, werden eher abgehandelt als inszeniert. Man sieht hier ein Modell, das den Job versteht, aber nicht immer den Ehrgeiz entwickelt, ihn bis zur Regieanweisung durchzuexerzieren.

In einer Aufgabe im Content-Transformation-Bereich antwortete das Modell trotz expliziter Sprachvorgabe nicht sauber monolingual: Der Haupttext war Deutsch, einzelne Produktionshinweise blieben auf Englisch. Das ist ein Ausreißer, der im Produktiveinsatz ohne Nachkontrolle direkt fehlschlägt.

Documentation Quality

Mit 67,18 Prozent bleibt die Dokumentationsqualität hinter den besseren Fachmodulen zurück. Das überrascht, weil Qwen eigentlich alle Zutaten mitbringt: große Kontextlänge, strukturierte Denke und einen Hang zur Ausführlichkeit. Gerade dieser Hang wird aber zum Problem. Gute Dokumentation ist nicht bloß vollständig, sondern priorisiert. Sie muss den Leser führen, nicht nur Material anhäufen.

Der Score deutet darauf hin, dass Qwen Dokumentationsaufgaben ordentlich erledigt, aber nicht mit der Präzision und Verdichtung, die man in dieser Klasse erwarten darf. Frontier-Modelle sollten Dokumentation nicht nur korrekt, sondern ruhig, klar und wirtschaftlich schreiben. Qwen ist eher der Kollege, der ein brauchbares internes Wiki baut, aber beim Redigieren noch jemanden braucht, der die Hälfte streicht.

Cultural Intelligence

Im Modul Cultural Intelligence erreicht Qwen 74,24 Prozent und zeigt damit eine ordentliche, aber nicht fehlerfreie kulturelle Sensibilität. Das qualitative Protokoll zu einer toxischen Stellenanzeige fällt überwiegend positiv aus. Das Modell entfernt aggressive Formulierungen, korrigiert geschlechtliche Schlagseite und bleibt vollständig auf Deutsch. Vor allem versteht es die eigentliche Aufgabe: nicht kommentieren, sondern sauber umschreiben. Das macht es.

Interessant ist, wo es an Niveau verliert. Die Richterkritik moniert nicht grobe Fehltritte, sondern fehlende Eleganz. Statt einer präzisen, inklusiven Singularform wählt Qwen vage Pluralformen wie „Fachkräfte“ oder „Persönlichkeiten“. Das ist korrekt, aber weniger fein gearbeitet. Die Sprache wird dadurch sicherer, aber auch diffuser. Kurz gesagt: Das Modell räumt die Scherben auf, richtet den Raum aber nicht schön ein.

Bei solchen Aufgaben ist das ein relevanter Unterschied. Cultural Intelligence ist nicht bloß das Vermeiden von Peinlichkeiten, sondern der positive Entwurf einer angemessenen Tonlage. Qwen besteht diese Prüfung meist, glänzt aber selten.

Datenschutz und Datenhoheit

Für europäische Unternehmen ist Qwen 3.5 397B A17B datenschutzrechtlich kein beiläufiges Detail, sondern Teil der Produktbewertung. Der kombinierte Befund aus Modell- und Provider-Daten lautet Sovereign Risk: HIGH. Grund ist nicht nur die Herkunft des Modells, sondern vor allem der Betrieb über Alibaba Cloud Intelligence Group mit Sitz in Hangzhou, China und der Unterwerfung unter chinesisches Recht einschließlich PIPL, CSL und DSL.

Konkret bedeutet das: API-Anfragen können in einer Rechtsordnung verarbeitet werden, für die aus EU-Sicht ein Drittlandtransfer-Risiko ohne Angemessenheitsbeschluss besteht. Der ausgewiesene Datenstandort lautet China plus regionale Rechenzentren weltweit. Eine GDPR-DPA ist verfügbar, was für Unternehmen wichtig ist, die formell DSGVO-konform arbeiten müssen. Das entschärft aber nicht die Grundfrage der staatlichen Zugriffsmöglichkeiten. Die öffentlich ausgewiesene Datenspeicherungsdauer ist unklar und mit -1 Tagen gerade nicht transparent dokumentiert. Das ist kein Detail, das man in einer Datenschutz-Folienpräsentation wegmoderieren sollte.

Hinzu kommt das Weights-Provenienz-Risiko MEDIUM. Die Gewichte stammen von Alibaba und damit aus einem chinesischen Unternehmenskontext. Da das hier getestete Deployment ebenfalls über die Hersteller-Cloud lief, fällt Provenienz- und Deployment-Risiko praktisch zusammen. Für deutsche und europäische Organisationen heißt das: Qwen kann fachlich interessant sein, verlangt aber eine saubere Risikoabwägung und ist nichts, was man unbesehen auf sensible Daten loslässt.

Fazit

Qwen 3.5 397B A17B ist ein eigensinniges Frontier-Modell mit erkennbarem Talent für Planung, Tool-Nähe und strukturierte Inhaltsarbeit. Es passt gut in seine redaktionell zugewiesene Rolle als Generalist mit Instruct-Charakter, optionalem Thinking und agentischer Orchestrierungsneigung. Als Vision-Language-Modell wird es im textlastigen Benchmark nur teilweise sichtbar, doch der gezeigte Textbetrieb reicht für ein klares Urteil: stark in CLI, ordentlich im Reasoning, brauchbar in Security-Audits, schwächer in UX-naher Verdichtung und insgesamt zu redselig für seine eigene Wirtschaftlichkeit.

Die eigentlichen Probleme sind nicht intellektuell, sondern operativ. 8 Timeouts in 43 Tests und eine P95-Antwortzeit von 266,18 Sekunden sind für produktive Cloud-Nutzung ein Warnsignal in Leuchtschrift. Dazu kommt die Format-Disziplin, die im Metakognitionsbereich nicht stabil genug ist, sowie ein Kostenprofil, das durch Token-Überschuss unnötig aufgeblasen wird. Wer Qwen einsetzt, sollte es für Batch-Aufgaben, Analyse, längere Planungsjobs und tool-nahe Workflows nutzen. Für enge Interaktion, harte Formatvorgaben und alles, was ohne Retry sofort sitzen muss, gibt es verlässlichere Charaktere. Über alle Tests hinweg keine nennenswerten Halluzinationen — das Modell erfindet lieber zu wenig als zu viel.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.