Qwen 3.8 27B (Thinking)

Mit einem Gesamtscore von 77,44 % liefert Qwen 3.8 27B im hier ausgewerteten Thinking-Modus ein bemerkenswert erwachsenes Bild ab. Das Modell ist als Generalist eingeordnet, läuft in der Workstation-Klasse und tritt mit 27,8 Milliarden dichten Parametern an. Dafür spielt es breit, technisch und oft mit echter Substanz. Der Speed Profile Badge „Batch DevOps Expert“ passt erstaunlich gut: nicht spritzig, aber strategisch, gründlich und klar auf längere technische Arbeitslasten ausgelegt. Als lokal nutzbares Open-Weights-Modell ist das die Sorte System, die nicht geschniegelt charmant sein will, sondern nützlich.

Kopfnoten: Stabilität und Zuverlässigkeit

Architektur und Charakter

Die vorab vergebene Kategorisierung trifft den Kern ziemlich gut. Qwen 3.8 27B ist kein schmaler Spezialist, obwohl man seine coder- und agentic-lastige DNA deutlich spürt. Als Generalist muss es in der Breite bestehen. Genau dort überzeugt es meist durch Struktur, nicht durch Eleganz. Als dense-Modell entsprechen die 27,8 Milliarden Parameter auch tatsächlich seiner aktiven Kapazität. Hier gibt es keinen MoE-Trick, der auf dem Papier groß aussieht und zur Laufzeit schrumpft. Für die Workstation-Klasse ist der Anspruch also hoch, und der ist legitim.

Wichtig ist auch der konkrete Testmodus: Dieser Bericht bezieht sich ausdrücklich auf den Thinking-Modus. Das ist kein kosmetischer Schalter, sondern prägt den Charakter des gesamten Laufs. Die Antworten fallen länger, analyselastiger und oft robuster aus. Gerade bei Logik- und Code-Aufgaben ist das erwünscht. Der Preis dafür zeigt sich allerdings brutal bei Stabilität und Ausreißern.

Die Multimodalität des Modells bleibt in diesem textzentrierten Benchmark naturgemäß nur am Rand sichtbar. Qwen 3.8 27B ist zwar nativ multimodal, aber dieser Test misst fast ausschließlich seine Textarbeit. Das ist keine Schwäche des Benchmarks, nur eine saubere Einordnung: Wer ein Urteil über Bild- oder Videoverständnis sucht, bekommt hier nur die halbe Biografie.

Geschwindigkeit und Laufzeitprofil

Auf dem lokalen Referenzsystem ASUS GX10 / NVIDIA DGX Spark (GB10 Grace Blackwell Superchip, ~115 GB Unified Memory — kein praktisches Speicherlimit für getestete Modellgrößen) zeigt Qwen 3.8 27B das Verhalten, das sein Badge schon andeutet: „Batch DevOps Expert“ steht für ein Modell, das nicht auf den schnellen Zuruf trainiert wirkt, sondern auf längere technische Sessions, Reviews und strukturierte Problemzerlegung. Die Generierung ist qualitativ eher moderat bis niedrig. Im Alltag heißt das: für Hintergrundarbeit plausibel, für eng getaktete Interaktion unerquicklich.

Hinzu kommt ein zweiter Effekt. Dieses Modell ist im Thinking-Lauf klar redseliger als der Flottenschnitt. In Reasoning und Metakognition ist das zulässig und oft sinnvoll. Aber auch in mehreren Praxis-Modulen produziert Qwen 3.8 27B deutlich mehr Ausgabetext als der Median anderer getesteter Modelle. Besonders auffällig ist UX Writing, wo es den erwartbaren Rahmen überschreitet. Bei einem lokalen Modell sind solche Mehrmengen vor allem ein Latenzsignal. Mehr Text bedeutet hier nicht mehr Kosten pro API-Aufruf, wohl aber mehr Wartezeit. Und an Wartezeit mangelt es diesem Lauf nun wirklich nicht.

Code und Security: technisch scharf, praktisch wertvoll

Seine stärkste Visitenkarte hinterlässt Qwen 3.8 27B im technischen Kern. Der Code-Quality-Bereich zeigt ein Modell, das Sicherheitslücken nicht nur erkennt, sondern in sinnvoller Granularität ordnet, erklärt und reparierbar macht. Im vorliegenden Audit arbeitet es eine PHP-Anwendung mit seltener Vollständigkeit ab: SQL Injection, XSS, CSRF, Session-Fixation, Path Traversal, unsichere Cookies, schwache Token, Type Juggling, IDOR. Selbst implizite Lücken wie Mail-Header-Injection oder sekundäre Injektionspfade werden sauber benannt. Das ist keine bloße Schlagwortsammlung, sondern ein Modell, das die Mechanik hinter dem Fehler verstanden hat.

Gerade im Security-Kontext ist das wichtig. Viele Modelle finden die lautesten Schwachstellen und stolpern bei den stillen. Qwen 3.8 27B tut das Gegenteil. Es markiert auch die weniger offensichtlichen Angriffsketten, selbst wenn seine Erläuterungen nicht immer die letzte Ausbaustufe der didaktischen Sorgfalt erreichen. Der Judge bemängelt etwa etwas knappere Begründungen und weniger ausformulierte Attack-Chain-Kontexte als im Referenzstandard. Das ist ein valider Abzug, aber keiner, der die Substanz infrage stellt. Die sicherheitsbezogene Kompetenz ist hier real.

Die Kehrseite ist operativ. Im Code-Quality-Modul ist die Stabilität verheerend. Ein Modell, das hervorragend analysiert, aber in vier von fünf Läufen ausfällt, verhält sich wie ein brillanter Gutachter, der nur jeden Freitag erreichbar ist. Für beaufsichtigte Einzelfälle ist das noch brauchbar. Für automatisierte Pipelines ist es brandgefährlich.

CLI, Tool-Use und agentische Qualität

Die hohe CLI-Leistung passt sauber zur agentischen Einordnung. Qwen 3.8 27B plant technische Schritte gut, strukturiert Befehlsfolgen klar und wirkt in terminalnahen Aufgaben selten verloren. Solche Modelle müssen nicht jeden einzelnen One-Liner mit der kalten Präzision eines Shell-Spezialisten ausspucken, wenn sie dafür die Aufgabe strategisch sauber zerlegen. Genau darin liegt hier eine Stärke.

Allerdings gibt es einen ernsthaften Makel im Tool-Use-Bereich. In einer Aufgabe halluzinierte das Modell Inhalte, die nicht aus dem tatsächlichen Tool-Ergebnis stammten. Der Score wurde deshalb per Halluzinations-Cap begrenzt. Für content-kritische Aufgaben wie Recherche, Berichte oder faktengebundene Agentenabläufe ist das kein Schönheitsfehler, sondern ein Alarmsignal. Ein Agent, der den Werkzeugkasten benutzt, aber das Messergebnis anschließend frei ergänzt, ist nicht zuverlässig, sondern gefährlich kreativ.

Das schmälert die agentische Eignung nicht vollständig, setzt ihr aber klare Grenzen. Für technische Planung, Analyse und Workflow-Vorbereitung eignet sich Qwen 3.8 27B gut. Für Tool-gebundene Tatsachenprotokolle braucht es Kontrolle, Guardrails und idealerweise einen Verifikationsschritt.

Reasoning: stark, strukturiert, aber nicht maximal tief

Im Reasoning-Modul zeigt Qwen 3.8 27B genau die Sorte Denken, die man von einem Thinking-Lauf erwartet. Es löst klassische Logikaufgaben korrekt, strukturiert seine Antwort in nachvollziehbare Schritte und betrachtet mehrere Ansätze, statt die erste plausible Idee als Wahrheit zu verkaufen. Beim Wächterrätsel etwa arbeitet es die doppelte Inversion sauber heraus und erklärt die Lösung verständlich. Das ist nicht spektakulär neu, aber solide beherrscht. Und solide beherrschtes Denken ist im Benchmark mehr wert als stilisierte Genialität.

Gleichzeitig bleibt ein Muster erkennbar: Das Modell ist häufig korrekt, aber nicht immer maximal ausgebaut. Tabellen, Vergleichsstrukturen und alternative Formulierungen fehlen gelegentlich dort, wo sie den Gedankengang noch belastbarer gemacht hätten. Der Abstand zum Referenzstandard liegt also weniger in der Logik als in der didaktischen Vollständigkeit. Qwen 3.8 27B denkt richtig. Es erklärt nur nicht immer bis zur letzten Schraube.

Das passt übrigens erstaunlich gut zur Doppelrolle aus Reasoning und Instruct. Einerseits will das Modell gründlich argumentieren, andererseits bleibt es aufgabenorientiert und vermeidet unnötige theoretische Schleifen. Das Ergebnis ist oft nützlich, manchmal etwas spröde. Aber Sprödigkeit ist im technischen Umfeld leichter zu verzeihen als ornamentale Leere.

UX Writing: starkes Handwerk, unpraktische Streuung

Im UX-Writing-Bereich liefert Qwen 3.8 27B inhaltlich beachtliche Arbeit. Jargon wird zuverlässig entfernt, progressive Offenlegung korrekt umgesetzt, psychologische Prinzipien sauber benannt und die erkannten Probleme werden explizit mit Lösungen adressiert. Der Judge bescheinigt dem Modell eine vollständige, präzise und in Teilen sogar substanziell stärkere Antwort als der Referenzstandard. Das ist Respekt wert, gerade weil UX Writing nicht zur klassischen Komfortzone technisch geprägter Modelle gehört.

Aber die Medaille hat hier einen sehr hässlichen Rand. Dieses Modul ist zugleich eines der instabilsten des gesamten Laufs. Zudem ist Qwen 3.8 27B hier deutlich zu ausführlich. Es produziert wesentlich mehr Text als nötig und überschreitet als einziges Modul den erwartbaren Verbosity-Rahmen. Für einen menschlichen Leser kann das noch als Gründlichkeit durchgehen. Für produktive Workflows ist es Ballast. Gute Mikrocopy muss präzise sein. Ein Modell, das sie mit analytischem Übergewicht ausliefert, verfehlt einen Teil der Disziplin, die das Genre verlangt.

Content Transformation und Cultural Intelligence: Talent mit Compliance-Schwäche

Hier wird Qwen 3.8 27B menschlicher, und das ist in diesem Fall kein Kompliment. In der inhaltlichen Transformation kann es starke Texte bauen, produktionsreife Skripte strukturieren und gute Hooks, Pattern-Interrupts, Screen-Cues und CTA-Elemente setzen. Das Material zeigt klar, dass das Modell Story- und Formatmechanik versteht. Gerade im Videoskript-Beispiel ist die dramaturgische Hand sichtbar.

Doch dann kommt die alte Plage vieler leistungsstarker Modelle: Es hält sich nicht sauber an die Spielregeln. In einer Content-Aufgabe ignorierte Qwen 3.8 27B die explizite deutsche Zielsprache und antwortete auf Englisch. In einer weiteren Aufgabe desselben Moduls tat es das erneut. Das ist kein Ausrutscher mehr, sondern ein strukturelles Signal. Über mehrere Aufgaben im Content-Transformation-Bereich zeigt das Modell ein konsistentes Muster: Bei simultanen Vorgaben aus Sprache, Länge und Format verliert es die Sprachvorgabe als erste Bedingung. In produktiven Redaktions- oder Marketing-Setups mit fester Ausgabesprache ist das ein reales Einsatzrisiko.

Hinzu kommt ein automatischer Hard-Constraint-Verstoß. In einer Aufgabe im Content-Transformation-Bereich überschritt das Modell die explizite Wortvorgabe von 900 Wörtern auf 1345 Wörter, also auf 149 % des Limits. Das System verhängte dafür einen automatischen Abzug von 20 % beziehungsweise 16,20 Punkten auf den erreichbaren Teilscore. Die inhaltliche Qualität der Antwort ist damit irrelevant. Die Strafe greift unabhängig davon. Genau so muss ein Benchmark an dieser Stelle hart bleiben.

Im selben Modul fiel außerdem eine inhaltlich heikle Lücke auf: Ein verlangter Troubleshooting-Abschnitt in einem Videoskript fehlte vollständig. Das ist kein bloßer Geschmacksunterschied, sondern ein Abschlussfehler bei einer explizit geforderten Strukturkomponente.

Die Cultural-Intelligence-Seite zeigt dann wieder das andere Gesicht des Modells. Dort erkennt Qwen 3.8 27B toxische oder kulturell unpassende Formulierungen gut, schreibt inklusiv um und trifft den professionellen Ton. Nur verliert es auch hier einmal die letzte Instruktionsdisziplin: Statt ausschließlich den überarbeiteten Zieltext auszugeben, hängt es erklärende Begründungen an. Das ist intelligent, aber eben ungehorsam. Ein Lektor freut sich darüber. Ein Produktionssystem nicht.

Dokumentation: fachlich gut, sprachlich nicht sauber genug

Im Documentation-Bereich arbeitet Qwen 3.8 27B insgesamt stark. Die Modulwertung ist hoch, und das passt zu seinem technischen Profil. Es kann dokumentieren, strukturieren und Zusammenhänge so aufbereiten, dass Fachlichkeit nicht im eigenen Gewicht zusammenbricht. Für ein Modell mit coder- und agentic-Nähe ist das fast die ideale Nebenkompetenz.

Aber auch hier gibt es einen dokumentierten Sprachfehler. In einer Aufgabe im Documentation-Bereich ignorierte das Modell die explizite Sprachanweisung und antwortete auf Englisch. Das ist kein technischer Defekt, sondern eine Schwäche im Instruction-Following. Zusammen mit den zwei Sprachverfehlungen im Content-Modul ergibt sich ein klares Muster: Qwen 3.8 27B ist stark im Denken und Formulieren, aber unter Mehrfach-Constraints nicht verlässlich genug in der Sprachführung.

Halluzinationen

Der gefährliche Moment im Tool-Use

Weil mindestens ein signifikanter Halluzinationsfall auftrat, verdient das Thema einen eigenen Blick. Der kritische Befund stammt aus einer Tool-Use-Aufgabe. Dort generierte Qwen 3.8 27B Inhalte, die nicht aus dem tatsächlichen Tool-Resultat ableitbar waren. Das ist keine poetische Ausschmückung, sondern eine erfundene Tatsachenebene. Der Benchmark begrenzt in so einem Fall den Score bewusst, weil für Recherche, Faktenberichte und Agenten mit externer Datenquelle genau hier die Vertrauensfrage entscheidet.

Das ist umso ärgerlicher, weil das Modell ansonsten häufig den Eindruck eines methodischen, kontrollierten Systems vermittelt. Halluzinationen dieser Art beschädigen diesen Eindruck stärker als ein reiner Wissensfehler. Wer Tool-Use mit verlässlicher Faktentreue koppeln will, darf sich von der sonstigen Kompetenz des Modells nicht einlullen lassen.

Datenschutz und Datenhoheit

Ein eigener Privacy-Block ist für diesen Lauf nicht nötig, weil Qwen 3.8 27B hier mit lokalen Gewichten betrieben wurde. Relevant bleibt dennoch die Provenienz der Gewichte: Das Weights-Provenienz-Risiko ist als MEDIUM eingestuft, weil das Modell von Alibaba in China entwickelt wurde. Praktisch wird dieses Risiko durch die Apache-2.0-Lizenz und den lokalen Betrieb deutlich entschärft, da keine Daten an den Hersteller übertragen werden.

Fazit

Qwen 3.8 27B ist ein interessantes Stück Modellbau: ein generalistisches, dichtes Workstation-Modell, das im Thinking-Modus über weite Strecken intelligenter wirkt als viele nominell größere Kandidaten. Code, Security, CLI und technisches Reasoning gehören klar zu seinen besten Seiten. Documentation gelingt ebenfalls stark. Das Modell hat Substanz, und man merkt ihm an, dass es lieber analysiert als improvisiert.

Doch man sollte sich von dieser Substanz nicht täuschen lassen. Die Kopfnoten sind ein massiver Warnhinweis. Die Timeout-Quote ist für unbeaufsichtigten Einsatz desaströs, die Tail-Latenz kritisch, und bei Sprach-Constraints zeigt Qwen 3.8 27B über mehrere Aufgaben hinweg eine echte Compliance-Schwäche. Dazu kommt der Halluzinationsfall im Tool-Use. Für Agenten, die Fakten aus Werkzeugen ziehen und ohne menschliche Sichtkontrolle weiterverarbeiten sollen, ist das ein Problem mit scharfen Kanten.

Im direkten Familienvergleich zeigt der Thinking-Lauf den klar stärkeren Gesamtcharakter als der Standard-Lauf desselben Modells: mehr Score, bessere technische Tiefe, deutlich reifer in Code und Dokumentation. Der Preis ist ebenso klar: mehr Text, mehr Batch-Charakter, mehr operative Schwere. Wer Qwen 3.8 27B lokal für Security-Reviews, Code-Audits, technische Dokumentation oder tiefere Analyseaufgaben einsetzt, bekommt ein ernstzunehmendes Werkzeug. Wer ein flottes, ausfallsicheres Alltagsmodell oder einen unbeaufsichtigten Produktionsagenten sucht, sollte weitergehen. Dieses Modell ist kein Leichtathlet. Es ist ein Werkstattgerät mit scharfem Messer und launischem Schalter.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.