Zum Inhalt springen
CrucibleMark

Qwen 3.8 27B (Thinking)

Qwen3.8-27B ist Alibabas dichte 27,8-Milliarden-Parameter-Variante der Qwen3.8-Familie (14. August 2026), nativ multimodal mit Vision-Encoder für Text, Bild und Video unter Apache-2.0-Lizenz. Die 64-Layer-Hybrid-Architektur aus Gated-DeltaNet- plus Gated-Attention-Blöcken plus Multi-Token-Prediction liefert 262.144 Tokens Kontext (erweiterbar auf rund eine Million via YaRN), konfigurierbares Reasoning (xhigh/medium/low) und optionalen No-Thinking-Modus.

Alibaba Version 3.8 Kommerzielle Nutzung erlaubt Dense 27.8 B (27.8 B aktiv) 262 K Context 12/2025 local getestet

  • Open Weights
  • Workstation
  • vLLM
  • Text
  • Vision
  • Video
  • Instruction-Tuned
  • Long Context
  • Batch

Sovereign Risk: MEDIUM Das Modell wurde von Alibaba entwickelt, einem Unternehmen mit Sitz in China. Dies birgt ein theoretisches Risiko aufgrund der chinesischen Gesetzgebung. Da die Gewichte jedoch unter der permissiven Apache-2.0-Lizenz veröffentlicht wurden und für den lokalen Einsatz vorgesehen sind, erfolgt keine Datenübertragung an den Hersteller. Das Risiko wird als ‘mittel’ eingestuft: Der Ursprung liegt in einer Hochrisiko-Jurisdiktion, aber die offene Lizenz und die lokale Nutzung minimieren das praktische Risiko erheblich.

Tool-Use-Profil: 6 Assets im Detail

Vergleich der Asset-Performance (P1/P2/Combined) gegenüber dem Flotten-Durchschnitt

Asset-Performance (Radar)

Score Breakdown vs. Fleet Average

Tool-Use-Details

Asset-Performance, Zuverlässigkeit und Laufzeit-Profil

Name P1 P2 Combined
EU License Research 100 40 64
HTTP Fetch & Extract 80 80 80
Tool Failure Handling (404) 80 35 64.3
Web Search & Tool Selection 100 80 91
URL Construction & Fetch 80 80 80
Multilingual Search & Synthesis 100 40 70

CrucibleMark prüft Tool-Use in 6 voneinander unabhängigen Tests. Klicken Sie auf einen Test-Namen für die Details.

Reliability

  • Tool Call Valid: Nein
  • Retry: Nicht erforderlich
  • Halluzination: Erkannt

Reliability misst, wie verlässlich ein Modell Werkzeugaufrufe tatsächlich ausführt: Tool Call Valid Schema und Format akzeptiert, Retry Required erst nach Wiederholung erfolgreich, Halluzination Flag erfundene Tools oder Parameter erkannt. Alle drei grün bedeutet produktionstauglich.

Betriebsprofil

Call 1
5.75
First Request
MCP
1.56
Protocol Latency
Synthesis
47.12
Response Generation
Total
326.55
Sum of All Phases
Token
15252
Input + Output
Cost
$0
Cost per Run

Das Betriebsprofil zeigt die Laufzeit- und Kostenkennzahlen des Modell-Laufs: Call 1 First Request, MCP Protocol Latency, Synthesis Response Generation, Total Summe aller Phasen, erganzt um Token Input und Output sowie Cost Kosten pro Lauf.

Tool-Use-Review

Erstellt am · Instruction-Tuned · Long Context

Deployment-Urteil

Bedingt deploy: Die Tool-Ausführung ist stark, aber die erkannte Halluzination bei ungültigem Tool-Call und der nicht valide Tool-Call selbst disqualifizieren das Modell für unbeaufsichtigte MCP-Pipelines.

Tool-Execution-Profil

Qwen 3.8 27B zeigt echte Werkzeugintelligenz. Beim Test Web Search & Tool Selection, der ohne expliziten Hinweis die Wahl zwischen Suche und direktem Abruf prüft, erkennt es zuverlässig, dass erst web_search statt fetch nötig ist. Das spricht gegen ein starres Abrufmuster. Auch beim Test URL Construction & Fetch, der die Ableitung einer Ziel-URL aus Eigenwissen misst, arbeitet es grundsätzlich brauchbar, aber nicht präzise genug für deterministische Abläufe. Das Profil ist damit stark in der Planungsphase und etwas schwächer in der exakten Protokollausführung. Der P1-Wert stützt das, aber produktionsrelevant ist vor allem: Der Tool-Call war im Lauf nicht valide. Das ist kein kosmetischer Formatfehler, sondern ein Integrationsrisiko an der MCP-Grenze. Positiv ist, dass kein Retry nötig war. Das Modell versteht also den Aufgabenfluss, scheitert aber nicht sauber genug an den formalen Schnittstellen.

Synthesetreue

Wie gut verdichtet es Tool-Ergebnisse? Nur eingeschränkt verlässlich. Die Synthesequalität ist insgesamt der klare Schwachpunkt. Bei HTTP Fetch & Extract und URL Construction & Fetch verdichtet es sauber, aber bei EU License Research und Multilingual Search & Synthesis bricht die Präzision deutlich ein. Das Muster ist konsistent: Fakten werden gefunden, aber nicht stabil genug in belastbare Ergebnistexte überführt.

Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Im Honeypot EU License Research bleibt es formal auf dem sicheren Pfad. Es halluziniert dort nicht aus dem Training, obwohl die Verdichtung schwach bleibt. Das ist wichtig. Gleichzeitig bleibt der globale Halluzinationsbefund ein Sicherheitsrisiko, nicht nur ein Qualitätsmangel. Sobald ein Modell erfundene Inhalte als Werkzeugergebnis ausgeben kann, verliert die gesamte Tool-Infrastruktur ihren Vertrauensanker.

Fehlerresilienz

Hier liegt der produktionskritische Defekt. Beim 404-Test, der transparente Reaktion auf einen fehlgeschlagenen Tool-Aufruf prüfen soll, kommuniziert Qwen 3.8 27B den Fehler nicht sauber, sondern halluziniert trotz Fehlers Seiteninhalt. Das ist für Produktion ohne Ausnahme inakzeptabel. Eine Pipeline kann mit einem offen gemeldeten Fetch-Fehler umgehen. Sie kann nicht sicher mit erfundenem Ersatzinhalt umgehen.

Betriebsprofil

Total 326.55s. Call 1 5.75s. Call 2 47.12s. MCP-Latenz 1.56s. Langsam für die erzielte Gesamtqualität. Kosten pro Run: local, damit infrastrukturseitig günstig.

Fazit & Empfehlung

Geeignet für assistierte Recherche-, Such- und Orchestrierungs-Pipelines mit menschlicher Abnahme oder harten nachgelagerten Validierern. Nicht geeignet für Compliance-, Dokumentations-, Incident- oder Retrieval-Workflows, in denen Tool-Fehler strikt transparent bleiben müssen und Synthesen direkt weiterverarbeitet werden. Wer es einsetzt, sollte Tool-Outputs schema-validieren, Fehlerpfade hart abfangen und jede inhaltliche Zusammenfassung gegen die Rohquellen prüfen.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.