Zum Inhalt springen
CrucibleMark

Qwen3.6 27B Instruct

Qwen3.6 27B Instruct ist Alibabas erstes dichtes Modell seit dem Qwen3.5-Wechsel zu MoE — 27,8 Milliarden Parameter, alle pro Token aktiv, ohne Sparsity-Vorteil. Das Modell ist auf Agentic Coding und Repository-weites Reasoning ausgelegt, verarbeitet Text, Bild und Video nativ, bietet 262.000 Tokens Kontext und Function-Calling. Thinking-Modus mit Reasoning-Erhaltung über mehrere Turns und Apache-2.0-Lizenz, kommerzielle Nutzung frei.

Alibaba Version 3.6-27B-Instruct Kommerzielle Nutzung erlaubt Dense 27.8 B (27.8 B aktiv) 262 K Context 12/2025 local getestet

  • Open Weights
  • Workstation
  • VSPK
  • Text
  • Vision
  • Video
  • Instruction-Tuned
  • Batch

Sovereign Risk: MEDIUM Alibaba Cloud ist ein chinesisches Unternehmen, daher potenziell chinesisches NSL-Risiko bei Cloud-/API-Nutzung über Alibaba-eigene Endpunkte. Das Modell steht unter Apache-2.0-Lizenz ohne regionale Einschränkungen, Gewichte sind offen auf Hugging Face verfügbar (BF16 und FP8-Block-Quantisierung). Bei rein lokalem Betrieb über llama.cpp/GGUF/MLX entfällt sowohl NSL- als auch US-CLOUD-Act-Relevanz vollständig, da keine Datenübertragung an Alibaba-Server erfolgt. Trainingsdaten nicht vollständig offengelegt.

Tool-Use-Profil: 6 Assets im Detail

Vergleich der Asset-Performance (P1/P2/Combined) gegenüber dem Flotten-Durchschnitt

Asset-Performance (Radar)

Score Breakdown vs. Fleet Average

Tool-Use-Details

Asset-Performance, Zuverlässigkeit und Laufzeit-Profil

Name P1 P2 Combined
EU License Research 35 20 26
HTTP Fetch & Extract 80 60 70
Tool Failure Handling (404) 40 60 44
Web Search & Tool Selection 100 60 82
URL Construction & Fetch 80 80 80
Multilingual Search & Synthesis 100 60 80

CrucibleMark prüft Tool-Use in 6 voneinander unabhängigen Tests. Klicken Sie auf einen Test-Namen für die Details.

Reliability

  • Tool Call Valid: Nein
  • Retry: Nicht erforderlich
  • Halluzination: Nicht erkannt

Reliability misst, wie verlässlich ein Modell Werkzeugaufrufe tatsächlich ausführt: Tool Call Valid Schema und Format akzeptiert, Retry Required erst nach Wiederholung erfolgreich, Halluzination Flag erfundene Tools oder Parameter erkannt. Alle drei grün bedeutet produktionstauglich.

Betriebsprofil

Call 1
3.84
First Request
MCP
0.82
Protocol Latency
Synthesis
18.31
Response Generation
Total
137.84
Sum of All Phases
Token
7565
Input + Output
Cost
$0
Cost per Run

Das Betriebsprofil zeigt die Laufzeit- und Kostenkennzahlen des Modell-Laufs: Call 1 First Request, MCP Protocol Latency, Synthesis Response Generation, Total Summe aller Phasen, erganzt um Token Input und Output sowie Cost Kosten pro Lauf.

Tool-Use-Review

Aktualisiert am · Instruction-Tuned

Deployment-Urteil

Bedingt deploy, weil die Tool-Ausführung brauchbar ist, aber die Synthesetreue zu instabil bleibt und der Tool-Call im Lauf nicht durchgängig valide war. Der Combined-Score von 63.67 bestätigt genau dieses Bild: ein arbeitsfähiges Modell mit klaren Grenzen für produktive Tool-Pipelines.

Tool-Execution-Profil

Qwen3.6 27B Instruct zeigt echte Werkzeugwahl statt bloßem Schema-Folgen. Beim Test Web Search & Tool Selection, der ohne Hinweis die Wahl zwischen Suche und direktem Abruf prüft, traf es die richtige Entscheidung konsequent. Das spricht für agentische Grundkompetenz in offenen Pipelines. Beim URL-Construction-Test, der die eigenständige Ableitung einer Ziel-URL und den anschließenden Fetch misst, bleibt es gut, aber nicht deterministisch genug. P1 80 ist produktionsfähig, aber nicht robust genug für Flows, in denen schon kleine URL-Fehler den Lauf kippen. Kritisch ist, dass der Tool-Call insgesamt nicht valide war. Das ist kein Totalausfall, aber ein Protokollrisiko. Positiv: Es brauchte keinen Retry, also eher kein reines Formatproblem, sondern punktuelle Unsicherheit in der Ausführung.

Synthesetreue

Wie gut verdichtet es Tool-Ergebnisse? Nur eingeschränkt verlässlich. Die P2-Leistung von 56.67 zeigt, dass es gefundene Inhalte oft brauchbar zusammenzieht, aber Details nicht stabil genug konserviert. Das sieht man auch an EU License Research mit P2 20 und an mehreren Aufgaben, die bei der Ausführung stark, in der Verdichtung aber nur durchschnittlich enden. Für Pipelines, die aus Tool-Output belastbare Entscheidungstexte erzeugen sollen, ist das zu wenig Reserve.

Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Im Honeypot EU License Research, der genau dieses Verhalten gegen aktuelle Web-Quellen prüft, wurde keine Halluzination erkannt. Das ist der wichtigste Entlastungspunkt dieses Modells. Trotzdem ist das Vertrauensurteil nicht stark, weil die Antwortqualität dort sehr schwach war. Es erfindet hier nicht, aber es verwertet die recherchierte Evidenz auch nicht sicher genug.

Fehlerresilienz

Beim 404-Test, der prüft, ob ein Modell Tool-Fehler offen meldet statt Seiteninhalt zu erfinden, reagierte Qwen3.6 27B Instruct akzeptabel. Es halluzinierte trotz Fehler keinen Ersatzinhalt. P2 60 ist keine starke Fehlerdiagnostik, aber transparente Fehlerkommunikation reicht für Produktion aus. Für MCP-Pipelines ist das ein klarer Pluspunkt.

Betriebsprofil

Total 137.84s. Call 1 3.84s. MCP-Latenz 0.82s. Call 2 18.31s. Lokal betrieben, daher direkte Run-Kosten ohne API-Gebühr. Gemessen an der Leistung ist das langsam.

Fazit & Empfehlung

Geeignet für lokal betriebene Recherche- und Orchestrierungs-Pipelines, in denen Tool-Auswahl wichtiger ist als perfekte Verdichtung und ein nachgelagerter Prüfschritt die Antwort absichert. Nicht geeignet für Compliance-, Policy- oder Executive-Summary-Flows, in denen Tool-Ergebnisse präzise und vollständig verdichtet werden müssen. Wenn Sie es einsetzen, dann als Tool-using worker mit enger Ausgabevalidierung, nicht als letzte Instanz der Synthese.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.