Zum Inhalt springen
CrucibleMark

Swift Qwen 3.8 27B

Swift Qwen 3.8 27B ist UkisAIs Reasoning-Effizienz-Finetune auf Qwen 3.8 27B: bis zu 58 Prozent weniger Thinking-Tokens bei unter einem Prozent Performance-Verlust und rund doppelt so hoher Durchsatz auf Reasoning-Aufgaben. NVFP4-Quantisierung mit 262.000 Tokens Kontext, MTP-Head für Speculative Decoding und dokumentiertem Tool-Use — Lizenz mit kommerzieller ARR-Schwelle.

UkisAI Version 3.8 Kommerzielle Nutzung erlaubt Dense 28 B (28 B aktiv) 262 K Context 12/2025 local getestet

  • Open Weights
  • Workstation
  • vLLM
  • Text
  • Vision
  • Gated-Weights
  • Batch

Sovereign Risk: MEDIUM TODO

Tool-Use-Profil: 6 Assets im Detail

Vergleich der Asset-Performance (P1/P2/Combined) gegenüber dem Flotten-Durchschnitt

Asset-Performance (Radar)

Score Breakdown vs. Fleet Average

Tool-Use-Details

Asset-Performance, Zuverlässigkeit und Laufzeit-Profil

Name P1 P2 Combined
EU License Research 100 40 64
HTTP Fetch & Extract 80 80 80
Tool Failure Handling (404) 80 100 87
Web Search & Tool Selection 100 40 73
URL Construction & Fetch 80 80 80
Multilingual Search & Synthesis 80 40 60

CrucibleMark prüft Tool-Use in 6 voneinander unabhängigen Tests. Klicken Sie auf einen Test-Namen für die Details.

Reliability

  • Tool Call Valid: Nein
  • Retry: Nicht erforderlich
  • Halluzination: Nicht erkannt

Reliability misst, wie verlässlich ein Modell Werkzeugaufrufe tatsächlich ausführt: Tool Call Valid Schema und Format akzeptiert, Retry Required erst nach Wiederholung erfolgreich, Halluzination Flag erfundene Tools oder Parameter erkannt. Alle drei grün bedeutet produktionstauglich.

Betriebsprofil

Call 1
4.21
First Request
MCP
1.43
Protocol Latency
Synthesis
28.14
Response Generation
Total
202.69
Sum of All Phases
Token
9611
Input + Output
Cost
$0
Cost per Run

Das Betriebsprofil zeigt die Laufzeit- und Kostenkennzahlen des Modell-Laufs: Call 1 First Request, MCP Protocol Latency, Synthesis Response Generation, Total Summe aller Phasen, erganzt um Token Input und Output sowie Cost Kosten pro Lauf.

Tool-Use-Review

Erstellt am · Gated-Weights

Deployment-Urteil

Bedingt deploy, weil die Tool-Ausführung insgesamt tragfähig ist, aber die Tool-Calls nicht durchgängig valide waren und die Synthesequalität für vertrauenskritische Pipelines zu ungleich ausfällt.

Tool-Execution-Profil

Swift Qwen 3.8 27B zeigt echte Werkzeugwahl statt reinem Standardmuster. Beim Test Web Search & Tool Selection, der ohne expliziten Hinweis die Wahl zwischen Suche und Direktabruf prüft, erkennt es den Bedarf für web_search sauber und erreicht volle Ausführungssicherheit. Das spricht für brauchbare Planungslogik in dynamischen MCP-Pipelines.

Schwächer ist die Präzision im Anschluss. Beim URL-Construction-Test, der prüft, ob das Modell die Ziel-URL selbst ableitet und dann fetch korrekt nutzt, bleibt es brauchbar, aber nicht deterministisch genug für strikt automatisierte Flows. Das passt zum globalen Befund: P1 ist stark, aber tool_call_valid=false zeigt, dass Protokolltreue und Call-Genauigkeit nicht in jedem Lauf sauber sitzen. Für produktive Tool-Ketten heißt das: gute Intent-Erkennung, aber Absicherung auf Executor-Seite bleibt Pflicht.

Synthesetreue

Wie gut verdichtet es Tool-Ergebnisse? Nur begrenzt verlässlich. Die P2-Leistung liegt sichtbar unter der Ausführungsleistung. Bei EU License Research, Web Search & Tool Selection und Multilingual Search & Synthesis bricht die Verdichtung ein. Das Modell beschafft Informationen oft erfolgreich, formuliert sie danach aber zu grob, lässt relevante Einschränkungen liegen oder priorisiert nicht sauber genug für Architekten-Entscheidungen.

Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Überwiegend ja, und das ist der wichtigere Vertrauenspunkt. Im Honeypot EU License Research, der prüft, ob aktuelle Lizenzrestriktionen aus Web-Quellen statt aus dem Trainingswissen beantwortet werden, zeigt es zwar nur schwache Nutzwert-Synthese, aber keine erkannte Halluzination. Das ist kein Qualitätssieg, aber ein Vertrauenssignal: Es erfindet nicht offen aktuelle Compliance-Fakten.

Fehlerresilienz

Hier ist das Modell produktionsfähig. Im 404-Test, der transparente Reaktion auf einen fehlschlagenden Tool-Call statt erfundenem Seiteninhalt misst, kommuniziert es den Fehler sauber und halluziniert keinen Ersatzinhalt. Genau dieses Verhalten braucht eine Tool-Pipeline: sichtbarer Ausfall statt stiller Fiktion.

Betriebsprofil

Total 202.69s pro Run. Call 1: 4.21s. Call 2: 28.14s. MCP-Latenz: 1.43s. Lokal betrieben, also infrastrukturell günstig. Gemessen an der nur guten Gesamtleistung ist das langsam.

Fazit & Empfehlung

Geeignet für lokale MCP-Pipelines, in denen Tool-Auswahl, Recherche-Anstoß und robuste Fehlerbehandlung wichtiger sind als hochwertige Endverdichtung. Gut einsetzbar als beschaffende oder vorbereitende Agentenstufe mit nachgelagerter Validierung. Nicht die richtige Wahl für Compliance-, Policy- oder Executive-Summary-Pipelines, in denen die Antwort selbst präzise, belastbar und ohne Interpretationsspielraum verdichtet werden muss.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.