Zum Inhalt springen
CrucibleMark

Ornith 1.0 35B (FP8) (thinking on)

Was die FP8-Block-Quantisierung Ornith-1.0-35B-FP8 leistet: ein Open-Weight-MoE mit nur etwa 3 von 35 Milliarden aktiven Parametern pro Token läuft auf einer einzelnen GPU und bringt 262.144 Tokens Kontext, natives Thinking und Tool-Calling mit. DeepReinforce hat das Modell so trainiert, dass es seine eigene Agent-Vorgehensweise mitlernt statt mit einem festen Regelwerk zu arbeiten. MIT-Lizenz, kommerzielle Nutzung und Fine-Tuning ohne Auflagen.

DeepReinforce Version 1.0 Kommerzielle Nutzung erlaubt MoE 35 B (3 B aktiv) 262 K Context 05/2026 local getestet

  • Open Weights
  • Workstation
  • VSPK
  • Text
  • Instruction-Tuned
  • Batch

Sovereign Risk: LOW DeepReinforce ist eine US-basierte RL-Forschungsorganisation. Das Modell ist unter MIT-Lizenz ohne regionale Einschränkungen auf Hugging Face verfügbar (79.608 Downloads/Monat). Linienbaum: Qwen3.5-35B-A3B (hybride MoE-Basis, Alibaba Cloud) + Gemma 4 → DeepReinforce Ornith-1.0-35B (RL-Post-Training) → offizielle FP8-Block-Quantisierung (E4M3) desselben Autors. Kein chinesisches NSL-Risiko, kein US-CLOUD-Act-Risiko bei lokalem Betrieb, da reines Open-Weight-Modell ohne Cloud-API-Zwang.

Tool-Use-Profil: 6 Assets im Detail

Vergleich der Asset-Performance (P1/P2/Combined) gegenüber dem Flotten-Durchschnitt

Asset-Performance (Radar)

Score Breakdown vs. Fleet Average

Tool-Use-Details

Asset-Performance, Zuverlässigkeit und Laufzeit-Profil

Name P1 P2 Combined
EU License Research 100 20 52
HTTP Fetch & Extract 80 60 70
Tool Failure Handling (404) 80 80 80
Web Search & Tool Selection 95 60 79.3
URL Construction & Fetch 80 80 80
Multilingual Search & Synthesis 100 60 80

CrucibleMark prüft Tool-Use in 6 voneinander unabhängigen Tests. Klicken Sie auf einen Test-Namen für die Details.

Reliability

  • Tool Call Valid: Nein
  • Retry: Nicht erforderlich
  • Halluzination: Nicht erkannt

Reliability misst, wie verlässlich ein Modell Werkzeugaufrufe tatsächlich ausführt: Tool Call Valid Schema und Format akzeptiert, Retry Required erst nach Wiederholung erfolgreich, Halluzination Flag erfundene Tools oder Parameter erkannt. Alle drei grün bedeutet produktionstauglich.

Betriebsprofil

Call 1
5.02
First Request
MCP
0.98
Protocol Latency
Synthesis
41.08
Response Generation
Total
282.54
Sum of All Phases
Token
19652
Input + Output
Cost
$0
Cost per Run

Das Betriebsprofil zeigt die Laufzeit- und Kostenkennzahlen des Modell-Laufs: Call 1 First Request, MCP Protocol Latency, Synthesis Response Generation, Total Summe aller Phasen, erganzt um Token Input und Output sowie Cost Kosten pro Lauf.

Tool-Use-Review

· Instruction-Tuned

Deployment-Urteil

Bedingt deploy, weil die Tool-Ausführung stark ist, die Gesamtnote mit 73.54 im produktiven Bereich liegt, aber die Tool-Calls nicht durchgehend valide waren und die Synthesequalität mit P2 60.00 zu oft hinter der Beschaffung zurückbleibt.

Tool-Execution-Profil

Ornith 1.0 35B (FP8) zeigt echte Werkzeugintelligenz. Beim Web-Search-&-Tool-Selection-Test, der prüft, ob ohne Hinweis web_search statt fetch gewählt wird, erreicht es P1 95. Das spricht gegen ein starres Muster und für brauchbare Situationsdiagnose. Beim URL-Construction-Test, der die eigenständige Ableitung einer Ziel-URL und den anschließenden Fetch misst, fällt es auf P1 80 zurück. Das ist noch produktionsfähig, aber nicht präzise genug für Pipelines, in denen URLs deterministisch konstruiert werden müssen.

Über die sechs Aufgaben hinweg ist das Ausführungsprofil insgesamt robust. EU License Research und Multilingual Search & Synthesis liegen bei P1 100. HTTP Fetch & Extract sowie Tool Failure Handling (404) liegen jeweils bei P1 80. Kritisch bleibt der Meta-Befund: Tool-Call valide ist false. Das bedeutet nicht, dass das Modell Tool-Nutzung grundsätzlich nicht beherrscht, aber dass die Protokolltreue nicht sauber genug ist, um ohne Guardrails direkt an eine MCP-Infrastruktur gehängt zu werden.

Synthesetreue

Wie gut verdichtet es Tool-Ergebnisse? Nur ordentlich, nicht verlässlich stark. P2 60.00 ist das klare Warnsignal dieses Laufs. Besonders schwach ist EU License Research mit P2 20, obwohl die Beschaffung selbst gelang. Das Muster ist konsistent: Ornith findet Quellen oft besser, als es sie anschließend verdichtet. Für produktive Agenten heißt das, dass die Retrieval-Schicht brauchbar ist, die Antwortschicht aber eng geführt oder nachvalidiert werden muss.

Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Im Honeypot EU License Research, der genau diese Disziplin prüft, wurde keine Halluzination erkannt. Das ist wichtig. Das Modell hat also nicht frei erfunden, sondern eher schlecht zusammengezogen. Vertrauensbruch liegt hier nicht vor, aber Verarbeitungsverlust sehr wohl.

Fehlerresilienz

Beim 404-Test, der transparentes Verhalten bei fehlschlagendem Tool-Call misst, reagiert Ornith akzeptabel. P2 80 und keine Halluzination trotz Fehler zeigen, dass es Fehlschläge offen behandelt statt Seiteninhalt zu erfinden. Für Produktion ist das die Mindestanforderung, und die erfüllt es.

Betriebsprofil

Call 1: 5.02s. MCP-Latenz: 0.98s. Call 2: 41.08s. Total: 282.54s. Langsam. Kosten/Run: local. Günstig im Betrieb, aber die Laufzeit ist im Verhältnis zur nur guten Gesamtleistung hoch.

Fazit & Empfehlung

Geeignet für lokale, agentische Recherche- und Tooling-Pipelines, in denen Beschaffung, Suche und Fehlerbehandlung wichtiger sind als hochwertige Endverdichtung. Sinnvoll für Entwickler-Workflows, interne Wissenssuche und mehrstufige Tool-Orchestrierung mit nachgelagerter Prüfung. Nicht die richtige Wahl für Compliance-, Policy- oder Executive-Summary-Pipelines, in denen die letzte Antwort ohne menschliche oder regelbasierte Kontrolle direkt weiterverwendet wird. Deploy nur mit strikter Tool-Call-Validierung, Output-Scoring und einer zweiten Instanz für die finale Synthese.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.