Zum Inhalt springen
CrucibleMark

Ornith 1.0 35B (FP8)

Was die FP8-Block-Quantisierung Ornith-1.0-35B-FP8 leistet: ein Open-Weight-MoE mit nur etwa 3 von 35 Milliarden aktiven Parametern pro Token läuft auf einer einzelnen GPU und bringt 262.144 Tokens Kontext, natives Thinking und Tool-Calling mit. DeepReinforce hat das Modell so trainiert, dass es seine eigene Agent-Vorgehensweise mitlernt statt mit einem festen Regelwerk zu arbeiten. MIT-Lizenz, kommerzielle Nutzung und Fine-Tuning ohne Auflagen.

DeepReinforce Version 1.0 Kommerzielle Nutzung erlaubt MoE 35 B (3 B aktiv) 262 K Context 05/2026 local getestet

  • Open Weights
  • Workstation
  • VSPK
  • Text
  • Instruction-Tuned
  • Interactive

Sovereign Risk: LOW DeepReinforce ist eine US-basierte RL-Forschungsorganisation. Das Modell ist unter MIT-Lizenz ohne regionale Einschränkungen auf Hugging Face verfügbar (79.608 Downloads/Monat). Linienbaum: Qwen3.5-35B-A3B (hybride MoE-Basis, Alibaba Cloud) + Gemma 4 → DeepReinforce Ornith-1.0-35B (RL-Post-Training) → offizielle FP8-Block-Quantisierung (E4M3) desselben Autors. Kein chinesisches NSL-Risiko, kein US-CLOUD-Act-Risiko bei lokalem Betrieb, da reines Open-Weight-Modell ohne Cloud-API-Zwang.

Tool-Use-Profil: 6 Assets im Detail

Vergleich der Asset-Performance (P1/P2/Combined) gegenüber dem Flotten-Durchschnitt

Asset-Performance (Radar)

Score Breakdown vs. Fleet Average

Tool-Use-Details

Asset-Performance, Zuverlässigkeit und Laufzeit-Profil

Name P1 P2 Combined
EU License Research 95 60 74
HTTP Fetch & Extract 80 80 80
Tool Failure Handling (404) 40 40 37
Web Search & Tool Selection 95 80 88.3
URL Construction & Fetch 80 80 80
Multilingual Search & Synthesis 95 35 65

CrucibleMark prüft Tool-Use in 6 voneinander unabhängigen Tests. Klicken Sie auf einen Test-Namen für die Details.

Reliability

  • Tool Call Valid: Nein
  • Retry: Nicht erforderlich
  • Halluzination: Erkannt

Reliability misst, wie verlässlich ein Modell Werkzeugaufrufe tatsächlich ausführt: Tool Call Valid Schema und Format akzeptiert, Retry Required erst nach Wiederholung erfolgreich, Halluzination Flag erfundene Tools oder Parameter erkannt. Alle drei grün bedeutet produktionstauglich.

Betriebsprofil

Call 1
2.41
First Request
MCP
0.95
Protocol Latency
Synthesis
13.12
Response Generation
Total
98.92
Sum of All Phases
Token
12689
Input + Output
Cost
$0
Cost per Run

Das Betriebsprofil zeigt die Laufzeit- und Kostenkennzahlen des Modell-Laufs: Call 1 First Request, MCP Protocol Latency, Synthesis Response Generation, Total Summe aller Phasen, erganzt um Token Input und Output sowie Cost Kosten pro Lauf.

Tool-Use-Review

Erstellt am · Instruction-Tuned

Deployment-Urteil

Bedingt deploy, weil die Tool-Ausführung stark ist, aber ein invalider Tool-Call und erkannte Halluzination das Vertrauensniveau für unbeaufsichtigte MCP-Pipelines begrenzen.

Tool-Execution-Profil

Ornith 1.0 35B zeigt echte Werkzeugintelligenz, nicht nur starres Musterverhalten. Beim Test Web Search & Tool Selection, der ohne expliziten Hinweis die Wahl zwischen Suche und direktem Abruf prüft, erkennt es den Bedarf für web_search sehr zuverlässig. Das spricht für brauchbare Planungslogik in dynamischen Agent-Flows. Beim URL-Construction-Test, der die Ableitung einer Zieladresse aus Eigenwissen und den anschließenden Fetch misst, bleibt es brauchbar, aber nicht deterministisch genug für Pfade mit harter Protokolltreue. Der Gesamtwert in P1 ist gut, trotzdem ist der Befund „Tool-Call valide: false“ produktionsrelevant. Das heißt: Die Modellentscheidung ist oft richtig, die formale Ausführung ist nicht durchgehend MCP-sauber. Positiv ist, dass kein Retry erforderlich war. Das Problem wirkt daher eher wie ein punktueller Protokoll- oder Formatfehler als ein grundsätzliches Verständnisdefizit.

Synthesetreue

Wie gut verdichtet es Tool-Ergebnisse? Nur begrenzt verlässlich. Die Synthesis Quality liegt spürbar unter der Ausführungsseite. Das sieht man besonders bei Multilingual Search & Synthesis, wo die sprachübergreifende Recherche noch gelingt, die Verdichtung auf Deutsch aber deutlich an Präzision verliert. Für einfache Extraktion aus Fetch-Inhalten arbeitet es solide. Für mehrquellige, sprachgemischte Verdichtung ist es kein belastbarer Standardbaustein.

Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Im Honeypot EU License Research, der genau dieses Verhalten auf aktuelle Web-Quellen prüft, bleibt es ausreichend diszipliniert und halluziniert nicht aus dem Vorwissen. Das ist der wichtigste Vertrauensanker dieses Laufs. Gleichzeitig bleibt der globale Halluzinationsbefund ein Sicherheitsrisiko. In einer Tool-Pipeline ist das kein Qualitätsdetail, sondern ein Bruch der Beweiskette zwischen Quelle und Antwort.

Fehlerresilienz

Beim 404-Test, der transparentes Verhalten bei einem scheiternden Tool-Aufruf misst, erfindet Ornith keinen Seiteninhalt. Das ist die Mindestanforderung für Produktion und sie wird erfüllt. Schwach ist die eigentliche Fehlerbehandlung trotzdem: Der Output bleibt mit P2 40 zu knapp oder zu unklar, um nachgelagerte Systeme sauber zu informieren. Für operator-geführte Workflows ist das akzeptabel. Für vollautonome Fehlerpfade ist es zu dünn.

Betriebsprofil

Total 98.92s pro Run. Call 1 2.41s. MCP-Latenz 0.95s. Call 2 13.12s. Kosten/Run: local. Langsam für die erreichte Gesamtqualität. Günstig im Betrieb, wenn lokale GPU-Kapazität bereits vorhanden ist.

Fazit & Empfehlung

Geeignet für lokale, agentische Research- und Retrieval-Pipelines mit menschlicher Kontrolle, insbesondere dort, wo Werkzeugwahl wichtiger ist als sprachliche Verdichtung. Nicht geeignet als unbeaufsichtigter Synthese-Endpunkt für Compliance, mehrsprachige Zusammenführung oder strikt deterministische MCP-Orchestrierung. Wenn Sie es einsetzen, dann hinter Schema-Validierung, Tool-Call-Guards und einer zweiten Instanz zur Antwortprüfung.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.