Ornith 1.0 35B (FP8) (thinking on)

Mit einem Gesamtscore von 77.38% liefert Ornith 1.0 35B (FP8) genau das, was seine Metadaten versprechen: ein agentisch ausgerichtetes Workstation-Modell mit echtem Reasoning-Anspruch, starker DevOps-Ader und überraschend breiter Kulturfestigkeit. Der Speed-Profile-Badge Batch DevOps Expert passt dabei sehr gut. Dieses Modell denkt gründlich, plant ordentlich und arbeitet eher wie ein besonnener technischer Operator als wie ein gehetzter Chatbot. Souveränität ist hier der erfreuliche Teil der Geschichte: als lokal betreibbares Open-Weight-Modell mit MIT-Lizenz bleibt die Datenhoheit beim Nutzer.

Kopfnoten: Stabilität und Zuverlässigkeit

Ornith tritt mit einer interessanten Doppelrolle an. Einerseits ist es als Agentic-/Orchestration-Modell klar auf mehrstufige Aufgabenplanung, Tool-Use und technische Arbeitsabläufe zugeschnitten. Andererseits steckt unter der Haube ein MoE-Design, also eine Mixture of Experts, bei der pro Token nur ein kleiner Teil der Gewichte aktiv ist. Entscheidend ist deshalb nicht die Gesamtzahl von 35 Milliarden Parametern, sondern die aktive Kapazität von rund 3 Milliarden. Für ein Workstation-Modell ist das ein bemerkenswert effizienter Zuschnitt. Die Leistung wirkt daher weniger wie rohe Gewalt, mehr wie Spezialisierung mit guter Disziplin.

Wichtig ist auch der tatsächliche Testmodus: Dieser Lauf wurde ausdrücklich im Thinking-Modus evaluiert. Das ist keine Nebensache. Bei einem Modell mit Reasoning- und Thinking-Charakter sind längere Denkphasen, ausführlichere Herleitungen und eine geringere Schlagzahl erwartbar. Man sollte Ornith also nicht dafür tadeln, dass es nicht im Sprint antwortet, wenn es gerade für den Hindernislauf angezogen wurde. Das eigentliche Problem ist nicht die Gründlichkeit. Das Problem ist die Instabilität, die sich in diesem Lauf nicht mehr wegdiskutieren lässt.

Architektur-Charakter: Agent statt Alleinunterhalter

Die vorab vergebene Kategorisierung trifft den Kern erstaunlich präzise. Als Coder- und Agentic-Modell ist Ornith dort stark, wo Aufgaben zerlegt, Risiken gewichtet und technische Entscheidungen begründet werden müssen. Als Instruct-Modell folgt es Vorgaben meist sauber. Als Thinking-Modell neigt es nicht zu knappen Behauptungen, sondern zu nachvollziehbaren Lösungswegen. Und als Open-Weight-MoE bleibt es für lokale Workstation-Szenarien überhaupt erst praktisch.

Gerade die agentische Ausrichtung ist für die Einordnung wichtig. Solche Modelle müssen nicht in jeder Aufgabe die eleganteste Direktantwort liefern. Ihre Stärke liegt darin, Arbeitspakete zu strukturieren, Zwischenschritte zu erkennen und technische Konsequenzen nicht zu verschlafen. Das sieht man hier deutlich in CLI, Tool-Execution und Reasoning. Wo Ornith schwächer wird, ist weniger die strategische Ebene als die letzte Meile: stilistische Präzision, UX-Mikrocopy und konsistente Antwortverfügbarkeit unter Last.

Geschwindigkeit und Laufzeitprofil

Ornith 1.0 35B (FP8) lief in diesem lokalen Test nativ auf ASUS GX10 / NVIDIA DGX Spark (GB10 Grace Blackwell Superchip, ~115 GB Unified Memory — kein praktisches Speicherlimit für getestete Modellgrößen). Sein Badge Batch DevOps Expert ist keine Marketing-Schleife, sondern eine brauchbare Kurzbeschreibung: Das Modell ist eher für gründliche Stapelarbeit als für nervöse Interaktivität gebaut. Auf dem Testsystem wirkt die Generierung entsprechend moderat bis eher gemächlich, nicht unbrauchbar langsam, aber klar mit Fokus auf Sorgfalt statt Taktfrequenz.

Dazu passt auch das Token-Profil. Ornith verhält sich token-ökonomisch. Kein Modul sprengt den erwartbaren Rahmen, im Gegenteil: In Code Quality, Cultural Intelligence und UX Writing bleibt es unter dem Fleet-Median, in Documentation etwas darüber, aber ohne Exzess. Das ist wichtig, weil lokale Modelle mit Thinking-Modus sonst gern in wortreiche Selbstgespräche abgleiten. Ornith tut das nicht. Wenn es langsam ist, dann nicht wegen leerer Redseligkeit, sondern wegen echter Denkarbeit und sichtbar streuender Laufzeit.

Reasoning und Logik: ernsthaft, sauber, nicht geschniegelt

Im Logical-Reasoning-Bereich zeigt Ornith seine erwachsenste Seite. Die Qualität liegt hoch, und vor allem: Die Antworten tragen. Das Modell löst klassische Logikaufgaben korrekt, erklärt den Lösungsweg transparent und verliert sich trotz Thinking-Modus nicht in esoterischem Nebel. Ein Beispiel aus den Metakognitions-Protokollen zeigt das sehr klar: Beim Wächter-Paradox liefert Ornith die richtige Lösung, prüft mehrere Ansätze, vergleicht Alternativen und formuliert den finalen Schluss in gutem Deutsch. Nicht maximal elegant formatiert, aber inhaltlich überzeugend.

Gerade für ein Reasoning-Modell ist das die richtige Art von Stärke. Ornith wirkt nicht wie ein Modell, das zufällig auf die richtige Antwort stolpert. Es wirkt wie eines, das die Struktur der Aufgabe verstanden hat. Die leichte Schwäche liegt in der Darbietung. Im Vergleich zu besonders didaktischen Referenzlösungen fehlen manchmal Tabellen, visuelle Struktur oder die eine zusätzliche didaktische Schleife, die eine Antwort noch scanbarer machen würde. Das ist kein Denkfehler. Es ist eine Frage der Präsentation.

Code Quality und Security: technisch satt, nicht immer vollständig erzählt

Im Code- und Security-Bereich ist Ornith klar überdurchschnittlich. Die Security-Analyse im PHP-Audit zeigt ein Modell, das Schwachstellen nicht nur erkennt, sondern priorisiert, korrekt typisiert und mit passenden Fixes versieht. SQL Injection, Plaintext Passwords, XSS, Path Traversal, schwache Token-Generierung, Type Juggling, IDOR, CSRF: die Trefferquote ist hoch, die Schweregrade sitzen meist richtig, und die vorgeschlagenen Gegenmaßnahmen sind technisch brauchbar. Das ist keine blendende Demo, sondern nützliche Arbeit.

Interessant ist, was Ornith dabei nicht macht. Es schwafelt die Tabelle nicht mit Sicherheitsfolklore voll, sondern bleibt kurz, oft sogar kürzer als die Referenz. In diesem Fall ist die Kürze eher Tugend als Mangel, weil die Aufgabe explizit knappe Erklärungen verlangte. Schwächer wird es dort, wo Kontext und Kettenbildung gefragt sind. Ein kritischer Angriffspfad, eine zusammenhängende Risikoerzählung oder ein klares Executive Summary zur Produktionsreife fehlen mitunter. Auch einzelne diskrete Punkte wie Session Fixation werden nicht immer separat aufgespannt, obwohl sie praktisch relevant sind. Ornith ist hier also stärker als Analyst denn als Auditor mit Vorstandsvorlage.

Das ändert aber nichts am Kernurteil: Für Coding, Security-Reviews und technische Fehlersuche ist das Modell substanziell. Es findet viel, erklärt genug und halluziniert nicht ins Leere. Wer ein Werkzeug für konkrete technische Arbeit sucht, bekommt hier keine Blenderware.

CLI, Tool-Use und agentische Eignung

Mit sehr starken Werten in CLI und Tool Execution bestätigt Ornith seinen eigentlichen Einsatzzweck. Das Modell eignet sich für technische Arbeitsabläufe, bei denen eine Aufgabe nicht nur beantwortet, sondern in Handlungsschritte übersetzt werden muss. Genau hier zahlt sich die Kombination aus Agentic-Ausrichtung, Coding-Spezialisierung und Thinking-Modus aus. Ornith plant nachvollziehbar, bleibt in technischen Kontexten konzentriert und vermeidet die typische Schwäche vieler Chatmodelle, bei Shell- oder Workflow-Aufgaben nur halbkonkrete Prosa auszugeben.

Dass ToolUse und Synthesis nicht ganz auf absolutem Spitzenmaß liegen, ist verkraftbar. Der Charakter des Modells bleibt klar: ein DevOps-nahes Arbeitsmodell, das in der Strukturierung und Ausführung technischer Abläufe mehr überzeugt als in polierter Endredaktion. Für Agenten-Frameworks ist das grundsätzlich attraktiv. Gerade dort schmerzen allerdings die Timeouts besonders. Ein guter Plan nützt wenig, wenn der Agent in relevanter Frequenz einfach wegkippt.

Content Transformation und Dokumentation: stark in Struktur, gut in Produktion

Content Transformation gehört zu den erfreulichsten Bereichen dieses Laufs. Die Video-Skript-Aufgabe auf Deutsch meistert Ornith fast lehrbuchhaft: kompakte Analyse, vollständige Transformation, realistische Timestamps, Screen-Annotations, Production-Cues, Hook, Retention-Elemente, Troubleshooting, CTA und sogar ein sauber integriertes Easter Egg. Hier zeigt sich eine seltene Kombination aus Strukturdisziplin und kreativem Handwerk. Das Modell kann also nicht nur Bugs sezieren, sondern auch Produktionsmaterial bauen, das man mit wenig Nacharbeit weiterverwenden würde.

Auch die Dokumentationsqualität liegt auf gutem Niveau. Ornith ist in der Lage, technische Informationen nicht bloß zu reproduzieren, sondern geordnet und nutzbar aufzubereiten. Es schreibt dabei etwas ausführlicher als der Median, aber nicht verschwenderisch. Für interne Dokus, technische Erklärtexte und Umformulierung komplexer Vorlagen ist das Modell damit gut geeignet.

UX Writing und Cultural Intelligence: Licht, Schatten, und ein echter Betriebsunfall

Cultural Intelligence liegt klar im grünen Bereich. Ornith überarbeitet problematische Recruiting-Sprache in gutes, professionelles Deutsch, entfernt toxische oder männlich codierte Begriffe sauber und liefert inklusive Formulierungen ohne platte PR-Geste. Die Sprachbeherrschung ist hoch, und die kulturelle Anpassung wirkt nicht mechanisch. Einzelne Wortwahlen sind etwas weniger energisch als eine sehr gute Referenz, aber die Richtung stimmt. Das Modell versteht Tonalität, und das ist in diesem Segment mehr wert als dekorative Eloquenz.

Bei UX Writing ist das Bild komplizierter. Im Thinking-Modus zeigt Ornith hier eine echte Verwundbarkeit. In einer Aufgabe im UX-Writing-Bereich hat das Modell die Aufgabe zwar als abgeschlossen gemeldet, aber keinen sichtbaren Antworttext produziert. Das bedeutet entweder einen stillen Ausfall, reinen internen Reasoning-Output ohne ausformuliertes Ergebnis oder eine lautlose Verweigerung. In allen Varianten zählt dasselbe: Es gab keinen bewertbaren Output.

Hinzu kommt ein klar dokumentierter Hard-Constraint-Befund in genau diesem Modul. Die internen Reasoning-Tokens haben das verfügbare Ausgabekontingent verdrängt; die Antwort konnte nicht vollständig generiert werden. Das ist kein inhaltlicher Fehler im klassischen Sinn, sondern eine strukturelle Eigenschaft dieses Thinking-Laufs. Für den Produktiveinsatz ist sie trotzdem unerquicklich. Wenn ein Modell seine Denkkraft auf Kosten seiner sichtbaren Antwort auslebt, ist das kein philosophisches Problem, sondern ein Bedienproblem.

Gerade für agentische Systeme ist das heikel. Ein Agent darf intern lange nachdenken. Er muss am Ende aber liefern. Ornith tut das meist. In UX Writing tat es das hier sichtbar nicht. Das ist keine Kleinigkeit, sondern ein Warnsignal.

Stabilität als Praxisthema: der eigentliche Haken

Die vielleicht härteste Wahrheit dieses Benchmarks ist banal: Ornith ist inhaltlich besser als seine Stabilitätsnoten. Der qualitative Eindruck vieler Antworten ist stark. Reasoning, Security, Content-Transformation und technische Planung zeigen ein reifes Modellprofil. Aber die hohe Zahl an Timeouts und die kritische Tail-Latenz ziehen einen dicken Strich durch jede allzu romantische Einordnung.

Das Modell zeigt sporadische Aussetzer nicht mehr. Es zeigt ein belastbares Instabilitätsmuster. Für beaufsichtigte Einzelnutzung ist das lästig. Für unbeaufsichtigte Agent-Loops, CI-nahe Prüfketten oder verlässliche Batch-Pipelines ist es ein ernstes Problem. Nicht weil Ornith fachlich zu wenig kann, sondern weil Verlässlichkeit im Alltag ein Leistungsmerkmal erster Ordnung ist. Ein guter Techniker, der jede fünfte Schicht nicht erscheint, ist kein Produktionswunder.

Datenschutz und Datenhoheit

Entfällt als eigener Risikoblock, weil Ornith 1.0 35B (FP8) als Open-Weight-Modell lokal betrieben wird. Relevant ist vor allem die Provenienz der Gewichte: Das Risiko ist als LOW ausgewiesen. DeepReinforce ist eine US-basierte Forschungsorganisation, das Modell steht unter MIT-Lizenz ohne regionale Einschränkungen bereit, und beim lokalen Betrieb entsteht gerade kein Cloud-Zwang mit externer Anfrageverarbeitung.

Fazit

Ornith 1.0 35B (FP8) ist ein charaktervolles Modell. Als agentisch ausgerichtetes Workstation-MoE mit nur rund 3 Milliarden aktiven Parametern pro Token liefert es ein bemerkenswert erwachsenes Paket aus technischem Reasoning, Sicherheitsverständnis, CLI-Tauglichkeit und strukturiertem Content-Handwerk. Der Thinking-Modus steht ihm dabei gut: Die Antworten wirken bedacht, nachvollziehbar und selten billig improvisiert. Im Vergleich zum Standard-Lauf desselben Modells ist der Charakter hier klar reasoning-lastiger und im Gesamtscore sogar stärker, bezahlt aber mit spürbar trägerem und fragilerem Verhalten. Über alle Tests hinweg keine nennenswerten Halluzinationen — das Modell erfindet lieber wenig, als sich mit großer Geste zu blamieren.

Die Kehrseite ist nicht kosmetisch. Instabilität und kritische Ausreißer machen diesen Lauf für zeitkritische oder unbeaufsichtigte Produktivszenarien riskant. Wer lokal ein offenes Modell für DevOps-nahe Analyse, Security-Reviews, technische Planung und anspruchsvolle Agenten-Workflows sucht, sollte Ornith sehr ernst nehmen. Wer vor allem Zuverlässigkeit auf Knopfdruck braucht, muss Retrys, Guardrails und Monitoring fest einplanen. Ornith ist kein Schnellschreiber. Es ist eher der gründliche Ingenieur mit exzellentem Werkzeugkoffer, der leider gelegentlich nicht zur Übergabe erscheint.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.