LLM Model Review
Erstellt am
Mit einem Gesamtscore von 75.79 % tritt Ornith 1.0 35B nicht als gefälliger Generalist auf, sondern als spezialisierter Arbeitsapparat mit klarer Handschrift. Das passt zur Einordnung: primär agentisch gedacht, in der Workstation-Klasse verortet, als MoE-Modell konstruiert und damit sinnvollerweise eher an seinen rund 3 Milliarden aktiven als an 35 Milliarden gesamten Parametern zu messen. Der Speed Profile Badge lautet „Batch DevOps Expert“: also kein Sprinter für hektische Chatfenster, sondern ein Modell für längere, planungsintensive Arbeitsläufe. Sovereign Risk: MEDIUM — DeepReinforce ist ein US-Anbieter, unterliegt damit grundsätzlich US-Recht; beim hier relevanten lokalen Open-Weight-Betrieb verarbeitet der Anbieter selbst jedoch keine Nutzeranfragen.
Kopfnoten: Stabilität und Zuverlässigkeit
| Metrik | Wert | Bewertung | Analyse |
|---|---|---|---|
| Timeout-Rate | 10/49 | Unzuverlässig | Das Modell ist unzuverlässig und bricht in der Praxis signifikant oft weg. |
| P95-Antwortzeit | 162.79 s | Kritisch | Extreme Tail-Latenz. Das Modell streut massiv und ist für zeitkritische Prozesse ungeeignet. |
Diese Kopfnoten sind der erste Realitätscheck. Ornith 1.0 35B kann stark wirken, wenn man ihm Platz gibt. Es kann aber ebenso den Takt einer Pipeline ruinieren, sobald Verlässlichkeit wichtiger ist als intellektuelle Tiefe. Für ein agentisches Modell ist längeres Planen kein Makel. Zehn Aussetzer in 49 Tests sind es sehr wohl.
Architektur und Charakter: Kein Plaudermodell, sondern ein Planer mit Werkzeugkoffer
Die vorab vergebene Kategorisierung trifft den Kern erstaunlich gut. Als Coder- und Agentic-Modell soll Ornith nicht in erster Linie charmant formulieren, sondern Probleme zerlegen, Risiken benennen und in mehrstufigen Aufgaben die Linie halten. Als Thinking-Modell, und in diesem konkreten Lauf ausdrücklich mit aktiviertem Thinking-Modus getestet, darf es ausführlicher und argumentativer auftreten als ein knappes Instruct-Modell. Genau das tut es auch.
Wichtig ist dabei die MoE-Architektur, also „Mixture of Experts“: Pro Token arbeitet nur ein Teil der Gewichte aktiv. Das erklärt einen Teil seines Charakters. Ornith wirkt nicht wie ein roher 35B-Bolide, sondern wie ein fokussierter Spezialist mit wechselnden Teilkompetenzen. Die gute Nachricht daran ist Effizienz der aktiven Modellkapazität. Die schlechte: Das Ergebnis ist nicht immer gleichmäßig. Gerade in Benchmarks, die gleichermaßen Präzision, Formatdisziplin und Tempokonstanz verlangen, zeigt sich diese Ungleichverteilung unbarmherzig.
Reasoning: inhaltlich stark, didaktisch nicht immer elegant
Im Reasoning-Modul liefert Ornith 1.0 35B das, was man von einem echten Thinking-Lauf erwartet: keine bloßen Kurzantworten, sondern nachvollziehbare Lösungswege. Beim klassischen Wächter-Rätsel ist die Kernlogik korrekt, der Schluss sauber, die Fallunterscheidung belastbar. Das Modell erklärt den doppelten Umkehrmechanismus richtig und bleibt sprachlich klar. Das ist keine Sensation. Aber es ist die Art von sauberer Denkdisziplin, die man im Alltag häufiger braucht als spektakuläre Geistesblitze.
Der Haken liegt nicht in der Wahrheit des Ergebnisses, sondern in der Vermittlung. Gegenüber einer idealen Musterlösung fehlen die zweite und dritte Erklärungsebene: mehr visuelle Verdichtung, mehr alternative Formulierungen, mehr pädagogische Redundanz im besten Sinn. Ornith löst die Aufgabe, aber es unterrichtet sie nicht meisterhaft. Das ist ein wichtiger Unterschied. Wer ein Modell als Analysepartner nutzt, wird damit gut leben können. Wer daraus direkt Schulungs- oder Erklärtexte erzeugen will, bekommt korrekte Substanz, aber nicht immer die eleganteste Dramaturgie.
Ein systematischer Metakognitions-Ausfall zeigt sich hier nicht. Im Gegenteil: Im vorliegenden Thinking-Lauf arbeitet Ornith mit den geforderten Denk-Tags und hält damit Format und Inhalt zusammen. Für ein Modell dieser Kategorie ist das keine Kür, sondern Pflicht. Immerhin erfüllt es sie.
Code Quality und Security: hier zeigt Ornith seine eigentliche Begabung
Der interessanteste Teil dieses Modells liegt klar im technischen Auditieren. In der Code-Quality-Aufgabe zur Sicherheitsanalyse eines PHP-Skripts arbeitet Ornith mit ernster Fachlichkeit: SQL-Injection, Session Fixation, Path Traversal, CSRF, schwache Tokenisierung, Type Juggling, Header-Injection, Informationsabfluss. Das sitzt. Vor allem sitzt die Priorisierung. Ornith erkennt nicht nur einzelne Defekte, sondern bewertet ihre Schwere sinnvoll und strukturiert die Tabelle brauchbar für echte Review-Arbeit.
Genau dort zeigt sich die Coder-DNA. Das Modell schreibt keine ornamental überkluge Prosa, sondern versucht, Angriffsflächen in ein belastbares Raster zu bringen. Es benennt direkte Schwachstellen und auch implizite Risiken, etwa Mail-Header-Injection oder problematische Cookie-Handhabung. Inhaltlich halluziniert es dabei nicht wild herum. Die Fehler im Urteil liegen eher in der Gewichtung und im Zuschnitt.
Denn perfekt ist das nicht. Die Judge-Protokolle zeigen präzise, wo Ornith Punkte verschenkt: Es isoliert einzelne SQL-Injection-Vektoren nicht scharf genug, vor allem bei Delete- und Password-Reset-Pfaden. Es vermischt direkte Schwachstelle und Folgeproblem, wo eine echte Sicherheitsprüfung sauber trennen müsste. Dazu fehlt die Synthese eines Angriffspfads. Die Musterlösung zeigt, wie aus einzelnen Löchern eine Kette wird. Ornith liefert dagegen eher eine Inventarliste als ein Exploit-Narrativ. Für einen Auditor ist das brauchbar. Für ein Red-Team-Briefing noch nicht scharf genug.
Dazu kommt der schwerwiegendste Praxisbefund dieses Moduls: Die Qualität der Analyse steht in groteskem Kontrast zur Stabilität. Das Modul ist inhaltlich stark, lief aber auf der Zuverlässigkeitsseite praktisch gegen die Wand. Gerade Security-Reviews gehören zu den Aufgaben, bei denen man keine Lust auf Lotterie hat. Ein Modell, das vier von fünf entsprechenden Läufen wegreißt, wirkt wie ein brillanter Pentester, der nur zu jedem fünften Termin erscheint. Talent entschuldigt das nicht.
CLI und agentisches Verhalten: strategisch brauchbar, operativ nicht immer messerscharf
Die Gesamtcharakteristik als „Batch DevOps Expert“ passt. Ornith scheint Aufgaben nicht als einzelne Befehle zu betrachten, sondern als kleine Missionspläne. Dieses agentische Profil ist im Benchmark grundsätzlich positiv, weil es Struktur, Sequenzierung und implizite Werkzeugorientierung fördert. Man merkt dem Modell an, dass es nicht nur antworten, sondern vorgehen will.
Das ist gut, solange man Planung braucht. Es ist weniger gut, wenn exakte Direktheit verlangt ist. Der ToolUse-Score bleibt ordentlich, aber nicht herausragend. Das deutet darauf hin, dass Ornith strategische Anlage und operative Punktlandung nicht immer sauber zusammenbekommt. Für Shell-Aufgaben, DevOps-Triage oder mehrstufige Korrekturläufe ist das akzeptabel. Für Umgebungen, in denen jeder Befehl sofort sitzen muss, braucht es Kontrolle, Retries und im Zweifel einen engeren Prompt-Rahmen.
Content Transformation: gute Substanz, schlechtes Längenmanagement
Im Bereich Content Transformation zeigt Ornith eine wiederkehrende Eigenschaft dieses Modells: Es hat oft etwas Sinnvolles zu sagen, sagt aber zu viel davon. In der Videoskript-Aufgabe ist die inhaltliche Analyse durchaus brauchbar. Das Modell erkennt fehlende Hook, Timing-Marker, B-Roll-Cues, emotionale Anker und CTA-Struktur. Auch das eigentliche Skript ist nicht schlecht. Es ist funktional, deutsch, umsetzbar und in Teilen sogar engagierend.
Dann kommt die Disziplinfrage. Und die beantwortet Ornith unnötig schlecht.
In einer Aufgabe im Content-Transformation-Bereich überschritt das Modell die explizite Wortvorgabe von 900 Wörtern um 21 %. Das System verhängte einen automatischen Abzug von 20 Prozent beziehungsweise 17.00 Punkten. Die inhaltliche Qualität der Antwort ist damit irrelevant — die Strafe greift unabhängig davon. Das ist kein weich interpretierbarer Schönheitsfehler, sondern ein handfester Verstoß gegen eine klare Produktionsvorgabe.
Dieser Befund ist mehr als eine einmalige Nachlässigkeit. Die Token-Effizienz bestätigt das Muster. Im Content-Transformation-Modul produziert Ornith deutlich mehr Text als der Median der getesteten Modelle, obwohl die Aufgabe gerade dort Präzision und Taktung verlangt. Für lokale Nutzung bedeutet das vor allem mehr Laufzeit. Für agentische Workflows bedeutet es etwas Grundsätzlicheres: Das Modell verliert unter konkurrierenden Anforderungen zuerst das Wortlimit. Es denkt breit, wo es schneiden müsste.
UX Writing und sprachliche Kontrolle: kompetent, aber mit Hang zum Überreden statt Verdichten
Das UX-Writing-Ergebnis ist ordentlich, aber der Token-Befund wirft einen Schatten. Ornith produziert hier massiv mehr Text als nötig. Das wäre verzeihlich, wenn es dafür stilistisch überlegen wäre. Der Benchmark deutet jedoch eher auf ein anderes Profil: Das Modell kann formulieren, aber nicht mit der Sparsamkeit eines wirklich guten Produkttexters. Es erklärt, rechtfertigt, erweitert. Es schreibt nicht immer auf den Punkt.
Das ist eine klassische Spezialisten-Schwäche von Coding- und Agentic-Modellen. Sie wollen Zusammenhänge absichern, statt Reibung elegant verschwinden zu lassen. In UX-Microcopy ist genau das falsch. Ein Buttontext ist kein Architektur-Meeting. Wer Ornith für Produkttexte einsetzt, sollte es nicht frei laufen lassen, sondern mit harter Längen- und Formatführung arbeiten.
Documentation Quality: robustes Mittelfeld mit technischer Ernsthaftigkeit
Bei Dokumentation zeigt Ornith ein vergleichsweise gesundes Profil. Die Antworten sind strukturiert, erklärfreudig und im technischen Kontext anschlussfähig. Das Modell wirkt hier weniger wie ein Autor als wie ein gewissenhafter Kollege, der seine Übergabe sauber notiert. Das ist oft wertvoller als sprachlicher Glanz.
Auch hier bleibt aber das alte Muster sichtbar: mehr Umfang als der Median, ohne dass daraus automatisch mehr Erkenntnis wird. In Dokumentation ist das weniger fatal als in UX oder Content. Wer technische Teams bedient, kann mit dieser Art Breite leben. Trotzdem wäre etwas mehr editorische Härte im Modellverhalten wünschenswert. Nicht jede vollständige Antwort ist schon eine gute.
Cultural Intelligence: überraschend sicher, aber nicht ganz idiomatisch
Einer der angenehmeren Befunde ist die kulturelle und sprachliche Anpassung. Ornith bleibt in den vorliegenden Protokollen konsequent auf Deutsch und trifft den formalen Rahmen meist sauber. In der Bewerbungs- und Registerfrage etwa ist das Urteil klar: funktional gut, kulturell passend, aber im Ton nicht immer die beste deutsche Entsprechung. Das Modell versteht, was gemeint ist. Es trifft nur nicht jedes Mal die feinste Registerstufe.
Bemerkenswert ist, dass diese Schwäche nicht aus grober Sprachunsicherheit kommt. Sie entsteht eher aus leicht zu technischer oder zu neutraler Formulierung. Für ein Modell mit Coder- und Agentic-Schwerpunkt ist das fast schon ein Kompliment. Es zeigt, dass Ornith sprachlich nicht blind ist, aber seinen natürlichen Schwerpunkt woanders hat.
Geschwindigkeit und Effizienz: Batch ist hier keine Metapher
Ornith 1.0 35B wurde als lokales Modell nativ auf ASUS GX10 / NVIDIA DGX Spark (GB10 Grace Blackwell Superchip, ~115 GB Unified Memory — kein praktisches Speicherlimit für getestete Modellgrößen) evaluiert. Der Speed Profile Badge „Batch DevOps Expert“ beschreibt das Modell treffend: Die Generierung ist nicht auf unmittelbare Reaktion getrimmt, sondern auf längere, arbeitsintensive Durchläufe. Im Klartext heißt das: Ornith ist moderat bis eher langsam, und zwar nicht im Sinne gemütlicher Eleganz, sondern mit spürbarem Tail-Risiko bei Ausreißern.
Das passt teilweise zur Architektur. Ein agentisches Thinking-Modell darf länger brauchen, wenn es dafür sauber plant. Das Problem ist nicht die fehlende Echtzeitfähigkeit. Das Problem ist die Kombination aus hohem Textausstoß und unruhiger Stabilität. Die Token-Effizienz zeigt mehrere gelbe und rote Zonen: Code Quality, Content Transformation und besonders UX Writing laufen deutlich über dem Fleet-Median. Lokal heißt das vor allem: mehr generierte Tokens, mehr Wartezeit, mehr Gelegenheiten für Aussetzer. Ornith denkt viel. Es redet dabei oft auch zu viel.
Datenschutz und Datenhoheit
Ein eigener Datenschutz-Alarm ist bei diesem Modell im Kern nicht nötig, weil Ornith 1.0 35B als Open-Weight-Modell lokal betrieben wird und DeepReinforce keinen eigenen Cloud-Inferenzdienst bereitstellt. Relevant bleibt dennoch die juristische Herkunft: Der Entwickler sitzt in den USA, das berechnete Sovereign Risk liegt bei MEDIUM. Für den konkreten lokalen Einsatz ist das aber deutlich entschärft, weil die Hosting- und Speicherungsfrage vollständig beim Nutzer liegt und DeepReinforce selbst keine Anfragen verarbeitet.
Fazit
Ornith 1.0 35B ist ein ernst zu nehmendes Workstation-Modell mit klarer technischer Identität. Es erreicht 75.79 % nicht als geschmeidiger Alleskönner, sondern als lokaler Spezialist für Security-Analysen, Code-nahe Strukturarbeit und reasoning-lastige Agentenläufe. Seine MoE-Architektur mit rund 3 Milliarden aktiven Parametern pro Token ist dabei kein Marketingdetail, sondern die richtige Linse für die Bewertung: Gemessen daran ist die intellektuelle Ausbeute respektabel.
Aber dieses Modell hat einen Preis, und der heißt Praxisnerv. Die Instabilität ist zu hoch, die Tail-Latenz zu kritisch, die Verbosity zu ausgeprägt. Ornith ist oft klug, aber nicht diszipliniert genug. Es liefert in technischen Modulen Substanz, verliert jedoch bei harten Constraints und produziert gerade in textnahen Aufgaben mehr Material als Nutzen. Für lokale Coding- und Audit-Workflows mit menschlicher Nachkontrolle ist das dennoch ein attraktives Paket: offen, kommerziell nutzbar, reasoning-stark und in Security-Fragen wach. Für unbeaufsichtigte Agenten-Pipelines oder zeitkritische Interaktion ist es in diesem Zustand keine gute Idee. Über alle Tests hinweg keine nennenswerten Halluzinationen — das Modell erfindet lieber selten Unsinn, als sich mit kreativer Sicherheit lächerlich zu machen.
Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.