Hermes 4 405B

Hermes 4 405B ist ein Generalist der Frontier-Klasse, dicht gebaut, mit 405 Milliarden aktiven Parametern und einem klaren Profil als direktes Instruct-Modell, dessen erweitertes Thinking grundsätzlich verfügbar wäre, im Benchmark aber bewusst nicht aktiviert wurde. Das Ergebnis von 67,07 Prozent mit dem Speed-Profile-Badge Real-Time Tool Expert zeigt ein Modell, das schnell, steuerbar und oft nützlich ist, aber die Aura des 405B-Giganten nicht immer in entsprechende Sorgfalt übersetzt. Via OpenRouter als Cloud Open-Weights-Modell serviert, wirkt Hermes in der Praxis eher wie ein sehr talentierter Operateur mit leichter Ungeduld als wie ein unerschütterlicher Referenzfall. Sovereign Risk: LOW — die Gewichte stammen von Nous Research in den USA, sind öffentlich verfügbar; das Provenienzrisiko ist niedrig, auch wenn US-Jurisdiktion grundsätzlich den CLOUD Act einschließt.

Kopfnoten: Stabilität und Zuverlässigkeit

Architektur und Charakter: Instruct mit angezogener Handbremse beim Denken

Die Metadaten Instruct, Thinking-Optional passen erstaunlich gut zum beobachteten Verhalten. Hermes 4 405B antwortet häufig straff, zielgerichtet und ohne jene didaktische Ausfaltung, die man von echten Thinking-Modellen erwartet. Das ist methodisch wichtig: Der Benchmark misst den Standardmodus. Das optionale Extended Thinking blieb aus Fairnessgründen ausgeschaltet. Wer also auf tiefere Herleitungen hofft, sieht hier nicht das volle theoretische Potenzial, sondern das Out-of-the-box-Verhalten eines großen, anweisungsfreudigen Chat-Modells.

Gerade deshalb ist das Urteil zweischneidig. Für alltägliche Instruktionsaufgaben ist diese Direktheit ein Vorteil. Bei Logik, Security und komplexeren Transformationsaufgaben kippt dieselbe Eigenschaft aber mitunter in Untererklärung, sprachliche Schlamperei oder vorschnelle Abkürzung. Ein 405B-Dense-Modell in der Frontier-Klasse darf sich daran messen lassen. Hier gilt nicht die Ausrede des kleinen Formfaktors. Alle Parameter sind bei jeder Antwort aktiv. Die Kapazität ist da. Nicht jede Entscheidung des Modells macht davon den besten Gebrauch.

Performance: schnell genug für Interaktion, schnell vor allem dank Provider-Infrastruktur

Der Leaderboard-Wert von 44,08 Tokens pro Sekunde ist für den Nutzer eine sehr ordentliche Interaktionsgeschwindigkeit. Zusammen mit dem Badge Real-Time Tool Expert bedeutet das: Hermes 4 405B eignet sich eher für zügige, werkzeugnahe Anfragen als für gemächliche Langstreckenanalyse. Der Badge ist kein Marketing-Schleifchen, sondern eine recht treffende Kurzbeschreibung des realen Einsatzprofils. Dieses Modell will antworten, nicht sinnieren.

Wichtig ist die Einordnung: Das hier ist ein Cloud Open-Weights-Modell via OpenRouter. Die gemessene Geschwindigkeit ist damit in erster Linie ein Benchmark der bereitgestellten Cloud-Infrastruktur des Anbieters plus Netzwerklatenz, nicht irgendein abstrakter Eigenschaftswert des Gewichtsfiles an sich. Wer 44,08 Tokens pro Sekunde sieht, sieht vor allem einen gut angebundenen Cloud-Endpunkt. Das ist im Alltag angenehm, aber auch abhängig vom Betreiber. Der einzelne Timeout im Testlauf erinnert daran, dass Performance und Verfügbarkeit in der Cloud immer ein Pakt mit fremder Infrastruktur bleiben.

Positiv fällt die Token-Ökonomie auf. In keinem Modul schießt Hermes über den erwartbaren Rahmen hinaus. Besonders auffällig ist die knappe Arbeitsweise im Reasoning-Bereich, wo das Modell mit durchschnittlich 592 Output-Tokens deutlich unter dem Fleet-Median von 1174 bleibt. Das kann man als Effizienz verbuchen. Man muss aber hinzufügen: Mitunter ist es auch bloß Kürze, wo Tiefe gefragt wäre. Sparsamkeit ist eine Tugend, bis sie zum Weglassen wird.

Code Quality und Security: nützlich, aber kein Auditor mit Jagdinstinkt

Im Bereich Code Quality erreicht Hermes 4 405B 67,64 Prozent. Das ist kein Totalschaden, aber auch kein Wert, der einem Frontier-Modell automatisch Respekt abnötigt. Die qualitativen Protokolle zeigen ein recht klares Muster: Das Modell erkennt viel, formuliert ordentlich, strukturiert sauber in Tabellenform und liefert konkrete Fixes. Das Problem ist die Vollständigkeit. In einem Security-Audit mit 19 relevanten Schwachstellen fand Hermes nur 15. Das entspricht einer Lücke von 31 Prozent. Für einen Helfer ist das brauchbar. Für einen Prüfer ist es zu wenig.

Die Richterprotokolle benennen die Versäumnisse sehr konkret: reflektiertes XSS, Header Injection nach Output, harte Secrets im Code, fehlende CSRF-Absicherung, Root-Zugang ohne Passwort und ein Reset-Token ohne Ablaufzeit blieben liegen. Noch problematischer ist die Einordnung der Schwere. Path Traversal und IDOR wurden zu milde taxiert, obwohl beide in der Musterlösung zu Recht als kritisch gelten, weil sie sich mit anderen Schwächen zu echten Übernahmeketten verbinden lassen. Genau dort trennt sich Tabellenfleiß von Sicherheitsverständnis. Hermes beschreibt einzelne Lecks, baut daraus aber zu selten das Bedrohungsbild.

Das heißt nicht, dass das Modell im Security-Kontext wertlos wäre. Im Gegenteil: Für Erstanalysen, strukturierte Review-Tabellen und das rasche Sammeln typischer Schwachstellen ist es produktiv. Nur sollte niemand den Fehler machen, diese Ausgabe als Abschluss eines Audits zu lesen. Hermes 4 405B ist hier ein fleißiger Junior mit guter Terminologie und ordentlichem Markdown, aber ohne den misstrauischen Instinkt eines erfahrenen Pentesters.

CLI und Tool-Nähe: Licht und Schatten hinter dem Badge

Die Tool- und CLI-Nähe ist im Gesamtbild einer der sympathischeren Züge des Modells. Das Badge Real-Time Tool Expert kommt nicht aus dem Nichts, auch wenn der konkrete CLI-Wert von 75,67 Prozent keine Dominanz markiert. Hermes arbeitet knapp, folgt Instruktionen meist direkt und verschwendet kaum Ausgabeplatz. Genau das will man in shell-nahen oder agentischen Flows oft sehen. Ein Modell, das nicht erst einen Essay über grep schreibt, bevor es den Befehl nennt, spart Nerven.

Gleichzeitig darf man den Tool-Score von 60,0 Prozent nicht beschönigen. Für ein Modell, das laut eigener Positionierung auf Tool Use, JSON und strukturierte Ausgaben optimiert sein soll, bleibt hier Luft nach oben. Das Ergebnis ist besser als beliebige Improvisation, aber nicht die Art von eisiger Präzision, die man für autonome Agenten blind einkalkuliert. Wer Hermes in Werkzeugschleifen einsetzt, sollte die Antwortformate validieren und kritische Schritte absichern. Das Modell ist bereit zur Arbeit, aber noch nicht bereit zur unbeaufsichtigten Schicht.

Reasoning und Logik: oft korrekt, aber zu oft zu knapp und sprachlich unsauber

Mit 66,26 Prozent im logischen Schlussfolgern zeigt Hermes 4 405B eine interessante, leicht frustrierende Qualität. Es liegt oft richtig. Nur erklärt es seinen Weg nicht immer so, dass man ihm gern folgt. Das passt wieder zum Instruct-Charakter im Standardmodus: direkt zur Lösung, manchmal mit zu wenig Geländer für den Leser.

Das Wächterrätsel aus den Protokollen ist exemplarisch. Inhaltlich lag das Modell richtig. Es wählte eine äquivalente Form der klassischen Lösung und die interne Argumentation war logisch tragfähig. Doch im finalen deutschen Output blieb die Erklärung mager. Der Richter monierte zu Recht fehlende Verifikation, keine saubere Fallunterscheidung und zu wenig pädagogische Aufbereitung. Man kann das Ergebnis benutzen. Man würde es nur ungern als Lehrstück abdrucken.

Noch wichtiger ist die Sprachseite. In zwei Metakognitions-Aufgaben innerhalb des Reasoning-Moduls tauchte ein automatischer Language Mismatch auf: Das Modell antwortete überwiegend auf Englisch, obwohl Deutsch verlangt war. Das ist kein Schönheitsfehler. Es ist ein Instruktionsproblem. Gerade bei Aufgaben, die zugleich Sprache, Struktur und Reflexion verlangen, verliert Hermes offenbar zuerst die Sprachvorgabe. Das Sprachversagen ist kein isolierter Ausreißer. Über mehrere Aufgaben im Reasoning-Bereich zeigt das Modell ein konsistentes Muster: Bei simultanen Vorgaben aus Sprache, Länge und Format verliert es die Sprachvorgabe als erste Bedingung.

In einer betroffenen Aufgabe im Reasoning-Bereich wurde die explizite Sprachvorgabe Deutsch verletzt; das System verhängte den regelbasierten Abzug automatisch. Die inhaltliche Qualität ist dann nur noch die halbe Wahrheit, weil der Benchmark solche Verstöße bewusst hart bestraft. Das ist methodisch richtig. Ein Assistent, der im falschen Idiom antwortet, hat die Aufgabe in vielen realen Umgebungen bereits verfehlt.

UX Writing: professionell, brauchbar, ein wenig blutleer

Im Modul UX Writing & Microcopy steht Hermes bei 68,93 Prozent. Das ist ein Feld, in dem das Modell seine Instruct-Tugenden ordentlich ausspielen kann. Die Protokolle loben zu Recht, dass reale Probleme erkannt, Jargon reduziert, progressive Offenlegung angewendet und Inhalte für mobile Oberflächen gekürzt wurden. Die Arbeit ist professionell, verständig und innerhalb des Budgets sauber. Man bekommt keine wirre Textwurst, sondern ein strukturiertes Ergebnis.

Aber auch hier bleibt etwas auf der Strecke: Persönlichkeit, Wärme, Biss. Der Richter beschreibt die Ausgabe als kompetent, aber steifer als die Referenz. Ein Wechsel zwischen formellem „Sie“ und informellem „du“ in einer Tabelle ist kein Weltuntergang, aber für Microcopy eben doch der falsche Ort für Nachlässigkeit. UX-Texte leben von Tonkonsistenz. Wer dort stolpert, stolpert nicht auf einem Nebenschauplatz.

Der größere Punkt ist Vollständigkeit im Detail. In der analysierten Flow-Optimierung blieb der dritte Schritt strukturell unvollständig, obwohl der Rest des Konzepts stimmig war. Das ist typisch Hermes: Die Grundidee sitzt, die Ausarbeitung reißt kurz vor dem Ziel ein. Kein Desaster. Aber eben auch kein Feinschliff, den man bei dieser Modellgröße als selbstverständlich hinnehmen sollte.

Content Transformation: gute Anlagen, aber die Sprachdisziplin reißt den Score ein

Mit 70,49 Prozent gehört Content Transformation zu den besseren Bereichen von Hermes 4 405B. Das Protokoll zeigt, dass das Modell inhaltlich einiges richtig macht: Analyse vorhandener Lücken, Timestamps, Produktionshinweise, Hook, Pattern Interrupt, Call-to-Action. Handwerklich ist das durchaus tragfähig. Der Text war zudem nicht aufgebläht, sondern blieb mit 2646 Tokens klar innerhalb des Budgets.

Dann kommt der Haken, und er ist nicht klein: In einer Video-Skript-Aufgabe antwortete Hermes fast vollständig auf Englisch, obwohl explizit Deutsch verlangt war. Das System meldete einen automatischen Language-Mismatch-Verstoß. In einer Aufgabe im Content-Transformation-Bereich ignorierte das Modell also die Sprachanweisung und verlor damit regelbasiert Punkte, unabhängig davon, dass das Skript an sich funktional war. Genau so muss ein harter Constraint auch behandelt werden. Wer eine deutsche Kampagne bestellt und ein englisches Skript bekommt, hat kein „teilweise richtiges“ Ergebnis erhalten.

Das Sprachversagen ist auch hier kein isolierter Ausreißer. Über mehrere Aufgaben mit kombinierten Vorgaben zeigt Hermes ein konsistentes Muster: Wenn Sprache, Format und kreative Struktur gleichzeitig gefordert sind, ist die Sprachvorgabe erstaunlich oft die erste fallengelassene Bedingung. Das ist für Content-Teams ein reales Risiko, weil solche Fehler in Produktionspipelines nicht elegant, sondern teuer sind.

Documentation Quality: solide Struktur, begrenzte Tiefe

Die Documentation Quality fällt mit 63,73 Prozent eher ernüchternd aus. Das passt zu den übrigen Beobachtungen: Hermes kann dokumentieren, aber nicht immer mit jener geduldigen Vollständigkeit, die gute technische Dokumentation auszeichnet. Die Token-Nutzung von durchschnittlich 2087 Tokens gegenüber einem Fleet-Median von 2838 wirkt zunächst effizient. In der Praxis liest sich das Ergebnis jedoch oft eher wie komprimierte Vernunft als wie gründliche Ausleuchtung.

Für Leser bedeutet das: Zusammenfassungen, Umformulierungen und strukturierte Dokumentblöcke liegen Hermes. Wo es um belastbare Herleitung, lückenlose Edge Cases oder das didaktische Ausbuchstabieren komplexer Zustände geht, wird die Luft dünner. Das ist nicht zufällig, sondern eine direkte Folge seiner Instruct-Neigung im Standardmodus. Hermes beantwortet lieber, als dass es entfaltet.

Cultural Intelligence: formal korrekt, menschlich noch nicht ganz weichgekocht

Mit 61,04 Prozent ist Cultural Intelligence keine Paradedisziplin. Dabei zeigen die Protokolle, dass das Modell die harten Anforderungen oft erfüllt: toxische Begriffe entfernen, Gender-Bias reduzieren, Ausgabe strikt auf Deutsch und ohne Erklärtext. Das ist die gute Nachricht. Die weniger gute: Die Sprache bleibt häufig im Modus „sauber, aber generisch“. Inklusivität wird erfüllt, aber nicht immer überzeugend inszeniert.

Das vorliegende Beispiel macht es deutlich. Hermes ersetzte problematische Begriffe korrekt, fand mit „Fachkraft“ eine neutrale Bezeichnung und lieferte eine professionelle Fassung. Was fehlte, war die Wärme der Einladung, das explizite Signalisieren von Offenheit und die sprachliche Eleganz, die aus bloßer Regelkonformität eine wirklich inklusive Ansprache macht. Das Modell klingt hier eher nach HR-Handbuch als nach Menschenkenntnis. Man kann damit arbeiten. Man gewinnt damit nur nicht automatisch Herzen.

Datenschutz und Datenhoheit

Für dieses Review zählt die konkrete Nutzungssituation: Cloud Open-Weights via OpenRouter. Die Model- und Vendor-Daten zeigen ein berechnetes Sovereign Risk von LOW. Die Begründung ist nachvollziehbar: Die Gewichte stammen von Nous Research in den USA, sind aber offen verfügbar; das Provenienzrisiko ist deshalb gering und nicht an eine Hersteller-API gebunden. Für die Modellquelle selbst gilt laut Vendor Card keine eigene öffentliche API von Nous; Datenschutzrisiken entstehen erst durch den tatsächlich genutzten Drittanbieter.

Genau dort liegt für europäische Unternehmen der praktische Punkt. Nous Research sitzt in San Francisco, USA. Die Gewichtsherkunft fällt damit grundsätzlich unter eine US-Jurisdiktion, auch wenn die Vendor Card für das offene Gewichtsmodell selbst kein festes Hosting-Regime vorgibt. Der Hinweis auf den CLOUD Act bleibt relevant: US-Behörden können unter bestimmten Voraussetzungen Zugriff auf Daten verlangen, auch wenn diese physisch außerhalb der USA verarbeitet werden. Das ist für deutsche und europäische Unternehmen kein theoretischer Randaspekt, sondern Compliance-Realität.

Die vorliegenden Card-Daten nennen als Datenstandort „Local or third-party hoster“, eine Datenspeicherung von 0 Tagen und kein GDPR DPA auf Vendor-Seite. Für den Unternehmenseinsatz ist das nur die halbe Miete, weil der tatsächliche Datenschutz am hier genutzten Cloud-Provider hängt. Zur Deployment-Infrastruktur lagen in den Card-Daten keine verifizierten Provider-Angaben vor. Wer Hermes 4 405B in regulierten Umgebungen einsetzen will, muss die Datenschutzbedingungen des konkreten Endpunktbetreibers gesondert prüfen. Ohne belastbare Auftragsverarbeitungsvereinbarung ist DSGVO-konformer Betrieb im Unternehmen schnell kein Technik-, sondern ein Einkaufsproblem.

Fazit

Hermes 4 405B ist ein interessantes Modell mit klar erkennbarem Charakter: schnell, knapp, instruktionsfreudig, oft brauchbar und selten halluzinierend, aber nicht so souverän, wie seine 405 Milliarden dichten Parameter vermuten lassen. Der Gesamtscore von 67,07 Prozent ist nicht schlecht, nur eben auch kein Auftritt, der in der Frontier-Klasse Ehrfurcht erzwingt. Seine Stärken liegen in strukturierter Direktheit, brauchbarer Tool-Nähe, ordentlicher Code-Analyse und ökonomischer Ausgabe. Seine Schwächen liegen in Tiefe, Sicherheitsvollständigkeit und vor allem in der Sprach-Compliance unter Mehrfachvorgaben. Über alle Tests hinweg keine nennenswerten Halluzinationen — das Modell erfindet lieber nichts, als sich zu blamieren.

Die Empfehlung fällt deshalb präzise aus. Für allgemeine Assistenz, strukturierte Textarbeit, schnelle technische Erstanalysen und interaktive Tool-Workflows ist Hermes 4 405B ein ernstzunehmender Kandidat, gerade wenn man ein Cloud Open-Weights-Modell via OpenRouter sucht. Für Security-Audits, formkritische Mehrsprachen-Workflows und unbeaufsichtigte Agentenketten gilt Vorsicht. Wer Hermes produktiv einsetzt, sollte eine Validierungsschicht darüberlegen: Sprache prüfen, kritische Befunde gegenlesen, Tool-Ausgaben verifizieren. Dann ist dieses Modell nützlich. Ohne diese Leitplanken wirkt es bisweilen wie ein sehr großer Motor, der an den falschen Stellen zu früh hochschaltet.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.