Hermes 4 405B

Mit einem Gesamtscore von 68,4 % ist Hermes 4 405B kein Totalausfall, aber auch ganz sicher nicht die große offene Machtdemonstration, die man bei 405 Milliarden dichten Parametern in der Frontier-Klasse reflexhaft erwarten würde. Getestet wurde das Modell als Cloud-Open-Weights-Angebot via OpenRouter im Standardmodus ohne aktiviertes Extended Thinking; der Speed-Profile-Badge lautet „Interactive Tool Expert“, was auf interaktive Werkzeug- und Strukturaufgaben mit ordentlicher, aber nicht atemberaubender Reaktionsfreude zielt. Der Charakter ist dabei klar: direkt, meist diszipliniert, oft nützlich, aber in Logik und sprachlicher Präzision zu sprunghaft für blindes Vertrauen. Sovereign Risk: LOW — die Gewichte stammen von Nous Research in den USA, sind offen verfügbar und erfordern an der Quelle keinen verpflichtenden Fremd-API-Zugriff, auch wenn der konkrete Cloud-Betrieb über einen Drittanbieter natürlich dessen Jurisdiktion mit ins Spiel bringt.

Kopfnoten: Stabilität und Zuverlässigkeit

Für ein Frontier-Modell aus der Cloud ist das kein Ruhmesblatt, aber auch noch kein Alarmzustand. Ein einzelner Timeout auf 49 Läufe ist bei einem API- oder Proxy-Endpunkt vor allem ein Zuverlässigkeitsbefund des Dienstes selbst. Genau das ist für produktive Agenten-Systeme relevant: Nicht die Qualität eines einzelnen gelungenen Runs entscheidet, sondern die Frage, ob der Endpunkt unter Last verlässlich antwortet. Hier bleibt Hermes 4 405B brauchbar, aber nicht sorglos.

Architektur und Erwartungsrahmen

Die Einstufung als Instruct-Modell mit optionalem Thinking trifft den Charakter ziemlich genau. Hermes 4 405B antwortet out of the box eher wie ein gehorsamer, zielgerichteter Assistent als wie ein demonstrativ grübelndes Reasoning-System. Das ist im Benchmark kein Makel, sondern die korrekte Messlatte: Getestet wurde der Standardmodus, weil genau so ein typischer Nutzer das Modell über die API zunächst erlebt. Dass Hermes grundsätzlich erweitertes Thinking unterstützen soll, wurde in diesem Lauf nicht separat freigeschaltet; der Modus steht folgerichtig auf n/a, also Standardverhalten eines Cloud-Endpunkts ohne Thinking-Toggle.

Wichtiger ist die zweite Einordnung: Generalist, Frontier, Dense. Generalist heißt, Ausreden wegen Spezialisierung zählen nicht. Frontier heißt, die Erwartungen sind maximal. Und Dense bedeutet: Alle 405 Milliarden Parameter arbeiten bei jeder Antwort mit. Hier gibt es keinen MoE-Rabatt, kein „eigentlich waren nur wenige Experten aktiv“. Wenn ein solches Modell bei zentralen Disziplinen nur Mittelmaß liefert, dann darf man das benennen, ohne mit der Wimper zu zucken.

Performance und Kostencharakter

Der Badge „Interactive Tool Expert“ passt durchaus. Hermes 4 405B wirkt nicht wie ein Sprint-Modell, eher wie ein Assistent, der strukturiert genug für Werkzeug- und Formataufgaben ist und dabei interaktiv bleibt. Die gemessene Generierungsgeschwindigkeit ist als Infrastrukturwert von OpenRouter zu lesen, nicht als abstrakte Eigenschaft des Gewichtsmodells allein. Bei Cloud Open Weights ist Tempo immer auch Produkt des Anbieters, seines Routings und seiner Backend-Kapazität. Der Leser sollte diese Werte deshalb als Endpunkt-Profil verstehen, nicht als naturgegebenes Schicksal des Modells.

Positiv fällt auf, dass Hermes 4 405B token-ökonomisch arbeitet. Kein einziges Modul überschreitet den erwarteten Verbosity-Rahmen. Im Gegenteil: CLI, Code Quality, Dokumentation, UX und kulturelle Aufgaben liegen jeweils unter dem Fleet-Median. Das Modell schwafelt also nicht. Es spart Wörter, wo andere Systeme erst einmal ihr eigenes Denken ausstellen. Das ist angenehm für Kosten und Latenz. Es rettet aber keine schwache Antwort.

Code Quality und Security: gute Checkliste, zu selten ein echtes Audit

Im Code- und Security-Bereich zeigt Hermes 4 405B die vielleicht sympathischste und zugleich frustrierendste Seite seines Profils. Sympathisch, weil es strukturiert arbeitet, Tabellen sauber ausgibt und relevante Schwachstellen nicht reihenweise übersieht. Frustrierend, weil die Analyse oft an der Oberfläche stehen bleibt, wo ein ernsthafter Auditor längst den Schraubenzieher ansetzt.

Das exemplarische Security-Audit zu einer verwundbaren Webanwendung illustriert das sehr deutlich. Hermes identifiziert 19 Schwachstellen und trifft damit die erwartete Vollständigkeit auf den ersten Blick. Das ist nicht nichts. Die Tabelle ist lesbar, die Kategorisierung grundsätzlich brauchbar, die wichtigsten Klassiker von SQL Injection über XSS bis IDOR tauchen auf. Wer eine schnelle Triage will, bekommt verwertbares Material.

Aber dann kommt der zweite Blick, und der ist weniger schmeichelhaft. Die Erläuterungen bleiben häufig abstrakt, fast schulbuchartig. Statt eines konkreten Payloads für SQL Injection liefert das Modell Formeln wie „direkte Einfügung von Benutzereingaben in SQL-Query“. Das ist sachlich richtig und operativ dünn. Ein Penetrationstester will nicht hören, dass Feuer heiß ist. Er will wissen, wo es brennt, wie es sich ausbreitet und welche Tür zuerst zufällt. Genau dort lässt Hermes 4 405B Punkte liegen. Fix-Empfehlungen bleiben oft auf Schlagwortniveau wie „prepared statements“, „Whitelist“ oder password_hash(), wo andere Modelle schon den reproduzierbaren Patch-Kontext liefern.

Noch kritischer ist die Sicherheitsbewertung selbst. Mehrere Schwachstellen werden zu milde eingestuft. Path Traversal nur als hoch statt kritisch, Session Fixation zu niedrig, Type Juggling ohne die nötige Schärfe. Das ist kein akademischer Schönheitsfehler, sondern verändert im realen Betrieb Prioritäten. Wer Risiken falsch sortiert, verwaltet sie falsch. Hermes 4 405B ist hier eher ein ordentlicher Analyst auf Junior-Niveau als ein erfahrener Incident-Responder.

Trotzdem: Ganz abschreiben sollte man das Modul nicht. Die Rule-based-Werte zeigen eine ordentliche Fehlererkennung bei zugleich schwacher Lösungstiefe. Anders gesagt: Das Modell sieht viel, erklärt aber zu wenig. Für Erstanalysen, Review-Checklisten und breite Schwachstelleninventuren ist das nützlich. Für remediation-taugliche Sicherheitsarbeit braucht es Nacharbeit durch einen Menschen oder ein schärferes Modell.

Logik und Reasoning: richtiges Ergebnis, unruhiger Kopf

Im Reasoning zeigt sich die Schattenseite der Kombination aus Instruct-Charakter und optionalem Thinking besonders deutlich. Hermes 4 405B kann klassische Logikaufgaben lösen. Das Wachposten-Rätsel beantwortet es korrekt. Die mathematische Struktur ist verstanden, die Standardlösung stimmt. Das Problem ist nicht, dass das Modell am Ende falsch liegt. Das Problem ist der Weg dorthin.

Die Denkspur ist lang, mäandernd und selbstzweifelnd. Mehrfach rechnet das Modell denselben logischen Pfad erneut durch, widerspricht sich kurzzeitig und fängt sich dann wieder. Das liest sich weniger wie kühle Deduktion und mehr wie jemand, der im Kopf sehr laut denkt und dabei hofft, die richtige Abbiegung noch zu erwischen. Für einfache Logik mag das tolerierbar sein. Für komplexe Multi-Step-Aufgaben ist es ein Warnsignal.

Hinzu kommt ein strukturelles Sprachproblem. In mehreren Aufgaben des Metakognitions-Bereichs antwortete Hermes 4 405B trotz expliziter Deutsch-Vorgabe auf Englisch. Das Sprachversagen ist kein isolierter Ausreißer. Über mehrere Aufgaben im Reasoning-Bereich zeigt das Modell ein konsistentes Muster: Bei simultanen Vorgaben aus Sprache, Länge und Format verliert es die Sprachvorgabe als erste Bedingung. Gerade in Metakognitions-Tasks mit <thought>-Struktur und deutscher Zielausgabe kippt Hermes zuverlässig ins Englische. Für produktive Umgebungen mit fester Ausgabesprache ist das ein echtes Instruction-Following-Problem, kein bloßer Schönheitsfehler.

Metakognitions-Compliance (Reasoning): Das Modell verweigert in 3/5 metacog-Tests die Nutzung der explizit angeforderten <thought>-Tags mit einer konsistenten Policy-Aussage. Die Reasoning-Inhalte sind dabei inhaltlich teilweise korrekt — der Score-Abzug resultiert aus der Format-Verweigerung, nicht aus Denkfehlern. Zum Vergleich: In den Tag-freien reasoning_5*-Tests erzielt das Modell einen Durchschnittsscore von ca. 61,7 %, was dem gezeigten allgemeinen Niveau entspricht. CrucibleMark bewertet bewusst die native Zero-Shot-Instruktions-Compliance als reales Alltagsmerkmal — dieser Abzug ist methodisch gewollt.

Dazu kommen die automatischen Constraint-Verstöße im selben Modul. Drei Metakognitions-Aufgaben wurden mit Sprachmismatch markiert. Die Pipeline wertet das als harten Verstoß gegen die Sprachanweisung. Und zu Recht: Wenn ein System „Antworte auf Deutsch“ liest und Englisch liefert, ist die inhaltliche Güte nachgelagert. In Compliance-gebundenen Workflows scheitert die Antwort an der Schranke, bevor irgendjemand ihr beim Denken applaudieren kann.

Content Transformation: stark im Umbau, nicht immer elegant

Bei Umformungsaufgaben liefert Hermes 4 405B eines seiner besseren Gesichter. Das lange YouTube-Skript zur 2FA-Einrichtung zeigt, dass das Modell Produktionslogik versteht. Es trennt Analyse und Transformation, arbeitet mit Timecodes, setzt visuelle Regieanweisungen, baut Pattern Interrupts ein und hält den Ton gesprächig. Das Ergebnis ist brauchbar genug, um daraus mit menschlicher Redaktion tatsächlich ein publishbares Skript zu machen.

Bemerkenswert ist, wie präzise Hermes die Produktionssprache trifft. Cues wie [SHOW], [CLICK], [CIRCLE], [B-ROLL], [MUSIC] oder [TEXT ON SCREEN] werden nicht dekorativ verstreut, sondern kontextbezogen verwendet. Dazu kommen Retention-Hooks, ein CTA und sogar ein Easter Egg für Community-Engagement. Das ist keine literarische Glanzleistung, aber es versteht das Format. Manche Modelle schreiben über Video. Hermes schreibt eher in Video.

Die Schwächen liegen im Feinschliff. Die Troubleshooting-Passage wird funktional integriert, aber nicht so sauber als eigener Block ausgespielt wie in der Referenz. Einzelne Sätze schießen leicht über die gewünschte Spoken-Word-Kürze hinaus. Das sind keine schweren Defekte. Sie zeigen nur, dass Hermes in diesem Modul eher Produktionshandwerk als redaktionelle Eleganz beherrscht.

UX Writing, Dokumentation und Sprachgefühl: funktional, oft etwas kalt

Der Benchmark-Wert in UX Writing ist nur mäßig, und die qualitativen Protokolle geben dafür eine plausible Erklärung. Hermes 4 405B formuliert häufig korrekt, aber nicht besonders fein. Gerade in deutschsprachigen, tonsensiblen Aufgaben fehlt ihm oft die letzte Nuance zwischen „formal richtig“ und „kommunikativ klug“. Das Modell schreibt gerne wie eine Liste, wo Menschen eine Einladung erwarten.

Das zeigt sich auch in der inklusiven Umformung einer Stellenanzeige. Hermes entfernt toxische oder ausschließende Formulierungen zuverlässig genug. Aus „Ninja“ wird „engagierte Fachkraft“, aus martialischen Floskeln werden neutralere Kompetenzen. So weit, so ordentlich. Dann unterläuft ihm aber der klassische Fehler vieler Modelle: Nach einem neutralen Einstieg führt es mit „Expertin“ wieder eine geschlechtliche Markierung ein. Das ist genau die Sorte Nachlässigkeit, die in Diversity-sensiblen Texten sofort auffällt. Nicht bösartig, nur unpräzise. Und Unpräzision ist bei solchen Aufgaben bereits der Fehler.

Dazu kommt die Tonlage. Hermes formuliert eher transaktional als einladend. Die Prosa wirkt wie eine Checkliste mit höflicher Oberfläche. Moderne HR-Kommunikation lebt aber vom impliziten Signal „Du bist hier willkommen“, nicht bloß von der semantischen Entfernung problematischer Wörter. Das Modell säubert Sprache, aber es kuratiert sie nicht wirklich. Das ist der Unterschied zwischen Textwäsche und Redaktion.

Cultural Intelligence: ordentliches Gespür, begrenzte Wärme

Im Modul Cultural Intelligence arbeitet Hermes 4 405B nicht grob daneben. Die Regelwerte sind ordentlich, die sprachliche Korrektheit hoch, und problematische Originalformulierungen werden meist sauber entschärft. Das Modell versteht also den Auftrag, kulturell sensible oder inklusive Sprache herzustellen. Das ist die gute Nachricht.

Die schlechte lautet: Es bleibt oft bei der technischen Erfüllung. Die beste Version solcher Aufgaben verlangt nicht nur Entschärfung, sondern soziale Intelligenz im Ton. Hermes produziert saubere, etwas blutleere Kompromisse. Für interne Überarbeitungen oder als erster Entwurf ist das nützlich. Für Außenkommunikation, in der Ton und Haltung Teil der Botschaft sind, sollte noch ein Mensch drüber.

Tool Use und Halluzinationen: hier wird es ernst

Der härteste inhaltliche Makel dieses Laufs liegt nicht in Stilfragen, sondern in der Halluzinations-Resistenz bei Tool-Aufgaben. Zwei Tool-Use-Assets wurden explizit als Halluzination markiert. Das Modell generierte Inhalte, die nicht aus dem abgerufenen Werkzeug-Ergebnis stammten, sondern erfunden waren. Der Score wurde deshalb durch einen Halluzinations-Cap gedeckelt. Das ist kein gewöhnlicher Punktverlust, sondern ein disqualifizierendes Signal für content-kritische Anwendungen.

Gerade weil Hermes 4 405B als steuerbares, tool-freundliches Modell positioniert ist, wiegt dieser Befund schwer. Ein Werkzeugmodell darf kreativ sein, wenn Kreativität verlangt ist. Bei Recherche, Extraktion oder faktengebundenen Berichten darf es das nicht. Wer Tool-Ausgaben nach Belieben ergänzt, ist kein Assistent mehr, sondern ein Improvisationstheater mit JSON-Syntax.

Das heißt nicht, dass Hermes in jedem Tool-Case unbrauchbar wäre. Der generelle Tool-Execution-Wert ist hoch genug, um strukturelle Fähigkeiten anzuerkennen. Aber der qualitative Befund ist klar: Sobald externe Faktenquellen maßgeblich sind, braucht dieses Modell enges Geländer. Verifikation, Quellenspiegelung und im Zweifel ein zweiter Prüfschritt sind Pflicht.

Datenschutz und Datenhoheit

Die Kartenlage ist hier ungewöhnlich, aber für europäische Nutzer wichtig. Das berechnete Sovereign Risk liegt bei LOW, weil Nous Research die Gewichte offen bereitstellt und selbst nach vorliegenden Daten keine eigene öffentliche API als Zwangsschleuse betreibt. Das reduziert das Quellrisiko der Modellgewichte deutlich.

Für den konkreten Einsatz dieses Tests gilt trotzdem: Hermes 4 405B lief als Cloud-Open-Weights-Modell via OpenRouter. Damit hängt die tatsächliche Datenhoheit an der Deployment-Infrastruktur des Drittanbieters, nicht nur an Nous Research. Zur Deployment-Infrastruktur lagen hier keine verifizierten Provider-Daten vor. Die Vendor Card von Nous nennt als anwendbares Recht N/A (local/self-hosted), Datenstandort „Local or third-party hoster“, Datenspeicherung 0 Tage und kein GDPR DPA. Für Unternehmen mit strikter DSGVO-Pflicht ist das kein automatischer Ausschluss, aber auch kein Freifahrtschein. Ohne belastbare Angaben des konkreten Cloud-Anbieters zu Jurisdiktion, DPA und Datenresidenz bleibt die Compliance-Lage unvollständig dokumentiert.

Fazit

Hermes 4 405B ist ein interessantes, aber widersprüchliches Frontier-Modell. Als dichter 405B-Generalist müsste es eigentlich mit schwerer Selbstverständlichkeit auftreten. Stattdessen wirkt es wie ein sehr fähiger Assistent, der in einigen Disziplinen seine Größe ausspielt, in anderen aber erstaunlich viel Präzision liegen lässt. Seine Stärken sind strukturierte Ausgaben, ordentliche Content-Transformation, solide Werkzeugorientierung und eine erfreulich ökonomische Token-Nutzung. Seine Schwächen sind mindestens ebenso klar: zu flache Security-Erklärungen, schwankende Sprach-Compliance im Reasoning, mittelmäßiges UX-Gespür und vor allem dokumentierte Halluzinationen bei Tool-gebundenen Aufgaben.

Für welche Einsätze taugt es also? Gut geeignet ist Hermes 4 405B für Entwurfsarbeit, strukturierte Textproduktion, breite Analyse-Checklisten und interaktive Aufgaben, bei denen ein Mensch den Output ohnehin abnimmt. Weniger geeignet ist es für unbeaufsichtigte faktenkritische Agenten, mehrsprachig strikt regulierte Workflows und Security-Arbeit, bei der nicht nur die richtige Überschrift, sondern die korrekte Priorisierung und konkrete Gegenmaßnahme zählen.

Kurz gesagt: Hermes 4 405B hat Substanz, aber keinen Freifahrtschein. Ein großes offenes Modell, das oft nützlich ist und gerade deshalb streng beurteilt werden muss. Frontier heißt nicht automatisch souverän. Hier heißt es vor allem: leistungsfähig, promptbar, kontrollierbar, aber ohne Aufsicht noch nicht vertrauenswürdig genug.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.