Hermes 4 405B

Hermes 4 405B erreicht einen Gesamtscore von 68,4 Prozent und trägt das Speed Profile Interactive Tool Expert. Das passt überraschend gut zum Charakter dieses Modells: ein großer, dichter Generalist der Server-Klasse mit 405 Milliarden Parametern, direkt, formatbewusst, oft brauchbar auf den ersten Wurf, aber ohne die Souveränität, die man von dieser Größenordnung eigentlich erwarten darf. Getestet wurde ein Cloud-Open-Weights-Deployment via OpenRouter im werksseitigen Standardverhalten des Endpunkts; einen umschaltbaren Thinking-Modus gab es in diesem Lauf nicht, obwohl die Architektur grundsätzlich Extended Thinking unterstützt. Sovereign Risk: LOW: Nous Research ist ein US-amerikanisches Unternehmen und unterliegt dem CLOUD Act, jedoch sind die Gewichte öffentlich verfügbar und lokal betreibbar, sodass kein API-Zugriff durch Dritte erforderlich ist.

Kopfnoten: Stabilität und Zuverlässigkeit

Architektur und Erwartungsrahmen

Die Metadaten Instruct, Thinking-Optional erklären bei Hermes 4 405B mehr, als der Name vermuten lässt. Als Instruct-Modell ist es auf direkte Befehlsausführung geeicht: klare Antworten, wenig unnötiges Räsonnement, gute Formatdisziplin. Als Thinking-Optional-Modell bringt es zwar grundsätzlich mehrstufiges Schlussfolgern mit, im Benchmark wurde dieses Potenzial aber nicht explizit aktiviert. Bewertet wird also das Verhalten, das ein normaler API-Nutzer ohne Spezialschalter tatsächlich bekommt. Das ist methodisch sauber und für die Praxis sogar relevanter als jedes Labor-Reasoning.

Dazu kommt die redaktionelle Einordnung als Generalist, Server-Klasse, Dense-Architektur. Das ist wichtig, weil es die Ausreden knapp hält. Ein dichtes 405B-Modell aktiviert seine volle Kapazität bei jeder Antwort. Hier gibt es kein MoE-Argument nach dem Motto, aktiv sei ja nur ein kleiner Teil der Gewichte. Wer mit dieser Größenordnung antritt, muss in der Breite liefern. Hermes 4 405B tut das stellenweise. Aber er wirkt nicht wie ein Modell, das seine schiere Masse in Präzision verwandelt. Eher wie ein großes Aggregat, das im zweiten Gang fährt.

Performance und Kostenprofil

Das Speed Profile Interactive Tool Expert bescheinigt Hermes 4 405B einen auf Interaktivität zugeschnittenen Einsatzcharakter. Übersetzt heißt das: keine Batch-Maschine für kilometerlange Dokumente, sondern ein Modell, das in Tool- und Assistenzszenarien noch dialogtauglich bleiben soll. Die gemessene Generierungsgeschwindigkeit ist dafür qualitativ ordentlich, aber nicht spektakulär. Wichtig für den Leser: Bei diesem Cloud-Open-Weights-Modell ist der Durchsatz ein Benchmark des OpenRouter-Endpunkts und seiner zugrunde liegenden Cloud-Infrastruktur, nicht eine abstrakte Eigenschaft des Gewichtsfiles im luftleeren Raum.

Positiv ist die Token-Ökonomie. Hermes 4 405B verhält sich token-ökonomisch; kein Modul übersteigt den erwarteten Verbosity-Rahmen. Im CLI-Bereich, in Code Quality, Dokumentation, Content-Transformation, Cultural Intelligence und UX Writing bleibt es jeweils unter dem Fleet-Median. Das Modell redet also nicht aus Prinzip zu viel. Gerade bei API-Nutzung ist das ein echter Vorzug, weil Kürze hier nicht nur Stilfrage, sondern Kostenkontrolle ist. Nur im Reasoning sieht man, dass Kürze nicht automatisch Schärfe bedeutet.

Code Quality und Security: gute Checkliste, mäßiger Sicherheitsberater

Im Code- und Audit-Bereich zeigt Hermes 4 405B eine seiner brauchbareren Seiten. Es liefert strukturierte Tabellen, erkennt in einem PHP-Sicherheitsaudit die richtige Größenordnung an Problemen und bleibt dabei sauber formatiert. Das klingt banal, ist es aber nicht. Viele Modelle scheitern schon daran, Analyse und Ausgabeform zusammenzuhalten. Hermes 4 405B tut das nicht.

Der qualitative Haken ist die Tiefe. Im Security-Audit identifiziert das Modell zwar 19 Schwachstellen und trifft damit die richtige Anzahl, bleibt aber bei Erklärungen und Fixes oft an der Oberfläche. Aus „SQL Injection“ wird eine korrekte, aber abstrahierte Diagnose. Was fehlt, sind konkrete Angriffspfade, echte Payload-Beispiele und umsetzbare Reparaturvorschläge mit Kontext. Der Richter beschreibt das treffend als nützliche Checkliste, aber nicht als hinreichende Erklärung tatsächlicher Exploit-Vektoren. Für Einsteiger ist das noch brauchbar. Für ein Team, das einen Fund wirklich priorisieren und schließen muss, ist es zu dünn.

Genau dort wird der Unterschied zwischen groß und großartig sichtbar. Hermes 4 405B sieht die Baustellen, aber es läuft nicht mit dem Leser durch das Gebäude. Path Traversal stuft es zu niedrig ein, Session Fixation ebenfalls. Besonders unschön ist die unsaubere Zerlegung einzelner Vulnerabilities im Admin-Delete-Pfad. Das Modell erkennt das Muster, seziert es aber nicht mit der Präzision, die man von einem Server-Klasse-Generalisten dieser Größe erwarten darf. In Security-Fragen ist Halbwissen keine charmante Schrulle, sondern ein Haftungsrisiko in Textform.

Reasoning und Logik: korrektes Ziel, unnötig kurviger Weg

Das Reasoning-Modul ist der Bereich, in dem Hermes 4 405B am deutlichsten zeigt, was die Kategorie Thinking-Optional im Standardverhalten bedeutet. Es kann logische Aufgaben lösen, aber die Antwort wirkt nicht wie aus einem Guss. Beim klassischen Wächter-Rätsel kommt das Modell auf die korrekte Lösung, doch der Weg dorthin ist unnötig meandernd, mit Selbstkorrekturen und mehrfacher Rekalkulation derselben Logik. Das ist kein Denksturz, eher ein inneres Stolpern bei voller Fahrt.

Wichtiger ist die Formfrage. In drei metakognitiven Reasoning-Aufgaben antwortete das Modell trotz expliziter deutscher Vorgabe überwiegend auf Englisch. Das ist kein isolierter Ausreißer. Über mehrere Aufgaben im Reasoning-Bereich zeigt das Modell ein konsistentes Muster: Bei simultanen Vorgaben aus Sprache, Format und Begründung verliert es die Sprachvorgabe als erste Bedingung. In produktiven Umgebungen mit fester Zielsprache ist das keine Petitesse, sondern ein direkter Compliance-Fehler.

Metakognitions-Compliance (Reasoning): Das Modell verweigert in 3/5 metacog-Tests die Nutzung der explizit angeforderten <thought>-Tags mit einer konsistenten Policy-Aussage nicht, aber es fällt systematisch durch Format- und Sprach-Compliance auf. Die Reasoning-Inhalte sind dabei inhaltlich teilweise korrekt — der Score-Abzug resultiert hier primär aus der mangelhaften Instruktionsbefolgung, nicht aus vollständigem Logikversagen. CrucibleMark bewertet bewusst die native Zero-Shot-Instruktions-Compliance als reales Alltagsmerkmal. Genau dort verliert Hermes 4 405B unnötig Punkte.

Hinzu kommt die Praxisnote: In diesem Modul trat auch der einzige Timeout des gesamten Laufs auf, und der Tail war hier besonders lang. Das muss man nicht mystifizieren. Es zeigt schlicht, dass das Modell im logischen Grenzbereich zu Ausreißern neigt. Für interaktive Knobelaufgaben ist das lästig. Für agentische Systeme, die auf enge Antwortfenster angewiesen sind, wird daraus schnell ein taktisches Problem.

Content Transformation: starkes Umbauen, nicht immer streng genug

Im Modul Content Transformation zeigt Hermes 4 405B, warum man mit ihm arbeiten wollen könnte. Die Überarbeitung eines YouTube-Skripts gelingt mit sauberer deutscher Sprache, nachvollziehbarer Analysephase, realistischer Taktung und einer überraschend guten Dichte an Produktionshinweisen wie Screen-Anmerkungen, Musik-Cues und Pattern Interrupts. Das Modell versteht also nicht nur den Text, sondern auch die Mechanik dahinter. Das ist mehr als hübsches Umschreiben.

Besonders erfreulich ist, dass Hermes 4 405B hier nicht in die typische Falle vieler Großmodelle tappt, die aus jeder Transformation einen Roman machen. Es bleibt verhältnismäßig diszipliniert, baut vollständige Struktur auf und trifft einen gesprächigen Ton, ohne ins Geschwätz zu kippen. Der Richter moniert kleinere strukturelle Abweichungen, etwa die Einbettung des Troubleshootings statt eines dedizierten Abschnitts. Das ist berechtigte Kritik, aber keine Demontage.

Man sieht hier einen Kerncharakter des Modells: Wenn die Aufgabe kreatives Rekombinieren unter klaren Leitplanken verlangt, arbeitet Hermes 4 405B deutlich überzeugender als bei strenger analytischer Tiefenarbeit. Es ist besser im Umbauen als im Beweisen.

Cultural Intelligence und UX: ordentlich, aber mit sozialem Schleifstaub

Im Bereich Cultural Intelligence liefert Hermes 4 405B brauchbare bis gute Resultate. Die Entschärfung toxischer oder exkludierender Formulierungen gelingt im Kern. Das Modell ersetzt problematische Ausdrücke sinnvoll und bleibt sprachlich natürlich. Der Haken ist die letzte Meile: In einer HR-nahen Umschreibung führt es mit „Expertin“ wieder ein gegendertes Substantiv ein, nachdem es an anderer Stelle bereits neutralisiert hatte. Das ist kein grober Schnitzer, aber genau die Art von Inkonsistenz, die in sensiblen Textsorten den professionellen Eindruck beschädigt.

Auch tonal bleibt Hermes 4 405B oft etwas transaktional. Wo die bessere Lösung einladend und warm formuliert, klingt Hermes häufiger wie eine saubere Anforderungsliste. Das ist typisch Instruct: präzise, knapp, pflichtbewusst. Aber gerade bei Recruiting-, UX- oder Community-Texten gewinnt nicht der korrekte Beamte, sondern der Autor mit Menschenkenntnis. Hermes 4 405B ist hier solide, nicht feinfühlig.

Tool-Use und Halluzinationen: starkes Fundament, zwei rote Karten

Der numerische Tool-Use-Wert sieht auf dem Papier stark aus. Das qualitative Protokoll macht daraus aber kein ungetrübtes Lob. In zwei Tool-Assets halluzinierte das Modell Inhalte, die nicht im abgerufenen Werkzeugergebnis standen. Das ist kein kleiner Ausrutscher, sondern genau die Sorte Fehler, die Recherche- und Reporting-Workflows disqualifiziert. Wenn ein Modell bei toolgestützter Arbeit etwas erfindet, bricht der implizite Vertrag mit dem Nutzer: Ich habe dir Daten geholt, also bleib gefälligst bei den Daten.

Darum verdient dieser Befund einen eigenen Namen.

Halluzinationen und Faktenhärte

Hermes 4 405B zeigt in toolgestützten Aufgaben eine echte Schwäche bei der Faktentreue. In zwei Fällen generierte es Inhalte, die nicht aus dem Werkzeugoutput stammten; das Scoring kappte den Wert dort ausdrücklich per Halluzinations-Cap. Für content-kritische Aufgaben wie Recherche, Lageberichte oder jede Form faktengebundener Zusammenfassung ist das ein disqualifizierendes Signal.

Diese Halluzinationen wiegen schwerer, weil sie nicht aus freier Kreativaufgabe stammen, sondern aus einem Setting mit externer Datenbasis. Gerade dort muss ein Modell zwischen Quelle und Ausschmückung trennen können. Hermes 4 405B kann das nicht zuverlässig genug. Wer es in Tool-Workflows einsetzt, braucht Validierungsschichten. Sonst baut man einen Assistenten, der mit Akten arbeitet und trotzdem fabuliert.

Datenschutz und Datenhoheit

Für die Modellquelle selbst ist die Lage vergleichsweise klar: Nous Research ist ein US-Unternehmen mit Sitz in San Francisco. Die Gewichte stehen unter der Meta Llama Community License als Restricted Weights bereit, Nous betreibt laut vorliegenden Card-Daten jedoch keine eigene öffentliche API. Die Vendor Card nennt daher als anwendbares Recht für das Deployment „N/A (local/self-hosted)“, Datenstandort „Local or third-party hoster“, Datenspeicherung 0 Tage und kein GDPR DPA.

Für diesen konkreten Benchmark ist aber entscheidend, dass Hermes 4 405B als Cloud-Open-Weights-Modell via OpenRouter lief. Damit verlagert sich das Datenschutzthema vom Modellanbieter auf den tatsächlichen Hosting- und Routing-Pfad. Aus den vorliegenden Card-Daten ergibt sich ein berechnetes Sovereign Risk: LOW, weil die Gewichte offen verfügbar sind und kein zwingender API-Zugriff auf Nous selbst nötig ist. Für Unternehmen in Deutschland oder der EU bleibt trotzdem ein praktischer Vorbehalt: Ohne belastbare, verifizierte Provider-Daten zur konkreten Deployment-Infrastruktur und ohne DPA ist eine saubere DSGVO-Bewertung im Unternehmenseinsatz nicht abschließend möglich. CLOUD Act bleibt bei US-Anbietern grundsätzlich relevant. Auch wenn Daten physisch in Europa liegen sollten, können US-Behörden unter bestimmten Voraussetzungen Zugriff verlangen.

Fazit

Hermes 4 405B ist ein interessanter Widerspruch. Als großer, dichter Generalist der Server-Klasse kommt es mit der Aura eines Schwergewichts, benimmt sich aber oft wie ein vernünftiger Mittelklasse-Assistent mit guten Manieren und begrenzter Bissigkeit. Es ist token-ökonomisch, formatstabil, in Umbau- und Produktionsaufgaben oft überzeugend und im Tool-Handling zunächst angenehm direkt. Gerade als Instruct-Modell im Standardverhalten ist diese Direktheit kein Mangel, sondern Teil des Designs.

Seine Grenzen sind allerdings zu deutlich, um sie wegzuerklären. Security-Analysen bleiben zu flach, Reasoning leidet unter unnötigem Umwegdenken und schwacher Sprach-Compliance, und die Halluzinationen in Tool-gestützten Aufgaben sind für faktenkritische Nutzung ein ernstes Warnsignal. Dazu kommt eine nur akzeptable Praxisstabilität mit sporadischen API-Aussetzern. Das ist kein Totalschaden. Aber es ist auch nicht die Sorte 405B-Modell, der man blind den Schlüssel zum Produktionssystem in die Hand drückt.

Empfehlung: gut geeignet für strukturierte Transformation, Script-Umbauten, allgemeine Assistenz und Tool-nahe Interaktion mit menschlicher Nachkontrolle. Nur eingeschränkt geeignet für Security-Audits mit Tiefenanspruch, formstrenge mehrsprachige Reasoning-Aufgaben und jede Recherchearbeit, bei der erfundene Details nicht verhandelbar sind. Kurz gesagt: Hermes 4 405B hat Format. Ihm fehlt nur ein Stück Urteilskraft.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.