Hermes 4 70B

LLM Model Review

· Instruction-Tuned

Mit einem Gesamtscore von 70,68 Prozent zeigt Hermes 4 70B ein klares Profil: schnell, steuerbar, oft erstaunlich brauchbar, aber nicht mit der Souveränität, die man von einem Server-Klasse-Modell mit 70 Milliarden dichten Parametern und erklärtem Reasoning-Fokus eigentlich erwarten darf. Der Speed-Profile-Badge „Real-Time Tool Expert“ passt gut: Dieses Modell antwortet zügig, strukturiert und meist produktionsnah, nur eben nicht immer mit der letzten Präzision. Als Cloud Open-Weights-Modell lief Hermes 4 70B hier via OpenRouter; die gemessenen 84,61 Tokens pro Sekunde sind damit vor allem ein Leistungswert der OpenRouter-Cloud-Infrastruktur, nicht irgendein allgemeingültiges Naturgesetz des Modells. Sovereign Risk: MEDIUM — die Gewichte stammen von Nous Research aus den USA; bei Cloud-Nutzung über US-nahe Infrastruktur bleibt die Frage nach Jurisdiktion und möglichem Zugriff nach CLOUD Act für europäische Nutzer real.

Kopfnoten: Stabilität und Zuverlässigkeit

Das ist die gute Nachricht zuerst. Hermes 4 70B hat im gesamten Lauf keinen einzigen Timeout produziert. Für ein Cloud-Modell dieser Größenklasse ist das keine Nebensache, sondern die Eintrittskarte in jede ernsthafte Pipeline. Wer mit Agenten, Batch-Jobs oder automatisierten Review-Schritten arbeitet, braucht keine Genialität mit Aussetzern, sondern ein Modell, das einfach erscheint, wenn man es ruft. Genau das tut Hermes hier.

Auch die Latenzseite wirkt erfreulich diszipliniert. In fünf Prozent aller Anfragen lag die Antwortzeit bei 24,88 Sekunden oder darüber. Das ist nicht spektakulär schnell im Sinne eines Chat-Gefühls ohne Wartezeit, aber klar im grünen Bereich. Gerade weil Hermes 4 70B zur Metadaten-Kategorie Thinking-Optional gehört, ist dieser Befund relevant: Der Benchmark lief bewusst ohne aktiviertes Extended Thinking. Das heißt, gemessen wurde das Standardverhalten, das ein normaler API-Nutzer out of the box bekommt. Und dieses Standardverhalten ist flott genug, um nicht im Weg zu stehen.

Architektur und Charakter: Instruct zuerst, Denken auf Abruf

Die Metadaten-Kombination Instruct, Thinking-Optional beschreibt Hermes 4 70B überraschend treffend. Man merkt dem Modell an, dass es zuerst gehorchen will und erst danach brillieren. Es antwortet knapp, hält Formate meist sauber ein, verschwendet selten Text und neigt nicht zu der selbstverliebten Erklärwut, die manche Reasoning-Modelle in jeder Aufgabe auspacken. Gleichzeitig ist es offiziell für Reasoning eingeordnet, also nicht als bloßer Chat-Allrounder, sondern als Modell, von dem man in Logik, Analyse und mehrstufigen Aufgaben mehr erwarten darf als solide Durchschnittskost.

Genau an dieser Schnittstelle entsteht das Spannungsfeld des Tests. Als Dense-Modell sind bei jeder Antwort alle 70 Milliarden Parameter aktiv. Anders gesagt: Hier gibt es keinen Experten-Trick, der mit wenigen aktiven Teilnetzen Effizienz vortäuscht. Hermes 4 70B tritt mit voller Kapazität an. Deshalb sind gute mittlere Leistungen respektabel, aber Schwächen in Kernbereichen auch nicht einfach wegzuerklären. Ein Server-Modell dieser Klasse sollte in Code, Logik und Dokumentation nicht nur „ganz ordentlich“ sein. Es sollte Autorität ausstrahlen. Hermes 4 70B tut das manchmal. Durchgehend tut es das nicht.

Performance-Profil: schnell, billig, erstaunlich sparsam

Hermes 4 70B ist mit 84,61 Tokens pro Sekunde ungewöhnlich schnell für ein großes Open-Weights-Modell in der Cloud. Zusammen mit einem Benchmarkpreis von 0,0181 US-Dollar bei 0,0004 US-Dollar pro 1K Tokens ergibt sich ein Profil, das wirtschaftlich attraktiv ist. Das Badge „Real-Time Tool Expert“ signalisiert genau das: Dieses Modell ist eher für operative, direkte Nutzung gedacht als für kontemplative Langstrecken. Es soll antworten, strukturieren, Tools begleiten und in Echtzeit nicht lästig werden.

Wichtig ist dabei die Einordnung der Infrastruktur. Hermes 4 70B lief hier nicht als proprietärer Vollservice, sondern als Cloud Open-Weights-Modell via OpenRouter. Die Geschwindigkeit ist also immer auch ein Benchmarkergebnis des konkreten Anbieters, seines Routings und seiner Rechenumgebung. Für Leser heißt das: Die 84,61 Tokens pro Sekunde sind ein sehr guter Praxiswert dieses Endpunkts. Sie sind kein universeller Fingerabdruck, den man blind auf jede andere Bereitstellung übertragen sollte.

Positiv fällt außerdem die Token-Ökonomie auf. Kein Modul überschreitet den erwarteten Verbosity-Rahmen. Im Gegenteil: Reasoning liegt mit durchschnittlich 552 Output-Tokens deutlich unter dem Fleet-Median von 1174, CLI bei 176 statt 287, Code Quality bei 1581 statt 2317, Dokumentation bei 2189 statt 2838. Hermes 4 70B verhält sich token-ökonomisch. Es redet selten länger als nötig. Das spart bei einem Cloud-Endpunkt nicht nur Geld, sondern oft auch Nerven.

Reasoning und Logik: richtig gedacht, aber nicht tief genug

Der Reasoning-Bereich ist wahrscheinlich der aufschlussreichste Teil dieses Reviews, weil er den Kernwiderspruch des Modells offenlegt. Hermes 4 70B löst die Aufgaben oft korrekt, aber nicht mit jener didaktischen Tiefe, die man von einem reasoning-orientierten Modell in dieser Größenklasse erwarten darf. Im Metakognitions-Test mit den beiden Wächtern etwa war die Grundlösung sauber: die klassische Frage nach dem, was der andere Wächter sagen würde, und dann die entgegengesetzte Tür wählen. Formal passte auch das Format mit <thought>-Tags. Inhaltlich fehlte aber Substanz.

Der Judge moniert zu Recht nicht die Logik selbst, sondern die Ausarbeitung. Hermes 4 70B erklärt den Doppelschritt der Lüge nur unsauber, bietet keine echte Alternativenprüfung und verzichtet auf visuelle oder tabellarische Hilfen. Das Ergebnis ist eine Antwort, die korrekt ist, aber pädagogisch dünn bleibt. Für einen schnellen Assistenten ist das akzeptabel. Für ein als reasoning-stark einsortiertes 70B-Modell ist es zu wenig Ehrgeiz.

Das Muster taucht auch im Gesamtscore des Moduls auf: 66,42 Prozent in Logical Reasoning. Das ist nicht schwach, aber auch kein Auftritt, der das Etikett „Deep Thinking“ mit Überzeugung einlöst. Der Befund passt zur Architektur-Kategorie: Im Standardmodus ohne aktiviertes Extended Thinking agiert Hermes 4 70B eher wie ein diszipliniertes Instruct-Modell mit guten analytischen Reflexen als wie ein Modell, das ein Problem genüsslich auseinanderlegt. Wer mehr Tiefe erwartet, wird diesen Thinking-Modus im Produktiveinsatz sehr wahrscheinlich gezielt aktivieren wollen. Der Benchmark hat das bewusst nicht getan. Bewertet wurde die Werkseinstellung, nicht die Sonderausstattung.

Code Quality und Security: brauchbar, aber nicht forensisch scharf

Im Modul Code Quality Audit erreicht Hermes 4 70B 62,96 Prozent. Das ist die Zone, in der ein Modell nützlich sein kann, ohne schon als Sicherheitsgutachter durchzugehen. Der qualitative Security-Test macht das sehr greifbar: Hermes erkannte 15 von 19 erwarteten Schwachstellen in einer PHP-Anwendung, lieferte die Antwort auf Deutsch, hielt das Tabellenformat ein und ordnete viele Funde sinnvoll nach Schwere.

Das Problem liegt in den Lücken. Es fehlten ausgerechnet einige der klassischen, harten Treffer: hartkodiertes API-Secret, hartkodierte Datenbank-Zugangsdaten, fehlende CSRF-Absicherung und ein Reset-Token ohne Ablaufzeit. Das sind keine exotischen Randnotizen, sondern Standardware aus dem OWASP-Werkzeugkasten. Wenn ein 70B-Modell im Security-Modus hier vier zentrale Baustellen übergeht, ist das keine stilistische Geschmacksfrage mehr. Es ist ein Präzisionsverlust.

Dazu kommen Fehlgewichtungen. Type Juggling wurde zu mild bewertet, Session Fixation ebenfalls. Hermes 4 70B listet Schwachstellen ordentlich auf, erklärt sie aber oft nur auf der Oberfläche. Die gefährliche Verkettung von Lücken, also der reale Angriffspfad vom harmlos wirkenden Einzelbefund zur kompletten Übernahme, bleibt unterbelichtet. Genau dort trennt sich eine Sicherheitsanalyse von einer besseren Checkliste.

Das Modell ist also kein Blender. Es findet viel Relevantes, hält Formate ein und bleibt lesbar. Aber es denkt bei Security nicht mit der Kälte eines Penetration-Testers, sondern eher mit der Vernunft eines aufgeräumten Review-Assistenten. Für First-Pass-Audits ist das brauchbar. Für Freigaben in kritischen Umgebungen reicht es nicht ohne menschliche Nachschärfung.

CLI und Tool-Nähe: starkes Arbeitsmodell mit gefährlicher Fantasie

Der CLI-Benchmark fällt mit 87,34 Prozent stark aus. Das passt hervorragend zum operativen Charakter von Hermes 4 70B. Wenn Aufgaben klar definiert sind und präzise Ausgaben brauchen, liefert das Modell oft genau die Form, die man sehen will. Auch der Tool-Execution-Wert von 88,33 Prozent liest sich zunächst gut. Hier zeigt Hermes, warum es sich als schneller Assistent für Entwickler- und Automatisierungsumgebungen anbietet.

Nur hat dieser Bereich einen Haken, und der ist nicht kosmetisch. Im Tool-Use-Teil traten zwei Halluzinationsbefunde auf. In zwei Aufgaben generierte Hermes 4 70B Inhalte, die nicht aus dem tatsächlich abgerufenen Tool-Ergebnis stammten, sondern erfunden waren. Der P2-Score wurde deshalb jeweils durch eine Halluzinationsgrenze gedeckelt. Für content-kritische Aufgaben wie Recherche, Vorfallsberichte oder faktengebundene Zusammenfassungen ist das ein disqualifizierendes Signal. Ein Modell, das Tool-Ausgaben nicht nur interpretiert, sondern teilweise frei ergänzt, arbeitet wie ein Praktikant mit gutem Auftreten und schwacher Quellenhygiene. Das ist im Maschinenraum eines Unternehmens keine charmante Eigenschaft.

Die Konsequenz ist klar: Hermes 4 70B eignet sich gut für Tool-begleitete Arbeit, wenn der Mensch das letzte Wort hat oder die Ergebnisse streng validiert werden. Für vollautomatische Agentenketten, in denen Tool-Output als belastbare Quelle in den nächsten Schritt durchgereicht wird, muss man diese Fantasie abfangen. Sonst wird aus Effizienz sehr schnell Fehlerbeschleunigung.

Content Transformation: kreativ, strukturiert, aber das Wortlimit rutscht zuerst

Mit 74,17 Prozent ist Content Transformation eine der besseren Disziplinen des Modells. Hermes 4 70B kann Texte umformen, Skripte strukturieren, Tonalität anpassen und bleibt dabei meist lesbar und kontrolliert. Der qualitative Videoskript-Test zeigt sogar durchaus Talent: Die Antwort war vollständig auf Deutsch, enthielt Analyse- und Transformationsanteile, baute Timestamps, Screen-Hinweise, B-Roll, Musik-Cues und einen Easter Egg ein. Das ist kein rohes Textausspucken, sondern erkennbar handwerklich trainierte Assistenz.

Nur scheitert das Modell ausgerechnet an der einen Vorgabe, die in Redaktionen und Produktionen am wenigsten verhandelbar ist: der Länge. In einer Aufgabe im Content-Transformation-Bereich überschritt Hermes 4 70B die explizite Wortvorgabe von 900 Wörtern auf 1225 Wörter, also auf 136 Prozent des Limits. Das System verhängte dafür einen automatischen Abzug von 18,00 Punkten, entsprechend 20 Prozent des erreichbaren Teilwerts. Die inhaltliche Qualität der Antwort ist damit irrelevant. Die Strafe greift unabhängig davon.

Das Längenproblem ist kein isolierter Schönheitsfehler, sondern ein echter Produktionsmangel. Der Judge beschreibt den Skriptentwurf als engagiert und formal vollständig, aber zeitlich unbrauchbar. Aus einem geforderten Drei- bis Fünf-Minuten-Video wurde sinngemäß ein deutlich längerer Monolog. Das ist der Moment, in dem man merkt, wie Instruct-Folgsamkeit und kreative Expansion gegeneinander arbeiten. Hermes will liefern und liefert dann zu viel. Für Marketing und Adaption ist das oft reparabel. Für streng getaktete Formate kostet es schlicht Nacharbeit.

Documentation Quality: das stärkste Schreibmodul mit einem unnötigen Eigentor

Im Bereich Documentation Quality kommt Hermes 4 70B auf 74,63 Prozent und zeigt damit eine seiner angenehmsten Seiten. Das Modell schreibt strukturiert, sachlich und mit relativ wenig Ballast. Gerade bei erklärenden Texten ist das ein Vorteil. Es neigt nicht zu ornamentalem Nebel, sondern zu brauchbarer Verdichtung. Das ist im Alltag mehr wert als mancher vermeintlich kreativere Stil.

Allerdings liegt hier auch ein harter Regelverstoß vor. In einer Aufgabe im Documentation-Quality-Bereich ignorierte das Modell die explizite Sprachanweisung und antwortete auf Englisch, obwohl Deutsch gefordert war. Der extrahierte Sprachabgleich fiel deutlich aus: DE=6, EN=29. Das ist keine Geschmacksfrage und kein Missverständnis auf Satzebene, sondern ein klarer Instruction-Following-Fehler. In Umgebungen mit festem Zielmarkt, Corporate-Wording oder regulatorischer Sprachvorgabe kann so ein Ausrutscher direkt zum Ausschuss führen.

Gerade weil Hermes 4 70B sonst als gut steuerbar auftritt, ist dieses Eigentor ärgerlich. Es wirkt nicht wie strukturelle Unfähigkeit, eher wie ein Kontrollverlust unter mehreren gleichzeitigen Anforderungen. Trotzdem gilt: Wer Dokumentation automatisiert in deutscher Zielsprache erzeugen will, muss eine Sprachprüfung nachschalten. Sonst landet irgendwann die falsche Fassung im Freigabeprozess, und dann hilft kein schöner Benchmarksatz mehr.

UX Writing und Cultural Intelligence: höflich, brauchbar, selten brillant

Im UX-Writing steht Hermes 4 70B bei 68,67 Prozent. Das ist solide, aber kein Wert, der einen Microcopy-Spezialisten ersetzt. Typisch ist der Ton: korrekt, freundlich, professionell, jedoch gelegentlich etwas generisch. Die Qualität erinnert an ein Teammitglied, das alle Stilguides gelesen hat, aber noch keine echte Liebe für Produktstimme entwickelt hat. Das ist besser als flapsige Beliebigkeit, aber es hinterlässt selten den Eindruck, dass hier jemand den Nutzer wirklich präzise führt.

Die Cultural Intelligence liegt bei 68,92 Prozent und illustriert ein ähnliches Bild. Der qualitative Ausschnitt zur inklusiven Umformulierung war weitgehend gelungen: Toxizität entfernt, geschlechtsneutral formuliert, professionell genug. Nur klang die Lösung eher nach Standard-Compliance als nach sprachlicher Finesse. Der Judge kritisierte konkret die Wahl von „Persönlichkeit“ statt einer idiomatisch präziseren Formulierung wie „Fachkraft“ und den Verlust eines energischeren Tons. Das trifft den Kern: Hermes kann kulturell sensible Aufgaben bearbeiten, aber die letzte Nuance geht ihm gelegentlich verloren. Er weiß, wo er nicht anecken darf. Er weiß seltener, wie man dabei sprachlich gewinnt.

Datenschutz und Datenhoheit

Die Kartenlage ist gemischt, und gerade deshalb sollte man sie nüchtern lesen. Das berechnete Sovereign Risk liegt bei MEDIUM, begründet über ein mittleres Weights-Provenienz-Risiko. Entwickler ist Nous Research Inc. mit Sitz in San Francisco, Kalifornien, USA. Für die Modellquelle selbst gilt laut Vendor Card: Nous betreibt nach den vorliegenden Daten keine eigene öffentliche API, liefert offene Gewichte und nennt 0 Tage Datenspeicherung. Gleichzeitig ist kein GDPR DPA verfügbar. Für Unternehmen, die DSGVO-konform beschaffen müssen, ist das kein Detail, sondern ein mögliches Compliance-Hindernis.

Die geprüfte Vendor Card beschreibt den Datenstandort nur als „Local or third-party hoster“. Für dieses Benchmark-Setup ist aber entscheidend, dass Hermes 4 70B als Cloud Open-Weights-Modell über einen Drittanbieter-Endpunkt lief. Damit verschiebt sich die Datenschutzfrage von der Modellquelle zur konkreten Deployment-Infrastruktur. Zur Deployment-Infrastruktur lagen hier keine verifizierten Provider-Daten vor. Für europäische Unternehmen heißt das praktisch: Die Gewichte sind offen, aber die Souveränität hängt vollständig am gewählten Hoster und dessen Jurisdiktion. Sobald ein US-Anbieter oder US-kontrollierte Infrastruktur im Spiel ist, kann der CLOUD Act relevant werden. Auch physische Verarbeitung in Europa hebt dieses Risiko nicht automatisch auf.

Fazit

Hermes 4 70B ist ein interessantes Modell mit klarer Persönlichkeit: schnell, sparsam, angenehm steuerbar und operativ nützlich. Es erreicht 70,68 Prozent, liefert 84,61 Tokens pro Sekunde, bleibt über 43 von 43 Tests stabil und zeigt besonders in CLI, Dokumentation und strukturierter Content-Arbeit echte Praxisrelevanz. Aber es ist kein Modell, das seine Größe in jedem Kernbereich einlöst. Beim Reasoning bleibt es oft korrekt, ohne tief zu werden. In Security ist es hilfreich, aber nicht vollständig genug für harte Reviews. Und bei Tool-gebundener Arbeit sind die dokumentierten Halluzinationen der Punkt, an dem aus Vertrauen Vorsicht werden muss.

Für den Einsatz heißt das: Hermes 4 70B passt gut als schneller Arbeitsassistent für Redaktionen, Dev-Workflows, technische Dokumentation und formatstrenge Alltagsaufgaben mit menschlicher Endkontrolle. Weniger geeignet ist es für vollautomatische faktenkritische Agentenketten, Security-Freigaben ohne Review und jedes Setting, in dem Wortlimit, Sprache und Quellenbindung absolut unverhandelbar sind. Dieses Modell ist kein Blender, aber auch kein Bulldozer. Es ist eher ein guter Operator mit leichtem Hang zur Selbstüberschätzung. Solange man das weiß, kann man viel mit ihm anfangen.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.