Hermes 4 70B

Mit einem Gesamtscore von 68,99 Prozent zeigt Hermes 4 70B sehr deutlich, was es sein will und was nicht: ein schnelles, direktes Cloud-Open-Weights-Modell via OpenRouter, das im Standardmodus ohne explizit aktiviertes Extended Thinking arbeitet und lieber entschlossen antwortet, als sich in Denkposen zu verlieren. Der Speed Profile Badge lautet „Real-Time Tool Expert“. Das heißt in der Praxis: klar auf zügige, interaktive Tool- und Workflow-Aufgaben zugeschnitten, nicht auf den großen literarischen Atemzug. Für ein dichtes 70B-Server-Modell mit Reasoning-Anspruch ist das respektabel, aber auch widersprüchlich: viel Tempo, zu wenig Tiefgang an genau den Stellen, an denen ein reasoning-orientiertes Modell liefern müsste. Sovereign Risk: MEDIUM — Hermes stammt von Nous Research aus den USA; als offene Gewichte liegt das Quellrisiko im Modell selbst, und bei Cloud-Nutzung über Drittanbieter bleiben Jurisdiktion und möglicher Behördenzugriff eine reale Compliance-Frage.

Kopfnoten: Stabilität und Zuverlässigkeit

Architektur und Charakter: schnell instruiert, nur begrenzt denkfreudig

Die Metadaten „Instruct, Thinking-Optional“ sind hier keine Nebensache, sondern der Schlüssel zum Charakter des Modells. Hermes 4 70B ist ein dichtes 70B-Modell der Server-Klasse, optimiert auf direkte Befehlsausführung und strukturiertes Antworten. Gleichzeitig deutet die Modellfamilie auf Reasoning-Ambitionen hin. Getestet wurde jedoch der Standardmodus mit n/a, also ohne separaten Thinking-Schalter. Genau deshalb muss man die Ergebnisse sauber lesen: Kürzere, direktere Antworten sind in diesem Lauf keine Fehlbedienung, sondern der normale Betriebszustand.

Das Problem ist nur, dass Hermes 4 70B trotz dieser Kalibrierung nicht immer die richtige Balance findet. Es ist oft schnell und sauber im Format, aber es spart gelegentlich an der falschen Stelle. Gerade für ein reasoning-orientiertes Use-Case-Profil erwartet man nicht zwangsläufig epische Länge, wohl aber sichtbare argumentative Tragfähigkeit. Stattdessen wirkt das Modell bisweilen wie ein guter Redakteur unter zu engem Abgabetermin: korrekt, brauchbar, aber er lässt die entscheidenden Zwischensätze im Kopf.

Performance: Tempo als Stärke, nicht als Ausrede

Der Badge „Real-Time Tool Expert“ passt erstaunlich gut. Hermes 4 70B generiert für ein Modell dieser Klasse sehr zügig. Diese Geschwindigkeit ist ausdrücklich als Leistungswert des Cloud-Anbieters zu lesen, hier also des bereitgestellten OpenRouter-Endpunkts und seiner dahinterliegenden Cloud-Infrastruktur. Solche Werte sind kein abstraktes Naturgesetz des Modells, sondern das Ergebnis einer performanten Server-Auslieferung plus Netzweg. Für Nutzer ist das trotzdem relevant, denn genau so fühlt sich der Dienst im Alltag an.

Die Kehrseite dieses Tempos ist subtiler. Hermes 4 70B benimmt sich nicht wie ein klassischer Schwerdenker, sondern wie ein Tool-Modell mit Reasoning-Fassade. Das ist nicht per se schlecht. Im CLI- und Tool-Umfeld kann direkte Reaktion wertvoller sein als majestätische Gründlichkeit. Aber sobald Aufgaben mehrstufige Erklärung, didaktische Absicherung oder präzise kreative Vollständigkeit verlangen, fällt auf, dass der Motor lieber losfährt, als die Karte ganz auszubreiten.

Reasoning und Logik: richtig gedacht, aber nicht tief genug

Im logischen Kern ist Hermes 4 70B besser als sein Gesamteindruck vermuten lässt. Beim klassischen Wächter-Rätsel landet es auf der richtigen Lösung und formuliert die zentrale Gegenfrage korrekt. Das ist die gute Nachricht. Die weniger gute: Die Erklärung bleibt unter ihren Möglichkeiten. Der Judge bemängelt nicht die finale Antwort, sondern die fehlende Beweisführung. Das Modell zeigt die Mechanik nicht sauber für beide Fälle, erklärt die doppelte Umkehrung nur angedeutet und leistet sich sogar eine unglückliche Unschärfe mit der Formulierung „Tür zur Gewissheit“, wo Klarheit über Freiheits- oder Todes-Tür nötig gewesen wäre.

Das ist mehr als ein Schönheitsfehler. Ein reasoning-orientiertes Server-Modell darf nicht nur richtig liegen, es muss den Leser im Idealfall so mitnehmen, dass der Lösungsweg belastbar wirkt. Hermes 4 70B kommt hier eher wie ein Student durch die Klausur, der das richtige Resultat hat, aber wesentliche Rechenschritte nur implizit mitliefert. Man kann ihm das Ergebnis geben. Man vertraut ihm nur nicht blind.

Immerhin verweigert das Modell in dem vorliegenden Metakognitionsprotokoll die geforderten <thought>-Tags nicht, sondern nutzt sie. Ein systematischer Compliance-Ausfall ist auf Basis der vorliegenden Auszüge nicht erkennbar. Das ist wichtig, weil es zeigt: Das Problem liegt hier nicht in sturer Policy, sondern in begrenzter argumentativer Ausfaltung.

Code Quality und Security: ordentlich im Raster, löchrig in der Tiefe

Im Code-Quality-Modul offenbart sich die große Ambivalenz von Hermes 4 70B. Formal arbeitet es sauber. Die Markdown-Tabelle sitzt, die Antwort bleibt auf Deutsch, die Struktur wird eingehalten. Das klingt banal, ist es aber nicht. Viele Modelle scheitern schon an genau dieser unspektakulären Disziplin. Hermes 4 70B scheitert woanders: bei der Vollständigkeit.

In dem ausgewerteten Security-Audit identifiziert das Modell nur 9 von 19 relevanten Schwachstellen. Das ist keine knappe Niederlage, sondern eine Deckungslücke von 53 Prozent. Besonders kritisch ist nicht, dass ein exotisches Detail fehlt, sondern dass zentrale Kategorien ausfallen: IDOR, XSS, schwache Reset-Token-Generierung, fehlender CSRF-Schutz, hartcodierte Geheimnisse, problematische Header-Weiterleitung, fehlende Token-Ablaufzeit. Wer Security ernsthaft prüfen will, braucht kein Modell, das die Hälfte der Brandherde erkennt und den Rest als Raumtemperatur missversteht.

Die Qualität der gefundenen Punkte ist zudem durchwachsen. SQL Injection im Login wird erkannt, aber ohne konkrete Angriffsillustration. Session Fixation wird erwähnt, aber nicht wirklich seziert. Path Traversal taucht nur als generisches „unsicherer Dateizugriff“ auf, nicht als präzise beschriebener Ausbruchspfad. Das Modell ist also nicht blind. Es schaut nur zu oberflächlich hin.

Für ein Modell mit Hermes-Genetik und offenerer Abstimmung ist hier Milde angebracht, aber keine Entschuldigung. Als uncensored-finetuned Verwandter liegt sein Fokus stärker auf Steuerbarkeit und geringer Refusal-Rate als auf pedantischer Sicherheitsanalyse. Trotzdem gilt: In der Server-Klasse und bei 70 Milliarden dichten Parametern ist diese Sicherheitsabdeckung schlicht zu dünn. Das Modell liefert brauchbare erste Sichtung, aber keinen Audit, auf den man eine Freigabe stützen sollte.

Content Transformation und UX Writing: Talent vorhanden, Disziplin fehlt

Hermes 4 70B kann schreiben. Das ist nicht die Frage. Die Frage ist, ob es unter realen Vorgaben auch fertig schreibt. Im Content-Transformation-Modul zeigt es zunächst genau die Art von Kompetenz, die man sich von einem gut trainierten Instruct-Modell wünscht. Das Video-Skript zur Zwei-Faktor-Authentifizierung ist sauber auf Deutsch, mit Timestamps, Produktionshinweisen, Screen-Anmerkungen und natürlichem Spoken-Word-Ton. Das Modell versteht also, was eine produktionsnahe Ausgabe ist. Es baut sogar ein Easter Egg ein und bleibt klar unter dem verfügbaren Budget. Was fehlt, ist nicht Formbewusstsein, sondern emotionale Präzision. Der Hook bleibt zu brav, die Dramaturgie um Backup-Codes zu flach, das Timing etwas zu eng kalkuliert. Solide Handwerksarbeit, keine Regie mit Gänsehaut.

In einer anderen Aufgabe desselben Moduls antwortete Hermes 4 70B allerdings auf Englisch, obwohl explizit Deutsch verlangt war. Das ist kein Randfehler, sondern ein automatischer Hard-Constraint-Verstoß wegen Sprachvorgabe. Die inhaltliche Qualität der Antwort wird damit zweitrangig. Wenn die Zielsprache fest vorgegeben ist, schlägt das Modell in der Praxis schlicht fehl. Zusammen mit dem Sprachfehler in der Dokumentationssektion zeigt sich ein Muster: Unter simultanen Vorgaben aus Sprache, Länge und Format verliert Hermes 4 70B die Sprachvorgabe als erste Bedingung. Das ist kein Ausreißer mehr, sondern eine strukturelle Schwäche im Instruction-Following.

Im UX-Writing wird es härter. Dort beginnt Hermes 4 70B stark, analysiert präzise und formuliert psychologisch informierte Optimierungsvorschläge. Sichtbar geliefert wurde aber nur ein Bruchteil des eigentlichen Auftrags. Der Rest endet im technischen Abbruch. Genau das macht den Fehler so ärgerlich: Das Modell kann die Aufgabe offenkundig, verwaltet aber seine Ressourcen schlecht. Es denkt und formuliert, bis ihm die Luft ausgeht.

Im UX-Writing-Bereich bricht eine Ausgabe mitten in einer Tabelle ab. Die Antwort ist technisch abgebrochen, kein inhaltlicher Fehler. Der Abzug im Score resultiert aus der unvollständigen Antwort, nicht aus inhaltlichen Mängeln.

Diese Episode ist für den Alltag relevanter als jeder stilistische Feinschliff. In Agentenketten, Review-Pipelines oder Redaktionsworkflows zählt am Ende nicht, ob ein Modell gute Gedanken hatte, sondern ob die komplette Nutzlast ankommt. Hermes 4 70B zeigt hier die unangenehme Mischung aus Intelligenz und fehlender Selbstdisziplin. Ein schönes erstes Drittel rettet keine fehlenden zwei Drittel.

Dokumentation: verständig, aber nicht sprachtreu genug

Die Dokumentationswerte sind insgesamt nur mittelmäßig, und die qualitative Evidenz deutet auf ein bekanntes Problem hin: Hermes 4 70B kann strukturiert erklären, verliert aber bei Mehrfachvorgaben die letzte Präzision. Besonders schwer wiegt der dokumentierte Sprachverstoß in einer Dokumentationsaufgabe, in der Deutsch verlangt war, das Modell aber auf Englisch antwortete. Auch das ist ein automatischer Hard-Constraint-Verstoß aufgrund von Language Mismatch. Für Unternehmen mit fester Dokumentationssprache ist das kein kosmetischer Fehler, sondern ein unmittelbares Ausschlusskriterium für unkontrollierte Nutzung.

Gerade in Doku-Workflows ist Sprachkonsistenz kein Luxus, sondern Prozesshygiene. Wenn ein Modell in Security-Audits Deutsch hält, in Dokumentation aber spontan ins Englische kippt, dann ist das kein stilistischer Spleen. Es ist Unzuverlässigkeit in einer Kernanforderung.

Cultural Intelligence: erfreulich sauber, aber nicht ganz idiomatisch

Im Cultural-Intelligence-Modul zeigt Hermes 4 70B eine seiner sympathischeren Seiten. Die Aufgabe zur inklusiven Überarbeitung einer problematischen Stellenanzeige löst es komplett auf Deutsch, ohne Erklärballast und mit professionellem Ton. Problematische Begriffe werden entfernt, Gender-Bias wird weitgehend bereinigt, und die Ausgabedisziplin stimmt. Das ist keine Revolution, aber gute Praxis.

Der Judge merkt zu Recht an, dass die Formulierungen nicht immer den idiomatischen Idealton deutscher HR-Kommunikation treffen. „Dynamische Persönlichkeit“ klingt etwas marketinglastiger als nötig, und „Fachmann“ bleibt schwächer als eine wirklich neutrale Wahl wie „Fachkraft“. Doch das sind Nuancen auf gutem Niveau. Wichtig ist der Kernbefund: Hermes 4 70B versteht soziale Sprachhygiene und kippt dabei nicht in hölzerne Moralprosa. Das ist mehr wert, als manche Benchmarks vermuten lassen.

Tool-Use und Halluzinationen: stark im Zugriff, riskant im Ergebnis

Der Tool-Execution-Wert fällt deutlich besser aus als der eigentliche ToolUse-Score. Das passt zum Charakter des Modells. Hermes 4 70B kann mit Werkzeugkontext offenbar umgehen, stolpert aber bei der Synthese aus Tool-Ergebnis und finaler Antwort. Genau dort sitzt auch der schwerste Halluzinationsbefund.

In einer Tool-Use-Aufgabe hat das Modell Inhalte generiert, die nicht aus dem abgerufenen Tool-Ergebnis stammten, sondern erfunden waren. Der Score wurde deshalb per Halluzinations-Cap begrenzt. Für content-kritische Anwendungen wie Recherche, Faktenberichte oder Compliance-nahe Zusammenfassungen ist das ein disqualifizierendes Signal. Ein Tool-Modell, das nach dem Nachschlagen doch wieder improvisiert, ist wie ein Praktikant, der Akten anfordert und dann aus dem Gedächtnis zitiert.

Diese Schwäche steht in auffälligem Kontrast zum Speed-Badge. „Real-Time Tool Expert“ beschreibt die Interaktion treffend. Bei der Verlässlichkeit des extrahierten Inhalts sollte man den Titel nur mit Fußnote lesen.

API-Kostenprofil

Hermes 4 70B ist ein Cloud-Open-Weights-Modell, also zählt nicht nur Qualität, sondern auch Token-Disziplin als Kostensignal. In fast allen Modulen verhält sich das Modell erfreulich sparsam. Eine Ausnahme gibt es jedoch: Im UX-Writing produziert es durchschnittlich 3518 Tokens bei einem Fleet-Median von 1644. Das entspricht einem Faktor von 2,14 gegenüber dem Schnitt aller getesteten Modelle.

Das wäre leichter zu verschmerzen, wenn die Qualität parallel dominieren würde. Tut sie aber nicht. Im Gegenteil: Gerade in diesem Modul endet eine Aufgabe im Abbruch. Für API-Nutzung heißt das ganz nüchtern: höhere Kosten, längere Antworten, kein garantierter Qualitätsgewinn. Hermes 4 70B ist dort nicht nur ausführlich. Es ist ineffizient.

Datenschutz und Datenhoheit

Die Datenschutzlage ist bei Hermes 4 70B zweigeteilt. Das Modell selbst stammt von Nous Research Inc. aus San Francisco und wird als Open-Weights-Modell unter Modified-MIT-Lizenz bereitgestellt. Laut Vendor Card betreibt Nous nach geprüfter Unternehmensseite keine eigene öffentliche API. Die eigentlichen Datenschutzrisiken entstehen also erst durch den gewählten Deployment-Weg, hier konkret durch die Nutzung via OpenRouter als Cloud-Proxy.

Das berechnete Sovereign Risk liegt bei MEDIUM. Begründet wird das mit dem Weights-Provenienz-Risiko auf mittlerem Niveau. Ein GDPR DPA ist laut Card nicht verfügbar. Für Unternehmen, die DSGVO-konform arbeiten müssen, ist das kein Detail, sondern ein mögliches Compliance-Hindernis. Als Datenstandort nennt die Card „Local or third-party hoster“, also keinen belastbar fixierten Verarbeitungsort. Die Datenspeicherung wird mit 0 Tagen angegeben. Das klingt gut, ersetzt aber keine vertragliche Absicherung. Für deutsche und europäische Nutzer gilt deshalb: Das offene Modell ist souveräner als eine geschlossene Blackbox, aber die konkrete Datenschutzrealität hängt am Host. Und sobald ein US-Anbieter oder US-bezogene Infrastruktur im Spiel ist, bleibt der CLOUD-Act rechtlich relevant, selbst wenn Daten physisch in Europa liegen.

Fazit

Hermes 4 70B ist ein Modell mit klar erkennbarem Temperament. Es ist schnell, strukturiert, oft angenehm direkt und in kulturell sensiblen Sprachaufgaben besser, als man einem offen abgestimmten 70B-Modell vorschnell zutrauen würde. Mit 68,99 Prozent liefert es eine insgesamt brauchbare Benchmark-Leistung. Aber gerade weil es ein dichtes Server-Modell mit reasoning-orientiertem Anspruch ist, wirken die Defizite deutlicher. Security-Analysen bleiben zu flach, UX-Ausgaben können technisch abbrechen, Sprachvorgaben reißen in mehreren Modulen, und im Tool-Kontext ist eine dokumentierte Halluzination kein Schönheitsfehler, sondern ein Warnschild.

Für interaktive Tool-Aufgaben, allgemeine Umformulierungen, erste Analysen und strukturierte Arbeitsentwürfe ist Hermes 4 70B durchaus interessant, zumal die Geschwindigkeit via OpenRouter für ein Modell dieser Klasse beeindruckend ausfällt. Für sicherheitskritische Audits, faktenkritische Recherche-Synthese oder unbeaufsichtigte Agenten-Workflows fehlt ihm jedoch die letzte Verlässlichkeit. Hermes 4 70B ist kein Blender. Aber es ist ein Modell, das zu oft so wirkt, als halte es den ersten brauchbaren Wurf schon für die Endfassung. In der Redaktion nennt man so etwas talentiert, aber noch nicht sendesicher.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.