Hermes 4 70B

Hermes 4 70B ist ein offenes Instruct- und Reasoning-Modell von Nous Research aus der Hermes-4-Familie mit 70 Milliarden Parametern. Das Modell kombiniert optionales Thinking mit fortgeschrittenem Tool-Use und strukturierten Ausgaben, trainiert auf hohe Steuerbarkeit und reduzierte Refusal-Raten. Als Open-Weights-Modell unter Modified-MIT-Lizenz lokal oder serverseitig einsetzbar.

NousResearch Version 4 Kommerzielle Nutzung erlaubt Dense 70 B (70 B aktiv) 131 K Context 01/2025 $0.13 / $0.4 per 1M

Open Weights
Server
OpenRouter
Text
Instruction-Tuned
Real-Time

Sovereign Risk: MEDIUM Nous Research ist ein US-basiertes Unternehmen, wodurch die US-Jurisdiktion und der CLOUD Act relevant sind. Da es sich um Open Weights handelt, können die Modelle lokal betrieben werden, was das Risiko eines unkontrollierten Datenabflusses über eine API minimiert.

Tool-Use-Details

Asset-Performance, Zuverlässigkeit und Laufzeit-Profil

Name	P1	P2	Combined
EU License Research	100	60	76
HTTP Fetch & Extract	80	80	80
Tool Failure Handling (404)	80	80	80
Web Search & Tool Selection	100	60	82
URL Construction & Fetch	75	80	77.5
Multilingual Search & Synthesis	100	15	57.5

Name

Combined

EU License Research

100

HTTP Fetch & Extract

Tool Failure Handling (404)

Web Search & Tool Selection

100

URL Construction & Fetch

77.5

Multilingual Search & Synthesis

100

57.5

CrucibleMark prüft Tool-Use in 6 voneinander unabhängigen Tests. Klicken Sie auf einen Test-Namen für die Details.

Reliability

Tool Call Valid: Nein

Retry: Nicht erforderlich

Halluzination: Erkannt

Reliability misst, wie verlässlich ein Modell Werkzeugaufrufe tatsächlich ausführt: Tool Call Valid Schema und Format akzeptiert, Retry Required erst nach Wiederholung erfolgreich, Halluzination Flag erfundene Tools oder Parameter erkannt. Alle drei grün bedeutet produktionstauglich.

Betriebsprofil

Call 1: 0.98; First Request

MCP: 1.43; Protocol Latency

Synthesis: 5.77; Response Generation

Total: 49.14; Sum of All Phases

Token: 10314; Input + Output

Cost: $0; Cost per Run

Das Betriebsprofil zeigt die Laufzeit- und Kostenkennzahlen des Modell-Laufs: Call 1 First Request, MCP Protocol Latency, Synthesis Response Generation, Total Summe aller Phasen, erganzt um Token Input und Output sowie Cost Kosten pro Lauf.

Deployment-Urteil

Bedingt deploy, weil die Tool-Ausführung stark ist, aber ein ungültiger Tool-Call und erkannte Halluzination das Vertrauen in produktive MCP-Pipelines begrenzen. Der Gesamteindruck ist gut, aber nicht robust genug für unbeaufsichtigte High-Trust-Strecken.

Tool-Execution-Profil

Hermes 4 70B zeigt klare Tool-Intelligenz bei der Auswahl des richtigen Werkzeugs. Beim Test Web Search & Tool Selection, der prüft, ob ohne expliziten Hinweis statt fetch eine Suche nötig ist, erkennt das Modell den richtigen Zugriffspfad zuverlässig. Das spricht gegen starres Musterverhalten und für echte Situationsanpassung. Auch bei EU License Research und Multilingual Search & Synthesis greift es operativ sicher zu.

Schwächer ist die Protokollpräzision. Der Status „Tool-Call valide: false“ und das Ergebnis im Test URL Construction & Fetch zeigen, dass die Ableitung einer Ziel-URL aus Eigenwissen nicht deterministisch genug ist. Für MCP-Pipelines heißt das: Die Werkzeugwahl ist meist richtig, aber die konkrete Ausführung bleibt fehleranfällig, wenn der Pfad nicht schon durch die Tooling-Schicht abgesichert ist. Positiv ist, dass kein Retry erforderlich war. Das Problem liegt also eher in der Erstpräzision als in wiederholtem Formatversagen.

Synthesetreue

Wie gut verdichtet es Tool-Ergebnisse? Nur eingeschränkt verlässlich. Die P2-Qualität ist mit 41.67 der klare Schwachpunkt dieses Modells. Besonders auffällig ist Multilingual Search & Synthesis: Die Recherche gelingt, aber die Verdichtung auf Deutsch bricht stark ein. Hermes kann also Informationen beschaffen, verliert aber bei der Zusammenführung an Präzision und Priorisierung. Für Architekturen, in denen das Modell nicht nur findet, sondern belastbar zusammenfassen muss, ist das ein reales Produktionsrisiko.

Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Im Honeypot EU License Research, der prüft, ob aktuelle Lizenzrestriktionen wirklich aus Web-Quellen geholt werden, bleibt Hermes auf der Tool-Spur und halluziniert dort nicht. Das ist ein wichtiges Vertrauenssignal. Gleichzeitig gilt der globale Halluzinationsbefund als Sicherheitsrisiko: Sobald ein Modell erfundene Fakten als Werkzeugergebnis ausgibt, beschädigt es die Vertrauenskette der gesamten Tool-Infrastruktur.

Fehlerresilienz

Akzeptabel für Produktion. Im Test Tool Failure Handling (404), der transparentes Verhalten bei fehlschlagendem Fetch prüft, kommuniziert Hermes den Fehler sauber und erfindet keinen Ersatzinhalt. Genau dieses Verhalten ist in produktiven Pipelines erforderlich, weil Orchestrierung nur mit ehrlichen Fehlerzuständen zuverlässig reagieren kann.

Souveränitätsprofil

Lokal betreibbar und fleet-kompetitiv. Der Combined-Score liegt bei 75.50, der Sovereignty Gap damit n/a-Punkte unter dem Fleet-Ø von 67.19.

Fazit & Empfehlung

Geeignet für lokal betriebene MCP-Pipelines, in denen das Modell primär Werkzeuge auswählt, Suchpfade eröffnet und Ergebnisse mit nachgelagerter Validierung weiterreicht. Nicht geeignet als alleinige Synthese- und Vertrauensinstanz für Compliance, mehrsprachige Rechercheverdichtung oder deterministische Fetch-Strecken mit fragiler URL-Konstruktion. Empfehlenswert ist Hermes 4 70B als orchestrierendes Frontmodell mit strikter Tool-Schema-Validierung, Output-Checks und einem zweiten Prüfschritt für finale Antworten.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.