Zum Inhalt springen
CrucibleMark

Hermes 4 405B

Hermes 4 405B ist ein leistungsstarkes Instruct- und Reasoning-Modell von Nous Research mit 405 Milliarden Parametern, konzipiert für komplexe Reasoning-Aufgaben und agentische Workflows. Das Modell unterstützt optionales Thinking, präzise Tool-Aufrufe und strukturierte Ausgaben. Trainiert auf hohe Steuerbarkeit und reduzierte Refusal-Raten. Unter Meta-Llama-Community-Lizenz als Open-Weights-Modell verfügbar.

NousResearch Version 4 Kommerzielle Nutzung erlaubt Dense 405 B (405 B aktiv) 128 K Context 01/2025 $1 / $3 per 1M

  • Restricted Weights
  • Frontier
  • OR
  • Text
  • Instruction-Tuned
  • Real-Time

Sovereign Risk: LOW Nous Research ist ein US-amerikanisches Unternehmen und unterliegt dem CLOUD Act, jedoch sind die Gewichte öffentlich verfügbar und lokal betreibbar, sodass kein API-Zugriff durch Dritte erforderlich ist.

Tool-Use-Profil: 6 Assets im Detail

Vergleich der Asset-Performance (P1/P2/Combined) gegenüber dem Flotten-Durchschnitt

Asset-Performance (Radar)

Score Breakdown vs. Fleet Average

Tool-Use-Details

Asset-Performance, Zuverlässigkeit und Laufzeit-Profil

Name P1 P2 Combined
EU License Research 100 40 64
HTTP Fetch & Extract 80 80 80
Tool Failure Handling (404) 80 80 80
Web Search & Tool Selection 100 60 82
URL Construction & Fetch 80 60 70
Multilingual Search & Synthesis 100 40 70

CrucibleMark prüft Tool-Use in 6 voneinander unabhängigen Tests. Klicken Sie auf einen Test-Namen für die Details.

Reliability

  • Tool Call Valid: Nein
  • Retry: Nicht erforderlich
  • Halluzination: Nicht erkannt

Reliability misst, wie verlässlich ein Modell Werkzeugaufrufe tatsächlich ausführt: Tool Call Valid Schema und Format akzeptiert, Retry Required erst nach Wiederholung erfolgreich, Halluzination Flag erfundene Tools oder Parameter erkannt. Alle drei grün bedeutet produktionstauglich.

Betriebsprofil

Call 1
1.21
First Request
MCP
0.94
Protocol Latency
Synthesis
4.22
Response Generation
Total
38.22
Sum of All Phases
Token
4458
Input + Output
Cost
$0.0068
Cost per Run

Das Betriebsprofil zeigt die Laufzeit- und Kostenkennzahlen des Modell-Laufs: Call 1 First Request, MCP Protocol Latency, Synthesis Response Generation, Total Summe aller Phasen, erganzt um Token Input und Output sowie Cost Kosten pro Lauf.

Tool-Use-Review

· Instruction-Tuned

Deployment-Urteil

Bedingt deploy, weil Hermes 4 405B die Tool-Infrastruktur zuverlässig bedient und keine Halluzination im Lauf gezeigt hat, aber die Verdichtung der Tool-Ergebnisse für produktionskritische Synthese zu ungenau bleibt.

Tool-Execution-Profil

Das Modell ist stark auf der Ausführungsseite. Die Tool-Calls waren valide, MCP-konform und ohne Retry lauffähig. Das ist für eine Pipeline wichtiger als sprachliche Eleganz. Beim Test Web Search & Tool Selection, der prüft ob ohne expliziten Hinweis web_search statt fetch gewählt wird, erkennt Hermes 4 405B die richtige Werkzeugklasse sicher. Das spricht gegen ein starres Abrufmuster und für echte Werkzeugwahl. Beim URL-Construction-Test, der die korrekte Ziel-URL aus Modellwissen plus anschließendem Fetch misst, bleibt es brauchbar, aber nicht deterministisch genug für fragile Endpunkte. Das Muster ist klar: gute Auswahl des Werkzeugtyps, etwas schwächere Präzision bei selbst abgeleiteten Zieladressen.

Synthesetreue

Wie gut verdichtet es Tool-Ergebnisse? Nur ordentlich. P2 von 60 zeigt ein Modell, das gefundene Informationen oft korrekt weiterträgt, aber in mehreren Aufgaben zu grob zusammenfasst. Das sieht man besonders bei EU License Research und Multilingual Search & Synthesis, wo die Recherche funktioniert, die Verdichtung jedoch wichtige Einschränkungen und Nuancen nicht zuverlässig konserviert. Für Search-then-answer reicht das oft. Für Compliance, Policy oder exakte Entscheidungsunterlagen reicht es nicht.

Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Überwiegend ja, und das ist der wichtigere Vertrauensbefund. Im Honeypot EU License Research, der prüft ob aktuelle Lizenzrestriktionen aus Web-Quellen statt aus Trainingswissen beantwortet werden, lag keine Halluzination vor. Trotz schwacher Synthese blieb das Modell also im beschafften Evidenzraum. Das ist ein tragfähiges Signal für Tool-Vertrauen.

Fehlerresilienz

Akzeptabel für Produktion. Im 404-Test, der transparentes Verhalten bei fehlschlagendem Tool-Call statt erfundenem Seiteninhalt misst, kommuniziert Hermes 4 405B den Fehler sauber und halluziniert keinen Ersatzinhalt. Genau dieses Verhalten schützt nachgelagerte Systeme vor stillen Faktenfehlern.

Betriebsprofil

Total 38.22s pro Run. Tool-Aufruf 1.21s, MCP-Latenz 0.94s, zweiter Modellaufruf 4.22s. Damit operativ eher langsam. Kosten pro Run 0.006770. Damit für ein 405B-Modell günstig bis sehr gut vertretbar.

Fazit & Empfehlung

Geeignet für MCP-Pipelines, in denen saubere Tool-Nutzung, robuste Fehlerbehandlung und offene Gewichte wichtiger sind als präzise Ergebnisverdichtung. Gute Passform für Recherche-Orchestrierung, Retrieval mit menschlicher Nachsicht und agentische Vorstufen. Nicht die erste Wahl für Compliance-Ausgaben, mehrsprachige Executive Summaries oder jede Pipeline, in der die Antwort direkt als belastbare Endfassung verwendet wird. Hier sollte ein strenger Verifier oder ein zweites Synthese-Modell nachgeschaltet werden.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.