Hermes 4.3 36B

Mit einem Gesamtscore von 67.14% und dem Speed Profile Badge Batch Tool Expert ist Hermes 4.3 36B (vLLM, Seed-OSS, Dense, NVFP4) kein spritziger Chat-Allrounder, sondern ein schweres Arbeitsmodell mit Planungsanspruch und spürbarer Trägheit. Die redaktionelle Einordnung passt: als Generalist in der Server-Klasse und mit Dense-Architektur muss es sich an breiter Kompetenz messen lassen, nicht an einem Spezialtalent. Genau dort liefert es ein gemischtes Bild: strukturiert, oft brauchbar, gelegentlich klug, aber zu oft unpräzise bei Sprache, Formatdisziplin und faktenkritischem Tool-Einsatz. Sovereign Risk: MEDIUM — offene Gewichte unter Apache-2.0, lokal betreibbar ohne Cloud-Abfluss; die Provenienz bleibt wegen US-Jurisdiktion und nachgelagerter NVFP4-Quantisierung trotzdem nicht völlig neutral.

Kopfnoten: Stabilität und Zuverlässigkeit

Architektur und Betriebsmodus

Die Vorab-Klassifikation trifft den Charakter erstaunlich gut, wenn man sie richtig liest. Hermes 4.3 36B (vLLM, Seed-OSS, Dense, NVFP4) ist ein Dense-Modell mit 36 Milliarden Parametern, also volle Kapazität pro Token statt Experten-Auswahl wie bei MoE-Systemen. Das erklärt einen Teil seines Verhaltens: mehr rohe Modellmasse pro Antwort, aber eben auch weniger Leichtfüßigkeit. In der Server-Klasse ist das legitim. In dieser Klasse ist es aber auch verpflichtend, nicht nur ordentlich zu wirken, sondern belastbar.

Wichtig ist der tatsächliche Testmodus: Dieser Lauf fand im Standard-Modus statt, also mit deaktiviertem Thinking. Das ist keine Fehlkonfiguration, sondern der faire Out-of-the-box-Betrieb. Weil Hermes grundsätzlich Thinking-Optional unterstützt und zugleich als Agentic-Orchestrator eingeordnet ist, darf man intern mehr Planung vermuten als ein schnörkelloses Instruct-Modell zeigt. Man darf aber nicht so tun, als sei jeder langsame oder breit ausrollende Output automatisch ein Zeichen tieferer Intelligenz. Im Benchmark zählt, was wirklich auf dem Tisch liegt.

Dass das Modell zusätzlich als Uncensored-Finetuned-Familie gelesen werden kann, ist als Milde-Regel relevant, aber kein Freifahrtschein. Bei Coding und DevOps darf man Nuancenachlässe gegenüber streng produktoptimierten Basismodellen einkalkulieren. Bei Halluzinationen in Tool-Workflows gilt diese Milde nicht. Dort endet die Pose und beginnt das Risiko.

Geschwindigkeit und Laufzeitprofil

Hermes trägt den Badge Batch Tool Expert. Das ist eine ziemlich treffende Kurzdiagnose. Dieses Modell ist für längere, eher stapelweise abgearbeitete Aufgaben plausibler als für direkte, zackige Interaktion. Seine Geschwindigkeit ist qualitativ niedrig bis moderat, und die Streuung wiegt schwerer als der reine Mittelwert. Wer ein lokales Modell sucht, das sich wie eine flinke Konsole anfühlt, ist hier falsch. Wer längere Antworten, Tool-Schemata und komplexere Strukturarbeit in Kauf nimmt, bekommt eher den Charakter eines behäbigen Projektbearbeiters.

Getestet wurde das lokale Modell nativ auf ASUS GX10 / NVIDIA DGX Spark (GB10 Grace Blackwell Superchip, ~115 GB Unified Memory — kein praktisches Speicherlimit für getestete Modellgrößen). Für die Einordnung zählt deshalb vor allem dies: Die beobachteten Ausreißer sind als realer Stabilitäts- und Latenzbefund ernst zu nehmen, nicht als triviale Kleinigkeit eines engen Setups.

Positiv ist immerhin die Token-Ökonomie. Hermes verhält sich token-ökonomisch; kein Modul übersteigt den erwarteten Verbosity-Rahmen. Das Modell redet also nicht deshalb langsam, weil es endlos schwafelt. Es ist schlicht kein Eilzug.

Reasoning und Logik

Für ein Modell mit Thinking-Verwandtschaft im Stammbaum ist der Reasoning-Bereich respektabel, aber nicht einschüchternd. Der Logik-Score liegt bei 62.23%. Das ist kein Absturz, aber für ein 36B-Dense-Modell mit Reasoning-Ambitionen auch kein Anlass, die Trompete zu holen. Hermes zeigt in den stärkeren Fällen saubere Grundstruktur, nachvollziehbare Schritte und eine gewisse didaktische Ordnung. Im Wächter-Rätsel etwa landet es bei der richtigen Kernfrage und erklärt die doppelte Inversion korrekt. Das ist keine Kleinigkeit. Viele Modelle scheitern genau dort an ihrer eigenen Erklärung.

Was fehlt, ist die zweite Ebene: Klarheit unter Druck, pädagogische Schärfe, die elegante Verdichtung. Das Judge-Protokoll kritisiert zu Recht, dass die Präsentation funktional bleibt, aber nicht exzellent wird. Es fehlen visuelle oder tabellarische Hilfen, alternative Formulierungen, gelegentlich auch die letzte Präzision im Warum. Das Modell denkt nicht falsch. Es denkt oft nur nicht zu Ende, zumindest nicht sichtbar im Resultat.

In einer Reasoning-Aufgabe ignorierte das Modell zudem die explizite Sprachanweisung und antwortete auf Englisch. Das ist kein technischer Aussetzer, sondern eine klare Schwäche beim Instruction-Following. In Umgebungen mit fester Zielsprache ist genau so ein Patzer kein Kavaliersdelikt, sondern ein Ticket für manuelle Nachkontrolle.

Code Quality und Security

Der Code-Quality-Bereich ist ein gutes Beispiel dafür, warum man dieses Modell weder vorschnell abschreiben noch vorschnell loben sollte. Der Modulwert von 66.8% ist ordentlich, aber nicht sattelfest. In der Sicherheitsanalyse erkennt Hermes viele klassische Schwachstellen korrekt: SQL Injection, Klartext-Passwörter, XSS, Session-Probleme, Path Traversal, CSRF. Das ist die solide Handwerksbasis, die man von einem großen Generalisten verlangen darf.

Dann kommen die Risse. In einem Security-Audit antwortete das Modell vollständig auf Englisch, obwohl Deutsch explizit gefordert war. Das kostet nicht nur Formpunkte. Es verweist auf ein altes Problem vieler großer Modelle: Sobald Struktur, Fachlichkeit und Tabellenform zusammenkommen, fällt die Sprachvorgabe als erstes vom Wagen. Inhaltlich schwerer wiegt, dass mehrere zentrale Schwachstellen fehlen, darunter IDOR, hartkodierte Secrets und ein fehlendes Ablaufdatum für Reset-Tokens. Gerade IDOR ist in solchen Ketten kein Detail, sondern oft der Hebel, mit dem aus einer unsauberen App ein vollständiger Kontenraub wird. Wenn ein Modell den Nebel sieht, aber den Abgrund nicht benennt, ist das kein akademischer Schönheitsfehler.

Sicherheitsseitig bedeutet das: Hermes eignet sich für die erste Triage, nicht für die letzte Freigabe. Es erkennt viel. Es priorisiert nicht immer richtig. Und bei Security ist Halbwissen nicht halb so gut wie Ganzwissen, sondern doppelt gefährlich.

Tool-Use und Halluzinationen

Hier liegt die Achillesferse dieses Laufs. Der Tool-Use-Score von 43.33% ist schwach, und die Protokolle nennen den Grund unmissverständlich: In vier Tool-Aufgaben halluzinierte das Modell Inhalte, die nicht aus dem abgerufenen Tool-Ergebnis stammten. Das betraf die Aufgaben tooluse002, tooluse004, tooluse005 und tooluse006. Das System kappte den P2-Score jeweils per Halluzinations-Cap. Für Recherche, faktenkritische Zusammenfassungen und agentische Berichte ist das ein disqualifizierendes Signal.

Gerade weil Hermes architektonisch als Tool-Use-fähig und als orchestrierendes Modell eingeordnet ist, ist dieser Befund heikel. Ein Orchestrator darf bei exakten One-Linern etwas Nachsicht bekommen. Er darf nicht den Inhalt seiner eigenen Werkzeuge erfinden. Wer Tool-Resultate nur als grobe Inspiration behandelt, baut keinen Agenten, sondern eine Fehlerquelle mit Selbstvertrauen.

Das ist der Punkt, an dem aus theoretischer Agentic-Kompetenz praktisches Misstrauen wird. Solange jede externe Quelle noch einmal gegengeprüft wird, kann man mit dem Modell arbeiten. Ohne diese Sicherung sollte man es nicht als Fakten-Endpunkt einsetzen.

UX Writing und Content Transformation

Im UX-Writing zeigt Hermes einen typischen Zug dieses Modells: brauchbare Praxis, begrenzte Tiefe. Der Modulwert von 60.85% erklärt sich nicht durch grobe Fehlleistungen, sondern durch fehlende psychologische Präzision. In einer Skip-Button-Optimierung macht das Modell vieles richtig: klarere Sprache, weniger Jargon, besseres Tempo, konkretere Formulierungen. Was fehlt, sind die zugrunde liegenden Verhaltensprinzipien, quantitative Zielvorgaben und die methodische Strenge, die aus ordentlicher Copy überzeugende UX-Arbeit macht. Dazu kommt Scope Creep: ein ungefragter Zusatzblock zu psychologischen Prinzipien, der eher den Fokus verdünnt als die Antwort stärkt. Nützlich, ja. Diszipliniert, nein.

Im Bereich Content Transformation ist das Bild härter. Der Score von 69.42% wäre auf den ersten Blick ordentlich, die Protokolle zeigen aber eine wiederkehrende Schwäche bei kombinierten Anforderungen aus Sprache, Länge und Format. Das Modell kann Struktur imitieren, verliert aber unter Last einzelne Kernbedingungen. Besonders klar wird das bei einer Video-Skript-Aufgabe: formal sind Timestamps, Produktionshinweise und lockerer Ton vorhanden, doch die Hauptsprache kippt ins Englische, obwohl Deutsch verlangt war. Das ist kein kleiner Ausrutscher, sondern eine direkte Nicht-Erfüllung einer Muss-Bedingung.

In einer Aufgabe im Content-Transformation-Bereich überschritt das Modell die explizite Wortvorgabe von 250 Wörtern um 210% und produzierte 525 Wörter. Das System verhängte dafür einen automatischen Abzug von 33.60 Punkten, also 40% auf den erreichten Teilscore. Die inhaltliche Qualität der Antwort ist damit irrelevant. Die Strafe greift unabhängig davon.

Dieser Verstoß ist berichtenswert, weil er den Charakter des Modells offenlegt. Hermes hat Ideen, Strukturinstinkt und gelegentlich Stilgefühl. Aber wenn mehrere Leitplanken gleichzeitig gelten, behandelt es das Wortlimit offenbar als unverbindliche Empfehlung. Für redaktionelle oder agentische Workflows ist das unerquicklich. Ein Modell, das sauber formuliert, aber Briefings überfährt, macht mehr Nacharbeit als es spart.

Documentation Quality

Mit 62.58% in der Dokumentationsqualität bleibt Hermes im Bereich des Soliden, ohne sich abzusetzen. Die Stärke liegt in brauchbarer Gliederung und einer gewissen Bereitschaft, den Leser mitzunehmen. Die Schwäche ist das Fehlen von Schärfe bei Priorisierung und Verdichtung. Das Modell erklärt gern einen Tick breiter, als für präzise technische Dokumentation ideal wäre, ohne dabei in echte Vollständigkeit umzuschlagen.

Das passt zum generellen Charakter dieses Laufs. Hermes ist nicht knapp, aber auch nicht geschwätzig. Nicht verworren, aber oft einen Schritt von der klaren Exzellenz entfernt. Für interne Doku-Entwürfe ist das tragbar. Für Texte, die in kritischen Umgebungen ohne Nachbearbeitung bestehen sollen, eher nicht.

Cultural Intelligence

Die 74.0% im Cultural-Intelligence-Modul gehören zu den erfreulicheren Werten des Modells. Hermes arbeitet sprachlich meist sauber und bleibt im Deutschen, wenn es darauf ankommt. Gleichzeitig zeigt sich auch hier, dass gute Absicht und gute Ausführung nicht immer deckungsgleich sind. In der Überarbeitung einer problematischen Stellenanzeige entfernt das Modell zwar einen Teil der toxischen und aggressiven Tonalität, versagt aber ausgerechnet bei der Kernanforderung, Gender-Bias zuverlässig zu neutralisieren. Die Wahl von „Fachmann“ statt einer inklusiven Form wie „Fachkraft“ ist kein Randfehler. Es ist ein Griff daneben am zentralen Briefingpunkt.

Dazu kommt ein Tonproblem: Negative Formulierungen werden teils nur umetikettiert statt wirklich umgebaut. Professionelle, einladende Sprache entsteht so nicht. Das Ergebnis ist besser als der Ausgangstext, aber es hat diese leicht mechanische Unbeholfenheit, die man sofort erkennt, wenn man damit tatsächlich Bewerber erreichen will. Nicht falsch genug zum Scheitern. Nicht fein genug zum Vertrauen.

CLI und operative Präzision

Der CLI-Score von 82.22% ist eine der klaren Stärken dieses Laufs. Das passt überraschend gut zur Orchestrator-Einordnung. Hermes liefert im operativen Bereich oft die nötige Struktur, erkennt Aufgabenmuster und bewegt sich in Shell- und Befehlslogik verlässlich genug, um in Assistenzrollen nützlich zu sein. Dass es hier besser aussieht als im Tool-Use, ist kein Widerspruch. CLI-Aufgaben belohnen Struktur und operative Vernunft. Tool-Use bestraft erfundene Fakten. Das eine kann Hermes besser als das andere.

Gerade für halbautomatische Technik-Workflows ist das eine interessante Kombination: gute operative Orientierung, aber nur unter der Bedingung, dass externe Ergebnisse nicht blind übernommen werden. Wer Hermes Befehle entwerfen oder Arbeitspläne strukturieren lässt, kann profitieren. Wer es als Wahrheitsmaschine über Tool-Outputs betrachtet, baut auf Sand.

Datenschutz und Datenhoheit

Ein eigener Datenschutz-Alarmblock ist hier nicht nötig, weil es sich nicht um einen Cloud-Endpunkt, sondern um offene Gewichte im lokalen Betrieb handelt. Relevant ist dennoch die Provenienz: Das berechnete Sovereign Risk liegt bei MEDIUM. Grund dafür sind die US-Herkunft von Nous Research, die damit verbundene CLOUD-Act-Jurisdiktion auf Anbieterseite und die nachgelagerte NVFP4-Quantisierung der öffentlich verfügbaren Basisgewichte. Für europäische Unternehmen ist die gute Nachricht entscheidend praktisch: Im vollständig lokalen Betrieb fließen keine Prompts oder Inhalte an einen Anbieter ab. Das Risiko liegt damit eher in Herkunft und Governance der Gewichte als in laufendem Datenabfluss.

Fazit

Hermes 4.3 36B (vLLM, Seed-OSS, Dense, NVFP4) ist ein Modell mit Substanz, aber ohne die Selbstverständlichkeit, die man in seiner Klasse gern sähe. Es erreicht 67.14% und zeigt damit genug Können, um ernst genommen zu werden, aber zu viele Schwächen, um blind vertraut zu werden. Als Generalist in der Server-Klasse mit Dense-Architektur darf es breit arbeiten. Genau das tut es auch. Es schreibt brauchbar, plant ordentlich, liefert gute CLI-Arbeit und vernünftige Grundlogik. Dann stolpert es über Sprachvorgaben, missachtet Wortlimits und halluziniert in Tool-Aufgaben ausgerechnet dort, wo Faktenbindung nicht verhandelbar ist.

Der Vergleich zum zweiten Lauf desselben Modells fällt knapp, aber aufschlussreich aus: Der hier getestete Standard-Modus liegt mit 67.14% leicht unter der separat vorliegenden Thinking-Variante mit 68.02%. Der Abstand ist klein, aber der Charakter verschiebt sich. Thinking bringt etwas mehr Strukturgewinn, macht aus Hermes jedoch keinen neuen Typus. Es bleibt auch dann eher ein bedächtiger Werkzeugträger als ein brillanter Problemlöser.

Für den Praxiseinsatz heißt das: sinnvoll für lokale Assistenz, Doku-Entwürfe, CLI-Hilfen und längere strukturierte Aufgaben mit menschlicher Kontrolle. Nicht sinnvoll als unbeaufsichtigter Recherche-Agent oder als verlässliche Endinstanz für Security- oder Fakten-Workflows. Die offene Apache-2.0-Lizenz, die lokale Betreibbarkeit und der große native Kontext sind echte Pluspunkte. Aber Charakter ersetzt keine Verlässlichkeit. Und Verlässlichkeit ist genau das, was diesem Hermes am Ende am deutlichsten fehlt.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.