GLM-5.1

Mit einem Gesamtscore von 76,66 Prozent zeigt GLM-5.1 ein seltenes Profil: ein Frontier-Generalist mit MoE-Architektur, der trotz breiter Allround-Ausrichtung unverkennbar nach Agentenbetrieb und Tool-Nutzung riecht. Das Modell läuft hier als kommerzielles Cloud-Angebot von Z.AI beziehungsweise Zhipu AI, trägt den Speed-Profile-Badge Interactive Tool Expert und liefert damit genau das Bild, das der Name verspricht: stark in strukturierter Arbeit, ordentlich im Code, überraschend gut im kulturellen Feingefühl, aber nicht frei von operativen Narben. Sovereign Risk: HIGH — Zhipu AI unterliegt chinesischer Jurisdiktion, verarbeitet API-Daten in China und bietet laut vorliegenden Karten kein DSGVO-taugliches DPA.

Kopfnoten: Stabilität und Zuverlässigkeit

Architektur und Charakter: viel Breite, aber nicht leichtfüßig

Die redaktionelle Einstufung passt erstaunlich sauber. GLM-5.1 ist ein Generalist und muss sich deshalb an der ganzen Breite des Benchmarks messen lassen, nicht nur an einer Komfortzone. Gleichzeitig ist es als Instruct, Coder, Agentic-Orchestrator und Thinking-Optional markiert. Genau diese Mischung erklärt seinen Charakter besser als jeder Marketingsatz.

Zunächst zur Bauform: GLM-5.1 ist ein Frontier-Modell mit Mixture-of-Experts-Architektur. Insgesamt stehen 754 Milliarden Parameter im Raum, aktiv sind pro Token aber nur 40 Milliarden. Das ist der relevante Wert. Wer nur auf die Gesamtzahl starrt, verwechselt Prospektgröße mit wirksamer Kapazität. Für ein MoE-Modell dieser Klasse ist die Leistung deshalb nicht als roher Gigantismus zu lesen, sondern als Ergebnis sauberer Spezialisierung und Routing-Entscheidungen.

Dazu kommt der Einsatzzweck. Als Agentic-Orchestrator darf man GLM-5.1 milder beurteilen, wenn es bei absolut starren Formataufgaben nicht immer die letzte Schraube anzieht. Solche Modelle sind dafür gebaut, Aufgaben zu zerlegen, Tools anzusteuern und mehrere Teilschritte strategisch zu führen. Genau dort wirkt GLM-5.1 am glaubwürdigsten. Der Benchmark lief im Standardmodus ohne aktiviertes Extended Thinking. Das ist wichtig, denn GLM-5.1 unterstützt laut Kartenmaterial ein schaltbares Thinking-System per API. Getestet wurde also nicht der aufgebohrte Sondermodus, sondern das Verhalten, das ein normaler API-Nutzer ohne Spezialkonfiguration tatsächlich bekommt.

Performance-Profil: solide Geschwindigkeit, schwerer Schwanz

Die nackte Generierungsgeschwindigkeit liegt bei 30,16 Tokens pro Sekunde. Für ein kommerzielles Cloud-Modell mit Frontier-Anspruch ist das kein Rekord, aber auch keine Zumutung. In Verbindung mit dem Badge Interactive Tool Expert heißt das: GLM-5.1 ist nicht auf hektisches Wortfeuer optimiert, sondern auf den Einsatz, bei dem ein Modell Werkzeugergebnisse verarbeitet, strukturiert antwortet und dabei noch interaktiv bleiben soll. Das gelingt grundsätzlich.

Der Haken liegt im Tail. Die Durchschnittsdauer pro Aufgabe beträgt 39,94 Sekunden, aber die P95-Antwortzeit von 117,52 Sekunden zeigt eine deutliche Streuung. Anders gesagt: Oft arbeitet GLM-5.1 zügig genug, doch in einem relevanten Randbereich kippt es in jene Langsamkeit, die einen Agenten-Workflow spürbar aus dem Takt bringt. Für einen Agentic-Orchestrator ist eine etwas höhere Latenz nicht per se verdächtig, weil intern mehr Planung stattfinden kann. Dennoch bleibt der Befund klar: Die Architektur erklärt die Trägheit teilweise. Sie entschuldigt sie nicht vollständig.

Preislich liegt GLM-5.1 bei 1,05 Dollar pro Million Eingabe-Tokens und 3,5 Dollar pro Million Ausgabe-Tokens. Das ist für ein Frontier-Cloud-Modell vernünftig. Es wird aber nur dann attraktiv, wenn man die Verbosity im Griff behält. Und genau da beginnt der zweite Teil der Geschichte.

API-Kostenprofil

GLM-5.1 schreibt oft mehr, als ökonomisch vernünftig ist. Das ist kein Qualitätslob, sondern eine Kostenstelle.

Im CLI-Benchmark produziert das Modell durchschnittlich 909 Tokens bei einem Fleet-Median von 287. Das entspricht dem 3,17-Fachen des Schnitts. Im Code-Quality-Bereich sind es 3968 Tokens gegenüber 2317, also 1,71-mal so viel. Content Transformation liegt bei 3629 Tokens statt 1768, also beim 2,05-Fachen. In Cultural Intelligence fällt der Unterschied besonders drastisch aus: 1655 Tokens statt 220, also 7,52-mal so viel wie der Median. Auch UX Writing ist mit 3908 Tokens gegenüber 1438 klar überzogen, also beim 2,72-Fachen.

Für einen Cloud-Einsatz bedeutet das etwas sehr Konkretes: identische oder nur leicht bessere Qualität zu deutlich höheren Ausgabekosten. GLM-5.1 ist kein verschwenderischer Totalausfall, aber es hat die unschöne Angewohnheit, auf einfache Fragen mit der Textmenge eines Modells zu antworten, das seine eigene Rechnung nicht bezahlen muss.

Code Quality und Security: starkes Fundament, aber kein Sicherheitsarchitekt aus Leidenschaft

Im Modul Code Quality Audit erreicht GLM-5.1 71,36 Prozent. Das ist für ein Modell mit Coder-Tag ordentlich, aber nicht überragend. Die qualitativen Protokolle zeigen ein klares Bild: Das Modell liefert sauber formatierte Markdown-Tabellen, arbeitet auf Deutsch korrekt, erkennt die meisten relevanten Sicherheitslücken und priorisiert Schweregrade plausibel. Im konkreten Security-Audit identifizierte es 16 von 19 Schwachstellen und benannte sogar die fünf impliziten Probleme korrekt, darunter Secondary SQL Injection, PHP Type Juggling, Mail Header Injection, Session Fixation und einen vorhersagbaren Reset-Token. Das ist keine Kleinigkeit. Viele Modelle glänzen bei offensichtlichen CVEs und stolpern bei versteckten Ketten. GLM-5.1 stolpert hier nicht.

Seine Schwäche liegt nicht im Erkennen, sondern im Durchziehen. Es fehlten CSRF-Schutz, Reset-Token-Ablaufzeiten und der Sonderfall Header vor Output. Das sind keine exotischen Randnotizen, sondern Standardmaterial jeder ernsthaften Web-Sicherheitsprüfung. Hinzu kommt: Die Fixes sind meist korrekt, aber knapp. Die Tiefe eines echten Sicherheitsreviews, also Angriffsketten, Business Impact und Priorisierung nach Exploit-Pfaden, erreicht GLM-5.1 nicht zuverlässig. Es schreibt wie ein guter Auditor im ersten Durchgang, nicht wie der Mensch, der am Ende den Incident-Report unterschreibt.

Das ist als Urteil härter, als die Punktzahl vermuten lässt. Denn Security lebt nicht nur von Treffern, sondern von Vollständigkeit. Eine fehlende CSRF-Warnung ist nicht deshalb harmlos, weil der Rest ordentlich aussieht.

CLI, Tooling und Agentenfähigkeit: hier wird die Architektur plausibel

Im CLI-Benchmark stehen 87,33 Prozent. Im Tool Execution-Feld sogar 90,0 Prozent, dazu ein ToolUse Score von 59,17 und eine Synthesis Quality von 74,12. Das ist die Zone, in der GLM-5.1 am ehesten wie es selbst wirkt. Es plant, strukturiert und arbeitet mit Werkzeugen deutlich überzeugender, als es in reinen Schönschreib-Aufgaben glänzt.

Genau hier zahlt sich die Einstufung als Agentic-Orchestrator aus. GLM-5.1 wirkt weniger wie ein Modell, das jeden einzelnen Befehl mit pedantischer Eleganz formt, sondern eher wie eines, das die Gesamtaufgabe im Blick behält und den Weg dorthin organisiert. Für produktive Agenten-Workflows ist das wertvoll. Der Leser sollte nur nicht den Fehler machen, diese Stärke mit völliger Verlässlichkeit zu verwechseln.

In einer Aufgabe im Tool-Use-Bereich trat nämlich ein echter Halluzinationsbefund auf. Das Modell generierte Inhalte, die nicht aus dem abgerufenen Tool-Ergebnis stammten, sondern erfunden waren. Der Score wurde durch einen Halluzinations-Cap begrenzt. Für content-kritische Aufgaben wie Recherche, Faktenberichte oder jede Form von evidenzgebundener Zusammenfassung ist das ein disqualifizierendes Signal. Ein Tool aufrufen und dann die Antwort teilweise erfinden, ist die moderne Variante des Consultants, der kurz in die Akte schaut und danach aus dem Bauch referiert.

Reasoning und Logik: korrekt, klar, aber nicht luxuriös

Im Bereich Logical Reasoning erreicht GLM-5.1 74,8 Prozent. Das ist ein gutes Ergebnis, und die Protokolle bestätigen warum. Bei der klassischen Wächterlogik liefert das Modell die korrekte Lösung, erklärt die Doppelverneinung sauber, bleibt vollständig auf Deutsch und strukturiert seine Antwort in nachvollziehbaren Schritten. Es denkt also nicht nur in die richtige Richtung, sondern produziert ein brauchbares Endergebnis.

Die Schwäche liegt im Mehrwert. Wo ein exzellentes Reasoning-Modell alternative Formulierungen, visuelle Hilfen, Meta-Erkenntnisse oder eine robustere didaktische Aufbereitung nachlegt, begnügt sich GLM-5.1 oft mit einer funktional vollständigen Lösung. Das ist kein Versagen. Es ist aber ein Hinweis auf den Instruct-Charakter des Modells: Befehl erfüllt, Aufgabe gelöst, keine unnötige Ausschweifung. Für viele Nutzer ist genau das angenehm. Für Leser, die aus einer Antwort auch intellektuellen Ertrag ziehen wollen, bleibt ein leichter Mangel an Eleganz.

Wichtig ist auch, was der Benchmark hier nicht getan hat: Das optionale Extended Thinking wurde nicht aktiviert. GLM-5.1 wurde also im Standardmodus geprüft. Wer das Modell gezielt für komplexe logische Ketten einsetzt, könnte per API noch mehr Tiefe herauskitzeln. Der Benchmark bewertet bewusst das Verhalten ohne Spezialschalter. Und in diesem Modus ist GLM-5.1 ein verlässlicher Denker, aber kein brillanter Lehrer.

Content Transformation und UX Writing: stark in der Ausführung, schwächer in Disziplin

Im Bereich Content Transformation & Adaption kommt GLM-5.1 auf 78,15 Prozent. Das ist ein gutes Resultat, und das qualitative Material zeigt einen typischen GLM-Zug: Das Modell liefert brauchbare, inhaltlich vollständige Arbeit, überzieht aber gern die Spezifikation. Beim Videoskript zur Zwei-Faktor-Authentifizierung waren alle verlangten Elemente vorhanden, inklusive Hook, Produktionshinweisen, Pattern Interrupt und Easter Egg. Das ist handwerklich gut. Nur war das Skript mit rund 1400 Wörtern deutlich länger als die geforderten 600 bis 900 Wörter und damit eher sechs bis sieben Minuten als die gewünschten fünf. Das ist kein Missverständnis, sondern ein Disziplinproblem.

Das Längenproblem ist kein isolierter Schönheitsfehler. Über mehrere Aufgaben im Content-Transformation- und UX-Writing-Umfeld zeigt sich dieselbe Tendenz bereits auf Token-Ebene: Das Modell schreibt mehr als nötig. Bei UX Writing liegt der Durchschnitt bei 3908 Tokens gegenüber einem Fleet-Median von 1438. Bei Content Transformation bei 3629 statt 1768. GLM-5.1 kann sich gut erklären. Es kann sich nur nicht immer bremsen.

Inhaltlich ist das Resultat dennoch respektabel. Die Sprachführung bleibt in den vorliegenden Protokollen sauber deutsch, Produktionsmarker werden sinnvoll eingesetzt und der Tonfall ist meist zweckdienlich. Was fehlt, ist Feinschliff. Die Hook ist oft gut, aber nicht zwingend. Die emotionalen Begründungen sind vorhanden, aber weniger präzise als bei den stärksten Modellen. Es ist der Unterschied zwischen einem guten Redakteur und einem sehr guten Regisseur.

Cultural Intelligence: auffallend stark, aber mit etwas Verwaltungston

Ein kleines Kompliment muss sein: 81,72 Prozent in Cultural Intelligence sind für ein breit aufgestelltes Modell ein bemerkenswert gutes Signal. GLM-5.1 entfernt toxische Sprache zuverlässig, hält Genderneutralität ein, mischt keine Sprache ungewollt und trifft einen professionellen deutschen Ton. In der protokollierten Job-Ad-Überarbeitung wurde sauber entschärft, inklusiv formuliert und formal korrekt gearbeitet.

Die Kritik ist dabei fast schon literarisch. Der Text wirkte etwas bürokratischer und weniger einladend als der Goldstandard. Es fehlten Worte wie „Leidenschaft“, der Schluss hatte weniger Wärme, und einzelne Formulierungen klangen nach Personalabteilung in Business-Hemd statt nach Unternehmen mit Puls. Das ist kein schwerer Fehler. Es ist aber aufschlussreich. GLM-5.1 versteht kulturelle und sprachliche Anforderungen gut, schreibt jedoch in heiklen Tonlagen eher sicher als magnetisch.

Dokumentation: nützlich, aber nicht die Referenzklasse

Mit 74,6 Prozent in Documentation Quality liefert GLM-5.1 ein solides Ergebnis. Es bleibt in der Linie des gesamten Modells: funktional, strukturiert, meist vollständig, aber selten meisterhaft komprimiert. Gerade in dokumentationsnahen Aufgaben ist das grundsätzlich besser als die Gegenrichtung. Ein Modell, das ordentlich erklärt, ist wertvoller als eines, das knapp danebenliegt. Allerdings erkauft sich GLM-5.1 diese Nützlichkeit häufig mit zusätzlichem Textvolumen. Der Overhead ist hier mit 1,28-mal gegenüber dem Fleet-Median noch moderat. Das wirkt fast schon diszipliniert, gemessen am Rest.

Halluzinationen: nicht flächendeckend, aber an der falschen Stelle

GLM-5.1 ist kein notorischer Fabulierer. Der Benchmark zeigt keine breite Halluzinationsseuche über alle Module hinweg. Gerade deshalb wiegt der konkrete Fall im Tool-Use-Bereich umso schwerer. Wer ein Modell Werkzeuge benutzen lässt, will nicht nur Aktivität sehen, sondern Treue zur Quelle. Sobald aus echtem Tool-Output freie Erfindung wird, kippt der ganze Vertrauensvertrag.

Das muss man scharf benennen: Für kreative oder interne Arbeitsentwürfe ist so ein Fehler lästig. Für Recherche, Security-Reports, Compliance-Zusammenfassungen oder automatisierte Agenten mit Berichtspflicht ist er brandgefährlich.

Datenschutz und Datenhoheit

Für europäische Unternehmen ist GLM-5.1 datenschutzrechtlich kein entspannter Kauf, sondern eine bewusste Risikoentscheidung. Das berechnete Sovereign Risk ist HIGH. Begründet wird das durch zwei Ebenen zugleich: die Herkunft des Modells von Z.AI beziehungsweise Zhipu AI und den Betrieb über die Zhipu-AI-Cloud in China. Laut Vendor Card gilt chinesisches Recht, konkret PIPL, CSL und DSL, der Datenstandort ist China, und ein GDPR DPA ist nicht verfügbar.

Für deutsche und europäische Nutzer ist das die entscheidende Stelle. Es gibt keinen EU-Angemessenheitsbeschluss für China. Wer personenbezogene oder sensible Unternehmensdaten an diese API sendet, bewegt sich damit in einem Bereich erheblicher Compliance-Risiken. Erschwerend kommt hinzu, dass die Kartendaten eine Datenspeicherung von -1 Tagen ausweisen, also keine verifizierte klare Aufbewahrungsfrist nennen. Das ist keine kleine Unschärfe, sondern ein praktisches Problem für Governance und Vertragsprüfung.

Hinzu kommt das Weights-Provenienz-Risiko HIGH. Die Begründung ist explizit: Zhipu AI unterliegt dem chinesischen National Security Law, das staatlichen Zugriff auf Daten ermöglichen kann. Außerdem verweist die Dokumentation auf die BSI-Warnung vom 04.02.2025 zu chinesischen KI-Cloud-Diensten, deren Risikologik hier analog gilt. Für den Unternehmenseinsatz heißt das nüchtern: technisch interessant, compliance-seitig heikel.

Fazit

GLM-5.1 ist ein charakterstarkes Modell. Es erreicht 76,66 Prozent, weil es viele Dinge gleichzeitig ziemlich gut kann: Code-Audits, CLI-nahe Aufgaben, Tool-Arbeit, Reasoning und sogar kulturell sensible deutsche Umschreibungen. Als Frontier-Generalist mit MoE-Architektur und 40 Milliarden aktiven Parametern spielt es sichtbar in der oberen Leistungsklasse mit, ohne dabei wie ein reiner Spezialist zu wirken. Seine beste Seite zeigt es dort, wo Aufgaben geplant, strukturiert und mit Werkzeugen verbunden werden müssen. Genau deshalb passt die Etikettierung als Agentic-Orchestrator überraschend gut.

Die Gegenrechnung ist ebenso klar. GLM-5.1 ist nicht sparsam, nicht völlig stabil und nicht immer diszipliniert genug, um enge Längen- oder Effizienzvorgaben elegant einzuhalten. Dazu kommt eine dokumentierte Halluzination im Tool-Kontext. Für content-kritische Automatisierung ist das ein Warnschild, kein Fußnotenproblem. Wer es in produktive Agenten-Workflows einbindet, sollte Retrys, Validierungsschritte und Quellkontrollen fest einplanen. Für Coding-nahe Assistenz, strukturierte Analysen, Tool-unterstützte Arbeitsabläufe und deutschsprachige Wissensarbeit ist GLM-5.1 dagegen eine ernstzunehmende Option. Für Compliance-sensible Unternehmen in Europa ist die Cloud-Nutzung über Zhipu AI wegen Jurisdiktion, Datenstandort China und fehlendem DSGVO-DPA jedoch schwer zu rechtfertigen. Unterm Strich ist GLM-5.1 kein makelloser Alleskönner. Aber es ist ein leistungsfähiges Arbeitsmodell mit erkennbarem Profil. Und das ist oft mehr wert als sterile Perfektion ohne Handschrift.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.