Tool-Use-Review
· Instruction-Tuned
Deployment-Urteil
Bedingt deployen, weil GLM-4.7 Tools meist sinnvoll einsetzt, aber die ungültigen Tool-Calls und die schwache Verdichtung der Ergebnisse das Vertrauen in produktive MCP-Pipelines begrenzen.
Tool-Execution-Profil
Das Modell zeigt echte Werkzeugwahl statt bloßem Schema-Folgen. Beim Test Web Search & Tool Selection, der ohne expliziten Hinweis die Wahl zwischen Suche und direktem Abruf prüft, trifft es die richtige Entscheidung durchgehend. Das spricht für brauchbare Tool-Intelligenz in offenen Pipelines. Beim URL-Construction-Test, der die korrekte Ziel-URL aus Vorwissen ableiten und dann abrufen lässt, ist es nur teilweise präzise. Das ist der wichtigere Befund für Produktion, weil hier aus richtiger Absicht kein deterministischer Call wird. Dazu passt der Gesamtbefund: P1 ist solide, aber der Tool-Call war nicht durchgehend valide. Das ist kein Verständnisproblem auf hoher Ebene, sondern ein Ausführungsproblem an der Schnittstelle zum MCP-Protokoll.
Synthesetreue
Wie gut verdichtet es Tool-Ergebnisse? Nur eingeschränkt belastbar. Die Synthese bleibt oft auf mittlerem Niveau und verliert bei Extraktion und Zusammenführung an Präzision, besonders bei HTTP Fetch & Extract und bei der EU License Research. Für Workflows, in denen das Modell recherchierte Inhalte in kurze, belastbare Entscheidungsnotizen überführen soll, ist das zu dünn.
Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Im Honeypot EU License Research, der prüfen soll, ob aktuelle Lizenzrestriktionen wirklich aus Web-Quellen statt aus Trainingswissen kommen, bleibt GLM-4.7 auf der richtigen Seite. Das ist der wichtigste Vertrauenspunkt. Gleichzeitig wurde im Gesamtlauf eine Halluzination erkannt. Das ist kein bloßer Qualitätsmangel, sondern ein Sicherheitsrisiko: Sobald ein Modell erfundene Fakten als Tool-Ergebnis darstellt, verliert die gesamte Tool-Infrastruktur ihren Vertrauensanker.
Fehlerresilienz
Beim 404-Test, der transparentes Verhalten bei einem gescheiterten Tool-Aufruf misst, reagiert GLM-4.7 akzeptabel. Es erfindet keinen Seiteninhalt und kommuniziert den Fehlschlag erkennbar. Das ist produktionsfähig. Die Ausführung ist nicht elegant, aber sicherer als ein Modell, das Lücken mit plausibel klingendem Ersatz füllt.
Souveränitätsprofil
Lokal betreibbar und damit grundsätzlich für souveräne Deployments interessant. Die Leistung liegt jedoch 0.89 Punkte unter dem Fleet-Ø von 68.17. Der operative Vorteil ist weniger Rohleistung als die Möglichkeit, ein großes Modell ohne Cloud-Abhängigkeit in eigene Kontrollzonen zu holen.
Fazit & Empfehlung
Geeignet für lokale oder souveräne MCP-Pipelines mit menschlicher Nachkontrolle, vor allem wenn Tool-Auswahl wichtiger ist als perfekte Verdichtung. Nicht geeignet für Compliance-, Policy- oder Extraktionsstrecken, in denen jede Antwort strikt aus Tool-Resultaten ableitbar sein muss. Wer GLM-4.7 einsetzt, sollte strikte Output-Validierung, Quellenbindung und Guardrails für Tool-Call-Formate vorschalten.
Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.
