Tool-Use-Review
Erstellt am · Instruction-Tuned
Deployment-Urteil
Bedingt deploy, weil GLM 4.6 trotz guter Tool-Ausführung in Teilbereichen keinen verlässlichen End-to-End-Betrieb zeigt: der kombinierte Wert ist schwach, Tool-Calls waren nicht durchgängig valide, und zwei Kernaufgaben brechen vollständig weg.
Tool-Execution-Profil
GLM 4.6 zeigt echte Werkzeugwahl-Kompetenz, aber keine robuste Ausführung über die ganze Pipeline. Beim Web Search & Tool Selection-Test erkennt es ohne Hinweis korrekt, dass erst Suche statt direktem Fetch nötig ist. Das spricht gegen ein rein starres Muster. Auch EU License Research und HTTP Fetch & Extract laufen in der Tool-Nutzung sauber an.
Die Schwäche liegt in der präzisen Operationalisierung. Beim URL-Construction-Test, der die korrekte Ziel-URL aus Modellwissen ableitet und dann per Fetch ausführt, scheitert es vollständig. Dasselbe Bild zeigt die mehrsprachige Recherche. Das ist für MCP-Pipelines relevant: Das Modell versteht oft, welches Werkzeug grundsätzlich gebraucht wird, produziert aber nicht zuverlässig die exakten Aufrufe, auf denen deterministische Weiterverarbeitung beruht. Da kein Retry erforderlich war, wirkt das weniger wie ein Formatproblem als wie ein Verständnis- oder Präzisionsdefizit im Ausführungsschritt.
Synthesetreue
Wie gut verdichtet es Tool-Ergebnisse? Nur eingeschränkt. Die Verdichtung bleibt insgesamt inkonsistent, besonders bei EU License Research, Tool Failure Handling (404) und der mehrsprachigen Recherche. Positiv ist HTTP Fetch & Extract: Wenn verwertbarer Inhalt vorliegt und die Aufgabe klar strukturiert ist, fasst GLM 4.6 sauber zusammen. Für längere oder mehrstufige Rechercheketten reicht diese Stabilität nicht aus.
Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Im Honeypot EU License Research, der prüft, ob aktuelle Lizenzrestriktionen wirklich aus Web-Quellen statt aus dem Training kommen, wurde keine Halluzination erkannt. Das ist ein wichtiges Vertrauenssignal. Der niedrige Synthesewert zeigt also eher schwache Verdichtung als erfundene Inhalte.
Fehlerresilienz
Beim 404-Test, der transparenten Umgang mit einem fehlschlagenden Tool-Call prüft, halluziniert GLM 4.6 keinen Ersatzinhalt. Das ist produktionsfähig. Die Antwortqualität ist nur mäßig, aber der kritische Punkt ist erfüllt: Das Modell erfindet bei Tool-Fehlern keinen Seiteninhalt und hält damit die Fehleroberfläche für nachgelagerte Systeme beherrschbar.
Betriebsprofil
Total 157.61s. Einzelaufrufe 6.96s und 31.67s. MCP-Latenz 0.78s. Für die gezeigte Gesamtleistung langsam. Kosten lokal, damit infrastrukturell günstig, aber die Laufzeit steht nicht im Verhältnis zur schwachen End-to-End-Güte.
Fazit & Empfehlung
Geeignet für überwachte Pipelines mit klar vorgegebenen Tools, festen URL-Schemata und nachgelagerter Validierung der Ergebnisse. Nicht geeignet für autonome MCP-Orchestrierung, dynamische URL-Ableitung, mehrsprachige Web-Recherche oder Compliance-nahe Workflows, in denen die Synthese selbst belastbar sein muss. Wenn Sie GLM 4.6 einsetzen, dann als assistierendes Modell innerhalb enger Leitplanken, nicht als vertrauenswürdigen Tool-Agent.
Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.
