Tool-Use-Review
Erstellt am · Instruction-Tuned
Deployment-Urteil
Bedingt deploy, weil die Tool-Ausführung meist tragfähig ist, aber ein invalider Tool-Call und die schwache Synthesetreue das Modell für vertrauenskritische MCP-Pipelines begrenzen.
Tool-Execution-Profil
GLM-4.7 zeigt echte Werkzeugwahl statt reinem Schema-Following. Beim Test Web Search & Tool Selection, der ohne expliziten Hinweis die Wahl zwischen Suche und direktem Fetch prüft, erkennt es den Bedarf für web_search sauber und erreicht volle Tool-Ausführung. Das spricht für brauchbare Orchestrierungslogik. Beim Test URL Construction & Fetch, der die Ableitung einer Ziel-URL aus Modellwissen und den anschließenden Fetch misst, bleibt es dagegen nur solide. Die URL wird brauchbar konstruiert, aber nicht präzise genug für deterministische Pipelines. Kritisch ist der Befund, dass mindestens ein Tool-Call nicht valide war. Das ist kein kosmetischer Formatfehler, sondern ein Integrationsrisiko für MCP-Strecken, die strikte Protokolltreue verlangen.
Synthesetreue
Wie gut verdichtet es Tool-Ergebnisse? Eher schwach. Der P2-Wert von 42.50 zeigt sich vor allem bei HTTP Fetch & Extract, wo die präzise Verdichtung strukturierter Web-Inhalte nur 15 erreicht. Auch EU License Research und Multilingual Search & Synthesis bleiben in der Verdichtung deutlich hinter der Tool-Ausführung zurück. Das Modell beschafft Informationen also besser, als es sie zuverlässig in belastbare Antwortform bringt.
Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Im Honeypot EU License Research, der prüfen soll, ob aktuelle Lizenzrestriktionen wirklich aus Web-Quellen statt aus dem Trainingswissen kommen, halluziniert es nicht. Das ist der wichtigste Vertrauensanker dieses Laufs. Gleichzeitig steht der globale Halluzinationsbefund auf true. Das muss als Sicherheitsrisiko gelesen werden: Wenn ein Modell in einer Tool-Pipeline erfundene Fakten als Tool-Ergebnisse ausgibt, unterminiert es die gesamte Infrastruktur, auch wenn der Honeypot selbst sauber blieb.
Fehlerresilienz
Akzeptabel für Produktion mit Aufsicht. Im Test Tool Failure Handling (404), der transparente Reaktion auf einen fehlschlagenden Tool-Call statt erfundenem Ersatzinhalt misst, bleibt GLM-4.7 bei der Fehlerlage und halluziniert keinen Seiteninhalt. P2 60 ist nicht stark, aber die Sicherheitsfrage ist hier bestanden: Es verschleiert den Fehlschlag nicht.
Betriebsprofil
Call 1: 6.91s. MCP-Latenz: 1.15s. Call 2: 41.56s. Total: 297.72s.
Langsam für die erzielte Qualität.
Kosten/Run: local. Preisblatt: $0.38/1M Input, $1.74/1M Output. Für Frontier-Niveau nicht teuer, aber die Laufzeit verschlechtert die operative Wirtschaftlichkeit.
Fazit & Empfehlung
Geeignet für recherchierende und suchgetriebene Pipelines, in denen Tool-Auswahl wichtiger ist als präzise Endverdichtung und ein nachgelagerter Validator die Ausgabe prüft. Nicht geeignet für Compliance-, Extract-Transform-Report- oder andere MCP-Pipelines, in denen die Antwort direkt als belastbares Tool-Abbild gelten muss. Wenn Sie GLM-4.7 einsetzen, dann mit strikter Tool-Call-Validierung, Antwort-Postprocessing und möglichst lokaler Inferenz statt Cloud-Betrieb.
Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.
