Tool-Use-Review
Erstellt am · Agentic Orchestrator · Long Context
Deployment-Urteil
Bedingt deploy, weil die Tool-Ausführung stark ist, aber die Synthesequalität mit Combined 78.00 nur dann tragfähig ist, wenn nachgelagerte Validierung die inhaltliche Verdichtung absichert. Halluzination wurde nicht erkannt, aber der Tool-Call war nicht durchgehend valide.
Tool-Execution-Profil
GLM-5.3-Flash zeigt echtes Orchestrierungsverhalten statt bloßer Tool-Routine. Beim Test Web Search & Tool Selection, der prüft, ob ohne Hinweis web_search statt fetch gewählt wird, erkennt es den richtigen Werkzeugtyp sicher. Das spricht für brauchbare Werkzeugwahl in offenen Pipelines. Beim URL-Construction-Test, der die korrekte Ziel-URL aus Eigenwissen ableitet und dann fetch ausführt, bleibt es brauchbar, aber nicht deterministisch genug für fragile Integrationen. Genau dort liegt die operative Grenze: Es versteht, welches Tool es braucht, produziert aber nicht in jedem Schritt formal saubere Ausführung. Dass kein Retry nötig war, spricht eher gegen ein reines Formatproblem und eher für punktuelle Ungenauigkeit im Call oder in den Parametern.
Synthesetreue
Wie gut verdichtet es Tool-Ergebnisse? Uneinheitlich. HTTP Fetch & Extract und Tool Failure Handling (404) sind stark, aber EU License Research und Multilingual Search & Synthesis fallen in der Verdichtung deutlich ab. Das Muster ist wichtig: Es kann Fakten aus klaren Quellen sauber extrahieren, verliert aber an Präzision, sobald mehrere Quellen, Sprachwechsel oder regulatorische Einordnung zusammengeführt werden müssen.
Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Das Vertrauensurteil ist vorsichtig positiv. Im Honeypot EU License Research, der prüft, ob aktuelle Lizenzrestriktionen wirklich aus Web-Quellen statt aus Trainingswissen kommen, wurde keine Halluzination erkannt. Der schwache P2-Wert zeigt also eher mangelhafte Verdichtung als erfundene Fakten. Für Compliance-nahe Workflows reicht das trotzdem nicht ohne Quellenausgabe oder zusätzlichen Verifier.
Fehlerresilienz
Bei Tool Failure Handling (404), also dem Test auf transparentes Verhalten bei fehlschlagendem Abruf, reagiert das Modell produktionsgerecht. Es halluziniert keinen Seiteninhalt und ersetzt den Fehler nicht durch erfundene Antwortsubstanz. Das ist ein zentrales Vertrauenssignal für MCP-Pipelines, weil Fehlzustände sichtbar bleiben und vom System abgefangen werden können.
Betriebsprofil
Call 1: 5.35s. Call 2: 24.87s. MCP-Latenz: 0.92s. Total: 186.88s. Lokal betrieben, damit direkte Modellkosten pro Run praktisch unkritisch. Für ein Flash-Modell ist das Gesamtprofil nicht schnell. Gemessen an der Leistung ist es eher latenzschwer als effizient.
Fazit & Empfehlung
Geeignet für agentische Tool-Pipelines mit klaren Retrieval-Schritten, robustem Error-Handling und nachgeschalteter Antwortprüfung. Nicht die erste Wahl für Compliance, regulatorische Recherche, mehrsprachige Synthese oder jede Pipeline, in der die Modellantwort selbst als autoritativer Endzustand gilt. Wenn Sie ein lokal betreibbares Orchestrierungsmodell suchen, das Tools meist richtig wählt und Fehler nicht kaschiert, ist es ein brauchbarer Kandidat. Wenn Sie präzise Endverdichtung ohne Verifier brauchen, nicht deploy.
Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.
