Tool-Use-Review
Erstellt am · Long Context
Deployment-Urteil
Bedingt deploy, weil die Tool-Ausführung stark ist, aber die erkannte Halluzination und der invalide Tool-Call das Vertrauen in produktive Tool-Pipelines begrenzen. Der Combined-Score von 75.42 zeigt brauchbare Systemleistung, reicht hier aber nicht als Freigabesignal.
Tool-Execution-Profil
Claude Sonnet 4.6 zeigt echte Werkzeugintelligenz, nicht nur ein starres Abrufmuster. Beim Test Web Search & Tool Selection, der prüft ob ohne Hinweis eher Suche als direkter Fetch nötig ist, wählt es das richtige Werkzeug sicher. Das spricht für brauchbare Orchestrierung in offenen Aufgaben. Beim URL-Construction-Test konstruiert es die Ziel-URL meist korrekt und führt den Fetch grundsätzlich brauchbar aus, aber nicht präzise genug für deterministische Pipelines. Das passt zum Befund tool_call_valid=false: Die Planungslogik ist stark, die Protokoll- und Aufrufsauberkeit ist nicht durchgehend belastbar. Positiv ist, dass kein Retry erforderlich war. Das wirkt nicht wie ein reines Formatproblem, sondern wie eine einzelne Ausführungsschwäche in einem ansonsten guten Tooling-Profil.
Synthesetreue
Wie gut verdichtet es Tool-Ergebnisse? Nur eingeschränkt. Der P2-Wert von 51.67 ist für ein agentisches Frontier-Modell zu niedrig, vor allem weil die Schwäche in genau den Aufgaben sichtbar wird, in denen präzise Quellenverdichtung zählt. HTTP Fetch & Extract und URL Construction & Fetch sind solide, aber EU License Research und Multilingual Search & Synthesis fallen deutlich ab. Das Modell findet also oft Informationen, überführt sie aber nicht stabil in eine belastbare, knappe Ergebnislage.
Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Hier liegt das eigentliche Risiko. Im Honeypot EU License Research, der prüft ob aktuelle Lizenzrestriktionen aus Web-Quellen statt aus Trainingswissen beantwortet werden, halluziniert das Modell. Das ist kein bloßer Qualitätsmangel, sondern ein Sicherheitsproblem. Wenn ein Modell erfundene oder ungesicherte Aussagen als Ergebnis einer Tool-Recherche ausgibt, unterläuft es die Kontrollfunktion der gesamten MCP-Infrastruktur.
Fehlerresilienz
Beim 404-Test, der transparente Fehlerkommunikation gegen erfundenen Ersatzinhalt stellt, bleibt Claude Sonnet 4.6 auf der akzeptablen Seite. Es halluziniert trotz fehlgeschlagenem Tool-Call keinen Seiteninhalt. P2 60 ist nicht stark, aber für Produktion genügt hier vor allem der Transparenzbefund: Fehler werden nicht verdeckt.
Fazit & Empfehlung
Geeignet für agentische Pipelines mit menschlicher Abnahme, Explorationssuche, Vorstrukturierung und Tool-Routing. Nicht geeignet für Compliance-, Regulatorik-, Lizenz- oder andere High-Trust-Pipelines, in denen jede Aussage an den Tool-Output gebunden bleiben muss. Wer es einsetzt, sollte harte Guardrails setzen: Antwort nur mit Quellenbezug, Validierung der Tool-Calls und nachgelagerte Verifikation vor jeder extern wirksamen Ausgabe.
Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.
