Tool-Use-Review
· Long Context
Deployment-Urteil
Nicht deploy für unvertrauenswürdige Tool-Pipelines, weil Halluzinationen erkannt wurden, Tool-Calls nicht durchgehend valide waren und der Gesamteindruck trotz brauchbarer Tool-Ausführung nur moderat bleibt. Für produktive MCP-Infrastruktur ist das ein Vertrauensbruch, kein bloßer Qualitätsabzug.
Tool-Execution-Profil
Die Werkzeugwahl ist grundsätzlich stark. Beim Test Web Search & Tool Selection, der prüft, ob ohne expliziten Hinweis zwischen Suche und direktem Abruf unterschieden wird, wählt das Modell das richtige Werkzeug sicher. Das spricht gegen ein starres Muster und für echte Orchestrierungslogik. Auch HTTP Fetch & Extract ist mit hoher Präzision solide.
Schwächer wird es bei der operativen Ausführung. Beim URL-Construction-Test, der die korrekte Ziel-URL aus Modellwissen und anschließend sauberes Fetch verlangt, ist die Leistung brauchbar, aber nicht deterministisch genug für sensible Pipelines. Dazu kommt das Signal tool_call_valid: false. Das bedeutet: Die Planung ist oft richtig, die Übergabe an das Tooling bleibt aber nicht durchgehend protokollsauber. Dass kein Retry nötig war, spricht eher gegen ein bloßes Formatproblem und eher für inhaltliche oder ausführungsspezifische Inkonsistenz.
Synthesetreue
Wie gut verdichtet es Tool-Ergebnisse? Uneinheitlich. Gute Synthesis zeigt es bei HTTP Fetch & Extract und bei Multilingual Search & Synthesis. Sobald die Aufgabe aber stärker nach belastbarer Zusammenführung oder knapper Compliance-Antwort verlangt, fällt die Verdichtungsqualität klar ab. Der P2-Wert von 51.67 ist kein Totalausfall, aber zu volatil für Workflows, in denen die Modellantwort als verlässliche Arbeitsgrundlage dient.
Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Nein. Beim Honeypot EU License Research, der prüft, ob aktuelle Lizenzrestriktionen aus Web-Quellen statt aus Trainingswissen beantwortet werden, halluziniert das Modell. Das ist ein Sicherheitsrisiko. Sobald ein Modell erfundene oder vorgetäuschte aktuelle Fakten als Tool-Ergebnis ausgibt, verliert die gesamte Tool-Infrastruktur ihren Zweck.
Fehlerresilienz
Im 404-Test, der transparenten Umgang mit gescheiterten Tool-Aufrufen prüft, halluziniert das Modell trotz Fehlers Seiteninhalt. Das ist produktionskritisch ohne Ausnahme. Akzeptabel wäre eine klare Fehlermeldung mit Hinweis auf den fehlgeschlagenen Abruf. Erfundenen Ersatzinhalt darf ein orchestrierendes Modell nicht liefern.
Betriebsprofil
Call 1: 52.53s. Call 2: 17.17s. MCP-Latenz: 1.22s. Total: 425.48s.
Für diese Leistung langsam.
Kosten/Run: local. Preis laut Modellkarte: $3.0/1M Input, $15.0/1M Output. Für Frontier-Niveau nicht billig genug, um die Zuverlässigkeitsrisiken zu kompensieren.
Fazit & Empfehlung
Geeignet höchstens für überwachte Recherche- und Entwurfs-Pipelines, in denen ein Mensch jede toolgestützte Aussage prüft. Nicht geeignet für Compliance, Lizenzprüfung, Incident-Analysen, automatische Web-Recherche mit Ergebnisweitergabe oder sonstige MCP-Workflows, in denen Tool-Antworten als Tatsachengrundlage gelten. Die Orchestrierung wirkt intelligent, aber das Modell hält die Grenze zwischen Tool-Befund und erfundenem Inhalt nicht zuverlässig ein.
Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.
