Zum Inhalt springen
CrucibleMark

Claude Opus 4.8 (thinking on)

Claude Opus 4.8 ist seit Ende Mai 2026 Anthropics Flaggschiff für Agentic-Coding und Enterprise-Workflows. Adaptive Thinking mit fünfstufiger Effort-Steuerung von Low bis Ultra Code ersetzt das frühere manuelle Token-Budget, Multimodalität, 1.000.000-Token-Kontextfenster. Dynamic Workflows erlauben in Claude Code bis zu 1.000 parallele Sub-Tasks, gesteuert aus JavaScript-Skripten, verfügbar auf Max-, Team- und Enterprise-Plänen.

Anthropic Version 4.8 Kommerzielle Nutzung erlaubt Dense 1000 K Context 01/2026 $5 / $25 per 1M

  • Proprietär
  • Frontier
  • API
  • Text
  • Vision
  • Agentic Orchestrator
  • Long Context
  • Interactive

Sovereign Risk: MEDIUM Anthropic ist ein US-amerikanisches Unternehmen und unterliegt dem CLOUD Act. Closed-Source-Modell mit First-Party-Sicherheitsfiltern (Anthropic Safety); keine Gewichte verfügbar.

Tool-Use-Profil: 6 Assets im Detail

Vergleich der Asset-Performance (P1/P2/Combined) gegenüber dem Flotten-Durchschnitt

Asset-Performance (Radar)

Score Breakdown vs. Fleet Average

Tool-Use-Details

Asset-Performance, Zuverlässigkeit und Laufzeit-Profil

Name P1 P2 Combined
EU License Research 100 60 76
HTTP Fetch & Extract 80 60 70
Tool Failure Handling (404) 40 40 37
Web Search & Tool Selection 100 80 91
URL Construction & Fetch 80 80 80
Multilingual Search & Synthesis 100 40 70

CrucibleMark prüft Tool-Use in 6 voneinander unabhängigen Tests. Klicken Sie auf einen Test-Namen für die Details.

Reliability

  • Tool Call Valid: Nein
  • Retry: Nicht erforderlich
  • Halluzination: Nicht erkannt

Reliability misst, wie verlässlich ein Modell Werkzeugaufrufe tatsächlich ausführt: Tool Call Valid Schema und Format akzeptiert, Retry Required erst nach Wiederholung erfolgreich, Halluzination Flag erfundene Tools oder Parameter erkannt. Alle drei grün bedeutet produktionstauglich.

Betriebsprofil

Call 1
2.22
First Request
MCP
2.54
Protocol Latency
Synthesis
11.09
Response Generation
Total
95.11
Sum of All Phases
Token
14556
Input + Output
Cost
$0
Cost per Run

Das Betriebsprofil zeigt die Laufzeit- und Kostenkennzahlen des Modell-Laufs: Call 1 First Request, MCP Protocol Latency, Synthesis Response Generation, Total Summe aller Phasen, erganzt um Token Input und Output sowie Cost Kosten pro Lauf.

Tool-Use-Review

Erstellt am · Agentic Orchestrator · Long Context

Deployment-Urteil

Bedingt deploy, weil Claude Opus 4.8 keine Halluzination im Benchmark gezeigt hat, aber keine durchgehend validen Tool-Calls liefert und die Gesamtleistung vor allem an der schwankenden Synthese- und Fehlerbehandlung hängt.

Tool-Execution-Profil

Bei der Werkzeugwahl zeigt das Modell klare situative Intelligenz statt bloßem Musterfolgen. Im Test Web Search & Tool Selection, der prüft, ob ohne Hinweis eine Suche statt eines direkten Fetch nötig ist, wählt es das richtige Werkzeug sicher. Das spricht für brauchbare Orchestrierungsfähigkeit in offenen Aufgaben.

Schwächer wird es bei der Ausführungsschärfe. Im Test URL Construction & Fetch, der die eigenständige Ableitung der Ziel-URL prüft, konstruiert es die URL meist brauchbar, aber nicht präzise genug für deterministische Pipelines. Dazu passt das globale Signal tool_call_valid=false. Das Modell versteht also, welches Werkzeug gebraucht wird, produziert aber nicht in jedem Fall protokollsaubere, verlässlich anschlussfähige Calls. Retry war nicht nötig. Das ist kein Formatkollaps, sondern eher ein Präzisionsproblem in der letzten Meile der Tool-Nutzung.

Synthesetreue

Wie gut verdichtet es Tool-Ergebnisse? Nur ordentlich. Die P2-Leistung von 60 zeigt, dass Claude Opus 4.8 gefundene Informationen häufig nutzbar zusammenfasst, aber nicht stabil präzise genug für extraktionsnahe Workflows. Besonders sichtbar wird das bei Multilingual Search & Synthesis: Die Recherche über Sprachgrenzen gelingt, die Verdichtung auf Deutsch verliert jedoch an Genauigkeit.

Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Im Honeypot EU License Research, der aktuelle Lizenzrestriktionen aus Web-Quellen erzwingen soll, blieb das Modell auf der sicheren Seite. Keine erkannte Halluzination. Das ist das wichtigere Vertrauenssignal: Es erfindet keine aktuellen Compliance-Fakten, auch wenn die Verdichtung nur durchschnittlich ausfällt.

Fehlerresilienz

Im 404-Test, der misst, ob ein fehlgeschlagener Tool-Call transparent kommuniziert wird, halluziniert das Modell keinen Ersatzinhalt. Das ist produktionsrelevant positiv. Die P2-Leistung von 40 zeigt aber, dass die Fehlerkommunikation nicht sauber genug geführt wird. Für Produktion heißt das: eher defensiv und unvollständig als erfinderisch. Das ist akzeptabel, solange der aufrufende Orchestrator Fehlerzustände selbst streng behandelt.

Betriebsprofil

Total 95.11s pro Run. Call-Latenzen 2.22s und 11.09s, MCP-Latenz 2.54s. Langsam für die erzielte Leistung. Preisniveau hoch: $5.0 pro 1M Input und $25.0 pro 1M Output. Für diese Tool-Qualität teuer.

Fazit & Empfehlung

Geeignet für MCP-Pipelines mit starker externer Kontrolle: Recherche-Orchestrierung, mehrstufige Web-Aufgaben, agentische Vorstrukturierung. Nicht geeignet als unbeaufsichtigte Endinstanz für Compliance, präzise Faktenextraktion oder strikt deterministische Tool-Chains. Deploy nur dann, wenn URL-Validierung, Tool-Call-Schema-Prüfung und harte Fehlerbehandlung außerhalb des Modells abgesichert sind.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.