Zum Inhalt springen
CrucibleMark

Grok 4.20 (Reasoning) (thinking on)

Grok 4.20 (Reasoning) ist xAIs Frontier-Modell mit dediziertem Reasoning-Modus und proprietärer Cloud-only-Lizenz aus den USA. Das am 9. März 2026 veröffentlichte Modell liefert Reasoning-Schritte über Provider-Metadaten statt Content-Tags und ist Teil einer Familie mit Non-Reasoning- und Multi-Agent-Varianten.

xAI Version 4.20-0309 Kommerzielle Nutzung erlaubt Dense 1000 K Context 01/2025 $1.25 / $2.5 per 1M

  • Proprietär
  • Frontier
  • API
  • Text
  • Vision
  • Real-Time

Sovereign Risk: MEDIUM Das Modell wird von xAI entwickelt, einem Unternehmen mit Sitz in den USA. Aufgrund der US-amerikanischen Rechtslage (einschließlich des CLOUD Acts) besteht ein mittleres Risiko hinsichtlich des Zugriffs von Behörden auf Daten und Modellgewichte, falls diese in der US-Jurisdiktion gehostet werden. Als reines Cloud-API-Modell ohne Möglichkeit lokalen Betriebs ist diese Risikoeinstufung durchgehend relevant, nicht nur optional wie bei Open-Weight-Modellen.

Tool-Use-Profil: 6 Assets im Detail

Vergleich der Asset-Performance (P1/P2/Combined) gegenüber dem Flotten-Durchschnitt

Asset-Performance (Radar)

Score Breakdown vs. Fleet Average

Tool-Use-Details

Asset-Performance, Zuverlässigkeit und Laufzeit-Profil

Name P1 P2 Combined
EU License Research 100 40 64
HTTP Fetch & Extract 75 100 87.5
Tool Failure Handling (404) 80 40 66
Web Search & Tool Selection 100 80 91
URL Construction & Fetch 80 60 70
Multilingual Search & Synthesis 100 40 70

CrucibleMark prüft Tool-Use in 6 voneinander unabhängigen Tests. Klicken Sie auf einen Test-Namen für die Details.

Reliability

  • Tool Call Valid: Nein
  • Retry: Nicht erforderlich
  • Halluzination: Nicht erkannt

Reliability misst, wie verlässlich ein Modell Werkzeugaufrufe tatsächlich ausführt: Tool Call Valid Schema und Format akzeptiert, Retry Required erst nach Wiederholung erfolgreich, Halluzination Flag erfundene Tools oder Parameter erkannt. Alle drei grün bedeutet produktionstauglich.

Betriebsprofil

Call 1
6.62
First Request
MCP
0.84
Protocol Latency
Synthesis
9.78
Response Generation
Total
103.45
Sum of All Phases
Token
11334
Input + Output
Cost
$0
Cost per Run

Das Betriebsprofil zeigt die Laufzeit- und Kostenkennzahlen des Modell-Laufs: Call 1 First Request, MCP Protocol Latency, Synthesis Response Generation, Total Summe aller Phasen, erganzt um Token Input und Output sowie Cost Kosten pro Lauf.

Tool-Use-Review

Erstellt am

Deployment-Urteil

Bedingt deploy, weil Grok 4.20 im Tool-Zugriff stark ist, aber mit ungültigem Tool-Call und nur mäßiger Synthesetreue kein Modell für unbeaufsichtigte MCP-Pipelines ist. Der Combined-Score von 74.75 zeigt brauchbare Substanz, die Produktionsfreigabe scheitert hier aber nicht an Halluzination, sondern an Verlässlichkeit in der Auswertung.

Tool-Execution-Profil

Das Modell zeigt echte Werkzeugwahl-Kompetenz, nicht nur starres Call-Muster. Beim Test Web Search & Tool Selection, der prüft, ob ohne Hinweis web_search statt fetch erkannt wird, arbeitet es treffsicher und erreicht P1 100. Das spricht für situatives Routing. Beim URL-Construction-Test, der die Ableitung einer Ziel-URL aus Eigenwissen mit anschließendem Fetch misst, bleibt es brauchbar, aber nicht deterministisch genug; P1 80 ist für produktive Fetch-Ketten nur solide. Insgesamt ist die Ausführung stark, P1 89.17 bestätigt das. Kritisch bleibt, dass der Tool-Call nicht durchgehend valide war. Das ist ein Integrationsrisiko auf Protokollebene, auch ohne Retry-Bedarf.

Synthesetreue

Wie gut verdichtet es Tool-Ergebnisse? Nur eingeschränkt verlässlich. P2 60.00 ist der klare Schwachpunkt dieses Laufs. Positiv sticht HTTP Fetch & Extract hervor, wo strukturierte Fakten aus echtem Seiteninhalt präzise zusammengeführt werden und P2 100 erreicht wird. Schwach sind dagegen EU License Research und Multilingual Search & Synthesis mit jeweils P2 40. Genau dort, wo mehrere Quellen oder Sprachgrenzen verdichtet werden müssen, sinkt die Ausgabedisziplin.

Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Im Honeypot EU License Research, der prüft, ob aktuelle Lizenzrestriktionen aus Web-Quellen statt aus Trainingswissen beantwortet werden, halluziniert das Modell nicht. Das ist das zentrale Vertrauenssignal. Der P2-Wert von 40 zeigt aber, dass es die abgerufenen Inhalte nicht sicher genug in belastbare Antwortform überführt. Für Compliance-nahe Recherchen ist das zu wenig.

Fehlerresilienz

Beim 404-Test, der transparentes Verhalten bei fehlgeschlagenem Tool-Call gegen erfundenen Ersatzinhalt prüft, bleibt Grok 4.20 auf der sicheren Seite. Es halluziniert trotz Fehler keinen Seiteninhalt. Das ist für Produktion akzeptabel. Die Kehrseite: Die Fehlerkommunikation ist nicht stark genug verdichtet, P2 40 zeigt also formale Transparenz ohne gute operative Aufbereitung.

Betriebsprofil

Total 103.45s. Langsam.
Call 1: 6.62s, MCP-Latenz: 0.84s, Call 2: 9.78s.
Preis: $1.25/1M Input, $2.5/1M Output. Günstig bis moderat für Frontier, gemessen an der gezeigten Syntheseleistung nicht überragend effizient.

Fazit & Empfehlung

Geeignet für recherchestarke Pipelines mit menschlicher Freigabe, insbesondere wenn Tool-Auswahl und Web-Zugriff wichtiger sind als präzise Endverdichtung. Nicht geeignet für vollautomatische Compliance-, Policy- oder mehrsprachige Decision-Pipelines, in denen Tool-Ergebnisse sauber, knapp und belastbar zusammengeführt werden müssen. Wenn Sie es einsetzen, dann mit strikter Output-Validierung, Schema-Prüfung und einer zweiten Instanz für Ergebnisabgleich.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.