Zum Inhalt springen
CrucibleMark

Gemini 3.5 Flash

Gemini 3.5 Flash ist Googles schnellste Frontier-Klasse und liefert nahezu Pro-Level-Leistung bei Flash-Preisen. Mit Dynamic Thinking in vier konfigurierbaren Stufen, einem Kontextfenster von einer Million Tokens und vollständiger Multimodalität für Text, Bilder, Audio, Video und PDF eignet sich das Modell für agentische Workflows, Coding und Workloads mit hohem Durchsatz.

Google Version 3.5-flash Kommerzielle Nutzung erlaubt MoE 1000 K Context 01/2025 $1.5 / $9 per 1M

  • Proprietär
  • Frontier
  • Google Gemini
  • Text
  • Vision
  • Audio
  • Video
  • Agentic Orchestrator
  • Real-Time

Sovereign Risk: MEDIUM Google DeepMind ist ein US-amerikanisches Unternehmen und unterliegt dem CLOUD Act; die Modellgewichte sind nicht öffentlich zugänglich.

Tool-Use-Profil: 6 Assets im Detail

Vergleich der Asset-Performance (P1/P2/Combined) gegenüber dem Flotten-Durchschnitt

Asset-Performance (Radar)

Score Breakdown vs. Fleet Average

Tool-Use-Details

Asset-Performance, Zuverlässigkeit und Laufzeit-Profil

Name P1 P2 Combined
EU License Research 100 40 64
HTTP Fetch & Extract 80 80 80
Tool Failure Handling (404) 80 60 73
Web Search & Tool Selection 100 80 91
URL Construction & Fetch 80 80 80
Multilingual Search & Synthesis 100 40 70

CrucibleMark prüft Tool-Use in 6 voneinander unabhängigen Tests. Klicken Sie auf einen Test-Namen für die Details.

Reliability

  • Tool Call Valid: Nein
  • Retry: Nicht erforderlich
  • Halluzination: Nicht erkannt

Reliability misst, wie verlässlich ein Modell Werkzeugaufrufe tatsächlich ausführt: Tool Call Valid Schema und Format akzeptiert, Retry Required erst nach Wiederholung erfolgreich, Halluzination Flag erfundene Tools oder Parameter erkannt. Alle drei grün bedeutet produktionstauglich.

Betriebsprofil

Call 1
1.31
First Request
MCP
1.12
Protocol Latency
Synthesis
5.25
Response Generation
Total
46.06
Sum of All Phases
Token
6717
Input + Output
Cost
$0
Cost per Run

Das Betriebsprofil zeigt die Laufzeit- und Kostenkennzahlen des Modell-Laufs: Call 1 First Request, MCP Protocol Latency, Synthesis Response Generation, Total Summe aller Phasen, erganzt um Token Input und Output sowie Cost Kosten pro Lauf.

Tool-Use-Review

Aktualisiert am · Agentic Orchestrator

Deployment-Urteil

Bedingt deploy, weil die Tool-Nutzung meist stark ist, aber die Tool-Calls nicht durchgängig valide sind und die Synthesetreue für produktionskritische Pipelines zu oft nachlässt. Das Gesamtbild ist gut, aber nicht vertrauensstabil genug für unbeaufsichtigte End-to-End-Orchestrierung.

Tool-Execution-Profil

Gemini 3.5 Flash zeigt echte Werkzeugwahl-Kompetenz, nicht nur starres Musterverhalten. Beim Test Web Search & Tool Selection, der prüft, ob ohne expliziten Hinweis web_search statt fetch gewählt wird, erkennt das Modell die passende Strategie sicher. Das spricht für brauchbare Orchestrierungslogik in dynamischen MCP-Setups.

Schwächer ist die Ausführungsschicht. Beim URL-Construction-Test, der die korrekte Ableitung einer Ziel-URL und den anschließenden Fetch misst, arbeitet es brauchbar, aber nicht präzise genug für deterministische Pipelines. Dazu passt, dass der Tool-Call global nicht durchgängig valide war. Das ist kein Totalausfall, aber ein Integrationsrisiko: Das Modell plant oft richtig, produziert die Ausführung dann jedoch nicht immer protokollsicher.

Synthesetreue

Wie gut verdichtet es? Nur mittel. Die P2-Leistung zeigt, dass Gemini 3.5 Flash Tool-Ergebnisse oft korrekt zusammenzieht, aber bei verdichteter Ausgabe wichtige Präzision verliert. Das sieht man besonders bei EU License Research und Multilingual Search & Synthesis, wo die Recherche gelingt, die abschließende Verdichtung aber zu grob bleibt. Für operative Assistenten ist das akzeptabel. Für Compliance-, Policy- oder Decision-Support-Flows ist es zu unscharf.

Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Im Honeypot EU License Research, der prüft, ob aktuelle Lizenzrestriktionen aus Web-Quellen statt aus Trainingswissen beantwortet werden, blieb das Modell formal auf der sicheren Seite. Es halluziniert nicht. Das ist der entscheidende Vertrauensanker. Gleichzeitig ist das schwache Syntheseergebnis ein Warnsignal: kein Sicherheitsbruch, aber zu wenig belastbare Verdichtung für regulatorische Aussagen.

Fehlerresilienz

Beim 404-Test, der misst, ob ein gescheiterter Tool-Aufruf transparent behandelt oder mit erfundenem Seiteninhalt überdeckt wird, reagiert Gemini 3.5 Flash akzeptabel. Es halluziniert trotz Fehler keinen Ersatzinhalt. Die Fehlerkommunikation ist damit produktionstauglich, auch wenn sie nicht besonders stark verdichtet oder proaktiv umsteuert.

Betriebsprofil

Total 46.06s pro Run. Einzelaufrufe 1.31s und 5.25s. MCP-Latenz 1.12s. Schnell in Einzelschritten, aber lang im Gesamtlauf. Preis: $1.5/1M Input, $9.0/1M Output. Für ein Frontier-Modell nicht billig. Gemessen an der Leistung nur dann vertretbar, wenn Tool-Auswahl wichtiger ist als hochpräzise Endsynthese.

Fazit & Empfehlung

Geeignet für MCP-Pipelines mit menschlicher Abnahme, für Recherche-Orchestrierung, Routing, mehrstufige Web-Nutzung und robuste Fehlerbehandlung ohne Halluzinationsrisiko. Nicht die erste Wahl für unbeaufsichtigte Compliance-Workflows, Lizenzbewertungen, mehrsprachige Executive Summaries oder andere Ketten, in denen die Endverdichtung als belastbare Arbeitsgrundlage dienen muss. Wenn Sie es einsetzen, dann mit strikter Output-Validierung nach dem Tool-Layer.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.