OpenAI o1 (thinking on)
OpenAI o1 ist OpenAIs erstes dediziertes Reasoning-Modell, trainiert auf internem Chain-of-Thought und ausgelegt auf komplexe Mathematik-, Logik- und Wissenschafts-aufgaben. Das Modell arbeitet mit einem Kontextfenster von 200.000 Tokens, ist ausschliesslich über die OpenAI-API verfügbar und eignet sich besonders dort, wo gründliches mehrstufiges Schlussfolgern wichtiger ist als niedrige Latenz.
- Proprietär
- Frontier
- API
- Text
- Instruction-Tuned
- Interactive
Sovereign Risk: MEDIUM OpenAI ist ein US-amerikanisches Unternehmen und unterliegt dem CLOUD Act. Daten, die über die API übertragen werden, können US-Behörden zugänglich gemacht werden. Lokales Deployment ist nicht möglich.
Schlüsselmetriken
Score · Latenz · Kosten · Qualität
- Total Score Silver
- 66.07
- Routine
- 42.65
- Reasoning
- 23.42
- LLM Judge Avg
- 3.3 / 5
- 100 Coverage
- Avg Task Duration
- 20.5s
- Interactive
- Token Rate
- 53.55tok/s
- Output Rate
- P95 Latency
- 42.83s
- Top 5 %
- Total Tokens
- 90400
- Output Volume
- Cost per 1K
- $0.06
- USD / 1K Requests
- Benchmark Cost
- $5.43
- Total · 90400 tok
Benchmark-Module
10 Module · gewichtet · vs. Modellmedian & Spitzenreiter
OpenAI o1
Bestes Modell
Ø Alle Modelle
Code Quality
61.8
CLI Benchmark
84.45
Logical Reasoning
50.75
UX Writing
64.55
Documentation
58.33
Content Transform.
74.49
Cultural Intelligence
77.3
Synthesis Quality
65
Tool Execution
90
ToolUse Score
77
Benchmark Cost
$5.43
Token-Effizienz & Latenz
Verbrauch pro Modul vs. Modellmedian
Token-Verbrauch pro Modul
Performance-Profil
Schlüsselmetriken – Legende
Score
- Total Score
- Gesamtpunktzahl aus Routine- und Reasoning-Score. Basis für den Flotten-Rang und die Tier-Zuordnung (Gold / Silver / Bronze).
- Routine
- Punktzahl für Standardaufgaben: Code-Generierung, Texttransformation, strukturierte Ausgaben. Gewichtet nach Aufgabenkomplexität.
- Reasoning
- Punktzahl für analytische und logische Aufgaben: mehrstufige Problemlösung, mathematisches Schlussfolgern, strukturierte Argumentationen.
- Rang
- Position im Flottenvergleich, sortiert nach Total Score. Bezieht sich auf den Snapshot zum Zeitpunkt des Tests.
LLM Judge
- LLM Judge Ø
- Durchschnittliche Qualitätsbewertung durch ein unabhängiges Richter-Modell auf einer Skala von 1–5.
- Coverage
- Anteil der Aufgaben, für die eine Judge-Bewertung vorliegt. 100 % bedeutet, alle Antworten wurden bewertet.
Latenz & Geschwindigkeit
- Avg. Task Duration
- Durchschnittliche Zeit pro Aufgabe vom ersten bis zum letzten Token der Antwort, gemessen über alle Benchmark-Aufgaben.
- Token Rate
- Ausgabe-Geschwindigkeit in Tokens pro Sekunde. Relevant für interaktive Anwendungen und Echtzeit-Streaming.
- P95 Latency
- 95. Perzentil der Antwortzeiten – zeigt Ausreißer. Niedrigere Werte bedeuten weniger lange Wartezeiten in Ausnahmefällen.
Kosten
- Cost per 1K
- API-Preis pro 1.000 Output-Tokens in US-Dollar. Basis für Kostenkalkulation bei produktivem Einsatz.
- Benchmark Cost
- Gesamtkosten für den vollständigen Benchmark-Durchlauf dieses Modells.