OpenAI o1 (thinking on)

Mit einem Gesamtscore von 66.07% zeigt o1 sehr klar, was ein dediziertes Reasoning-Modell in der Praxis sein kann und was eben nicht. Als kommerzielles Cloud-Modell der Frontier-Klasse, dense aufgebaut und primär für Deep Thinking statt für flotte Allround-Dialoge optimiert, liefert es eine eigentümliche Mischung aus strategischer Stärke, Sicherheitsinstinkt und überraschend spröder Ausführung. Der Speed-Profile-Badge lautet „Real-Time DevOps Expert“, doch dieser Titel klingt souveräner, als sich das Modell im Detail dann anfühlt. Sovereign Risk: MEDIUM — OpenAI unterliegt als US-Unternehmen dem CLOUD Act; Daten werden in den USA verarbeitet.

Kopfnoten: Stabilität und Zuverlässigkeit

Stabil ist o1 also. Das ist die gute Nachricht und für ein proprietäres Cloud-Modell wichtiger, als manche Benchmark-Verliebte wahrhaben wollen. Wer Geld pro Anfrage zahlt, möchte keine Lotterie mit Retries. Genau diese Grunddisziplin liefert o1. Die Tail-Latenz bleibt mit 43.2 Sekunden allerdings nur im akzeptablen Bereich. In fünf Prozent der Fälle wartet der Nutzer also lange genug, um den Kontext zu verlieren. Für tiefes Schlussfolgern ist das hinnehmbar. Für interaktive Produktivität ist es bereits Reibung.

Die nominelle Generierungsgeschwindigkeit liegt bei 42.37 Tokens pro Sekunde. Das ist auf dem Papier ordentlich und erklärt den Badge „Real-Time DevOps Expert“: Das Modell ist schnell genug, um auch in operativen Technik-Workflows nicht sofort wie Batch-Verarbeitung zu wirken. Der Haken ist der alte bei Thinking-Modellen: Sichtbare Tokens sind nicht die ganze Geschichte. o1 denkt intern länger, kostet deutlich mehr und fühlt sich dadurch in der Nutzung weniger leichtfüßig an, als die reine Tokenrate vermuten lässt.

Architektur und Charakter: ein Thinking-Modell mit Hang zur Kurzform

Die Metadaten setzen den Maßstab klar: Use Case Reasoning / Deep Thinking, Size Class Frontier, Architektur Dense. Das heißt: höchste Erwartungshaltung, keine Ausrede über kleine Modellgröße, keine MoE-Spezialisierung mit geringer aktiver Kapazität. Wenn so ein Modell antritt, dann nicht, um nett mitzuspielen, sondern um schwierige Aufgaben sichtbar besser zu lösen.

Genau hier wird o1 interessant. Es ist ein Thinking-Modell, aber nicht in der romantischen Benchmark-Vorstellung eines geduldigen analytischen Schwergewichts, das jeden Gedankengang sauber ausleuchtet. In mehreren Protokollen wirkt o1 eher wie ein brillanter Prüfling, der die richtige Antwort kennt, aber ungern seinen Rechenweg offenlegt und zu oft vorzeitig den Stift weglegt. Das ist nicht Harmlosigkeit. Das ist ein Charakterzug.

⚠️ Metakognitions-Compliance (Reasoning): Das Modell verweigert in 3/5 metacog-Tests die Nutzung der explizit angeforderten <thought>-Tags mit einer konsistenten Policy-Aussage. Die Reasoning-Inhalte sind dabei inhaltlich korrekt — der Score-Abzug resultiert aus der Format-Verweigerung, nicht aus Denkfehlern. Zum Vergleich: In den Tag-freien reasoning_5*-Tests erzielt das Modell einen Durchschnittsscore von ca. 50.75%, was dem Niveau anderer Modelle entspricht. CrucibleMark bewertet bewusst die native Zero-Shot-Instruktions-Compliance als reales Alltagsmerkmal — dieser Abzug ist methodisch gewollt.

Das ist mehr als eine formale Fußnote. Wer Agenten, Prüfpipelines oder strukturierte Ausgabeverträge baut, kann sich mit „inhaltlich schon richtig gemeint“ nichts kaufen. o1 denkt, aber es folgt nicht immer der gewünschten Form. Für ein Modell dieser Kategorie ist das ein echter Makel.

Logik und Reasoning: richtig gedacht, schlecht verpackt

Im Reasoning-Modul liegt der Teilscore bei 50.75%. Für ein Modell, das ausdrücklich fürs mehrstufige Schlussfolgern gebaut wurde, ist das zu wenig. Und der qualitative Befund ist fast noch schärfer als die Zahl: In der klassischen Wächter-und-Türen-Aufgabe liefert o1 die korrekte Lösung, scheitert aber an dem, was der Prompt explizit verlangt hat. Keine <thought>-Tags, keine Alternativansätze, keine didaktische Entfaltung, kaum Fallunterscheidung.

Das Entscheidende daran ist nicht, dass die Antwort falsch wäre. Sie ist richtig. Aber sie ist für ein Thinking-Modell zu knapp, zu verschlossen, zu wenig nachvollziehbar. Der Satz von der sich aufhebenden Lüge und Wahrheit ist logisch korrekt, nur eben so abstrakt, dass er den eigentlichen Mehrwert dieses Modelltyps verschenkt. Ein Reasoning-Modell, das seinen Denkweg hinter Milchglas hält, wirkt in solchen Aufgaben weniger wie ein Denker als wie ein guter Taschenrechner ohne Display.

Man sollte den Befund trotzdem fair kalibrieren. Die Schwäche liegt nicht primär in Halluzination oder Logikbruch. Sie liegt in Format-Compliance und in einer eigentümlichen Sparsamkeit der expliziten Begründung. Wer nur das Ergebnis will, bekommt oft das Richtige. Wer die belastbare Herleitung für Audit, Unterricht oder formale Freigabe braucht, muss o1 enger führen.

Code Quality und Security: solide Instinkte, keine chirurgische Präzision

In Code Quality erreicht o1 61.8%. Das ist nicht schwach, aber für ein Frontier-Reasoning-Modell klar unter dem, was man sich von einem teuren Cloud-Angebot erhofft. Das qualitative Protokoll zeichnet ein recht präzises Bild: o1 erkennt 12 von 19 Schwachstellen, also einen ordentlichen Kernbestand an klassischen Web-Sicherheitsproblemen. SQL Injection, XSS, Path Traversal, unsichere Cookies, CSRF, schwache Tokens und Mail-Header-Injection sieht es zuverlässig. Falsche Alarme produziert es keine. Das ist wichtig, denn Security-Reviews scheitern nicht nur an übersehenen Lücken, sondern auch an erfundenem Unsinn.

Aber: Sieben Lücken bleiben unerkannt, darunter eine kritische IDOR-Schwachstelle im Profil-Update. Genau diese Art von Befund trennt einen brauchbaren Sicherheitsleser von einem wirklich belastbaren Auditor. IDOR ist kein exotischer Spezialfall, sondern OWASP-Grundrauschen. Wenn ein Thinking-Modell diesen Treffer liegen lässt, dann fehlt nicht Wissen, sondern Konsequenz in der Analyse.

Ebenso auffällig ist die geringe Tiefe. o1 benennt Probleme korrekt, erklärt sie aber oft nur in Kurzform. Was fehlt, sind Angriffsketten, konkrete Payload-Beispiele und die Art von Exploit-Narrativ, die Entwickler nicht nur alarmiert, sondern tatsächlich zum Fix führt. Der Unterschied ist praktisch relevant: „hier gibt es Path Traversal“ ist eine Diagnose; „so liest ein Angreifer /etc/passwd, und so eskaliert das mit XSS und Session-Handling“ ist Handlungswissen. Der Golden Standard liefert Letzteres. o1 meist nicht.

Gerade im Security-Kontext zeigt sich damit der Grundcharakter dieses Modells: Es hat guten Instinkt, aber keinen Jagdtrieb. Es findet viel Relevantes. Es gräbt nicht tief genug. Für einen ersten Review-Pass taugt das. Für eine Freigabe ohne menschliche Nachkontrolle taugt es nicht.

CLI und operativ-technische Nutzung: brauchbar, aber nicht billig

Der CLI-Benchmark-Wert von 84.45% gehört zu den stärkeren Seiten von o1. Das passt durchaus zum Speed-Profile-Badge. Im operativen Technikalltag, also dort, wo Kommandos, Diagnose-Schritte und strukturierte Problemlösung zählen, wirkt das Modell wesentlich komfortabler als in formstrengem Metacognition-Reasoning. Es kommt schneller auf den Punkt, bleibt in der Regel verwendbar und profitiert davon, dass CLI-Aufgaben weniger didaktische Entfaltung verlangen als formales Erklären.

Trotzdem sollte man den Badge nicht mit Effizienz verwechseln. o1 ist mit $15 pro 1 Million Input-Tokens und $60 pro 1 Million Output-Tokens ein ausgesprochen teures kommerzielles Cloud-Modell. Wenn ein Modell diesen Preis aufruft, muss der Leser nicht nur fragen, ob es Kommandos generieren kann, sondern ob es das mit genügend Mehrwert gegenüber deutlich günstigeren Konkurrenten tut. Die Antwort fällt hier nur teilweise positiv aus. o1 ist im DevOps-nahen Gebrauch kompetent. Es ist aber nicht der ökonomische Sweet Spot, sondern ein Premium-Werkzeug, das seine Prämie nicht in jedem Modul rechtfertigt.

Content Transformation: funktional, vollständig, aber selten brillant

Im Bereich Content Transformation steht o1 bei 74.49%. Das ist ein gutes Ergebnis und eines der stimmigeren Module dieses Modells. Das qualitative Beispiel mit dem deutschen Videoskript zur Zwei-Faktor-Authentifizierung zeigt sehr gut, wo o1 stark ist: Es arbeitet vollständig, bleibt sauber in der Sprache, deckt alle Pflichtbausteine ab und liefert eine tatsächlich produzierbare Struktur mit Timestamps, Regiehinweisen, CTA und Easter Egg. Solche Antworten sind nicht nur benchmarktauglich, sie lassen sich im Redaktions- oder Marketingalltag real weiterverarbeiten.

Die Einschränkung steckt im Ton und im Takt. Das Skript ist etwas zu kurz, die emotionalen Haken greifen nicht tief genug, und der Pattern Interrupt wirkt eher wie ein Creator-Reflex als wie ein sinnvoll gesetzter Spannungsbogen. Besonders die QR-Code-Passage wird zu knapp abgehandelt. Man merkt: o1 kann die Aufgabe lösen, aber es komponiert sie nicht bis zum letzten Prozentpunkt aus. Das Ergebnis funktioniert. Es funkelt nicht.

Das ist symptomatisch für dieses Modell. Es verfehlt selten den Kern. Es veredelt ihn aber auch zu selten.

UX Writing, Dokumentation und die Frage nach der Stimme

Die Teilwerte in UX Writing mit 64.55% und Documentation Quality mit 58.33% zeigen, dass o1 kein natürlicher Stilist ist. Für ein reines Reasoning-Modell ist das nicht überraschend. Es ist aber bemerkenswert, wie deutlich die Lücke ausfällt, sobald nicht nur Richtigkeit, sondern sprachliche Kalibrierung, Priorisierung und Leserführung gefragt sind.

In Dokumentationsnähe wirkt o1 oft korrekt, aber nicht immer ausreichend verdichtet. In UX-lastigen Aufgaben wiederum produziert es zwar viel Text, trifft aber nicht zuverlässig die ökonomische Tonlage, die gute Produktkommunikation verlangt. Das ist kein komplettes Versagen. Es ist eher die klassische Ingenieurskrankheit unter Sprachmodellen: korrekt, erklärfreudig, manchmal zu breit, zu selten elegant.

Cultural Intelligence: sprachlich sicher, kulturell meist treffend, aber nicht ganz auf Augenhöhe

Mit 77.3% ist Cultural Intelligence ein klarer Lichtblick. Das Modell bleibt sauber im Deutschen und vermeidet in der analysierten Jobanzeigen-Aufgabe die groben Fehler zuverlässig. Es entfernt toxische und gegenderte Begriffe, hält die Anzeige professionell und trifft die Grundidee inklusiver Formulierungen. Das ist keine Kleinigkeit. Viele Modelle können diskriminierende Floskeln zwar ersetzen, aber nur um den Preis einer steifen, künstlichen Sprache. o1 gelingt hier ein vernünftiger Mittelweg.

Der qualitative Abstand zum Referenzniveau ist allerdings sichtbar. Das Modell behält die englische Phrase „Work-hard-play-hard“ in Anführungszeichen bei, statt sie konsequent durch eine professionelle deutsche Formulierung zu ersetzen. Außerdem wählt es einen etwas direkteren, weniger einladenden Ton als in modernen deutschen HR-Texten üblich. Man kann das lesen, ohne zusammenzuzucken. Man würde es aber noch redigieren wollen.

Gerade bei kulturell sensiblen Anpassungen zeigt o1 damit Respekt vor der Aufgabe, aber nicht die letzte soziale Feinmotorik. Es ist in diesem Modul gut. Es ist nicht elegant.

API-Kostenprofil

Bei einem kommerziellen Cloud-Modell ist Ausführlichkeit keine Marotte, sondern eine Rechnung. Und o1 schreibt teuer. Im CLI-Bereich produziert es durchschnittlich 630 Tokens bei einem Fleet-Median von 211. Das entspricht einem Faktor von 2.99 gegenüber dem Schnitt aller getesteten Modelle. In Code Quality sind es 4058 Tokens gegenüber 1899, also 2.14-fach. Besonders auffällig wird es bei Cultural Intelligence: 1045 Tokens statt 225 im Fleet-Median, ein Faktor von 4.64. Damit überschreitet o1 dort sogar das gesetzte Budget deutlich. Auch UX Writing liegt mit 4057 zu 1247 Tokens beim 3.25-fachen des Schnitts.

Wichtig ist: Das ist kein direkter Qualitätsvorwurf. In einigen Modulen liefert o1 trotz der Länge ordentliche Ergebnisse. Aber identische oder nur leicht bessere Qualität für massiv mehr Ausgabetext ist bei einem Preisschild von $60 pro 1 Million Output-Tokens schlicht ein Kostenproblem. Wer o1 produktiv nutzt, bezahlt nicht nur für Denkvermögen, sondern auch für den Hang des Modells, den Raum mit Worten zu füllen.

Datenschutz und Datenhoheit

Für europäische Unternehmen ist die Lage klar und weder dramatisch noch bequem. Das berechnete Sovereign Risk liegt bei MEDIUM. Grund dafür ist nicht eine diffuse Unsicherheit, sondern die konkrete Kombination aus US-Provider, US-Jurisdiktion und Cloud-only-Betrieb. OpenAI unterliegt dem US CLOUD Act. Das bedeutet: US-Behörden können unter bestimmten Voraussetzungen Zugriff auf Daten verlangen, auch wenn europäische Kunden mit vertraglichen Schutzmechanismen arbeiten.

Die Datenverarbeitung findet laut Provider Card in den USA statt, die Datenspeicherung beträgt 30 Tage. Ein GDPR-DPA ist verfügbar, was für Unternehmen mit DSGVO-Pflichten ein echtes Minimum darstellt und den Einsatz rechtlich überhaupt erst strukturierbar macht. Trotzdem bleibt das strukturelle Transfer-Risiko nach Art. 44 ff. DSGVO bestehen. Für deutsche Organisationen heißt das praktisch: o1 ist nicht automatisch ausgeschlossen, aber für sensible personenbezogene, vertrauliche oder regulatorisch heikle Inhalte braucht es eine saubere Risikoabwägung, Vertragsprüfung und meist technische Zusatzmaßnahmen. Das Weights-Provenienz-Risiko liegt ebenfalls bei medium, deckt sich hier aber mit der Deployment-Situation: US-Anbieter, proprietäre Gewichte, keine öffentliche Einsicht.

Fazit

o1 ist ein merkwürdig ernstes Modell. Als dediziertes Thinking-System in der Frontier-Klasse bringt es echte analytische Substanz mit, vor allem in Security-nahen, operativen und transformationsorientierten Aufgaben. Es halluziniert dabei über alle Tests hinweg nicht nennenswert und erfindet lieber zu wenig als zu viel. Das ist ein Charakterzug, den man in der Praxis schätzen kann.

Trotzdem bleibt ein scharfer Nachgeschmack. Für ein teures, kommerzielles Cloud-Modell mit Reasoning-Fokus ist der Gesamteindruck zu oft „korrekt, aber nicht ausgeschöpft“. Die Logik stimmt, die Form hakt. Die Sicherheitsinstinkte sind da, aber kritische Lücken bleiben stehen. Die Texte sind brauchbar, aber häufig zu lang und zu selten stilistisch präzise. Und die Verweigerung expliziter Metakognitions-Formate ist kein akademischer Schönheitsfehler, sondern ein echtes Integrationsproblem für strukturierte Workflows.

Die Empfehlung fällt deshalb differenziert aus. o1 eignet sich für anspruchsvolle Analysen, Sicherheits-Screenings, technische Inhaltsüberarbeitung und Aufgaben, bei denen Richtigkeit wichtiger ist als Charme oder maximale Geschwindigkeit. Für UX-Texte, formstrenge Agenten-Pipelines, kostenkritische API-Nutzung oder reasoning-lastige Aufgaben mit expliziten Ausgabevorgaben gibt es robustere Kandidaten. o1 ist kein Blender. Aber für seinen Preis ist es zu oft nur gut, wenn es eigentlich beeindruckend sein müsste.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.