GPT-4o

Mit einem Gesamtscore von 68.17% zeigt GPT-4o sehr deutlich, was seine Metadaten versprechen: ein schneller, breit einsetzbarer Allrounder mit starkem Instruct-Charakter, aber kein Modell, das jede Präzisionsaufgabe mit derselben Souveränität zu Ende denkt. Der Speed Profile Badge „Real-Time Tool Expert“ passt gut: GPT-4o reagiert mit 153.47 Tokens/s fast schon beiläufig schnell und fühlt sich wie ein Modell an, das im Dialog arbeiten will, nicht in langen stillen Denkpausen. Als kommerzielles Cloud-Modell über die OpenAI-API, eingestuft als Generalist, Frontier-Klasse und dense-Architektur, muss es sich allerdings an hohen Erwartungen messen lassen. Sovereign Risk: HIGH — OpenAI unterliegt als US-Anbieter dem CLOUD Act; die Verarbeitung erfolgt unter US-Recht, auch wenn europäische Nutzer vertraglich abgesichert werden können.

Kopfnoten: Stabilität und Zuverlässigkeit

Das ist die gute Nachricht, und sie ist mehr als Kosmetik. Ein schnelles Modell mit Aussetzern ist ein Glücksspiel. GPT-4o liefert hier das Gegenteil: konsistente API-Antworten ohne Timeouts, dazu eine P95-Antwortzeit von 9.61 Sekunden. Für interaktive Nutzung ist das exzellent. Der Badge „Real-Time Tool Expert“ ist deshalb nicht bloß Marketingetikett, sondern eine brauchbare Kurzbeschreibung des Profils: GPT-4o ist auf Reaktionsgeschwindigkeit und dialognahe Tool-Szenarien getrimmt.

Die schlechte Nachricht folgt sofort dahinter. In 29 Fällen musste das System auf ein 4096-Token-Fallback zurückschalten, weil GPT-4o beziehungsweise die OpenAI-API das ursprünglich angeforderte höhere Completion-Limit ablehnte. Das zog sich durch CLI, Code Quality, Documentation Quality sowie Reasoning und Metacognition. Für ein Frontier-Modell mit 128K Kontextfenster ist das ein unschöner Widerspruch: viel Kontext zu akzeptieren ist nicht dasselbe, viel Ausgabe zu liefern. Wer GPT-4o in Agenten-Frameworks oder langen Analyseketten einsetzen will, sollte diese Grenze nicht als Randnotiz abtun. Sie ist eine reale Produktkante.

Architektur und Charakter: Generalist mit Instruct-Reflexen

Die Kategorisierung General, Instruct, Multimodal trifft GPT-4o erstaunlich präzise. Als Generalist wird es über die volle Breite geprüft, nicht nur auf Code oder Reasoning. Als Instruct-Modell zeigt es die typische Tugend direkter Befehlsausführung: schnell, knapp, oft sauber auf den Punkt. Genau daraus entsteht aber auch seine zentrale Schwäche. GPT-4o neigt dazu, Aufgaben früh als „verstanden“ zu markieren und dann auf halber Strecke an Tiefe, Formatdisziplin oder Detailgenauigkeit zu sparen.

Die Einstufung als multimodales Modell muss man für diesen Benchmark ebenfalls klar benennen: CrucibleMark misst hier im Kern Textleistung. Das zeigt nur einen Teil von GPT-4os tatsächlichem Könnensprofil. Trotzdem gilt: Ein multimodaler Allrounder in der Frontier-Klasse darf sich im Textbetrieb keine Ausreden leisten. OpenAI positioniert GPT-4o als universelles Arbeitsmodell. Genau daran wird es hier gemessen.

Hinzu kommt die dense-Architektur. Anders als bei Mixture-of-Experts-Modellen wird hier bei jeder Anfrage die volle Modellkapazität aktiviert. Das erhöht die Erwartung an Konsistenz. Wenn ein solches Modell an Formatvorgaben oder Ausgabegrenzen scheitert, ist das keine Folge exotischer Routing-Entscheidungen, sondern ein echter Produktmangel.

Code Quality und Security: brauchbar, aber nicht gründlich genug

Mit 70.1% im Bereich Code Quality ist GPT-4o ordentlich unterwegs, aber nicht glänzend. Die qualitative Auswertung zeigt ein Modell, das Sicherheitsprobleme oft korrekt erkennt und praxisnahe Fixes liefern kann. In einem Security-Audit identifizierte es 15 von 19 Schwachstellen, inklusive SQL Injection, XSS, Session Fixation, Path Traversal, CSRF und IDOR. Das ist keine schlechte Trefferquote. Vor allem die Lösungsvorschläge wurden als konkret und umsetzbar gewürdigt. GPT-4o schreibt keinen Security-Schaum, sondern im Zweifel tatsächlich brauchbare Code-Flicken.

Der Haken ist die Vollständigkeit. Es übersah unter anderem einen fest eingebauten API-Secret, hart codierte Datenbank-Zugangsdaten, ein Reset-Token ohne Ablaufzeit und eine Header-Injection-Problematik. Noch wichtiger: Es erkannte einzelne Risiken zwar implizit, verankerte sie aber nicht sauber in der zentralen Befundtabelle. Genau dort entscheidet sich in der Praxis, ob ein Audit als Arbeitsgrundlage taugt oder als lose Sammlung guter Gedanken endet. GPT-4o kann Security, aber eher als erfahrener Reviewer mit Zeitdruck als als pedantischer Forensiker.

Dazu kommt ein struktureller Makel im Sicherheitsdenken. Die Golden-Standard-Lösungen arbeiteten mit Angriffsketten und klaren Exploit-Narrativen. GPT-4o blieb öfter bei generischen Erklärungen. Es benennt die offene Tür, beschreibt aber nicht immer, wie der Einbrecher tatsächlich durchgeht. Für Entwickler im Alltag ist das noch brauchbar. Für belastbare Audits in kritischen Umgebungen ist es zu flach.

Im Code-Quality-Bereich trat zudem in allen fünf Aufgaben der gleiche Systembefund auf: Das initial angeforderte höhere Token-Limit wurde von der API abgelehnt, das System fiel auf 4096 Tokens zurück. Das ist kein bloßer Messfehler, sondern ein harter Betriebsbefund. Wer große strukturierte Analysen mit langen Tabellen, Begründungen und Fix-Snippets erwartet, arbeitet bei GPT-4o unter einer engeren Ausgabedecke als das Kontextfenster vermuten lässt.

Reasoning und Logik: richtig gedacht, aber selten elegant

Im Logical-Reasoning-Bereich landet GPT-4o bei 66.04%. Das ist kein Absturz, aber auch kein Ruhmesblatt für ein Frontier-Modell. Die qualitative Seite zeigt ein bekanntes Muster: GPT-4o kommt oft zur richtigen Lösung, allerdings mit begrenzter Tiefe. Beim klassischen Wächter-Rätsel etwa war die Logik korrekt, die Antwort sauber strukturiert und in Deutsch formuliert. Das Modell nutzte die geforderten <thought>-Tags, erklärte die doppelte Inversion plausibel und verfehlte nur die größere pädagogische Ausleuchtung. Es löst die Aufgabe. Es leuchtet sie nicht aus.

Das passt zur Instruct-Einstufung. GPT-4o bevorzugt direkte, kompakte Erklärungen statt ausgreifender Denkarbeit. In normalen Nutzerinteraktionen ist das oft ein Vorteil. In Benchmarks, die explizit auf mehrstufige Logik und alternative Lösungswege zielen, kostet diese Kürze Punkte. Das Modell wirkt an diesen Stellen wie jemand, der die richtige Formel hinschreibt, aber den Nebenrechenweg nicht mitliefert.

Auch hier gilt wieder der Token-Fallback als Kopfnotenzeichen. Reasoning- und Metacognition-Assets liefen wiederholt gegen dieselbe API-Grenze. Das ist besonders relevant, weil gerade diese Aufgaben längere argumentative Ausgaben belohnen. GPT-4o ist also nicht nur stilistisch knapp, sondern wird infrastrukturell zusätzlich eingebremst. Beides zusammen erklärt einen Teil der eher mittleren Logikleistung.

Positiv ist die Token-Effizienz: Im Mittel verbrauchte GPT-4o im Reasoning- und Metacog-Bereich 602 Output-Tokens gegenüber einem Fleet-Median von 1171. Das Modell schwafelt nicht. Der Nachteil ist offensichtlich. Weniger Text ist nur dann Eleganz, wenn kein Gedanke fehlt. Bei GPT-4o ist es mal Präzision, mal Abkürzung.

CLI und operative Präzision: schnell, aber mit Kontextkante

Der CLI-Score von 81.68% gehört zu den stärkeren Disziplinen des Modells. Das überrascht nicht. GPT-4o ist schnell, kommandofreudig und kann knappe, zweckmäßige Antworten liefern. Genau dieses Profil passt gut zu Shell-Aufgaben, bei denen Nutzer keine Essays wollen, sondern Befehle, Flags und plausible Abfolgen.

Aber auch hier verläuft ein Riss durch die schöne Fassade. In allen sechs CLI-Aufgaben wurde das ursprünglich angeforderte höhere Token-Limit von der API abgelehnt und auf 4096 Tokens reduziert. Für klassische One-Liner mag das egal sein. Für längere Runbooks, Diagnoseketten oder Aufgaben mit vielen Varianten ist es ein Warnsignal. Ein Modell kann im Terminal brillant wirken und trotzdem bei umfangreicherem operativem Kontext an eine künstliche Decke stoßen. GPT-4o zeigt genau dieses Verhalten.

Das Urteil lautet deshalb: gut für interaktive Kommandoarbeit, weniger überzeugend für ausufernde Betriebsdokumentation oder komplexe Agenten-Schleifen, die viel Ausgabetiefe in einem Durchlauf verlangen.

UX Writing und Content Transformation: schnell, sprachgewandt, aber nicht gehorsam genug

Hier wird GPT-4o interessanter, weil seine menschlich klingende Schreibe auf Aufgaben trifft, in denen Formdisziplin zählt. Das Ergebnis ist durchwachsen.

Im UX-Writing-Bereich steht am Ende nur 62.55%. Das liegt nicht daran, dass GPT-4o nicht schreiben könnte. Im Gegenteil: Stilistisch ist das Modell oft geschmeidig, zugänglich und lesbar. Es scheitert häufiger an der letzten, nervigen Meile von Produkttexten: exakte Längen, explizite Ausgaberegeln, strenge Formatvorgaben. Das ist die Schattenseite eines Modells, das gerne „hilfreich“ sein will. In UX-Texten ist ungefragte Hilfsbereitschaft oft nur ein anderer Name für Non-Compliance.

Im Bereich Content Transformation mit 78.3% fällt dieses Muster glasklar auf. In einer Aufgabe zur diskriminierungsfreien Umschreibung eines deutschen Jobtexts lieferte GPT-4o nicht nur die verlangte Umschreibung, sondern anschließend fünf Begründungen für seine Änderungen. Genau das war explizit verboten. Der Text selbst war fachlich ordentlich: aggressive Sprache entfernt, geschlechtercodierte Begriffe neutralisiert, professioneller Ton erhalten. Aber die Aufgabe lautete unmissverständlich: nur den überarbeiteten deutschen Text ausgeben, keine Erklärungen. GPT-4o konnte die Aufgabe also inhaltlich lösen und scheiterte trotzdem an ihrer Bedienungsanleitung. Das ist kein Schönheitsfehler. Es ist ein klassischer Instruct-Bruch.

Eine zweite inhaltliche Probe aus demselben Modul zeigt die andere Schwäche: Bei der Erstellung eines YouTube-Tutorial-Skripts arbeitete GPT-4o strukturell sauber, auf Deutsch und mit klaren Abschnitten. Gleichzeitig komprimierte es ein realistisches Fünf-Minuten-Video auf rund 1:45 Minuten, blieb beim Hook generisch, bei visuellen Produktionshinweisen zu vage und unterschritt mit rund 550 Wörtern sogar die geforderte Spanne von 600 bis 900 Wörtern. Das Modell weiß, wie ein Tutorial aussieht. Es weiß weniger zuverlässig, wie es sich im Produktionsalltag anfühlen muss.

In einer Aufgabe im Content-Transformation-Bereich unterschritt das Modell zudem die explizite Längenvorgabe. Die geforderten 600 bis 900 Wörter wurden mit etwa 550 Wörtern verfehlt. Der automatische Abzug greift hier regelbasiert, unabhängig davon, ob der Text inhaltlich noch brauchbar ist. Gerade bei Produktionsskripten zählt das Wortlimit nicht als Empfehlung, sondern als Arbeitsrahmen.

Documentation Quality: die größte Enttäuschung

Der schwächste Modulwert lautet 58.47% in Documentation Quality. Das ist für ein Frontier-Generalistenmodell der eigentliche Schmerzpunkt dieses Benchmarks. Dokumentation verlangt Struktur, Geduld, Vollständigkeit und ein sauberes Verhältnis von Überblick und Detail. Gerade dort verliert GPT-4o sichtbar an Schärfe.

Die systemische Kopfnote ist bereits schlecht: alle fünf Dokumentationsaufgaben liefen in das gleiche 4096-Token-Fallback. Bei einem Modul, das naturgemäß längere, gegliederte und erklärende Ausgaben belohnt, ist das keine Fußnote, sondern eine Hypothek. Schon bevor man die Qualität liest, weiß man: Dieses Modell arbeitet in Dokumentationsaufgaben mit angezogener Handbremse.

Die inhaltlichen Ergebnisse passen dazu. GPT-4o schreibt meist verständlich und kompakt, aber zu selten mit jener Gründlichkeit, die gute Dokumentation von nettem Chattext unterscheidet. Es priorisiert Lesbarkeit vor Vollständigkeit und Geschwindigkeit vor Substanz. Für FAQ-artige Hilfetexte mag das ausreichen. Für belastbare interne Doku, Architektur-Erklärungen oder Prozesse mit vielen Randbedingungen ist es zu leichtgewichtig.

Cultural Intelligence: sprachlich sicher, formal nicht immer diszipliniert

Mit 66.8% liegt GPT-4o auch in Cultural Intelligence nur im Mittelfeld. Dabei zeigt ein Teil der qualitativen Auswertung zunächst eine Stärke: Das Modell kann auf Deutsch sauber, inklusiv und tonlich kontrolliert schreiben. In der Jobtext-Aufgabe erkannte es toxische Sprache, maskuline Schieflagen und unnötige Aggression zuverlässig. Auch die Regelprüfung bescheinigte 90 von 100 Punkten bei Cultural Fit und ebenso 90 von 100 bei Language Proficiency.

Der Punktverlust kam wieder über die Instruktionstreue. GPT-4o hielt sich nicht daran, ausschließlich den überarbeiteten Text auszugeben. Es kommentierte seine eigene Arbeit, obwohl genau das untersagt war. Zusätzlich scheiterte der Text an inklusiver Formatierung, konkret beim fehlenden expliziten Marker wie m/w/d. Das klingt kleinlich. Ist es in HR- und DEI-nahen Umgebungen aber nicht. Wer Formvorgaben in sensiblen Kommunikationstexten nur ungefähr befolgt, fällt im echten Einsatz durch interne Freigaben.

Man könnte es härter sagen: GPT-4o hat hier die richtige Haltung, aber nicht immer die nötige Disziplin.

Token-Effizienz: angenehm sparsam

Ein klarer Pluspunkt ist die Ausgabeökonomie. Über alle budgetierten Module hinweg bleibt GPT-4o unter dem Fleet-Median: Code Quality 1429 vs. 2273 Tokens, Content Transformation 1308 vs. 1757, Documentation 1668 vs. 2821, UX Writing 1041 vs. 1424, Cultural Intelligence 176 vs. 220. Das Modell verhält sich token-ökonomisch — kein Modul übersteigt den erwarteten Verbosity-Rahmen.

Für ein kommerzielles Cloud-Modell ist das relevant. GPT-4o kostet 2.5 Dollar pro 1 Million Input-Tokens und 10.0 Dollar pro 1 Million Output-Tokens. Weil es selten unnötig breit wird, bleibt die Rechnung im Alltag kontrollierbar. Geschwindigkeit und Kürze sind hier echte Produktvorteile. Nur darf man Effizienz nicht mit Vollständigkeit verwechseln. GPT-4o spart nicht nur Kosten, manchmal spart es auch den letzten wichtigen Gedanken.

Halluzinationen und Tool-Vertrauen

Halluzinationen

Hier liegt ein echter Warnbefund vor. In zwei Tool-Use-Aufgaben erzeugte GPT-4o Inhalte, die nicht aus dem abgerufenen Tool-Ergebnis stammten, sondern erfunden waren. Der Score wurde in beiden Fällen durch einen Halluzinations-Cap begrenzt. Für content-kritische Aufgaben wie Recherche, Faktenberichte oder jede Form von toolgestützter Verifikation ist das kein Kavaliersdelikt, sondern ein rotes Tuch.

Das Problem ist nicht, dass GPT-4o gelegentlich rät. Viele Modelle tun das. Das Problem ist, wo es rät: ausgerechnet in Aufgaben, in denen ein externes Tool die Faktenbasis liefern sollte. Wer ein Modell mit Tool-Anbindung nutzt, kauft implizit die Hoffnung auf weniger Halluzinationen ein. Wenn das Modell dann trotzdem über die Tool-Ausgabe hinausfantasiert, untergräbt es den gesamten Sicherheitsgewinn des Setups.

Das macht GPT-4o nicht generell unbrauchbar. Aber es disqualifiziert es für unbeaufsichtigte Faktenpipelines. In journalistischen, regulatorischen oder research-lastigen Prozessen gilt dann eine einfache Regel: Tool-Output gegenlesen, immer.

Datenschutz und Datenhoheit

GPT-4o läuft ausschließlich als kommerzielles Cloud-Modell über die OpenAI-API. Für europäische Unternehmen ist die Lage damit klar umrissen: Vertragsseitig ist eine GDPR-DPA verfügbar, ebenso sind typische DSGVO-Mechanismen wie SCCs vorgesehen. Praktisch verarbeitet der Anbieter die Daten jedoch unter US-Recht, mit Datenstandort USA und einer angegebenen Speicherfrist von 30 Tagen.

Das berechnete Sovereign Risk liegt bei HIGH. Die Begründung ist nüchtern: OpenAI ist ein US-Unternehmen, der CLOUD Act ist anwendbar, und US-Behörden können unter bestimmten Voraussetzungen Zugriff auf Daten verlangen, selbst wenn organisatorische Schutzmaßnahmen bestehen. Für Unternehmen in Deutschland und der EU ist das kein automatisches Ausschlusskriterium, aber ein klarer Governance-Punkt. Wer mit personenbezogenen, vertraulichen oder regulierten Daten arbeitet, braucht hier eine bewusst getroffene Risikoentscheidung.

Das Weights-Provenienz-Risiko ist mit MEDIUM angegeben. Im Kern verweist es auf dieselbe Grundlage: proprietäre Gewichte bei einem US-Anbieter, keine eigene Kontrollmöglichkeit über Deployment oder Modellartefakte.

Fazit

GPT-4o ist ein Modell mit klar erkennbarem Charakter. Es ist schnell, günstig genug, API-seitig stabil und sprachlich sehr kompetent. Als Generalist in der Frontier-Klasse erledigt es viele Aufgaben überzeugend, besonders dort, wo Interaktivität, knappe Antworten und Tool-Nähe gefragt sind. Sein Gesamtscore von 68.17% spiegelt aber ebenso klar die Grenzen: Documentation Quality ist schwach, Reasoning eher solide als tief, und bei strengen Instruktionen zeigt das Modell zu oft den alten Reflex des überhilfreichen Chatbots.

Die größte operative Warnung ist nicht die Halluzination allein, sondern die Kombination aus Tool-Halluzinationen und hartem 4096-Output-Limit-Fallback in zahlreichen Aufgaben. Das eine beschädigt Vertrauen in Faktenketten, das andere begrenzt die Nutzbarkeit in langen strukturierten Outputs. Für Chat, Assistenz, schnelle Code-Reviews, CLI-Hilfe und allgemeine Produktivarbeit ist GPT-4o weiterhin ein sehr brauchbares Werkzeug. Für sicherheitskritische Audits, hochwertige Dokumentation und unbeaufsichtigte toolgestützte Recherche sollte man es nur mit enger Leitplanke einsetzen. GPT-4o ist kein Blender. Aber es ist auch nicht das Modell, dem man einfach den Schlüssel gibt und dann schlafen geht.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT 4.5 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.