LLM Model Review
· Agentic Orchestrator · Long Context
Mit einem Gesamtscore von 72,56 Prozent und dem Speed Profile Badge „Batch Tool Expert“ zeigt DeepSeek V4 Pro sehr deutlich, was es sein will: kein hektischer Chat-Allrounder, sondern ein großes Cloud-Open-Weights-Modell via OpenRouter, das Aufgaben eher durcharbeitet als wegbügelt. Die Metadaten passen dazu: Reasoning als Primärzweck, Frontier-Klasse, MoE-Architektur mit 1600 Milliarden Gesamtparametern und 49 Milliarden aktiven Parametern pro Token, dazu ein Kontextfenster von 1.000.000 Tokens und ein Trainings-Cutoff von 2025-05. Der Lauf erfolgte im werksseitigen Standardverhalten des Endpunkts; ein umschaltbarer Thinking-Modus existiert hier im Test nicht, obwohl die Modellfamilie grundsätzlich konfigurierbare Reasoning-Varianten unterstützt. Sovereign Risk: HIGH: DeepSeek ist ein chinesisches Unternehmen und unterliegt dem chinesischen National Security Law (NSL), das staatlichen Zugriff auf Daten und Modelle ermöglichen kann. Das BSI hat am 04.02.2025 explizit vor dem Einsatz des DeepSeek-Cloud-Dienstes gewarnt: Nutzerdaten werden auf chinesischen Servern gespeichert; eine Nutzung für dienstliche oder sensible Daten wird nicht empfohlen. Für den Cloud-API-Betrieb gilt diese Warnung uneingeschränkt.
Kopfnoten: Stabilität und Zuverlässigkeit
| Metrik | Wert | Bewertung | Analyse |
|---|---|---|---|
| Timeout-Rate | 5/49 | Unzuverlässig | Das Modell ist unzuverlässig und bricht in der Praxis signifikant oft weg. Bei einem Cloud-Open-Weights-Endpunkt via OpenRouter ist das kein theoretischer Schönheitsfehler, sondern ein reales API-Risiko für produktive Abläufe. |
| P95-Antwortzeit | 135.13 s | Kritisch | Extreme Tail-Latenz. Das Modell streut massiv und ist für zeitkritische Prozesse ungeeignet. |
Architektur und Charakter: groß gedacht, nicht immer sauber geführt
Die Tag-Kombination ist hier nicht Dekoration, sondern Erklärung. DeepSeek V4 Pro ist gleichzeitig als Thinking-, Thinking-Optional-, Agentic-Orchestrator- und Long-Context-Modell eingeordnet. Das klingt erst einmal widersprüchlich, beschreibt in der Praxis aber einen sehr klaren Charakter: Dieses Modell plant sichtbar mehr, schreibt ausführlicher als nötig und verhält sich oft wie ein Stratege, der eigentlich Unteragenten losschicken möchte, aber im Benchmark alles selbst erledigen muss.
Das mildert manches. Wenn ein solches Modell in einer streng formatierten Einzelaufgabe nicht die eleganteste Direktausgabe liefert, ist das weniger peinlich als bei einem reinen Instruct-Modell. Umgekehrt steigen die Erwartungen an Analyse, Zerlegung, Priorisierung und Tiefe. Genau dort ist DeepSeek V4 Pro gut, aber nicht unfehlbar. Sein MoE-Design bedeutet außerdem: Entscheidend für die Leistungsbewertung sind nicht die 1,6 Billionen Gesamtparameter, sondern die 49 Milliarden aktiven Parameter. Das Modell arbeitet also mit deutlich weniger aktiver Kapazität, als die nackte Gesamtgröße suggeriert. Für ein Frontier-Modell darf man dennoch Spitzenklasse erwarten. Die liefert DeepSeek V4 Pro nur in Ausschnitten.
Performance: eher Werkbank als Dialogpartner
Der Speed Profile Badge „Batch Tool Expert“ verrät bereits, wo dieses Modell hingehört: in längere, weniger zeitkritische Arbeitsläufe, bei denen Struktur und Durchhaltevermögen wichtiger sind als unmittelbare Reaktionsfreude. Die gemessene Generierungsgeschwindigkeit ist deshalb nicht als abstrakter Modellwert zu lesen, sondern als Leistungsprofil des Cloud-Anbieters OpenRouter für diesen Endpunkt. Solche Werte sind Infrastrukturdaten des Providers, nicht bloß Ausdruck der Modellarchitektur.
Im Alltag heißt das: DeepSeek V4 Pro fühlt sich nicht wie ein schnelles Gespräch an, sondern wie eine Anfrage an ein ruhiges Backoffice. Das ist für Dokumentation, längere Transformationen oder mehrstufige Analyse akzeptabel. Für interaktive Schleifen mit vielen Retries, Agenten mit engem Timeout-Fenster oder Nutzer, die nach zehn Sekunden unruhig werden, ist es die falsche Maschine. Die kritische Tail-Latenz und die fünf Aussetzer im Gesamtlauf sind hier wichtiger als jeder Durchschnittswert. Ein Modell, das gelegentlich glänzt, aber zu oft einfach nicht zuverlässig antwortet, ist in der Praxis eben keine Sänfte, sondern ein Bus mit unregelmäßigem Fahrplan.
Reasoning und Logik: inhaltlich oft richtig, bei Compliance nicht diszipliniert genug
Im Reasoning-Modul zeigt DeepSeek V4 Pro den Kern seiner Ambition. Logische Aufgaben löst es häufig korrekt, und selbst dort, wo die Bewertung leidet, ist der Denkfehler nicht immer der eigentliche Schaden. Ein protokolliertes Beispiel illustriert das sehr gut: Beim klassischen Wächter-Rätsel war die Lösung sachlich richtig. Das Modell identifizierte korrekt die Doppelinversion und nannte die richtige Frage. Der Haken: Die sichtbare Antwort kam auf Englisch, obwohl explizit Deutsch verlangt war. Das ist kein marginaler Patzer, sondern Instruction-Following auf offener Strecke verpasst.
Metakognitions-Compliance (Reasoning): Das Modell verweigert in 3/5 metacog-Tests die Nutzung der explizit angeforderten <thought>-Tags mit einer konsistenten Policy-Aussage. Die Reasoning-Inhalte sind dabei inhaltlich teilweise korrekt — der Score-Abzug resultiert aus der Format-Verweigerung, nicht aus Denkfehlern. Zum Vergleich: In den tag-freien reasoning_5*-Tests erzielt das Modell einen Durchschnittsscore von ca. 65,71 Prozent, was dem allgemeinen Leistungsniveau des Laufs entspricht. CrucibleMark bewertet bewusst die native Zero-Shot-Instruktions-Compliance als reales Alltagsmerkmal — dieser Abzug ist methodisch gewollt.
Die beiden automatischen Sprachverstöße im Metakognitions-Bereich verschärfen dieses Bild. In zwei Aufgaben des Reasoning-Moduls ignorierte DeepSeek V4 Pro die explizite Sprachanweisung und antwortete auf Englisch. Das ist kein exotischer Einzelfall, sondern ein strukturelles Signal: Wenn Sprache, Format und Begründung gleichzeitig verlangt werden, verliert dieses Modell zuerst die Sprachvorgabe. Wer es in deutschsprachige Produktionsketten einbaut, sollte deshalb nicht bloß auf logische Korrektheit vertrauen, sondern Antworten maschinell auf Sprachkonformität prüfen.
Code Quality und Security: viel Trefferfläche, aber zu viel innerer Leerlauf
Im Code- und Security-Bereich ist DeepSeek V4 Pro besser als sein Gesamtscore vielleicht vermuten lässt. Die Stärken liegen in Breite und technischer Aufmerksamkeit. In einem Audit zu unsicherem PHP-Code identifizierte das Modell nicht nur die offensichtlichen Schwachstellen wie SQL-Injection, XSS oder Path Traversal, sondern auch implizitere Probleme wie Type Juggling beim API-Key, Session Fixation, IDOR und Mail-Header-Injection. Die Tabelle war sauber strukturiert, deutschsprachig und inhaltlich stichhaltig. Das ist keine Kleinigkeit. Viele Modelle sehen hier nur den OWASP-Grundkurs. DeepSeek V4 Pro erkennt auch die stilleren Fehler, die später teuer werden.
Allerdings zeigt sich zugleich ein wiederkehrender Makel: Das Modell liefert oft die richtige Liste, aber nicht immer die beste Priorisierung oder die nützlichste Verdichtung. Im Sicherheitsbeispiel fehlten die zusammenfassende Angriffskette und die explizite Einordnung, warum die fünf impliziten Lücken besonders gefährlich zusammenspielen. Es weiß viel, aber es kuratiert seine Erkenntnisse nicht immer so, wie es ein Security-Review in der Praxis bräuchte. Das ist der Unterschied zwischen guter Befunderhebung und guter Beratung.
Dazu kommt ein strukturelles Effizienzproblem. Im Code-Quality-Modul produziert DeepSeek V4 Pro im Schnitt 9626 Tokens bei einem Fleet-Median von 3104. Das entspricht dem 3,1-Fachen des Benchmark-Schnitts und sogar 1,6-mal dem vorgesehenen Budget. Das Modell löst solche Aufgaben also nicht knapp und präzise, sondern mit sehr teurem Innenleben. Bei API-Nutzung heißt das schlicht: mehr Kosten bei nicht proportional besserem Ergebnis.
Content Transformation: stark in der Ausführung, schwach bei Disziplin
Die qualitativen Protokolle aus dem Bereich Content Transformation zeigen DeepSeek V4 Pro von seiner sympathischsten Seite. Das Modell kann Produktionsmaterial liefern, das unmittelbar verwendbar ist. Das beste Beispiel ist ein deutschsprachiges Tutorial-Skript zu Zwei-Faktor-Authentifizierung: realistische Timestamps, sauber gesetzte Pausenmarker, glaubwürdiger Spoken-Word-Ton, vollständige Editor-Hinweise wie [SHOW], [CLICK], [CIRCLE], [ARROW], [B-ROLL], [MUSIC], [TEXT ON SCREEN], dazu Hook, Pattern Interrupt, Troubleshooting, CTA und sogar ein Community-Easter-Egg. Das ist nicht nur korrekt. Das ist redaktionell brauchbar.
Gerade deshalb fällt die Schwäche umso deutlicher auf: DeepSeek V4 Pro verliert bei harten Vorgaben die Zügel. In einer Aufgabe im Content-Transformation-Bereich überschritt das Modell die explizite Wortvorgabe von 250 Wörtern auf 363 Wörter, also 145 Prozent des Limits. Das System verhängte dafür einen automatischen Abzug von 20 Prozent beziehungsweise 16,32 Punkten auf den erreichbaren Teilscore. Die inhaltliche Qualität der Antwort ist damit irrelevant — die Strafe greift unabhängig davon.
Das Längenproblem ist kein isolierter Ausreißer. Über mehrere Aufgaben im Content-Transformation-Bereich zeigt das Modell ein konsistentes Muster: Bei simultanen Vorgaben aus Sprache, Länge und Format verliert es das Wortlimit als erste Bedingung. Für kreative oder halbstrukturierte Redaktionsarbeit ist das ärgerlich, aber beherrschbar. In automatisierten Pipelines mit festen Feldern, Zeichenlimits oder Publishing-Schemata ist es ein echter Defekt.
UX Writing und Dokumentation: nicht schlecht, aber selten elegant
Bei UX Writing und Documentation Quality liefert DeepSeek V4 Pro solide Mittelklasse, jedoch ohne die Sicherheit, die man von einem Frontier-Reasoning-Modell eigentlich gern sähe. Der Kern des Problems ist nicht fehlendes Sprachvermögen. Es kann schreiben. Das Problem ist vielmehr, dass es zu oft ausbreitet, wo verdichtet werden müsste, und analysiert, wo entschieden werden sollte.
Für Dokumentation kann das nützlich sein, vor allem in komplexeren Stoffen. Wer einen ersten, ausführlichen Entwurf braucht, bekommt Substanz. Wer präzise Nutzertexte, knappe Hilfetexte oder fein austarierte Produktmikrokopie benötigt, arbeitet gegen die natürliche Schwerkraft des Modells. Man spürt hier den Denker, nicht den Formulierungsingenieur. Das ist kein vernichtendes Urteil, aber eben auch kein Kompliment.
API-Kostenprofil
Bei einem Cloud-Open-Weights-Modell via OpenRouter ist Ausführlichkeit keine bloße Stilfrage, sondern eine Rechnung. DeepSeek V4 Pro kostet laut Model-Info 0,87 US-Dollar pro 1 Million Input-Tokens und 1,74 US-Dollar pro 1 Million Output-Tokens. Das ist für ein Frontier-Modell konkurrenzfähig. Es wird aber teilweise durch den eigenen Textdrang wieder aufgefressen.
Besonders auffällig ist der Overhead in mehreren Modulen. Im Code-Quality-Bereich erzeugt das Modell durchschnittlich 9626 Tokens bei einem Fleet-Median von 3104. Das entspricht einem Faktor von 3,1 gegenüber dem Schnitt aller getesteten Modelle. Im CLI Benchmark sind es 1448 Tokens bei 303 im Median, also 4,78-fach. Im Cultural-Intelligence-Modul liegt es mit 1639 Tokens gegenüber 257 sogar bei 6,38-fach. Auch UX Writing fällt mit 4781 zu 1689 Tokens auf, also 2,83-fach.
Wichtig ist dabei: Der Benchmark bestraft diese Verbosität nicht direkt. Aber ein API-Nutzer tut es am Monatsende sehr wohl. Wenn zwei Modelle dieselbe Aufgabe ähnlich gut lösen und eines dafür drei- bis sechsmal so viel Text ausspuckt, ist das kein Charakterzug mehr. Das ist ein Kostenfaktor mit literarischem Ehrgeiz.
Halluzinationen und Verlässlichkeit der Inhalte
Die gute Nachricht: Die Schwächen von DeepSeek V4 Pro liegen eher in Compliance, Latenz und Verbosität als in grober Fantasie. In den vorliegenden Protokollen fällt das Modell nicht dadurch auf, dass es wild Unsinn erfindet. Es scheitert eher daran, Anforderungen nicht sauber zu schneiden oder Antworten unnötig aufzublasen. Das ist die angenehmere Art zu verlieren. Falsch formatierte Wahrheit ist reparierbarer als flüssig formulierter Unsinn.
Datenschutz und Datenhoheit
Hier wird es für europäische Unternehmen unerquicklich klar. Laut Vendor Card unterliegt DeepSeek dem Recht der Volksrepublik China, konkret PIPL/CSL/DSL. Der angegebene Datenstandort lautet China + EU/US cloud partners. Für Nutzer aus Deutschland und Europa bedeutet das ein relevantes Drittlandtransfer-Risiko ohne EU-Angemessenheitsbeschluss. Ein öffentlich ausgewiesenes GDPR DPA ist nicht verfügbar. Für Unternehmen, die DSGVO-konform arbeiten müssen, ist das kein Detail, sondern ein mögliches Ausschlusskriterium.
Die Datenspeicherungsdauer ist mit -1 Tagen ausgewiesen, also faktisch unklar. Genau das ist für Compliance-Abteilungen die denkbar schlechteste Antwort. Hinzu kommt das berechnete Sovereign Risk: HIGH. Die Begründung ist ausdrücklich nicht abstrakt: DeepSeek ist ein chinesisches Unternehmen, unterliegt dem chinesischen National Security Law, und das BSI hat am 04.02.2025 vor dem Einsatz des DeepSeek-Cloud-Dienstes gewarnt, weil Nutzerdaten auf chinesischen Servern gespeichert werden und die Nutzung für dienstliche oder sensible Daten nicht empfohlen wird. Das Weights-Provenienz-Risiko ist ebenfalls HIGH. Dass die Gewichte offen unter MIT-Lizenz verfügbar sind, verbessert die Lizenzlage, nicht die Cloud-Jurisdiktion.
Fazit
DeepSeek V4 Pro ist ein interessantes, in Teilen beeindruckendes Frontier-Modell mit offenem Gewicht, großem Kontext und klarem Reasoning-Anspruch. Es kann komplexe Aufgaben substanziell lösen, erkennt in Security-Audits auch implizite Schwachstellen und liefert im kreativen Umbau bisweilen Material, das sofort einsetzbar ist. Aber es ist auch ein Modell mit Manierenproblemen: zu langsam in den Ausreißern, zu instabil im Endpunkt, zu wortreich für effiziente API-Nutzung und nicht zuverlässig genug bei harten Sprach- und Längenvorgaben.
Gerade für seine Architekturklasse ist das Urteil deshalb gemischt. Als Thinking- und Agentic-Orchestrator-Modell darf DeepSeek V4 Pro länger nachdenken und strategischer arbeiten als ein simples Instruct-System. Das ist seine Natur, kein Makel. Doch ein Frontier-Modell muss seine Tiefe in kontrollierte Ergebnisse übersetzen. Genau dort lässt DeepSeek V4 Pro Punkte liegen. Für Batch-Analysen, längere Redaktionsvorlagen, Security-Scans mit menschlicher Nachkontrolle und kontextlastige Aufgaben ist es brauchbar bis gut. Für unbeaufsichtigte Agenten, zeitkritische Prozesse, strikt formatierte Workflows und sensible Unternehmensdaten ist es in dieser Cloud-Ausprägung die falsche Wahl. Über alle Tests hinweg keine nennenswerten Halluzinationen — das Modell erfindet lieber wenig, als sich mit Fantasie zu blamieren.
Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.