Der Preis hinter dem Preis Der Unterschied zwischen einem Preisschild und einer Rechnung
Ein Score sagt, wie gut ein Modell antwortet. Der Preis, den es dafür verlangt, verrät noch nicht, wie teuer es im Betrieb wird. CrucibleMark trennt beide Größen: den tatsächlichen Token-Verbrauch über alle Benchmark-Aufgaben und den daraus entstehenden Gesamtpreis pro Durchlauf. Was dabei sichtbar wird, ist eine Kostenspanne, die mit dem gelisteten Tarif oft wenig zu tun hat.
Erst der Token-Verbrauch zeigt, was ein Score verschweigt. Das klingt selbstverständlich, hat mich im echten Betrieb aber trotzdem erwischt. Im direkten API-Einsatz, etwa beim Coden mit einem Assistenten, bestimmt die Ausgabe den Preis: wie viel ein Modell schlussfolgert und wie ausführlich es antwortet. Wer ein geschwätziges Modell als Coding-Assistent nutzt, merkt das spätestens beim nächsten Blick auf die Rechnung. Anders im Agenten-Workflow. Dort dreht sich das Verhältnis um. Ein Modell beantwortet keine einzelnen Fragen mehr, sondern arbeitet über Stunden, mit wachsendem Kontext bei jeder Anfrage. Meine Faustregel: Rund 98 Prozent der Token, die ein Agent verbraucht, sind Prompt-Tokens. Nicht Antworten, sondern Erinnerung. Was bei zehn Requests harmlos wirkt, wird bei 300 zur Kostenfalle. Für beide Szenarien gilt dasselbe Prinzip: Der Tarif schlägt die Verbosität. Wer ein teures Modell im Agenten-Workflow einsetzt, zahlt diesen Tarif nicht einmal, sondern mit jeder Anfrage erneut, für denselben wachsenden Kontext.
Der folgende Chart zeigt, was ein vollständiger Benchmark-Durchlauf kostet: gemessen am tatsächlichen Token-Verbrauch und dem jeweiligen Modell-Tarif. Sortierbar nach Score, Verbrauch oder Kosten, drei Sichtweisen auf dieselben Modelle.
Was der Chart nicht zeigt – und trotzdem gilt
Die Zahlen im Chart sind Benchmark-Kosten: ein Durchlauf, alle Aufgaben, kein angewachsener Kontext. Im echten Betrieb kann derselbe Tarif pro Stunde statt pro Durchlauf anfallen.
Das beste KI-Modell ist nicht das stärkste, sondern das passendste. Es erfüllt seinen Zweck und passt ins Budget, ohne dass man nach jeder Anfrage auf die Kosten schauen muss.
Blickt man ausschließlich auf den Tokenverbrauch und -Preis, kostete dieselbe Arbeitslast bei DeepSeek V4 Flash 3,87 Euro und bei Claude Opus rund 420 Euro. Beide Modelle erzielen im CrucibleMark-Ergebnis einen Score-Unterschied von acht Punkten. Diese acht Punkte sind der Preis der Qualität: nicht nichts, aber selten das Hundertfache wert. Das ist etwa der Unterschied zwischen einer Profi-Maschine und einem soliden Baumarkt-Gerät. Wer eine gut ausgestattete Werkstatt betreibt oder Präzision braucht, kauft die Profi-Maschine, wer zu Hause ab und zu ein Brett sägt, hat Alternativen.