LLM-Betriebskosten im Vergleich API-Listenpreise pro 1M Tokens · tatsächlicher Token-Verbrauch pro Benchmark

Grundlage der Berechnung

Basis sind die öffentlichen Listenpreise des jeweiligen Anbieters zum Zeitpunkt des Tests. Lokale Modelle haben keine direkten API-Kosten und werden entsprechend ausgewiesen.

Aussagekraft

Der Wert zeigt, was es kostet, ein Modell einmal komplett durch den CrucibleMark-Benchmark laufen zu lassen. Er erlaubt einen direkten Preisvergleich zwischen proprietären API-Modellen. Für die tägliche Nutzung ist er ein Anhaltspunkt, keine Prognose – tatsächliche Kosten hängen von Ihren konkreten Anfragen ab. Kombiniert mit dem Total Score entsteht so ein Preis-Leistungs-Bild: welches Modell liefert wie viel Qualität pro Euro.

Lizenz

Das erste Badge kennzeichnet das Lizenzmodell und damit die Nutzungsrechte.

Commercial Proprietäres Modell. Quellcode und Gewichte sind nicht öffentlich, das Modell ist ausschließlich über die offizielle API des Anbieters nutzbar.

Restricted Restricted-Weight-Modell. Die Gewichte sind veröffentlicht, aber die Lizenz schränkt die kommerzielle oder freie Nutzung ein. Selbstbetrieb ist möglich, aber nicht uneingeschränkt erlaubt.

Open Weight Open-Weight-Modell. Die Gewichte sind frei verfügbar und dürfen ohne Einschränkungen heruntergeladen, selbst betrieben und kommerziell genutzt werden – lokal wie in der Cloud.

Größenklasse

Das mittlere Badge ordnet das Modell einer Größenklasse zu. Sie gibt einen Anhaltspunkt für den Ressourcenbedarf und den typischen Einsatzort – nicht für die Qualität.

Frontier Größte Modelle der Spitzenklasse (meist über 75 Mrd. Parameter). In der Regel nur über API oder Cloud nutzbar, lokaler Betrieb ist kaum praktikabel.

Server Sehr große Modelle (36–75 Mrd. Parameter) für dedizierte Server- oder Cloud-Infrastruktur.

Workstation Modelle (23–35 Mrd. Parameter), die auf leistungsstarker Workstation-Hardware lokal betrieben werden können.

Desktop Modelle (10–22 Mrd. Parameter) für handelsübliche Desktop-Hardware, lokal lauffähig.

Edge Kompakte Modelle (5–9 Mrd. Parameter), die auf typischer consumer Hardware (Consumer-PC, Gaming-Station) laufen.

Nano Sehr kleine Modelle (≤4 Mrd. Parameter) mit minimalem Ressourcenbedarf – laufen auf schmalster Hardware wie Laptops ohne dedizierte Grafikkarte.

Betrieb

Das dritte Badge zeigt, auf welchem Weg das Modell im Benchmark betrieben wurde.

API Ausschließlich über die Anbieter-API zugänglich (z. B. OpenAI, Anthropic, Google).

Cloud Open-Weight-Modell, das über einen Drittanbieter in der Cloud betrieben wird (z. B. Together AI, Fireworks).

Local: Lokal auf eigener Hardware betrieben. Die Geschwindigkeit hängt direkt von der verfügbaren Hardware ab.

Worauf sich der Wert bezieht

Der Wert gilt für den jeweiligen Betriebsweg (API, Cloud oder lokale Installation). Bei Local-Modellen hängt er direkt von der eingesetzten Hardware ab – zwei identische Modelle können auf unterschiedlicher Hardware sehr unterschiedliche Geschwindigkeiten liefern.

Aussagekraft

Speed ist eine Durchschnittsmessung über alle Module. Kurze Antworten werden prozentual schneller verarbeitet als lange; der Mittelwert glättet diese Effekte. Für den direkten Vergleich zweier Modelle ist der Wert solide, sofern sie auf demselben Betriebsweg laufen. API- gegen Local-Modelle zu vergleichen, ist nur bedingt aussagekräftig, da die Hardware unterschiedlich ist.

Bedeutung der Werte

Ja – das Modell unterstützt Tool-Use und kann strukturierte Funktionsaufrufe (Function Calling) ausführen.

Nein – kein nativer Tool-Use. Das Modell beantwortet Anfragen ausschließlich als Text.

– Nicht bekannt oder nicht getestet.

Der Tool-Use-Score

Neben der Ja/Nein-Aussage gibt es einen detaillierten Tool-Use-Score, der in sechs unabhängigen Tests ermittelt wird. Er misst nicht nur ob ein Modell Werkzeuge aufruft, sondern wie gut es sie einsetzt – von der Werkzeugauswahl über die korrekte Parameterübergabe bis zur Synthese der Ergebnisse. Den vollständigen Bericht finden Sie auf der Modell-Detailseite unter Tool-Use.

Worauf sich der Wert bezieht

Der Score fasst die Einzelergebnisse aller Module in einer Zahl zusammen. Ein hohes Ranking bedeutet: das Modell ist über alle Einsatzszenarien hinweg leistungsfähig, nicht nur in einer Nische. Ein Modell, das nur in einer Disziplin glänzt, aber sonst schwächelt, landet weiter unten.

Was er nicht aussagt

Der Total Score ist ein Überblickswert. Für eine gezielte Entscheidung – etwa „brauche ich das beste Reasoning oder das beste Tool-Use?" – lohnt sich der Blick in die einzelnen Modulscores. Nutzen Sie dafür das Modul-Dropdown, um die Tabelle nach einer spezifischen Metrik zu sortieren.

Reasoning – Denkmodus

Standard Klassische Verarbeitung ohne expliziten Reasoning-Schritt. Das Modell generiert die Antwort direkt.

Thinking Das Modell durchläuft vor der Antwort einen sichtbaren Chain-of-Thought-Prozess. Langsamer, aber bei komplexen Aufgaben präziser.

Adaptive Beim adaptiven Denken entscheidet das Modell selbständig, ob ein Reasoning-Schritt nötig ist, abhängig von der Komplexität der Anfrage.

Wann welcher Modus zählt

Reasoning ist kein Qualitätsmerkmal an sich, sondern eine Arbeitsweise. Thinking-Modelle glänzen bei mehrstufigen Aufgaben, sind aber langsamer und teurer. Standard- und Adaptive-Modelle antworten schneller und eignen sich für Routineanfragen. Wer Latenz oder Kosten kritisch bewertet, findet hier den ersten Anhaltspunkt.

Was der Preis umfasst

Der Input-Preis deckt alle Tokens, die das Modell zur Bearbeitung einer Anfrage liest: System-Prompt, Konversationsverlauf, Werkzeugdefinitionen und die eigentliche Nutzeranfrage. Bei Modellen mit erweitertem Kontextfenster (über 100K Tokens) verlangen einige Anbieter einen höheren Preis für Tokens oberhalb einer Schwelle. CrucibleMark verwendet in diesen Fällen den Standardpreis.

Lokale Modelle

Modelle, die auf eigener Hardware laufen (Betriebsweg „Local"), haben keinen API-Preis. In der Tabelle erscheint statt eines Dollarwerts der Eintrag „Self-hosted", weil die laufenden Kosten aus Hardwareabschreibung und Strom bestehen – nicht aus einem pro-Token-Tarif.

Aussagekraft

Der Input-Preis ist die eine Hälfte der API-Kostenrechnung. Für typische Benchmarks mit längeren Prompts (CrucibleMark liegt im Mittel bei 20–80K Input-Tokens pro Lauf) macht er oft den kleineren Anteil der Gesamtkosten aus, weil Output-Tokens in der Regel teurer sind als Input-Tokens. Den konkreten Verbrauch pro Modell zeigt die Spalte „Tokens / Run".

Was der Preis umfasst

Der Output-Preis deckt alle Tokens, die das Modell als Antwort erzeugt – sichtbarer Text, Werkzeugaufrufe (Function Calling), Strukturmarker und gegebenenfalls interne Reasoning-Tokens bei Thinking-Modellen. Letztere werden bei Modellen mit sichtbarem Chain-of-Thought mitgezählt, weil sie als Tokens an die Anwendung zurückgegeben werden und beim Anbieter entsprechend abgerechnet werden.

Warum Output teurer ist als Input

Nahezu alle Anbieter bepreisen Output-Tokens drei- bis fünfmal höher als Input-Tokens. Der Grund liegt im Rechenaufwand: Die Generierung ist sequenziell und autoregressiv (jedes neue Token hängt von allen vorherigen ab), während die Verarbeitung der Eingabe parallelisiert werden kann. Bei Thinking-Modellen verstärkt sich dieser Effekt, weil die Reasoning-Phase zusätzliche Output-Tokens produziert.

Lokale Modelle

Lokal betriebene Modelle haben keinen pro-Token-API-Preis. In der Tabelle erscheint „Self-hosted", weil die Kosten dort aus Hardware und Strom bestehen. Die Spalte „Cost / Run" bleibt in solchen Fällen ebenfalls bei 0 Dollar.

Aussagekraft

Der Output-Preis ist die wirtschaftlich wichtigere Spalte, wenn ein Modell regelmäßig längere Antworten erzeugt – etwa bei Reasoning-Aufgaben oder Code-Generierung. Den tatsächlichen Output-Verbrauch pro Modell zeigt die Spalte „Tokens / Run".

Was gezählt wird

Der Verbrauch umfasst sowohl die vom Modell gelesenen Input-Tokens (Prompts, Kontext, Werkzeugdefinitionen) als auch die geschriebenen Output-Tokens (Antworten, Werkzeugaufrufe, Reasoning-Marker). Tokenizer und Zählmethode folgen der jeweiligen Modell-API; bei Open-Weight-Modellen wird der mitgelieferte Tokenizer verwendet.

Warum dieser Wert zählt

Der API-Listenpreis pro Million Tokens ist nur die eine Hälfte der Wirtschaftlichkeit. Ein Modell kann einen niedrigen Preis haben, aber im Benchmark so viele Tokens produzieren, dass ein Lauf trotzdem teuer wird. Umgekehrt kann ein hoher Preis durch sparsame Token-Nutzung relativiert werden. Die Spalte macht den tatsächlichen Verbrauch sichtbar und bildet zusammen mit Input/Output-Preis den realen „Cost / Run".

Modulverteilung

CrucibleMark misst den Verbrauch pro Modul. Welche Module das Benchmark-Paket enthält und wie sich der Verbrauch darauf verteilt, zeigt die Scoreboard-Detailseite eines Modells unter dem Radar-Chart. Große Unterschiede zwischen Modellen entstehen meist durch unterschiedliche Reasoning-Tiefe und Output-Länge, weniger durch das Prompt-Design (das für alle Modelle identisch ist).

Aussagekraft

Ein niedriger Wert bedeutet: das Modell arbeitet token-ökonomisch. Ein hoher Wert kann auf ausführliche Reasoning-Phasen, ausgedehnte Tool-Ketten oder generell verbose Outputs hinweisen. Für Kostenprognosen bei realen Anwendungen ist „Tokens / Run" der verlässlichste Anhaltspunkt, weil er die Modellspezifika direkt sichtbar macht.