LLMs im direkten Vergleich 7 Einsatzszenarien · Gleiche Bedingungen · eine Ergebnisliste

Grundlage der Berechnung

Basis sind die öffentlichen Listenpreise des jeweiligen Anbieters zum Zeitpunkt des Tests. Lokale Modelle haben keine direkten API-Kosten und werden entsprechend ausgewiesen.

Aussagekraft

Der Wert zeigt, was es kostet, ein Modell einmal komplett durch den CrucibleMark-Benchmark laufen zu lassen. Er erlaubt einen direkten Preisvergleich zwischen proprietären API-Modellen. Für die tägliche Nutzung ist er ein Anhaltspunkt, keine Prognose – tatsächliche Kosten hängen von Ihren konkreten Anfragen ab. Kombiniert mit dem Total Score entsteht so ein Preis-Leistungs-Bild: welches Modell liefert wie viel Qualität pro Euro.

Lizenz

Das erste Badge kennzeichnet das Lizenzmodell und damit die Nutzungsrechte.

Commercial Proprietäres Modell. Quellcode und Gewichte sind nicht öffentlich, das Modell ist ausschließlich über die offizielle API des Anbieters nutzbar.

Restricted Restricted-Weight-Modell. Die Gewichte sind veröffentlicht, aber die Lizenz schränkt die kommerzielle oder freie Nutzung ein. Selbstbetrieb ist möglich, aber nicht uneingeschränkt erlaubt.

Open Weight Open-Weight-Modell. Die Gewichte sind frei verfügbar und dürfen ohne Einschränkungen heruntergeladen, selbst betrieben und kommerziell genutzt werden – lokal wie in der Cloud.

Größenklasse

Das mittlere Badge ordnet das Modell einer Größenklasse zu. Sie gibt einen Anhaltspunkt für den Ressourcenbedarf und den typischen Einsatzort – nicht für die Qualität.

Frontier Größte Modelle der Spitzenklasse (meist über 75 Mrd. Parameter). In der Regel nur über API oder Cloud nutzbar, lokaler Betrieb ist kaum praktikabel.

Server Sehr große Modelle (36–75 Mrd. Parameter) für dedizierte Server- oder Cloud-Infrastruktur.

Workstation Modelle (23–35 Mrd. Parameter), die auf leistungsstarker Workstation-Hardware lokal betrieben werden können.

Desktop Modelle (10–22 Mrd. Parameter) für handelsübliche Desktop-Hardware, lokal lauffähig.

Edge Kompakte Modelle (5–9 Mrd. Parameter), die auf typischer consumer Hardware (Consumer-PC, Gaming-Station) laufen.

Nano Sehr kleine Modelle (≤4 Mrd. Parameter) mit minimalem Ressourcenbedarf – laufen auf schmalster Hardware wie Laptops ohne dedizierte Grafikkarte.

Betrieb

Das dritte Badge zeigt, auf welchem Weg das Modell im Benchmark betrieben wurde.

API Ausschließlich über die Anbieter-API zugänglich (z. B. OpenAI, Anthropic, Google).

Cloud Open-Weight-Modell, das über einen Drittanbieter in der Cloud betrieben wird (z. B. Together AI, Fireworks).

Local: Lokal auf eigener Hardware betrieben. Die Geschwindigkeit hängt direkt von der verfügbaren Hardware ab.

Worauf sich der Wert bezieht

Der Wert gilt für den jeweiligen Betriebsweg (API, Cloud oder lokale Installation). Bei Local-Modellen hängt er direkt von der eingesetzten Hardware ab – zwei identische Modelle können auf unterschiedlicher Hardware sehr unterschiedliche Geschwindigkeiten liefern.

Aussagekraft

Speed ist eine Durchschnittsmessung über alle Module. Kurze Antworten werden prozentual schneller verarbeitet als lange; der Mittelwert glättet diese Effekte. Für den direkten Vergleich zweier Modelle ist der Wert solide, sofern sie auf demselben Betriebsweg laufen. API- gegen Local-Modelle zu vergleichen, ist nur bedingt aussagekräftig, da die Hardware unterschiedlich ist.

Bedeutung der Werte

Ja – das Modell unterstützt Tool-Use und kann strukturierte Funktionsaufrufe (Function Calling) ausführen.

Nein – kein nativer Tool-Use. Das Modell beantwortet Anfragen ausschließlich als Text.

– Nicht bekannt oder nicht getestet.

Der Tool-Use-Score

Neben der Ja/Nein-Aussage gibt es einen detaillierten Tool-Use-Score, der in sechs unabhängigen Tests ermittelt wird. Er misst nicht nur ob ein Modell Werkzeuge aufruft, sondern wie gut es sie einsetzt – von der Werkzeugauswahl über die korrekte Parameterübergabe bis zur Synthese der Ergebnisse. Den vollständigen Bericht finden Sie auf der Modell-Detailseite unter Tool-Use.

Worauf sich der Wert bezieht

Der Score fasst die Einzelergebnisse aller Module in einer Zahl zusammen. Ein hohes Ranking bedeutet: das Modell ist über alle Einsatzszenarien hinweg leistungsfähig, nicht nur in einer Nische. Ein Modell, das nur in einer Disziplin glänzt, aber sonst schwächelt, landet weiter unten.

Was er nicht aussagt

Der Total Score ist ein Überblickswert. Für eine gezielte Entscheidung – etwa „brauche ich das beste Reasoning oder das beste Tool-Use?" – lohnt sich der Blick in die einzelnen Modulscores. Nutzen Sie dafür das Modul-Dropdown, um die Tabelle nach einer spezifischen Metrik zu sortieren.

Reasoning – Denkmodus

Standard Klassische Verarbeitung ohne expliziten Reasoning-Schritt. Das Modell generiert die Antwort direkt.

Thinking Das Modell durchläuft vor der Antwort einen sichtbaren Chain-of-Thought-Prozess. Langsamer, aber bei komplexen Aufgaben präziser.

Adaptive Beim adaptiven Denken entscheidet das Modell selbständig, ob ein Reasoning-Schritt nötig ist, abhängig von der Komplexität der Anfrage.

Wann welcher Modus zählt

Reasoning ist kein Qualitätsmerkmal an sich, sondern eine Arbeitsweise. Thinking-Modelle glänzen bei mehrstufigen Aufgaben, sind aber langsamer und teurer. Standard- und Adaptive-Modelle antworten schneller und eignen sich für Routineanfragen. Wer Latenz oder Kosten kritisch bewertet, findet hier den ersten Anhaltspunkt.