KI-Modelle im Vergleich 7 Einsatzszenarien · Gleiche Bedingungen · Proprietär, Restricted Weights & Open Weights
Anbieter suchen sich ihre Benchmarks selbst aus. CrucibleMark nicht. Die Ausgangsfrage war einfach: Wie gut schlagen sich freie Open-Weight-Modelle gegen proprietäre API-Modelle und lizenzlich eingeschränkte Restricted-Weight-Modelle? Hier treten alle nebeneinander an, bewertet an denselben Aufgaben, unter denselben Bedingungen.
Die Stärke des Scoreboards liegt in der Vergleichbarkeit. Wer nach Größenklasse oder Modelltyp filtert, blendet nichts aus. Nicht passende Einträge werden visuell zurückgenommen, bleiben aber im Kontext. So lässt sich direkt ablesen, wo ein Open-Weight-Desktopmodell gegenüber einem proprietären Frontier-Modell steht, und ob der Leistungsunterschied den Preisunterschied rechtfertigt.
Im Scoreboard treten drei Lizenzmodelle gegeneinander an. Proprietäre Modelle geben weder Trainingsdaten heraus noch werden Gewichte veröffentlicht, der Zugang läuft ausschließlich über die API des Herstellers. Restricted-Weight-Modelle veröffentlichen ihre Gewichte und lassen sich lokal oder in der Cloud betreiben, allerdings schränkt die Lizenz die Nutzung meist auf akademische oder nicht-kommerzielle Zwecke ein. Open-Weight-Modelle stehen ohne Auflagen bereit: herunterladen, selbst betreiben, kommerziell einsetzen.
| # | Modell | Total Score | Type | Tool | Speed | Cost | Report |
|---|---|---|---|---|---|---|---|
| Lade Daten… | |||||||
Hilfe
Badges – Type
Was bedeutet Reasoning
Gibt an, ob und wie ein Modell intern über eine Anfrage nachdenkt, bevor es antwortet.
- Standard
- Klassische Verarbeitung ohne expliziten Reasoning-Schritt. Das Modell generiert die Antwort direkt.
- Thinking
- Das Modell durchläuft vor der Antwort einen sichtbaren Chain-of-Thought-Prozess. Langsamer, aber bei komplexen Aufgaben präziser.
- Adaptive Thinking
- Beim adaptiven Denken entscheidet das Modell selbständig, ob ein Reasoning-Schritt nötig ist, abhängig von der Komplexität der Anfrage.
Badges – Lizenz & Betrieb
Jedes Modell trägt zwei Badges: eines für das Lizenzmodell, eines für den Betriebsweg.
Lizenz
- Proprietär
- Quellcode und Gewichte sind nicht öffentlich. Das Modell ist ausschließlich über die offizielle API des Anbieters nutzbar.
- Restricted Weights
- Die Gewichte sind veröffentlicht, aber die Lizenz schränkt die kommerzielle oder freie Nutzung ein. Selbstbetrieb ist möglich, aber nicht uneingeschränkt erlaubt.
- Open Weights
- Die Gewichte sind frei verfügbar und dürfen ohne Einschränkungen heruntergeladen, selbst betrieben und genutzt werden – lokal wie in der Cloud.
Betrieb
- API
- Das Modell ist ausschließlich über die Anbieter-API zugänglich (z. B. OpenAI, Anthropic, Google).
- Cloud
- Open-Weight-Modell, das über einen Drittanbieter in der Cloud betrieben wird (z. B. Together AI, Fireworks).
- Local
- Lokal auf eigener Hardware betrieben. Die Geschwindigkeit hängt direkt von der verfügbaren Hardware ab.
Tool – Tool-Use-Unterstützung
Gibt an, ob das Modell externe Werkzeuge aufrufen kann – etwa Funktionen, APIs oder Datenbankabfragen –, die von der aufrufenden Anwendung bereitgestellt werden.
- Ja – das Modell unterstützt Tool-Use und kann strukturierte Funktionsaufrufe (Function Calling) ausführen.
- Nein – kein nativer Tool-Use. Das Modell beantwortet Anfragen ausschließlich als Text.
- –
- Nicht bekannt oder nicht getestet.
Speed – Tokens pro Sekunde
Gemessene Ausgabegeschwindigkeit in Tokens pro Sekunde, gemittelt über alle Benchmark-Aufgaben. Der Wert gilt für den jeweiligen Betriebsweg (API, Cloud oder lokale Installation) – bei Local-Modellen hängt er direkt von der eingesetzten Hardware ab.
Cost – Gesamtkosten eines Benchmark-Runs
Summe der API-Kosten für einen vollständigen Benchmark-Durchlauf über alle 7 Module. Basis sind die öffentlichen Listenpreise des jeweiligen Anbieters zum Zeitpunkt des Tests. Lokale Modelle haben keine direkten API-Kosten.