Es gibt Entscheidungen, die man so lange vor sich herschiebt, bis der Alltag sie einem abnimmt.
Den NVIDIA DGX Spark hatte ich schon länger im Blick. Als kompaktes lokales Inferenz-System mit 128 GB Unified Memory war er theoretisch genau das, was ich gebraucht hätte, um Server-Klasse-Modelle endlich privat zu betreiben. Theoretisch. In der Praxis haben mich zwei Dinge konsequent abgehalten: der Preis des Geräts und die stetig steigenden Kosten für Arbeitsspeicher, die dieses Segment zuverlässig weiterverteuern. Ich hoffte auf bessere Zeiten. Doch die besseren Zeiten blieben aus.
Dann kam der Juni 2026.
Was in den vergangenen Wochen mit API- und Abo-Preisen passiert ist, hat meine Kalkulation gründlich durcheinandergewirbelt. Den letzten Impuls gab die Preisanpassung von GitHub Copilot. Ich nutze das Tool beinahe täglich, es hat meine Arbeitsweise als Selbstständiger seit Jahren mitgeprägt, und ich hatte den teuren DGX Spark immer gegen die monatlichen Abo-Kosten gegengerechnet. Anfang Juni 2026 hat sich dieser Preis bei gleicher Nutzung für mich um den Faktor 8 erhöht (Link zum Artikel). Nicht schrittweise. Einfach mal so. Das hat meine Einstellung zur Investition in den Spark grundlegend verändert. Wer LLMs produktiv einsetzt wie ich und über kein großes KI-Firmenbudget verfügt, erlebt gerade, wie der Boden unter der eigenen Kostenkalkulation wegbricht. Und ich glaube, damit bin ich nicht allein.
Also habe ich gerechnet. Und dann habe ich den Spark bestellt.
Die Logik dahinter war weniger Optimismus als Pragmatismus. Entweder steigen die Speicherpreise weiter und das Gerät wird in sechs Monaten noch teurer. Dann war jetzt der richtige Einstiegszeitpunkt. Oder die Preise normalisieren sich und ich habe ein solides Gerät mit echtem Restwert, das ich im Zweifelsfall wieder veräußern kann. Beides ist für mich vertretbar. Was nicht vertretbar war: die monatlich deutlich steigende Rechnung einfach weiterzubezahlen, ohne wenigstens eine Antwort darauf gesucht zu haben.
Bevor neue Modelle getestet werden konnten, musste das Fundament stimmen.
Parallel zur Hardware-Entscheidung hat CrucibleMark ein umfangreiches Refactoring durchlaufen. Der Benchmark entstand ursprünglich als einfache CSV-Liste. Die technische Schuld, die sich über mehrere Versionen angesammelt hatte, machte einen sauberen Schnitt notwendig. Das gesamte Score- und Review-Mapping wurde auf ein ID-basiertes System umgestellt. Jedes Modell hat jetzt eine Single Source of Truth: eine eindeutige ID, über die sämtliche Scores, Reviews und Metadaten konsistent zugeordnet werden. Das klingt nach Haushaltsführung. Es ist aber die Voraussetzung dafür, dass Ergebnisse belastbar vergleichbar bleiben, wenn die Modellbasis so schnell wächst wie gerade.
Und sie wächst. Beinahe wöchentlich erscheinen aktuell ernstzunehmende neue Modelle. Ich teste jetzt intensiv auch Modelle der Server-Klasse, die auf dem Spark mit seinen 128 GB RAM lauffähig sind. Modelle, die auf meinem M4 Mac schlicht nicht liefen und bisher aus meinem Testradius herausgefallen waren. Das ist die eigentliche Ankündigung dieses Beitrags. Der Benchmark bekommt eine neue Dimension.
Was CrucibleMark jetzt herausfinden will.
Die ursprüngliche Leitfrage war: Ab wann kann ein lokal betriebenes Modell mit etablierten kommerziellen Modellen wie Claude Sonnet oder GPT mithalten? Diese Frage bleibt gültig. Sie reicht nur nicht mehr aus.
Dazu kommen drei neue Dimensionen.
1. Lokale Server-Modelle im Alltagsbetrieb. Mit dem DGX Spark betreibe ich mittlerweile drei lokale Inferenzserver: den M4 Mac, den Spark und optional einen Gaming-PC mit RTX 4070 Ti, der bisher nur zu Testzwecken im Einsatz war. Dabei ist mir früh aufgefallen, dass sich dasselbe Modell auf unterschiedlicher Hardware oder in unterschiedlichen Quantisierungsstufen teils komplett anders anfühlt. Andere Antwortqualität, anderes Timing, manchmal eine merklich veränderte Tool-Use-Zuverlässigkeit. Diese Infrastrukturvergleiche werde ich künftig systematisch dokumentieren. Für alle, die lokale Inferenz produktiv einsetzen wollen, sind sie relevanter als die reinen Score-Werte.
2. Chinesische Frontier-Modelle als kommerzielle Alternative. Modelle wie MiniMax M3, GLM 5 oder Kimi K2.6 haben in den letzten Wochen gezeigt, dass sie in bestimmten Aufgabenbereichen ernsthaft mit Anthropic und OpenAI mithalten können. Und das zu einem Bruchteil der Kosten. Eine relevante Option, die ich explizit testen und bewerten will. Allerdings keine neutrale. Der Einsatz dieser Modelle muss abgewogen werden gegen Fragen der Datensicherheit und der rechtlichen Rahmenbedingungen. Besonders im europäischen und deutschen Kontext ist das keine Fußnote, sondern eine echte Anforderung. CrucibleMark berücksichtigt diesen Umstand bereits in seiner Auswertung.
3. Kosteneffizienz als eigenständige Benchmark-Kategorie. Was ein Modell kann, ist eine Sache. Was es unter echten Arbeitsbedingungen kostet, in Zeit, in Tokens, in API-Rechnung, ist eine andere. Ich habe in den letzten Wochen selbst erlebt, wie ein vielversprechendes Modell in einem komplexen Entwicklungskontext nicht Problem für Problem löst, sondern für jedes gelöste Problem ein oder zwei neue Probleme erzeugt. Der Score auf dem Papier ist dabei ziemlich egal. Die eigentliche Frage ist: Für welche Art von Aufgaben ist dieses Modell tatsächlich produktiv einsetzbar, ohne dass man die Hälfte der gesparten API-Kosten wieder in Debugging-Stunden investiert?
Ein Nischenbenchmark. Und warum das kein Nachteil sein muss.
CrucibleMark ist kein akademischer Benchmark und kein kommerzielles Produkt. Es ist ein Werkzeug, das ich für mich gebaut habe. Als Selbstständiger, der täglich mit LLMs arbeitet, will ich wissen, welches Modell in welcher Situation tatsächlich verlässlich ist. Die Basis meiner Tests sind nicht die Stärken, die Hersteller in ihren Pressemitteilungen kommunizieren. Es sind produktive Szenarien aus meinem Alltag. CrucibleMark ist eine Ergänzung zu den großen etablierten Benchmarks, keine Konkurrenz.
Ob das ausreicht, werden die Ergebnisse zeigen müssen. Ich arbeite daran.
Die aktualisierten Benchmark-Ergebnisse sind im Scoreboard verfügbar. Neue Tests und Vergleiche folgen laufend.