Über mich
Wer wissen will, wer hinter CrucibleMark steckt und warum ein UX-Designer Sprachmodelle benchmarkt, liest weiter.
Seit dem Jahr 2003 arbeite ich freiberuflich in der Media-Garage in den Bereichen UX Design, Webdesign und Printdesign. Ein Schwerpunkt war dabei immer die Visualisierung von Sachverhalten, Daten und Texten, von Büchern und Magazinen über Datenblätter bis hin zu komplexen Webseiten, die ich gemeinsam mit Kundinnen und Kunden inhaltlich und gestalterisch entwickelt habe.
Mich hat dabei immer die Verbindung aus Struktur, Typografie und Webtypografie interessiert. Später bin ich tiefer in die UX-Welt gewechselt, auch getrieben von einem Markt, in dem Billiganbieter und schnelle Lösungen immer lauter wurden. Gerade deshalb ist mir eine saubere, durchdachte Gestaltung mit Substanz wichtig geblieben.
Über das Open-Source-CMS Drupal bin ich intensiv mit der Open-Source-Welt in Berührung gekommen und habe dort eine Gemeinschaft erlebt, deren Hilfsbereitschaft und technische Energie mich bis heute beeindruckt. Diese Haltung, offen, pragmatisch, gemeinschaftlich, passt gut zu der Art, wie ich über digitale Werkzeuge und Systeme denke.
Beruflich arbeite ich heute in einem Umfeld, in dem ich Frontends, Inhalte und digitale Zugänge für eine breite Gemeinschaft mitgestalte. Das gibt mir das gute Gefühl, an etwas Nützlichem zu arbeiten, das im Alltag tatsächlich gebraucht wird.
Parallel dazu habe ich in den letzten Monaten erlebt, wie stark sich meine Arbeit durch KI-Assistenten verändert hat. Gerade als Einzelkämpfer im Frontend-Bereich helfen sie mir, produktiver zu werden, technische Hürden schneller zu nehmen und mich wieder stärker auf das zu konzentrieren, was ich am besten kann: Oberflächen, Typosysteme, Raster, Struktur und Verständlichkeit.
CrucibleMark ist auch aus diesem Grund entstanden. Das Projekt ist für mich nicht nur ein Benchmark, sondern ein Experiment: Wie weit komme ich mit KI als Assistenzsystem, und wo stehen lokale Open-Weight-Modelle dabei wirklich? Als Verstärkung meiner Stärken und als Ausgleich für meine Schwächen. Ich wollte wissen, welche Modelle mir im Alltag wirklich helfen, wie verlässlich sie sind und was sie im Vergleich zu kommerziellen Angeboten tatsächlich leisten.
Nachtrag: Warum schneiden lokale Modelle besser ab als erwartet?
Als ich anfing, Modelle für meinen eigenen Alltag zu bewerten, störte mich eine Sache an klassischen LLM-Leaderboards: Sie beantworten implizit die Frage "Welches Modell ist insgesamt am besten?" – aber das war nie meine eigentliche Frage. Mich interessierte: Reicht dieses Modell, das ich lokal auf eigener Hardware hosten kann, für genau die Aufgabe, die ich täglich erledige?
Ein Gesamtscore über sieben bis neun grundverschiedene Disziplinen bevorzugt strukturell Generalisten – meist große, teure Frontier-Modelle mit entsprechendem Trainingsbudget. Ein kleines, spezialisiertes Modell auf meiner eigenen GPU hatte in diesem Vergleich nie eine faire Chance, selbst wenn es in genau der einen Disziplin, die für mich zählt – Code-Reviews, CLI-Automatisierung, Dokumentation – ebenbürtig oder sogar besser war als ein Frontier-Modell.
Deshalb sind die Coding-, Developer- und Agentic-Profile für mich kein Zusatzfeature, sondern der eigentliche Kern von CrucibleMark: Sie beantworten nicht "Welches Modell ist am besten?", sondern "Ist dieses Modell gut genug für meine Aufgabe?" – die Frage, die für mich zählt, wenn ich abwäge, ob ich ein Modell selbst hoste oder für eine API bezahle.