Zum Inhalt springen
CrucibleMark

Kimi K2.7 Code

Kimi K2.7 Code ist das coding-spezialisierte Agenten-Modell von Moonshot AI aus der K2-Familie, optimiert für langfristige Software-Engineering-Workflows. Die MoE-Architektur aktiviert pro Token nur 32 Milliarden der insgesamt eine Billion Gesamtparameter, das Kontextfenster umfasst 256.000 Tokens. Multimodaler Eingang für Text, Bild und Video, Always-on-Thinking-Modus und Tool-Use-Unterstützung. Unter Modified-MIT-Lizenz als Open-Weights-Modell verfügbar.

Moonshot AI Version 2.7-code Kommerzielle Nutzung erlaubt MoE 1000 B (32 B aktiv) 256 K Context 10/2025 $0.67 / $3.4 per 1M

  • Open Weights
  • Frontier
  • OpenRouter
  • Text
  • Vision
  • Video
  • Instruction-Tuned
  • Agentic Orchestrator
  • Batch

Sovereign Risk: HIGH Moonshot AI ist ein chinesisches Unternehmen und unterliegt dem chinesischen National Security Law (NSL), das staatlichen Zugriff auf Daten ermöglichen kann. Das BSI hat im Februar 2025 explizit vor der Nutzung chinesischer KI-Cloud-Dienste gewarnt; diese Risikoeinschätzung gilt konservativ auch hier.

Tool-Use-Profil: 6 Assets im Detail

Vergleich der Asset-Performance (P1/P2/Combined) gegenüber dem Flotten-Durchschnitt

Asset-Performance (Radar)

Score Breakdown vs. Fleet Average

Tool-Use-Details

Asset-Performance, Zuverlässigkeit und Laufzeit-Profil

Name P1 P2 Combined
EU License Research 100 0 40
HTTP Fetch & Extract 80 15 47.5
Tool Failure Handling (404) 80 80 80
Web Search & Tool Selection 100 80 91
URL Construction & Fetch 80 60 70
Multilingual Search & Synthesis 100 0 50

CrucibleMark prüft Tool-Use in 6 voneinander unabhängigen Tests. Klicken Sie auf einen Test-Namen für die Details.

Reliability

  • Tool Call Valid: Nein
  • Retry: Nicht erforderlich
  • Halluzination: Erkannt

Reliability misst, wie verlässlich ein Modell Werkzeugaufrufe tatsächlich ausführt: Tool Call Valid Schema und Format akzeptiert, Retry Required erst nach Wiederholung erfolgreich, Halluzination Flag erfundene Tools oder Parameter erkannt. Alle drei grün bedeutet produktionstauglich.

Betriebsprofil

Call 1
4.03
First Request
MCP
1.13
Protocol Latency
Synthesis
12.72
Response Generation
Total
107.33
Sum of All Phases
Token
11908
Input + Output
Cost
$0
Cost per Run

Das Betriebsprofil zeigt die Laufzeit- und Kostenkennzahlen des Modell-Laufs: Call 1 First Request, MCP Protocol Latency, Synthesis Response Generation, Total Summe aller Phasen, erganzt um Token Input und Output sowie Cost Kosten pro Lauf.

Tool-Use-Review

· Instruction-Tuned · Agentic Orchestrator

Deployment-Urteil

Bedingt deploy: Das Modell trifft Tool-Entscheidungen oft richtig, ist aber für produktive MCP-Pipelines ohne Guardrails nicht vertrauenswürdig genug, weil Halluzination erkannt wurde, der Tool-Call nicht durchgängig valide war und die Gesamtausbeute nur moderat bleibt.

Tool-Execution-Profil

Kimi K2.7 Code zeigt echte Werkzeugintelligenz statt reinem Schema-Fahren. Beim Test Web Search & Tool Selection, der ohne expliziten Hinweis die Wahl zwischen Suche und direktem Fetch prüft, erkennt es den Bedarf an web_search sehr sicher. Das spricht für brauchbare Orchestrierung in offenen Recherchepfaden. Beim URL-Construction-Test, der die Ziel-URL aus Eigenwissen ableiten und dann korrekt abrufen lässt, ist es weniger präzise. P1 80 ist brauchbar, aber für deterministische Pipelines nicht stark genug. Kritischer ist, dass Tool-Call valide insgesamt false steht. Damit ist das Modell nicht MCP-sicher im engen Sinne. Es versteht den Workflow, produziert aber nicht konstant protokollsaubere Ausführung. Dass kein Retry nötig war, spricht eher gegen ein reines Formatproblem und eher für inkonsistente Ausführung im Erstversuch.

Synthesetreue

Wie gut verdichtet es Tool-Ergebnisse? Nur eingeschränkt. P2 70 wirkt auf den ersten Blick tragbar, aber die Asset-Streuung ist für Produktionsbetrieb zu groß. HTTP Fetch & Extract fällt bei der Verdichtung deutlich ab, und Multilingual Search & Synthesis sowie EU License Research landen in der Ergebnisverdichtung faktisch bei null. Das Modell kann also Tools benutzen, verliert aber bei der Überführung in belastbare Endaussagen an Präzision.

Bleibt es im Tool-Ergebnis oder weicht es auf Training aus? Das Honeypot-Signal ist negativ, auch ohne formale Halluzination im Einzelfall. Beim Test EU License Research, der prüft, ob aktuelle Lizenzrestriktionen aus Web-Quellen statt aus parametischem Vorwissen beantwortet werden, liefert P2 0. Das ist ein Vertrauensproblem. Zusätzlich ist Halluzination global erkannt worden. In einer Tool-Pipeline ist das kein bloßer Qualitätsmangel, sondern ein Sicherheitsrisiko: Das Modell kann erfundene oder nicht ausreichend belegte Aussagen als Tool-Ergebnisrahmen ausgeben.

Fehlerresilienz

Beim 404-Test, der transparentes Verhalten bei fehlschlagendem Tool-Call misst, reagiert das Modell akzeptabel. Es kommuniziert den Fehler im Wesentlichen offen und erfindet keinen Seiteninhalt. P2 80 und keine Halluzination trotz 404 sind für Produktion ein positives Signal. Auf Infrastrukturebene scheitert es also nicht reflexhaft in Ersatzfakten.

Betriebsprofil

Total 107.33s pro Run. Langsam. Einzelaufrufe 4.03s und 12.72s, MCP-Latenz 1.13s. Kosten/Run local. Preisniveau des Modells: $0.67 pro 1M Input, $3.4 pro 1M Output. Für die gezeigte Zuverlässigkeit ist das Betriebsprofil eher schwer als effizient.

Fazit & Empfehlung

Geeignet für interne Engineering-Assistenz mit nachgelagerter Validierung, besonders dort, wo Tool-Auswahl wichtiger ist als exakte Endverdichtung. Nicht geeignet für Compliance-, Recherche- oder Freigabe-Pipelines, in denen Tool-Ergebnisse unverfälscht zusammengeführt werden müssen. Wenn Sie es einsetzen, dann nur mit strikter Tool-Call-Validierung, Quellennachweis-Pflicht pro Aussage und einer zweiten Instanz zur Ergebnisprüfung vor der Ausgabe.

Diese Auswertung wurde automatisch auf Grundlage der Benchmark-Daten generiert. Eingesetztes Modell: GPT-5.4 von OpenAI. Die Rohdaten und die vollständige Methodik sind im GitHub-Projekt dokumentiert.