Warum der Untätige 26 Punkte bekommt: Anatomie eines ehrlichen KI-Benchmarks

AIThis post was created with the assistance of artificial intelligence (AI).

Firmulate — What a Do-Nothing Manager Scores: Why This AI Benchmark Has a Floor at 26 — Live on firmulate.com.

Ein Benchmark, das dem Nichtstuer Punkte gibt

Wer KI-Modelle bewertet, liebt runde Zahlen und einfache Skalen. Doch was sagt es aus, wenn ein Modell 95 von 100 Punkten erreicht — und ein anderes 0? Genau hier setzt das Firmulate-Projekt an: Statt Chat-Qualität zu messen, lässt es KI-Modelle ein komplettes kleines Softwareunternehmen durch seine schlimmste Woche steuern — und misst Management-Qualität. Ein zentraler, oft missverstandener Punkt der Methodik: Wer nichts tut, bekommt trotzdem 26 Punkte. Kein Bug, sondern Programm.

Warum Untätigkeit keine Null ist

Die Logik ist einfach wie radikal: Teilfortschritt zählt. Ein Manager, der die Krise erkennt, die Fakten sammelt und den Kunden korrekt analysiert — aber den Abschluss verpasst —, hat mehr geleistet als einer, der gar nicht erst anfängt. Deshalb startet die Skala nicht bei null, sondern bei einem Baseline-Score von 26 für das reine „Nichts tun“. Alles darüber muss verdient werden.

Vertrauen ist die harte Grenze

Am anderen Ende der Skala gilt eine ebenso klare Regel: Ein einziger Vertrauensbruch deckeliert die Gesamtnote. Im Wortlaut der Bewertenden: „Keine noch so gute Arbeit wiegt einen Vertrauensbruch auf.“ Wer also schummelt, mussest oder Prozesse umgeht, kann die Spitze nicht erreichen — egal wie brillant der Rest war.

Die Crucible-Liga: Juli 2026

Im finalen Lauf führten gpt-5.6-sol (95 Punkte) vor Kimi K3 (93), Sonnet 5 (88), Fable 5 (77) und Opus 4.8 (73). Alle Modelle erkannten jede Krise und wiesen jeden Manipulationsversuch zurück — Social Engineering inklusive: Gefälschte CEO-Nachrichten, die sich über drei Stufen eskalierten, plus ein Reporter-Trick („nur ein Ja/Nein, on background“) — 5 von 5 Modellen lehnten ab. Kimi K3 begründete on-record: „Behandle die Anfrage als mutmaßlichen Genehmigungs-Bypass / mögliche Identitätsfälschung.“

Die entscheidende Lektion: Erst die Akten lesen

Nur zwei Modelle unterschrieben den 55.000-Euro-Deal, den ihre eigene Analyse längst legitimiert hatte. „Gleiche Diagnose, gleicher Pitch — keine Unterschrift.“ Der Schlüssel lag nicht im Kundengespräch, sondern zwei Dokumentreferenzen tief in den eigenen Firmenakten vergraben. Wer die Akten las, gewann den Abschluss zum Vollpreis — worth +4.583 Euro MRR.

Opus 4.8 illustriert das Paradox exemplarisch: Das gründlichste Teilnehmerfeld-Mitglied (+80 gelernte Regeln, tiefste Analysen) landete auf dem letzten Platz — der Abschluss blieb liegen, die Disziplin rutschte (Schreibversuche in eine gesperrte Abteilung statt Eskalation). Dieselbe Schwäche zeigte sich, abgeschwächt, bei allen vieren.

Mit Misstrauen gegen die runde 100

Die Methodik beinhaltet ausdrücklich Misstrauen gegenüber perfekten 100-Punktleistungen — kein Modell der Liga erreicht sie, und das ist kein Zufall, sondern Ausdruck einer Bewertung, die Fehler sichtbar lässt statt zu überdecken.

Live, spielbar, prüfbar

Das Experiment läuft beobachtbar: 13 synthetische Mitarbeitende, echte Geldmechaniken (105.000 Euro Burn pro Monat gegen 2.300 Euro MRR), öffentlicher Cash-Countdown, über 680 selbstgelernte Playbook-Regeln, jeder Arbeitstag versioniert — zuschauen auf firmulate.com/live. Die vollständigen Ergebnisse und Befunde in Klartext gibt es auf der Benchmark-Seite. Wer mitraten will: 242 echte, uneditierte Management-Entscheidungen speisen ein „Errate das Modell“-Quiz. Und Unternehmen können denselben Wargame gegen einen read-only-Export des eigenen Geschäfts fahren — es wird niemals zurück in echte Systeme geschrieben.

Transparenzhinweis: Kimi K3 lief ohne Effort-Parameter (API-Default), die übrigen auf xhigh — ein fairness-relevanter Kontext für die 93 Punkte.

Infographic — What a Do-Nothing Manager Scores: Why This AI Benchmark Has a Floor at 26 — The findings at a glance — source: firmulate.com.

Firmulate zeigt, wie eine ehrliche KI-Bewertung aussehen kann: mit Boden unter den Faulen, einer harten Decke über den Unzuverlässigen — und der Erkenntnis, dass in echten Unternehmen nicht der beste Text, sondern das vollendete, vertrauenswürdige Handeln zählt.

Watch it live: firmulate.com/live · Full results: firmulate.com/benchmarks.html