Warum die meisten KI-Projekte im Mittelstand scheitern

Die Zahlen sind brutal — aber sie erklären, woran es liegt

Fangen wir mit der Statistik an, die gerade durch jede Vorstandsetage geht. Eine viel zitierte MIT-Studie aus dem Jahr 2025 („The GenAI Divide: State of AI in Business") kam zu dem Ergebnis, dass rund 95 % der generativen KI-Pilotprojekte in Unternehmen keinen messbaren Effekt auf Gewinn und Verlust liefern — basierend auf 150 Interviews mit Führungskräften, einer Befragung von 350 Mitarbeitenden und der Analyse von 300 öffentlichen KI-Einführungen.

Der entscheidende Punkt: Die Autoren machen nicht die Qualität der KI-Modelle verantwortlich. Der Hauptgrund ist eine mangelhafte Integration in die echten Arbeitsabläufe — eine „Lernlücke" zwischen Werkzeug und Organisation. Generische Tools wie ChatGPT funktionieren brillant für den einzelnen Nutzer, weil sie flexibel sind. Im Unternehmen bleiben sie stecken, weil sie sich nicht an den konkreten Prozess anpassen und nichts dazulernen.

Gartner kommt aus einer anderen Richtung zu einem ähnlichen Bild: Mehr als die Hälfte der GenAI-Projekte scheitert, und über 40 % der sogenannten „agentic AI"-Projekte werden laut Prognose bis Ende 2027 wieder eingestellt — wegen ausufernder Kosten, unklarem Geschäftswert und fehlenden Kontrollen. Viele dieser Projekte sind, in Gartners Worten, frühe Experimente, die vom Hype getrieben und oft falsch angewendet werden.

Das ist keine Anti-KI-Botschaft. Es ist eine Anti-Bastelei-Botschaft. Die wenigen, die es schaffen, machen etwas systematisch anders. Schauen wir uns an, was.

Grund 1: Das Projekt löst kein Problem, das wehtut

Der häufigste Fehler passiert, bevor eine einzige Zeile gebaut wird. Jemand liest über KI, ist begeistert, und die Frage lautet plötzlich: „Wo könnten wir KI einsetzen?" Das ist die falsche Reihenfolge. Du suchst nach einer Verwendung für ein Werkzeug, statt nach einem Werkzeug für ein Problem.

Im Mittelstand sieht das dann so aus: ein Chatbot auf der Website, den niemand vermisst hätte. Eine „KI-Wissensdatenbank", die drei Wochen lang befüllt und dann vergessen wird. Ein Tool, das 5 % Zeitersparnis bei einer Aufgabe bringt, die ohnehin nur zweimal im Monat anfällt.

Frag dich stattdessen knallhart: Welcher Engpass kostet uns gerade messbar Geld oder Aufträge? Bei den meisten Mehrstandort-Dienstleistern, Handwerks-Holdings und Gebäudedienstleistern, mit denen wir arbeiten, ist die Antwort verblüffend ähnlich:

• Anfragen brauchen zwei bis fünf Tage bis zum fertigen Angebot — und gehen an den schnelleren Wettbewerber.
• Das Telefon wird zu 60–75 % angenommen, der Rest landet bei der Konkurrenz.
• Belege und Stundenzettel werden tagelang von Hand übertragen, fehlerbehaftet und verzögert.
• Eine neue Bürokraft braucht vier bis acht Wochen Einarbeitung, weil das Wissen in den Köpfen steckt.

Das sind Probleme mit einem Eurobetrag dahinter. Wenn du KI auf so einen Engpass ansetzt, hast du am Ende eine Zahl, die du verteidigen kannst. Wenn du KI auf „mal schauen, was geht" ansetzt, hast du am Ende ein totes Projekt. Welche Reihenfolge dabei wirklich trägt, haben wir in diesem Beitrag zur richtigen Automatisierungs-Reihenfolge ausführlicher zerlegt.

Grund 2: Die Demo-Falle — beeindruckend im Meeting, nutzlos im Alltag

Es gibt einen Moment, der fast jedes gescheiterte Projekt verbindet: die geniale Demo. Im Workshop läuft alles glatt, alle nicken, das Budget wird freigegeben. Dann beginnt die eigentliche Arbeit — die Anbindung an dein CRM, deine E-Mail-Postfächer, deine Buchhaltung, deine Sonderfälle — und genau hier stirbt das Projekt einen langsamen Tod.

Ein Proof of Concept beweist, dass etwas theoretisch funktioniert. Er beweist nicht, dass es in deinem Betrieb mit deinen echten Daten und deinen echten Ausnahmen läuft. Genau diese „letzte Meile" der Integration ist laut MIT-Studie der eigentliche Killer. Eine Demo auf aufgeräumten Beispieldaten ist ungefähr so aussagekräftig wie eine Probefahrt auf einem leeren Parkplatz.

Unsere Konsequenz daraus ist ein simples Prinzip: Produktion vor Proof-of-Concept. Statt einer Folienpräsentation oder eines Spielzeug-Prototyps bauen wir von Anfang an einen abgegrenzten Ablauf, der auf deinen echten Daten live läuft — und ihn dann am Ende auch wirklich übergeben. Wenn ein Anbieter dir eine schicke Demo zeigt, aber keine klare Antwort hat, wie das Ding an deine bestehenden Systeme andockt, ist das das wichtigste Warnsignal überhaupt.

Grund 3: Daten, Schnittstellen und das ungeliebte Kleingedruckte

KI ist nur so gut wie das, womit du sie fütterst. Im Mittelstand liegen Daten verstreut: ein bisschen im ERP, viel in Excel-Listen, Entscheidendes in E-Mail-Verläufen und im Kopf der Kollegin, die seit 15 Jahren dabei ist. Gartner nennt schlechte Datenqualität nicht ohne Grund als einen der zentralen Gründe fürs Scheitern — sie betrifft jede Abteilung, die KI nutzen will.

Die gute Nachricht: Du musst nicht erst zwei Jahre lang ein perfektes Data-Warehouse bauen, bevor du anfängst. Das ist sogar einer der Wege, auf denen KI-Projekte ebenfalls scheitern — durch endlose Vorbereitung, die nie in Produktion geht. Der pragmatische Weg ist, den Datenbedarf auf einen Use-Case zu begrenzen. Für ein automatisiertes Angebot brauchst du nicht alle Unternehmensdaten sauber — du brauchst die Anfragen, die Preislogik und die Angebotsvorlagen sauber. Das ist ein überschaubares Paket.

Zwei Dinge, die im Mittelstand zusätzlich unterschätzt werden:

1. Datenschutz und Datenhoheit. Gerade bei Kundendaten und Personaldaten ist die Frage, wo die Daten verarbeitet werden, kein Nebenaspekt. Wenn die Verarbeitung in Deutschland bzw. der EU bleibt, sparst du dir später schwierige Diskussionen mit Betriebsrat, Datenschutzbeauftragtem und Kunden.
2. Schnittstellen-Realität. Ältere Branchensoftware hat manchmal keine moderne API. Das ist lösbar, aber es muss vor dem Projekt geklärt sein — nicht in Woche sieben als böse Überraschung.

Grund 4: Niemand ist verantwortlich, und niemand misst

Das letzte Muster ist organisatorisch. Ein Tool wird eingeführt, aber niemand im Betrieb fühlt sich dafür zuständig, dass es auch benutzt wird. Es gibt keine vereinbarte Kennzahl, gegen die man Erfolg oder Misserfolg messen könnte. Und wenn der erste Sonderfall auftaucht, fällt das Team in den alten, vertrauten Ablauf zurück. Drei Wochen später ist das Tool ein teurer Karteileichnam.

Erfolgreiche Projekte machen hier drei Dinge anders:

• Sie definieren die Messlatte vorher. Nicht „KI einführen", sondern „Zeit von Anfrage bis fertigem Angebot von drei Tagen auf unter zwei Stunden". Eine Zahl, die du am Ende prüfst.
• Sie haben einen menschlichen Eigentümer. Jemand, dessen Job es ist, dass das System läuft, gepflegt und erweitert wird. Übrigens: Gartner sieht im aktuellen Hype-Tal gerade deshalb den Menschen als unverzichtbar — autonome Systeme ohne Aufsicht sind ein wesentlicher Grund für die hohen Abbruchquoten.
• Sie planen die Übergabe und Einweisung ein, statt das Tool über den Zaun zu werfen. Wenn dein Team nicht versteht, wann es der KI vertrauen kann und wann nicht, wird es ihr gar nicht erst vertrauen.

Genau deshalb endet ein gut gebautes Projekt nicht mit der Auslieferung, sondern braucht eine Phase der Begleitung — die Frage, welche Büro-Prozesse als Nächstes dran sind, stellt sich erst, wenn der erste sauber läuft.

Wie du in die 5 % kommst: der schmale, langweilige Pfad

Die Unternehmen, die mit KI tatsächlich Geld verdienen, machen laut MIT-Studie etwas Unspektakuläres: Sie picken einen einzigen Schmerzpunkt, setzen ihn sauber um und arbeiten eng mit den richtigen Partnern zusammen. Kein Big Bang, keine zwölf parallelen Initiativen. Übersetzt in einen konkreten Fahrplan für deinen Betrieb:

1. Ein Use-Case, end-to-end. Such dir den teuersten Engpass und nur den. Für die meisten Service-Mittelständler ist das die automatische Angebotserstellung oder die Einarbeitung neuer Bürokräfte — hoher Schmerz, niedriges Risiko. Ein Voice-Agent fürs Telefon ist mächtig, aber anspruchsvoller; den hebst du dir auf, bis das erste System läuft.
2. Auf echten Daten bauen, nicht auf Folien. Verlange, dass am Ende der Pilotphase ein realer Ablauf live läuft — gemessen gegen die Zahl, die ihr vorher vereinbart habt.
3. Festen Rahmen setzen. Klarer Zeitrahmen (Wochen, nicht Quartale), Festpreis statt offenes Stundenbudget, definierte Abnahme. Das diszipliniert beide Seiten und verhindert das Ausufern, das Gartner als Kostengrund nennt.
4. Klein anfangen, dann erweitern. Wenn der erste Prozess sauber läuft und die Zahlen stimmen, nimmst du den nächsten. So entsteht über Monate ein automatisiertes Büro — und kein Friedhof halbfertiger Experimente.

Wenn du erst sehen willst, dass es bei dir funktioniert, bevor du in ein größeres Projekt gehst, ist ein kleiner, abgegrenzter Test auf deinen eigenen Daten der ehrlichste Einstieg. Lieber ein winziger Ablauf, der nachweislich live läuft, als eine große Präsentation, die nichts beweist. Wie so ein Einstieg in den ersten 30 Tagen aussehen kann, beschreibt unser pragmatischer 30-Tage-Fahrplan Schritt für Schritt.

Die unbequeme Wahrheit ist: KI-Projekte scheitern selten an der KI. Sie scheitern an unklaren Problemen, hübschen Demos ohne Substanz, vernachlässigten Daten und fehlender Verantwortung. Das sind alles Dinge, die du kontrollieren kannst — bevor du das erste Mal „los geht's" sagst.