KI-Anbieter bewerten: 12 Fragen

Jeder KI-Anbieter zeigt eine überzeugende Demo. Die Demo ist nicht das Produkt. Ob ein System in einem Jahr noch funktioniert oder still abgeschaltet wird, hängt von vier Dingen ab: Betrieb, Fehlerverhalten, Datenwegen und Ausstieg. Diese zwölf Fragen machen alle vier sichtbar.

So nutzen Sie diese Liste

Dieser Text soll Ihnen helfen, unabhängig davon, bei wem Sie kaufen – auch wenn nicht bei uns. Wir veröffentlichen ihn, weil das häufigste schlechte Ergebnis nicht die Wahl eines Wettbewerbers ist. Es ist eine Fehlentscheidung, eine schlechte Erfahrung und der Schluss, dass die ganze Kategorie nicht funktioniert. Das schadet allen, die ehrliche Arbeit anbieten.

Vorab zwei praktische Hinweise: Fragen Sie im direkten Gespräch statt nur schriftlich an. Geschriebene Antworten werden von sprachlich versierten Personen poliert. Mündliche Antworten zeigen echte Betriebserfahrung. Zweitens liegt der Wert im Nachfragen. Die Hauptfrage beantwortet fast jeder Anbieter. Der Unterschied zeigt sich bei der zweiten und dritten Frage zum Thema.

Zu jeder Frage zeigen wir starke sowie schwache oder ausweichende Antworten. Die schwachen Beispiele sind keine künstlichen Zerrbilder. Käufer hören sie regelmäßig, und manches klingt beruhigend, bis man genauer hinsieht.

Fragen zum Betrieb

1. Wer betreibt das System nach dem Start, und was tut diese Person jede Woche?

Stark: „Eine benannte technische Betreuungsperson für Ihr Konto. Sie prüft wöchentlich Interaktionsstichproben, ordnet Eskalationen und ihre Ursachen ein, setzt Konfigurationsänderungen um und sendet einen Bericht. Hier ist der Bericht des letzten Monats für einen anderen Kunden, ohne identifizierende Angaben.“

Schwach: „Die Plattform ist Selfservice, Sie können alles im Dashboard ändern.“ Das kann stimmen und sogar ein Vorteil sein. Die Betriebsarbeit bleibt aber bei Ihnen. Rechnen Sie sie ein. Ohne dreißig bis sechzig Minuten Betreuung pro Woche wird das System vom Bedarf abweichen. Dieses Fehlermuster beschreibt unser Beitrag, warum KI-Pilotprojekte nie in den Regelbetrieb kommen.

2. Was passiert konkret im ersten Monat nach dem Start?

Stark: Ein Ablauf mit Terminen: erst Schattenbetrieb, dann beaufsichtigt, dann autonom. Wöchentliche Prüfungen, eine benannte Ansprechperson und die klare Erwartung, dass in den ersten zwei Wochen Mängel auftauchen – denn das tun sie immer.

Schwach: „Es funktioniert einfach ab dem ersten Tag.“ Kein Einsatz mit echten Kunden läuft sofort perfekt. Wer anderes behauptet, ist unerfahren oder steuert Ihre Erwartungen statt Ihres Risikos. Das Warnzeichen ist eine fehlende geplante Prüfphase.

3. Wer gehört zum Team, und wie viele Einsätze hat es bereits betreut?

Stark: Konkrete Angaben zu Teamgröße, Rollen und produktiven Systemen. Die Bereitschaft zu sagen: „Wir sind klein. Genau diese Personen würden Ihr System betreuen.“

Schwach: Unklare Personalangaben bei gleichzeitigen Behauptungen großer Reichweite. Vier gut betreute Einsätze sind besser als vierhundert schlechte. Eine geringe Größe ist kein Problem. Ausweichendes Verhalten schon.

Fragen zu Fehlern und Eskalation

4. Zeigen Sie mir, was passiert, wenn das System die Antwort nicht kennt.

Das ist die aufschlussreichste Frage der Liste. Bestehen Sie auf einer Vorführung, nicht nur auf einer Beschreibung.

Stark: „Das System erkennt eine Überschreitung seines Aufgabenbereichs, kündigt die Übergabe klar an und verbindet eine benannte Person oder erstellt eine Aufgabe mit vollständigem Kontext und Antwortfrist. Es protokolliert den Fall zur Prüfung. Reagiert der Empfänger nicht rechtzeitig, greift dieser Ersatzweg. Hier ist eine Aufnahme davon.“

Schwach: „Das Modell ist sehr gut, es weiß fast immer Bescheid.“ Das beantwortet eine Fehlerfrage mit dem Idealfall. Meist fehlt dann ein Eskalationsplan. Ein System ohne definierten Weg zum Aufgeben improvisiert. Improvisation vor Kunden kann Vertrauen dauerhaft zerstören.

5. Was tut das System bei Unsicherheit, nicht erst bei einer falschen Antwort?

Stark: Das System unterscheidet Sicherheit beim Verstehen von Sicherheit bei der Antwort und reagiert jeweils anders. Einmal nachfragen, dann eskalieren. Niemals bei Preisen, Terminen oder anderen geschäftlich bindenden Zusagen raten.

Schwach: Keine Unterscheidung. Behandelt ein Anbieter „nicht richtig verstanden“ und „Regel nicht bekannt“ gleich, ist der Ablauf für einen der Fälle falsch.

6. Was wird Ihr System nicht tun?

Stark: Eine fertige Liste: Beschwerden, medizinische oder rechtliche Beratung und Geldstreitigkeiten gehen immer zu Menschen. Dazu abgelehnte Branchen und Zusagen, die nicht gemacht werden. Ein erfahrener Betreiber hat diese Liste, weil ihn die Praxis dazu gebracht hat.

Schwach: „Es erledigt alles.“ Das tut kein System. Die Antwort bedeutet wenig Praxiserfahrung oder bewusst verschwiegene Grenzen. Beides sollte Ihr Vertrauen senken. Offen benannte Grenzen gehören zu den wenigen schwer vorzutäuschenden Signalen in diesem Markt.

Fragen zu Daten, DSGVO und Datenstandorten

7. Wo werden unsere Daten gespeichert und verarbeitet, und wer sind Ihre weiteren Auftragsverarbeiter?

Stark: Benannte Regionen und Anbieter sowie eine Liste weiterer Auftragsverarbeiter einschließlich Modell- und Telefonieanbieter. Ein schriftlicher Vertrag nach Artikel 28 DSGVO liegt auf Anfrage vor. Internationale Übermittlungen sind klar geregelt.

Schwach: „Alles ist sicher und verschlüsselt.“ Verschlüsselung ist eine Schutzmaßnahme, keine Antwort zum Datenstandort. Ebenfalls schwach: Der Modellanbieter wird nicht genannt. Eine unsichtbare Lieferkette lässt sich nicht bewerten. Unser Beitrag DSGVO und KI-Kundenservice nennt die konkret anzufordernden Unterlagen.

8. Werden unsere Daten zum Training eigener oder fremder Modelle genutzt?

Stark: Ein eindeutiges Nein für öffentliche oder gemeinsam genutzte Modelle, belegt durch die Verträge mit den eigenen Anbietern. Wird mit Ihren Daten ein Modell zu Ihrem Nutzen angepasst, muss das ausdrücklich erklärt werden, einschließlich Isolation und Ablehnungsmöglichkeit.

Schwach: „Wir können aggregierte und anonymisierte Daten zur Verbesserung unserer Dienste nutzen.“ Das umfasst viele mögliche Praktiken und verlangt Nachfragen: Was wird wie lange gespeichert, und gehören Kundengesprächstranskripte dazu? Für Kliniken und Kanzleien ist das keine theoretische Frage.

9. Welche Aufbewahrungsregeln gelten, und wie bearbeiten wir Betroffenenanfragen?

Stark: Festgelegte, an Ihre Regeln anpassbare Fristen für Aufnahmen, Transkripte und abgeleitete Daten. Ein beschriebener Such- und Löschprozess für individuelle Anfragen. Kenntnis der Hinweispflichten bei Kommunikation mit automatisierten Systemen.

Schwach: „Wir bewahren alles unbegrenzt auf, falls Sie es brauchen.“ Unbegrenzte Speicherung ist ein Risiko, kein Vorteil, und hält einer Datenschutzprüfung nicht stand.

Fragen zur Integrationstiefe

10. In welche Systeme schreibt es, statt nur daraus zu lesen?

Die Integrationstiefe unterscheidet Assistenten von Mitarbeitern und ist der am häufigsten übertriebene Teil eines KI-Angebots.

Stark: Eine konkrete Liste: Kalenderverfügbarkeit einschließlich Puffern und Personalregeln lesen, Buchung speichern, CRM-Einträge anlegen und ändern, Transkript dem Kontakt zuordnen, Bestätigung und Erinnerung senden und Ticket schließen. Benannte Systeme und Datenrichtungen.

Schwach: „Über Zapier verbinden wir alles.“ Das kann technisch stimmen und für einfache Abläufe passen. Oberflächliche Anbindungen fallen jedoch oft unbemerkt aus und decken Ausnahmen selten ab. Fragen Sie: Muss nach der Interaktion noch ein Mensch in einem System etwas abschließen? Falls ja, laufen zwei Prozesse parallel, und irgendwann gilt einer als überflüssig. Ähnlich unterscheiden wir Sprachagent und Chatbot.

Fragen Sie auch nach Integrationsfehlern. Ein kurz nicht erreichbares Kalender-API ist normal. Richtig ist: Fehler erkennen, den Kunden ehrlich informieren, die Anfrage erfassen und nach Wiederherstellung abschließen. Falsch ist, eine nie gespeicherte Buchung zu bestätigen.

Fragen zu Messung und Berichten

11. Wie wird Erfolg gemessen, was ist der Ausgangswert und wie oft sehen wir Ergebnisse?

Stark: Eine konkrete Kennzahl mit Geschäftsbezug, ein vor dem Start erhobener Ausgangswert und regelmäßige Berichte im gleichen Format. Abdeckung, ohne Menschen abgeschlossene Fälle, Eskalationsquote mit Gründen und Ihr relevantes Ergebnis, etwa Termine oder Erstreaktionszeit.

Schwach: Kennzahlen, die nur dem Anbieter schmeicheln. „Bearbeitete Gespräche“ ist Aktivität, kein Ergebnis. Dasselbe gilt für „gesparte Stunden“, wenn sie auf selbst gewählten Annahmen beruhen. Verlangen Sie eine Zahl, die Sie bereits unabhängig erfassen.

Kann ein Anbieter keinen Ausgangswert mit Ihnen ermitteln, ist das bereits ein Befund. Lassen Sie die Vorher-Zahlen exportieren, bevor etwas aktiviert wird. Unser Kundenprojekt VEGNA beschreibt die Umsetzung. Verifizierte Leistungsberichte benötigen dagegen die zugrunde liegenden Anruf- und Buchungsdaten.

Fragen zu Preisen, Anbieterabhängigkeit und Ausstieg

12. Was deckt die Einrichtung ab, was fällt laufend an und was passiert beim Ausstieg?

Stark: Eine klare Trennung: Entwicklung umfasst Analyse, Konfiguration, Integrationen, Tests und schrittweise Einführung. Laufende Gebühren decken Überwachung, Optimierung, Berichte und Support. Nutzungskosten sind transparent enthalten oder zum Selbstkostenpreis weiterberechnet. Beim Ausstieg: benanntes Exportformat für Transkripte, Aufnahmen, Kontakte und Konfiguration, bestätigte Nummernkontrolle und Kündigungsfrist in Monaten statt Jahren.

Schwach: Eine hohe Einmalgebühr ohne laufenden Anteil. Das klingt günstiger und ist es meist nicht. Niemand finanziert die Betreuung, und nach sechs Monaten zahlen Sie erneut für Korrekturen. Ebenfalls schwach: keine direkte Exportantwort. Klären Sie den Ausstieg, solange er hypothetisch ist. Nach einem Zerwürfnis wird die Antwort schwerer zu bekommen.

Seien Sie bei Preisen gegenüber beiden Extremen skeptisch. Sehr günstig bedeutet oft nur eine dünne Konfiguration auf einer Standardplattform ohne laufende Betreuung. Sehr teuer sollte konkret begründet sein: individuelle Integration, regulierte Branchenanforderungen oder echte Eigenentwicklung. Die Kostenbausteine erläutern wir bei der Preisgestaltung einer KI-Rezeption.

Alle zwölf Fragen in einer Bewertungstabelle

Drucken Sie die Liste aus, nehmen Sie sie ins Gespräch mit und bewerten Sie jede Antwort. Neun oder mehr starke Antworten sprechen für den nächsten Schritt. Eine schwache Antwort bei Frage 4, 7 oder 12 verlangt dennoch Vorsicht: Fehlerverhalten, Datenverwaltung und Ausstieg sind Bereiche, in denen schlechte Antworten später teuer werden.

#	Frage	So klingt eine starke Antwort	So klingt eine schwache Antwort
1	Wer betreibt das System nach dem Start?	Benannte Rolle, wöchentlicher Rhythmus, Beispielbericht	„Es ist Selfservice“
2	Was passiert im ersten Monat?	Schattenbetrieb, beaufsichtigter Betrieb, autonomer Betrieb mit Prüfpunkten	„Es funktioniert ab dem ersten Tag“
3	Wer gehört zum Team?	Konkrete Teamgröße, Rollen und produktive Systeme	Vage Größenangaben, keine Namen
4	Was passiert, wenn es die Antwort nicht kennt?	Erkennen, offenlegen, mit Kontext übergeben, Ersatzweg	„Das Modell ist sehr gut“
5	Was passiert bei Unsicherheit?	Einmal nachfragen, dann eskalieren; Zusagen niemals erraten	Keine Unterscheidung zwischen falsch verstanden und unbekannt
6	Was wird es nicht tun?	Vorliegende Liste ausgeschlossener Anliegen und Branchen	„Es erledigt alles“
7	Wo liegen unsere Daten, und wer sind die weiteren Auftragsverarbeiter?	Benannte Regionen und Anbieter, Vertrag nach Artikel 28	„Es ist verschlüsselt“
8	Werden mit unseren Daten Modelle trainiert?	Klares Nein zu öffentlichen Modellen, mit Vertragsbezug	„Aggregierte und anonymisierte Verbesserungen“
9	Welche Aufbewahrungsregeln gelten?	Festgelegte, anpassbare Frist und definierter Löschprozess	„Wir bewahren alles auf“
10	In welche Systeme schreibt es?	Benannte Systeme, Schreibaktionen und Fehlerverhalten	„Es lässt sich mit allem verbinden“
11	Wie wird Erfolg gemessen?	Geschäftsergebnis, Ausgangswert vor dem Start, regelmäßiger Bericht	Aktivitätskennzahlen und vom Anbieter gewählte Annahmen
12	Was deckt die Gebühr ab, und wie steigen wir aus?	Entwicklung und Betrieb getrennt, Exportformat, Nummernkontrolle	Hohe Einmalgebühr, keine Antwort zum Ausstieg

Warnsignale außerhalb der Fragenliste

Manche Signale zeigen sich im Verhalten statt in den Antworten des Anbieters.

Die Demo ist eine Aufnahme. Verlangen Sie einen Live-Anruf vom eigenen Telefon und versuchen Sie, das System an seine Grenzen zu bringen. Unterbrechen Sie es, nennen Sie ein mehrdeutiges Datum, verlangen Sie eine Person namentlich oder sprechen Sie mit ungewohntem Akzent. Ein überzeugter Anbieter fördert das. Wer Sie zum Skript zurücklenkt, verrät damit etwas.

Keine Fragen zu Ihrem Ablauf. Wer vor dem Verständnis Ihrer Anliegenverteilung, Buchungsregeln und Eskalationskontakte einen Preis nennt, bietet eine Vorlage an. Das ist in Ordnung, wenn sie passt. Sie sollten aber wissen, was Sie kaufen.

Zeitdruck. Ein diese Woche auslaufender Rabatt ist Verkaufstechnik, keine geschäftliche Notwendigkeit. Besonders unpassend ist das in einem Markt, in dem zu schnelles Handeln bei schlecht abgegrenzten Projekten das größte Käuferrisiko ist.

Überzogene Ersetzungsversprechen. Vorsicht, wenn ein Anbieter die vollständige Ablösung Ihres Teams verspricht. Funktionierende Systeme übernehmen wiederkehrende, umfangreiche und außerhalb der Geschäftszeiten anfallende Aufgaben. Den Rest geben sie an Menschen weiter, die nun Zeit dafür haben. Wer totale Ersetzung verkauft, plant oft Übergaben unzureichend, weil er die menschliche Rolle nicht anerkennt. Ehrlicher ist die Veränderung von Tätigkeiten statt ihr Verschwinden. Dazu gibt es eine ernsthafte öffentliche Debatte, die Sie vor einer Meinungsbildung berücksichtigen sollten.

Unwillen, Nein zu sagen. Das beste Signal ist ein Anbieter, der einen ungeeigneten Prozess erkennt und erklärt, warum er nicht passt. Niemand verzichtet gern auf Umsatz. Wer das gelegentlich tut, zeigt den Wert seiner Beratung. Kommt auf jede Frage ein begeistertes Ja, sprechen Sie mit einem Verkäufer statt mit einem Betreiber.

Ein letzter Vorschlag: Lassen Sie sich eine Referenz aus ähnlicher Branche mit mindestens sechs Monaten Betrieb nennen. Fragen Sie, was im ersten Monat schiefging, wie schnell es behoben wurde und was manuell bleibt. Jeder Einsatz hat einen schwierigen ersten Monat. Wer anderes behauptet, hat vielleicht vergessen oder wurde sorgfältig ausgewählt. Entscheidend ist das Verhalten des Anbieters, wenn etwas schiefgeht – denn dass dies irgendwann passiert, ist sicher.

Häufig gestellte Fragen

Was ist die wichtigste Frage an einen KI-Anbieter?

Wer betreibt das System nach dem Start, und was geschieht konkret jede Woche? Fast jeder gescheiterte Einsatz lässt sich auf fehlende Zuständigkeit nach der Abnahme zurückführen. Ein Anbieter mit echter Antwort nennt Rolle, Rhythmus und Ergebnis. Ohne sie spricht er über Selfservice – die Arbeit bleibt also bei Ihnen.

Woran erkenne ich überzogene Versprechen eines KI-Anbieters?

Fragen Sie nach den Grenzen. Ein glaubwürdiger Anbieter kann Anliegen nennen, die immer zu Menschen gehen, Branchen, die er ablehnt, und Genauigkeitsversprechen, die er nicht gibt. Wer alles zu können behauptet, hat entweder wenig Betriebserfahrung oder verschweigt seltene reale Fälle, in denen der Großteil des Risikos steckt.

Braucht ein KI-Anbieter einen Auftragsverarbeitungsvertrag nach DSGVO?

Ja, wenn er personenbezogene Daten in Ihrem Auftrag verarbeitet, wie jedes kundenorientierte KI-System. Sie brauchen einen schriftlichen Vertrag nach Artikel 28, eine Liste weiterer Auftragsverarbeiter einschließlich Modellanbieter, eine Aufbewahrungsfrist und Angaben zu Speicherung und Übermittlung. Wer diese Unterlagen auf Anfrage nicht vorlegen kann, ist nicht bereit für einen europäischen Einsatz.

Wie vermeide ich die Abhängigkeit von einem KI-Anbieter?

Stellen Sie vor der Unterschrift drei Ausstiegsfragen: Kann ich Transkripte, Aufnahmen, Kontaktdaten und Konfiguration nutzbar exportieren, kontrolliere ich Nummern und Konten und wie lang ist die Kündigungsfrist? Die Kontrolle über Nummern und Kundendaten ist wichtiger als der Besitz von Prompts. Lassen Sie das Exportformat im Vertrag benennen, statt sich auf mündliche Zusagen zu verlassen.

Was sollte der Preis eines KI-Anbieters tatsächlich umfassen?

Rechnen Sie mit einer Entwicklungsgebühr für Bedarfsanalyse, Konfiguration, Integrationen und Einführung sowie laufenden Gebühren für Überwachung, Optimierung, Berichte und Support. Telefonminuten und Modelltokens müssen transparent ausgewiesen sein, ob enthalten oder weiterberechnet. Eine hohe Einmalgebühr ohne laufenden Anteil bedeutet oft, dass die spätere Betreuung nicht finanziert ist.

Welche Referenzen sollte ich verlangen und was sollte ich sie fragen?

Fragen Sie nach einem ähnlich großen Kunden aus einer ähnlichen Branche, der seit mindestens sechs Monaten produktiv ist. Stellen Sie drei Fragen: Was ging im ersten Monat schief, wie lange dauerte die Behebung und was wird weiterhin manuell erledigt? Das sagt mehr als ein Zufriedenheitswert, denn jeder Einsatz hat einen schwierigen ersten Monat.