Ako posúdiť dodávateľa AI: 12 otázok

Každý dodávateľ AI vie predviesť dobrú ukážku. Ukážka však nie je produkt. Rozdiel medzi systémom fungujúcim aj o rok a potichu vypnutým riešením určujú štyri veci: kto ho prevádzkuje, ako zlyháva, kam idú údaje a čo sa stane pri odchode. Týchto dvanásť otázok ich odhalí.

Ako používať tento zoznam

Text má pomôcť bez ohľadu na to, od koho kupujete, aj keď to nebudeme my. Zverejňujeme ho, pretože najhorší bežný výsledok nie je výber konkurenta. Je to zlý výber, zlá skúsenosť a záver, že nefunguje celá kategória. To škodí všetkým, ktorí ponúkajú poctivú prácu.

Pred otázkami dve praktické poznámky. Pýtajte sa naživo, nie iba v písomnom dopyte. Písomné odpovede uhladí dobrý autor. Ústne odhalia, či človek pred vami skutočne prevádzkoval ostrý systém. Druhá vec: hodnota je v doplňujúcich otázkach. Základnú odpoveď zvládne skoro každý dodávateľ. Rozdiel sa ukáže pri druhej a tretej otázke v danej oblasti.

Pri každej otázke uvádzame príklad silnej aj slabej či vyhýbavej odpovede. Slabé odpovede nie sú umelo vykonštruované. Kupujúci ich počúvajú pravidelne a niektoré pôsobia upokojujúco, kým sa na ne nepozriete bližšie.

Otázky o prevádzke systému

1. Kto prevádzkuje systém po spustení a čo robí každý týždeň?

Silná: „Konkrétny technik pridelený k vášmu účtu. Každý týždeň skontroluje vzorku interakcií, vytriedi odovzdané prípady, určí dôvody každého z nich, upraví nastavenia a pošle vám report. Tu je minulomesačný report iného klienta s odstránenými identifikačnými údajmi.“

Slabá: „Platforma je samoobslužná, všetko si upravíte v ovládacom paneli.“ Môže to byť pravda aj výhoda, no prevádzková práca zostáva vám. Započítajte ju do ceny. Ak na ňu nikto nevyhradí tridsať až šesťdesiat minút týždenne, systém sa bude postupne rozchádzať s potrebami. Tento typ zlyhania opisuje článok prečo sa pilotné AI projekty nikdy nedostanú do ostrej prevádzky.

2. Čo presne sa deje počas prvého mesiaca po spustení?

Silná: Konkrétny postup s dátumami: najprv tieňová prevádzka, potom dohľad a až následne samostatný chod. Týždenné kontroly, určená kontaktná osoba a jasné očakávanie, že prvé dva týždne odhalia chyby, pretože ich odhalia vždy.

Slabá: „Funguje to od prvého dňa.“ Žiadne nasadenie so skutočnými zákazníkmi nefunguje hneď dokonale. Kto tvrdí opak, buď nemá skúsenosti, alebo riadi vaše očakávania namiesto rizika. Prezradí ho chýbajúce obdobie plánovanej kontroly.

3. Kto je v tíme a koľko nasadení už prevádzkoval?

Silná: Konkrétne odpovede o veľkosti tímu, rolách a počte nasadených systémov. Ochota povedať: „Sme malí a presne títo ľudia by sa venovali vášmu systému.“

Slabá: Nejasný počet ľudí spolu s tvrdeniami o veľkom rozsahu. Dodávateľ, ktorý dobre zvládol štyri nasadenia, je lepšia voľba než ten, ktorý zle zvládol štyristo. Malá veľkosť nie je problém. Vyhýbavosť áno.

Otázky o zlyhaniach a odovzdaní človeku

4. Ukážte mi, čo sa stane, keď systém nepozná odpoveď.

Toto je najvýpovednejšia otázka zo zoznamu. Trvajte na predvedení, nie na opise.

Silná: „Systém rozpozná prekročenie rozsahu, jasne oznámi odovzdanie a prepojí konkrétnu osobu alebo vytvorí úlohu s úplným kontextom a lehotou odpovede. Prípad zaznamená na kontrolu. Ak príjemca v lehote nereaguje, spustí sa tento náhradný postup. Tu je nahrávka, ako to prebehlo.“

Slabá: „Model je veľmi dobrý, takmer vždy odpoveď pozná.“ Na otázku o zlyhaní odpovedá opisom ideálneho priebehu. Zvyčajne to znamená, že chýba navrhnutý postup odovzdania. Systém bez spôsobu, ako priznať hranicu, bude improvizovať. A improvizácia pred zákazníkom môže natrvalo zničiť dôveru.

5. Čo systém robí, keď si nie je istý, nie keď sa už mýli?

Silná: Rozlišuje istotu porozumenia od istoty odpovede a pre každú má iný postup. Raz sa spýta znova a potom odovzdá človeku. Nikdy neháda údaje, ktoré zaväzujú firmu, napríklad cenu, dátum či sľub.

Slabá: Nerozlišuje vôbec. Ak dodávateľ rovnako rieši „zle som počul“ a „nepoznám pravidlo“, pri jednej z týchto situácií bude postup chybný.

6. Čo váš systém nebude robiť?

Silná: Pripravený zoznam: sťažnosti, zdravotné a právne rady či finančné spory vždy človeku. Odmietané odvetvia a tvrdenia, ktoré nedáva. Dodávateľ so skutočnou prevádzkovou praxou taký zoznam má, pretože ho naučila realita.

Slabá: „Zvládne všetko.“ Nezvládne to žiadny systém. Odpoveď znamená málo skúseností s ostrou prevádzkou alebo zamlčanie hraníc. Oboje znižuje dôveru. Ochota pomenovať vlastné hranice je jedným z mála signálov, ktoré sa na tomto trhu ťažko predstierajú.

Otázky o údajoch, GDPR a ich umiestnení

7. Kde sa údaje ukladajú a spracúvajú a kto sú ďalší sprostredkovatelia?

Silná: Konkrétne regióny, poskytovatelia a zoznam ďalších sprostredkovateľov vrátane modelov a telefónie. Na požiadanie dostupná písomná zmluva podľa článku 28 GDPR. Jasné stanovisko k medzinárodným prenosom.

Slabá: „Všetko je bezpečné a šifrované.“ Šifrovanie je ochranné opatrenie, nie odpoveď na otázku umiestnenia údajov. Slabá je aj neschopnosť uviesť poskytovateľa modelu. Neviditeľný dodávateľský reťazec nemožno posúdiť. Článok GDPR a AI zákaznícka podpora uvádza konkrétne dokumenty, ktoré si treba vyžiadať.

8. Používajú sa naše údaje na trénovanie našich či cudzích modelov?

Silná: Jednoznačné nie pre verejné či zdieľané modely, podložené zmluvami dodávateľa s jeho poskytovateľmi. Ak vaše údaje dolaďujú model pre váš prospech, musí to byť výslovne uvedené, s vysvetlením oddelenia a možnosťou odmietnuť.

Slabá: „Na zlepšovanie služieb môžeme používať súhrnné a anonymizované údaje.“ To môže označovať veľa postupov a vyžaduje doplňujúce otázky. Čo presne zostáva uložené, ako dlho a zahŕňa to prepisy zákazníckych rozhovorov? Pre kliniku či advokátsku kanceláriu nejde o teóriu.

9. Aké sú pravidlá uchovávania a vybavovania žiadostí dotknutých osôb?

Silná: Určená lehota pre nahrávky, prepisy a odvodené záznamy, nastaviteľná podľa vašich pravidiel. Opísaný postup vyhľadania a vymazania údajov človeka na požiadanie. Znalosť oznamovacích povinností pri komunikácii s automatizovaným systémom.

Slabá: „Všetko uchovávame navždy, keby ste to potrebovali.“ Neobmedzené uchovávanie je riziko, nie výhoda, a kontrolou ochrany údajov neprejde.

Otázky o hĺbke integrácie

10. Do ktorých systémov zapisuje, nielen z nich číta?

Hĺbka integrácie odlišuje asistenta od pracovníka a zároveň je najčastejšie zveličovanou časťou AI ponúk.

Silná: Konkrétny zoznam: číta voľné termíny vrátane rezerv a personálnych pravidiel, uloží rezerváciu, vytvorí a aktualizuje CRM záznam, priradí prepis ku kontaktu, odošle potvrdenie a pripomienku a uzavrie požiadavku. Konkrétne systémy a smery prenosu.

Slabá: „Cez Zapier sa prepojíme so všetkým.“ Technicky to môže byť pravda a pri jednoduchom postupe aj správna voľba. Povrchné prepojenia však často zlyhajú potichu a neriešia výnimky. Spýtajte sa: musí po vybavení interakcie ešte človek niečo dokončiť v inom systéme? Ak áno, prevádzkujete dva súbežné procesy a jeden bude časom označený za zbytočný. Podobný rozdiel opisujeme pri hlasovom agentovi a chatbotovi.

Pýtajte sa aj na zlyhanie integrácie. Krátky výpadok kalendárového API je bežný. Správny postup je výpadok zistiť, otvorene o ňom informovať zákazníka, zaznamenať požiadavku a vybaviť ju po obnove. Nesprávny postup je potvrdiť rezerváciu, ktorá sa nikdy neuložila.

Otázky o meraní a reportingu

11. Ako meriame úspech, aký je východiskový stav a ako často vidíme výsledky?

Silná: Konkrétna metrika previazaná s obchodným výsledkom, východiskový stav zachytený pred spustením a pravidelný report v rovnakom formáte. Pokrytie, podiel vybavený bez človeka, odovzdania s dôvodmi a váš dôležitý výsledok, napríklad rezervované termíny či čas prvej odpovede.

Slabá: Metriky, ktoré iba lichotia dodávateľovi. „Počet vybavených rozhovorov“ je aktivita, nie výsledok. Rovnako „ušetrené hodiny“, ak vychádzajú z predpokladu zvoleného dodávateľom. Žiadajte číslo, ktoré už nezávisle sledujete.

Ak dodávateľ nevie pomôcť určiť východiskový stav, aj to je zistenie. Pred zapnutím čohokoľvek si vyžiadajte export pôvodných čísel. Náš klientsky projekt VEGNA opisuje vytvorené riešenie. Overený reporting výkonu však potrebuje samotné záznamy hovorov a rezervácií.

Otázky o cene, závislosti od dodávateľa a odchode

12. Čo zahŕňa zriaďovací poplatok, čo platíme priebežne a čo sa stane pri odchode?

Silná: Jasné rozdelenie. Poplatok za vytvorenie zahŕňa analýzu, nastavenie, integrácie, testy a postupné zavedenie. Priebežná platba pokrýva monitorovanie, dolaďovanie, reporting a podporu. Minúty telefónie a iné náklady sú transparentné, v balíku alebo preúčtované za nákupnú cenu. Pri odchode je určený formát exportu prepisov, nahrávok, kontaktov a konfigurácie, potvrdená vaša kontrola nad číslami a výpovedná lehota v mesiacoch, nie rokoch.

Slabá: Vysoký jednorazový poplatok bez priebežnej zložky. Vyzerá lacnejšie, no zvyčajne nie je. Nikto nemá zaplatenú údržbu a o šesť mesiacov zaplatíte za nápravu odchýlok znova. Slabá je aj nepriama odpoveď na export. Pýtajte sa na odchod, kým je hypotetický. Po zhoršení vzťahov sa odpoveď získava ťažšie.

Pri cenách všeobecne buďte obozretní voči obom extrémom. Veľmi lacné riešenie býva iba vrstvou nastavení na všeobecnej platforme bez človeka na prevádzku. Vysokú cenu má vysvetľovať konkrétna hodnota: integrácie na mieru, požiadavky regulovaného odvetvia či skutočný vývoj. Náklady jednotlivých častí rozpisujeme v článku o cenách AI recepčnej.

Hodnotiaca tabuľka všetkých dvanástich otázok

Zoznam si vytlačte, vezmite na hovor a označte každú odpoveď. Pri deviatich či viacerých silných odpovediach má zmysel pokračovať. Slabú odpoveď na otázku 4, 7 alebo 12 však berte vážne bez ohľadu na zvyšok. Týkajú sa zlyhaní, správy údajov a odchodu, teda oblastí, v ktorých sa zlá odpoveď neskôr draho odhaľuje.

#	Otázka	Ako znie silná odpoveď	Ako znie slabá odpoveď
1	Kto systém prevádzkuje po spustení?	Konkrétna rola, týždenný rytmus a vzorový report	„Je to samoobslužné“
2	Čo sa deje v prvom mesiaci?	Tieňová prevádzka, dohľad a samostatná prevádzka s kontrolnými bodmi	„Funguje od prvého dňa“
3	Kto je v tíme?	Konkrétny počet ľudí, roly a počet nasadených systémov	Nejasné tvrdenia o rozsahu, žiadne mená
4	Čo sa stane, keď nepozná odpoveď?	Odhalenie, oznámenie, odovzdanie so súvislosťami a náhradný postup	„Model je veľmi dobrý“
5	Čo sa stane pri neistote?	Raz sa spýtať znova, potom odovzdať človeku; nikdy nehádať záväzný údaj	Žiadny rozdiel medzi zle zachyteným a neznámym
6	Čo nebude robiť?	Pripravený zoznam vylúčených požiadaviek a odvetví	„Zvládne všetko“
7	Kde sú naše údaje a kto sú ďalší sprostredkovatelia?	Konkrétne regióny a poskytovatelia, zmluva podľa článku 28	„Je to šifrované“
8	Trénujú sa na našich údajoch modely?	Výslovné nie pre verejné modely s odkazom na zmluvné podmienky	„Súhrnné a anonymizované zlepšenia“
9	Aké sú pravidlá uchovávania?	Určená nastaviteľná lehota a jasný postup vymazania	„Uchovávame všetko“
10	Do čoho zapisuje?	Konkrétne systémy, zápisové akcie a správanie pri zlyhaní	„Prepojí sa so všetkým“
11	Ako sa meria úspech?	Obchodný výsledok, východiskový stav pred spustením a pravidelný report	Metriky aktivity a predpoklady zvolené dodávateľom
12	Čo zahŕňa poplatok a ako odídeme?	Oddelené vytvorenie a prevádzka, formát exportu a kontrola nad číslami	Vysoký jednorazový poplatok, žiadna odpoveď o odchode

Varovné signály mimo zoznamu otázok

Niektoré signály sa prejavia v správaní dodávateľa, nie v jeho odpovediach.

Ukážka je nahrávka. Žiadajte živý telefonát z vlastného telefónu a skúste systém dostať do problémov. Prerušujte ho. Uveďte nejednoznačný dátum. Žiadajte človeka menom. Hovorte neočakávaným prízvukom. Sebavedomý dodávateľ vás podporí. Ten, ktorý vás vracia k pripravenému scenáru, tým niečo prezrádza.

Žiadne otázky o vašom procese. Dodávateľ, ktorý nacení riešenie bez poznania typov požiadaviek, pravidiel rezervácií a kontaktov na odovzdanie, naceňuje šablónu. Ak sa vám hodí, je to v poriadku. Musíte však vedieť, čo kupujete.

Tlak na čas. Zľava končiaca tento týždeň je predajná technika, nie obchodná nevyhnutnosť. Na trhu, kde je hlavným rizikom priveľmi rýchle rozhodnutie o zle vymedzenom projekte, je obzvlášť nevhodná.

Prehnané sľuby nahradenia tímu. Pozor na dodávateľa, ktorý sľubuje úplnú náhradu ľudí. Fungujúce systémy v praxi preberajú opakovanú agendu, veľký objem a čas mimo pracovných hodín. Zvyšok smerujú k ľuďom, ktorí naň získajú čas. Prehnané sľuby náhrady často sprevádza slabý postup odovzdania, pretože jeho význam treba najprv uznať. Poctivejšie je hovoriť o zmene náplne rolí než ich zmiznutí. K téme prebieha vážna verejná diskusia, ktorú sa pred vytvorením názoru oplatí počúvať.

Neochota povedať nie. Najlepší signál je dodávateľ, ktorý povie, že sa váš proces nehodí, a vysvetlí prečo. Nikto rád neprichádza o príjem. Kto to občas urobí, ukazuje hodnotu svojho poradenstva. Ak na všetko dostávate nadšené áno, hovoríte s predajcom, nie s človekom z prevádzky.

Ešte jeden návrh: vyžiadajte si referenciu z podobného odvetvia s aspoň šiestimi mesiacmi prevádzky. Spýtajte sa, čo sa pokazilo v prvom mesiaci, ako rýchlo to opravili a čo stále robia ručne. Každé nasadenie má náročný prvý mesiac. Kto tvrdí opak, možno zabudol alebo bol starostlivo vybraný. Užitočné je vedieť, ako dodávateľ reagoval, keď sa niečo pokazilo. Že sa to raz stane, je totiž isté.

Často kladené otázky

Aká je najdôležitejšia otázka pre dodávateľa AI?

Kto systém prevádzkuje po spustení a čo konkrétne robí každý týždeň? Takmer každý neúspešný projekt vedie k chýbajúcej zodpovednosti po schválení vytvoreného riešenia. Dodávateľ so skutočnou odpoveďou pomenuje rolu, pravidelnosť a výstup. Bez nej bude hovoriť o samoobslužnej platforme, teda o práci, ktorá zostane vám.

Ako spoznám, že dodávateľ AI sľubuje priveľa?

Pýtajte sa, čo systém neurobí. Dôveryhodný dodávateľ má zoznam požiadaviek odovzdávaných človeku, odmietaných odvetví a sľubov o presnosti, ktoré nedáva. Kto tvrdí, že systém zvládne všetko, buď nemá skúsenosti s väčšou prevádzkou, alebo zatajuje správanie pri okrajových prípadoch. Práve tam je väčšina rizika.

Potrebuje dodávateľ AI zmluvu o spracúvaní údajov podľa GDPR?

Áno, ak spracúva osobné údaje vo vašom mene, čo robí každý zákaznícky AI systém. Potrebujete písomnú zmluvu podľa článku 28, zoznam ďalších sprostredkovateľov vrátane poskytovateľov modelov, lehotu uchovávania a potvrdenie miest uloženia a prenosu. Kto tieto podklady nevie na požiadanie poskytnúť, nie je pripravený na nasadenie v Európe.

Ako sa vyhnem závislosti od dodávateľa AI?

Pred podpisom položte tri otázky o odchode: môžem exportovať prepisy, nahrávky, kontakty a nastavenia v použiteľnom formáte, mám kontrolu nad číslami a účtami a aká je výpovedná lehota? Kontrola nad číslami a zákazníckymi údajmi je oveľa dôležitejšia než vlastníctvo promptov. Formát exportu nech je v zmluve, nie iba ústnym sľubom.

Čo má cena dodávateľa AI skutočne zahŕňať?

Počítajte s poplatkom za analýzu potrieb, nastavenie, integrácie a zavedenie aj s priebežnou platbou za monitorovanie, dolaďovanie, reporting a podporu. Náklady na telefónne minúty či tokeny modelu musia byť transparentné, či už sú v balíku, alebo sa preúčtúvajú. Vysoká jednorazová suma bez priebežnej zložky často znamená, že nikto nemá zaplatenú následnú údržbu.

Aké referencie si vyžiadať a na čo sa ich pýtať?

Vyžiadajte si kontakt na podobne veľkého klienta z príbuzného odvetvia, ktorý riešenie používa aspoň šesť mesiacov. Pýtajte sa na tri veci: čo sa pokazilo v prvom mesiaci, ako dlho trvala oprava a čo stále robia ručne. Tieto odpovede povedia viac než skóre spokojnosti, pretože každé nasadenie má náročný prvý mesiac.