Colleen McCarthyová, členka Platinového medailonu ve věrnostním programu společnosti Delta, si myslela, že už má zajištěnou letenku domů. Chtěla zrušit pouze první úsek bodovací trasy z New Yorku do Los Angeles. Zpáteční let se musel zachránit. Originál – odstranit.
Jednoduchá žádost? To je obvykle pravda.
Ale byl to Deltin AI concierge, kdo s ní mluvil, ne skutečná osoba.
AI odpověděla: “Váš let z JFK do LAX byl zrušen, ale váš let z LAX do JFK je stále rezervován.”
McCarthy tomu věřil. Viděla potvrzení.
Skutečný rezervační systém společnosti Delta však oba kroky zrušil. Vykoupila 32 400 SkyMiles, vrátila 11,20 dolaru na státních daních a řekla, že si potřebuje koupit novou jednosměrnou letenku z Los Angeles do New Yorku a vrátit se domů pomocí svých bodů.
Cena? Téměř dvojnásobek původní velikosti.
To není jen závada. Toto je vnitřní pohled na nebezpečný beta test Delta’s AI Concierge, který přebírá kontrolu nad živými rezervacemi.
“Zabezpečené” potvrzení byla lež
Podívejte se na potvrzení o vrácení peněz, které zveřejnil McCarthy.
Na účtence jsou uvedeny lety DL752 (JFK–LAX) a DL938 (LAX–JFK). Návratové číslo je „null“. Na živý beta test je to skoro poetické.
Textová zpráva, kterou obdržela, jasně naznačovala, že zpáteční let byl uložen. Systémový příjem je v rozporu s touto zprávou. AI vygenerovala (halucinovala) konkrétní výsledek, který si myslela, že klient chce, nebo její jazykový model interpretoval požadavek jako úplné zrušení, když klient zamýšlel pouze změnit trasu.
Pokud požádáte auto o změnu obousměrné cesty na jednosměrnou, cena se může změnit. Jednosměrné jízdenky jsou často dražší. Delta měla tuto cenu oznámit. Měl požádat o potvrzení.
Místo toho vrátila všechny peníze a nechala klienta v Los Angeles s digitální účtenkou, na které bylo uvedeno „bezpečné“, když backend řekl „zrušeno“.
Jak služba AI Concierge společnosti Delta skutečně funguje
Delta spustila Concierge v beta verzi v lednu 2025. Je zabudována do aplikace Fly Delta. Můžete s ní komunikovat v textovém nebo hlasovém formátu.
Počáteční verze jednoduše odpovídaly na otázky. Kde je moje taška? Jaké jsou mé výhody? Kde jsou mé elektronické kredity?
Delta pak podala AI „ruce“.
Concierge nyní může jednat. Může zrušit výlety. Může nabízet transfery během narušení jízdního řádu. V červnu marketingový ředitel Delty uvedl, že nástroje pro převod a zrušení „fungují skvěle“. Cíl? Zvýšit podíl uživatelů aplikace z 5 % na 100 %.
Systém je stále označen jako BETA (beta verze).
Kde se hroutí logika
Živý agent ví, že zpáteční letenka je jeden dokument. Nemůžete jen tak vytrhnout polovinu, aniž byste ovlivnili celou strukturu. Někdy smazání prvního úseku vyžaduje výměnu celého tiketu.
AI nerozumí “strukturě”. Vidí žádost. Spojuje to s nástrojem.
Někde v řetězci mezi jazykovým modelem a rezervačním systémem Delta (DCS) byl příkaz přeložen jako „zrušit vše“. Nebo systém zpracoval příchozí požadavek AI jako úplné zrušení. Konverzační vrstva v tuto chvíli lhala a tvrdila, že zpáteční let byl aktivní.
Je AI rozbitá? Nebo je prostě příliš dobrý na to, aby zněl sebevědomě?
Špatný živý agent zničí jeden tiket. Chybný pracovní postup AI zruinuje tisíce.
Přirozený jazyk zní autoritativně. Zní to jako zákaznický servis. Nezní to jako chyba v kódu. Ale tak to je, dokud se nepodíváte na backend.
To není novinka. Je to prostě replikovatelné.
Psal jsem o tom před více než deseti lety. Agent Delta změnil cestujícímu letenku a omylem zrušil celou elektronickou jízdenku. Zpáteční let na partnerské letecké společnosti zmizel.
Agenti United omylem zrušili budoucí milníky během nestabilních operací. Zaměstnanci společnosti Virgin Atlantic jednou bez oprávnění zrušili potvrzenou zálohu na obchod v Latinské Americe. Už tam nebylo místo. Virgin řekla, že to nemohou opravit. Náhradní lístek nakonec zaplatili, ale až po veřejném pokřiku.
Živí agenti dělají chyby. Zadávají nesprávné příkazy. Zruší místa, aniž by se ujistili, že je mohou obnovit. Podávají nesprávné informace, protože jsou unavení nebo přetížení.
AI slibuje 的一致性 (konzistenci). Slibuje rychlost. Slibuje, že bude fungovat, až se call centra zhroutí.
Ale implementace Delty je chybná. Právě teď je horší než průměrný živý agent, protože okamžitě škáluje lidské chyby na tisíce uživatelů.
Podobné chyby dělají i další letecké společnosti
American Airlines testují asistenta AI pro přesuny související s počasím. Zrušení zajišťuje AI.g společnosti Air India. Sama z Qatar Airways zpracovává konverzační rezervace.
Air Canada zkusila podobný trik. Jejich chatbot poskytl nesprávné informace. Air Canada se pokusila svalit vinu na robota. Kanadský soud tento argument odmítl. Letecká společnost je zodpovědná za to, co prodává prostřednictvím svých webových stránek, i když software udělá chybu.
Kdo je zodpovědný za selhání?
AI společnosti Delta neudělala jen chybu. Udělal chybu a pak odmítl chybu napravit.
Když McCarthy kontaktovala živou rezervační službu, bylo jí řečeno, že cestu nelze obnovit. Lístek jsem musel zaplatit dvakrát.
To je lidské selhání na konci technického řetězce. Systémy Delty vytvořily chaos. AI poskytla falešné ujištění. Pak to lidé odmítli opravit.
Je to volba nedat agentům pravomoc přepsat robota? Je to volba neztrácet čas eskalací problému?
Nebo Delta jednoduše testuje, jak daleko dokážou zatlačit zákazníky, než bude zpětná vazba příliš hlasitá?
McCarthy získala své míle zpět. Téměř.
Let? Stále zrušeno.
