Colleen McCarthy, peraih Medali Delta Platinum, mengira dia telah mengamankan perjalanan pulangnya. Dia hanya ingin membatalkan perjalanan keluar tiket penghargaan New York ke Los Angeles. Pertahankan pengembaliannya. Jatuhkan keberangkatan.
Permintaan sederhana? Biasanya ya.
Tapi dia sedang berbicara dengan Petugas AI Delta, bukan manusia.
AI menjawab: “Penerbangan JFK ke LAX Anda telah dibatalkan, dan penerbangan LAX ke JFK Anda masih dipesan.”
McCarthy memercayainya. Dia melihat konfirmasinya.
Kemudian sistem reservasi Delta yang sebenarnya membatalkan kedua legnya. Ini mendepositokan kembali 32.400 SkyMiles miliknya. Ini mengembalikan $11,20 pajak pemerintah. Dan dia diberitahu bahwa jika dia ingin pulang, dia harus memesan tiket award sekali jalan baru dari LAX ke JFK.
Biaya? Hampir dua kali lipat dari aslinya.
Ini bukan hanya sebuah kesalahan. Ini adalah sekilas pengujian beta yang berantakan dari AI Concierge Delta yang mengambil kendali berbahaya atas tiket langsung.
Konfirmasi “Aman” Adalah Sebuah Kebohongan
Lihatlah konfirmasi pengembalian dana yang diposting McCarthy.
Tanda terima mencantumkan DL752 (JFK-LAX) dan DL938 (LAX-JFK). Nomor pengembalian dana adalah “null.” Ini hampir puitis untuk versi beta langsung.
Pesan teks yang dia terima secara eksplisit menyatakan pengembaliannya tetap ada. Tanda terima sistem bertentangan dengan teks itu. AI berhalusinasi tentang hasil tertentu yang diinginkannya, atau model bahasanya menafsirkan permintaannya sebagai pembatalan penuh sementara niatnya adalah modifikasi.
Jika Anda meminta mesin untuk mengubah perjalanan pulang pergi menjadi satu arah, Anda mungkin mendapatkan harga yang berbeda. Satu arah seringkali lebih mahal. Delta seharusnya mengutip harga itu. Seharusnya meminta konfirmasi.
Sebaliknya, mereka mengembalikan semuanya dan membiarkannya terdampar di LA dengan tanda terima digital yang bertuliskan “aman” sementara di bagian belakang tertulis “dibatalkan”.
Cara Kerja AI Concierge Delta
Delta meluncurkan Concierge beta pada Januari 2025. Itu ada di dalam aplikasi Fly Delta. Anda dapat mengirim pesan teks atau berbicara dengannya.
Versi awal hanya menjawab pertanyaan. Dimana tasku? Apa keuntungan saya? Di mana eCredit saya?
Lalu Delta memberikannya tangannya.
Sekarang, Pramutamu dapat mengambil tindakan. Itu dapat membatalkan perjalanan. Ini dapat menawarkan pemesanan ulang selama gangguan. Pada bulan Juni, kepala pemasaran Delta mengatakan alat pemesanan ulang dan pembatalan “berfungsi dengan sangat baik”. Tujuannya? Mulai dari 5% pengguna aplikasi menjadi 100%.
Itu masih berlabel “BETA.”
Dimana Logikanya Rusak
Agen manusia mengetahui bahwa tiket pulang pergi adalah satu dokumen. Anda tidak bisa hanya menarik setengahnya tanpa mempengaruhi keseluruhan struktur. Terkadang, melepas bagian keluar memerlukan penukaran seluruh tiket.
AI tidak mengetahui “struktur”. Ia melihat permintaan. Ini memetakannya ke suatu alat.
Di suatu tempat dalam rantai antara model bahasa dan sistem reservasi Delta (DCS), perintah tersebut diterjemahkan sebagai “batalkan semua”. Atau sistem menganggap permintaan AI masuk sebagai kekosongan total. Lapisan percakapan kemudian berbohong, menyatakan pengembalian masih aktif.
Apakah AI-nya rusak? Atau terlalu pandai terdengar percaya diri?
Agen manusia yang buruk merusak satu tiket. Alur kerja AI yang rusak menghancurkan ribuan orang.
Bahasa alami terasa berwibawa. Rasanya seperti layanan pelanggan. Ini tidak terasa seperti kesalahan kode. Tapi itu tidak terjadi sampai Anda melihat bagian belakangnya.
Ini Bukan Hal Baru. Ini Hanya Dapat Diskalakan.
Saya menulis tentang ini lebih dari satu dekade lalu. Agen Delta menyesuaikan tiket penumpang dan secara tidak sengaja membatalkan seluruh e-tiket. Kembalinya maskapai mitra lenyap.
Agen United secara tidak sengaja membatalkan segmen masa depan selama operasi tidak teratur. Staf Virgin Atlantic pernah membatalkan penghargaan bisnis LATAM yang telah dikonfirmasi tanpa izin. Ruang itu hilang. Virgin bilang itu tidak bisa memperbaikinya. Akhirnya, mereka membayar tiket pengganti, tetapi hanya setelah terjadi kekacauan umum.
Agen manusia salah paham. Mereka memasukkan perintah yang salah. Mereka membatalkan ruang sebelum memastikan bahwa mereka dapat membangunnya kembali. Mereka memberikan informasi yang salah karena lelah atau terlalu banyak bekerja.
AI menjanjikan konsistensi. Ini menjanjikan kecepatan. Ini menjanjikan untuk bekerja ketika pusat panggilan runtuh.
Namun penerapan Delta memiliki kelemahan. Saat ini, ini lebih buruk daripada agen manusia median karena ia mengukur kesalahan manusia pada ribuan pengguna secara instan.
Maskapai Lain Melakukan Kesalahan Serupa
American Airlines telah menguji asisten AI untuk pemesanan ulang cuaca. “AI.g” Air India menangani pembatalan. “Sama” Qatar Airways melakukan pemesanan percakapan.
Air Canada mencoba aksi serupa. Chatbot mereka memberikan info yang salah. Air Canada mencoba mengalihkan kesalahan ke bot tersebut. Pengadilan Kanada menolak argumen tersebut. Maskapai ini bertanggung jawab atas apa yang dijualnya melalui situs webnya, meskipun ada bug perangkat lunak yang menulisnya.
Siapa Pemilik Kegagalan?
AI Delta tidak hanya melakukan kesalahan. Ia membuat kesalahan dan kemudian menolak untuk memperbaikinya.
Ketika McCarthy menghubungi reservasi langsung, mereka mengatakan kepadanya bahwa mereka tidak dapat memulihkan perjalanan tersebut. Mereka menuntut dia membayar dua kali lipat.
Ini adalah kegagalan manusia di akhir rantai teknis. Sistem Delta menimbulkan kekacauan. AI memberikan kenyamanan palsu. Kemudian manusia menolak untuk memperbaikinya.
Apakah ini merupakan pilihan untuk tidak memberdayakan agen untuk mengganti bot? Apakah ini merupakan pilihan untuk tidak membuang-buang waktu?
Atau apakah Delta hanya menguji seberapa jauh mereka dapat mendorong pelanggan sebelum reaksi baliknya menjadi terlalu keras?
McCarthy berhasil mengembalikannya. Hampir tidak.
Penerbangannya? Masih dibatalkan.
