Sebuah bank mengirim pesan peringatan penipuan kepada nasabahnya. Pesan itu seharusnya dikirim otomatis oleh agen AI. Namun pesan tersebut tidak pernah terkirim.
Kejadian seperti ini tidak lagi langka. Survei Sinch terhadap lebih dari 500 pemimpin jasa keuangan di 10 wilayah menunjukkan 61% organisasi sudah menjalankan agen AI untuk komunikasi. Sebanyak 52% mengaku sangat percaya diri dengan kesiapan mereka.
Meski begitu, sekitar 7 dari 10 organisasi yang sudah memakai AI pernah menarik kembali sistemnya setidaknya sekali. Pertanyaannya: jika institusi keuangan sudah menggunakan AI secara mandiri, mengapa masalah tetap muncul?
Adopsi Tinggi, Hasil Belum Merata
Angka di atas bukan satu-satunya sinyal. Riset Accenture yang dikutip The Financial Brand menunjukkan pola serupa di sektor perbankan.
Sebanyak 84% pemimpin bank melihat nilai bisnis dari AI yang mereka pasang, minimal pada tingkat sedang. Namun hanya 20% yang mengatakan investasinya memberi nilai luas dan berkelanjutan.
Artinya, AI memang dipakai dan memang berguna. Tetapi manfaatnya sering berhenti di titik tertentu, atau malah berbalik menjadi masalah.
Untuk memahami alasannya, kita akan membedah tiga sumber. Masing-masing menyoroti lapisan yang berbeda: infrastruktur, proses kerja, dan tata kelola.
Kasus 1: Tata Kelola Sudah Diperketat, Penarikan Tetap Terjadi
Sektor keuangan bergerak hati-hati. Menurut Sinch, hampir sepertiga pemimpin keuangan menyebut kepatuhan dan aspek hukum sebagai hambatan utama penerapan AI. Karena itu, banyak institusi berinvestasi besar pada tata kelola.
Investasi itu memang berdampak. Setiap kenaikan tingkat kematangan pagar pengaman (guardrail) membuat institusi dua kali lebih mungkin mencapai level penerapan tertinggi.
Namun penarikan kembali tetap terjadi, bahkan lebih sering pada organisasi dengan tata kelola paling ketat. Penyebab terbanyaknya adalah paparan data pelanggan (27%) dan halusinasi AI (21%). Contohnya, agen yang menampilkan detail rekening kepada orang yang salah, atau menyebut saldo dan suku bunga KPR yang keliru.
Sinch juga mencatat satu hal penting. Angka penarikan yang rendah belum tentu berarti AI berjalan baik. Bisa jadi pemantauannya yang kurang.
Jawaban Mereka: Menengok Lapisan di Bawah AI
Sinch menemukan bahwa kepuasan terhadap infrastruktur komunikasi adalah prediktor keberhasilan terkuat. Pengaruhnya lebih besar daripada tingkat investasi AI, kematangan, atau kecanggihan tata kelola.
Ada kesenjangan di sini. Sebanyak 83% institusi keuangan menilai infrastruktur berkinerja tinggi penting untuk menerapkan AI dengan aman. Tetapi hanya 56% yang menjadikannya prioritas investasi, di bawah rata-rata lintas industri sebesar 61%.
Sebagian institusi mulai bergerak. Sebanyak 83% responden sedang berdiskusi, aktif maupun penjajakan, dengan penyedia alternatif. Organisasi yang mengeluhkan minimnya integrasi AI 2,4 kali lebih mungkin mengevaluasi penyedia baru. Yang mengeluhkan keandalan buruk 1,4 kali lebih mungkin.
Catatan: temuan ini berasal dari riset yang diproduksi Sinch, penyedia infrastruktur komunikasi. Pembaca sebaiknya menimbangnya dengan konteks itu.
Kasus 2: AI yang Ditempelkan pada Proses Lama
Kasus kedua datang dari sudut berbeda. Michael Abbott, pemimpin perbankan global Accenture, menilai banyak bank mengadopsi AI karena tekanan persaingan. Pertimbangan imbal hasil sering belum menjadi prioritas.
Akibatnya, sebagian besar bank hanya menaruh AI di atas cara kerja lama. Dalam eksperimen yang melibatkan Accenture, menerapkan AI pada satu per satu langkah proses, tanpa merancang ulang keseluruhannya, justru bisa menurunkan produktivitas secara keseluruhan.
Bagi Abbott, akar masalahnya adalah cara berpikir linear. Proses perbankan lazimnya berjalan berurutan, satu langkah menunggu langkah sebelumnya.
Jawaban Mereka: Merancang Ulang, Bukan Sekadar Mengotomatisasi
Abbott menyebut beberapa bank yang mulai merombak cara kerjanya. Ada tiga pendekatan yang menarik.
Memparalelkan proses. Sebuah bank di Australia memecah alur KPR yang biasanya berurutan. Setiap tahap dikendalikan agen AI tersendiri. Agen-agen itu saling melihat tahap sebelum dan sesudahnya, sehingga persetujuan awal bisa diberikan hampir menyeluruh. Dokumen yang kurang dilengkapi belakangan. Untuk itu, bank harus meruntuhkan sekat antarunit yang selama ini memegang bagian-bagian proses KPR.
Menyusun layanan berdasarkan intensi. Sebuah bank di Amerika Latin awalnya ingin membuat satu agen universal untuk semua panggilan. Mereka lalu sadar bahwa telepon terdiri dari serangkaian intensi, misalnya melaporkan kartu hilang. Setiap intensi bisa dibangun sebagai modul. Modul yang sama dapat dipakai di pusat panggilan, aplikasi seluler, perbankan daring, hingga meja layanan cabang.
Memilih model sesuai tugas. Banyak bank mengganti model bahasa besar dengan model kecil yang dibuat khusus pada proses tertentu. Alasannya, perbankan membutuhkan hasil yang konsisten dan bisa dijelaskan kepada regulator. Model bahasa besar mengandung unsur acak. Untuk membaca laporan pajak, misalnya, model sebesar itu tidak diperlukan dan lebih rentan berhalusinasi.
Abbott menegaskan satu peringatan. Sekadar memecah proses menjadi sub-proses lalu memasang AI bukanlah pelajaran dari contoh-contoh ini.
Peran Manusia Tetap Ada (Human-in-the-Loop)
Menurut Abbott, manajer manusia tetap dibutuhkan untuk mengawasi keseluruhan proses. Syaratnya kemampuan berpikir kritis dan keberanian menyatakan bahwa agen AI keliru.
Ia mencontohkan sebuah perusahaan yang menguji kandidat dengan model bahasa yang sengaja dibuat cacat. Kandidat dinilai dari kemampuannya menemukan kesalahan itu dan menyusun perintah untuk memperbaikinya.
Kasus 3: Lima Kegagalan, Satu Pola
Artikel CMA Australia karya Kapila Dodamgoda menghimpun lima kegagalan yang sudah banyak dibahas. Tidak semuanya murni urusan perbankan, tetapi polanya relevan.
-
Amazon (rekrutmen). Sistem menurunkan peringkat pelamar dengan indikasi perempuan karena belajar dari data historis yang didominasi laki-laki.
-
Zillow (valuasi). Model harga rumah dilatih pada data masa lalu. Saat pasar berubah cepat, harganya meleset dan perusahaan membeli stok rumah yang tak bisa dijual sesuai nilai belinya.
-
Knight Capital (trading). Kode baru yang tidak diuji memadai mengaktifkan kembali kode lama yang tidur. Kerugiannya lebih dari USD 400 juta dalam sehari.
-
Apple Card (kredit). Nasabah melaporkan limit kredit perempuan jauh lebih rendah daripada laki-laki dengan profil serupa. Proses keputusannya sulit dijelaskan.
-
IBM Watson Health. Sistem tidak memberi hasil yang konsisten di lingkungan nyata dan akhirnya dilepas, dengan penghapusan nilai aset yang besar.
Masalahnya Ada di Sekitar AI
Ketiga sumber menggunakan data dan sudut pandang berbeda. Namun kesimpulannya serupa: kegagalan jarang bersumber dari model AI semata.
Pada Kasus 1, fondasinya adalah infrastruktur yang menopang agen AI. Pada Kasus 2, fondasinya adalah cara kerja yang dirancang untuk manusia, bukan untuk agen. Pada Kasus 3, fondasinya adalah tata kelola dan keberanian manusia untuk mempertanyakan hasil mesin.
Satu hal lagi menyatukan ketiganya. Tanggung jawab tidak pindah ke mesin. Seperti ditulis Dodamgoda, akuntabilitas tidak bisa diotomatisasi.
Apa yang Bisa Dipetik Institusi Keuangan
Dari cara pihak-pihak di atas merespons, ada beberapa pelajaran praktis yang bisa dipertimbangkan.
-
Periksa fondasi sebelum menambah fitur. Kualitas infrastruktur dan integrasi layak masuk daftar prioritas, bukan hanya pengembangan agen.
-
Rancang ulang alur kerja. Tanyakan tahap mana yang sebenarnya bisa berjalan bersamaan, dan batas antarunit mana yang perlu dibuka.
-
Cocokkan model dengan tugas. Tidak semua proses memerlukan model terbesar. Tugas yang menuntut hasil konsisten sering lebih cocok dengan model khusus.
-
Perlakukan AI seperti model keuangan. Terapkan validasi, uji tekanan, dan tinjauan independen yang sama.
-
Siapkan manusia yang berani mengoreksi. Kemampuan menemukan kesalahan AI perlu dilatih dan dinilai.
Kesimpulan
Institusi keuangan yang memakai AI secara mandiri tetap bisa menghadapi masalah, karena AI bekerja di dalam sistem yang lebih besar. Infrastruktur yang kurang andal, proses yang tidak disesuaikan, dan tata kelola yang longgar akan ikut terbawa ke dalam hasilnya.
Tiga sumber ini tidak menunjukkan bahwa AI sebaiknya dihindari. Mereka menunjukkan bahwa nilai AI baru muncul bila fondasinya diperhatikan sama seriusnya dengan teknologinya.
Referensi
