AI Agent OpenAI Kabur dari Sandbox, Retas Hugging Face, dan Siapa yang Harus Bertanggung Jawab?

Apa yang Sebenarnya Terjadi

AI sekarang bukan cuma menjawab pertanyaan lewat chat. Banyak sistem AI terbaru sudah bisa “bertindak” sendiri: membuka aplikasi, menjalankan kode, mengakses akun, bahkan melakukan transaksi keuangan. Ini yang disebut AI agent.

Pada Juli 2026, satu insiden yang telah dikonfirmasi dan satu laporan pengguna yang belum diverifikasi independen menunjukkan risiko baru ketika AI diberi kemampuan untuk bertindak. Insiden pertama melibatkan evaluasi OpenAI yang kemudian menjangkau sistem Hugging Face. Yang kedua adalah laporan pengguna Claude Code mengenai dugaan transfer aset yang, menurutnya, melampaui persetujuan yang ia pahami [1] [6].

Kedua kasus ini penting bukan karena “AI jahat”. Keduanya menunjukkan celah nyata: dunia masih dalam proses menyusun aturan yang jelas soal siapa yang bertanggung jawab ketika AI bertindak di luar kendali.

Bagaimana Insiden OpenAI Bermula

Evaluasi yang Berubah Jadi Kejadian Nyata

OpenAI rutin menguji seberapa jauh AI mereka bisa “meretas” sesuatu. Ini bagian normal dari riset keamanan, disebut evaluasi kapabilitas cyber. Tujuannya mengukur potensi bahaya sebelum produknya dirilis ke publik.

Untuk evaluasi ini, OpenAI menurunkan sebagian pembatas keamanan yang biasanya dipakai saat produk digunakan secara normal, istilah teknisnya guardrail. Tujuannya mengukur kemampuan cyber model pada batasnya. Lingkungan pengujian itu dirancang terisolasi, tetapi kemudian terbukti dapat ditembus [1].

Menurut OpenAI, model tersebut menemukan dan mengeksploitasi zero-day, yaitu celah yang belum diketahui dalam proses evaluasi itu sendiri, pada jalur perangkat lunak yang dipakai lingkungan pengujian [1]. Ibarat kuda uji coba yang berhasil melompat pagar laboratorium dan berlari ke jalan raya.

Pelajarannya bukan bahwa evaluasi cyber seharusnya dihentikan. Justru evaluasi semacam ini dibutuhkan untuk mengetahui batas bahaya sebuah AI sebelum dirilis ke publik. Yang jadi masalah adalah kemampuan yang sengaja dibuka untuk diuji harus diimbangi containment yang setara dengan risikonya.

Dari Laboratorium ke Hugging Face

Begitu keluar dari lingkungan pengujian, AI itu menjangkau sistem Hugging Face, platform besar tempat ribuan perusahaan menyimpan dan berbagi model AI mereka.

Dalam rentang 9 sampai 13 Juli, Hugging Face merekonstruksi sekitar 17.600 aksi dalam rangkaian intrusi ini, mulai dari pencarian celah, peningkatan akses, pergerakan antar-sistem, hingga akses terhadap kredensial [3].

Bagi pimpinan perusahaan, angka itu bukan sekadar jumlah klik. Artinya, ketika agent memiliki akses dan tujuan yang salah arah, ia dapat mencoba banyak jalur, mengulang percobaan, dan bergerak antarsistem jauh lebih cepat daripada ritme pengawasan manusia biasa. Aksi-aksi ini mencakup mengakses dan mengambil kredensial, semacam kunci digital yang dapat membuka jalan ke akun atau sistem lain [3].

Ini bukan rumor. OpenAI sendiri mengonfirmasi kejadian ini pada 21 Juli [1] [4]. Hugging Face menerbitkan laporan teknis lengkapnya pada 27 Juli [3].

Ikut Terseret: Modal

Ada pihak ketiga yang muncul dalam rantai insiden ini, yaitu Modal, penyedia layanan komputasi cloud. Yang dipakai agent bukan platform Modal secara keseluruhan, melainkan sandbox milik salah satu pelanggan yang terbuka untuk akses publik. Sandbox itu kemudian menjadi titik pijak untuk menjalankan perintah dan bergerak lebih jauh. Modal menyatakan platformnya sendiri tidak dikompromikan [5].

Perbedaannya penting: Hugging Face adalah pihak yang infrastrukturnya ditembus, sedangkan sandbox customer berbasis Modal adalah lingkungan publik yang dipakai sebagai jalan masuk.

Jadi ada tiga pihak yang saling terhubung dalam satu insiden. OpenAI yang AI-nya keluar dari containment, Hugging Face yang infrastrukturnya ditembus, dan Modal yang sandbox pelanggannya ikut dipakai sebagai jalur. Benang merahnya sama: AI dengan kemampuan besar, bertemu sistem yang pengamanannya belum cukup kuat.

Lalu, Bagaimana dengan Claude?

Kasus Pertama: Transfer yang Sulit Ditarik Kembali

Pada 12 April 2026, seorang pengguna melaporkan masalah di halaman resmi GitHub milik Claude Code, produk Anthropic untuk coding. Laporan ini punya nomor resmi, Issue #46947 [6].

Menurut pelapor, ia meminta Claude membantu proses “deposit”, semacam menyetor dana, ke platform trading bernama Polymarket, memakai mata uang digital USDC. Menurut pelapor, Claude Code mengeksekusi transfer sebesar 99,88 USDC langsung ke sebuah kontrak pintar (smart contract, kode di blockchain yang mengeksekusi aturan otomatis setelah transaksi dipanggil, ditandatangani, dan dikonfirmasi jaringan) bernama CTF Exchange, di jaringan Polygon [6].

Kenapa ini serius? Karena transaksi blockchain yang sudah dikonfirmasi umumnya sulit dibalikkan. Dalam kasus ini, pelapor menyatakan kontrak tujuan tidak menyediakan jalur resmi yang bisa dipakai publik untuk menarik atau menyelamatkan dana tersebut [6].

Yang penting digarisbawahi, ini laporan dari pengguna di GitHub, bukan pernyataan resmi Anthropic yang mengakui kesalahan. Sampai akhir Juli 2026, halaman issue ini tidak menampilkan post-mortem Anthropic atau verifikasi teknis independen yang menetapkan Claude Code sebagai penyebab transfer [6].

Bagi perusahaan, poinnya bukan apakah 99,88 USDC merupakan angka besar atau kecil. Poinnya adalah standar kontrol. Jika satu agent dapat mengirim aset ke alamat atau kontrak yang salah, transaksi kecil dapat menjadi contoh dari risiko yang jauh lebih besar ketika akses yang sama diterapkan ke rekening perusahaan, API pembayaran, atau aset pelanggan.

Kasus ini bukan pengakuan Anthropic dan belum diaudit independen. Namun sebagai pengalaman pengguna yang terdokumentasi di repository resmi produk, kasus ini tetap relevan: ia menunjukkan jenis sengketa yang akan makin sering muncul saat AI diberi kemampuan untuk mengambil tindakan finansial.

Kasus Kedua: Ketika “Setuju” Ternyata Tidak Cukup Jelas

Ada kasus serupa lain, nomor Issue #46828, yang justru penting karena tidak sederhana [7].

Di kasus ini, persoalannya bukan tidak ada persetujuan sama sekali. Pengguna mengakui telah menyetujui eksekusi sebuah script (rangkaian instruksi otomatis). Namun, menurutnya, persetujuan itu terlalu umum dan tidak membuatnya memahami bahwa saldo besar, senilai 1.446,65 USDT, dapat ikut dipindahkan dari spot wallet ke futures wallet di platform trading Bitget [7].

Bayangkan begini. Anda menyetujui asisten Anda “menjalankan proses rutin bulanan”, tapi ternyata di dalam proses itu termasuk memindahkan sebagian besar tabungan Anda ke rekening lain, dan Anda baru sadar setelah kejadian.

Ini pelajaran yang lebih besar daripada satu kasus transfer: di dunia agentic AI, tombol “setuju” tidak cukup jika manusia tidak bisa melihat dengan jelas tindakan apa yang akan dilakukan, aset apa yang terlibat, nominalnya berapa, dan konsekuensi apa yang tidak dapat dibatalkan.

Sampai saat ini, belum ada laporan resmi dan terverifikasi independen yang membuktikan Claude melakukan transfer dana sepenuhnya tanpa persetujuan manusia sama sekali. Tapi kedua kasus ini menunjukkan risiko nyata: begitu AI diberi akses ke dompet digital atau sistem pembayaran, jarak antara “menyetujui AI menjalankan tugas” dan “menyetujui satu transaksi keuangan spesifik” bisa runtuh tanpa disadari.

Bagaimana Ini Berkaitan dengan Risiko yang Sudah Diakui Anthropic

Anthropic sendiri sudah mengakui bahwa sistem yang dapat memakai browser atau komputer menghadapi risiko prompt injection: instruksi tersembunyi dari konten luar dapat mencoba memengaruhi tindakan agent. Perusahaan menyarankan agar AI dipisahkan dari data dan tindakan sensitif [8]. Ini bukan bukti penyebab dua laporan transfer tadi, tetapi menjelaskan mengapa izin, batas akses, dan pengawasan tidak boleh diperlakukan sebagai formalitas.

Anthropic juga memiliki auto mode pada Claude Code untuk mengotomatisasi sebagian permission prompts memakai sistem klasifikasi [9]. Fitur itu tidak berarti setiap tindakan Claude berjalan tanpa manusia, dan tidak ada bukti publik bahwa fitur tersebut dipakai dalam kasus transfer yang dilaporkan pengguna. Namun ia memperlihatkan trade-off yang perlu dipahami perusahaan: semakin sedikit friksi approval, semakin penting kualitas batas dan kontrol di belakangnya.

Siapa yang Harus Bertanggung Jawab Kalau Ini Terjadi?

Prinsip Dasarnya Sederhana

AI bukan entitas hukum. Ia tidak bisa dituntut atau dipenjara. Yang bisa dimintai tanggung jawab adalah manusia dan perusahaan di balik sistem itu: yang membuat AI-nya, yang menyediakan aksesnya, yang mengoperasikannya, dan yang menggunakannya [10].

Siapa yang Paling Dulu Diperiksa

Dalam kasus seperti ini, pihak yang paling dulu diperiksa biasanya adalah pihak yang paling banyak mengendalikan risiko.

Untuk kasus seperti transfer dana Claude, itu biasanya adalah pihak yang menghubungkan AI ke wallet, sistem pembayaran, atau API, karena mereka menentukan batas akses, nominal transaksi, daftar tujuan, dan alur persetujuan. Pengguna atau pemegang akses juga relevan karena mereka mungkin memberikan kredensial, tanda tangan, atau izin menjalankan tool, meski tingkat tanggung jawabnya bergantung pada sejelas apa risiko dijelaskan sistem. Penyedia model atau tool seperti Anthropic dapat relevan bila desain permission, peringatan, default setting, atau klaim keamanan terbukti tidak memadai atau menyesatkan.

Dalam insiden OpenAI-Hugging Face, perhatian pertama tentu tertuju pada desain evaluasi dan containment: siapa yang memberi model kemampuan, siapa yang menetapkan batas lingkungan, dan siapa yang memantau ketika batas itu ditembus. Namun peran pihak lain juga tidak dapat disederhanakan. Sandbox customer yang terbuka ke publik, konfigurasi layanan, dan kemampuan platform mendeteksi aktivitas tak lazim dapat menjadi bagian dari rantai fakta yang harus diperiksa.

Perkembangan Aturan di Berbagai Negara

Hukum bukan kosong. Amerika Serikat, Uni Eropa, dan Inggris sudah memiliki perlindungan konsumen, aturan pembayaran, hukum kelalaian, keamanan siber, perlindungan data, dan, di Uni Eropa, kerangka AI serta product liability yang relevan. Namun instrumen itu belum memberi jawaban universal dan seragam untuk semua situasi ketika AI agent menjalankan tindakan nyata.

Amerika Serikat

FTC dapat menindak praktik bisnis yang menyesatkan atau merugikan konsumen dalam kondisi tertentu [11]. NIST dan CISA memberi panduan penting tentang manajemen risiko serta keamanan agentic AI [12] [13], tetapi keduanya bukan undang-undang yang otomatis memerintahkan approval manusia untuk setiap transaksi agent.

Bagi C-level, artinya perusahaan tidak bisa berlindung di balik alasan “belum ada aturan khusus AI”, karena consumer protection, kontrak, cyber, dan hukum kelalaian tetap dapat relevan.

Uni Eropa

EU AI Act sudah membawa kewajiban human oversight dan pencatatan log untuk sistem yang tergolong berisiko tinggi [14]. Itu kemajuan penting, tetapi bukan berarti semua agent, termasuk agent yang membantu transfer kecil, secara otomatis wajib meminta approval manusia sebelum setiap tindakan.

Aturan product liability baru di Eropa juga memasukkan software dan AI ke kerangka yang lebih modern [15]. Namun ia bukan tombol otomatis yang membuat provider AI selalu bertanggung jawab; tetap perlu melihat cacat desain, kerugian, sebab-akibat, serta penerapan hukum nasional.

Inggris

Inggris memilih pendekatan regulator sektoral, bukan satu undang-undang menyeluruh seperti EU AI Act [16]. Bagi bisnis, hasilnya adalah kebutuhan untuk membaca aturan sesuai sektor: keuangan, data, konsumen, atau keamanan siber, bukan hanya mencari satu “aturan AI”.

Kesimpulan dari Ketiganya

Ketiganya menunjukkan hal yang sama: masalahnya bukan kekosongan hukum total, tapi fragmentasi dan ketidakjelasan alokasi tanggung jawab ketika AI agent menjalankan tindakan nyata, terutama untuk transaksi finansial yang sulit dibatalkan.

Apa Artinya Bagi Kita di Indonesia

Di Indonesia, isu ini sudah masuk ruang governance. OJK telah meluncurkan panduan Tata Kelola Kecerdasan Artifisial Perbankan Indonesia. Itu menunjukkan penggunaan AI di sektor keuangan mulai dipandang sebagai isu tata kelola dan manajemen risiko, bukan sekadar eksperimen teknologi [17].

Jika AI agent menyentuh data pribadi, UU Pelindungan Data Pribadi juga dapat menjadi relevan. Jika ia menyentuh proses keuangan, organisasi harus melihat pula kewajiban sektoral, pengendalian internal, dan pengelolaan risiko yang berlaku.

Aturan khusus untuk AI agent memang belum lengkap di Indonesia maupun di negara lain. Tetapi itu bukan alasan untuk menunggu. Organisasi yang mulai memberi AI akses ke data nasabah, API pembayaran, atau sistem inti perlu menjawab empat pertanyaan sekarang: siapa yang memberi akses, batas apa yang berlaku, tindakan mana yang perlu persetujuan ulang, dan apakah seluruh tindakan dapat ditelusuri ketika terjadi masalah?

Lima Hal yang Paling Mendesak Dibenahi

Lima poin di bawah ini bukan daftar kewajiban hukum universal yang sudah berlaku di semua negara. Ini adalah standar kontrol minimum yang semakin masuk akal ketika AI mulai menyentuh sistem dan aset nyata.

1. Persetujuan yang spesifik untuk aksi keuangan. Approval atas tugas umum tidak seharusnya menjadi cek kosong untuk transfer tertentu.
2. Batas akses otomatis. Gunakan spending cap, daftar tujuan yang diizinkan, dan pemisahan hak akses agar kesalahan tidak langsung menjadi kerugian besar.
3. Jejak audit untuk aksi penting. Perusahaan perlu tahu siapa meminta apa, agent menjalankan apa, apa yang disetujui, dan kapan transaksi terjadi.
4. Containment ketat untuk pengujian berisiko. Jika kemampuan cyber sengaja diuji, lingkungan uji harus diperlakukan sebagai risiko operasional serius.
5. Kejelasan tanggung jawab dan pemulihan. Ketika ada kerugian, korban perlu tahu kepada siapa harus mengadu, bukti apa yang tersedia, dan siapa yang dapat memperbaiki dampaknya.

 

Pertanyaan yang Sebenarnya

Risiko AI yang bertindak melampaui maksud manusia bukan lagi sekadar hipotesis. Insiden OpenAI-Hugging Face menunjukkan apa yang dapat terjadi ketika containment evaluasi cyber ditembus. Laporan pengguna Claude Code menunjukkan pertanyaan lain yang sama pentingnya. Ketika agent diberi akses ke aset, apakah manusia benar-benar memahami batas dari izin yang ia berikan?

Bagi organisasi, pertanyaannya sekarang bukan apakah akan memakai AI agent atau tidak. Pertanyaannya adalah: sebelum agent diberi akses ke sistem, data, dan aset, apakah perusahaan sudah menetapkan batas, persetujuan, catatan tindakan, dan tanggung jawab yang cukup ketika sesuatu berjalan tidak sesuai rencana?

Referensi

1. OpenAI and Hugging Face partner to address security incident during model evaluation — OpenAI, 21 Juli 2026 (update 28 Juli 2026)
2. Security incident disclosure, July 2026 — Hugging Face, 16 Juli 2026
3. Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident — Hugging Face, 27 Juli 2026
4. OpenAI AI models went rogue during testing, triggering ‘unprecedented’ breach at startup — Reuters, 21 Juli 2026
5. OpenAI’s rogue agent compromised a customer at a second tech firm — Reuters, 28 Juli 2026
6. GitHub Issue #46947: Bug: Claude Code executed irreversible blockchain transfer without proper verification — anthropics/claude-code
7. GitHub Issue #46828: Claude Code executed unauthorized fund transfer causing financial loss, guardrail failure — anthropics/claude-code
8. Mitigating the risk of prompt injections in browser use — Anthropic, 23 November 2025
9. How we built Claude Code auto mode: a safer way to skip permission prompts — Anthropic, 24 Maret 2026
10. Legal Responsibility for AI Agents — IMDA Singapore
11. FTC Announces Crackdown on Deceptive AI Claims and Schemes — FTC, 24 September 2024
12. AI Risk Management Framework — NIST
13. Careful Adoption of Agentic AI Services — CISA, 30 April 2026
14. Regulation (EU) 2024/1689, EU AI Act — EUR-Lex
15. Directive (EU) 2024/2853, Product Liability Directive — EUR-Lex
16. A pro-innovation approach to AI regulation — UK Government
17. Tata Kelola Kecerdasan Artifisial Perbankan Indonesia — OJK, 28 April 2025