Bayangkan Anda seorang koki yang ingin menciptakan hidangan paling lezat di dunia. Anda tahu Anda butuh bahan-bahan terbaik dan dapur tercanggih. Tapi, Anda juga punya anggaran terbatas. Haruskah Anda membeli daging wagyu termahal tapi hanya cukup untuk satu porsi, atau membeli bahan berkualitas tinggi dalam jumlah besar agar bisa bereksperimen dan menyempurnakan resep?
Dilema inilah yang dihadapi para pengembang kecerdasan buatan (AI) setiap hari. Membangun model bahasa raksasa (LLM) seperti yang kita kenal sekarang bukanlah soal sihir, melainkan soal strategi, anggaran, dan… resep rahasia.
Fondasi Pembangunan AI: Uang, Ukuran, dan Data
Sebelum membongkar resepnya, mari kita sepakati tiga hal fundamental:
- Performa adalah Segalanya: Kecerdasan sebuah AI sangat bergantung pada dua hal: seberapa besar “otak”-nya (ukuran model) dan seberapa banyak “buku” yang telah ia baca (ukuran dataset).
- Semua Butuh Tenaga: Otak yang lebih besar dan perpustakaan yang lebih luas tentu membutuhkan “energi” komputasi yang masif untuk memproses semuanya.
- Energi = Uang: Tenaga komputasi itu tidak gratis. Setiap chip, setiap server, dan setiap jam pelatihan AI memakan biaya yang tidak sedikit.
Nah, di sinilah letak permasalahannya. Jika Anda bukan perusahaan dengan dana tak terbatas, Anda tidak bisa asal “bakar uang” dengan membuat model terbesar yang Anda bisa. Anda harus cerdas. Anda mulai dari pertanyaan: “Dengan uang sekian, AI terbaik seperti apa yang bisa saya ciptakan?”
Memperkenalkan “Hukum Penskalaan Chinchilla”: Resep Jitu dari DeepMind
Dulu, proses melatih AI sering terasa seperti “ilmu gaib”. Para peneliti mencoba berbagai kombinasi ukuran model dan data dengan harapan menemukan formula yang pas. Untungnya, tim peneliti di DeepMind mengubah permainan itu.
Melalui makalah fenomenal “Training Compute-Optimal Large Language Models”, mereka memperkenalkan apa yang disebut “Hukum Penskalaan Chinchilla”.
Setelah melatih lebih dari 400 model dengan berbagai ukuran, mereka menemukan sebuah “resep emas” yang sangat praktis:
Untuk hasil yang paling optimal, jumlah data (token) yang Anda gunakan untuk melatih AI harus sekitar 20 kali lebih banyak dari jumlah parameter (ukuran) modelnya.
Artinya, jika Anda ingin membangun model dengan “otak” berukuran 3 miliar parameter, Anda harus memberinya “makanan” berupa 60 miliar token data. Keduanya harus tumbuh seimbang. Jika ukuran model Anda gandakan, jumlah datanya juga harus ikut digandakan.
Hukum ini mengubah “ilmu gaib” menjadi ilmu pasti. Kini, tim pengembang bisa memprediksi seberapa pintar AI yang akan mereka hasilkan hanya dengan melihat anggaran komputasi yang mereka miliki. Sertifikasi AI
Teori vs. Realita: Mengapa Model “Terbaik” Belum Tentu Paling Berguna
Hukum Chinchilla sangat hebat untuk menciptakan AI dengan performa mentah paling tinggi sesuai anggaran. Tapi di dunia nyata, kualitas teknis bukanlah satu-satunya raja.
Lihat saja Llama dari Meta. Menurut perhitungan Chinchilla, dengan anggaran yang mereka punya, Meta sebenarnya bisa membuat model yang lebih besar dan lebih “pintar”. Tapi mereka sengaja memilih membuat model yang lebih kecil.
Mengapa? Karena model yang lebih kecil itu lebih praktis. Biaya untuk menjalankannya (inferensi) jauh lebih murah, dan lebih mudah diadopsi oleh komunitas developer yang lebih luas. Ibaratnya, untuk apa punya mobil F1 jika hanya dipakai untuk belanja ke warung? Terkadang, mobil keluarga yang efisien justru lebih berguna.
Tantangan “Mil Terakhir”: Semakin Pintar, Semakin Mahal
Ada satu lagi fakta menarik di dunia AI: biaya untuk menjadi “sedikit lebih pintar” bisa luar biasa mahal.
Meningkatkan akurasi model dari 85% ke 90% mungkin membutuhkan biaya yang wajar. Namun, untuk mendongkraknya lagi dari 90% ke 95%, biayanya bisa meroket secara eksponensial. Ini dikenal sebagai tantangan “mil terakhir”.
Sebuah makalah dari Meta menunjukkan bahwa model dengan tingkat kesalahan 2% bisa jadi membutuhkan sumber daya (data, komputasi, energi) sepuluh kali lipat lebih banyak daripada model dengan tingkat kesalahan 3%. Hanya untuk perbaikan 1% saja!
Angka Kecil di Balik Layar, Dampak Raksasa di Depan Mata
Mungkin Anda berpikir, “Apa bedanya loss 3.4 dengan 2.8? Angkanya kecil.”
Di sinilah letak keajaibannya. Dalam dunia pemodelan bahasa, perbedaan metrik yang terlihat sepele itu bisa menghasilkan perbedaan kualitas yang sangat drastis bagi pengguna akhir. Teks yang dihasilkan terasa lebih alami, jawaban lebih relevan, dan kesalahan konyol jauh berkurang.
Pada akhirnya, membangun AI modern adalah seni menyeimbangkan ambisi, realita, dan anggaran. Berkat “resep” seperti Hukum Chinchilla, kini kita bisa meracik AI yang tidak hanya super cerdas, tetapi juga efisien dan berguna bagi dunia nyata—tanpa harus membobol bank.
Baca Juga :
