Di tengah gelombang inovasi kecerdasan buatan (AI), para profesional dihadapkan pada sebuah pertanyaan krusial: Apakah keahlian Machine Learning (ML) tradisional masih relevan sepenuhnya, ataukah ada kesenjangan keterampilan baru yang harus segera diisi? Meskipun prinsip dasar penerapan AI mungkin terasa stabil, lanskap pengembangan telah mengalami transformasi signifikan, menciptakan diferensiasi yang jelas antara rekayasa ML konvensional dan rekayasa AI modern. Memahami pergeseran ini bukan hanya penting—ini adalah keharusan strategis bagi tim yang ingin mengadaptasi platform mereka dan bagi para pengembang yang berambisi untuk tetap kompetitif di pasar yang dinamis ini.
Secara garis besar, pembangunan aplikasi dengan model fondasi (foundation models) saat ini menuntut serangkaian keterampilan yang berbeda secara fundamental dari rekayasa ML tradisional. Mari kita bedah tiga aspek utama yang menciptakan kesenjangan ini dan keterampilan yang dibutuhkan untuk mengatasinya:
1. Dari Pelatihan Model ke Adaptasi Model: Menguasai Leverage
Dalam rekayasa ML tradisional, pengembang secara ekstensif terlibat dalam proses pemodelan dan pelatihan model mereka sendiri dari awal. Ini memerlukan keahlian mendalam dalam berbagai algoritma ML dan arsitektur neural network, serta pemahaman akan konsep-konsep matematis seperti gradient descent dan loss function. Keterampilan ini adalah fondasi yang tak tergantikan.
Namun, dengan munculnya model fondasi—model yang telah dilatih secara masif oleh pihak ketiga—fokus bergeser secara drastis. Kini, rekayasa AI lebih menitikberatkan pada adaptasi model yang sudah ada daripada melatihnya dari nol. Ini berarti, meskipun pengetahuan ML mendalam tetap berharga untuk troubleshooting dan inovasi tingkat lanjut, keterampilan inti yang wajib dikuasai adalah:
- Prompt Engineering: Ini adalah seni dan ilmu merancang input (prompt) yang efektif untuk memandu model fondasi menghasilkan keluaran yang diinginkan tanpa mengubah bobot internalnya. Menguasai prompt engineering berarti memahami nuansa bahasa, konteks, dan cara “berbicara” dengan model untuk mencapai hasil optimal. Ini adalah keterampilan yang mudah dimulai namun membutuhkan ketajaman berpikir untuk tugas kompleks.
- Finetuning dan Adaptasi Model Lanjutan: Untuk kasus yang lebih spesifik atau membutuhkan kinerja tinggi, finetuning menjadi esensial. Ini melibatkan pembaruan bobot model yang sudah ada. Keterampilan yang dibutuhkan di sini mencakup pemahaman tentang arsitektur model, teknik transfer learning, dan manajemen data untuk finetuning. Ini adalah area di mana pengetahuan ML tradisional bersinar, memungkinkan optimalisasi yang lebih dalam pada kualitas, latensi, dan biaya.
2. Tantangan Skala: Mengelola Komputasi dan Latensi di Batas Terdepan
Model fondasi jauh lebih besar dan secara inheren mengonsumsi lebih banyak sumber daya komputasi dibandingkan model ML tradisional. Konsekuensinya, latensi yang lebih tinggi menjadi isu yang signifikan. Hal ini menempatkan tekanan besar pada kebutuhan akan optimasi inferensi yang efisien.
Pergeseran ini menuntut perusahaan untuk berinvestasi lebih banyak dalam GPU dan kluster komputasi yang lebih besar. Oleh karena itu, keterampilan yang sangat dicari adalah:
- Arsitektur Sistem Terdistribusi dan Komputasi Paralel: Mengelola kluster komputasi yang melibatkan ribuan GPU membutuhkan pemahaman mendalam tentang arsitektur terdistribusi, penjadwalan sumber daya, dan teknik komputasi paralel.
- Optimasi Inferensi Tingkat Lanjut: Mengingat model fondasi seringkali autoregressive—menghasilkan token secara berurutan—bahkan penundaan milidetik per token dapat mengakibatkan latensi yang tidak dapat diterima untuk aplikasi interaktif. Keterampilan dalam teknik optimasi seperti kuantisasi, distilasi model, pruning, dan paralelisme (misalnya, pipeline parallelism, tensor parallelism) menjadi sangat krusial untuk menurunkan latensi aplikasi AI hingga standar aplikasi internet pada umumnya (sekitar 100 ms).
Pelatihan AI Bersertifikat BNSP
3. Kompleksitas Evaluasi Keluaran Terbuka: Mengukur yang Tidak Terbatas
Model fondasi menghasilkan keluaran yang bersifat terbuka (open-ended), memberikan mereka fleksibilitas yang luar biasa untuk digunakan dalam berbagai tugas. Namun, fleksibilitas ini datang dengan harga: evaluasi model menjadi jauh lebih kompleks, menciptakan kesenjangan signifikan dalam metodologi pengujian.
Dalam rekayasa ML tradisional, sebagian besar kasus penggunaan bersifat tertutup, di mana keluaran model terbatas pada nilai-nilai yang telah ditentukan sebelumnya (misalnya, klasifikasi spam sebagai “spam” atau “bukan spam”). Mengevaluasi model seperti ini relatif mudah. Sebaliknya, menilai kualitas keluaran model fondasi yang dapat menghasilkan esai, kode, atau respons percakapan memerlukan pendekatan evaluasi yang lebih canggih dan kompleks. Keterampilan yang harus dikembangkan di sini meliputi:
- Desain Metrik Evaluasi Kualitatif dan Kuantitatif untuk Keluaran Terbuka: Ini bukan hanya tentang akurasi, tetapi juga relevansi, koherensi, keamanan, dan bias.
- Metodologi Anotasi Data yang Kompleks: Mengannotasi data untuk kueri terbuka jauh lebih sulit daripada kueri tertutup, membutuhkan keahlian dalam merancang pedoman anotasi dan mengelola tim anotator.
- Penggunaan Model untuk Evaluasi (Model-as-a-Judge): Memanfaatkan model AI lain untuk membantu mengevaluasi keluaran model adalah area yang berkembang pesat dan membutuhkan pemahaman teknis.
Transformasi Pengembangan Model: Implikasi untuk Keahlian Anda
Lapisan pengembangan model, yang merupakan inti rekayasa ML tradisional, juga telah mengalami perubahan penting yang memengaruhi keterampilan yang dibutuhkan:
- Pemodelan dan Pelatihan: Meskipun finetuning menjadi lebih umum, pemahaman mendalam tentang prinsip-prinsip ML tetap sangat berharga untuk troubleshooting dan inovasi tingkat lanjut.
- Rekayasa Dataset: Jika rekayasa ML tradisional banyak berurusan dengan rekayasa fitur pada data tabular, rekayasa AI lebih terfokus pada manipulasi data tidak terstruktur. Ini mencakup proses seperti deduplikasi, tokenisasi, pengambilan konteks, dan kontrol kualitas untuk menghapus informasi sensitif atau data toksik. Dengan model yang semakin menjadi komoditas, keterampilan dalam rekayasa dataset yang berfokus pada kualitas dan integritas data tidak terstruktur menjadi pembeda utama.
- Optimasi Inferensi: Selalu penting, optimasi inferensi kini menjadi lebih krusial. Mengingat ukuran dan kompleksitas model fondasi, membuat mereka lebih cepat dan lebih murah untuk beroperasi adalah prioritas utama. Menguasai teknik-teknik ini adalah investasi keterampilan yang sangat berharga.
Baca Juga :
