Pertumbuhan pesat dalam bidang kecerdasan buatan (AI) tak pelak membawa gelombang antusiasme sekaligus fear of missing out (FOMO) di kalangan profesional dan industri. Setiap hari, kita dibanjiri dengan informasi tentang alat AI baru, teknik mutakhir, model inovatif, dan aplikasi revolusioner. Alih-alih tersesat dalam lautan informasi yang terus bergerak ini, mari kita fokus pada blok bangunan fundamental dari rekayasa AI itu sendiri.
Evolusi dari Rekayasa Machine Learning (ML)
Penting untuk dipahami bahwa rekayasa AI (AI engineering) tidak muncul dari ruang hampa. Ia adalah evolusi alami dari rekayasa machine learning (ML engineering). Ketika sebuah perusahaan mulai bereksperimen dengan foundation models yang kini populer, adalah langkah logis bagi tim ML yang sudah ada untuk mengambil alih kepemimpinan dalam upaya ini.
Fenomena ini menciptakan dinamika menarik di industri. Beberapa organisasi masih melihat rekayasa AI dan rekayasa ML sebagai entitas yang sama, seringkali menggabungkan keduanya di bawah payung departemen yang sama. Ini tercermin dari banyaknya judul pekerjaan di platform seperti LinkedIn yang menyatukan kedua peran tersebut. Namun, di sisi lain, ada juga perusahaan yang telah memisahkan deskripsi pekerjaan untuk insinyur AI, menunjukkan spesialisasi yang semakin berkembang.
Terlepas dari bagaimana organisasi memposisikan insinyur AI dan ML, tumpang tindih peran dan keterampilan mereka sangat signifikan. Insinyur ML yang sudah berpengalaman dapat dengan mudah menambahkan keterampilan rekayasa AI ke dalam portofolio mereka, membuka peluang karir yang lebih luas. Menariknya, kita juga melihat munculnya insinyur AI yang tidak memiliki latar belakang ML sebelumnya, menandakan cakupan bidang ini yang terus meluas.
Untuk mengupas lebih dalam tentang rekayasa AI dan bagaimana ia berbeda dari rekayasa ML tradisional, mari kita bedah lapisan-lapisan esensial dalam proses pembangunan aplikasi AI.
Tiga Lapisan Fundamental dalam Tumpukan Aplikasi AI
Setiap tumpukan aplikasi AI dapat diuraikan menjadi tiga lapisan inti: pengembangan aplikasi, pengembangan model, dan infrastruktur. Saat memulai proyek aplikasi AI, Anda biasanya akan bergerak dari lapisan teratas ke bawah sesuai kebutuhan.
- Pengembangan Aplikasi (Application Development) Lapisan ini menjadi arena yang paling dinamis dan mengalami perkembangan tercepat dalam dua tahun terakhir. Dengan ketersediaan model AI yang pre-trained, siapa pun kini dapat memanfaatkannya untuk mengembangkan aplikasi inovatif. Fokus utama di sini adalah menyediakan model dengan prompt yang efektif dan konteks yang relevan. Lapisan ini menuntut evaluasi yang ketat untuk memastikan performa aplikasi. Lebih lanjut, antarmuka pengguna (UI/UX) yang intuitif dan fungsional juga krusial untuk aplikasi yang sukses.
- Pengembangan Model (Model Development) Lapisan ini menyediakan perangkat dan kerangka kerja yang diperlukan untuk mengembangkan model AI itu sendiri. Ini mencakup proses pemodelan, pelatihan, finetuning, dan optimisasi inferensi. Karena data merupakan jantung dari pengembangan model, lapisan ini juga mencakup aspek rekayasa dataset (data engineering for ML). Sama seperti pengembangan aplikasi, evaluasi yang cermat juga sangat penting di lapisan ini untuk memastikan kualitas dan kinerja model.
- Infrastruktur (Infrastructure) Berada di dasar tumpukan, lapisan infrastruktur mencakup semua alat dan sistem pendukung. Ini termasuk penyajian model (model serving), pengelolaan data dan komputasi (compute management), serta pemantauan (monitoring). Infrastruktur yang kokoh adalah tulang punggung yang memungkinkan aplikasi AI beroperasi secara efisien dan andal.
Data dari repositori GitHub menunjukkan tren yang jelas: setelah diperkenalkannya inovasi seperti Stable Diffusion dan ChatGPT pada tahun 2023, terjadi peningkatan signifikan dalam jumlah tooling AI, khususnya di kategori aplikasi dan pengembangan aplikasi. Meskipun lapisan infrastruktur juga mengalami pertumbuhan, skalanya tidak sebesar dua lapisan di atasnya. Hal ini wajar, karena meskipun model dan aplikasi terus berevolusi, kebutuhan inti infrastruktur—seperti manajemen sumber daya, penyajian model, dan pemantauan—cenderung tetap konsisten.
Prinsip Abadi dalam Pembangunan Aplikasi AI
Meskipun tingkat inovasi dan excitement di sekitar foundation models belum pernah terjadi sebelumnya, banyak prinsip fundamental dalam membangun aplikasi AI tetap tidak berubah. Untuk kasus penggunaan di tingkat perusahaan (enterprise use cases), aplikasi AI harus mampu memecahkan masalah bisnis yang nyata. Oleh karena itu, kemampuan untuk memetakan metrik bisnis ke metrik ML dan sebaliknya tetap krusial.
Eksperimen sistematis juga merupakan komponen inti. Jika pada rekayasa ML klasik kita bereksperimen dengan berbagai hyperparameter, kini dengan foundation models, eksperimen diperluas untuk mencakup model yang berbeda, prompt yang bervariasi, algoritma pengambilan (retrieval algorithms), dan variabel sampling (yang akan dibahas lebih lanjut). Tujuan utama tetap sama: membuat model berjalan lebih cepat dan lebih murah. Dan yang tak kalah penting, membangun feedback loop untuk secara iteratif meningkatkan aplikasi berdasarkan data produksi.
Singkatnya, pengalaman dan pembelajaran yang telah dikumpulkan oleh insinyur ML selama dekade terakhir tetap sangat relevan. Koleksi pengetahuan ini sangat membantu dalam mempermudah langkah awal bagi siapa pun yang ingin membangun aplikasi AI. Namun, di atas prinsip-prinsip abadi ini, terdapat banyak inovasi unik yang menjadi ciri khas rekayasa AI modern. Memahami kombinasi antara fondasi yang kuat dan inovasi baru inilah yang akan membedakan profesional AI terkemuka.
Baca Juga :
