Roadmap AI Engineer: Jalur Lengkap dari Pemula hingga AI Engineer

Apa Sebenarnya yang Dilakukan Seorang AI Engineer

Judul "AI engineer" memiliki arti yang berbeda di berbagai perusahaan, jadi ada baiknya untuk mendefinisikannya. Secara praktis, seorang AI engineer membangun sistem software yang menggunakan model machine learning untuk melakukan pekerjaan yang bermanfaat. Itu mungkin berarti melatih model pada data milik perusahaan, mengadaptasi model yang telah dilatih sebelumnya untuk tugas tertentu, mengintegrasikan model bahasa yang besar ke dalam produk dengan pengambilan dan alat, atau menjalankan model secara andal di lingkungan produksi di mana pengguna nyata bergantung padanya.

Ini berbeda dari seorang ilmuwan riset, yang berfokus pada penemuan metode baru, dan dari seorang data analyst, yang berfokus pada pengambilan wawasan dari data. Seorang AI engineer berada di antara kedua dunia tersebut dan rekayasa software biasa. Kita membutuhkan cukup kemampuan matematika dan pemodelan untuk memahami mengapa sebuah model berperilaku seperti itu, dan cukup disiplin rekayasa untuk menghasilkan sesuatu yang tidak mengalami kegagalan. Roadmap di bawah ini mengembangkan kedua bagian tersebut.

Langkah 1: Dasar-Dasar Pemrograman (Python, Git, DSA)

Python

Python adalah bahasa kerja AI, sebagian besar karena ekosistem dan keterbacaannya. Mulailah dengan inti, seperti: variabel, tipe data, control flow, function, dan koleksi bawaan seperti list, dictionary, set, dan tuple. Kemudian beralih ke apa yang membedakan seorang penulis skrip dari seorang engineer, yaitu seperti: menulis fungsi yang melakukan satu hal dengan baik, menangani kesalahan dengan pengecualian, membaca dan menulis file, bekerja dengan JSON dan CSV, dan mengatur kode ke dalam modul dan paket.

Pemrograman berorientasi objek lebih penting daripada yang diharapkan pemula, karena framework deep learning dibangun di atas class. Saat kita mendefinisikan neural network nanti, kita akan membuat subkelas dari kelas dasar dan mengimplementasikan metode, jadi pemahaman tentang class, inheritance, dan metode khusus akan langsung bermanfaat. Pelajari tentang lingkungan virtual dan manajemen dependensi sejak dini, karena hampir setiap proyek AI bergantung pada serangkaian versi library tertentu dan kita akan berulang kali merusak pengaturan kita jika tidak. Tambahkan petunjuk tipe, pengujian dasar dengan alat seperti pytest, dan pengetahuan tentang cara memanggil dan membangun API web sederhana, karena pada akhirnya kita akan menyajikan model melalui HTTP.

Git

Git adalah cara para engineer melacak perubahan, berkolaborasi, dan memperbaiki kesalahan. Pelajari alur kerja sehari-hari, seperti: menginisialisasi repositori, melakukan staging dan commit perubahan, membuat dan menggabungkan branch, menyelesaikan konflik, dan sinkronisasi dengan host jarak jauh seperti GitHub. Pahami pull request, karena ini adalah cara standar tim meninjau kode. Tulis pesan commit yang jelas dan jaga agar repositori tetap bersih untuk setiap proyek yang kita buat. Profil GitHub kita akan menjadi bagian dari resume kita, jadi perlakukan sebagai portofolio hidup sejak hari pertama.

Struktur Data dan Algoritma

Kita tidak perlu menguasai pemrograman kompetitif untuk menjadi seorang AI engineer, tetapi kita perlu memiliki dasar yang kuat dalam struktur data dan algoritma. Pahami array dan linked list, stack dan queue, hash map dan set, tree, heap, dan graph, beserta algoritma pengurutan dan pencarian umum. Pelajari Big-O notation agar kita dapat memahami bagaimana kode diskalakan, karena perbedaan antara pendekatan kuadratik dan linier dapat berarti perbedaan antara pipeline yang selesai dalam hitungan menit dan pipeline yang tidak pernah selesai pada data nyata.

Pengetahuan ini membantu dalam dua cara praktis. Pertama, membuat kita lebih cepat dalam merancang pemrosesan data yang efisien, dan kedua, mempersiapkan kita untuk wawancara teknis, yang masih menguji dasar-dasar ini di banyak perusahaan. Usahakan untuk merasa nyaman dengan pola umum dan berlatih secara teratur pada beberapa lusin masalah yang dipilih dengan baik daripada ratusan masalah acak.

Siap untuk Melanjutkan Ketika

Kita dapat membangun aplikasi berbasis baris perintah atau API kecil dari awal, menyusunnya menjadi modul, mengujinya, membuat versi dengan Git, dan menjelaskan kompleksitas waktu dari operasi utama yang kita tulis. Rencanakan sekitar dua hingga tiga bulan dengan kecepatan paruh waktu jika kita memulai dari nol, jauh lebih singkat jika kita sudah mahir coding.

Langkah 2: Matematika untuk AI (Aljabar, Kalkulus, Statistika)

Aljabar Linear

Aljabar linear adalah bahasa data dalam machine learning. Titik data adalah vektor, kumpulan data adalah matriks, dan lapisan neural network adalah operasi matriks. Pelajari vektor dan operasinya, hasil perkalian titik dan apa yang diukurnya, matriks dan perkalian matriks, transpos, invers, dan gagasan transformasi linear. Kemudian tambahkan nilai eigen dan vektor eigen, dan dekomposisi nilai singular, yang mendasari teknik seperti pengurangan dimensi. Intuisi yang kuat tentang bagaimana matriks mentransformasikan ruang membuat topik selanjutnya seperti penyematan dan perhatian jauh lebih mudah dipahami.

Kalkulus

Kalkulus menjelaskan bagaimana model belajar. Melatih model berarti menyesuaikan parameternya untuk mengurangi kesalahan, dan alat untuk menemukan arah penyesuaian adalah turunan. Pelajari turunan dan apa yang diwakilinya sebagai laju perubahan, turunan parsial untuk fungsi dengan banyak input, gradien sebagai arah peningkatan paling curam, dan yang terpenting aturan rantai, yang merupakan mesin matematika dari backpropagation. Pahami konsep optimasi seperti minimum, titik pelana, dan laju pembelajaran. Kita jarang akan menghitung ini secara manual, karena framework menangani diferensiasi secara otomatis, tetapi kita harus memahami apa yang sedang dihitung untuk mendiagnosis pelatihan yang meledak, macet, atau berosilasi.

Probabilitas dan Statistik

Statistik memberi kita kosakata untuk menggambarkan ketidakpastian dan menilai bukti, dan machine learning pada dasarnya bersifat statistik. Pelajari statistik deskriptif seperti mean, median, varians, dan deviasi standar; aturan probabilitas dan probabilitas bersyarat; teorema Bayes; distribusi umum termasuk normal, binomial, dan Poisson; dan gagasan tentang ekspektasi, korelasi, dan kovariansi. Kemudian beralih ke inferensi, seperti: pengambilan sampel, interval kepercayaan, pengujian hipotesis, dan arti dari nilai p, bersama dengan estimasi kemungkinan maksimum, yang mendasari banyak fungsi kerugian.

Pemikiran statistik juga melindungi kita dari menipu diri sendiri. Ini mengajarkan kita untuk bertanya apakah peningkatan itu nyata atau hanya noise, apakah sampel kita mewakili populasi, dan apakah korelasi menyiratkan sesuatu yang kausal. Kebiasaan ini sama pentingnya dengan rumus apa pun.

Siap untuk Melanjutkan Ketika

Kita dapat menjelaskan, dalam bahasa sederhana, apa itu gradien, mengapa aturan rantai penting untuk pelatihan, apa yang dilakukan perkalian matriks pada vektor, dan bagaimana menafsirkan distribusi dan interval kepercayaan. Alokasikan waktu dua hingga tiga bulan, idealnya diselingi dengan tahapan selanjutnya agar matematika tetap terhubung dengan kode. Banyak pelajar merasa konsep-konsep tersebut akhirnya dipahami ketika mereka melihat penerapannya di NumPy.

Langkah 3: Data Analysis (NumPy, Pandas, EDA)

NumPy

NumPy menyediakan komputasi berbasis array yang cepat, dan merupakan fondasi di balik hampir setiap library Python ilmiah lainnya. Pelajari cara membuat dan mengubah bentuk array, mengindeks dan memotongnya, serta melakukan operasi vektorisasi yang berlaku untuk seluruh array sekaligus alih-alih melakukan perulangan elemen demi elemen. Pahami broadcasting, yaitu aturan yang memungkinkan array dengan bentuk berbeda untuk digabungkan, karena aturan ini sering muncul dalam kode machine learning dan sering menjadi sumber bug yang halus. Berlatih mengimplementasikan operasi dasar seperti dot product, normalisasi, dan perhitungan jarak secara manual, karena ini memperkuat aljabar linier dari tahap sebelumnya.

Pandas

Pandas adalah alat standar untuk data tabular. Pelajari DataFrame dan Series, cara membaca data dari file dan database, serta cara memilih, memfilter, mengurutkan, dan mengelompokkannya. Kuasai operasi yang akan kita gunakan setiap hari, seperti: menangani nilai yang hilang, mengkonversi tipe data, menggabungkan dan menyatukan tabel, membentuk ulang dengan pivot, dan mengagregasi dengan groupby. Pelajari cara bekerja dengan tanggal dan kolom teks, yang umum dan terkadang rumit. Biasakan diri dengan gagasan bahwa membersihkan data adalah bagian pekerjaan yang sah dan membutuhkan keterampilan, bukan tugas yang harus diselesaikan terburu-buru.

Exploratory Data Analysis

Exploratory data analysis, atau EDA, adalah kebiasaan menginterogasi kumpulan data sebelum memodelkannya. Periksa bentuk dan jenis data, distribusi setiap variabel, jumlah dan pola nilai yang hilang, keberadaan outlier, dan hubungan antar variabel. Gunakan alat visualisasi seperti Matplotlib dan Seaborn untuk menggambar histogram, box plot, scatter plot, dan heatmap korelasi. Cari masalah yang akan merusak model di kemudian hari, seperti: baris duplikat, kategori yang tidak konsisten, kebocoran di mana informasi dari masa depan menyelinap ke dalam fitur, dan class yang tidak seimbang.

EDA yang baik diakhiri dengan pertanyaan dan hipotesis, bukan hanya grafik. Apa yang mendorong variabel target? Fitur mana yang terlihat berguna dan mana yang terlihat seperti noise? Apa yang akan menjadi baseline yang masuk akal? Menuliskan pengamatan ini melatih kita untuk mengkomunikasikan temuan, keterampilan yang sangat dihargai oleh pemberi kerja.

Siap untuk Melanjutkan Ketika

Kita dapat mengambil kumpulan data yang tidak dikenal, membersihkannya, mengeksplorasinya, memvisualisasikan pola-pola kunci, dan menulis ringkasan singkat dan jelas tentang apa yang kita temukan dan apa yang akan kita coba selanjutnya. Berikan waktu sekitar satu setengah hingga dua bulan.

Langkah 4: Machine Learning (Regresi, Decision Tree, SVM)

Sekarang pemodelan dimulai. Machine learningklasik tetap sangat berguna, terutama pada data tabular terstruktur di mana model yang lebih sederhana sering mengalahkan jaringan yang lebih dalam. Ini juga mengajarkan konsep inti, seperti generalisasi, overfitting, dan evaluasi, yang menjadi dasar setiap tahap selanjutnya.

Ide Inti

Mulailah dengan lanskap. Supervised learning menggunakan contoh berlabel untuk memprediksi hasil, dibagi menjadi regresi untuk target kontinu dan klasifikasi untuk kategori. Unsupervised learning menemukan struktur tanpa label, seperti dalam pengelompokan dan pengurangan dimensi. Pahami alur kerja standar: bagi data menjadi set pelatihan, validasi, dan pengujian; sesuaikan model pada data pelatihan; atur model pada data validasi; dan laporkan kinerja akhir pada set pengujian yang tidak tersentuh tepat sekali. Pahami overfitting, di mana model menghafal data pelatihan dan gagal pada contoh baru, dan underfitting, di mana model terlalu sederhana untuk menangkap pola. Hubungan bias-varians menghubungkan keduanya dan patut dipahami secara mendalam.

Regresi

Regresi linier adalah titik awal yang tepat karena sederhana, mudah diinterpretasikan, dan mengungkapkan mekanisme pembelajaran, seperti: sebuah model dengan parameter, fungsi kerugian yang mengukur kesalahan, dan metode optimasi yang menguranginya. Pelajari bagaimana model tersebut disesuaikan, bagaimana menginterpretasikan koefisien, dan di mana model tersebut mengalami kegagalan, misalnya dengan outlier atau fitur yang berkorelasi. Kemudian pelajari regresi logistik, yang meskipun namanya demikian, sebenarnya adalah metode klasifikasi, dan teknik regularisasi seperti ridge dan lasso yang mengontrol kompleksitas model.

Decision Tree dan Ensemble

Decision tree membagi data dengan serangkaian pertanyaan sederhana, yang membuatnya intuitif dan mudah dijelaskan. Pelajari bagaimana pohon memilih pembagian, mengapa pohon tunggal yang dalam mengalami overfitting, dan bagaimana pemangkasan dan batasan kedalaman membantu. Kemudian pelajari ensemble, di mana banyak model bergabung menjadi satu yang lebih kuat: hutan acak merata-ratakan banyak pohon yang dilatih pada subset acak, dan penguatan gradien membangun pohon secara berurutan untuk memperbaiki kesalahan sebelumnya. Library pohon yang ditingkatkan adalah salah satu alat terkuat yang tersedia untuk masalah tabular, dan mengetahuinya merupakan keuntungan praktis yang nyata.

Support Vector Machine

Support vector machine menemukan batas yang memisahkan kelas dengan margin seluas mungkin. Pelajari intuisi geometris, peran vektor pendukung, dan trik kernel, yang memungkinkan SVM menemukan batas nonlinier dengan secara implisit bekerja di ruang berdimensi lebih tinggi. Meskipun SVM kurang dominan daripada sebelumnya, mempelajarinya membangun intuisi tentang margin, kernel, dan regularisasi yang dapat diterapkan ke bidang lain.

Evaluasi dan Keterampilan Praktis

Pelajari cara memilih metrik yang sesuai dengan masalah. Akurasi menyesatkan pada data yang tidak seimbang, jadi pahami presisi, recall, skor F1, kurva ROC, dan AUC untuk klasifikasi, serta mean squared error dan mean absolute error untuk regresi. Gunakan cross-validation untuk mendapatkan estimasi yang stabil, dan pelajari rekayasa fitur, yaitu keterampilan menciptakan input informatif dari data mentah. Berlatihlah dengan scikit-learn, yang antarmuka konsistennya membuatnya ideal untuk pembelajaran. Terakhir, bangun beberapa proyek lengkap, seperti memprediksi harga rumah atau tingkat churn pelanggan, dan bandingkan beberapa model secara adil.

Siap untuk Melanjutkan Ketika

Kita dapat memilih model dan metrik yang tepat untuk masalah tabular, membangun pipeline yang tervalidasi, mendiagnosis overfitting, dan menjelaskan hasil kita kepada audiens non-teknis. Rencanakan selama dua hingga tiga bulan.

Langkah 5: Deep Learning (CNN, RNN, PyTorch)

Deep learning adalah mesin di balik AI modern, dari pengenalan gambar hingga model bahasa. Ia memperluas machine learning dengan neural network yang mempelajari fitur-fiturnya sendiri dari data mentah. Tahap ini adalah tempat fondasi matematika, pemrograman, dan ML kita bertemu.

Dasar-Dasar Neural Network

Mulailah dengan neuron tunggal dan kembangkan hingga jaringan multi-lapisan. Pahami bobot dan bias, fungsi aktivasi seperti ReLU dan sigmoid, dan mengapa nonlinieritas sangat penting. Pelajari siklus pelatihan secara konseptual, seperti: lintasan maju menghitung prediksi, fungsi kerugian mengukur kesalahan, backpropagation menghitung gradien menggunakan aturan rantai, dan pengoptimal memperbarui parameter. Pelajari pengoptimal dari penurunan gradien biasa hingga Adam, dan pahami laju pembelajaran, ukuran batch, dan epoch. Pelajari perangkat regularisasi, termasuk dropout, peluruhan bobot, normalisasi batch, dan penghentian dini, bersama dengan masalah praktis seperti gradien yang menghilang dan meledak.

Convolutional Neural Network

Convolutional neural network, atau CNN, dirancang untuk data berbentuk grid seperti gambar. Ide utamanya adalah konvolusi, sebuah filter kecil yang bergerak melintasi gambar untuk mendeteksi pola lokal seperti tepi dan tekstur, dengan lapisan yang lebih dalam menggabungkan pola-pola ini menjadi fitur-fitur kompleks. Pelajari tentang filter, stride, padding, dan pooling, serta pelajari arsitektur yang membentuk bidang ini, dari jaringan awal hingga jaringan residual, yang memperkenalkan skip connection yang membuat model yang sangat dalam dapat dilatih. Pahami transfer learning, di mana kita memulai dari model yang telah dilatih sebelumnya pada dataset besar dan mengadaptasinya untuk tugas kita, karena inilah cara sebagian besar pekerjaan visi praktis dilakukan.

Recurrent Neural Network

Recurrent neural network, atau RNN, memproses urutan dengan membawa keadaan tersembunyi ke depan melalui waktu, yang cocok untuk teks, audio, dan deret waktu. Pelajari cara kerjanya, mengapa RNN biasa kesulitan mengingat informasi jarak jauh, dan bagaimana sel LSTM dan GRU mengatasi hal ini dengan mekanisme gating. Meskipun transformer kini mendominasi banyak tugas pemrosesan sekuens, pemahaman tentang RNN memberi kita jembatan konseptual menuju perhatian dan menjelaskan mengapa transformer merupakan terobosan besar.

PyTorch

PyTorch adalah framework yang paling banyak digunakan dalam penelitian dan semakin banyak digunakan dalam produksi. Pelajari tensor dan operasinya, diferensiasi otomatis melalui autograd, membangun model dengan membuat subkelas dari kelas modul, memuat data secara efisien dengan dataset dan pemuat data, dan menulis loop pelatihan dan evaluasi yang lengkap. Pelajari cara memindahkan komputasi ke GPU, menyimpan dan memuat checkpoint, dan melacak eksperimen. Implementasikan jaringan sederhana dari awal di NumPy terlebih dahulu, kemudian bangun kembali di PyTorch, sehingga kita memahami apa yang diotomatiskan oleh framework tersebut.

Siap untuk Melanjutkan Ketika

Kita dapat membangun, melatih, dan mengevaluasi CNN pada dataset gambar dan model sekuens pada teks atau deret waktu di PyTorch, mendiagnosis proses pelatihan yang tidak konvergen, dan menjelaskan apa yang dilakukan backpropagation. Rencanakan selama tiga hingga empat bulan, karena tahap ini menghargai kesabaran dan eksperimen.

Langkah 6: Computer Vision (OpenCV, Deteksi, Segmentasi)

Computer vision mengajarkan mesin untuk menginterpretasikan gambar dan video. Ini adalah bidang terapan yang kaya, dan mempelajarinya akan memperdalam keterampilan deep learning kita sambil menghasilkan proyek visual yang dapat dibagikan dan menjadi bagian portofolio yang kuat.

OpenCV dan Dasar-Dasar Pengolahan Gambar

OpenCV adalah library standar untuk pengolahan gambar klasik. Pelajari bagaimana gambar direpresentasikan sebagai array nilai piksel, bagaimana ruang warna berbeda, dan bagaimana membaca, mengubah ukuran, memotong, dan menampilkan gambar dan video. Latih operasi dasar, seperti: penyaringan dan pengaburan, ambang batas, deteksi tepi, operasi morfologi, dan pencarian kontur. Meskipun deep learning telah menggantikan banyak teknik klasik, alat-alat ini tetap penting untuk pra-pemrosesan, augmentasi, dan prototipe cepat, dan alat-alat ini membangun intuisi tentang apa yang dipelajari neural network sendiri.

Klasifikasi, Deteksi, dan Segmentasi

Tugas visi membentuk tangga dengan detail yang semakin meningkat. Klasifikasi gambar menetapkan satu label untuk seluruh gambar. Deteksi objek menemukan dan memberi label pada beberapa objek dengan menggambar kotak pembatas di sekitarnya. Segmentasi melangkah lebih jauh, memberi label pada setiap piksel, baik berdasarkan kategori dalam segmentasi semantik atau dengan membedakan instance objek individual dalam segmentasi instance.

Untuk deteksi, pelajari keluarga utama: detektor dua tahap, yang pertama-tama mengusulkan wilayah dan kemudian mengklasifikasikannya, dan detektor satu tahap seperti keluarga YOLO, yang memprediksi kotak dan kelas dalam satu kali proses dan mengutamakan kecepatan. Pahami konsep-konsep yang muncul di mana-mana di bidang ini, termasuk anchor box, non-maximum suppression, dan ukuran evaluasi intersection over union dan mean average precision. Untuk segmentasi, pelajari arsitektur encoder-decoder seperti U-Net, yang sangat populer dalam pencitraan medis, dan pendekatan instance seperti Mask R-CNN.

Arah Modern

Transformator visi menerapkan mekanisme perhatian pada bagian gambar dan kini menyaingi atau melampaui CNN pada banyak tolok ukur. Pelajari dasar-dasarnya, bersama dengan gagasan model dasar untuk visi dan model multimodal yang menghubungkan gambar dan teks. Berlatihlah augmentasi data, alur kerja anotasi, dan realitas membangun dataset, karena kualitas label seringkali lebih penting daripada pilihan model.

Siap untuk Melanjutkan Ketika

Kita dapat menyempurnakan model deteksi atau segmentasi yang telah dilatih sebelumnya pada dataset khusus, mengevaluasinya dengan metrik yang tepat, dan menyajikan hasilnya secara visual. Berikan waktu sekitar dua bulan.

Langkah 7: Dasar-Dasar NLP (Tokenisasi, Transformer, BERT)

Natural language processing, atau NLP, adalah studi tentang bagaimana membuat mesin bekerja dengan bahasa manusia. Ini juga merupakan jalan masuk langsung ke large language model, sehingga konsep-konsep di sini langsung berlanjut ke tahap AI generatif.

Pra-pemrosesan Teks dan Tokenisasi

Model tidak dapat membaca teks mentah, jadi bahasa harus dikonversi menjadi angka. Tokenisasi membagi teks menjadi unit yang disebut token, yang mungkin berupa kata, karakter, atau potongan subkata. Sistem modern menggunakan skema subkata seperti pengkodean pasangan byte dan WordPiece, yang menyeimbangkan ukuran kosakata dengan kemampuan untuk merepresentasikan kata-kata langka dan yang belum pernah dilihat sebelumnya. Pelajari mengapa pilihan tokenisasi memengaruhi biaya, panjang konteks, dan perilaku model, termasuk kegagalan aneh pada ejaan, aritmatika, dan teks non-Inggris. Pahami juga pra-pemrosesan klasik seperti pengubahan huruf menjadi huruf kecil, kata-kata penghenti (stop words), dan stemming, dan kapan pendekatan modern membuatnya tidak perlu.

Embedding

Embedding merepresentasikan token, kalimat, atau dokumen sebagai vektor padat sehingga makna yang serupa berada berdekatan dalam ruang. Pelajari sejarahnya, mulai dari embedding kata seperti Word2Vec dan GloVe hingga embedding kontekstual dari model deep learning, di mana kata yang sama mendapatkan vektor yang berbeda tergantung pada konteksnya. Pahami kesamaan kosinus dan bagaimana embedding mendukung pencarian, pengelompokan, dan rekomendasi. Ide ini kembali berperan penting saat kita membangun sistem pengambilan informasi di kemudian hari.

Transformer

Arsitektur transformer, yang diperkenalkan dalam makalah tahun 2017 "Attention Is All You Need," adalah fondasi model bahasa modern. Mekanisme utamanya adalah self-attention, yang memungkinkan setiap token dalam suatu urutan untuk mempertimbangkan hubungannya dengan setiap token lainnya, menangkap ketergantungan jarak jauh yang sulit ditangani oleh RNN, dan memproses urutan secara paralel untuk pelatihan yang jauh lebih cepat. Pelajari query, kunci, dan nilai; multi-head attention; positional encoding, yang menyuntikkan urutan kata; lapisan feed-forward; koneksi residual; dan normalisasi lapisan. Kemudian pelajari tiga keluarga besar: model hanya encoder, model hanya decoder, dan model encoder-decoder. Menerapkan transformer kecil sendiri, mengikuti tutorial yang bagus, adalah salah satu investasi terbaik yang dapat Anda lakukan pada tahap ini.

Model BERT dan Encoder

BERT adalah transformer khusus encoder yang telah dilatih sebelumnya dengan memprediksi kata-kata bertopeng menggunakan konteks dari kedua arah, yang membuatnya sangat baik dalam memahami teks. Pelajari bagaimana pelatihan awal dan penyempurnaan bekerja bersama: sebuah model pertama-tama mempelajari pola bahasa umum dari korpus besar dan kemudian diadaptasi dengan kumpulan data berlabel kecil untuk tugas-tugas seperti analisis sentimen, pengenalan entitas bernama, dan menjawab pertanyaan. Berlatihlah menggunakan pustaka Hugging Face Transformers untuk menyempurnakan model bergaya BERT untuk klasifikasi teks, dan bandingkan dengan model dasar klasik sederhana sehingga kita mempelajari kapan model yang lebih berat layak digunakan.

Siap untuk Melanjutkan Ketika

Kita dapat menjelaskan cara kerja self-attention, melakukan tokenisasi dan penyematan teks, dan menyempurnakan encoder yang telah dilatih sebelumnya untuk tugas klasifikasi nyata. Rencanakan selama dua hingga tiga bulan.

Langkah 8: AI Generatif (LLM, Prompting, RAG)

Large Language Model

Pelajari bagaimana LLM dibuat. Pra-pelatihan pada koleksi teks yang luas mengajarkan model untuk memprediksi token berikutnya, yang memberinya pengetahuan luas dan kemampuan bahasa. Penyetelan instruksi terawasi mengajarkannya untuk mengikuti arahan, dan metode berbasis preferensi, seperti pembelajaran penguatan dari umpan balik manusia dan teknik terkait, mengarahkannya ke perilaku yang bermanfaat dan aman. Pahami kontrol praktisnya: context window, yang membatasi seberapa banyak teks yang dapat dipertimbangkan model; pengaturan pengambilan sampel seperti suhu dan top-p, yang menukar determinisme dengan variasi; dan implikasi biaya dan latensi token.

Sama pentingnya, pahami keterbatasannya. LLM dapat menyatakan hal-hal yang salah dengan percaya diri, perilaku yang biasa disebut halusinasi, pengetahuan mereka berhenti pada batas pelatihan, mereka dapat sensitif terhadap susunan kalimat perintah, dan mereka dapat mencerminkan bias dalam data pelatihan mereka. Membangun sistem yang andal sebagian besar berkaitan dengan mendesain untuk mengatasi kelemahan-kelemahan ini.

Prompting

Prompt engineering adalah praktik berkomunikasi secara jelas dengan model. Pelajari dasar-dasarnya: berikan instruksi yang jelas, berikan konteks yang relevan, tentukan format keluaran yang diinginkan, dan definisikan peran atau batasan. Pelajari pemberian perintah few-shot, di mana contoh-contoh menunjukkan tugas, dan teknik yang mendorong penalaran langkah demi langkah pada masalah yang lebih sulit. Pelajari cara meminta keluaran terstruktur seperti JSON yang dapat diuraikan oleh kode kita, dan untuk memisahkan instruksi dari input yang tidak tepercaya. Perlakukan perintah sebagai kode: buat versinya, uji terhadap serangkaian contoh tetap, dan ukur apakah perubahan benar-benar membantu. Prompting adalah keterampilan nyata, tetapi juga bukan sihir, dan bekerja paling baik bersamaan dengan pengambilan, alat, dan evaluasi.

Retrieval-Augmented Generation (RAG)

Retrieval-augmented generation, atau RAG, menghubungkan model dengan pengetahuan eksternal sehingga model tersebut menjawab dari dokumen spesifik, terkini, atau pribadi, bukan hanya dari memori. Alur kerjanya memiliki tahapan yang dapat dikenali. Pertama, masukkan dokumen dan bagi menjadi bagian-bagian dengan ukuran yang wajar. Kedua, ubah setiap bagian menjadi embedding dan simpan dalam database vektor atau indeks pencarian. Ketiga, pada saat pertanyaan diajukan, sematkan kueri dan ambil bagian-bagian yang paling mirip. Keempat, tempatkan teks yang diambil dalam prompt dan biarkan model menjawab, idealnya dengan kutipan ke sumbernya.

Sebagian besar masalah kualitas RAG berasal dari detailnya. Ukuran dan tumpang tindih bagian memengaruhi apakah bagian yang diambil lengkap dan relevan. Pencarian hibrida, yang menggabungkan kesamaan semantik dengan pencocokan kata kunci, seringkali lebih baik daripada salah satu metode saja. Pengurutan ulang hasil yang diambil dengan model yang lebih kuat meningkatkan presisi. Dan kita harus mengevaluasi dengan jujur: ukur apakah bagian yang tepat diambil dan apakah jawaban akhir sesuai dengan bagian tersebut. Pelajari tentang penyimpanan vektor dan pencarian tetangga terdekat perkiraan, dan praktikkan membangun sistem RAG dasar dari awal sebelum menggunakan kerangka kerja apa pun.

Siap untuk Melanjutkan Ketika

Kita dapat memanggil LLM melalui API, menulis dan menguji perintah yang menghasilkan keluaran terstruktur yang andal, dan membangun alur kerja RAG yang menjawab pertanyaan atas dokumen Anda sendiri dengan sumber. Berikan waktu dua hingga tiga bulan.

Langkah 9: Framework AI (LangChain, LlamaIndex, Hugging Face)

LangChain

LangChain adalah framework yang banyak digunakan untuk membangun aplikasi LLM. Framework ini menyediakan abstraksi untuk model, perintah, parser output, retriever, memori, dan alat, serta cara yang dapat dikomposisikan untuk menghubungkan ini ke dalam pipeline. Library pendampingnya, LangGraph, memodelkan aplikasi sebagai grafik stateful, yang cocok untuk agen yang melakukan perulangan, percabangan, dan pemulihan dari kesalahan. Pelajari cara membangun rantai pengambilan, menambahkan penggunaan alat, dan menyusun agen dengan alur kontrol eksplisit. Karena library ini berkembang dengan cepat, andalkan dokumentasi terbaru daripada tutorial lama, dan pertahankan pembungkus tipis kita sendiri di sekitar panggilan framework sehingga peningkatan tidak merusak segalanya.

LlamaIndex

LlamaIndex berfokus pada menghubungkan LLM ke data kita. Ia menawarkan loader untuk berbagai jenis dokumen, strategi pengindeksan, mesin kueri, dan alat untuk pola pengambilan data tingkat lanjut. Ia sangat kuat ketika tantangan utamanya adalah memasukkan dokumen yang berantakan dan heterogen serta mengambil data darinya secara akurat. Pelajari cara kerja konektor data, penguraian node, dan struktur indeksnya, dan bandingkan pendekatannya dengan pipeline yang dibuat secara manual untuk memahami kelebihan dan kekurangannya.

Hugging Face

Hugging Face adalah pusat utama ekosistem model terbuka. Pelajari Hub untuk menemukan model dan dataset, library Transformers untuk memuat dan menjalankan ribuan model pra-terlatih, library Datasets untuk penanganan data yang efisien, dan alat untuk penyempurnaan dan evaluasi parameter yang efisien. Spaces memungkinkan kita untuk menyebarkan demo cepat. Membaca kartu model mengajarkan kita untuk menilai lisensi model, data pelatihan, tujuan penggunaan, dan keterbatasannya sebelum mengandalkannya.

Memilih dengan Bijak

Seorang engineer yang berpengalaman memperlakukan framework sebagai alat, bukan identitas. Untuk sebuah prototipe, framework dapat menghemat waktu berhari-hari. Untuk sistem produksi dengan kebutuhan latensi, biaya, atau keandalan yang ketat, implementasi kustom yang lebih ramping mungkin lebih baik. Bangun aplikasi kecil yang sama dengan kedua cara setidaknya sekali, dan kita akan mendapatkan penilaian yang tidak dapat diberikan oleh tutorial mana pun.

Siap untuk Melanjutkan Ketika

Kita dapat membangun aplikasi RAG yang berfungsi dan agen yang menggunakan alat dengan setidaknya satu framework, memuat dan menjalankan model terbuka dari Hugging Face, dan menjelaskan apa yang dilakukan setiap abstraksi di baliknya. Rencanakan sekitar dua bulan.

Langkah 10: MLOps dan Deployment (CI/CD, Monitoring, Deployment)

Pengemasan dan Penyajian

Mulailah dengan membuat pekerjaan kita dapat direproduksi. Gunakan kontrol versi untuk kode, tetapkan dependensi, dan kontainerkan aplikasi dengan Docker sehingga berjalan identik di mesin mana pun. Pelajari cara menyajikan model di balik API, biasanya dengan framework web Python yang ringan, dan pahami perbedaan antara inferensi batch, inferensi waktu nyata, dan streaming. Untuk large language model, pelajari bahwa mesin inferensi khusus ada untuk memaksimalkan throughput dan mengurangi latensi, dan pahami konsep seperti batching, kuantisasi, dan caching, yang memengaruhi biaya.

CI/CD

Continuous integration dan continuous delivery mengotomatiskan pengujian dan rilis. Siapkan pipeline, misalnya dengan GitHub Actions, yang menjalankan pengujian dan linter pada setiap perubahan, membangun kontainer kita, dan menyebarkannya ketika pemeriksaan berhasil. Untuk machine learning, perluas pemikiran ini ke data dan model: validasi data yang masuk, jalankan rangkaian evaluasi sebelum mempromosikan model baru, dan pertahankan kemampuan untuk melakukan rollback dengan cepat. Pelajari pelacakan eksperimen dan registri model, dengan alat seperti MLflow atau Weights & Biases, sehingga kita selalu dapat menjawab data, kode, dan parameter mana yang menghasilkan model tertentu.

Target Deployment

Biasakan diri kita dengan setidaknya satu platform cloud dan layanan intinya untuk komputasi, penyimpanan, dan machine learning terkelola. Pelajari dasar-dasar Kubernetes, karena banyak organisasi mengatur layanan mereka dengannya, dan pahami opsi serverless untuk beban kerja ringan. Selalu pertimbangkan biaya, karena deployment GPU yang ukurannya tidak tepat dapat menghabiskan anggaran dengan sangat cepat.

Monitoring

Deployment adalah awal, bukan akhir. Pantau sistem seperti kita memantau layanan apa pun, lacak latensi, tingkat kesalahan, dan penggunaan sumber daya. Kemudian pantau risiko spesifik model. Pergeseran data terjadi ketika input yang dilihat model kita di lingkungan produksi berubah dari input yang digunakan saat pelatihan, dan pergeseran konsep terjadi ketika hubungan antara input dan hasil berubah. Lacak kualitas prediksi di mana label akhirnya tiba, dan kumpulkan umpan balik pengguna. Untuk aplikasi LLM, tambahkan pelacakan setiap langkah, pencatatan perintah dan respons dengan perawatan privasi yang sesuai, pelacakan biaya per permintaan, dan evaluasi berkala terhadap set pengujian untuk mendeteksi regresi setelah perubahan perintah atau model.

Siap untuk Melanjutkan Ketika

Kita dapat mengemas layanan model ke dalam kontainer, menyebarkannya ke cloud melalui pipeline otomatis, dan menyiapkan pemantauan yang akan memberi tahu kita jika kualitas atau latensi menurun. Berikan waktu dua hingga tiga bulan.

Langkah 11: Proyek Nyata (AI Agent, Aplikasi RAG, End-to-End)

Membangun AI Agent

AI agent adalah sistem di mana sebuah model memutuskan apa yang harus dilakukan selanjutnya, memanggil alat untuk bertindak, mengamati hasilnya, dan mengulanginya hingga tugas selesai. Mulailah dengan tujuan yang terfokus, seperti asisten peneliti yang mencari di web, membaca sumber, dan menyusun ringkasan yang dikutip, atau agen analis data yang menanyakan database dan menghasilkan grafik. Implementasikan loop inti sendiri terlebih dahulu, dengan antarmuka alat yang jelas, sehingga kita memahaminya, lalu secara opsional pindahkan ke dalam framework. Rancang batasan sejak awal: batasi alat mana yang dapat dipanggil oleh agen, perlukan konfirmasi sebelum tindakan yang tidak dapat dibatalkan, batasi jumlah langkah dan pengeluaran, dan catat semuanya. Evaluasi agen pada serangkaian tugas realistis, dan perhatikan mode kegagalan, karena agen dapat berulang, menyalahgunakan alat, atau mengikuti instruksi yang tersembunyi dalam konten yang tidak tepercaya.

Membangun Aplikasi RAG

Buat aplikasi tanya jawab atas koleksi dokumen nyata, seperti kebijakan perusahaan, dokumentasi teknis, atau korpus penelitian. Lebih dari sekadar demo, tambahkan hal-hal yang membuatnya tepercaya, seperti: kutipan sumber, cara untuk mengatakan "Saya tidak tahu" ketika pencarian tidak menemukan sesuatu yang relevan, pencarian hibrida dan pemeringkatan ulang, dan kumpulan evaluasi dengan pertanyaan, jawaban yang diharapkan, dan bagian yang harus diambil. Ukur kualitas pengambilan dan keakuratan jawaban secara terpisah, lalu lakukan iterasi pada pengelompokan, penyematan, dan petunjuk menggunakan pengukuran tersebut daripada intuisi. Tambahkan antarmuka pengguna sederhana agar orang lain dapat mencobanya.

Membangun Sistem End-to-End

Proyek end-to-end mencakup siklus hidup lengkap, seperti: mendefinisikan masalah, mengumpulkan dan membersihkan data, melatih atau mengadaptasi model, mengevaluasinya, membungkusnya dalam API, membangun antarmuka pengguna (front-end), mengemasnya dalam kontainer, menyebarkannya melalui pipeline CI/CD, dan memantaunya di lingkungan produksi. Domainnya bisa apa saja yang kita minati, seperti deteksi cacat berbasis gambar, pengklasifikasi dokumen, layanan peramalan permintaan, atau asisten khusus domain. Yang penting adalah kelengkapan dan kejujuran tentang kompromi. Dokumentasikan keputusan kita, eksperimen yang gagal, dan hasil terukur kita di README. Proyek seperti ini menunjukkan, lebih meyakinkan daripada daftar keterampilan apa pun, bahwa kita dapat mengelola sistem dari ide hingga produksi.

Mempresentasikan Karya Kita

Publikasikan kode kita di GitHub dengan instruksi yang jelas, sertakan video demo singkat atau aplikasi yang dihosting, dan tulis artikel singkat yang menjelaskan masalah, pendekatan, dan pelajaran yang didapat. Berkontribusilah pada proyek open source jika memungkinkan, karena membaca dan meningkatkan kode orang lain mempercepat pertumbuhan. Tiga proyek yang dipoles lebih baik daripada sepuluh proyek yang terbengkalai.

Siap untuk Melanjutkan Ketika

Kita memiliki setidaknya tiga proyek yang selesai, diimplementasikan, dan didokumentasikan, termasuk agen, aplikasi RAG, dan satu sistem ujung-ke-ujung yang lengkap. Berikan waktu tiga hingga empat bulan, berjalan paralel dengan pembelajaran sebelumnya jika memungkinkan.


Jadi, menjadi seorang AI engineer bukanlah lompatan tunggal, melainkan serangkaian langkah yang dapat dikelola. Pemrograman memberi kita sarana untuk membangun. Matematika memberi kita pemahaman untuk bernalar tentang mengapa sesuatu bekerja. Analisis data mengajarkan kita untuk menghargai bahan mentah. Machine learning dan deep learning memberi kita model. Visi komputer dan NLP menunjukkan model-model tersebut bekerja pada dua jenis data terkaya. AI generatif dan kerangka kerjanya menempatkan kita di pusat teknologi yang paling terlihat saat ini. MLOps membuat pekerjaan kita dapat diandalkan. Proyek membuktikan kemampuan kita.