| Tweet |
|
Topik:
|
6 Skill untuk Seorang AI EngineerOleh: Hobon.id (17/11/2026)
Seorang AI engineer adalah software engineer yang membangun produk di atas model dasar, bukan melatih model tersebut dari awal. Peran ini telah berkembang pesat dalam beberapa tahun terakhir, dan posisinya berbeda dari peran-peran lainnya. Seorang data scientist sebagian besar berfokus pada analisis dan pemodelan statistik, dan seorang machine learning engineer biasanya melatih, mengoptimalkan, dan menerapkan model. Seorang AI engineer mengambil model pra-terlatih yang mumpuni, biasanya diakses melalui API, dan mengubahnya menjadi sesuatu yang andal yang dapat digunakan oleh orang-orang nyata, seperti: asisten dukungan yang menjawab dari dokumen perusahaan, alat penelitian yang membaca dan menganalisis lebih dari seribu halaman, agen yang melakukan tindakan di beberapa sistem.Apa yang dibutuhkan untuk pekerjaan itu bukanlah misteri, tetapi mudah untuk melakukan kesalahan dalam hal tertentu. Sangat mudah untuk membangun demo yang terlihat mengesankan selama lima menit. Jauh lebih sulit untuk membangun sesuatu yang tetap akurat, terjangkau, dan cepat setelah pengguna nyata dan data nyata datang. Enam area skill dalam panduan ini adalah area yang menutup kesenjangan tersebut, dan semuanya tersusun secara alami, yaitu: vector stack untuk menemukan informasi, retrieval dan konteks untuk menggunakannya dengan baik, orkestrasi untuk menghubungkan langkah-langkah, lapisan agen untuk memungkinkan sistem bertindak, evaluasi untuk mengetahui apakah ada yang berhasil, dan operasi untuk menjaga agar tetap berfungsi di lingkungan produksi. Advertisement:
Bagaimana Enam Skill Saling MelengkapiAkan lebih mudah untuk melihat gambaran keseluruhan sebelum melihat bagian-bagiannya. Empat skill pertama berkaitan dengan membangun sistem. Vector stack dan retrieval menentukan informasi apa yang mencapai model. Orkestrasi menentukan bagaimana langkah-langkah diurutkan dan dirutekan. Lapisan agen menentukan seberapa besar otonomi yang dimiliki sistem. Dua skill terakhir berkaitan dengan mempercayai sistem. Evaluasi memberi tahu kita apakah sistem tersebut benar-benar baik, dan operasi memberi tahu kita apa yang dilakukannya, berapa biayanya, dan seberapa cepat responsnya setelah berjalan. Kelompok kedua adalah area di mana banyak pemula paling lemah, dan di mana pemberi kerja semakin mencarinya. Sebuah analisis terhadap beberapa ratus lowongan pekerjaan AI engineer menemukan bahwa evaluasi disebutkan di lebih dari setengahnya, yang merupakan angka yang mencolok untuk skill yang hampir tidak muncul dalam tutorial pengantar. Pola ini konsisten di antara bagaimana praktisi berpengalaman menggambarkan pekerjaan tersebut, yaitu membangun versi pertama adalah bagian yang mudah, dan skill yang menentukan karier adalah kemampuan untuk mengukur, men-debug, dan memperbaikinya. 1. Vector StackHampir setiap aplikasi AI modern yang bekerja dengan informasi pribadi atau informasi baru dimulai dari sini. Vector stack adalah seperangkat teknologi yang memungkinkan sistem menemukan materi yang relevan berdasarkan makna, bukan berdasarkan kata-kata yang tepat, dan memiliki tiga bagian, yaitu: embedding yang merepresentasikan teks sebagai angka, database yang menyimpan dan mencarinya, dan strategi pencarian yang menggabungkan pengambilan berdasarkan makna dan kata kunci. EmbeddingEmbedding adalah daftar angka, biasanya ratusan atau beberapa ribu, yang merepresentasikan makna dari sepotong teks, gambar, atau konten lainnya. Model embedding dilatih sehingga item dengan makna serupa berada berdekatan dalam ruang numerik ini, yang berarti kita dapat menemukan bagian yang relevan dengan mengukur jarak antara vektor untuk pertanyaan dan vektor untuk dokumen kita, biasanya dengan kesamaan kosinus. Keahlian di sini kurang berkaitan dengan matematika dan lebih banyak tentang penilaian yang terkait dengannya. Memilih model embedding melibatkan pertimbangan antara kualitas, dimensi, biaya, kecepatan, cakupan bahasa, dan kesesuaian domain, dan tolok ukur umum tidak selalu memprediksi kinerja pada data spesifik kita, jadi menguji kandidat pada pertanyaan kita sendiri adalah bagian dari pekerjaan. Chunking, yang berarti bagaimana kita membagi dokumen sebelum melakukan embedding, sama pentingnya dengan model itu sendiri: chunk yang terlalu kecil kehilangan konteks, chunk yang terlalu besar mengurangi makna, dan fakta yang terbagi di suatu batas mungkin tidak akan pernah diambil secara utuh. Detail praktis juga penting. Banyak model embedding mengharapkan penanganan yang berbeda untuk kueri dan dokumen, beberapa mendukung pemendekan vektor untuk menghemat penyimpanan dengan sedikit penurunan kualitas, dan mengganti model di kemudian hari berarti melakukan embedding ulang seluruh korpus kita, sehingga pilihan tersebut memiliki konsekuensi jangka panjang. Database VektorDatabase vektor menyimpan embedding dan menjawab satu pertanyaan dengan cepat, yaitu vektor mana yang tersimpan yang paling dekat dengan vektor ini? Mencari miliaran vektor secara tepat akan terlalu lambat, jadi sistem ini menggunakan indeks tetangga terdekat perkiraan, dengan grafik HNSW sebagai yang paling umum, yang mengorbankan sedikit akurasi untuk peningkatan kecepatan yang besar. Pilihannya berkisar dari sistem khusus seperti Pinecone, Qdrant, Weaviate, dan Milvus, hingga ekstensi yang menambahkan pencarian vektor ke database yang mungkin sudah kita jalankan, terutama pgvector untuk PostgreSQL. Yang perlu dipahami oleh seorang AI engineer bukanlah katalog produk, tetapi realitas operasional. Pengaturan indeks mengontrol trade-off antara recall dan latensi yang kita sesuaikan dengan data kita sendiri. Pemfilteran metadata, seperti membatasi hasil ke pelanggan tertentu, rentang tanggal, atau jenis dokumen, sangat penting dalam aplikasi nyata dan berperilaku berbeda di berbagai sistem. Pembaruan, penghapusan, dan multi-tenancy memengaruhi kinerja indeks dari waktu ke waktu, dan penggunaan memori meningkat seiring dengan skala, di sinilah teknik kompresi seperti kuantisasi berperan. Bagi banyak tim, memulai dengan database yang sudah mereka operasikan adalah langkah yang masuk akal, dan beralih ke sistem khusus hanya ketika skala atau fitur membutuhkannya. Pencarian Semantik dan HibridaPencarian semantik mencocokkan berdasarkan makna, yang merupakan kekuatan utama dan kelemahan karakteristiknya. Ia memahami bahwa "laptop tidak mau menyala" berkaitan dengan bagian tentang kerusakan catu daya, tetapi dapat mengaburkan pengidentifikasi yang tepat seperti kode kesalahan, SKU produk, nama, dan jargon langka. Pencarian kata kunci, biasanya algoritma BM25 klasik, memiliki profil yang berlawanan: tepat pada istilah yang tepat, buta terhadap parafrase. Pencarian hibrida menjalankan keduanya dan menggabungkan hasilnya, biasanya menggunakan penggabungan peringkat timbal balik, yang memberi penghargaan pada dokumen yang berperingkat baik di salah satu daftar. Banyak sistem produksi kemudian menambahkan langkah perankingan ulang, di mana model cross-encoder membaca kueri dan setiap kandidat secara bersamaan dan memberi skor ulang jauh lebih tepat daripada yang dapat dilakukan oleh retriever tahap pertama. Kombinasi antara pengambilan hibrida dan perankingan ulang ini telah menjadi standar dasar untuk sistem yang serius, dan mengetahui cara membangun, menyetel, dan mengukurnya adalah salah satu keterampilan paling berharga di lapisan ini. 2. RAG dan KonteksRetrieval-Augmented Generation (RAG) adalah praktik mengambil informasi yang relevan pada saat pertanyaan diajukan dan menempatkannya dalam prompt model, sehingga jawaban didasarkan pada data kita, bukan pada apa pun yang dihafal model selama pelatihan. Versi dasar mudah dibangun. Area keterampilan ini mencakup segala sesuatu di luar versi dasar, dan tentang disiplin mengelola apa yang masuk ke dalam perhatian model yang terbatas. Retrieval Tingkat LanjutRAG dasar gagal dengan cara yang dapat diprediksi, dan setiap kegagalan memiliki solusi yang diketahui. Ketika pertanyaan dirumuskan sangat berbeda dari dokumen, transformasi kueri membantu: menulis ulang pertanyaan, menghasilkan jawaban hipotetis untuk dicari, atau menguraikan pertanyaan kompleks menjadi pertanyaan yang lebih sederhana. Ketika potongan informasi kehilangan maknanya di luar konteks, teknik seperti melampirkan deskripsi singkat yang peka terhadap dokumen ke setiap potongan sebelum mengindeksnya dapat secara substansial mengurangi kegagalan pengambilan, sebuah pendekatan yang hasilnya telah dipublikasikan oleh Anthropic. Ketika bagian yang benar ditemukan tetapi terkubur dalam tumpukan hasil yang hampir salah, pengurutan ulang dan pengelompokan induk-anak, yang mengambil potongan kecil tetapi menyediakan lingkungan yang lebih besar ke model, akan membawanya ke atas. Dan ketika materi yang ditemukan memang buruk, pemeriksaan korektif yang mengevaluasi kualitas pengambilan dan kembali ke sumber lain menambahkan jaring pengaman. Skill yang mendasarinya adalah diagnostik. Masalah pengambilan dan masalah generasi tampak serupa dari luar, karena keduanya menghasilkan jawaban yang buruk, tetapi memiliki perbaikan yang berbeda. Belajar memisahkan keduanya, dengan memeriksa apa yang telah diambil sebelum menyalahkan model, adalah yang membuat area ini dapat diatasi. GraphRAGPengambilan vektor memperlakukan potongan sebagai pulau-pulau terisolasi, yang membuatnya lemah pada pertanyaan yang bergantung pada hubungan atau yang meminta sintesis di seluruh korpus. GraphRAG mengatasi hal ini dengan menggunakan model bahasa untuk mengekstrak entitas dan relasi dari dokumen ke dalam grafik pengetahuan, mengelompokkan grafik ke dalam komunitas, dan meringkas setiap komunitas, sehingga pertanyaan multi-hop spesifik dan pertanyaan luas "apa tema utamanya" dapat dijawab dari struktur tersebut. Ini sangat ampuh untuk domain yang kaya akan relasi seperti data hukum, kepatuhan, ilmiah, dan organisasi. Namun, GraphRAG juga mahal untuk dibangun, karena pengindeksan membutuhkan banyak panggilan model bahasa, dan penelitian menunjukkan bahwa ini bukan peningkatan universal: untuk pencarian fakta yang sederhana, pengambilan vektor biasa seringkali sama baiknya dengan biaya yang jauh lebih rendah. Keahlian seorang AI engineer di sini adalah mengetahui kapan jenis pertanyaan tersebut membenarkan penggunaan grafik. Manajemen Long-ContextModel modern menerima input yang sangat besar, yang menggoda orang untuk melewatkan pengambilan data sepenuhnya dan langsung memasukkan semuanya. Hal ini biasanya berakibat buruk karena tiga alasan. Biaya dan latensi meningkat seiring dengan ukuran input. Akurasi menurun seiring dengan terisinya konteks dengan materi yang tidak relevan, dan penelitian tentang apa yang disebut efek "tersesat di tengah" menemukan bahwa model menggunakan informasi di awal dan akhir perintah yang panjang dengan lebih andal daripada informasi yang terkubur di tengah. Dan semakin banyak materi yang kita sertakan, semakin besar peluang terjadinya gangguan atau kontradiksi. Oleh karena itu, mengelola konteks dengan baik merupakan disiplin rekayasa tersendiri, yang kadang-kadang disebut context engineering. Ini termasuk memilih hanya apa yang relevan, mengurutkannya dengan sengaja, mengompres atau meringkas riwayat percakapan yang panjang, memangkas output alat yang besar, dan menjaga awalan yang stabil di awal perintah sehingga caching perintah di sisi penyedia dapat mengurangi biaya dan latensi pada panggilan berulang. Konteks panjang sebaiknya diperlakukan sebagai kapasitas yang kita gunakan dengan hati-hati, bukan sebagai pengganti pengambilan data yang baik. 3. Pipeline dan OrkestrasiAplikasi nyata jarang hanya terdiri dari satu panggilan model. Aplikasi tersebut merangkai beberapa langkah, seperti: mengklasifikasikan permintaan, mengambil informasi, memanggil model, memvalidasi output, dan mungkin memanggil model lain untuk memperbaikinya. Orkestrasi adalah keterampilan merancang, menghubungkan, dan mengontrol langkah-langkah tersebut sehingga sistem secara keseluruhan dapat diandalkan. ChainingPrompt chaining memecah tugas menjadi serangkaian langkah yang lebih sederhana, masing-masing ditangani oleh panggilan model terfokus yang outputnya memberi makan langkah berikutnya. Pipeline dokumen mungkin mengekstrak fakta-fakta kunci, kemudian menyusun ringkasan dari fakta-fakta tersebut, lalu memeriksa ringkasan tersebut terhadap sumbernya. Chaining membuat perilaku lebih mudah diprediksi daripada meminta satu prompt besar untuk melakukan segalanya, karena setiap langkah lebih mudah untuk ditentukan, diuji, dan di-debug. Keterampilan terkait penting di sini: memaksa output terstruktur dengan skema sehingga hasil satu langkah dapat diuraikan secara andal oleh langkah berikutnya, memvalidasi output antar langkah, dan membangun percobaan ulang dan fallback untuk saat panggilan gagal atau mengembalikan sesuatu yang salah format. RoutingRouting mengirimkan setiap permintaan melalui jalur yang paling sesuai. Sebuah router dapat membedakan antara pertanyaan faktual sederhana, yang hanya membutuhkan satu kali pengambilan data, dengan perhitungan yang membutuhkan alat bantu, dan keluhan yang harus diteruskan ke petugas yang berwenang. Router itu sendiri dapat berupa pengklasifikasi berbasis aturan, model kecil, atau model bahasa yang diminta untuk memilih di antara berbagai opsi. Routing juga mendasari pengendalian biaya, karena memungkinkan model yang murah dan cepat untuk menangani permintaan yang mudah sambil menyimpan model yang mahal untuk kasus-kasus sulit. Kegagalan yang umum terjadi adalah router yang dengan percaya diri mengirimkan permintaan ke tempat yang salah, itulah sebabnya keputusan perutean harus dicatat dan dievaluasi seperti komponen lainnya. LangChain, LlamaIndex, dan Kapan Menggunakan FrameworkDua nama mendominasi ekosistem ini. LlamaIndex dimulai sebagai toolkit untuk menghubungkan model bahasa dengan data, dan tetap sangat kuat dalam hal penyerapan data, pengindeksan, dan pipeline kueri. LangChain menyediakan blok bangunan serbaguna untuk rantai dan integrasi, dan library LangGraph yang terkait memodelkan alur kerja sebagai grafik stateful dengan percabangan, perulangan, dan persistensi, yang cocok untuk alur yang lebih kompleks atau berjalan lama. Rilis utama LangChain baru-baru ini membangun kembali abstraksi agennya di atas LangGraph, yang mencerminkan arah tersebut. Framework lain, seperti Pydantic AI, ada untuk para insinyur yang lebih menyukai desain yang aman tipe dan lebih ringan. Seorang AI engineer yang berpengalaman memperlakukan framework sebagai alat, bukan identitas. Framework menghemat waktu pada pola umum dan menyediakan integrasi dan kait pelacakan yang berguna, tetapi juga menambahkan abstraksi, dan abstraksi dapat mengaburkan apa yang sebenarnya dikirim ke model. Salah satu panduan yang banyak dibagikan dari tim teknik Anthropic adalah untuk memulai dengan memanggil API model secara langsung, karena banyak pola hanya membutuhkan beberapa baris kode, dan mengadopsi framework hanya ketika framework tersebut jelas layak digunakan. Mengetahui pola-pola yang mendasarinya, seperti chaining, routing, parallelization, dan evaluator loops, lebih penting daripada mengetahui sintaks satu library saja, karena library berubah dengan cepat sedangkan pola-pola tersebut tidak. 4. Lapisan AgenAgen adalah sistem di mana model bahasa memutuskan, langkah demi langkah, apa yang harus dilakukan selanjutnya, menggunakan alat untuk bertindak di dunia dan mengamati hasilnya sebelum memutuskan lagi. Ini adalah kategori yang berbeda dari pipeline tetap, di mana developer membuat skrip urutan langkah-langkah sebelumnya. Agen lebih fleksibel dan lebih mampu pada tugas-tugas terbuka, dan mereka juga kurang dapat diprediksi, lebih mahal, dan lebih sulit untuk diuji. Penggunaan AlatPenggunaan alat, juga disebut pemanggilan fungsi, adalah mekanisme yang memungkinkan model meminta tindakan, seperti: mencari basis pengetahuan, menanyakan database, memanggil API, menjalankan kode, mengirim pesan. Developer mendeskripsikan setiap alat dengan nama, deskripsi, dan skema untuk inputnya, model memutuskan kapan harus memanggilnya dan dengan argumen apa, dan aplikasi mengeksekusi panggilan dan mengembalikan hasilnya. Kualitas deskripsi alat sangat penting, karena berfungsi sebagai petunjuk yang mengajarkan model kapan dan bagaimana menggunakan setiap alat. Skill di bidang ini meliputi perancangan alat-alat kecil yang terdefinisi dengan baik dengan pesan kesalahan yang jelas, penanganan kegagalan yang elegan, dan menjaga tindakan berbahaya di balik konfirmasi atau izin yang ketat. Model Context Protocol, atau MCP, telah menjadi standar yang diadopsi secara luas untuk menghubungkan agen ke alat eksternal dan sumber data, dan sebagian besar framework agen utama sekarang mendukungnya, yang berarti alat yang dibangun sekali dapat digunakan kembali di berbagai aplikasi. Keakraban dengan MCP, baik menggunakan server yang ada maupun membangun sendiri, sekarang menjadi harapan umum. Loop PerencanaanPola agen inti adalah loop: model mempertimbangkan tujuan, memilih tindakan, mengamati hasilnya, dan mengulanginya hingga tugas selesai. Variasinya meliputi perencanaan di awal dan kemudian mengeksekusi rencana, menggabungkan penalaran dan tindakan langkah demi langkah, dan merefleksikan hasil sementara untuk mengoreksi arah. Framework seperti LangGraph, OpenAI Agents SDK, Claude Agent SDK, dan Google Agent Development Kit semuanya mengelola mekanisme status, panggilan alat, dan percobaan ulang. Tantangan rekayasanya adalah kontrol. Agen dapat berulang tanpa henti, memanggil alat yang salah berulang kali, atau memperburuk kesalahan kecil di awal menjadi kesimpulan yang salah besar. Pengamanan praktis meliputi batasan langkah dan anggaran, kondisi penghentian yang jelas, penyimpanan status sehingga tugas yang panjang dapat dilanjutkan setelah gagal, persetujuan manusia untuk tindakan konsekuensial, dan pelacakan terperinci sehingga kita dapat melihat apa yang sebenarnya dilakukan agen. Keamanan layak mendapat perhatian khusus, karena konten yang dibaca agen, seperti halaman web atau dokumen, dapat berisi instruksi yang dirancang untuk membajaknya. Orkestrasi Multi-AgenSistem multi-agen membagi pekerjaan di antara beberapa agen khusus, yang dikoordinasikan oleh seorang pengawas, saling meneruskan tugas melalui serah terima, atau bekerja secara paralel pada bagian-bagian terpisah dari suatu masalah. Daya tariknya nyata, yaitu setiap agen dapat memiliki perintah yang terfokus dan seperangkat alat yang terbatas, dan sub-agen paralel dapat mengeksplorasi masalah besar lebih cepat dan menjaga catatan kerja mereka agar tidak saling memengaruhi konteks. Biayanya juga nyata, termasuk lebih banyak panggilan model, lebih banyak tempat untuk salah komunikasi, dan debugging yang lebih sulit. Aturan yang baik adalah memulai dengan satu agen, atau bahkan alur kerja sederhana, dan memperkenalkan beberapa agen hanya ketika satu agen terbukti kesulitan, misalnya karena konteksnya kelebihan beban atau tugas-tugasnya benar-benar dapat dipisahkan. 5. Evaluasi dan PengujianEvaluasi adalah praktik mengukur apakah suatu sistem AI baik, dan ini adalah skill yang paling membedakan seorang penghobi dari seorang profesional. Keluaran model bahasa bersifat probabilistik dan terbuka, sehingga pengujian tradisional yang memeriksa kecocokan persis tidak berfungsi, dan "tampak baik ketika saya mencobanya" tidak akan bertahan saat berinteraksi dengan pengguna nyata. Tanpa evaluasi sistematis, setiap perubahan pada perintah, model, atau pengaturan pengambilan adalah sebuah perjudian, dan kita tidak dapat mengetahui apakah kita telah meningkatkan sistem atau diam-diam merusaknya. Golden DatasetGolden dataset adalah kumpulan input representatif yang dikurasi dan dipasangkan dengan output yang diharapkan atau kriteria penilaian, dan merupakan dasar dari segalanya. Golden dataset yang baik dibangun dari penggunaan nyata sedapat mungkin, seperti kueri produksi yang diambil sampelnya, tiket dukungan, dan kasus kegagalan yang diketahui, dan secara sengaja mencakup kasus-kasus ekstrem, pertanyaan ambigu, input yang merugikan, dan pertanyaan yang seharusnya ditolak oleh sistem untuk dijawab. Beberapa lusin contoh berkualitas tinggi adalah permulaan yang baik, dan beberapa ratus lebih baik, mencakup berbagai kategori permintaan yang ditangani aplikasi kita. Dataset ini harus diberi versi seperti kode, diperluas setiap kali ditemukan kegagalan baru, dan dijaga kejujurannya dengan melibatkan pakar domain dalam pemberian label. Kualitas dataset ini membatasi kualitas setiap evaluasi yang dibangun di atasnya. LLM-as-a-JudgeBanyak kualitas jawaban, seperti kebermanfaatan, nada, atau apakah ringkasan mencakup poin-poin utama, tidak dapat diperiksa dengan aturan sederhana, dan peninjauan manusia tidak dapat diukur. LLM sebagai penilai menggunakan model untuk menilai output model lain berdasarkan rubrik, dan ini telah menjadi teknik standar. Menggunakannya dengan baik membutuhkan keterampilan. Rubrik harus spesifik dan terurai, menanyakan satu kriteria pada satu waktu daripada skor keseluruhan yang samar. Perbandingan berpasangan, di mana penilai memilih jawaban yang lebih baik dari dua jawaban, seringkali lebih andal daripada skor absolut. Para juri memiliki bias yang diketahui, termasuk lebih menyukai jawaban yang lebih panjang, lebih menyukai jawaban yang muncul pertama, dan lebih menyukai hasil dari keluarga model mereka sendiri. Oleh karena itu, praktik yang baik mencakup pengacakan urutan, menggunakan model yang berbeda sebagai juri, dan yang terpenting, melakukan kalibrasi terhadap label manusia pada sampel untuk mengukur seberapa baik juri tersebut sesuai dengan pendapat orang lain. Juri yang belum kita validasi hanyalah sebuah opini, bukan pengukuran. Kesetiaan, Relevansi, dan RecallUntuk sistem retrieval-based, beberapa metrik telah menjadi kosakata standar, yang dipopulerkan oleh framework open-source Ragas. Kesetiaan menanyakan apakah jawaban tersebut benar-benar didukung oleh konteks yang diambil, yang merupakan cara kita mendeteksi halusinasi. Relevansi jawaban menanyakan apakah jawaban tersebut menjawab pertanyaan yang diajukan. Di sisi retrieval, ingatan konteks menanyakan apakah bagian yang diambil berisi informasi yang dibutuhkan, dan ketepatan konteks menanyakan seberapa banyak dari apa yang diambil sebenarnya berguna. Ini membagi pertanyaan "mengapa jawaban ini buruk?" menjadi bagian-bagian yang dapat didiagnosis: ingatan konteks rendah menunjukkan masalah retrieval, sementara ingatan tinggi dengan kesetiaan rendah menunjukkan masalah generasi. Alat-alat seperti Ragas, DeepEval, promptfoo, dan TruLens mengimplementasikan metrik ini, dan platform seperti Langfuse, Arize Phoenix, LangSmith, dan MLflow menggabungkan evaluasi dengan pelacakan. Evaluasi BerkelanjutanEvaluasi bukanlah latihan sekali saja sebelum peluncuran. Evaluasi berkelanjutan berarti menjalankan rangkaian pengujian kita secara otomatis setiap kali ada perubahan pada perintah, versi model, pengaturan pengambilan data, atau indeks, sehingga regresi dapat terdeteksi sebelum mencapai pengguna, seperti halnya pengujian unit pada software konvensional. Ini juga berarti menilai sampel lalu lintas produksi langsung, karena pengguna sebenarnya menanyakan hal-hal yang tidak diantisipasi oleh kumpulan data kita, dan memasukkan kegagalan yang baru ditemukan kembali ke dalam kumpulan data acuan. Penyedia model memperbarui dan menghentikan penggunaan model, sehingga aplikasi yang berfungsi dengan baik pada kuartal lalu dapat mengalami penurunan kinerja tanpa mengubah satu baris kode pun. Tim yang memperlakukan evaluasi sebagai siklus berkelanjutan, bukan hanya daftar periksa peluncuran, adalah tim yang dapat meningkatkan sistem mereka dengan percaya diri. 6. Operasi dan PemantauanAplikasi AI yang sudah beroperasi adalah sistem dengan karakteristik operasional yang tidak biasa: perilakunya tidak deterministik, biayanya meningkat seiring penggunaan dengan cara yang mengejutkan, dan kegagalannya seringkali halus, menghasilkan output yang lancar tetapi salah daripada pesan kesalahan. Mengoperasikannya dengan baik membutuhkan visibilitas terhadap apa yang dilakukannya, kontrol atas biayanya, dan perhatian pada seberapa cepat responsnya. PelacakanPelacakan mencatat jalur lengkap setiap permintaan melalui sistem, seperti: kueri yang masuk, setiap pengambilan dan apa yang dikembalikannya, setiap panggilan model dengan perintah dan respons yang tepat, setiap pemanggilan alat, dan jawaban akhir, beserta waktu dan jumlah token di setiap langkah. Tanpa ini, men-debug sistem AI hanyalah tebakan, karena bug mungkin ada di pengambilan, di perintah, di alat, atau di penalaran model, dan kita tidak dapat mengetahui yang mana hanya dari jawaban akhir saja. Pelacakan kini berkonvergensi pada OpenTelemetry, yang sekarang memiliki konvensi semantik khusus untuk AI generatif, dan alat-alat seperti Langfuse, Arize Phoenix, LangSmith, dan Helicone dibangun untuknya. Praktik yang baik mencakup pencatatan versi prompt dan model sehingga perubahan perilaku dapat dilacak penyebabnya, menangkap sinyal umpan balik pengguna, dan menyunting data pribadi atau sensitif sebelum disimpan. Optimalisasi BiayaBiaya dalam aplikasi AI terutama didorong oleh token, dan dapat meningkat dengan cepat, terutama dengan agen yang melakukan banyak panggilan per tugas. Pengungkit utamanya sudah dipahami dengan baik. Caching prompt mengurangi biaya dan latensi awalan yang berulang, yang membuatnya berharga untuk prompt sistem yang besar dan stabil serta konteks bersama. Routing model mengirimkan permintaan yang mudah ke model kecil dan murah dan hanya meningkatkan permintaan yang sulit ke model yang lebih besar. Pemrosesan batch, yang ditawarkan oleh beberapa penyedia dengan harga diskon, cocok untuk pekerjaan yang tidak memerlukan jawaban segera. Memangkas konteks, membatasi panjang output, menyimpan jawaban untuk pertanyaan yang berulang, dan memilih model yang lebih kecil untuk tugas-tugas sempit seperti klasifikasi semuanya berkontribusi. Prinsip dasar di baliknya adalah atribusi: melacak biaya per permintaan, per fitur, dan per pelanggan, sehingga kita tahu ke mana uang itu mengalir sebelum memutuskan apa yang perlu dioptimalkan. Karena setiap pengurangan biaya berisiko mengurangi kualitas, rangkaian evaluasi kita adalah yang memberi tahu kita apakah konfigurasi yang lebih murah masih cukup baik. Optimasi LatensiPengguna menilai produk AI berdasarkan seberapa cepat yang mereka rasakan, dan latensi dalam sistem ini berasal dari beberapa sumber, seperti: overhead jaringan, pengambilan dan pemeringkatan ulang, dan yang terpenting adalah waktu pembuatan model, yang meningkat seiring dengan panjang output. Teknik yang efektif meliputi: streaming respons sehingga pengguna melihat output secara langsung, yang secara dramatis meningkatkan kecepatan yang dirasakan bahkan ketika total waktu tidak berubah; menjalankan langkah-langkah independen secara paralel daripada berurutan; mempersingkat perintah dan output; menggunakan model yang lebih kecil dan lebih cepat jika kualitas memungkinkan; caching; dan menetapkan batas waktu dengan mekanisme cadangan sehingga ketergantungan yang lambat tidak menghentikan seluruh permintaan. Alur kerja agenik layak mendapat perhatian khusus, karena banyak panggilan model berurutan akan melipatgandakan penundaan. Seperti halnya biaya, optimasi latensi merupakan pertimbangan antara kualitas dan kinerja, dan harus dipandu oleh pengukuran, dengan memperhatikan bagian permintaan yang lambat dan bukan hanya rata-ratanya. Advertisement:
Cara Membangun Skill IniCara paling efektif untuk mempelajari stack ini adalah dengan membangun satu proyek yang menyentuh keenam area tersebut, dan menahan godaan untuk berhenti pada tahap demo. Kandidat yang baik adalah asisten tanya jawab atas koleksi dokumen nyata. Mulailah dengan menyematkan dan mengindeks dokumen, lalu tambahkan pengambilan hibrida dan pemeringkatan ulang. Bungkus alur kerja dalam layanan dengan routing antara beberapa jenis permintaan, dan tambahkan sejumlah kecil alat. Kemudian, yang terpenting, bangun kumpulan data emas dari pertanyaan nyata, beri skor sistem dengan metrik pengambilan dan pembuatan, dan jalankan pengujian tersebut secara otomatis setiap kali kita mengubah sesuatu. Terakhir, tambahkan pelacakan, tampilan biaya per permintaan, dan caching, dan ukur apa yang dilakukan setiap perubahan terhadap kualitas, biaya, dan kecepatan. Proyek yang dibangun dengan cara ini lebih meyakinkan daripada demo yang lebih mencolok, karena menunjukkan kebiasaan yang penting dalam praktik: mengukur sebelum mengoptimalkan, mendiagnosis sebelum memperbaiki, dan memperlakukan kualitas sebagai sesuatu yang dapat kita demonstrasikan daripada sekadar pernyataan. Perangkat di bidang ini berubah dengan cepat, dan pustaka spesifik yang disebutkan di sini akan terus berkembang, tetapi keterampilan mendasar—menemukan informasi yang tepat, mengelola konteks, menyusun langkah-langkah, mengendalikan otonomi, mengukur kualitas, dan mengoperasikan sistem secara bertanggung jawab—adalah bagian yang tahan lama. Jadi, rekayasa AI adalah disiplin ilmu membangun produk yang andal di atas model yang mumpuni namun tidak sempurna, dan keterampilan intinya membentuk stack yang koheren. Stack vektor memberi sistem kemampuan untuk menemukan informasi yang relevan berdasarkan makna dan kata kunci. Teknik RAG dan konteks memastikan bahwa informasi digunakan dengan baik dalam batasan perhatian model. Pipeline dan orkestrasi menyusun langkah-langkah menjadi alur kerja yang dapat diandalkan, dan lapisan agen memperluasnya dengan alat, perencanaan, dan, jika dibenarkan, beberapa agen yang bekerja sama. Evaluasi memberi tahu kita apakah semua ini berhasil, dan operasi menjaganya agar tetap berfungsi, terlihat, terjangkau, dan cepat setelah orang-orang nyata bergantung padanya. Artikel Terkait:
|