Cara Kerja AI Agent? Penjelasan Lengkap tentang Loop, Alat, Memori, dan Perencanaan

Apa Itu AI Agent?

AI agent adalah sistem di mana model bahasa diberi tujuan, seperangkat alat, dan kebebasan untuk memutuskan, langkah demi langkah, apa yang harus dilakukan selanjutnya untuk mencapai tujuan tersebut. Ia mengamati hasil tindakannya sendiri dan menyesuaikan diri. Kata yang paling penting adalah "memutuskan." Chatbot menjawab satu pesan pada satu waktu. Program tradisional mengikuti langkah-langkah yang telah ditulis oleh pemrogramnya sebelumnya. Agen memilih langkah-langkahnya sendiri saat berjalan.

Chatbot, Workflow, dan Agen

Akan lebih mudah untuk menempatkan agen pada spektrum otonomi. Di satu ujung terdapat panggilan model bahasa sederhana, yaitu kita mengirimkan perintah, ia mengirimkan kembali teks. Di tengah terdapat workflow, istilah yang digunakan dalam postingan teknik Anthropic yang banyak dibaca tentang membangun agen yang efektif untuk menggambarkan sistem di mana model bahasa dan alat diatur melalui jalur kode yang telah ditentukan sebelumnya. Workflow dapat meringkas dokumen, kemudian menerjemahkan ringkasan tersebut, lalu mengirimkannya melalui email. Urutannya ditentukan oleh developer, meskipun model melakukan setiap langkah.

Di ujung yang lain terdapat agen yang sebenarnya, sistem di mana model secara dinamis mengarahkan proses dan penggunaan alatnya sendiri. Developer menyediakan tujuan, alat, dan batasan, tetapi bukan jalur yang tepat. Agen mungkin mencari di web tiga kali atau tiga puluh kali, menulis kode, menemukan kesalahan, menulis ulang kode, dan memutuskan bahwa itu sudah selesai, semuanya tanpa manusia yang mengatur langkah-langkah tersebut.

Tidak ada ujung yang lebih baik. Workflow lebih mudah diprediksi, lebih murah, dan lebih mudah diuji. Agen lebih fleksibel dan dapat menangani masalah terbuka di mana langkah-langkahnya tidak dapat diketahui sebelumnya. Aturan yang masuk akal adalah menggunakan desain paling sederhana yang memecahkan masalah, dan hanya menggunakan agen ketika tugas tersebut benar-benar membutuhkan fleksibilitas.

Empat Sifat yang Membuat Sesuatu Menjadi Agen

Empat sifat, jika digabungkan, membedakan sebuah agen. Ia mengejar tujuan daripada hanya menjawab satu perintah. Ia bertindak di dunia melalui alat daripada hanya menghasilkan teks. Ia memahami hasil tindakannya dan mengumpankannya kembali ke keputusan berikutnya. Dan ia beroperasi melalui beberapa langkah, memutuskan kapan pekerjaan selesai. Hilangkan salah satu dari ini dan kita akan kembali ke sesuatu yang lebih sederhana.

Anatomi AI Agent

Model: Mesin Penalaran

Di tengahnya terdapat large language model. Model ini membaca semua yang diketahui agen saat ini, memutuskan apa yang harus dilakukan selanjutnya, dan menghasilkan jawaban akhir atau permintaan untuk menggunakan alat. Model ini menyediakan pemahaman bahasa, pengetahuan umum, dan kemampuan untuk bernalar melalui masalah. Kualitas model sangat memengaruhi kualitas agen, karena setiap keputusan mengalir melalui model tersebut. Model yang lebih mumpuni cenderung merencanakan dengan lebih baik, pulih dari kesalahan dengan lebih anggun, dan menggunakan alat dengan lebih akurat, meskipun juga membutuhkan biaya lebih dan berjalan lebih lambat.

Penting untuk diingat apa yang bukan merupakan model. Model ini tidak menjalankan kode sendiri, menjelajahi web, atau mengingat apa pun di antara panggilan secara mandiri. Model ini menerima teks, mungkin gambar, dan menghasilkan teks. Semua hal lain yang tampaknya dilakukan agen dilakukan oleh sistem di sekitarnya.

Instruksi: Peran dan Aturan
Setiap agen dimulai dengan serangkaian instruksi, biasanya disampaikan sebagai perintah sistem. Instruksi ini mendefinisikan peran agen, tujuannya, nada yang harus digunakan, aturan yang harus diikuti, alat yang tersedia, dan kapan harus meminta bantuan daripada melanjutkan. Instruksi yang baik adalah cara termurah untuk meningkatkan agen. Instruksi tersebut memberi tahu model seperti apa hasil yang baik, apa yang dilarang, dan bagaimana menangani ambiguitas. Instruksi yang buruk menghasilkan agen yang berkeliaran, melampaui batas, atau berhenti terlalu cepat.

Alat: Tangan

Alat adalah fungsi yang dapat dipanggil agen untuk memengaruhi atau mempelajari dunia luar, seperti: mencari di web, menanyakan database, membaca dan menulis file, menjalankan kode, mengirim email, memanggil API, atau mengontrol browser. Tanpa alat, model hanya dapat berbicara. Dengan alat, model dapat bertindak. Kita akan memeriksa secara detail bagaimana pemanggilan alat bekerja di bagian selanjutnya, karena ini adalah mekanisme yang mengubah pembuatan teks menjadi tindakan.

Memori: Konteks

Agen perlu mengingat apa yang telah dilakukannya, apa yang telah dipelajarinya, dan apa yang diinginkan pengguna. Dalam kasus paling sederhana, memori ini hanyalah percakapan yang sedang berlangsung yang disimpan dalam context window model. Untuk pekerjaan yang lebih panjang atau lebih kompleks, agen juga menggunakan penyimpanan eksternal seperti file, database, dan indeks pencarian.

Lapisan Orkestrasi: Harness

Model tidak berjalan sendiri. Sebuah software biasa, yang sering disebut runtime agen atau harness, berada di sekitar model dan menggerakkan siklus. Software ini mengumpulkan konteks yang dilihat model, mengirimkannya ke model, menafsirkan respons, mengeksekusi panggilan alat apa pun, memberikan umpan balik hasil, memberlakukan batasan seperti jumlah langkah maksimum, menangani kesalahan, dan memutuskan kapan harus berhenti. Jika model adalah otak, harness adalah tubuh dan sistem saraf yang menghubungkan otak ke dunia. Sebagian besar perbedaan kualitas antara agen yang dibangun di atas model yang sama bergantung pada harness.

Guardrail: Batasan-batasan

Akhirnya, agen yang bertanggung jawab memiliki guardrail, seperti: sistem perizinan, lingkungan uji coba (sandbox), langkah-langkah persetujuan untuk tindakan berisiko, filter input dan output, batasan anggaran dan langkah, serta pemantauan. Ini menjaga sistem otonom tetap berada dalam batas aman, dan semakin penting seiring bertambahnya kekuatan agen.

Agent Loop: Bagaimana Agen Sebenarnya Berjalan

Kumpulkan, Bertindak, Amati, Ulangi

Loop ini memiliki ritme yang sederhana. Agen menerima sebuah tujuan. Ia melihat semua yang saat ini diketahuinya. Model kemudian memutuskan apa yang harus dilakukan selanjutnya, yaitu memanggil sebuah alat atau memberikan jawaban akhir. Jika ia memanggil sebuah alat, sistem akan menjalankannya dan mengembalikan hasilnya. Hasil tersebut ditambahkan ke konteks agen, dan model melihat lagi, sekarang mengetahui sedikit lebih banyak daripada sebelumnya. Siklus berulang hingga model memutuskan bahwa tujuan telah tercapai atau batas telah tercapai.

Versi minimal dari logika ini, yang ditulis dalam pseudocode yang disederhanakan, terlihat seperti ini:

messages = [system_prompt, user_goal]
for step in range(MAX_STEPS):
response = model(messages, tools=tool_definitions)
if response.tool_calls:
for call in response.tool_calls:
result = run_tool(call.name, call_arguments)
messages.append(tool_result(call.id, result))
else:
return response.text # agen memutuskan bahwa prosesnya telah selesai

Blok kecil itu menangkap esensi dari sebuah agen. Sistem nyata menambahkan penanganan kesalahan, pencatatan log, manajemen memori, pemeriksaan izin, dan banyak penyempurnaan, tetapi kerangka dasarnya adalah loop ini.

Contoh Kasus

Pertimbangkan seorang agen yang diminta untuk mencari tahu mengapa halaman pembayaran website gagal dan untuk mengusulkan perbaikan. Pada langkah pertama dalam loop, model tersebut beralasan bahwa ia harus melihat log kesalahan, jadi ia memanggil alat yang membaca log terbaru. Hasilnya menunjukkan batas waktu database. Pada langkah kedua, ia memutuskan untuk memeriksa kode yang menangani kueri pembayaran, jadi ia memanggil alat pembaca file. Ia memperhatikan indeks yang hilang. Pada langkah ketiga, ia menulis tes yang mereproduksi kelambatan dan menjalankannya dengan alat eksekusi kode, yang mengkonfirmasi masalah tersebut. Pada langkah keempat, ia merancang perbaikan dan menjalankan tes lagi, yang sekarang berhasil. Akhirnya, tanpa perlu panggilan alat lebih lanjut, ia mengembalikan ringkasan penyebab dan perubahan yang telah dilakukannya.

Tidak ada satu pun langkah tersebut yang diprogram oleh programmer. Agen memilih setiap langkah berdasarkan apa yang diungkapkan oleh langkah sebelumnya. Kualitas adaptif tersebut, yang merespons hasil saat tiba, adalah yang membuat agen menjadi ampuh dalam tugas-tugas yang tidak terbatas.

Pola ReAct

Banyak agen mengikuti pola yang disebut ReAct, singkatan dari reasoning and acting (penalaran dan tindakan), yang diperkenalkan dalam makalah penelitian tahun 2022. Dalam ReAct, model bergantian antara pemikiran, di mana ia bernalar tentang situasi saat ini dan memutuskan apa yang harus dilakukan, tindakan, di mana ia memanggil alat, dan pengamatan, di mana ia membaca hasilnya. Menuliskan penalaran sebelum bertindak meningkatkan keputusan dan juga membuat perilaku agen lebih mudah diperiksa dan di-debug. Model dan framework modern sering membangun pergantian ini, terkadang dengan penalaran terjadi dalam fase berpikir khusus daripada dalam teks yang terlihat, tetapi ide mendasar tentang menggabungkan pemikiran dan tindakan tetap menjadi inti.

Mengetahui Kapan Harus Berhenti

Memutuskan kapan harus berhenti adalah bagian yang sulit dalam loop ini. Agen yang berhenti terlalu cepat menghasilkan pekerjaan yang tidak lengkap. Agen yang tidak pernah berhenti menghabiskan uang dan waktu, terkadang berulang pada tindakan yang gagal yang sama. Oleh karena itu, sistem pengaman memberlakukan batasan ketat pada jumlah langkah, total token, atau waktu yang berlalu, dan instruksi yang dirancang dengan baik memberi tahu agen seperti apa "selesai" dan kapan harus menyerahkan kembali kepada manusia. Banyak kegagalan produksi bukanlah kesalahan dramatis tetapi loop senyap atau penghentian prematur, itulah sebabnya kondisi penghentian perlu dipertimbangkan sama seperti kemampuan.

Penalaran dan Perencanaan

Agen yang hanya bereaksi terhadap setiap hasil seringkali akan tersesat pada tugas-tugas kompleks. Penalaran dan perencanaan memberikan arah pada loop tersebut.

Penalaran Sebelum Bertindak

Model bahasa bekerja lebih baik pada masalah-masalah sulit ketika mereka menyelesaikannya secara bertahap daripada langsung menuju jawaban. Mendorong model untuk bernalar langkah demi langkah, teknik yang sering disebut rantai pemikiran, meningkatkan penanganannya terhadap masalah multi-bagian, dan banyak model saat ini dilatih untuk menghasilkan fase penalaran internal secara otomatis sebelum merespons atau memanggil alat. Bagi agen, penalaran ini adalah tempat ia mempertimbangkan alat mana yang akan digunakan, menafsirkan hasil yang ambigu, dan memperhatikan ketika ada sesuatu yang tidak sesuai.

Menguraikan Tujuan

Tujuan yang kompleks biasanya dipecah menjadi sub-tujuan yang lebih kecil. Beberapa agen melakukan ini secara eksplisit, menghasilkan rencana di muka, yaitu pertama mengumpulkan data, kemudian menganalisisnya, kemudian menyusun laporan, kemudian memeriksa angka-angka. Ini terkadang disebut plan-and-execute. Yang lain merencanakan secara implisit, memutuskan satu langkah pada satu waktu sambil tetap memperhatikan tujuan yang lebih besar. Rencana eksplisit memberikan struktur dan memungkinkan manusia meninjau pendekatan sebelum agen memulai, yang sangat berharga untuk pekerjaan yang mahal atau berisiko. Perencanaan implisit lebih fleksibel dan seringkali bekerja dengan baik ketika jalur tidak dapat diprediksi.

Perencanaan Ulang dan Self-Correction

Tugas nyata jarang berjalan sesuai rencana. Halaman web gagal dimuat, fungsi mengembalikan format yang tidak terduga, satu sumber bertentangan dengan sumber lain. Agen yang cakap memperhatikan penyimpangan ini dan menyesuaikan diri, meninggalkan pendekatan yang gagal dan mencoba yang lain. Teknik yang terkadang digambarkan sebagai refleksi membawa hal ini lebih jauh, yaitu agen mengkritik outputnya sendiri, mengidentifikasi kekurangan, dan merevisi. Dalam agen coding, bentuk koreksi diri yang sangat efektif hanyalah menjalankan pengujian dan membaca kegagalan, karena lingkungan memberikan umpan balik objektif. Semakin banyak agen dapat memeriksa pekerjaannya terhadap sesuatu yang nyata, seperti hasil pengujian, perhitungan, atau sumber yang diambil, semakin andal ia mengoreksi dirinya sendiri.

Di Mana Penalaran Gagal

Penting untuk bersikap jujur ​​tentang keterbatasan. Model dapat menghasilkan rencana yang masuk akal tetapi cacat, mengabaikan batasan, atau mengikuti alur penalaran yang terdengar meyakinkan tetapi salah. Model juga dapat memperparah kesalahan kecil di banyak langkah, sehingga kesalahan di awal tugas yang panjang dapat secara diam-diam merusak semua hal setelahnya. Inilah mengapa umpan balik dari lingkungan, titik pemeriksaan, dan tinjauan manusia sangat penting. Penalaran meningkatkan peluang, tetapi tidak menghilangkan kebutuhan akan verifikasi.

Alat: Bagaimana Agen Bertindak di Dunia

Jika penalaran adalah pikiran agen, maka alat adalah tangannya. Memahami cara kerja pemanggilan alat menghilangkan banyak misteri tentang bagaimana model penghasil teks dapat memesan penerbangan atau mengedit file.

Cara Kerja Pemanggilan Alat

Model tidak dapat mengeksekusi apa pun, jadi penggunaan alat adalah percakapan terstruktur antara model dan perangkat pendukung. Pertama, developer menjelaskan setiap alat yang tersedia kepada model, seperti: namanya, fungsinya, dan input yang diharapkan, biasanya dalam format terstruktur seperti skema JSON. Deskripsi ini ditempatkan dalam konteks.

Ketika model memutuskan bahwa suatu alat diperlukan, model tidak menjalankannya. Sebaliknya, model menghasilkan permintaan terstruktur, misalnya, panggilan ke alat pencarian dengan kueri sebagai argumen. Perangkat pendukung mendeteksi permintaan ini, memeriksa apakah diizinkan, mengeksekusi fungsi sebenarnya, dan menangkap outputnya. Kemudian, perangkat pendukung menambahkan output tersebut ke konteks sebagai hasil alat dan memanggil model lagi. Model, yang sekarang melihat hasilnya, memutuskan apa yang harus dilakukan selanjutnya. Dari sisi model, semuanya berupa teks masuk dan teks keluar. Dari sisi sistem, tindakan nyata terjadi di antaranya.

Desain ini menjelaskan beberapa perilaku. Inilah mengapa deskripsi alat sangat penting, karena model memilih alat berdasarkan seberapa baik pemahamannya. Inilah mengapa alat yang menghasilkan output yang berantakan atau sangat besar dapat mengganggu agen, karena output tersebut menjadi bagian dari apa yang harus dibaca oleh model. Dan inilah mengapa harness adalah tempat yang tepat untuk menegakkan izin, karena setiap tindakan melewatinya.

Kategori Umum Alat

Agen menggunakan berbagai macam alat. Alat pencarian memungkinkan mereka mencari informasi, baik dengan mencari di web atau menanyakan basis pengetahuan internal. Alat eksekusi kode memungkinkan mereka menjalankan program, melakukan perhitungan, menganalisis data, dan memverifikasi pekerjaan mereka sendiri. Alat file dan shell memungkinkan mereka membaca, menulis, dan mengatur file serta menjalankan perintah. Alat API memungkinkan mereka berinteraksi dengan sistem bisnis seperti kalender, email, tiket, pembayaran, dan catatan pelanggan. Browser dan alat penggunaan komputer memungkinkan mereka menavigasi website dan berinteraksi dengan aplikasi melalui layar, yang sangat berharga ketika tidak ada API yang bersih. Dan agen lain itu sendiri dapat menjadi alat, poin yang akan kita bahas kembali nanti.

Merancang Alat yang Baik

Karena model harus menggunakan alat dengan benar, desain alat sangat memengaruhi kualitas agen. Alat yang baik memiliki nama dan deskripsi yang jelas, tujuan yang sempit dan terdefinisi dengan baik, dan input yang sulit disalahgunakan. Alat tersebut mengembalikan hasil yang ringkas dan informatif daripada membuang data mentah, dan menghasilkan pesan kesalahan yang membantu yang memungkinkan agen untuk pulih daripada hanya gagal. Alat yang mengatakan "format tanggal tidak valid, diharapkan YYYY-MM-DD" memungkinkan agen untuk memperbaiki panggilannya. Alat yang mengembalikan kode kesalahan yang samar membuatnya menebak-nebak. Tim yang membangun agen yang serius sering menghabiskan lebih banyak waktu untuk menyempurnakan alat daripada menyempurnakan perintah.

Standar untuk Menghubungkan Alat

Menghubungkan alat dulunya berarti menulis integrasi khusus untuk setiap kombinasi model dan layanan. Model Context Protocol, atau MCP, menstandarkan hal ini. Server MCP mengekspos kemampuan layanan dalam format umum, dan agen yang kompatibel dengan MCP dapat menemukan dan menggunakannya. Ini memungkinkan agen untuk mendapatkan kemampuan baru, seperti membaca dari penyimpanan dokumen atau melakukan kueri database, dengan terhubung ke server yang ada daripada dengan rekayasa khusus. MCP adalah tentang menghubungkan agen dengan alat dan data, dan telah menjadi blok bangunan umum untuk sistem agen.

Memori: Bagaimana Agen Melacak Informasi

Memori adalah kunci keberhasilan atau kegagalan banyak agen. Sebuah model tidak memiliki memori permanen sendiri; ia hanya mengetahui apa yang ada dalam konteks yang diberikan pada setiap langkah. Semua yang "diingat" oleh agen adalah hasil rekayasa yang disengaja.

Memori Jangka Pendek: Context Window

Bentuk memori yang paling langsung adalah context window, yaitu jumlah teks yang dapat dipertimbangkan model sekaligus. Saat agen bekerja, percakapan, panggilan alat, dan hasil terakumulasi di sini. Ini berfungsi sebagai memori kerja, menyimpan status tugas saat ini. Context window telah menjadi besar, tetapi tidak tak terbatas, dan mengisinya memiliki biaya. Konteks yang lebih panjang berarti biaya yang lebih tinggi dan respons yang lebih lambat, dan model dapat kurang memperhatikan informasi yang terkubur di tengah konteks yang sangat panjang. Memperlakukan context window sebagai sumber daya yang langka, yang diisi dengan apa yang relevan, adalah disiplin inti yang kadang-kadang disebut rekayasa konteks.

Mengelola Konteks yang Berkembang

Tugas yang panjang pasti menghasilkan lebih banyak materi daripada yang dapat ditampung dengan nyaman. Agen menangani hal ini dengan beberapa cara. Pemadatan atau peringkasan memadatkan langkah-langkah sebelumnya menjadi ringkasan yang lebih singkat, mempertahankan keputusan dan temuan penting sambil membuang bagian yang tidak perlu. Retensi selektif menjaga hal-hal penting, seperti tujuan, batasan, dan hasil utama, selalu ada. Menghapus output alat lama yang tidak lagi dibutuhkan membebaskan ruang. Dan mendelegasikan sub-tugas ke sub-agen terpisah, masing-masing dengan konteks barunya sendiri, memungkinkan agen utama hanya menerima hasil yang telah disaring. Setiap pendekatan mengorbankan detail demi ruang gerak, dan pilihan yang buruk dapat menghilangkan sesuatu yang penting, seperti instruksi awal, sehingga desain yang cermat sangat penting.

Memori Jangka Panjang: Melampaui Satu Sesi

Untuk kontinuitas antar sesi, agen membutuhkan memori eksternal. Bentuk umum meliputi file yang dapat dibaca dan ditulis oleh agen, tempat ia menyimpan catatan, rencana, dan preferensi yang dipelajari; database yang menyimpan fakta terstruktur; dan penyimpanan vektor, yang mengindeks teks berdasarkan makna sehingga agen dapat mengambil bagian yang relevan melalui pencarian semantik. Teknik terkait, retrieval-augmented generation, mengambil dokumen yang relevan pada saat dibutuhkan dan menempatkannya dalam konteks, mendasarkan jawaban agen pada informasi spesifik dan terkini, bukan pada apa pun yang kebetulan dipelajari model selama pelatihan.

Para peneliti sering meminjam istilah dari memori manusia untuk menggambarkan lapisan-lapisan ini. Memori episodik mencatat apa yang terjadi dalam interaksi masa lalu. Memori semantik menyimpan fakta dan pengetahuan. Memori prosedural menangkap cara melakukan sesuatu, seperti instruksi yang tersimpan atau keterampilan yang dapat digunakan kembali. Analogi ini tidak sempurna, tetapi merupakan cara yang membantu untuk memikirkan apa yang harus disimpan oleh agen dan bagaimana cara mengambilnya.

Mengapa Memori Itu Sulit

Memori menghadirkan risiko tersendiri. Informasi yang diambil bisa jadi tidak relevan atau sudah usang. Catatan yang tersimpan bisa salah dan kemudian memperkuat kesalahannya sendiri. Data sensitif yang disimpan dalam memori menimbulkan kekhawatiran tentang privasi dan keamanan. Dan memutuskan apa yang harus diingat, apa yang harus dilupakan, dan kapan harus diambil kembali itu sendiri merupakan penilaian yang harus dilakukan dengan benar oleh sistem. Agen yang baik secara eksplisit menjelaskan pilihan-pilihan ini daripada berasumsi bahwa memori akan berfungsi dengan sendirinya.

Pola Orkestrasi: Dari Agen Tunggal hingga Tim

Agen dapat diatur dengan berbagai cara, tergantung pada tugasnya.

Pola Workflow

Beberapa pola yang terkenal berada di antara panggilan model tunggal dan agen yang sepenuhnya otonom. Rantai prompt memecah tugas menjadi urutan tetap, di mana output setiap langkah memberi masukan ke langkah berikutnya. Routing mengklasifikasikan input dan mengirimkannya ke penangan khusus. Paralelisasi menjalankan beberapa subtugas independen secara bersamaan, atau menjalankan tugas yang sama beberapa kali dan membandingkan hasilnya. Pola orkestrator-pekerja menggunakan model pusat untuk memecah tugas menjadi subtugas secara dinamis dan mendelegasikannya ke model pekerja, kemudian menggabungkan hasilnya. Pola evaluator-pengoptimal memasangkan satu model yang menghasilkan pekerjaan dengan model lain yang mengkritiknya, berulang hingga kualitasnya dapat diterima. Pola-pola ini menawarkan prediktabilitas yang lebih baik daripada agen yang bebas berkeliaran dan seringkali merupakan pilihan yang tepat ketika struktur tugas cukup dipahami.

Sistem Multi-Agen

Untuk pekerjaan yang kompleks, tim agen dapat berkolaborasi, masing-masing dengan peran khusus: peneliti, penulis, peninjau, pemrogram, penguji. Membagi pekerjaan dengan cara ini memiliki manfaat nyata. Setiap agen dapat memiliki serangkaian instruksi dan alat yang terfokus, konteks yang lebih kecil dan lebih bersih, serta keahlian di satu bidang. Subtugas dapat berjalan secara paralel, yang mempercepat pekerjaan besar. Dan satu agen dapat memeriksa pekerjaan agen lain, menangkap kesalahan yang mungkin terlewatkan oleh satu agen.

Desain multi-agen juga menambah biaya dan kompleksitas. Agen harus berkomunikasi, berbagi status, dan menghindari tindakan yang saling bertentangan. Kesalahan dapat berantai di antara mereka, dan men-debug sekumpulan agen lebih sulit daripada men-debug satu agen. Koordinasi mengkonsumsi token. Praktik yang baik adalah memulai dengan satu agen dan menambahkan lebih banyak hanya ketika manfaat yang jelas, seperti paralelisme atau isolasi konteks, membenarkannya.

Agen Lintas Organisasi

Ketika agen yang dibangun oleh tim atau perusahaan yang berbeda perlu bekerja sama, mereka membutuhkan cara bersama untuk saling menemukan dan bertukar pekerjaan. Protokol Agent2Agent, atau A2A, mengatasi hal ini dengan memungkinkan agen untuk mempublikasikan deskripsi kemampuannya dan menerima tugas dari agen lain tanpa mengekspos cara kerja internalnya. Jika MCP adalah cara agen mengambil alat-alatnya, A2A adalah cara agen berkomunikasi dengan rekan-rekannya. Satu alur kerja dapat menggunakan keduanya, yaitu satu agen mendelegasikan tugas ke agen lain melalui A2A, dan agen tersebut menggunakan MCP untuk memanggil alat-alat yang dibutuhkannya untuk menyelesaikan tugas tersebut.

Peran Manusia dalam Proses

Agen yang paling andal jarang sepenuhnya otonom. Para perancang menempatkan titik pemeriksaan di mana seseorang meninjau rencana, menyetujui tindakan penting, atau menjawab pertanyaan klarifikasi. Pengaturan umum memungkinkan agen untuk melanjutkan secara bebas pada langkah-langkah berisiko rendah, seperti membaca dan membuat draf, tetapi berhenti untuk persetujuan sebelum langkah-langkah yang tidak dapat dibatalkan, seperti mengirim pesan, membelanjakan uang, menghapus data, atau menerapkan kode. Pembagian ini menangkap sebagian besar efisiensi otomatisasi sambil tetap memberi kendali kepada manusia atas hal-hal yang penting.

Menjaga Keamanan dan Keandalan Agen

Memberikan sistem kemampuan untuk bertindak meningkatkan risiko setiap kesalahan, sehingga rekayasa keamanan dan keandalan merupakan bagian dari cara kerja agen, bukan sekadar tambahan.

Izin dan Sandboxing

Agen harus memiliki akses minimum yang mereka butuhkan. Kredensial harus dibatasi secara sempit, alat harus dibatasi pada tugas, dan operasi berisiko harus dijalankan di lingkungan terisolasi di mana kesalahan tidak dapat merusak sistem nyata. Menjalankan kode di dalam sandbox, misalnya, membatasi kerusakan jika agen menulis sesuatu yang berbahaya atau mengandung bug. Banyak harness juga mendukung mode izin yang menentukan tindakan mana yang berjalan secara otomatis dan mana yang memerlukan konfirmasi.

Injeksi Prompt dan Konten yang Tidak Terpercaya

Salah satu masalah keamanan terpenting bagi agen adalah injeksi prompt. Agen membaca konten dari email, halaman web, dokumen, dan sumber lainnya. Jika konten tersebut berisi instruksi tersembunyi, seperti teks yang memberi tahu agen untuk mengabaikan aturannya dan mengirim data pribadi ke suatu tempat, agen yang naif mungkin akan mematuhinya, karena bagi model tersebut, instruksi dan data hanyalah teks. Pertahanan berlapis, bukan sempurna, seperti: memperlakukan konten eksternal sebagai tidak tepercaya, memisahkan instruksi tepercaya dari materi yang diambil, membatasi tindakan yang dapat dilakukan agen sebagai respons terhadap input yang tidak tepercaya, memerlukan persetujuan untuk operasi sensitif, dan memantau perilaku mencurigakan. Siapa pun yang membangun atau menerapkan agen yang menyentuh konten yang tidak tepercaya harus berasumsi bahwa serangan ini akan dicoba.

Batasan, Anggaran, dan Pemantauan

Agen dapat meningkatkan biaya atau berulang tanpa batas, sehingga membatasi langkah, token, dan waktu. Observabilitas sama pentingnya. Merekam setiap langkah, penalaran model jika tersedia, setiap panggilan alat, dan setiap hasil menghasilkan jejak yang dapat diperiksa oleh para insinyur ketika terjadi kesalahan. Tanpa jejak, men-debug agen adalah tebakan, karena input yang sama dapat menghasilkan jalur yang berbeda pada eksekusi yang berbeda.

Mengevaluasi Agen

Menguji agen lebih sulit daripada menguji software konvensional karena perilakunya tidak sepenuhnya deterministik. Tim membangun serangkaian evaluasi tugas realistis dan mengukur apakah agen menyelesaikannya, berapa banyak langkah yang dibutuhkan, berapa biayanya, dan apakah tetap dalam batas yang ditentukan. Mereka tidak hanya memeriksa jawaban akhir tetapi juga lintasan, urutan keputusan, dan panggilan alat, karena agen dapat mencapai jawaban yang benar melalui jalur yang salah atau berisiko. Evaluasi reguler juga mendeteksi regresi ketika perintah, alat, atau model berubah. Karena hasilnya bervariasi dari satu percobaan ke percobaan lainnya, evaluasi biasanya menjalankan banyak percobaan daripada hanya satu.

Mode Kegagalan Umum

Mengetahui bagaimana agen gagal sama bermanfaatnya dengan mengetahui bagaimana mereka bekerja. Mereka dapat berhalusinasi, menyatakan fakta atau mengarang hasil alat yang tidak pernah dihasilkan. Mereka dapat menyalahgunakan alat dengan memberikan argumen yang salah atau memilih alat yang salah. Mereka dapat terjebak dalam perulangan, mengulangi tindakan yang gagal. Mereka dapat menyimpang dari tujuan selama tugas yang panjang, terutama setelah pemadatan konteks. Mereka dapat memperparah kesalahan, membangun langkah-langkah selanjutnya berdasarkan kesalahan awal. Mereka dapat melampaui batas, mengambil tindakan di luar apa yang dimaksudkan pengguna. Mereka dapat dimanipulasi oleh instruksi yang disuntikkan. Dan mereka dapat mahal dan lambat ketika tugas membutuhkan banyak langkah.

Sebagian besar kegagalan ini dapat dikurangi dengan praktik yang telah dijelaskan: instruksi yang jelas, alat yang dirancang dengan baik, berlandaskan data nyata, umpan balik objektif dari lingkungan, batasan langkah dan anggaran, titik pemeriksaan, persetujuan untuk tindakan berisiko, dan evaluasi yang cermat. Keandalan pada agen sebagian besar merupakan hasil dari rekayasa yang baik di sekitar model, bukan hanya model itu sendiri.

Agen dalam Praktik: Empat Contoh

Agen coding menerima tugas seperti memperbaiki bug atau menambahkan fitur. Alat-alatnya memungkinkannya untuk mencari dan membaca basecode, mengedit file, menjalankan perintah, dan mengeksekusi pengujian. Siklusnya bergantian antara mengumpulkan konteks, melakukan perubahan, dan memverifikasi dengan pengujian. Memorinya mencakup file yang telah dibacanya dan catatan proyek yang memberitahunya konvensi. Pembatasnya mencakup permintaan izin sebelum menjalankan perintah dan kemampuan untuk membatalkan pengeditan.

Agen penelitian menerima pertanyaan dan harus menghasilkan laporan yang bersumber. Alat-alatnya adalah pencarian web dan pembacaan halaman. Ia merencanakan serangkaian sub-pertanyaan, mencari masing-masing, membaca sumber, mencatat temuan, menyelesaikan konflik antar sumber, dan mensintesis hasilnya dengan kutipan. Ia dapat menghasilkan sub-agen untuk menyelidiki berbagai aspek secara paralel dan kemudian menggabungkan ringkasan mereka.

Agen dukungan pelanggan menangani pertanyaan dengan mencari akun pelanggan, memeriksa status pesanan, berkonsultasi dengan dokumen kebijakan melalui pencarian, dan menyelesaikan masalah atau meneruskannya ke manusia. Batasan yang dimilikinya membatasi pengembalian dana atau perubahan apa yang dapat diotorisasi tanpa persetujuan, dan mencatat setiap interaksi untuk keperluan audit.

Agen kerja berbasis pengetahuan beroperasi pada dokumen, spreadsheet, dan presentasi. Ia membaca file sumber, melakukan analisis di lingkungan sandbox kode, membangun hasil akhir, dan memeriksanya terhadap permintaan. Ia dapat berjalan di latar belakang pada tugas yang lebih panjang, melaporkan kembali ketika selesai atau ketika membutuhkan keputusan.

Dalam setiap kasus, arsitektur yang sama muncul, yaitu model, instruksi, alat, memori, perulangan, dan batasan. Yang berbeda adalah alat dan aturannya.

Membangun Agen Pertama Anda: Saran Praktis

Jika kita ingin membangun agen, beberapa prinsip akan menyelamatkan kita dari kesulitan. Mulailah dengan hal paling sederhana yang dapat berfungsi, seringkali hanya satu panggilan model atau alur kerja singkat, dan tambahkan otonomi hanya ketika tugas membutuhkannya. Mulailah dengan sejumlah kecil alat yang dirancang dengan baik daripada banyak alat yang asal-asalan. Tulis instruksi yang jelas yang mendefinisikan tujuan, batasan, dan kapan harus berhenti atau meminta bantuan. Jalankan loop sendiri dalam kode biasa setidaknya sekali sebelum mengadopsi kerangka kerja, sehingga kita memahami apa yang diabstraksikan oleh framework tersebut. Catat semuanya sejak awal. Bangun serangkaian evaluasi kecil dari tugas-tugas realistis sejak dini dan jalankan kembali setiap kali kita mengubah sesuatu. Berikan persetujuan di depan tindakan yang tidak dapat dibatalkan. Dan perlakukan apa pun yang berasal dari luar sebagai sesuatu yang tidak dapat dipercaya.

Framework seperti LangGraph, CrewAI, dan toolkit agen yang ditawarkan oleh penyedia model dapat mempercepat pengembangan, dan standar seperti MCP dapat menyederhanakan integrasi alat. Hal-hal tersebut bermanfaat, tetapi tidak menggantikan penilaian tentang desain tugas, kualitas alat, dan keamanan.

Batasan Saat Ini dan Jalan ke Depan

Agen saat ini sangat mengesankan dan tidak merata. Mereka dapat menyelesaikan tugas multi-langkah yang substansial dalam coding, penelitian, dan pekerjaan kantor, dan mereka berkembang pesat seiring model semakin baik dalam penalaran, penggunaan alat, dan penanganan konteks yang panjang. Mereka masih belum sempurna pada tugas-tugas yang membutuhkan cakupan waktu yang panjang tanpa kesalahan, penilaian yang tepat dalam kondisi ambiguitas, atau penanganan input yang merugikan secara andal. Biaya dan latensi masih penting, dan kepercayaan harus diperoleh melalui evaluasi daripada diasumsikan.

Arah kemajuan mengarah pada agen yang lebih mampu, lebih terhubung melalui standar terbuka seperti MCP dan A2A, dan lebih tertanam dalam perangkat lunak sehari-hari, bekerja di latar belakang dan berkolaborasi dengan agen lain dan dengan manusia. Pertanyaan desain utama kemungkinan akan tetap sama: berapa banyak otonomi yang harus diberikan, untuk tugas apa, dengan perlindungan apa. Menjawabnya dengan baik akan bergantung pada pemahaman yang tepat tentang mekanisme yang dijelaskan dalam artikel ini.


Jadi AI Agent adalah model bahasa yang ditempatkan di dalam sebuah loop, diberi instruksi, alat, dan memori, dan dipercaya, dalam batas tertentu, untuk memutuskan langkah selanjutnya sendiri. Ia mengumpulkan konteks, mempertimbangkan apa yang harus dilakukan, bertindak melalui alat, mengamati apa yang terjadi, dan mengulanginya hingga pekerjaan selesai. Semua hal yang mengesankan tentang agen muncul dari siklus sederhana itu yang dikombinasikan dengan rekayasa yang cermat: petunjuk yang baik, alat yang dirancang dengan baik, manajemen memori yang bijaksana, orkestrasi yang masuk akal, dan pengaman yang kuat.