Apa itu Algoritma Pencarian?

Sejarah Singkat: Bagaimana Algoritma Pencarian Muncul

Pada tahun-tahun awal World Wide Web, mesin pencari seperti AltaVista, Lycos, dan Yahoo mencoba menjawab kueri dengan sistem pencocokan teks yang relatif sederhana. Mereka akan melihat seberapa sering istilah pencarian muncul di halaman dan seberapa menonjolnya istilah tersebut dalam metadata halaman, dan menggunakan sinyal tersebut untuk memberi peringkat hasil. Metode ini dapat dipahami mengingat keadaan teknologi yang primitif pada saat itu, tetapi sangat mudah dieksploitasi. Penerbit web dengan cepat mempelajari bahwa dengan memasukkan penyebutan kata kunci berulang ke dalam halaman — praktik yang sekarang disebut pengisian kata kunci — mereka dapat mengelabui mesin pencari untuk memberi peringkat halaman berkualitas rendah atau sama sekali tidak relevan untuk pencarian populer.

Kualitas hasil pencarian pada era itu, menurut standar modern, buruk. Menemukan konten yang benar-benar bermanfaat membutuhkan upaya dan keberuntungan yang signifikan. Mesin pencari dominan kalah dalam permainan kucing-dan-tikus melawan para manipulator lebih cepat daripada kemampuan mereka untuk meningkatkan sistem mereka.

Inilah konteks di mana dua mahasiswa pascasarjana Stanford, Larry Page dan Sergey Brin, mulai mengembangkan apa yang kemudian menjadi Google pada tahun 1996. Larry Page dan Sergey Brin mengembangkan PageRank di Universitas Stanford pada tahun 1996 sebagai bagian dari proyek penelitian untuk mempertimbangkan jenis mesin pencari baru yang berbeda dari pemain dominan saat itu seperti AltaVista milik DEC. Sergey Brin memiliki gagasan bahwa informasi di web dapat diurutkan dalam hierarki berdasarkan "popularitas tautan", yaitu sebuah halaman memiliki peringkat lebih tinggi jika ada lebih banyak tautan ke halaman tersebut.

Wawasan ini dipinjam dari analisis kutipan akademis — praktik mengukur pengaruh sebuah makalah ilmiah dengan menghitung berapa banyak makalah lain yang mengutipnya. Page dan Brin menerapkan logika yang sama ke web: sebuah halaman yang ditautkan oleh banyak halaman lain mungkin lebih penting dan lebih tepercaya daripada halaman yang hanya ditautkan oleh sedikit halaman. Dan tautan dari halaman yang sangat penting memiliki bobot lebih besar daripada tautan dari halaman yang tidak dikenal. Logika rekursif dan saling memperkuat ini adalah dasar dari PageRank, dan secara fundamental mengubah kemampuan algoritma pencarian.

Kebangkitan Google sebagian besar disebabkan oleh algoritma yang dipatenkan bernama PageRank yang membantu memberi peringkat halaman web yang sesuai dengan string pencarian tertentu. Pendiri Google, Larry Page, merujuk karya Li sebagai kutipan dalam beberapa paten AS-nya. Ketika Google diluncurkan secara publik pada tahun 1998, perbedaan kualitas antara hasil pencariannya dan hasil pencarian para pesaingnya langsung terlihat oleh pengguna. Ketergantungan algoritma pada analisis tautan sebagai proksi untuk otoritas menghasilkan hasil yang jauh lebih baik daripada pencocokan kata kunci murni, dan pertumbuhan Google sejak saat itu berlangsung cepat dan berkelanjutan.

Selain PageRank, Google, selama bertahun-tahun, telah menambahkan banyak kriteria rahasia lainnya untuk menentukan peringkat halaman hasil pencarian. Hal ini dilaporkan terdiri dari lebih dari 250 indikator berbeda, yang detailnya dirahasiakan untuk menghindari kesulitan yang ditimbulkan oleh penipu dan membantu Google mempertahankan keunggulan atas para pesaingnya secara global. Lintasan ekspansi dan penyempurnaan yang berkelanjutan ini tidak melambat — malah semakin cepat, terutama dengan diperkenalkannya machine learning ke dalam proses pemeringkatan.

Tiga Tahap Cara Kerja Mesin Pencari

Untuk memahami di mana algoritma peringkat berada dalam proses pencarian yang lebih luas, ada baiknya memahami tiga tahap berbeda yang digunakan setiap mesin pencari untuk menghubungkan pengguna dengan konten, yaitu perayapan, pengindeksan, dan pemeringkatan.

Tahap Pertama: Perayapan

Setelah Google menemukan URL suatu halaman, ia dapat mengunjungi (atau "merayap") halaman tersebut untuk mencari tahu apa yang ada di dalamnya. Kami menggunakan sejumlah besar komputer untuk merayap miliaran halaman di web. Program yang melakukan pengambilan data disebut Googlebot (juga dikenal sebagai crawler, robot, bot, atau spider). Googlebot menggunakan proses algoritmik untuk menentukan situs mana yang akan dirayap, seberapa sering, dan berapa banyak halaman yang akan diambil dari setiap situs.

Tahap perayapan adalah tempat Google menemukan keberadaan halaman web. Googlebot dimulai dengan serangkaian URL yang dikenal dan mengikuti tautan yang ditemukannya di halaman-halaman tersebut untuk menemukan yang baru, membangun peta web yang terus berkembang. Ia mengunjungi halaman, membaca kontennya, mengikuti tautannya, dan melaporkan kembali ke server Google — terus menerus, sepanjang waktu. Crawler Google juga diprogram sedemikian rupa sehingga mereka berusaha untuk tidak merayapi situs terlalu cepat untuk menghindari kelebihan beban. Mekanisme ini didasarkan pada respons situs (misalnya, kesalahan HTTP 500 berarti "perlambat"). Namun, Googlebot tidak merayapi semua halaman yang ditemukannya. Beberapa halaman mungkin dilarang untuk dirayapi oleh pemilik situs, halaman lain mungkin tidak dapat diakses tanpa masuk ke situs tersebut.

Tahap ini diatur oleh crawl budget atau anggaran perayapan, yaitu jumlah halaman yang akan dirayapi Google pada situs tertentu dalam periode waktu tertentu. Situs dengan banyak halaman, waktu pemuatan yang lambat, atau tautan internal yang buruk mungkin mendapati bahwa tidak semua halamannya dirayapi secara teratur. Inilah salah satu alasan mengapa SEO teknis penting: situs yang mudah dirayapi Googlebot secara efisien akan mendapatkan lebih banyak kontennya yang diindeks dan dipertimbangkan untuk peringkat.

Tahap Kedua: Pengindeksan

Setelah merayapi sebuah halaman, Google memproses dan menyimpan apa yang ditemukannya dalam database besar yang disebut indeks pencarian. Konten yang terdapat dalam URL diberi tag dengan atribut dan metadata yang membantu mesin pencari mengkategorikan konten tersebut. Indeks pada dasarnya adalah representasi Google tentang web — catatan terstruktur tentang apa yang terkandung dalam setiap halaman yang dirayapi, tentang apa isinya, dan berbagai sinyal tentang kualitas dan otoritasnya.

Selama proses perayapan, Google merender halaman dan menjalankan JavaScript apa pun yang ditemukannya menggunakan versi Chrome terbaru, mirip dengan cara browser kita merender halaman yang kita kunjungi. Ini penting bagi pembuat dan developer website: konten yang dimuat melalui JavaScript dan tidak ada dalam HTML awal mungkin tidak diindeks jika proses rendering Google tidak dapat mengeksekusinya dengan benar. Situs yang sangat bergantung pada JavaScript untuk menampilkan konten harus memastikan situs tersebut sepenuhnya dapat dirender oleh Googlebot.

Berada dalam indeks adalah prasyarat untuk muncul dalam hasil pencarian — halaman yang belum dirayapi dan diindeks tidak dapat berperingkat untuk apa pun, terlepas dari seberapa bagus kontennya. Inilah mengapa memeriksa status pengindeksan situs kita melalui Google Search Console merupakan bagian mendasar dari manajemen website.

Tahap Tiga: Pemeringkatan

Pemeringkatan adalah tempat kompleksitas algoritma sepenuhnya berperan. Ketika seseorang melakukan pencarian, Google melihat indeksnya dan memutuskan halaman mana yang akan ditampilkan — dan dalam urutan apa. Algoritma berperan pada titik ini untuk menampilkan halaman yang kemungkinan besar relevan dan bermanfaat bagi pencari.

Tahap pemeringkatan mengevaluasi setiap halaman yang diindeks yang secara masuk akal dapat menjawab pertanyaan dan menetapkan posisinya dalam hasil berdasarkan ratusan sinyal yang saling berinteraksi. Sinyal-sinyal ini mencakup kualitas konten, pengalaman halaman, otoritas, personalisasi, dan banyak dimensi lainnya. Hasilnya adalah search engine results page (SERP) yang kita lihat, yaitu daftar berperingkat yang mewakili penilaian terbaik Google tentang halaman mana yang paling bermanfaat bagi orang tertentu yang mengajukan pertanyaan tertentu pada saat tertentu.

AI dan Lanskap Pencarian yang Berkembang

Pergeseran paling signifikan dalam pencarian saat ini adalah integrasi AI generatif ke dalam pengalaman pencarian itu sendiri. Fitur AI Overviews Google — yang menyediakan jawaban ringkasan yang dihasilkan AI di bagian atas banyak halaman hasil pencarian — mewakili perubahan mendasar dalam cara pengguna berinteraksi dengan hasil pencarian, dan memiliki implikasi mendalam terhadap cara algoritma pencarian akan beroperasi di masa mendatang.

Di luar Google, antarmuka pencarian alternatif berbasis AI — Perplexity, pencarian ChatGPT, Microsoft Copilot, dan Gemini — menarik audiens yang semakin besar, terutama untuk kueri yang intensif riset. Masing-masing sistem ini menggunakan modelnya sendiri untuk mengevaluasi konten web mana yang akan ditampilkan, tetapi sinyal yang mereka hargai serupa dengan Google, yaitu keahlian yang jelas, informasi yang akurat, konten yang terstruktur dengan baik, dan sinyal otoritas yang kuat seperti tautan dan kutipan.

Bagi pemilik website, implikasi praktis dari era pencarian AI adalah bahwa optimasi tidak dapat dilakukan hanya pada tingkat kata kunci dan meta tag individual. Hal ini membutuhkan pembangunan otoritas topikal yang autentik — cakupan komprehensif dan saling terkait dari topik yang diminati audiens kita — dan memastikan konten kita terstruktur dengan cukup jelas agar sistem AI dapat memahami dan mengutip secara akurat. Markup skema, hierarki judul yang jelas, organisasi konten yang logis, dan akurasi faktual lebih penting dari sebelumnya.

Jadi, algoritma pencarian bukanlah misteri yang harus dipecahkan atau permainan yang harus dimainkan. Ini adalah sistem canggih dengan tujuan yang jelas, yaitu menghubungkan orang dengan informasi yang mereka butuhkan, yang disajikan oleh sumber yang paling tepercaya dan berwibawa yang tersedia. Google merilis pembaruan algoritmanya, rata-rata, enam kali per hari — itu hingga 2.000 kali per tahun. Evolusi yang konstan bukanlah hal yang sembarangan — ini adalah upaya berkelanjutan untuk menutup kesenjangan antara apa yang dapat dievaluasi oleh algoritma dan seperti apa kualitas yang sebenarnya.