Pengindeksan Situs Web Untuk Mesin Pencari: Bagaimana Cara Kerjanya?
Pengindeksan situs web adalah salah satu langkah pertama (setelah perayapan) dalam proses bagaimana halaman web diberi peringkat dan disajikan sebagai hasil mesin pencari.
Pengindeksan situs web adalah salah satu langkah pertama (setelah perayapan) dalam proses kompleks untuk memahami isi halaman web agar dapat diberi peringkat dan disajikan sebagai hasil pencarian oleh mesin pencari.
Mesin pencari terus meningkatkan cara mereka merayapi dan mengindeks situs web.
Memahami bagaimana Google dan Bing melakukan pendekatan perayapan dan pengindeksan situs web sangat penting untuk SEO teknis dan berguna dalam mengembangkan strategi untuk meningkatkan visibilitas pencarian.
Pengindeksan: Cara Kerja Mesin Pencari Saat Ini
Mari kita lihat bagaimana cara kerja mesin pencari.
Artikel ini berfokus pada pengindeksan. Jadi, mari kita selami.
Pengindeksan Web
Pengindeksan adalah tempat proses pemeringkatan dimulai setelah situs web dirayapi.
Pengindeksan pada dasarnya mengacu pada menambahkan konten halaman web ke Google untuk dipertimbangkan dalam penentuan peringkat.
Saat Anda membuat halaman baru di situs Anda, ada beberapa cara untuk mengindeksnya.
Metode paling sederhana untuk mengindeks halaman adalah dengan tidak melakukan apa pun.
Google memiliki perayap yang mengikuti tautan, dan dengan demikian, asalkan situs Anda sudah ada dalam indeks, dan konten baru ditautkan dari dalam situs Anda, Google pada akhirnya akan menemukannya dan menambahkannya ke dalam indeks. Lebih lanjut tentang ini nanti.
Cara Membuat Halaman Terindeks Lebih Cepat
Tapi bagaimana jika Anda ingin Googlebot mendapatkan halaman Anda lebih cepat?
Hal ini bisa menjadi penting jika Anda memiliki konten yang tepat waktu atau jika Anda telah membuat perubahan penting pada halaman yang perlu diketahui oleh Google.
Saya menggunakan metode yang lebih cepat ketika saya telah mengoptimalkan halaman penting atau menyesuaikan judul dan deskripsi untuk meningkatkan klik-tayang.
Saya ingin mengetahui secara spesifik kapan mereka diambil dan ditampilkan di SERP untuk mengetahui di mana pengukuran peningkatan dimulai.
Dalam kasus ini, ada beberapa metode tambahan yang dapat Anda gunakan.
- Peta Situs XML
Peta situs XML adalah cara tertua dan secara umum dapat diandalkan untuk menarik perhatian mesin pencari ke konten.
Peta situs XML memberi mesin pencari daftar semua halaman di situs Anda, serta detail tambahan tentangnya, seperti kapan terakhir kali dimodifikasi.
Peta situs dapat dikirimkan ke Bing melalui Bing Webmaster Tools, dan juga dapat dikirimkan ke Google melalui Search Console.
Sangat direkomendasikan!
Tetapi ketika Anda membutuhkan halaman yang diindeks dengan segera, ini tidak terlalu dapat diandalkan.
- Meminta Pengindeksan Dengan Google Search Console
Di Search Console, Anda dapat “Meminta Pengindeksan.”
Anda mulai dengan mengeklik bidang pencarian teratas, yang secara default berbunyi, “Periksa dan URL di domain.com.”
Masukkan URL yang ingin diindeks, lalu tekan Enter.
Jika halaman tersebut sudah dikenal oleh Google, Anda akan disajikan dengan banyak informasi. Kami tidak akan membahasnya di sini, tetapi saya sarankan untuk masuk dan melihat apa yang ada di sana jika Anda belum melakukannya.
Untuk tujuan kita di sini, tombol penting muncul apakah halaman tersebut sudah diindeks atau belum – artinya baik untuk penemuan konten atau hanya meminta Google untuk memahami perubahan terbaru.
Anda akan menemukan tombol yang ditunjukkan di bawah ini.
Tangkapan layar dari Google Search Console, Desember 2022
Dalam beberapa detik hingga beberapa menit, Anda dapat mencari konten atau URL baru di Google dan menemukan perubahan atau konten baru yang diambil.
- Berpartisipasi dalam IndexNow Bing
Bing memiliki protokol terbuka berdasarkan metode push untuk memberi tahu mesin pencari tentang konten baru atau yang diperbarui.
Protokol pengindeksan mesin pencari baru ini disebut, IndexNow.
Disebut protokol push karena idenya adalah untuk memberi tahu mesin pencari yang menggunakan IndexNow tentang konten baru atau yang diperbarui, yang akan menyebabkan mereka datang dan mengindeksnya.
Contoh protokol tarik adalah cara peta situs XML lama yang bergantung pada perayap mesin pencari untuk memutuskan mengunjungi dan mengindeksnya (atau diambil oleh Search Console).
Manfaat dari IndexNow adalah bahwa ia membuang lebih sedikit sumber daya web hosting dan pusat data, yang tidak hanya lebih ramah lingkungan tetapi juga menghemat sumber daya bandwidth.
Namun, manfaat terbesarnya adalah pengindeksan konten yang lebih cepat.
IndexNow saat ini hanya digunakan oleh Bing dan Yandex.
Menerapkan IndexNow itu mudah:
- Alat Webmaster Bing
Selain berpartisipasi dalam IndexNow, pertimbangkan akun Bing Webmaster Tools.
Jika Anda tidak memiliki akun Bing Webmaster Tools, saya sangat merekomendasikannya.
Informasi yang diberikan sangat penting dan akan membantu Anda menilai area masalah dengan lebih baik dan meningkatkan peringkat Anda di Bing, Google, dan di mana saja – dan mungkin memberikan pengalaman pengguna yang lebih baik.
Tetapi untuk membuat konten Anda terindeks, Anda hanya perlu mengklik: Konfigurasi Situs Saya > Kirim URL.
Masukkan URL yang ingin diindeks dan klik “Kirim”.
Tangkapan layar dari Bing Webmaster Tools, Januari 2023
Jadi, itulah sebagian besar hal yang perlu Anda ketahui tentang pengindeksan dan bagaimana mesin pencari melakukannya (dengan memperhatikan ke mana arahnya).
Detail lebih lanjut di halaman bantuan Alat Pengajuan URL Alat Webmaster Bing Webmaster Tools.
Ada juga API Pengindeksan Alat Webmaster Bing yang juga dapat mempercepat waktu kemunculan konten di hasil pencarian Bing dalam hitungan jam.
Informasi lebih lanjut tentang API Pengindeksan Bing ada di sini.
Anggaran Perayapan
Kita tidak dapat berbicara tentang pengindeksan tanpa membicarakan anggaran perayapan.
Pada dasarnya, anggaran perayapan adalah istilah yang digunakan untuk menggambarkan jumlah sumber daya yang akan dikeluarkan Google untuk merayapi situs web.
Anggaran yang ditetapkan didasarkan pada kombinasi beberapa faktor, dua faktor utama adalah:
Seberapa cepat server Anda (yaitu, seberapa banyak yang dapat dirayapi Google tanpa menurunkan pengalaman pengguna Anda)?
Seberapa penting situs Anda?
Jika Anda menjalankan situs berita utama dengan konten yang terus diperbarui yang ingin diketahui oleh pengguna mesin pencari, situs Anda akan sering dirayapi (berani saya katakan – terus-menerus).
Jika Anda menjalankan sebuah tempat pangkas rambut kecil, memiliki beberapa lusin tautan, dan memang tidak dianggap penting dalam konteks ini (Anda mungkin tukang cukur yang penting di daerah tersebut, tetapi Anda tidak penting dalam hal anggaran perayapan), maka anggarannya akan rendah.
Anda dapat membaca lebih lanjut tentang anggaran perayapan dan cara penentuannya di penjelasan Google.
Google Memiliki Dua Jenis Perayapan
Pengindeksan oleh Google dimulai dengan perayapan, yang terdiri dari dua jenis:
Jenis perayapan yang pertama adalah Discovery, di mana Google menemukan halaman web baru untuk ditambahkan ke dalam indeks.
Jenis crawling yang kedua adalah Refresh, di mana Google menemukan perubahan pada halaman web yang sudah diindeks.
Ketahui Cara Kerja Mesin Pencari
Mengoptimalkan situs web untuk mesin pencari dimulai dengan konten yang baik dan diakhiri dengan mengirimkannya untuk diindeks.
Baik Anda melakukannya dengan peta situs XML, Alat Pengirim URL Konsol Penelusuran Google, Alat Webmaster Bing, atau IndexNow, mengindeks konten tersebut adalah saat halaman web Anda memulai perjalanannya ke bagian atas hasil penelusuran (jika semuanya berjalan lancar!).
Itulah mengapa penting untuk memahami cara kerja pengindeksan pencarian.
Baca lebih lanjut tentang faktor-faktor utama yang memengaruhi halaman hasil mesin pencari di Bagaimana Mesin Pencari Bekerja.