AsikBelajar.Com | Begitu pentingkah nama Googlebot bagi para blogger dan pemain bisnis di internet? Jawaban bisa Ya bisa Tidak. Asik Belajar memilih jawaban yang “Penting” dan bila teman yang lain menganggap tidak penting, itu adalah pilihan hidup Anda. Untuk mengenal secara lengkap Googlebot, mari kita ikuti uraian di bawah ini yang kami ambil dari sumbernya langsung.

Googlebot adalah nama umum untuk dua jenis web crawler Google:

• Googlebot Desktop: crawler desktop yang menyimulasikan pengguna di desktop.
• Googlebot Smartphone: crawler seluler yang menyimulasikan pengguna di perangkat seluler.

Anda dapat mengidentifikasi subjenis Googlebot dengan melihat string agen pengguna dalam permintaan. Namun, kedua jenis crawler tersebut mematuhi token produk yang sama (token agen pengguna) di robots.txt, sehingga Anda tidak dapat menargetkan Googlebot Smartphone atau Googlebot Desktop secara selektif menggunakan robots.txt.

Untuk sebagian besar situs, Google mengutamakan pengindeksan versi seluler konten. Dengan begitu, sebagian besar permintaan crawl Googlebot akan dibuat menggunakan crawler seluler, dan sebagian kecilnya menggunakan crawler desktop.

Cara Googlebot mengakses situs Anda

Untuk kebanyakan situs, rata-rata Googlebot tidak akan mengakses situs Anda lebih dari beberapa detik sekali. Namun, akibat penundaan jaringan, bisa jadi kecepatan crawling akan sedikit lebih tinggi dalam periode waktu yang singkat.

Googlebot dirancang untuk dijalankan bersamaan oleh ribuan perangkat guna meningkatkan performa dan skala seiring bertumbuhnya web. Selain itu, untuk mengurangi penggunaan bandwidth, kami menjalankan banyak crawler di perangkat yang terletak di dekat situs yang mungkin akan di-crawl. Oleh karena itu, log Anda mungkin menampilkan kunjungan dari beberapa alamat IP, semuanya dengan agen pengguna Googlebot. Tujuan kami adalah meng-crawl sebanyak mungkin halaman dari situs Anda di setiap kunjungan tanpa membuat server Anda mengalami kelebihan beban. Jika situs Anda kesulitan mengimbangi permintaan crawling Google, Anda dapat mengurangi frekuensi crawling.

Googlebot mengutamakan crawl dari alamat IP di Amerika Serikat. Jika Googlebot mendeteksi bahwa suatu situs memblokir permintaan dari Amerika Serikat, Googlebot mungkin mencoba meng-crawl dari alamat IP yang berada di negara lain. Daftar pemblokiran alamat IP yang saat ini digunakan oleh Googlebot tersedia dalam format JSON.

Googlebot meng-crawl melalui HTTP/1.1 dan HTTP/2, jika didukung oleh situs. Tidak ada manfaat peringkat berdasarkan versi protokol yang digunakan untuk meng-crawl situs Anda, tetapi crawling melalui HTTP/2 dapat menghemat resource komputasi (misalnya CPU, RAM) untuk situs Anda dan Googlebot.
Agar situs tidak di-crawl melalui HTTP/2, minta server yang menghosting situs Anda untuk merespons dengan Kode status HTTP 421 saat Googlebot mencoba meng-crawl situs Anda melalui HTTP/2. Jika tidak memungkinkan, Anda dapat mengirim pesan ke tim Googlebot (tetapi solusi ini bersifat sementara).

Googlebot dapat meng-crawl 15 MB pertama dari file HTML atau file berbasis teks yang didukung. Setiap resource yang dirujuk dalam HTML seperti CSS dan JavaScript diambil secara terpisah, dan setiap pengambilan terikat oleh batas ukuran file yang sama. Setelah 15 MB pertama file, Googlebot akan berhenti melakukan crawling dan hanya mempertimbangkan untuk mengindeks 15 MB pertama dari file tersebut. Batas ukuran file ini berlaku untuk data yang tidak dikompresi. Crawler Google lain, misalnya Googlebot Video dan Googlebot Image, mungkin memiliki batas yang berbeda.

Memblokir Googlebot agar tidak mengunjungi situs Anda

Hampir tidak mungkin untuk menjaga kerahasiaan server web dengan tidak memublikasikan link ke server web tersebut. Misalnya, begitu seseorang mengikuti link dari server “rahasia” Anda ke server web lain, URL “rahasia” Anda dapat muncul dalam tag perujuk dan dapat disimpan serta dipublikasikan oleh server web lain tersebut dalam log perujuknya. Demikian juga jika web itu memiliki banyak link yang usang dan rusak. Setiap kali seseorang memublikasikan link yang salah ke situs Anda, atau tidak memperbarui link untuk mencerminkan perubahan di server Anda, Googlebot akan mencoba meng-crawl link yang salah dari situs tersebut.

Jika Anda tidak ingin Googlebot meng-crawl konten di situs, Anda memiliki sejumlah opsi. Perhatikan perbedaan antara mencegah Googlebot meng-crawl halaman, mencegah Googlebot mengindeks halaman, dan sepenuhnya mencegah halaman diakses oleh crawler maupun pengguna.

Memverifikasi Googlebot

Sebelum memutuskan untuk memblokir Googlebot, perlu diperhatikan bahwa string agen pengguna yang digunakan oleh Googlebot sering di-spoofing oleh crawler lain. Penting untuk memverifikasi bahwa permintaan yang bermasalah benar-benar berasal dari Google. Cara terbaik untuk memverifikasi bahwa permintaan benar-benar berasal dari Googlebot adalah dengan menggunakan pencarian DNS terbalik di IP sumber permintaan, atau mencocokkan IP sumber dengan rentang IP Googlebot.