Apa itu File Robots.txt
File
robots.txt dibahas sebanyak beberapa kali dalam pedoman Google
Webmaster, ini menunjukan bahwa bagian ini adalah sesuatu yang penting
bagi mereka dalam menjelajahi website anda (Jika anda menyewa
jasa pembuatan website, pastikan mereka juga mengetahui pentingnya bagian ini)
Anda
dapat mengontrol bagaimana mesin pencari seperti google berinteraksi
dengan halaman website anda menggunakan file robots.txt. Isi dari file
ini nantinya akan memberitahu crawler mesin pencari bagaimana seharusnya
mereka mengunjungi website anda.
Jika anda ingin mesin pencari tidak mengindeks sebagian dari file
website anda, maka anda bisa menggunakan file robots.txt untuk
melakukannya. Anda juga bisa mengatur apa saja yang bisa dijelajahi oleh
mesin pencari di website anda.
Pada dasarnya file robots.txt
adalah file yang sangat sederhana yang diletakan di server website anda.
File ini harus diletakan di root folder, contoh:
www.websiteanda.com/robots.txt
Jika
anda ingin melihat file robots.txt website tertentu, anda bisa
mengetikan alamat website tersebut ditambah tulisan “robots.txt” di
address bar browser anda.
Sebagai contoh, anda bisa melihat robots.txt dari dari website kami ini di
http://www.manggale.com/robots.txt
Sebenarnya, Apa fungsi robots.txt ini?
File
robots.txt ini sebenarnya berfungsi untuk memberikan intruksi tertentu
kepada mesin pencari ketika mereka mencoba menjelajahi website anda.
Ketika
mesin pencari seperti google ingin menjelajahi website anda, maka file
yang pertama kali dijelajahi adalah file robots.txt. Dengan
mengunjungi robots.txt ini, mesin pencari menjadi tahu apa yang harus
mereka lakukan. Menjelajahi seluruh website anda secara keseluruhan,
sebagian atau tidak sama sekali.
Sebenarnya,
jika anda bisa membuat halaman website, maka anda pasti juga bisa
membuat file robots.txt ini. Anda bisa membuatnya menggunakan notepad,
WordPad atau Editor lainnya. Bahkan, anda juga bisa menungunjungi
website tertentu dan kemudian mengcopy file robots.txt mereka dan paste
di website anda, tentunya dengan beberapa penyesuaian.
Lalu, apa yang harus anda buat di file robots.txt?
Jawabannya
adalah tergantung pada keinginan anda. Kebanyakan orang, ingin mesin
pencari mengunjungi semua file yang terdapat di website mereka.
Nah,
jika anda ingin mesin pencari ingin mengunjungi seluruh bagian dari
website anda, maka anda bisa menggunakan salah satu dari 3 cara menggunakan robots.txt dibawah ini:
1. Tidak memiliki file robots.txt sama sekali
Jika
website anda sama sekali tidak memiliki file robots.txt, maka mesin
pencari akan mencrawler atau menjelajahi seluruh bagian dari website
anda tanpa batasan.
2. Membuat file kosong yang diberi nama dengan robots.txt
Hampir
sama dengan kasus pertama, jika robot mesin pencari mengcrawler website
anda, maka mereka akan mengcrawler seluruh bagian dari website anda
tanpa batas.
3. Membuat file robots.txt dan kemudian menulis kode berikut
Jika
anda membuat file robots.txt dan kemudian menuliskan kode berikut ini
maka mesin pencari juga akan mengunjungi website anda secara bebas,
karena tidak satu kode pun yang memerintahkan untuk tidak mengunjungi
bagian tertentu.
Kode tersebut adalah:
Berikut ini adalah penjelasan terhadap 2 kata yang terdapat dalam file robots.txt diatas
“User-agent”
, merupakan bagian yang digunakan untuk menentukan apa yang dilakukan
robot mesin pencari di website anda. Ada 2 cara menggunakan bagian ini
Jika
anda ingin menginformasikan semua halaman kepada robot, maka anda bisa
menambahkan simbol “*” setelah kata “User-agent”. Lihat kode dibawah ini
Bagi
kode ini mengintruksikan kepada robot mesin pencari untuk menjelajahi
seluruh bagian dari website anda. Jika anda ingin lebih spesifik anda
bisa menambahkan nama robot dari mesin pencari seperti dibawah ini
Disallow
Dissalow digunakan ketika anda ingin menghalangi robot mesin pencari untuk mengcrawler bagian tertentu dari website anda.
Misalnya
anda ingin menghalangi robot mesin pencari untuk menjelajahi dan
mengindeks gambar anda, maka anda dapat menembatkan gambar anda disalah
satu folder dan menghalangi mesin pencari untuk menjelajahinya.
Misalnya
anda meletakan gambar anda di folder yang anda beri nama “Gambar”,
selanjutnya anda bisa memberitahu mesin pencari untuk tidak mengindeks
folder tersebut.
Berikut ini adalah tulisan yang bisa anda buat di file robots.txt :
User-agent: *
Disallow: /Gambar
Dengan
menggunakan baris kode diatas, anda bisa menghalangi mesin pencari
untuk mengunjungi folder anda. “User-agent: *” menginstruksikan bahwa
instruksi ini berlaku untuk semua robot.
Petunjuk Khusus untuk Googlebot
Robot
yang digunakan untuk menjelajahi dan mengindeks halaman website anda
disebut dengan Googlebot. Ada beberapa instruksi lain terkait
dengan robot google ini. Diantaranya adalah:
Allow
Allow
berarti memungkinkan mesin pencari untuk menjelajahi dan mengindeks
folder atau isi folder yang sebelumnya sudah kita kecualikan untuk tidak
di indeks.
Seperti contoh sebelumnya, kita sudah membuat kode yang digunakan supaya mesin pencari tidak mengindeksnya:
User-agent: *
Disallow: /Gambar
Nah,
jika anda ingin mesin pencari bisa mengideks salah satu gambar yang
terdapat pada folder Gambar, anda bisa menggunakan kode berikut ini di
file robots.txt berikut ini:
User-agent: *
Disallow: /Gambar
Allow: /Gambar/logo-manggale.png
Dengan
menggunakan kode diatas, akan memberitahukan kepada mesin pencari untuk
mengunjungi “logo-manggale.png”, walaupun sebelumnya folder Gambar
sudah dikecualikan untuk tidak di indek.
×
Penting!!
Jika anda menggunakan file robots.txt, pastikan anda sudah menulisnya
dengan benar, karena jika anda membuat kesalahan, dapat memlokir bot
mesin pencari untuk mengunjungi website anda.