Cara Membuat File Robots.txt di Wordpress

Hallo teman-teman,kali ini saya akan membahas tentang cara Membuat File Robots.txt di Wordpress

Robot.txt atau text adalah Sebuah file yang diperlukan oleh sebuah blog agar bisa terindeks dengan cepat oleh search engine,dengan adanya robots.txt. Search engine seperti Google,yahoo,bing,akan lebih mudah mengindex blog Anda. Robots.txt merupakan informasi bagi search engine mengenai directory mana yang boleh diakses atau mungkin sebaliknya,dengan robots.txt kita bisa memblock search engine agar tidak mengakses blog kita.

Membuat robots.txt di blog wordpress,tidaklah susah. Anda bisa membuat robots.txt dengan sebuah text editor misalnya Notepad. Setelah itu disimpan dengan file ekstensi .txt, file robots.txt tersebut kemudian mesti di upload ke directory public_html pada webhosting. Namun, cara membuat robots.txt dengan notepad dan menguploadnya sendiri ke web hosting mungkin cukup sulit dilakukan oleh sebagian orang. Untuk itu, agar lebih mudah untuk membuat robots.txt, kamu bisa menggunakan plugins KB Robots.txt.

Untuk membuat robots.txt pada blog wordpress.org pertama-tama Anda mesti menginstall plugin KB Robots.txt terlebih dahulu. Berikut caranya:

1. Pada Dashboard blog Anda klik Plugins » Add New Plugins
2. Di kotak pencarian plugins, ketik KB Robots.txt dan klik search

Kemudian klik install pada KB-Robots.txt yang muncul pada halaman hasil cari tadi.

Klik install Now pada jendela instalasi yang muncul.

Setelah selesai menginstall plugin, klik tulisan Activate Plugins untuk mengaktifkan plugins.

Poses instalasi plugins KB Robots.txt telah selesai. Kini saatnya Anda memasukkan kode robots.txt melalui setting plugins tersebut. Untuk itu ikuti langkah-langkah berikut:

Masih pada dashboard blog, klik menu Setting » KB Robots.txt.
Selanjutnya, ketik kode berikut pada editor yang ada pada jendela setting:

        User-agent: *
        Disallow: /cgi-bin
        Disallow: /wp-admin
        Disallow: /wp-includes
        Disallow: /wp-content
        User-agent: Mediapartners-Google
        Allow: /
        User-agent: Adsbot-Google
        Allow: /
        User-agent: Googlebot-Image
        Allow: /
        User-agent: Googlebot-Mobile
        Allow: /
        Sitemap: http://www.seodulu.com/sitemap.xml

Untuk sitemap,gantilah nama websitenya. Karena saya menggunakan wordpress,silahkan Anda ganti dengan sitemap blog Anda. Misalkan http://www.namadomain.com/sitemap.xml. Jika belum mempunyai sitemap, silahkan baca panduan membuat sitemap untuk search engine yang telah saya post sebelumnya.
Terakhir klik tombol Submit untuk menyimpan robots.txt Anda.