The Combination Of Robots.txt And Sitemap.xml

Sebuah blog yang baru dibuat, memang artikelnya cukup agak lama terindex di Google. Terkadang bisa memakan waktu 3-5 hari baru terindex, bahkan ada pula yang memakan waktu berminggu-minggu. Itu harus kita maklumi, sebab Google juga membutuhkan waktu untuk memverifikasi dan menjelajahi(crawler) isi keseluruhan blog kita.

Jika blog kamu telah berumur minimal 3 bulan, maka artikel kamu akan lebih cepat terindex dari pada sebelumnya. Bahkan hanya dalam hitungan detik, artikel yang kamu publish tersebut sudah muncul di pencarian Google. Itulah keuntungan jika mempunyai blog yang sudah berumur lebih dari 3 bulan. Tapi bagimana dengan blog yang masih baru? Apakah artikelnya bisa cepat terindex di Google?

Bagi kamu yang baru membuat blog dan menginginkan agar artikel kamu tersebut cepat terindex, saya ada sedikit tips dan trik untuk kamu. Jika kamu menginginkan agar artikel kamu tersebut cepat terindex di Google, kamu harus mengkombinasikan antara Robots.txt dengan Sitemap.xml. Caranya?

Caranya cukup mudah kok, tinggal masukan saja Sitemap.xml kamu ke dalam setingan Robots.txt. Seperti contoh dibawah ini:

Sitemap: http://fadhly.co.cc/sitemap.xml

User-agent: IRLbot

Crawl-delay: 3600

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/

Disallow: /readme.html

Disallow: /license.txt

Disallow: /search/

Disallow: /*?

Disallow: /*.php$

Disallow: /*.js$

Disallow: /*.inc$

Disallow: /*.css$

Disallow: /*.gz$

Disallow: /*.wmv$

Disallow: /*.cgi$

Disallow: /*.xhtml$

Disallow: /*rurl=*

Allow: /sitemap.xml.gz$

Allow: /wp-content/uploads/

User-agent: Mediapartners-Google

Allow: /

User-agent: Adsbot-Google

Allow: /

User-agent: Googlebot-Image

Allow: /

User-agent: Googlebot-Mobile

Allow: /

Jika kamu memasukkan Sitemap.xml ke dalam Robots.txt, maka artikel kamu akan lebih cepat terindex. Dan Crawler-Delay harus dimasukkan juga ke dalam Robots.txt, itu membantu Google untuk merayapi blog kamu sesuai dengan waktu yang telah ditentukan. Saya mengatur Crawler-Delay nya 3600, berarti setiap 1 jam bot-bot Google akan berkunjung dan merayap ke blog kamu. Dan cara ini cukup ampuh membuat artikel kita lebih cepat terindex. Buat kamu yang belum tau cara membuat Robots.txt silahkan baca artikel saya ini Membuat Robots.txt Secara Manual

Selamat Mencoba..😉

About M. Fadhly

#Follow Twitter: @MF4dhli #Facebook: Fadhly #Mobile Blog: fadhly.biz

Posted on 21 November 2010, in Informasi. Bookmark the permalink. 4 Komentar.

  1. wah..kebetulan blog baru saya rada seret indexnya
    langsung dicoba nih mas..thanks buat sharenya🙂

  2. wah..kebetulan blog baru saya rada seret indexnya
    langsung dicoba nih mas..thanks buat sharenya🙂

  3. mantap sitemapnya…
    ijin pake confignya gan,,,😀

  4. mantap sitemapnya…
    ijin pake confignya gan,,,😀

Hey...sobat!!! Jika ada masalah atau hal yang kurang dimengerti, silahkan tinggalkan sebuah komentar disini. Komentar kamu akan muncul, jika sudah saya APPROVE. Terima kasih... ^^

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s