Hallo
Sharers, Kali ini sharingilmu.com akan men-share artikel yang tentunya bisa bermanfaat
bagi Sharers dan pembaca lainnya, artikel ini berjudul “Tips Setting Robots.txt untuk Blogspot supaya Ramah SEO & Cepat Index Google”, Supaya Sharers paham
tentang penjelasannya yuk langsung simak dari awal sampai akhir postingan ini.
Apa itu Robots.txt?
| gambar: robots.txt |
Robots.txt adalah file yang digunakan oleh mesin pencari, seperti Google, Bing, Yahoo, dan lain-lain, untuk mengetahui halaman mana yang dapat dan tidak dapat diindeks pada sebuah situs web. File robots.txt biasanya ditempatkan pada direktori root situs web dan dapat diakses oleh mesin pencari sebelum melakukan pengindeksan.
Jadi, sebelum artikel yang Sharers posting di blog terindex oleh google, terlebih dahulu melalui proses filter yang dilakukan oleh robots.txt, wahh keren bukan?
Pada platform Blogspot, file robots.txt memungkinkan pemilik blog untuk memberikan aturan tentang halaman mana yang dapat dan tidak dapat diindeks oleh mesin pencari, heem 🗿 untuk apa ya kira-kira?.
Ternyata aturan yang ditetapkan dalam file robots.txt digunakan untuk membantu mesin pencari memahami struktur situs Sharers dan memastikan bahwa halaman-halaman penting pada blog Sharers diindeks dengan benar.
Beberapa contoh aturan yang dapat ditetapkan pada file robots.txt di platform Blogspot ini meliputi pengaturan aturan untuk halaman pencarian, halaman label, halaman arsip, halaman feed, dan lain sebagainya. Dengan menggunakan file robots.txt dengan bijak, Sharers dapat membantu meningkatkan kinerja SEO dan peringkat halaman blog Sharers di mesin pencari.
Apa Manfaat Menyetting Robots.txt pada Blog Kita?
- Membantu mengontrol halaman yang diindeks: Dengan menggunakan file robots.txt, Sharers dapat memberikan aturan tentang halaman mana yang dapat dan tidak dapat diindeks oleh mesin pencari. Ini dapat membantu mengontrol halaman yang ditampilkan di hasil pencarian dan memastikan bahwa halaman-halaman penting diindeks dengan benar.
- Meningkatkan kinerja SEO: Aturan yang ditetapkan dalam file robots.txt dapat membantu meningkatkan kinerja SEO dan peringkat halaman blog Sharers di mesin pencari. Misalnya, dengan menonaktifkan indeks pada halaman feed atau halaman label yang tidak relevan, Sharers dapat membantu meningkatkan relevansi halaman yang diindeks.
- Mengurangi masalah duplikasi konten: Dengan menonaktifkan indeks pada halaman yang tidak relevan atau duplikat, seperti halaman pencarian atau halaman arsip, Sharers dapat mengurangi masalah duplikasi konten pada situs Sharers yang dapat merugikan SEO dan peringkat halaman blog Sharers di mesin pencari.
- Meningkatkan kecepatan pengindeksan: Dengan memberikan aturan yang jelas tentang halaman yang dapat diindeks, mesin pencari dapat lebih cepat dan mudah mengindeks halaman blog Sharers. Ini dapat membantu meningkatkan kecepatan pengindeksan dan mempercepat proses peningkatan peringkat halaman blog Sharers di mesin pencari.
Waah, hanya dengan menyetting atau menambahkan sedikit file pengaturan pada robots.txt, Sharers sudah mendapatkan banyak manfaat. Tentunya akan menjadikan blog Sharers lebih SEO-Friendly. Jadi, blog yang Sharers bangun bisa satu langkah lebih maju, atau mungkin berlangkah-langkah hehee.
Bagaimana Cara Menyetting Robots.txt pada Blog supaya SEO-Friendly & Cepat Index Google?
- Izinkan mesin pencari untuk mengindeks seluruh situs Sharers: Pastikan untuk tidak memblokir seluruh situs Sharers dengan aturan “Disallow: /”. Jika hal ini dilakukan, mesin pencari tidak dapat mengindeks seluruh situs Sharers, dan hal ini akan merugikan kinerja SEO Sharers.
- Batasi halaman yang diindeks: Meskipun Sharers ingin membiarkan mesin pencari mengindeks seluruh situs Sharers, terdapat halaman tertentu yang tidak relevan atau duplikat dan sebaiknya tidak diindeks. Misalnya, halaman pencarian atau halaman label yang tidak penting. Sharers dapat menonaktifkan pengindeksan pada halaman-halaman tersebut dengan menambahkan aturan “Disallow” pada file robots.txt Sharers.
- Atur pengindeksan pada halaman arsip: Sharers dapat menonaktifkan pengindeksan pada halaman arsip dengan menambahkan aturan “Disallow: /year/month/” pada file robots.txt. Dengan begitu, mesin pencari tidak akan mengindeks halaman arsip yang memuat artikel lama yang sudah tidak relevan lagi.
- Nonaktifkan pengindeksan pada halaman feed: Sharers dapat menambahkan aturan “Disallow: /feed/” pada file robots.txt Sharers untuk menonaktifkan pengindeksan pada halaman feed. Hal ini dapat membantu menghindari masalah duplikasi konten pada situs Sharers.
- Tambahkan sitemap pada file robots.txt: Sitemap dapat membantu mesin pencari mengetahui struktur situs Sharers dan mempercepat pengindeksan halaman Sharers. Sharers dapat menambahkan tautan sitemap pada file robots.txt dengan menambahkan baris berikut: “Sitemap: http://www.yoursite.com/sitemap.xml”.
Pastikan untuk mengecek kembali setiap aturan yang telah Sharers tetapkan pada file robots.txt Sharers untuk memastikan bahwa halaman-halaman penting pada blog Sharers diindeks dengan benar.
Jangan lupa untuk melakukan pengujian pada file robots.txt Sharers untuk memastikan tidak terjadi masalah teknis atau kesalahan aturan yang dapat merugikan kinerja SEO Sharers.
Dibawah ini Admin cantumkan settingan dari robots.txt, silahkan digunakan bagi yang mau aja.
File Robot.txt yang Ramah SEO dan Cepat Index Google:
Contoh file robots.txt yang ramah SEO dan membantu mempercepat indeksasi oleh Google untuk platform Blogspot:
User-agent: *
Disallow: /search
Disallow: /p/
Disallow: /view/
Disallow: /?m=1
Disallow: /?m=0
Disallow: /.js$
Disallow: /.css$
Disallow: /feed/
Sitemap: http://namablogsharers.blogspot.com/sitemap.xml
Note: pengaturan di atas untuk blogspot ya, bukan untuk pengguna wordpress
Penjelasan:
- User-agent: * –> artinya semua user-agent atau crawler
- Disallow: /search –> untuk menonaktifkan indeksasi untuk semua halaman pencarian
- Disallow: /p/ –> untuk menonaktifkan indeksasi untuk semua halaman posting
- Disallow: /view/ –> untuk menonaktifkan indeksasi untuk semua halaman tampilan
- Disallow: /?m=1 –> untuk menonaktifkan indeksasi untuk semua tautan halaman bergerak atau mobile
- Disallow: /?m=0 –> untuk menonaktifkan indeksasi untuk semua tautan halaman desktop
- Disallow: /*.js$ –> untuk menonaktifkan indeksasi untuk semua file JavaScript
- Disallow: /*.css$ –> untuk menonaktifkan indeksasi untuk semua file CSS
- Disallow: /feed/ –> untuk menonaktifkan indeksasi untuk semua tautan feed
- Sitemap: http://namablogsharers.blogspot.com/sitemap.xml –> untuk memberikan sitemap blog Sharers kepada Google
Pastikan Sharers menyesuaikan file robots.txt ini dengan URL blog Sharers ya dan menambahkan semua direktori yang tidak ingin diindeks oleh Google. Setelah itu, Sharers dapat mengunggah file robots.txt ini ke root direktori situs Sharers untuk memastikan pengindeksan yang lebih efektif oleh Google.
Apakah File Robots.txt Tersebut Aman Dipakai?
Iya, contoh file robots.txt yang Admin berikan aman digunakan karena aturan yang ditetapkan dalam file tersebut sesuai dengan panduan Google tentang penggunaan file robots.txt.
Namun, Sarers harus memastikan bahwa aturan yang ditetapkan dalam file robots.txt tidak menghalangi indeksasi halaman-halaman penting dari blog Sharers yang ingin diindeks oleh Google.
Jangan mengabaikan halaman penting seperti halaman beranda, halaman tentang kami, atau halaman produk dan layanan Sharers.
Selain itu, pastikan bahwa sitemap yang Sharers sertakan dalam file robots.txt benar dan telah dihasilkan secara otomatis oleh platform Blogspot Sharers. Sitemap membantu Google mengindeks seluruh halaman blog Sharers dengan lebih cepat dan mudah.
Sebagai catatan tambahan, selalu periksa kembali file robots.txt setelah melakukan perubahan pada blog Sharers dan pastikan bahwa tidak ada aturan yang tidak sengaja menghalangi indeksasi halaman penting.
Mengapa (/search, /p/, /view/, /?m=1, /?=0, /.js$, /.cc$, /feed/) di nonaktifkan (disallow) pada robots.txt?
- /nonaktifkan (disallow) pengindeksan pada /search pada file robots.txt dilakukan untuk menghindari duplikasi konten pada situs Sharers. Halaman pencarian pada blog Sharers bisa memuat banyak hasil pencarian yang mungkin terdiri dari beberapa kata kunci, termasuk kata kunci yang sama dengan halaman lain di situs Sharers. Ini bisa memicu masalah duplikasi konten pada situs Sharers dan merugikan kinerja SEO Sharers.
- /p/ dan /view/: URL ini biasanya digunakan untuk mengakses halaman posting pada situs Blogger. Mengatur “Disallow: /p/” dan “Disallow: /view/” pada file robots.txt dapat membantu menghindari duplikasi konten jika suatu postingan memiliki beberapa URL yang berbeda.
- /?m=1 dan /?m=0: URL ini biasanya digunakan untuk mengakses versi seluler dan desktop dari situs Sharers. Jika Sharers ingin memastikan bahwa mesin pencari hanya mengindeks versi desktop situs Sharers, Sharers dapat menonaktifkan pengindeksan pada versi seluler dengan menambahkan aturan “Disallow: /*?m=1” pada file robots.txt.
- /.js$ dan /.cc$: URL ini dapat merujuk pada file JavaScript dan CSS yang digunakan pada situs Sharers. Namun, mesin pencari tidak perlu mengindeks file ini, sehingga menambahkan aturan “Disallow: /.js$” dan “Disallow: /.cc$” pada file robots.txt dapat membantu mengurangi beban pada server Sharers dan mempercepat waktu muat situs Sharers.
- /feed/: URL ini digunakan untuk mengakses feed RSS atau Atom pada situs Sharers. Namun, jika Sharers tidak ingin mesin pencari mengindeks feed situs Sharers, Sharers dapat menambahkan aturan “Disallow: /feed/” pada file robots.txt. Ini juga dapat membantu menghindari masalah duplikasi konten, karena konten situs Sharers mungkin juga muncul pada feed.
Menonaktifkan pengindeksan pada URL tertentu pada file robots.txt harus dilakukan dengan hati-hati dan dengan mempertimbangkan dampaknya pada pengalaman pengguna dan kinerja SEO situs Sharers.
Pastikan untuk melakukan pengujian dan memeriksa secara berkala untuk memastikan bahwa tidak terjadi masalah teknis atau kesalahan aturan yang dapat merugikan kinerja SEO Sharers.
Apa yang Terjadi Setelah Menyetting Robots.txt pada Blog?
Oke, ini merupakan penjelasan terakhir yang Sharers perlu ketahui sebelum postingan artikel ini Admin tutup. Jadi, biasanya setelah kita menyetting atau menambahkan settingan robots.txt akan ada pemberitahuan bahwa halaman diblokir oleh robots.txt baik melalui email maupun di google search console.
Apakah hal tersebut wajar? Tentu, karena setelah kita membaca penjelasan di atas, tujuan atau manfaat dari robots.txt adalah memblokir atau memfilter halaman tertentu yang tidak ingin kita perlihatkan atau index, biasanya halam tersebut terjadi duplikasi atau file salinan yang sama.
Duplikasi halaman tersebut jika dibiarkan dapat menyebabkan blog Sharers menjadi Deindex Google yaitu situs atau blog Sharers tidak masuk dalam index google sehingga tidak muncul di SERPs sama sekali.
Terimakasih Sharers yang sudah membaca artikel ini dari
awal sampai akhir, semoga Sharers atau pembaca mendapatkan pemahaman tentang
apa yang dicari Sharers semua, dan artikel ini dapat menjadikan ilmu yang
bermanfaat terhadap pembaca yang lain.
Jika Sharers ingin mengsharing ilmu atau
pengalamannya bisa komen di postingan artikel ini ya, jika menarik akan admin
publish ke postingan selanjutnya. Terima Kasih!
