Apa itu Robots.txt? dan bagaimana Optimasi nya?

Discussion in 'Internet Marketing' started by teknolime, Aug 28, 2018.

  1. teknolime

    teknolime Member

    Joined:
    Aug 23, 2018
    Messages:
    108
    Likes Received:
    7
    Trophy Points:
    18
    [​IMG]

    Mungkin untuk sebagian orang, Robots.txt menjadi salah satu hal yang penting untuk Website atau Blog mereka. Dimana Robots.txt ini memiliki peran untuk Indexing dan juga Crawling dan juga Indexing.

    Sebagian dari kita sudah banyak sekali menemukan para Blogger yang membagikan Custom Robots.txt untuk meng-Optimasi Website mereka masing masing. Hal ini tentu menjadi salah satu hal yang membantu para Blogger lainnya untuk meningkatkan tingkat Indexing mereka.

    Apa itu Robots.txt
    Singkatnya, Robots.txt adalah sebuah file dengan format .txt yang wajib dimiliki tiap situs yang terdaftar pada mensin pencarian (google, yahoo, dan bing).

    Jadi, Robots.txt ini memiliki peran penting dan berhubungan erat dengan SEO. Sebab, Robots.txt yang nantinya kita pasang atau kita Optimasi, akan berperan untuk mengontrol, atau juga mengatur halaman atau url mana, yang akan diindex mesin pencari.

    Cara Kerja Robots.txt
    Ketika sebuah Website yang memiliki domain TLD seperti (.com) maka secara otomatis, kalian memberikan izin kepada Robot perayap milik mesin pencari (google) untuk merayapi (meng-crawl) seluruh halaman web (.com) kalian. Dan ketika Robot perayap mencoba untuk meng-Crawl situs kalian. Robot Perayap tersebut akan pertama kali merayapi Robots.txt yang sudah kalian Optimasi.

    Intinya adalah : Robot Perayap milik Mesin Pencarian tidak akan mengerti dengan Artikel yang kalian tulis. Melainkan ia akan membaca Robots.txt yang kalian Optimasi. Dan Robot Perayapan tidak akan merayapi Situs kalian apabila didalam Robots.txt yang kalian pasang, tidak memberikan izin kepada Robot Perayapan untuk meng-Crawl Situs/Website kalian.

    Gambaran Mudah tentang bagaimana Robots.txt bekerja
    [​IMG]



    Sebenarnya, pada tiap-tiap Website/Situs dan juga Blog, masing-masing memiliki Robots.txt yang bisa mereka Aplikasikan di tiap-tiap Platfrom nya. Namun untuk Blog yang di host oleh Blogger, mereka sudah memiliki Struktor Robots.txt default yang sudah diatur oleh Google sendiri.

    Contoh Robots.txt Default
    Code:
    User-agent: Mediapartners-Google
    
    disallow:
    
    User-agent: *
    
    disallow: /search
    
    allow: /
    
    sitemap: http://blogURL/feed/posts/default?orderby=UPDATED
    
    Penjelasan dari Struktur Robots.txt diatas :
    • "User-agent: Mediapartners-Google" : ini memiliki maksud, jika kode ini hanya berlaku untuk Bot Crawler/Robot Perayap Media Partners-Google.
      Dan Media Partners-Google ini adalah Bot Crawler/Robot Perayap untuk Google Adsense.
    • "Disallow:" : kode ini berfungsi untuk tidak memberikan batasan halaman atau page rayapan oleh Robot Perayap. Dengan maksud lain, Disallow memungkinkan Bot Crawler untuk merayapi semua halaman yang ada di Situs/Web kalian.
    • "User-Agent: *" : kode ini memiliki perintah untuk semua Bot Crawler untuk Merayapi Situs/Web kalian.
    • "Disallow: /search" : kode ini bermaksud untuk melarang Bot Crawler untuk merayapi semua url yang memiliki awalan /search sebagai contoh (situskalian.com/search).
    • "Allow: /" : kode ini memberikan perintah untuk meng-crawl atau merayapi semua halaman url kalian (kecuali yang ada di perintah disallow) contohnya, Robot Perayapan akan meng-Crawl pada url (situskalian.com/meta-slug-kalian.html)
    • "Sitemap:" : kode ini akan memberikan perintah, untuk Bot Crawler untuk merayapi semua link yang ada di Sitemap kalian.
    Jadi, Sitemap ini juga penting untuk di submit di Webmaster masing-masing (Google Webmaster, Bing Webmaster, dan Yahoo Webmaster).

    Optimasi Robots.txt
    Jika kalian sudah paham dengan struktur kode Robots.txt yang ada diatas tadi, kini saatnya kita mematahkan aturan atau meng-Optimasi Robots.txt default Google untuk lebih baik lagi dalam hal perayapan Situs.

    Perhatikan Kode dibawah ini :

    User-agent: Mediapartners-Google
    disallow:

    Kode ini memang berfungsi untuk memberikan perintah kepada Bot Mediapartners-Google untuk merayapi situs kalian. Namun jika blog kalian sedang mendaftar Google Adsense, hapus kode tersebut dan sisakan bagian dibawahnya.

    Berikut adalah contoh Robots.txt yang saya gunakan.

    User-agent: Googlebot
    Disallow: /search
    Disallow: /?m=1
    Disallow: /?m=0
    Allow: /?m=1
    Allow: /*?m=1

    User-agent: *
    Disallow: /search

    Sitemap: namadomainwebkalian.com/feeds/posts/default?orderby=UPDATED

    Dari kode Robots.txt yang saya gunakan diatas, saya sudah merobak struktural kode Robots.txt default dari Blogger itu sendiri.

    Dan Robots.txt yang saya gunakan berguna untuk :
    • Mengizinkan Robot Perayapan untuk meng-index url dalam versi Desktop dan juga Mobile.
    • Tidak Memblokir url Situs kalian dalam versi Mobile.
    • Memberikan izin pada Robot Crawler untuk meng-Crawl kode Aadsense kalian (ini berguna untuk kalian yang sedang mendaftar Adsense).
    • Memudahkan Artikel yang di Publish agar mudah ter-index (tentunya dengan tambahan Verifikasi Google Webmaster, Fetch as google, dan yang lain-lainnya).
    Kesimpulan

    Untuk masalah Optimasi Robots.txt, kalian bisa menggunakan Robots.txt yang saya gunakan untuk mengoptimasi website/blog kalian.

    Selain meng-Optimasi Robots.txt, kalian juga perlu melakukan Optimasi pada Google Webmaster, Submit Sitemap, dan melakukan SEO Onpage dan juga Offpage. Optimasi Robots.txt yang saya bahas diatas tadi hanya sebagian kecil dari beberapa cara memaksimalkan SEO di Blog kalian.
     
    Last edited by a moderator: Aug 29, 2018
  2. blackking

    blackking Well-Known Member

    Joined:
    Sep 1, 2016
    Messages:
    2,264
    Likes Received:
    157
    Trophy Points:
    63
    Pelajaran yang penting buat para blogger atau pemilik situs ini supaya websitenya masuk index pencarian
    masangnya di mana itu ya kode robot.txt apa tinggal di copy paste di sembarang tempat saja atau ada tempat khusus
     
  3. seotog

    seotog Guest

    thank you gan, ane jadi ada tambahan ilmu lagi soal SEO dimari, hore bersosial kembali rame lagi banyak thread-thread bagusssssss
     
  4. Dudu

    Dudu Guest

    Iya nih, bersosial makin kesini makin bagus aj..semoga rame terus dan makin banyak konten yang bermanfaat, sehingga benar2 bisa menjadi forum yang berfaedah sangat
     
  5. MaxSenses

    MaxSenses Member

    Joined:
    Sep 8, 2015
    Messages:
    151
    Likes Received:
    14
    Trophy Points:
    18
    Google+:
    Menarik, ternyata robots . txt juga perlu di optimasi.
     
  6. DwiKhasbullah

    DwiKhasbullah Well-Known Member

    Joined:
    Aug 7, 2014
    Messages:
    1,955
    Likes Received:
    138
    Trophy Points:
    63
    Penting banget untuk memperhatikan robots.txt, karena dengan cara ini website kita akan lebih mudah di rayapi dan di cintai oleh Google

    Bener bangat ini cuma sebagian kecil dari tekhnik SEO yang di gunakan...

    Kalau bisa gan untuk tekhnik yang lainnya di share juga disini biar lebih lengkap.... apalagi kalau selalu berhubungan dengan postingan ini...
     
  7. Remmy

    Remmy Member

    Joined:
    Dec 5, 2017
    Messages:
    514
    Likes Received:
    27
    Trophy Points:
    28
    ane dalam 1 hosting ada 2 website buat 2 brand yang berbeda, ini kalo mau pasang robot txt nya cukup 1 di home folder atau 2 di tiap folder website ya gan ?
     
  8. Musthafa Kamal

    Musthafa Kamal Active Member

    Joined:
    Jun 15, 2015
    Messages:
    603
    Likes Received:
    100
    Trophy Points:
    43
  9. Ryan adiputra

    Ryan adiputra Member

    Joined:
    Jul 5, 2018
    Messages:
    35
    Likes Received:
    5
    Trophy Points:
    8
    wah terima kasih kak @teknolime atas threadnya *bagus*

    padahal udah sering sekilas baca tulisan "robot.txt" gak taunya itu penting yak untuk seo
     
  10. Promp3

    Promp3 Member

    Joined:
    Oct 16, 2016
    Messages:
    415
    Likes Received:
    15
    Trophy Points:
    18
    Manfaat daging nya, terima kasih suhu.
     
  11. hendrik21

    hendrik21 Member

    Joined:
    Aug 30, 2018
    Messages:
    32
    Likes Received:
    3
    Trophy Points:
    8
    Maaf.. agan agan semua kalau saya salah... tapi saya pernah baca di postingan lain katanya pengaturan robot.txt seperti diatas justru mengakibatkan penurunan visitor. Lha.. yang bener yang mana ya? Saya kok jadi bingung...

    Mohon tanggapan bagi yang sudah praktek selama 2 bulan. Bagaimana hasinya?
     
  12. WAP23

    WAP23 Member

    Joined:
    Aug 20, 2018
    Messages:
    208
    Likes Received:
    11
    Trophy Points:
    18
    Simak dulu gan tp saya juga ada file robot txt gitu di directory, biarpun saya gatau maksud dan kegunaannya, cuman yang saya baca supaya google bisa mencari web kita aja, yaudah waktu liat artikel tentang itu langsung bikin dan upload
     
  13. teknolime

    teknolime Member

    Joined:
    Aug 23, 2018
    Messages:
    108
    Likes Received:
    7
    Trophy Points:
    18
    oke gini gan biar ane luruskan yang bengkok ya ..
    sebetulnya pengaturan robots.txt itu macam macam. agan bisa cek untuk robots txt yang ane kasih, di webmaster di bagian penguji robots.txt
    terus coba ente masukkin robots.txt ane, dan isi link nya di penguji. apakah tulisan nya semua diizinkan, atau ada yang di block? jika semuanya diizinkan, berarti Robot perayap tipe apapun akan bisa meng-index artikel kita gan. urusan visitor mah gimana promosi dan juga kata kunci yang ditulis. sebab kalau kita sudah mendapatkan indexing yang bagus, dan kata kunci yang kita tulis itu sedang hot dipencarian, insyaallah pasti bakal tembus.
     
  14. Sugeng Ginanjar

    Sugeng Ginanjar Member

    Joined:
    Nov 18, 2016
    Messages:
    213
    Likes Received:
    10
    Trophy Points:
    18
    di yoast saya cekk omm tp gx ada setting buat robot txt ini...
    di web site ke dua saya terya ada .,., untuk setting tersebut.,.
    itu gimana om
     
  15. Fahmi Alfarizi

    Fahmi Alfarizi Member

    Joined:
    Jan 20, 2017
    Messages:
    272
    Likes Received:
    21
    Trophy Points:
    18
  16. teknolime

    teknolime Member

    Joined:
    Aug 23, 2018
    Messages:
    108
    Likes Received:
    7
    Trophy Points:
    18
    Yoast? Agan pake wordpress ya? Maaf nih, sebelumnya ane share ini untuk blogger gan. Kalau wp kurang faham
     
  17. teknolime

    teknolime Member

    Joined:
    Aug 23, 2018
    Messages:
    108
    Likes Received:
    7
    Trophy Points:
    18
    Kan sudah dijabarkan di posting diatas. Setiap kode ada fungsi dan perintahnya
     
  18. Ulin

    Ulin Member

    Joined:
    May 4, 2014
    Messages:
    399
    Likes Received:
    20
    Trophy Points:
    18
    Google+:
    di wordpress udh ada gan settingan yg mau dirayapi atau ga sama mesin pencari
     
  19. aerivodevan

    aerivodevan Member

    Joined:
    Aug 27, 2018
    Messages:
    41
    Likes Received:
    2
    Trophy Points:
    8
  20. Ryan adiputra

    Ryan adiputra Member

    Joined:
    Jul 5, 2018
    Messages:
    35
    Likes Received:
    5
    Trophy Points:
    8
    mungkin yang paham cara setting di wp bisa bikin thread baru biar ga oot :)
     
Loading...

Share This Page