Robots.txt & Sitemap.xml Generator
Buat robots.txt dan sitemap.xml untuk website kamu sendiri — bukan cuma Toolnesia — langsung dapat kode siap upload.
Rule Allow / Disallow
Sitemap URL (opsional)
Kode robots.txt
Apa itu Robots.txt & Sitemap.xml Generator?
Alat ini membantu kamu menyusun dua berkas penting untuk SEO teknis: robots.txt, yang mengatur bagian mana dari situs yang boleh atau tidak boleh dirayapi mesin pencari, dan sitemap.xml, yang mendaftar URL-URL penting agar lebih cepat ditemukan crawler. Keduanya dibuat lewat form sederhana tanpa perlu menghafal sintaksnya.
Cara pakai
Pada tab Robots.txt, tentukan user-agent (gunakan * untuk semua crawler), tambahkan rule Allow atau Disallow sesuai kebutuhan, dan isi alamat sitemap kalau ada. Pada tab Sitemap.xml, masukkan daftar URL halaman kamu. Salin kode yang dihasilkan, simpan sebagai robots.txt dan sitemap.xml, lalu unggah keduanya ke folder root domain kamu.
Pertanyaan Umum (FAQ)
Keduanya harus berada di root domain, sehingga bisa diakses di https://domainkamu.com/robots.txt dan https://domainkamu.com/sitemap.xml. Crawler hanya mencari robots.txt di lokasi itu.
Tidak selalu. Disallow hanya mencegah perayapan; halaman masih bisa muncul di hasil pencarian bila ditautkan dari situs lain. Untuk benar-benar mengeluarkannya, gunakan tag noindex pada halaman tersebut dan biarkan crawler tetap boleh mengaksesnya.
Tidak wajib, tapi sangat dianjurkan — terutama untuk situs baru, situs besar, atau halaman yang tidak banyak ditautkan secara internal. Sitemap mempercepat penemuan URL oleh mesin pencari.
Daftarkan alamat sitemap kamu di Google Search Console (menu Sitemaps) dan cantumkan barisnya di robots.txt lewat direktif Sitemap: agar crawler lain juga menemukannya.
Setiap kali kamu menambah atau menghapus halaman penting. Untuk situs yang sering diperbarui, sebaiknya sitemap dihasilkan secara otomatis oleh CMS atau skrip, bukan disusun manual.