Cara Menghantar Fail Robots.txt yang Dikemas kini atau Baru

robot txt

Agensi kami mengendalikan perundingan carian organik untuk beberapa vendor SaaS di industri. Seorang pelanggan yang baru kami bekerjasama telah melakukan praktik yang agak standard, meletakkan aplikasi mereka di subdomain dan memindahkan laman brosur mereka ke domain inti. Ini adalah amalan biasa kerana ia membolehkan pasukan produksi dan pasukan pemasaran anda membuat kemas kini seperti yang diperlukan tanpa bergantung pada pihak lain.

Sebagai langkah pertama dalam menganalisis kesihatan carian organik mereka, kami mendaftarkan kedua-dua brosur dan domain aplikasi di Webmaster. Ketika itulah kami mengenal pasti masalah segera. Semua halaman aplikasi disekat daripada diindeks oleh mesin pencari. Kami menavigasi ke entri robots.txt mereka di Webmaster dan segera mengenal pasti masalahnya.

Ketika mempersiapkan migrasi, tim pengembangan mereka tidak menginginkan subdomain aplikasi diindeks oleh pencarian, jadi mereka melarang akses ke mesin pencari. Fail robots.txt adalah fail yang terdapat di akar laman web anda - domainanda.com/robots.txt - yang membolehkan mesin pencari mengetahui sama ada mereka harus merayapi laman web ini atau tidak. Anda boleh menulis peraturan untuk membenarkan atau melarang pengindeksan di seluruh laman web atau laluan tertentu. Anda juga boleh menambahkan baris untuk menentukan fail peta laman anda.

. robots.txt fail mempunyai entri berikut yang menghalang laman web untuk dirayapi dan diindeks dalam kedudukan hasil carian:

User-Agent: * Larang: /

Seharusnya ditulis seperti berikut:

Ejen pengguna: * Benarkan: /

Yang terakhir ini memberikan kebenaran kepada mana-mana mesin carian yang merayapi laman web tersebut sehingga mereka dapat mengakses direktori atau fail apa pun di dalam laman web tersebut.

Hebat ... jadi sekarang robots.txt failnya sempurna tetapi bagaimana Google tahu dan kapan mereka akan memeriksa laman web ini lagi? Anda boleh meminta Google memeriksa robots.txt anda, tetapi tidak terlalu intuitif.

Navigasi ke Konsol Carian Google Search Console kepada Rangkak> Penguji robots.txt. Anda akan melihat kandungan fail robots.txt yang baru dirayapi dalam Penguji. Sekiranya anda ingin menghantar semula fail robots.txt anda, klik Kirim dan pop timbul akan muncul dengan beberapa pilihan.

hantar semula robots.txt

Pilihan terakhir adalah Minta Google mengemas kini. Klik butang Kirim biru di sebelah pilihan itu dan kemudian navigasi kembali ke Rangkak> Penguji robots.txt pilihan menu untuk memuatkan semula halaman. Anda kini harus melihat fail robots.txt yang dikemas kini bersama dengan cap tarikh yang menunjukkan bahawa fail itu dirangkak lagi.

Sekiranya anda tidak melihat versi yang dikemas kini, anda boleh mengklik hantar dan pilih Lihat versi yang dimuat naik untuk menavigasi ke fail robots.txt sebenar anda. Banyak sistem akan menyimpan fail ini. Sebenarnya, IIS menghasilkan fail ini secara dinamik berdasarkan peraturan yang dimasukkan melalui antara muka pengguna mereka. Anda kemungkinan besar perlu mengemas kini peraturan dan menyegarkan cache untuk menerbitkan fail robots.txt baru.

robot-txt-penguji

Apa yang anda fikir?

Laman web ini menggunakan Akismet untuk mengurangkan spam. Ketahui bagaimana data komen anda diproses.