Langsung dari Google:
Meta tag adalah kaedah terbaik bagi webmaster untuk memberikan maklumat kepada laman web kepada enjin carian. Meta tag boleh digunakan untuk memberikan maklumat kepada semua jenis klien, dan setiap sistem hanya memproses tag meta yang mereka fahami dan mengabaikan yang lain.
Sekiranya anda mahu menyekat semua enjin carian sepenuhnya:
Kenapa?
Mungkin URL itu agak peribadi di laman web anda, tetapi tidak dilindungi sedemikian rupa sehingga bot carian tidak dapat melihatnya. Seperti jika halaman memerlukan log masuk untuk melihatnya, tetap disekat dari bot carian. Tetapi jika hanya URL yang dikaburkan, siapa yang tahu bagaimana bot carian bergerak, jadi anda mungkin mahu mengelakkan pengindeksan.
Hasil carian adalah satu lagi yang biasa. Pelik jika hasil carian menjadi hasil carian, mungkin. Tema WordPress cenderung merangkumi ini:
Saya mungkin mengubahnya sedikit dan memberitahu bot, hei, anda boleh mengikuti pautan di sini untuk membantu terus mengindeks laman web ini, tetapi jangan mengindeks halaman ini secara khusus.
Yang lain
Mesin pencari cenderung menggunakan tag keterangan untuk kandungan teks di sebelah :
Lihat halaman Google untuk halaman khusus Google yang lain seperti kemampuan menghentikan perkara UI khusus Google seperti "kotak carian pautan laman web" mereka.