привет, господа, как лучше всего запретить Google показывать папку в поисковой системе? Например, например, www.example.com/support, что мне делать, если я хочу, чтобы папка поддержки исчезла в Google? первое, что я сделал, это поместил файл robots.txt и включил этот код
User-agent: *
Disallow: /support/etc
но результаты - полная катастрофа, я больше не могу использовать страницу поддержки, пока не удалю robots.txt, что лучше всего сделать?
robots.txt не должен влиять на работу вашей страницы. Если вы сомневаетесь, вы можете использовать такие инструменты для создания, как http://www.searchenginepromotionhelp.com/m/robots-text-creator/simple-robots-creator.php или http://www.seochat.com/seo-tools/robots-генератор/
При запрете в файле robots вы можете явно указать файл или подпапку, а не только папку.
Вы также можете использовать метатег в своем документе, чтобы указать сканеру не использовать его.
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Как лучше всего запретить Google показывать папку в поисковой системе?
Файл robots.txt — правильный способ сделать это. Ваш пример верен для блокировки каталога /support/etc и его потомков.
я больше не могу использовать страницу поддержки, пока не удалю robots.txt
Нет никакого смысла в том, что файл robots.txt повлияет на работу вашего сайта, и, конечно же, он никогда не должен влиять на то, какие страницы могут быть доступны человеку. Я подозреваю, что что-то еще не так - проверьте журналы вашего сервера, чтобы увидеть, какие ошибки записываются.
Хотя это и не является предпочтительным методом ограничения доступа роботов, Google говорит об использовании метатега noindex здесь. Это также предотвратит отображение различных страниц, если на них ссылается сайт, отличный от вашего собственного.
Хорошее обсуждение ограничения посещения вашего сайта ботами можно найти здесь .
