У меня есть сайт WordPress, на котором я хочу запретить поисковым системам сканировать весь каталог. Я знаю, что могу сделать это в файле robots.txt (в корне сайта), добавив строку «Запретить» для этого каталога. Однако...
На том же сайте я использую плагин «XML Sitemap» для автоматического создания и отправки файла sitemap.xml при изменении любого содержимого на сайте. К сожалению, нет способа автоматически запретить плагину отображать страницы в каталоге, которые я не хочу сканировать. Каждый раз, когда я добавляю новую страницу в этот каталог, мне приходится вручную исключать эту страницу из карты сайта (плагин позволяет это делать).
Мой вопрос: что имеет приоритет... файл robots.txt или файл sitemap.xml? Другими словами, если страница указана в файле sitemap.xml, будет ли она сканироваться поисковыми системами, если ее родительский каталог запрещен в robots.txt?
