Допустим, мой домен example.com. www.example.com я настроил свой основной веб-сайт (настроил с помощью Blogger) и использовал go.example.com для сокращения URL-адресов (настроил с помощью сервиса GoDaddy Shortened Service). Теперь я хочу заблокировать все go.example.com URL-адреса, чтобы их нельзя было индексировать.
Если я использую rel="noindex,nofollow" вместо go.example.com URL-адресов в своем основном блоге, повлияет ли это на поисковую оптимизацию моего блога?
С этим файлом robots.txt на go.example.com вы запрещаете соответствующим ботам сканировать любые URL-адреса с этого хоста:
# https://go.example.com/
User-agent: *
Disallow: /
Если вас устраивает сканирование, но вы хотите предотвратить индексирование (вы можете нет обоих), вы должны использовать noindex (либо в элементе meta-robots, либо в заголовке HTTP X-Robots-Tag). Обратите внимание, что вы не можете использовать noindex в качестве типа ссылки в атрибуте rel.
Тем не менее, если вы всегда перенаправляете (например, с 301) с go.example.com на канонический URL-адрес (на другом хосте), у поисковых ботов нет причин индексировать ваш документ на go.example.com, поскольку вы не предоставляете никакого контента, только перенаправление .
