Регулярное выражение для robots.txt

Я пытаюсь настроить файл robots.txt, но не уверен насчет регулярных выражений.

У меня есть четыре разные страницы, доступные на трех разных языках. Вместо того, чтобы перечислять каждую страницу по 3 раза, я решил, что могу использовать регулярное выражение.

nav.aspx
page.aspx/changelang (может быть прикреплена строка запроса, например "?toLang=fr".)
mypage. aspx?id и
login.aspx/logoff (=12346?... и т. д. - каждый раз разные)

! Все четыре на 3 разных языках, например:

www.example.com/es/nav.aspx
www.example.com/it/nav.aspx
www.example.com/fr/nav.aspx

Теперь мой вопрос: правильно ли следующее регулярное выражение?

User-Agent: *
Disallow: /*nav\.aspx$
Disallow: /*page.aspx/changelang
Disallow: /*mypage\.aspx?id
Disallow: /*login\.aspx\/logoff

Спасибо


regex robots.txt
person patad    schedule 10.06.2011    source источник

Ответы (1)


arrow_upward
18
arrow_downward

Регулярные выражения не разрешены в robots.txt, но робот Googlebot (и некоторые другие роботы) может понимать некоторые простые сопоставления с образцом:

Ваш robots.txt должен выглядеть так:

User-agent: *
Disallow: /*nav.aspx$
Disallow: /*page.aspx/changelang
Disallow: /*mypage.aspx?id
Disallow: /*login.aspx/logoff

Директива User-agent действительна со строчными буквами a. Вам не нужно экранировать . или `/'.

Подробнее об этом можно прочитать здесь: Заблокировать или удалить страницы с помощью файла robots.txt

person aorcsik    schedule 10.06.2011