Вопросы по теме 'robots.txt'
Robots.txt, чтобы запретить все и разрешить только определенные части сайта/страниц. Поддерживается ли параметр allow такими поисковыми роботами, как Ultraseek и FAST?
Просто хотел узнать, можно ли запретить поисковым роботам весь сайт и разрешить только определенные веб-страницы или разделы? Поддерживается ли параметр «разрешить» поисковыми роботами, такими как FAST и Ultraseek?
7668 просмотров
schedule
17.05.2022
Robots.txt: разрешить только основные SE
Есть ли способ настроить robots.txt так, чтобы сайт принимал посещения ТОЛЬКО от Google, Yahoo! и пауки MSN?
23738 просмотров
schedule
13.03.2024
Как настроить nginx для перенаправления на URL-адрес для robots.txt и sitemap.xml
Я использую nginx 0.6.32 в качестве прокси-интерфейса для CouchDB. У меня есть файл robots.txt в базе данных, доступный как http://www.example.com/prod/_design/mydesign/robots.txt . У меня также есть файл sitemap.xml, который создается динамически...
44554 просмотров
schedule
31.08.2022
Как вы динамически редактируете robots.txt в среде с балансировкой нагрузки?
Похоже, нам скоро придется начать балансировку нагрузки на наших веб-серверах.
У нас есть запрос функции для динамического редактирования robots.txt, что не является проблемой для одного хоста - однако, как только мы включим наш балансировщик...
757 просмотров
schedule
24.06.2022
запретить Google индексировать
привет, господа, как лучше всего запретить Google показывать папку в поисковой системе? Например, например, www.example.com/support, что мне делать, если я хочу, чтобы папка поддержки исчезла в Google? первое, что я сделал, это поместил файл...
624 просмотров
schedule
04.04.2022
Как я могу собрать все ссылки на сайте без контента?
Я хотел бы получить все URL-адреса, на которые ссылается сайт (в том же домене), не загружая весь контент с помощью чего-то вроде wget. Есть ли способ указать wget просто перечислить ссылки, которые он БУДЕТ загружать?
Для небольшого фона того,...
425 просмотров
schedule
18.06.2023
Ключ Google Maps API и robots.txt
Изменить: я узнал, что моя ошибка не связана с файлом robots. Игнорировать.
Я только что узнал на горьком опыте, что Google блокирует доступ к API Карт, если у вас есть ограничительный файл robots.txt. Недавно я создал файл robots с «Dissallow:...
962 просмотров
schedule
27.06.2023
Текст роботов, wordpress - заблокировать каталог
В моем robots.txt у меня есть это:
Disallow: /lo
lo — это каталог со скриптом, который я хочу заблокировать.
Проблема в том, что "Disallow: /lo" блокирует мой пост:
/одинокие-автомобили-и т.д./
Как мне правильно заблокировать каталог...
479 просмотров
schedule
23.11.2023
Что в robots.txt будет блокировать Disallow: /?s?
Что будет блокировать эта строка, когда поисковая система просканирует сайт?
Запретить: /?s
777 просмотров
schedule
25.07.2022
Идеи BOT / Spider Trap
У меня есть клиент, домен которого, похоже, сильно пострадает от того, что выглядит как DDoS. В журналах это нормально выглядящие пользовательские агенты со случайными IP-адресами, но они листают страницы слишком быстро, чтобы быть людьми. Они...
4476 просмотров
schedule
26.05.2022
Spring SimpleUrlHandlerMapping в robots.txt
Я использую структуру Spring, после чего выполняется сопоставление URL-адреса с контроллером.
<bean id="urlMapping" class="org.springframework.web.servlet.handler.SimpleUrlHandlerMapping">
<property name="mappings">
<props>...
1640 просмотров
schedule
02.10.2022
Должна ли строка пользовательского агента быть точно такой же, как в журналах моего сервера?
При использовании файла Robots.txt должна ли строка пользовательского агента быть точно такой же, как в журналах моего сервера?
Например, при попытке сопоставить GoogleBot, могу ли я просто использовать googlebot ?
Кроме того, будет ли работать...
1813 просмотров
schedule
16.09.2022
robots.txt в подкаталоге
У меня есть проект, который лежит в папке ниже основного домена, и у меня нет доступа к корню самого домена.
http://mydomain.com/myproject/
Я хочу запретить индексирование вложенной папки "запрещено"...
9713 просмотров
schedule
20.10.2022
Несколько sitemaps.xml, несколько веб-сайтов, но один хост
в настоящее время: у меня есть пул веб-сайтов, которые разработаны в asp classic и vbscript с использованием разных css и реализации на одном хосте в IIS.
их sitemap.xml отличается друг от друга, например....
529 просмотров
schedule
28.08.2022
Что важнее в SEO: robots.txt или sitemap.xml?
У меня есть сайт WordPress, на котором я хочу запретить поисковым системам сканировать весь каталог. Я знаю, что могу сделать это в файле robots.txt (в корне сайта), добавив строку «Запретить» для этого каталога. Однако...
На том же сайте я...
1777 просмотров
schedule
20.07.2023
Robots.txt и местоположения, на которые нет ссылок
Если я хочу защитить папку от сканирования роботами, которые соблюдают стандарты, я могу запретить ее использование в файле robots.txt.
Теперь проблема, которую я получаю, заключается в том, что, скрывая папку, я показываю ее существование другим....
494 просмотров
schedule
14.04.2022
как разобрать метатег на веб-странице
Возможный дубликат: CodeIgniter: класс/библиотека для получения метатегов с веб-страницы?
Может ли кто-нибудь написать простую прогу для извлечения вывода как найденного или не найденного для метатегов, всех тегов, файла robots.txt...
1518 просмотров
schedule
09.03.2022
Могу ли я сохранить страницу с метатегом NOINDEX?
Я делаю webcreawler и теперь пытаюсь следить за файлом robots.txt и метатегами NOINDEX и NOFOLLOW .
NOFOLLOW говорит мне не переходить по ссылкам на странице, но и NOINDEX ? Я понимаю, что это не индексация страницы при поиске, но я не буду...
60 просмотров
schedule
18.03.2024
Регулярное выражение для robots.txt
Я пытаюсь настроить файл robots.txt, но не уверен насчет регулярных выражений.
У меня есть четыре разные страницы, доступные на трех разных языках. Вместо того, чтобы перечислять каждую страницу по 3 раза, я решил, что могу использовать регулярное...
12557 просмотров
schedule
13.05.2023
Robots.txt и SiteMap.xml в приложении MVC 2
Итак, прямо сейчас у меня есть веб-сайт MVC 2. Я настроил свою учетную запись веб-мастера в Google, и они хотят, чтобы я отправил URL-адреса robots.txt и sitemap.xml моего сайта.
Направления таковы: «поместите их в корневой каталог вашего сайта»,...
829 просмотров
schedule
03.07.2022
