Запретить автоматизированным инструментам доступ к веб-сайту

НЕ делайте этого.

Это Интернет, вы не сможете помешать кому-то очистить данные, если они действительно этого захотят. Я делал это много-много раз раньше и обходил все ограничения, которые они вводили. Фактически наличие ограничения мотивирует меня и дальше пытаться получить данные.

Чем больше вы ограничиваете свою систему, тем хуже для легитимных пользователей вы сделаете это. Просто плохая идея.

Это Интернет. Вы должны исходить из того, что все, что вы публикуете, может быть прочитано человеком или машиной. Даже если вы можете предотвратить это сегодня, кто-то придумает, как это обойти завтра. CAPTCHA не работает в течение некоторого времени, и рано или поздно, альтернативы тоже.

Однако здесь есть некоторые идеи на данный момент.

И вот еще несколько.

и для моей любимой. На одном умном сайте, с которым я столкнулся, есть хороший. У него есть такой вопрос, как "На нашей странице" о нас ", как называется улица, где находится наша служба поддержки?" или что-то вроде того. Человек должен найти страницу «О нас» (ссылка не говорит «о нас», но говорит нечто подобное, что человек мог бы понять), а затем найти адрес офиса поддержки (отличный от основного корпоративного office и ряд других, перечисленных на странице) вам предстоит просмотреть несколько совпадений. Современные компьютерные технологии не смогут понять это больше, чем они могут выяснить истинное распознавание речи или познание.

поиск Google по запросу "альтернативы Captcha" встречается довольно часто.

Это невозможно сделать без риска ложных срабатываний (и раздражения пользователей).

Как мы можем определить, просматривает ли человек сайт или инструмент?

Ты не можешь. Как бы вы справились с инструментами, анализирующими страницу для человека, такими как средства чтения с экрана и инструменты специальных возможностей?

Например, одним из способов является вычисление времени, в течение которого пользователь остается на странице, по которому мы можем определить, задействовано ли вмешательство человека. Я не знаю, как это реализовать, но просто думаю об этом методе. Может ли кто-нибудь помочь, как обнаружить и предотвратить сбор данных с моего веб-сайта автоматизированными инструментами?

Вы не обнаружите автоматических инструментов, только необычное поведение. И прежде чем вы сможете определить необычное поведение, вам нужно найти то, что обычно. Люди просматривают страницы в разном порядке, вкладки браузера позволяют им выполнять параллельные задачи и т. Д.

Думаю, единственное хорошее решение - ограничить скорость доступа к данным. Это может не полностью предотвратить очистку, но, по крайней мере, вы можете ограничить скорость, с которой будут работать автоматизированные инструменты очистки, надеюсь, ниже уровня, который препятствует очистке данных.

Замечу, что есть желание, значит, способ есть.

При этом я подумал о том, о чем вы спрашивали ранее, и вот несколько простых вещей, которые я придумал:

1. простыми наивными проверками могут быть фильтрация и проверка пользовательского агента. Вы можете найти список общих пользовательских агентов сканера здесь: http://www.useragentstring.com/pages/Crawlerlist/

2. вы всегда можете отображать свои данные во флэш-памяти, хотя я не рекомендую это делать.

3. использовать капчу

Кроме этого, я не совсем уверен, можно ли еще что-нибудь сделать, но мне также было бы интересно увидеть ответы.

РЕДАКТИРОВАТЬ:

Google делает кое-что интересное, когда, если вы ищете SSN, после 50-й страницы или около того, они будут вводить капчу. Возникает вопрос, можете ли вы разумно рассчитать время, которое пользователь тратит на вашу страницу, или, если вы хотите ввести в уравнение разбиение на страницы, время, которое пользователь проводит на одной странице.

Используя информацию, которую мы ранее предполагали, можно установить ограничение по времени до отправки другого HTTP-запроса. В этот момент может быть полезно «случайным образом» сгенерировать капчу. Я имею в виду, что, возможно, один HTTP-запрос пройдет нормально, но для следующего потребуется капча. Вы можете переключать их по своему усмотрению.

Сканеры крадут данные с вашего сайта, анализируя URL-адреса и читая исходный код вашей страницы. Следующие шаги могут быть предприняты, по крайней мере, чтобы сделать очистку немного трудной, если не невозможной.

Запросы Ajax затрудняют анализ данных и требуют дополнительных усилий для анализа URL-адресов.

Используйте файлы cookie даже для обычных страниц, не требующих аутентификации, создавайте файлы cookie, когда пользователь посещает домашнюю страницу, а затем они необходимы для всех внутренних страниц. Это немного затрудняет очистку.

Отобразите зашифрованный код на веб-сайте, а затем расшифруйте его во время загрузки с помощью кода javascript. Я видел это на нескольких сайтах.