Недавно мы начали экспериментировать с минами-ловушками для ботов. Да, я говорю об очень простой приманке, реализованной для того, чтобы максимизировать способность MB™ анализировать и захватывать их. Мы разработали MB™, чтобы позволить нам или любому, кто использует MB™, экспериментировать с различными методами, не ограничивая способ фактической реализации того, как работают эти дополнительные методы. Мы знаем, что делиться информацией об этих методах, вероятно, не очень хорошая идея для нас, поскольку наши конкуренты могут скопировать ее или, что еще хуже, спамеры веб-трафика могут обойти ее. Но эй, алгоритмы MB ™ разработаны, чтобы быть эффективными с этими минами-ловушками, так что не имеет значения, знали ли спамеры о них или нет. Что касается наших конкурентов, читающих этот пост, то у вас он, вероятно, будет работать не так эффективно, если вы будете копировать наш подход без наших алгоритмов. ;)

Хорошо, вот как мы установили несколько мин-ловушек для спам-ботов веб-трафика. Обратите внимание, что боты всегда автоматизированы, потому что они предназначены для сбора как можно большего количества информации от своих целей. Это означает, что эти боты часто сканируют без разбора везде, где находят ссылку. Мы собираемся использовать это свойство ботов, чтобы использовать его против них. Пауки, поисковые роботы и боты обычно жаждут большего количества ссылок, и это то, чем мы хотим их накормить. Однако содержимое страниц и сайтов, на которые мы направляем ботов, предназначено для проверки их поведения и характера веб-трафика. Это то, что мы называем защитными методами сбора данных. Мои мысли по этому поводу вы можете прочитать в этой статье. В той статье я упомянул, что:

«Лучший метод сбора данных для защиты — ввести злоумышленника в заблуждение, направив его туда, куда вы хотите, или показав ему то, что вы хотите, чтобы он увидел. “.

– Основатель MB™ Иван Тай.

Это то, чего мы хотим добиться с помощью наших очень простых мин-ловушек!

В этом примере мы собираемся использовать идеалистический файл robots.txt в наших интересах. Я уверен, что вы уже знаете, что такое файл robots.txt. Короче говоря, это часть древнего стандарта, который широко используется для того, чтобы указать ботам, где нужно парсить, а где не ползать. В этом экспериментальном подходе мы используем MB™ для обеспечения соблюдения нашего файла robots.txt. В нашем файле robots.txt мы указываем ботам не сканировать и не очищать определенные страницы. Конечно, мы надеемся, что спамеры и хакеры (даже некоторые боты поисковых систем) не заботятся о соблюдении этого идеалистического стандарта, который не имеет формы принуждения. Эти боты, нарушающие правила, с радостью проглотят ссылки и перейдут по ним туда, где мы хотим. Как только они переходят на страницы или сайты, которые запрещены или запрещены в нашем файле robots.txt, бах! Они направляются в серию методов сбора данных, которые мы используем, чтобы зарегистрировать их подпись и заблокировать их как спам в веб-трафике! Все это делается в режиме реального времени. На данный момент эти мины-ловушки оказались очень интересными и эффективными инструментами для остановки спамеров веб-трафика. Дополнительным преимуществом является то, что наш файл robots.txt теперь превращается в значимый и полезный инструмент вместо какого-то идеалистического и бесполезного стандарта, которому не будет следовать ни спамер, ни хакер, ни преступник!

Если вы заинтересованы в обеспечении соблюдения ваш файл robots.txt с помощью MB™, напишите нам по электронной почте, и мы постараемся помочь вам, как только сможем. Это зависит от наличия ресурсов на MB™ для предоставления вам бесплатной учетной записи. Удачной охоты на ботов!

Первоначально опубликовано на blog.malleablebyte.org 26 февраля 2016 г.