Повторяющийся шаблон внутри URL

Предполагая, что у вас есть файл (testdata.txt), который содержит список URL-адресов, по одному в строке, следующий протестированный скрипт извлечет те URL-адреса, которые имеют (по крайней мере) один повторяющийся сегмент пути:

<?php // test.php Rev:20120924_0800
$re = '%
    ^                  # Anchor to start of line.
    (?:[^:/?#\s]+:)?   # URI scheme (optional).
    (?://[^/?#\s]*)?   # URI Authority (optional).
    (?:/[^/?#\s]*)*?   # URI path segments (before repeats).
    /([^/?#\s]+)       # $1: Repeated URI path segment.
    (?:/[^/?#\s]*)*?   # URI path segments (between repeats)
    /\1                # $1: Repeated URI path segment.
    (?:/[^/?#\s]*)*    # URI path segments (after repeats).
    (?:\?[^#\s]*)?     # URI query (optional).
    (?:\#\S*)?         # URI fragment (optional).
    $                  # Anchor to end of line.
    %mx';
$text = file_get_contents('testdata.txt');
if (preg_match_all($re, $text, $matches)) print_r($matches[0]);
else echo("no matches!");
?>

Несколько советов, которые помогут вам двигаться в правильном направлении:

• URI не имеют искаженного формата. Они синтаксически правильны и поэтому правильно сформированы.
• Чтобы решить вашу проблему, не создавайте эти URI в первую очередь.
• Если вы создаете парсер, вам необходимо придерживаться стандартов, включая обработку того, как преобразовать относительный URI в базовый URI документов: http://tools.ietf.org/html/rfc3986#section-4.2

Но если вы не публикуете код, мы мало что можем сказать. Вероятно, повторяющиеся вопросы:

• Преобразование относительного URL-адреса в абсолютный URL-адрес с простой HTML DOM?
• PHP: как разрешить относительный URL-адрес

Пример набора данных показывает, что есть проблема с данными:

Base URI: http://www.elserver.com/ayuda/content/21/65/es/
HREF    : content/1/62/es/%BFc%F3mo-ingreso-al-phpmyadmin.html
          (ISO/IEC 8859-1    %BF = ¿    %F3 = ó)

Это правильно разрешается в следующий абсолютный URI:

http://www.elserver.com/ayuda/content/21/65/es/content/1/62/es/%BFc%F3mo-ingreso-al-phpmyadmin.html

Который производит дублированный контент. Очевидно, это ошибка, допущенная на веб-сайте, которую легко проверить с помощью тестирования:

http://www.elserver.com/ayuda/content/1/62/es/%BFc%F3mo-ingreso-al-phpmyadmin.html

Поскольку вы не можете увидеть, что, просто взглянув на два URI, что они одинаковы, вам нужно разработать стратегию (или несколько), как вы хотите справиться с проблемой.

Вы могли бы, например...

• ... сравните содержимое для дубликатов самостоятельно, например. создайте контрольную сумму содержимого MD5 и SHA-1 и сохраните список. Если обе контрольные суммы одинаковы, весьма вероятно, что содержимое тоже одинаковое.
• ... решить, что, если URI становятся слишком длинными, они не работают.
• ... установить машинное обучение, чтобы узнать, какие шаблоны URL создают дублированный контент.
• ... создайте «достаточно хорошие, чтобы попробовать» URI, если есть некоторое совпадение между базовым URI и относительным URI, данным для обнаружения такого рода проблем. Проверьте, работают ли эти URI.

Очевидно, что разные стратегии требуют, чтобы вы выполняли больше или меньше работы, а также оказывали влияние на структуры данных и базы данных, которые будут у вас с вашим сканером.

Как видите, это не тривиально. Некоторые веб-сайты даже предлагают бесконечные URL-адреса, чтобы заставить сканер отказаться от них. Так что у вас в любом случае должно быть что-то более надежное, чтобы сделать ваш сканер более надежным.