Парсер robots.txt на PHP: как выбирается правило

Почти вся путаница вокруг robots.txt держится на двух правилах, о которых все вечно забывают.

Первое: из всех правил, подходящих к адресу, побеждает самое длинное. Не то, что выше в файле, и не то, что написано позже.

Второе: если длина одинаковая, побеждает Allow.

Благодаря этому у закрытой папки может быть открытый файл:

User-agent: *
Disallow: /private/
Allow: /private/press.html

Адрес /private/press.html разрешён, потому что правило Allow длиннее. А /private/other.html закрыт, и никакой мольбой его не открыть.

В методе RobotsTxt::check() я перебираю правила выбранной группы и запоминаю победителя:

$winner = null;
foreach ($rules as $rule) {
    if (! self::matches($rule['path'], $path)) {
        continue;
    }
    $length = strlen($rule['path']);
    if ($winner === null || $length > strlen($winner['path'])
        || ($length === strlen($winner['path']) && $rule['type'] === 'allow')) {
        $winner = $rule;
    }
}

return ['allowed' => $winner === null || $winner['type'] === 'allow'];

Если ни одно правило не подошло, адрес разрешён: всё, что не запрещено, то разрешено. Философия «я не запрещал, значит, можно».

Google и Яндекс понимают в путях два спецсимвола: * (любая последовательность знаков) и $ (конец адреса). Чтобы их поддержать, я превращаю шаблон в регулярное выражение:

$anchored = str_ends_with($pattern, '$');
$body = $anchored ? substr($pattern, 0, -1) : $pattern;
$regex = '#^'.str_replace('\*', '.*', preg_quote($body, '#')).($anchored ? '$' : '').'#';

Порядок важен. Сначала весь текст экранируется через preg_quote(), и только потом \* заменяется на .*. Сделаешь наоборот, и точки, скобки и знаки вопроса из путей начнут работать как спецсимволы регулярки. Классический кринж, который потом полдня отлавливаешь.

Файл делится на группы по строкам User-agent, и несколько таких строк подряд относятся к одной группе. Для конкретного робота берётся группа с самым длинным именем, которое входит в его название: например, googlebot сильнее звёздочки. Если своей группы у робота нет, ему достаётся группа со звёздочкой, для всех остальных.

Поэтому проверка на портале сразу выдаёт результат для трёх случаев: для всех роботов, для Googlebot и для Яндекса.

Он учитывает BOM в начале файла и разные переносы строк. Вопрос «закрыт ли весь сайт» проверяется отдельно: нужен Disallow: / без перекрывающего Allow. Директиву Clean-param он разбирает только по синтаксису, а её действие не моделирует. Боты, кроме звёздочки, Googlebot и Яндекса, отдельно не проверяются.

Парсер показывает, как файл должен работать по правилам. Что робот делает на самом деле, смотри в Вебмастере и Search Console, там последнее слово за ними. Как я готовлю к поиску сам портал, включая его robots.txt, лежит в отдельной статье, а чужой файл я забираю через защищённый клиент.