Google открыл исходный код своего парсера для robots.txt

В рамках инициативы по
переводу Robots Exсlusion Protocol (REP) в разряд официальных стандартов Google открыл
исходный код своего парсера для robots.txt.

В частности, речь идёт о C++ библиотеке, которую системы Google используют для парсинга и
сопоставления правил в файлах robots.txt.

Эта библиотека существует уже около 20 лет и содержит фрагменты кода, которые были написаны ещё в 90-х. С тех пор библиотека претерпела изменения: Google узнал больше о том, как вебмастера заполняют файлы robots.txt, и о краевых случаях, которые тоже нужно охватить. Все эти изменения были добавлены в проект спецификации REP, поданный в IETF.

Google
также добавил в пакет с открытым исходным кодом инструмент тестирования, чтобы
разработчики могли протестировать несколько правил.

Ознакомиться с библиотекой можно в репозитории для парсера robots.txt на GitHub. Своими впечатлениями вебмастера смогут поделиться там же.

По материалам: www.searchengines.ru