Лучший подход к оптимизации бюджета сканирования – начать с повышения общей скорости сайта и упрощения структуры сайта, чтобы помочь как пользователям, так и роботу Googlebot.

Бюджет сканирования – ключевая концепция для специалистов по поисковой оптимизации, поскольку неправильное управление бюджетом сканирования вашего сайта может привести к тому, что Google не будет индексировать страницы вашего сайта и, в конечном итоге, потеряет ценный поисковый трафик на вашем сайте.

Хотя большинству сайтов не нужно беспокоиться о бюджете сканирования, если вы запускаете веб-сайт с более чем 500 тыс. Страниц, вы должны сосредоточиться на оптимизации бюджета сканирования вашего сайта.

На бюджет сканирования вашего сайта могут повлиять следующие факторы:

  • Дублированный контент на сайте
  • Страницы с мягкими ошибками
  • Низкое качество и спам-контент
  • Фасетная навигация и параметры URL
  • И взломанные страницы.

Наилучший подход к оптимизации краулингового бюджета – начать с повышения общей скорости сайта и упрощения структуры сайта, поскольку и то, и другое поможет как пользователям, так и роботу Googlebot. Затем поработайте над внутренними ссылками, исправьте проблемы с дублирующимся контентом и удалите цепочки перенаправления.

Увеличьте скорость сайта. Google заявляет, что «ускорение сайта улучшает впечатление пользователей, а также увеличивает скорость сканирования». Итак, включите сжатие, удалите JS, блокирующий рендеринг, используйте кеширование браузера и оптимизируйте изображения, чтобы дать роботу Googlebot время посетить и проиндексировать все ваши страницы.

Упростите архитектуру веб-сайта. Структурируйте веб-сайт слой за слоем, начиная с главной страницы, затем категорий / тегов и, наконец, страниц содержимого. Изучите структуру своего сайта, организуйте страницы по темам и используйте внутренние ссылки, чтобы направлять поисковые роботы.

Избегайте страниц-сирот. Поскольку страницы-сироты не имеют внешних или внутренних ссылок и прямого соединения с Интернетом, Google действительно сложно найти эти страницы.

Ограничьте повторяющийся контент. Всем, включая Google, нужен только качественный и уникальный контент. Итак, правильно реализуйте канонические теги, страницы категорий / тегов noindex и ограничьте URL-адреса с параметрами.

Удалите цепочки переадресации. Редиректы, особенно на массовых сайтах, очень распространены. Но переадресация с более чем тремя переходами может создать проблемы для робота Googlebot. Используйте анализатор журналов, чтобы найти перенаправления и исправить их, указав первый URL-адрес на последний в цепочке.

Используйте внутренние ссылки. Google отдает приоритет страницам с множеством внешних и внутренних ссылок, но получить обратные ссылки на каждую страницу сайта невозможно. При правильной внутренней привязке робот Googlebot может перейти на любую страницу веб-сайта.

Если вы имеете дело с крупным сайтом (например, с крупным брендом электронной коммерции), важно помнить о бюджете сканирования.


Мнения, выраженные в этой статье, принадлежат приглашенному автору и не обязательно Search Engine Land. Список штатных авторов здесь.