Роботы Google теперь работают как браузеры

В конце октября Google сообщил о переходе на новые краулеры. При каждом обходе роботом сайта в индексацию будет попадать существующий вариант. Раньше при краулинге сайты с динамической подгрузкой испытывали некоторые проблемы. Страница, которая занимала достаточно высокое место в рейтинге, при дозагрузке индексировалась как новая, теряя позиции.

То есть теперь googlebot способен взаимодействовать со сценариями Javascript.

Краулинг — это форма анализа страницы, осуществляемая программой-роботом, процедура предусматривает анализ загрузки, просмотр ссылок, контента.

Специалисты компании предупреждают, что необходимо снять ограничения, если они были на сайте (запрет на индексацию файлов .js и .css). Для этого стоит воспользоваться инструментом для веб-мастеров (просмотр страницы как робот).

Динамическая подзагрузка используется

  • При создании новых комментариев, сообщений на форумах;
  • При голосовании;
  • Загрузка достаточно большой части контента только по требованию посетителя;
  • При регистрации или авторизации;
  • Вывод сообщений о наличии новых сообщений, записей;
  • Для игр, загружаемых с браузера и многого другого.