Роботы Google теперь работают как браузеры

В конце октября Google сообщил о переходе на новые краулеры. При каждом обходе роботом сайта в индексацию будет попадать существующий вариант. Раньше при краулинге сайты с динамической подгрузкой испытывали некоторые проблемы. Страница, которая занимала достаточно высокое место в рейтинге, при дозагрузке индексировалась как новая, теряя позиции.

То есть теперь googlebot способен взаимодействовать со сценариями Javascript.

Краулинг — это форма анализа страницы, осуществляемая программой-роботом, процедура предусматривает анализ загрузки, просмотр ссылок, контента.

Специалисты компании предупреждают, что необходимо снять ограничения, если они были на сайте (запрет на индексацию файлов .js и .css). Для этого стоит воспользоваться инструментом для веб-мастеров (просмотр страницы как робот).

Динамическая подзагрузка используется

При создании новых комментариев, сообщений на форумах;
При голосовании;
Загрузка достаточно большой части контента только по требованию посетителя;
При регистрации или авторизации;
Вывод сообщений о наличии новых сообщений, записей;
Для игр, загружаемых с браузера и многого другого.