Опасности применения поисковых роботов

Поисковые роботы помогают в сборе статистических данных, при большом количестве запрашиваемых документов, поэтому использование программ-роботов оправдывает себя. Но их использование таит некоторые опасности.

Высокая нагрузка на сервер

Программы могут работать без перерыва длительное время, могут делать несколько параллельных запросов. Это создает нагрузку на сервер и даже может уменьшить пропускную способность для других посетителей. В интернете нет возможности регулировать нагрузку.

В настоящее время компании оплачивают деньги за пользование Сетью, что будет чувствоваться при высокой нагрузке, робот, естественно, это не почувствует, продолжая запрашивать страницу за страницей.

Пользователи, которые запрашивают те же документы, будут ощущать снижение скорости ответа. То есть при использовании программ лучше избегать одновременного запрашивания нескольких страниц, но браузеры этот протокол поддерживают. В настоящее время разрабатываются новые протоколы для браузеров.

Обновление базы данных

Роботы могут обновлять документы автоматически. А вот качественный контроль над обновлениями не разработан. Документ изменен, а сервер не передает кэшированный вариант. Не существует запроса, определяющего изменение, удаление, перемещение ссылки. С помощью робота можно лишь извлечь информацию о времени запроса документа. Именно поэтому качество обработки статистических данных с помощью роботов относительное.

Агенты

При перемещении по интернету роботы передают обнаруженную информацию поисковикам. Возможно, это и усовершенствование в работе поисковых роботов, но нагрузка на сервер при этом громадная, сервер работает с задержками, что очень неудобно для обычного пользователя. Есть и второй недостаток подобных роботов: они не могут качественно определить релевантность выдачи запрашиваемому слову. Например, на запрос «Ауди, гараж», поисковик выдаст информацию историю появления марки Ауди. Робот считает, что для поиска информации по автомобилю Ауди, главное слово «автомобиль», а вот пользователь об этом не подозревает.

Еще одна опасность клиентского робота — невозможность исправления ошибок после распространения его по сети. Можно модернизировать робота, но не исправить ошибки. Наверное, подобные роботы не должны попадать в руки отдельных пользователей.

Кроме перечисленных технических опасностей, естье ще этические аспекты. Каким образом подобные роботы будут использоваться? Если для объединения базы данных, доступной для всех, это еще нормально. А если в личных целях?

«Плохие роботы»

Иногда компьютерщики пытаются написать программу-робот и запускают в сеть некачественные программы. Как правило, это игнорирование запрашиваемых запросов, при невозможности их обработки, это обработка двух документов как одинаковых, хотя они и различаются.

А вот в «черную дыру» может попасть и хороший робот. Это происходит в случае бесконечности запрашиваемого участка сети. Например, при возвращении страницы со ссылкой на уровень ниже. Робот попадает в своеобразную ловушку.

Интеллектуальные помощники-роботы — достаточно популярная тема исследований, за ними — будущее. Но их использование не должно быть стрельбой из пушек по воробьям.