позвонить

Боты всемирной паутины


Главная / Блог / Боты всемирной паутины
 

Боты всемирной паутины На сегодняшний день множество крупных интернет-сервисов собирают информацию о сайтах во всемирной паутине. Причем, все эти сервисы имеют разных ботов (bot, сокращение от robot), преследующих разные цели.

Одни боты собирают информацию на зарубежных ресурсах (определенной тематики) в дальнейшем эту информацию переводят (обычно тоже автоматически) и публикуют на своих сайтах, данный способ хорош в продвижении ресурсов в поисковых системах.

Другие же боты путешествуют по интернету с целью находить формы ввода на сайтах - боты спамеры(комментарии в интернет-магазинах, социальных сетях, обратная связь на различных корпоративных сайтах и сайтах-визитках и остальные поля ввода, используемые для разных целей). Эти формы такие роботы обычно используют  для опубликования спама. Робот определяет тип формы и для чего она нужна. Далее робот определяет, есть ли CAPTCHA (от англ. Completely Automated Public Turing test to tell Computers and Humans Apart — полностью автоматизированный публичный тест Тьюринга для различия компьютеров и людей) или нет, и если есть то какая. В дальнейшем вся информация попадает в базу данных и при необходимости производится публикация спама на разнообразные сайты из базы. Как это часто бывает это ссылки на другие ресурсы.

Самая популярная форма борьбы с такими ботами это CAPTCHA. CAPTCHA бывает разной – от вполне логичных и толковых до откровенно глупых и малоэффективных. Самый распространённый вариант это искаженные символы, которые должен ввести пользователь для подтверждения, что он реальный человек. Есть и более нестандартные, некоторые даже представляют собой некую простую мини-игру – например, передвинуть куда-то ползунок или что-то его заменяющее, сосчитать количество элементов, в общем, такая реализация ограничивается только фантазией разработчика и здравым смыслом (второе, правда, не всегда). Есть вполне заурядные CAPTHCA (в стиле “продолжи стихотворение или частушку“), о которых особо рассказывать не хочется, к тому же они в силу ряда причин являются самыми ненадежными.

Еще один вид ботов - боты уязвимости. Эти боты встречаются реже других,  их цель одна – найти «дыру» в сайте и передать информацию «хозяину». Обычно таких ботов запускают хакеры, цель понятна, - если бот нашел уязвимость на сайте, а сайт к тому же пользуется большой популярностью, то злоумышленник может потребовать от администрации сайта энную сумму денег за информацию об уязвимости и, возможно, устранения последствий своей «работы».

Роботы поисковых систем Ну и самые популярные и «добрые» боты - это боты поисковых систем. Данные боты собирают и анализируют информацию на страницах сайта и передают данные в базу поисковой системы. За этих ботов нет смысла рассказывать много, т.к. на официальных сайтах поисковых систем имеется множество информации по данным вопросам. Единственное, что скажем, то что каждый бот, принадлежащий разным поисковым системам, работает по своим собственным алгоритмам и понимание этих алгоритмов, очень важно для продвижения сайтов.

Зачастую в статистике сайта видишь, что посещают сайт какие-то «монстры», непонятно откуда пришедшие, непонятно зачем и со странным именем (версией). Можно найти информацию о боте в интернете, но порой это трудоемко, т.к. боты в большинстве случаев зарубежные. Многие веб-мастера собирают информацию о ботах у себя в базе, и постоянно ее пополняют. Но обычно в базе содержится от 10 до 50 ботов. Мы поступаем аналогично уже долгое время и у нас в распоряжении имеется более 100 сайтов. На 10.02.2012 в нашей базе находится около 150 ботов и эта база постоянно обновляется. Таким образом, нашим клиентам предоставляется достоверная информация о посещаемости их сайтов (название ботов на русском языке, краткое описание, версия)



У вас есть вопросы?

Наши специалисты готовы перезвонить Вам в течение 5 минут (в рабочее время) и подробно проконсультировать по любым вопросам.
Заказать звонок специалиста




Ещё записи


вверх
Заказать звонок
Отправить
Мы свяжемся с Вами в ближайшее рабочее время.
Отправлено
Спасибо, Ваша заявка отправлена!
Мы свяжемся с Вами в ближайшее рабочее время.
По возможности ответьте на вопросы:
Какая услуга интересует? Создание сайта Продвижение сайта Контекстная реклама Поддержка сайта Другое
Отправить
Оставить заявку
Отправить
Мы свяжемся с Вами в ближайшее рабочее время.
Отправлено
Спасибо, Ваша заявка отправлена!
Мы свяжемся с Вами в ближайшее рабочее время.
Какая услуга Вас интересует? Создание сайта Продвижение сайта Реклама сайта Поддержка сайта Предложение сотрудничества Другое
Отправить
Отправлено
Спасибо, Ваша заявка отправлена!
Мы свяжемся с Вами в ближайшее рабочее время.