Жалобы на краулинг системы Bing

01-07-2011

По данным издания Search Engine Roundtable становится всё более интенсивным краулинг страниц со стороны поисковой системы Bing, а точнее её робота. BingBot (краулер Microsoft) последнее время всё больше вызывает нарекания со стороны не только веб-мастеров, но и самих владельцев сайта.

Недовольство возникает из-за слишком поверхностного индексирования страниц и клоакинга. Недавний пик возмущений был вызван появлением на сайте одновременно нескольких ботов имеющих разные IP-адреса и выполняющих непрерывный краулинг страниц сайтов, что вызывало перерасход ресурсов сервера, на котором эти сайты находятся. По словам веб-мастеров единственным выходом из сложившейся ситуации является блокировка около 8-10 различных IP-адресов.

Домены Хостинг Разработка Изготовление Оптимизация Продвижение Раскрутка Поддержка Заказ сайта Цена Портфолио

Новости интернет:

Бинг наконец-то стал популярнее Yahoo на рынке поиска Рекламные объявления в ленте новостей соцсервиса Facebook Твиттер запустил программу популяризации медиа-контента Видеохостинг YouTube делает ставку на совместимые мобильные устройства Изменения в алгоритмах Гугл за декабрь 2011г. Гугл испытывает рекламу с обратной связью Для небольших сайтов не обязательна XML - карта сайта Гугл научит создавать подробные сопроводительные тексты Протоколы поиска для смартфонов от Google.Com Новый инструмент для сервиса Q&A от «Ask»