Изменения, направленные на повышение удобства работы веб-мастеров, от
крупнейшего российского поисковика продолжают радовать. В планах
компании в июне 2010 года переименовать User-agent боты. Сообщается, что новые названия
станут более понятными и информативными, позволяющими идентифицировать
сервис-источник.
На сегодняшний день код роботов, отражаемый в
логах серверов, хоть и подчиняется стройной системе, но идентификации,
без обращения к Яндекс.помощи поддается с трудом (если конечно не
задаться целью, и не выучить все эти комбинации наизусть, что для
человека с нормальной памятью может оказаться весьма проблематичным).
По
комментарию руководителя отдела технологий поискового продвижения
агентства Ingate Дмитрия Злыгостева, нововведение будет иметь и еще одну
сторону, кроме упрощения идентификации ботов. Теперь появится
возможность включения в robots.txt директив для разных роботов.
Например, для видеоконтента нужно будет отправить робота YandexVideo, в
галерею картинок – YandexImages. Основной робот сможет заниматься
основной задачей – индексацией текстового контента, не тратя времени на
другое содержимое. Результатом должна стать быстрая и более качественная
индексация страниц.
Главная 
