воскресенье, 30 мая 2010 г.

Новые роботы Яндекса

Точнее - не новые роботы, а новые представления старых роботов. Их Яндекс анонсировал довольно давно, но в действие они вступят в течение наступающего июня.
Профессиональные оптимизаторы сходятся во мнении, что это не важно. Но я с ними не согласен...
Владельцы сайтов, использующие Яндекс Директ уже получили соответствующее уведомление в аккаунте: с 1 июня можно (и нужно) прописать в robots.txt отдельную строчку для робота Директа:
User-Agent: YaDirectBot
Disallow:
Нужно это для того, чтобы бот Директа смог беспрепятственно зайти на страницы, закрытые от индексации - например, теги, категории и т.д..

Но и те, кто не пользуется директом, смогут настроить роботс точнее и таким образом потенциально улучшить индексацию. Ведь индексаторы картинок, мультимедия, новостей и проч. теперь тоже имеют собственные представления, так что их поведением можно управлять отдельно.
Вот полный список новых роботов Яндекса:

Mozilla/5.0 (compatible; YandexBot/3.0) — основной индексирующий робот.
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) — робот, определяющий зеркала сайтов.
Mozilla/5.0 (compatible; YandexImages/3.0) — индексатор Яндекс.Картинок.
Mozilla/5.0 (compatible; YandexVideo/3.0) — индексатор Яндекс.Видео.
Mozilla/5.0 (compatible; YandexMedia/3.0) — робот, индексирующий мультимедийные данные.
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) — робот поиска по блогам, индексирующий комментарии постов.
Mozilla/5.0 (compatible; YandexAddurl/2.0) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL».
Mozilla/5.0 (compatible; YandexFavicons/1.0) — робот, индексирующий пиктограммы сайтов (favicons).
Mozilla/5.0 (compatible; YandexDirect/3.0) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса.
Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) — «простукивалка» Яндекс.Директа.
Mozilla/5.0 (compatible; YandexMetrika/2.0) — робот Яндекс.Метрики.
Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) — «простукивалка» Яндекс.Каталога.
Mozilla/5.0 (compatible; YandexNews/3.0) — индексатор Яндекс.Новостей.


Жаль только, что для блоггера это невозможно использовать: бесплатный хостинг (:



0 коммент.:

Отправить комментарий

Подписаться на: Комментарии к сообщению Новые роботы Яндекса