пятница, 5 ноября 2010 г.

robots, meta noindex и ссылки

Погружаясь в борьбу с дублированным контентом, который, действительно, вредит индексации и трафику, нужно иметь более четкое представление о запретах и их способах. Многие слепо надеются на могущество файла robots.txt. Но это могущество, а не всемогущество.

Запрещенные в роботс страницы могут не только появляться в индексе, но и получать, и передавать вес, например - Page Rank. Стопудово для Гугл (об этом говорил Мэт Катс) и вероятно - для Яндекса.
Это утверждение справедливо и для страниц, запрещенных к индексации с помощью мета тега noindex.

Суть в том, что если на страницу есть ссылки, особенно - внешние, Гугл (а по моим наблюдениям - и Яндекс) покажут ее в выдаче - без сниппета и тайтла, то есть без того, что запрещено индексировать.

Почему? На примере этого блога: внешних ссылок на страницы тегов практически нет, а на другие страницы - почти нет. И тут, допустим, какой-то доброжелатель ставит ссылку на тег оптимизация и SEO.
В таком случае она резко выделится из общей массы, получит какой-то вес, и поисковики не станут этот факт игнорировать. А вот если бы у других страниц ссылочная масса была бы мощной, то случайная ссылка вряд ли бы вытащила в выдачу злополучный запрещенный к индексации тег.

Выводы:
1. Самый верный способ полностью исключить всплывание страницы в индексе - убрать на нее внутренние ссылки. Не забывая про юзабилити!
2. Ничего страшного в появлении таких страниц без сниппета и тайтла нет - содержание их не индексируется, и о дублированном контенте можно не беспокоиться. Зато есть польза, если с запрещенной в robots.txt страницы есть ссылки на другие, разрешенные.

В общем, меньше фанатизма:)

7 коммент.:

NMitra

Очень полезно))). Наверно с меня писано)))

NMitra

То есть страница с <meta content='index,nofollow' name='robots'/> будет передавать вес? Зачем тогда его использовать?

Про rel="nofollow" я вообще умолчу. Кстати, можно убрать его не из НИКа, а текста комментария?

judge

Нмитра, страница с meta content="index, nofollow" в общем случае вес не будет передавать, однако для Гугл ее вес будет уменьшаться пропорционально числу ссылок с ноуфоллоу. То есть, грубо говоря, сохранять пэйджрэнк такой тег не поможет. И он, и rel="nofollow" помогают только защититься от ссылок на "плохие " сайты и не попасть под фильтр, а также выразить свое отношение к сайту, на который ссылаешься.
По второму вопросу жду уточнений с примером коода, но убрать его, думаю можно.

NMitra

Уточню вопрос: а как рассчитывает вес страницы на которую ссылаются по линку с nofollow?
Текстовые ссылки ПС видят?

NMitra

http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449&from=40360&rd=1 - здесь написано, что Google не сканирует и не индексирует содержания страниц в robots.txt. А поскольку есть ссылки на ресурс, ПС покажет ее в выдаче - без сниппета и тайтла, или с текстом анкора линка. А как же тогда страница может потерять вес? Google нагло лжёт))))))))

judge

1. Да, текстовые ссылки видят, и есть мнение, что в некоторых случаях вес передается.
2. Нмитра, а при чем тут это? Вы спрашивали: страница с meta content='index,nofollow' name='robots' будет передавать вес? Я ответил на этот вопрос. А Вы почему-то ссылаетесь на ответ про совсем другую ситуацию. Не путайте тег 'index,nofollow и запрет в robots :))

NMitra

Изв.))) Мысли прыгают. Это из текста статьи: Запрещенные в robots страницы могут не только появляться в индексе, но и получать, и передавать вес, например - Page Rank.

Отправить комментарий

Подписаться на: Комментарии к сообщению robots, meta noindex и ссылки