Методы предотвращения поисковых систем от индексации нерелевантного контента на странице

Я ищу способы предотвратить индексирование частей страницы. В частности, комментарии на странице, так как они много взвешивают записи в зависимости от того, что пользователи написали. Это приводит к тому, что поиск Google на странице возвращает много нерелевантных страниц.

Вот варианты, которые я рассматриваю до сих пор:

1) Загружайте комментарии с помощью JavaScript, чтобы предотвратить появление поисковых систем.

2) Использовать нюхание агента пользователя, чтобы просто не выводить комментарии для искателей.

3) Используйте разметку, зависящую от поисковой системы, чтобы скрыть части страницы. Однако это решение кажется странным. Предположительно, это можно сделать, чтобы предотвратить Yahoo! индексирование определенного содержимого:

<div class="robots-nocontent">
This content will not be indexed!
</div>

Это очень уродливый способ сделать это. Я читал о решении Google, которое выглядит лучше, но я считаю, что он работает только с Google Search Appliance (может кто-то подтвердить это?):

<!--googleoff: all-->
This content will not be indexed!
<!--googleon: all-->

Есть ли у кого-нибудь другие рекомендации? Какое из трех выше было бы лучшим способом? Лично я склоняюсь к №2, поскольку, хотя он может не работать для всех поисковых систем, легко настроить таргетинг на самые большие. И он не имеет побочного эффекта для пользователей, если они не намеренно пытаются олицетворять веб-искателя.

Ответ 1

Я бы пошел с вашим вариантом JavaScript. Он имеет два преимущества:

1) боты не видят этого 2) это ускорит время загрузки страницы (загружает комментарии асинхронно и ненавязчиво, например, через jQuery). Время загрузки страницы сильно недооценивает положительный эффект на ранжирование вашего поиска.

Ответ 2

Javascript - это вариант, но двигатели улучшаются при чтении javascript, честно говоря, я думаю, что ваше мышление слишком много в нем, двигатели любят уникальный контент, тем больше контента у вас на каждой странице лучше и если пользователи предоставляют его... его святой Грааль.

Просто потому, что ваш комментатор сделал ссылку на звездные войны на вашем обзоре тостеров, не означает, что вы не собираетесь оценивать модель тостера, это просто означает, что вы можете оценивать тостеры звездных войн.

Еще одна идея: вы могли бы только показывать комментарии людям, которые вошли в систему, collegehumor делают то же, что я считаю, они показывают количество комментариев, которые публикуют, но вы должны войти в систему, чтобы увидеть их.

Ответ 3

googleoff и googleon предназначены для Google Search Appliance, которая является поисковой системой, которую они продают компаниям, которые должны искать через свои собственные внутренние документы. Это не эффективно для живого сайта Google.

Я думаю, что номер 1 - лучшее решение. Поисковые системы не любят, когда вы даете им другой материал, чем вы даете своим пользователям, так что номер 2 может вывести вас из списков поиска вообще.

Ответ 4

Это первое, что я слышал, что поисковые системы предоставляют метод для информирования их о том, что часть страницы не имеет значения.

У Google есть функция, позволяющая веб-мастерам объявлять части своего сайта для поисковой системы, используемой для поиска страниц при обходе.

Возможно, вы сможете относительно подчеркнуть некоторые вещи на странице, указав наиболее релевантные ключевые слова, используя теги META в разделе HEAD на ваших HTML-страницах. Я думаю, что это больше соответствует философии техники, используемой для архитекторов поисковых систем в первую очередь.

Посмотрите Советы по поисковой оптимизации Google. Они четко излагают, что они хотят, и не позволят вам влиять на то, как они индексируют ваш сайт.