Я разместил следующий Header в моей конфигурации vhost:
Header set X-Robots-Tag "noindex, nofollow"
Цель здесь - просто отключить поисковые системы от индексации моей тестовой среды. На сайте Wordpress установлен плагин для управления настройками мета-роботов на странице. Например:
<meta name="robots" content="index, follow" />
Итак, мой вопрос в том, какая директива будет иметь приоритет над другой, поскольку оба устанавливаются на каждой странице?
Я не уверен, может ли быть задан окончательный ответ на вопрос, поскольку поведение может быть зависимым от реализации (на стороне робота).
Однако, я думаю, есть разумные доказательства того, что X-Robots-Tag будет иметь приоритет над <meta name="robots" .... См.:
Одно существенное различие между мета-директивой X-Robots-Tag и robots:
X-Robots-Tag является частью заголовка протокола HTTP.<meta name="robots" ... является частью заголовка HTML.Следовательно, X-Robots-Tag принадлежит уровню протокола HTTP, а <meta name="robots" ... принадлежит к уровню протокола HTML.
Поскольку они принадлежат к другому уровню протокола, они не будут анализироваться одновременно клиентом (роботом), получающим страницу: сначала будет проанализирован уровень HTTP, а HTML - на более позднем этапе.
(Кроме того, следует отметить, что X-Robots-Tag и <meta name="robots" ... не поддерживаются всеми роботами. Google и Yahoo/Bing поддерживают оба, но согласно это некоторая поддержка только <meta name="robots" ..., другие не поддерживают ни одного.)
Сводка:
X-Robots-Tag будет обработан первым; применяются ограничения (noindex, nofollow) (и <meta name="robots" ... игнорируется).<meta name="robots" ....В моем недавнем опыте, когда Google видит смешанные сообщения, он предпочитает положительное действие по умолчанию - то есть - он способствует индексированию - пока что эта проблема будет отмечена как критическая ошибка/предупреждение в вашей консоли инструментов для веб-мастеров, если она у вас есть.
см. статус вашего сайта в google здесь: https://www.google.com/webmasters/
см. статус сайта в bing здесь: http://www.bing.com/toolbox/webmaster (обратите внимание, что поиск yahoo теперь работает на bing)
Google принимает это положительное действие по умолчанию, потому что у многих владельцев сайтов невольно есть хитроумные полублокирующие роботы cms, и мы знаем, как Google любит накапливать как можно больше данных - любое оправдание!
если технические параметры ошибочны, они не могут быть полностью проигнорированы, и мы знаем, как индексируются поисковые системы и следуют по умолчанию, когда не заданы никакие настройки.