Как скрыть сайт от поисковых систем?

Я хочу скрыть сайт, чтобы он не отображался в какой-либо поисковой системе, просто задаваясь вопросом, как бы я это сделал?

ОТВЕТЫ

Ответ 2

Вы можете каким-то образом сократить свой сайт, указав robots.txt. Обратите внимание, что это зависит от "доброй воли" искателя, хотя (некоторые спам-боты будут явно смотреть на места, которые вы запрещаете).

Единственный безопасный и надежный способ не иметь сайт, к сожалению, не помещать его в Интернет.

Просто не ссылаться на ваш сайт не получится. Сканеры получают информацию из многих источников, включая рефереры браузеров и регистраторы доменов. Итак, чтобы быть "невидимым", вам не нужно будет посещать ваш сайт и не регистрировать домен (только получить доступ к нему через IP-адрес).
И затем, если вы запустите свой веб-сервер на основе IP-адреса, у вас все еще есть все спамботы, зондирующие случайные адреса. Это займет некоторое время, но они вас найдут.

Пароль, защищающий ваш сайт, должен работать, что делает его недоступным. Хотя (и это выходит за рамки моего понимания того, как это происходит), например, есть буквально тысячи документов ACM, перечисленных в Google, которые вы не видите без учета и входа в систему. Однако они есть.

Ответ 3

Помимо защиты паролем вашего сайта, вы можете добавить эти строки в robots.txt:

User-agent: *
Disallow: /

Это не скрывает сайт, а скорее инструктирует ботов не распространять содержимое.

Ответ 4

Используйте robots.txt, отказать во всех поисковых системах. Они не все уважают robots.txt, поэтому регулярно проверяйте журналы своего сервера и отказывайтесь от диапазонов предполагаемых роботов/сканеров:

http://httpd.apache.org/docs/2.2/howto/access.html

Ответ 5

большинство правильных поисковых систем используют ботов или сканеров для веб-сайтов и индексируют их. вы могли бы метод Robot File

Ответ 6

Вы используете файл robots.txt. Поместите файл в корень сайта с этим контентом:

User-agent: *
Disallow: /

Ответ 7

Посмотрите nofollow Wikipedia

Ответ 8

Вам нужно прочитать о файле robots.txt, который вы должны скопировать на свой сайт webroot - http://www.robotstxt.org/robotstxt.html.