Похоже, что Google может индексировать определенные сайты или форумы (я не могу назвать каких-либо отстраненных, поскольку это были месяцы с тех пор, как я последний раз видел их), и при обращении к вам запрашивается запрос на регистрацию или вход в систему.
Как я могу сделать свой сайт открытым для Google, чтобы индексировать и иметь обычный логин для других?
Google поддерживает концепцию гибкой выборки, при которой вы можете показывать пользователям ограниченный объем контента из результатов поиска Google, одновременно позволяя роботу Googlebot сканировать все это.
Google позволяет либо показывать пользователям ограниченное количество статей (измерение), либо показывать часть каждой статьи (вводная).
С технической точки зрения вам необходимо:
Это замена устаревшей политики Google "First Click Free", при которой вам приходилось показывать полную страницу контента каждый раз, когда кто-то нажимал на ваш сайт из результатов поиска Google.
Это недоверчиво.
Что бы вы сделали, это понюхать для Googlebot/2.1 (+http://www.google.com/bot.html) и Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) user-agents (по крайней мере) и доставить на это клиентский контент в целом.
Другой вариант - сделать то, что делает expersexchange, и всю информацию заглянуть глубоко в страницу. Таким образом, у вас есть ваш торт, и его тоже есть: пользователи не полностью вас ненавидят, ваш рейтинг страницы не страдает, и вы по-прежнему различаете незарегистрированных пользователей дают лучший опыт зарегистрированным пользователям.
Это то, о чем вы просите?
Может ли Google Site Search индексировать мои защищенные паролем страницы?
Если это так, вот ответ от Google
Поиск по сайту Google может предоставлять результаты поиска для страниц, которые общедоступны для сканирования, а не веб-сайты, требующие пароля Информация. Если у вас есть защищенная сеть таких как страницы интрасети, которые вам нужно индексировать и искать, вы может захотеть рассмотреть один из универсальные параметры поиска. Ты можешь узнать больше о Google Mini и Google Search Appliance здесь.
Мы открываем бэкдор для Google и других поисковых систем.
У нас есть белый список IP-адресов, используемых основными поисковыми системами. Если мы увидим, что запросы относятся к одному из IP-адресов, мы обходим аутентификацию и показываем сокращенную версию страницы, чтобы Google мог ее индексировать, но не вся информация доступна из кеша Google.
Мы пытались использовать User-Agent, но обнаружили, что люди его злоупотребляют. IP гораздо труднее взломать.
Создайте карту сайта для индексации Google и загрузите ее в Google. Пожалуйста, перейдите по этой ссылке: Внутри файлов Sitemap для Google: использование файлов индекса Sitemap
Посетите pro www.prospershowcase.com для получения информации о сканировании Google.