Robots.txt для нескольких доменов

У нас разные области для каждого языка

www.abc.com
www.abc.se
www.abc.de

И тогда у нас есть другой файл sitemap.xml для каждого сайта. В файле robots.txt я хочу добавить ссылку на карту сайта для каждого домена.

Возможно ли иметь несколько ссылок на карту сайта для каждого домена в одном файле robots.txt?
Если есть несколько, которые он выбирает?

Ответ 1

В файле robots.txt могут сообщаться только поисковые системы sitemaps для собственного домена. Таким образом, он будет единственным, которого он удостоит, когда он сканирует этот домен robots.txt. Если все три домена сопоставляются с одним и тем же сайтом и совместно используют файл robots.txt, поисковые системы будут эффективно находить каждую карту сайта.

Ответ 2

Я использую следующее решение в .htaccess после всех переадресаций домена и www для перенаправления без WWW.

# Rewrite URL for robots.txt
RewriteRule ^robots\.txt$ robots/%{HTTP_HOST}.txt [L]

Создайте новый каталог в корневом каталоге с именем robots. Создайте текстовый файл, заполненный конкретной информацией о роботах для каждого домена.

/robots/abc.com.txt
/robots/abc.se.txt
/robots/abc.de.txt