Синтаксис Robots.txt не понят

Я отправил файл robots.txt много лет назад в Google, и он по-прежнему дает мне синтаксис, который не понимается для первой строки.

После Googling наиболее распространенной проблемой является Google, добавляющий '?' в начале строки, но это не делает этого для меня.

URL-адрес файла robots.txt

www.leisurepursuits.co.uk/robots.txt

Ошибка:

Строка 1: Пользовательский агент: * Синтаксис не понят

Ответ 1

Эта ошибка показывает, что ожидаемый формат файла robots.txt является простым текстом, закодированным в UTF-8. Файл состоит из записей (строк), разделенных CR, CR/LF или LF.

Если кодировка символов не является подмножеством UTF-8, ваши файлы robots.txt обрабатываются некорректно.

Сначала проверьте URL-адрес robots.txt в http://www.asymptoticdesign.co.uk/cgi-bin/check-url.pl, выбрав второй вариант "источник просмотра" и убедитесь, что он отвечает успешно или нет.

Теперь снова загрузите файл robots.txt. Он не будет показывать ошибку, как показано ранее.