User Agent: синтаксис не распознается (Google Webmasters)

Строка 1: User Agent * — Синтаксис не распознается… Многие вебмастеры сталкивались с этим сообщением, которое выдает Google Webmasters при проверке файла Robots.txt. Я расскажу в чем заключается проблема и как ее исправить.

Если Вы создавали, сохраняли или редактировали файл Robots.txt в стандартном блокноте Windows, «лучше которого ничего нет…«, то Вы будете разочарованы в его кажущейся простоте. На самом деле блокнот устанавливает в начале строки специальный Юникод-символ под названием Byte Order Mark (сокращенно BOM), который указывает, как ясно из названия, на порядок байтов текстового файла. И как показывает практика, он это делает как для Unicode кодировки, так и для ANSI. Именно поэтому при анализе Robots вебмастер Google читает этот специальный символ и воспринимает его как часть строки. Соответственно параметр User Agent выглядит для него совсем по-иному.

Google Webmasters User Agent синтаксис не распознается

Google Webmasters User Agent: синтаксис не распознается

Как это исправить? Да очень просто. Нам нужно установить программу под названием Notepad++. Русскую версию можно скачать отсюда: http://notepad-plus-plus.ru/.

После установки запускаем Notepad++ и открываем наш файл Robots.txt. Далее переходим в меню Кодировки и выбираем «Кодировать в UTF-8 (без BOM)».

Notepad++: сохраняем robots.txt

Notepad++: сохраняем robots.txt

Далее сохраняем файл и загружаем на хостинг. В течении 2-3 дней Google произведет новую проверку и ошибка исчезнет.

Понравилась запись? Ставь лайк!
Loading more content...