Письмо от Google. Googlebot не может получить доступ к файлам CSS и JS на сайте.

Если Вы владелец сайта или блога на WordPress получили от Гугла [Google] вот такое сообщение:

Googlebot не может получить доступ к файлам CSS и JS на сайте http://названиевашегоблога.ru

Веб-мастеру сайта http://названиевашегоблога.ru

Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.

Решение есть!

Итак,

Как исправить

Не буду долго расписывать причины, что и как, просто необходимо поменять содержание файла robots.txt на вот такой:

 User-agent: *
Disallow: /wp-admin/
Disallow: /?wptouch_switch=desktop&redirect
Disallow: /?wptouch_switch=mobile&redirect
Disallow: /*/feed
Host: названиевашегоблога.ru
Sitemap: http://названиевашегоблога.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

User-agent: Twitterbot
Allow: /wp-content/uploads/

Если Вы пользователь шаблона «AB-Inspiration«,  то robots.txt у Вас такой:

User-agent: *
Disallow: /wp-
Host: названиевашегоблога.ru
Sitemap: http://названиевашегоблога.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Именно его и нужно заменить на указанный выше.

Что поменялось в новом robots.txt

Немного объясню изменения в этом файле.

1. Добавлена строка: Disallow: /wp-

раньше мы закрывали для индексирования все папки начинающиеся с wp-, чтобы в выдачю не попадали служебные файлы. Под этот запрет попадали папки wp-include и wp-content. В этих папках есть файлы стилей и файлы javascript, которые подгружаются на блог и участвуют в дизайне. Наши читатели без проблем все видят и все красиво отображается у них в браузерах. Раньше гугл не обращал внимание на это. А теперь он тоже хочет их видеть :). Он хочет видеть сайты так, как видят читатели. Так что придется снять запрет на индексацию папок wp-include и wp-content. Оставляем запрет только на папку wp-admin. Вот ее ему точно не нужно индексировать.

2. добавили строчки wptouch_switch
Disallow: /?wptouch_switch=desktop&redirect
Disallow: /?wptouch_switch=mobile&redirect

Это если Вы установили плагин wptouch пропишите включить эти строчки. Они избавят от дубликации.

3. добавлена строчка Disallow: /*/feed

Это гугл не просил сделать. Просто, чтобы запретить индексировать статьи с окончанием feed. Они создавали дубли.

4. в этих двух строчках замените «навзаниесайта» на свое доменное имя

Host: навзаниесайта.ru
Sitemap: http://навзаниесайта.ru/sitemap.xml

5. Добавлены строчки Twitterbot
User-agent: Twitterbot
Allow: /wp-content/uploads/

Это гугл тоже не просил сделать. Разрешаем twitter индексировать изображения, для того, чтобы анонсы с блога отправлялись и картинками в Твиттер. Подробнее об этом я рассказывала в статье: Как сделать так, чтобы в Твиттер вместе с твитом уходил полноценный анонс статьи

Как редактировать файл robots.txt

В уроке Миниатюра записи и социальные сети. Урок 13. есть подробное описание как редактировать robots.txt через плагин all in one seo pack. Если не хотите смотреть весь урок, спуститесь ниже к части 13.8. Как отредактировать robots.txt с помощью плагина ALL One SEO Pack.

Создайте сайт с нами — легко и быстро!

С вопросами и за помощью обращайтесь в нашу службу поддержки 24/7

Нужен качественный хостинг для сайта на WordPress?
Рекомендую, проверенные годами, хостинг Timeweb:

а также, хостинг Beget: