Письмо от Гугла. Googlebot не может получить доступ к файлам CSS и JS на сайте.

  Автор:
  2627
Письмо от Гугла - Googlebot не может получить доступ к файлам CSS и JS на сайте

Если Вы владелец сайта или блога на WordPress получили от Гугла [Google] вот такое сообщение:

Googlebot не может получить доступ к файлам CSS и JS на сайте http://названиевашегоблога.ru

Веб-мастеру сайта http://названиевашегоблога.ru

Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.

Решение есть!

Итак,

Как исправить

Не буду долго расписывать причины, что и как, просто необходимо поменять содержание файла robots.txt на вот такой:

 User-agent: *
Disallow: /wp-admin/
Disallow: /?wptouch_switch=desktop&redirect
Disallow: /?wptouch_switch=mobile&redirect
Disallow: /*/feed
Host: названиевашегоблога.ru
Sitemap: http://названиевашегоблога.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

User-agent: Twitterbot
Allow: /wp-content/uploads/

Если Вы пользователь шаблона «AB-Inspiration«,  то robots.txt у Вас такой:

User-agent: *
Disallow: /wp-
Host: названиевашегоблога.ru
Sitemap: http://названиевашегоблога.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Именно его и нужно заменить на указанный выше.

Что поменялось в новом robots.txt

Немного объясню изменения в этом файле.

1. Добавлена строка: Disallow: /wp-

раньше мы закрывали для индексирования все папки начинающиеся с wp-, чтобы в выдачю не попадали служебные файлы. Под этот запрет попадали папки wp-include и wp-content. В этих папках есть файлы стилей и файлы javascript, которые подгружаются на блог и участвуют в дизайне. Наши читатели без проблем все видят и все красиво отображается у них в браузерах. Раньше гугл не обращал внимание на это. А теперь он тоже хочет их видеть :). Он хочет видеть сайты так, как видят читатели. Так что придется снять запрет на индексацию папок wp-include и wp-content. Оставляем запрет только на папку wp-admin. Вот ее ему точно не нужно индексировать.

2. добавили строчки wptouch_switch
Disallow: /?wptouch_switch=desktop&redirect
Disallow: /?wptouch_switch=mobile&redirect

Это если Вы установили плагин wptouch пропишите включите эти строчки. Они избавят от дубликации.

3. добавлена строчка Disallow: /*/feed

Это гугл не просил сделать. Просто чтобы запретить индексировать статьи с окончанием feed. Они создавали дубли.

4. в этих двух строчках замените «навзаниесайта» на свое доменное имя

Host: навзаниесайта.ru
Sitemap: http://навзаниесайта.ru/sitemap.xml

5. Добавлены строчки Twitterbot
User-agent: Twitterbot
Allow: /wp-content/uploads/

Это гугл тоже не просил сделать. Разрешаем twitter индексировать изображения, для того, чтобы анонсы с блога отправлялись и картинками в Твиттер. Подробнее об этом я рассказывала в статье: Как сделать так, чтобы в Твиттер вместе с твитом уходил полноценный анонс статьи

Как редактировать файл robots.txt

В уроке Миниатюра записи и социальные сети. Урок 13. ТЦ «Вдохновение» есть подробное описание как редактировать robots.txt через плагин all in one seo pack. Если не хотите смотреть весь урок, спуститесь ниже к части 13.8. Как отредактировать robots.txt с помощью плагина ALL One SEO Pack.

Письмо от Гугла. Googlebot не может получить доступ к файлам CSS и JS на сайте.
   7 голосов
Средняя оценка: 4.6 из 5
Вы находите данную статью полезной или интересной? Поделитесь ею, пожалуйста, с другими - просто нажмите на кнопки ниже:
Самые Важные Оповещения Блога + Четкий Комплект Ценных Подарков ДЛЯ БЛОГЕРОВ И ФРИЛАНСЕРОВ
Комментарии на блоге
24 комментария
  1. Марина

    Анфиса! Не перестаю удивлять и восхищаться Вашей щедростью! Нигде, ни в одном источнике, ни у одного «гуру» я не видела информацию по ВордПресс в таком понятном, доступном виде. Просто замечательно! И спасибо Вам огромное за это!

  2. Анфиса привет! Спасибо за полезную информацию.

    Если есть минутка, посмотри мои правки…

    Верно?

    User-agent: *
    Allow: /
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/
    Disallow: */trackback/
    Disallow: */feed/
    Disallow: /*/feed
    Disallow: /?wptouch_switch=desktop&redirect
    Disallow: /?wptouch_switch=mobile&redirect
    Disallow: */comments/
    Disallow: /?feed=
    Disallow: /cgi-bin/
    Sitemap: http://romanbabykin.ru/sitemap.xml

    User-agent: YandexBlog
    Disallow:

    User-agent: Yandex
    Allow: /
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/
    Disallow: */trackback/
    Disallow: */feed/
    Disallow: /*/feed
    Disallow: /?wptouch_switch=desktop&redirect
    Disallow: /?wptouch_switch=mobile&redirect
    Disallow: */comments/
    Disallow: /?feed=
    Disallow: /cgi-bin/
    Host: romanbabykin.ru

    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/

    User-agent: YandexImages
    Allow: /wp-content/uploads/

    User-agent: Twitterbot
    Allow: /wp-content/uploads/

    • Роман, у вас еще стоял старый robots.txt. с тех пор он поменялся на тот, что в статье.
      сделайте вот такой:

      User-agent: *
      Disallow: /wp-admin/
      Disallow: /?wptouch_switch=desktop&redirect
      Disallow: /?wptouch_switch=mobile&redirect
      Disallow: /*/feed
      Host: romanbabykin.ru
      Sitemap: http://romanbabykin.ru/sitemap.xml

      User-agent: Googlebot-Image
      Allow: /wp-content/uploads/

      User-agent: YandexImages
      Allow: /wp-content/uploads/

      User-agent: Twitterbot
      Allow: /wp-content/uploads/

    • Если вы хотите отдельно написать правила для Yandex, то можно так:

      User-agent: Yandex
      Disallow: /wp-admin
      Disallow: /wp-includes
      Disallow: /wp-content/plugins
      Disallow: /wp-content/themes
      Disallow: /feed/
      Disallow: */feed
      Disallow: */trackback
      Disallow: */comments
      Disallow: /*?
      Disallow: /*?*
      Host: romanbabykin.ru
      Sitemap: http://romanbabykin.ru/sitemap.xml

  3. Анфиса! Большое спасибо за помощь. Честно говоря, я ни слова не поняла из того, что ты написала и сказала. Просто, доверяя тебе, тупо кликнула на те буквы, куда ты показала. Внешне выглядит все неплохо и блог работает. Поэтому решила, что все сделала как надо. Тем более, что я знаю, что в помощи вы с Васей никогда не откажете, если я что-то напутала!

  4. Наталья

    Анфиса, огромное спасибо за помощь, инструкции и техническую поддержку!

  5. А где этот robots.txt находится? забыла все(((

  6. Анфиса, а что может значить, если мне уже давно пришло для двух сайтов такое уведомление, а для других двух не приходило. При том, что роботс на всех четырех сайтах совершенно одинаковый стоит?

Комментарии в Фейсбук
Комментарии в Вконтакте