Письмо от Google. Googlebot не может получить доступ к файлам CSS и JS на сайте.

  Автор:
  24 комментария
  11534
Письмо от Гугла - Googlebot не может получить доступ к файлам CSS и JS на сайте

Если Вы владелец сайта или блога на WordPress получили от Гугла [Google] вот такое сообщение:

Googlebot не может получить доступ к файлам CSS и JS на сайте http://названиевашегоблога.ru

Веб-мастеру сайта http://названиевашегоблога.ru

Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.

Решение есть!

Итак,

Как исправить

Не буду долго расписывать причины, что и как, просто необходимо поменять содержание файла robots.txt на вот такой:

 User-agent: *
Disallow: /wp-admin/
Disallow: /?wptouch_switch=desktop&redirect
Disallow: /?wptouch_switch=mobile&redirect
Disallow: /*/feed
Host: названиевашегоблога.ru
Sitemap: http://названиевашегоблога.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

User-agent: Twitterbot
Allow: /wp-content/uploads/

Если Вы пользователь шаблона «AB-Inspiration«,  то robots.txt у Вас такой:

User-agent: *
Disallow: /wp-
Host: названиевашегоблога.ru
Sitemap: http://названиевашегоблога.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Именно его и нужно заменить на указанный выше.

Что поменялось в новом robots.txt

Немного объясню изменения в этом файле.

1. Добавлена строка: Disallow: /wp-

раньше мы закрывали для индексирования все папки начинающиеся с wp-, чтобы в выдачю не попадали служебные файлы. Под этот запрет попадали папки wp-include и wp-content. В этих папках есть файлы стилей и файлы javascript, которые подгружаются на блог и участвуют в дизайне. Наши читатели без проблем все видят и все красиво отображается у них в браузерах. Раньше гугл не обращал внимание на это. А теперь он тоже хочет их видеть :). Он хочет видеть сайты так, как видят читатели. Так что придется снять запрет на индексацию папок wp-include и wp-content. Оставляем запрет только на папку wp-admin. Вот ее ему точно не нужно индексировать.

2. добавили строчки wptouch_switch
Disallow: /?wptouch_switch=desktop&redirect
Disallow: /?wptouch_switch=mobile&redirect

Это если Вы установили плагин wptouch пропишите включить эти строчки. Они избавят от дубликации.

3. добавлена строчка Disallow: /*/feed

Это гугл не просил сделать. Просто, чтобы запретить индексировать статьи с окончанием feed. Они создавали дубли.

4. в этих двух строчках замените «навзаниесайта» на свое доменное имя

Host: навзаниесайта.ru
Sitemap: http://навзаниесайта.ru/sitemap.xml

5. Добавлены строчки Twitterbot
User-agent: Twitterbot
Allow: /wp-content/uploads/

Это гугл тоже не просил сделать. Разрешаем twitter индексировать изображения, для того, чтобы анонсы с блога отправлялись и картинками в Твиттер. Подробнее об этом я рассказывала в статье: Как сделать так, чтобы в Твиттер вместе с твитом уходил полноценный анонс статьи

Как редактировать файл robots.txt

В уроке Миниатюра записи и социальные сети. Урок 13. есть подробное описание как редактировать robots.txt через плагин all in one seo pack. Если не хотите смотреть весь урок, спуститесь ниже к части 13.8. Как отредактировать robots.txt с помощью плагина ALL One SEO Pack.

 


Создайте сайт с нами — легко и быстро!

С вопросами и за помощью обращайтесь в нашу службу поддержки 24/7

 

Нужен качественный хостинг для сайта на WordPress?
Рекомендую, проверенные годами, хостинг Timeweb:
Надежный проверенный годами хостинг для сайта на WordPress
а также, хостинг Beget:
Хостинг Beget

 

Письмо от Google. Googlebot не может получить доступ к файлам CSS и JS на сайте.

   7 голосов
Средняя оценка: 4.6 из 5
Находите эту информация полезной и интересной? Тогда смело жмите на кнопки соцсетей и поделитесь этой информацией со своими друзьями и знакомыми:

Анфиса Бреус

Анфиса Бреус - специалист по Wordpress с 2007 года. Создатель и разработчик шаблона "AB-Inspiration" для самостоятельной и профессиональной настройки сайтов на WordPress для бизнеса. Основатель клуба "Мастер WordPress" и автор эксклюзивных курсов по WordPress. Фрилансер. Спикер.

Подпишись на меня в Telegram! Только важные новости и лучшие статьи
Оставьте свой комментарий:

Комментарии на Блог
24 комментария
  1. Александр Алферов

    Ваши уроки всегда интересны и поучительны, как для новичков, так и для продвинутых пользователей.
    Всегда восхищаюсь той силе, которая движет Вами, почему то именно у Вас хватает сил и терпения, для того что бы заниматься этим рутинным делом — блоготворением. Огромное Вам спасибо!

  2. Анфиса! Спасибо за вашу потрясающую работу и заботу. Из Ваших уроков я узнала много нового. Здоровья и удачи Вам!

  3. Nadina

    Спасибо за разъяснение!
    А то вчера получила «письмо счастья» от google,
    и не могу понять, чего он хочет)
    Теперь все легко заменю

  4. Здравствуйте, Анфиса! Спасибо вам за статью, получила такое письмо от Google, не поняла ничего, но и Ваша статья не все мне объяснила, так как в таких вопросах я «плаваю»…Если можете, посмотрите мой robots.txt, подскажите, пожалуйста, что изменить, спасибо заранее:

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /wp-includes
    Disallow: /wp-feed
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Host: fitdeal.ru
    Sitemap: http://fitdeal.ru/sitemap.xml

    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/

    User-agent: YandexImages
    Allow: /wp-content/uploads/

    • У вас есть строчка:
      User-agent: Mediapartners-Google
      Disallow:

      Ее нужно оставить. это для показа релевантных объявлений.

      у вас должен получиться вот такой robots.txt:

      User-agent: *
      Disallow: /wp-admin/
      Disallow: /?wptouch_switch=desktop&redirect
      Disallow: /?wptouch_switch=mobile&redirect
      Disallow: /*/feed
      Host: названиевашегоблога.ru
      Sitemap: http://названиевашегоблога.ru/sitemap.xml
       
      User-agent: Googlebot-Image
      Allow: /wp-content/uploads/
       
      User-agent: YandexImages
      Allow: /wp-content/uploads/
       
      User-agent: Twitterbot
      Allow: /wp-content/uploads/
      
      User-agent: Mediapartners-Google
      Disallow:
      

      Только замените «названиевашегоблога» на «fitdeal»

  5. Виталий

    Очень нужная информация. Спасибо!

  6. А если такое письмо не приходило?

    • Александр

      Зайдите на инструмент проверки удобства просмотра на мобильных устройствах от Гугла. Внизу будет список заблокированных ресурсов. Если у вас там пусто — значит, и не придет.

  7. Анфиса, добрый день! Спасибо большое за информирование! =)
    Внесла необходимые правки. Отличного дня и настроения!!
    =) *IN LOVE* *YAHOO* *ROSE*

  8. Виталий

    Благодарю вас за оперативное решение вопроса!
    Правда, через плагин у меня не получилось сделать. Отредактировал через панель хостинга.

  9. Галина

    Спасибо за информацию. Хоть понятно стало, что от нас хотят. %)

  10. Анфиса! Какое счастье, что у меня теперь блог на Вашем шаблоне. Обо всех изменениях, которые необходимо сделать, не только сообщите, что их необходимо сделать, но расскажите, как это сделать. А «особо одаренным» даже поможете сделать. Спасибо большое за то, что Вы есть!

  11. Марина

    Анфиса! Не перестаю удивлять и восхищаться Вашей щедростью! Нигде, ни в одном источнике, ни у одного «гуру» я не видела информацию по ВордПресс в таком понятном, доступном виде. Просто замечательно! И спасибо Вам огромное за это!

  12. Анфиса привет! Спасибо за полезную информацию.

    Если есть минутка, посмотри мои правки…

    Верно?

    User-agent: *
    Allow: /
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/
    Disallow: */trackback/
    Disallow: */feed/
    Disallow: /*/feed
    Disallow: /?wptouch_switch=desktop&redirect
    Disallow: /?wptouch_switch=mobile&redirect
    Disallow: */comments/
    Disallow: /?feed=
    Disallow: /cgi-bin/
    Sitemap: http://romanbabykin.ru/sitemap.xml

    User-agent: YandexBlog
    Disallow:

    User-agent: Yandex
    Allow: /
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/
    Disallow: */trackback/
    Disallow: */feed/
    Disallow: /*/feed
    Disallow: /?wptouch_switch=desktop&redirect
    Disallow: /?wptouch_switch=mobile&redirect
    Disallow: */comments/
    Disallow: /?feed=
    Disallow: /cgi-bin/
    Host: romanbabykin.ru

    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/

    User-agent: YandexImages
    Allow: /wp-content/uploads/

    User-agent: Twitterbot
    Allow: /wp-content/uploads/

    • Роман, у вас еще стоял старый robots.txt. с тех пор он поменялся на тот, что в статье.
      сделайте вот такой:

      User-agent: *
      Disallow: /wp-admin/
      Disallow: /?wptouch_switch=desktop&redirect
      Disallow: /?wptouch_switch=mobile&redirect
      Disallow: /*/feed
      Host: romanbabykin.ru
      Sitemap: http://romanbabykin.ru/sitemap.xml

      User-agent: Googlebot-Image
      Allow: /wp-content/uploads/

      User-agent: YandexImages
      Allow: /wp-content/uploads/

      User-agent: Twitterbot
      Allow: /wp-content/uploads/

    • Если вы хотите отдельно написать правила для Yandex, то можно так:

      User-agent: Yandex
      Disallow: /wp-admin
      Disallow: /wp-includes
      Disallow: /wp-content/plugins
      Disallow: /wp-content/themes
      Disallow: /feed/
      Disallow: */feed
      Disallow: */trackback
      Disallow: */comments
      Disallow: /*?
      Disallow: /*?*
      Host: romanbabykin.ru
      Sitemap: http://romanbabykin.ru/sitemap.xml

  13. Татьяна Сяглова

    Анфиса! Большое спасибо за помощь. Честно говоря, я ни слова не поняла из того, что ты написала и сказала. Просто, доверяя тебе, тупо кликнула на те буквы, куда ты показала. Внешне выглядит все неплохо и блог работает. Поэтому решила, что все сделала как надо. Тем более, что я знаю, что в помощи вы с Васей никогда не откажете, если я что-то напутала!

  14. Наталья

    Анфиса, огромное спасибо за помощь, инструкции и техническую поддержку!

  15. А где этот robots.txt находится? забыла все(((

  16. Анфиса, а что может значить, если мне уже давно пришло для двух сайтов такое уведомление, а для других двух не приходило. При том, что роботс на всех четырех сайтах совершенно одинаковый стоит?

Ваш адрес email не будет опубликован. Обязательные поля помечены *