Письмо от Google. Googlebot не может получить доступ к файлам CSS и JS на сайте.

  Автор:
  24 комментария
  11533
Письмо от Гугла - Googlebot не может получить доступ к файлам CSS и JS на сайте

Если Вы владелец сайта или блога на WordPress получили от Гугла [Google] вот такое сообщение:

Googlebot не может получить доступ к файлам CSS и JS на сайте http://названиевашегоблога.ru

Веб-мастеру сайта http://названиевашегоблога.ru

Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.

Решение есть!

Итак,

Как исправить

Не буду долго расписывать причины, что и как, просто необходимо поменять содержание файла robots.txt на вот такой:

 User-agent: *
Disallow: /wp-admin/
Disallow: /?wptouch_switch=desktop&redirect
Disallow: /?wptouch_switch=mobile&redirect
Disallow: /*/feed
Host: названиевашегоблога.ru
Sitemap: http://названиевашегоблога.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

User-agent: Twitterbot
Allow: /wp-content/uploads/

Если Вы пользователь шаблона «AB-Inspiration«,  то robots.txt у Вас такой:

User-agent: *
Disallow: /wp-
Host: названиевашегоблога.ru
Sitemap: http://названиевашегоблога.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Именно его и нужно заменить на указанный выше.

Что поменялось в новом robots.txt

Немного объясню изменения в этом файле.

1. Добавлена строка: Disallow: /wp-

раньше мы закрывали для индексирования все папки начинающиеся с wp-, чтобы в выдачю не попадали служебные файлы. Под этот запрет попадали папки wp-include и wp-content. В этих папках есть файлы стилей и файлы javascript, которые подгружаются на блог и участвуют в дизайне. Наши читатели без проблем все видят и все красиво отображается у них в браузерах. Раньше гугл не обращал внимание на это. А теперь он тоже хочет их видеть :). Он хочет видеть сайты так, как видят читатели. Так что придется снять запрет на индексацию папок wp-include и wp-content. Оставляем запрет только на папку wp-admin. Вот ее ему точно не нужно индексировать.

2. добавили строчки wptouch_switch
Disallow: /?wptouch_switch=desktop&redirect
Disallow: /?wptouch_switch=mobile&redirect

Это если Вы установили плагин wptouch пропишите включить эти строчки. Они избавят от дубликации.

3. добавлена строчка Disallow: /*/feed

Это гугл не просил сделать. Просто, чтобы запретить индексировать статьи с окончанием feed. Они создавали дубли.

4. в этих двух строчках замените «навзаниесайта» на свое доменное имя

Host: навзаниесайта.ru
Sitemap: http://навзаниесайта.ru/sitemap.xml

5. Добавлены строчки Twitterbot
User-agent: Twitterbot
Allow: /wp-content/uploads/

Это гугл тоже не просил сделать. Разрешаем twitter индексировать изображения, для того, чтобы анонсы с блога отправлялись и картинками в Твиттер. Подробнее об этом я рассказывала в статье: Как сделать так, чтобы в Твиттер вместе с твитом уходил полноценный анонс статьи

Как редактировать файл robots.txt

В уроке Миниатюра записи и социальные сети. Урок 13. есть подробное описание как редактировать robots.txt через плагин all in one seo pack. Если не хотите смотреть весь урок, спуститесь ниже к части 13.8. Как отредактировать robots.txt с помощью плагина ALL One SEO Pack.

 


Создайте сайт с нами — легко и быстро!

С вопросами и за помощью обращайтесь в нашу службу поддержки 24/7

 

Нужен качественный хостинг для сайта на WordPress?
Рекомендую, проверенные годами, хостинг Timeweb:
Надежный проверенный годами хостинг для сайта на WordPress
а также, хостинг Beget:
Хостинг Beget

 

Письмо от Google. Googlebot не может получить доступ к файлам CSS и JS на сайте.

   7 голосов
Средняя оценка: 4.6 из 5
Находите эту информация полезной и интересной? Тогда смело жмите на кнопки соцсетей и поделитесь этой информацией со своими друзьями и знакомыми:

Анфиса Бреус

Анфиса Бреус - специалист по Wordpress с 2007 года. Создатель и разработчик шаблона "AB-Inspiration" для самостоятельной и профессиональной настройки сайтов на WordPress для бизнеса. Основатель клуба "Мастер WordPress" и автор эксклюзивных курсов по WordPress. Фрилансер. Спикер.

Подпишись на меня в Telegram! Только важные новости и лучшие статьи
Оставьте свой комментарий:

Комментарии на Блог
24 комментария
  1. Александр Алферов

    Ваши уроки всегда интересны и поучительны, как для новичков, так и для продвинутых пользователей.
    Всегда восхищаюсь той силе, которая движет Вами, почему то именно у Вас хватает сил и терпения, для того что бы заниматься этим рутинным делом — блоготворением. Огромное Вам спасибо!

  2. Анфиса! Спасибо за вашу потрясающую работу и заботу. Из Ваших уроков я узнала много нового. Здоровья и удачи Вам!

  3. Nadina

    Спасибо за разъяснение!
    А то вчера получила «письмо счастья» от google,
    и не могу понять, чего он хочет)
    Теперь все легко заменю

  4. Здравствуйте, Анфиса! Спасибо вам за статью, получила такое письмо от Google, не поняла ничего, но и Ваша статья не все мне объяснила, так как в таких вопросах я «плаваю»…Если можете, посмотрите мой robots.txt, подскажите, пожалуйста, что изменить, спасибо заранее:

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /wp-includes
    Disallow: /wp-feed
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Host: fitdeal.ru
    Sitemap: http://fitdeal.ru/sitemap.xml

    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/

    User-agent: YandexImages
    Allow: /wp-content/uploads/

    • У вас есть строчка:
      User-agent: Mediapartners-Google
      Disallow:

      Ее нужно оставить. это для показа релевантных объявлений.

      у вас должен получиться вот такой robots.txt:

      User-agent: *
      Disallow: /wp-admin/
      Disallow: /?wptouch_switch=desktop&redirect
      Disallow: /?wptouch_switch=mobile&redirect
      Disallow: /*/feed
      Host: названиевашегоблога.ru
      Sitemap: http://названиевашегоблога.ru/sitemap.xml
       
      User-agent: Googlebot-Image
      Allow: /wp-content/uploads/
       
      User-agent: YandexImages
      Allow: /wp-content/uploads/
       
      User-agent: Twitterbot
      Allow: /wp-content/uploads/
      
      User-agent: Mediapartners-Google
      Disallow:
      

      Только замените «названиевашегоблога» на «fitdeal»

  5. Виталий

    Очень нужная информация. Спасибо!

  6. А если такое письмо не приходило?

    • Александр

      Зайдите на инструмент проверки удобства просмотра на мобильных устройствах от Гугла. Внизу будет список заблокированных ресурсов. Если у вас там пусто — значит, и не придет.

  7. Анфиса, добрый день! Спасибо большое за информирование! =)
    Внесла необходимые правки. Отличного дня и настроения!!
    =) *IN LOVE* *YAHOO* *ROSE*

  8. Виталий

    Благодарю вас за оперативное решение вопроса!
    Правда, через плагин у меня не получилось сделать. Отредактировал через панель хостинга.

  9. Галина

    Спасибо за информацию. Хоть понятно стало, что от нас хотят. %)

  10. Анфиса! Какое счастье, что у меня теперь блог на Вашем шаблоне. Обо всех изменениях, которые необходимо сделать, не только сообщите, что их необходимо сделать, но расскажите, как это сделать. А «особо одаренным» даже поможете сделать. Спасибо большое за то, что Вы есть!

  11. Марина

    Анфиса! Не перестаю удивлять и восхищаться Вашей щедростью! Нигде, ни в одном источнике, ни у одного «гуру» я не видела информацию по ВордПресс в таком понятном, доступном виде. Просто замечательно! И спасибо Вам огромное за это!

  12. Анфиса привет! Спасибо за полезную информацию.

    Если есть минутка, посмотри мои правки…

    Верно?

    User-agent: *
    Allow: /
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/
    Disallow: */trackback/
    Disallow: */feed/
    Disallow: /*/feed
    Disallow: /?wptouch_switch=desktop&redirect
    Disallow: /?wptouch_switch=mobile&redirect
    Disallow: */comments/
    Disallow: /?feed=
    Disallow: /cgi-bin/
    Sitemap: http://romanbabykin.ru/sitemap.xml

    User-agent: YandexBlog
    Disallow:

    User-agent: Yandex
    Allow: /
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/
    Disallow: */trackback/
    Disallow: */feed/
    Disallow: /*/feed
    Disallow: /?wptouch_switch=desktop&redirect
    Disallow: /?wptouch_switch=mobile&redirect
    Disallow: */comments/
    Disallow: /?feed=
    Disallow: /cgi-bin/
    Host: romanbabykin.ru

    User-agent: Googlebot-Image
    Allow: /wp-content/uploads/

    User-agent: YandexImages
    Allow: /wp-content/uploads/

    User-agent: Twitterbot
    Allow: /wp-content/uploads/

    • Роман, у вас еще стоял старый robots.txt. с тех пор он поменялся на тот, что в статье.
      сделайте вот такой:

      User-agent: *
      Disallow: /wp-admin/
      Disallow: /?wptouch_switch=desktop&redirect
      Disallow: /?wptouch_switch=mobile&redirect
      Disallow: /*/feed
      Host: romanbabykin.ru
      Sitemap: http://romanbabykin.ru/sitemap.xml

      User-agent: Googlebot-Image
      Allow: /wp-content/uploads/

      User-agent: YandexImages
      Allow: /wp-content/uploads/

      User-agent: Twitterbot
      Allow: /wp-content/uploads/

    • Если вы хотите отдельно написать правила для Yandex, то можно так:

      User-agent: Yandex
      Disallow: /wp-admin
      Disallow: /wp-includes
      Disallow: /wp-content/plugins
      Disallow: /wp-content/themes
      Disallow: /feed/
      Disallow: */feed
      Disallow: */trackback
      Disallow: */comments
      Disallow: /*?
      Disallow: /*?*
      Host: romanbabykin.ru
      Sitemap: http://romanbabykin.ru/sitemap.xml

  13. Татьяна Сяглова

    Анфиса! Большое спасибо за помощь. Честно говоря, я ни слова не поняла из того, что ты написала и сказала. Просто, доверяя тебе, тупо кликнула на те буквы, куда ты показала. Внешне выглядит все неплохо и блог работает. Поэтому решила, что все сделала как надо. Тем более, что я знаю, что в помощи вы с Васей никогда не откажете, если я что-то напутала!

  14. Наталья

    Анфиса, огромное спасибо за помощь, инструкции и техническую поддержку!

  15. А где этот robots.txt находится? забыла все(((

  16. Анфиса, а что может значить, если мне уже давно пришло для двух сайтов такое уведомление, а для других двух не приходило. При том, что роботс на всех четырех сайтах совершенно одинаковый стоит?

Добавить комментарий для Светлана Макарьина Отменить ответ

Ваш адрес email не будет опубликован. Обязательные поля помечены *