Если Вы владелец сайта или блога на WordPress получили от Гугла [Google] вот такое сообщение:
Googlebot не может получить доступ к файлам CSS и JS на сайте http://названиевашегоблога.ru
Веб-мастеру сайта http://названиевашегоблога.ru
Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.
Решение есть!
Итак,
Как исправить
Не буду долго расписывать причины, что и как, просто необходимо поменять содержание файла robots.txt на вот такой:
User-agent: * Disallow: /wp-admin/ Disallow: /?wptouch_switch=desktop&redirect Disallow: /?wptouch_switch=mobile&redirect Disallow: /*/feed Host: названиевашегоблога.ru Sitemap: http://названиевашегоблога.ru/sitemap.xml User-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: YandexImages Allow: /wp-content/uploads/ User-agent: Twitterbot Allow: /wp-content/uploads/
Если Вы пользователь шаблона «AB-Inspiration«, то robots.txt у Вас такой:
User-agent: * Disallow: /wp- Host: названиевашегоблога.ru Sitemap: http://названиевашегоблога.ru/sitemap.xml User-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: YandexImages Allow: /wp-content/uploads/
Именно его и нужно заменить на указанный выше.
Что поменялось в новом robots.txt
Немного объясню изменения в этом файле.
1. Добавлена строка: Disallow: /wp-
раньше мы закрывали для индексирования все папки начинающиеся с wp-, чтобы в выдачю не попадали служебные файлы. Под этот запрет попадали папки wp-include и wp-content. В этих папках есть файлы стилей и файлы javascript, которые подгружаются на блог и участвуют в дизайне. Наши читатели без проблем все видят и все красиво отображается у них в браузерах. Раньше гугл не обращал внимание на это. А теперь он тоже хочет их видеть :). Он хочет видеть сайты так, как видят читатели. Так что придется снять запрет на индексацию папок wp-include и wp-content. Оставляем запрет только на папку wp-admin. Вот ее ему точно не нужно индексировать.
2. добавили строчки wptouch_switch
Disallow: /?wptouch_switch=desktop&redirect
Disallow: /?wptouch_switch=mobile&redirect
Это если Вы установили плагин wptouch пропишите включить эти строчки. Они избавят от дубликации.
3. добавлена строчка Disallow: /*/feed
Это гугл не просил сделать. Просто, чтобы запретить индексировать статьи с окончанием feed. Они создавали дубли.
4. в этих двух строчках замените «навзаниесайта» на свое доменное имя
Host: навзаниесайта.ru
Sitemap: http://навзаниесайта.ru/sitemap.xml
5. Добавлены строчки Twitterbot
User-agent: Twitterbot
Allow: /wp-content/uploads/
Это гугл тоже не просил сделать. Разрешаем twitter индексировать изображения, для того, чтобы анонсы с блога отправлялись и картинками в Твиттер. Подробнее об этом я рассказывала в статье: Как сделать так, чтобы в Твиттер вместе с твитом уходил полноценный анонс статьи
Как редактировать файл robots.txt
В уроке Миниатюра записи и социальные сети. Урок 13. есть подробное описание как редактировать robots.txt через плагин all in one seo pack. Если не хотите смотреть весь урок, спуститесь ниже к части 13.8. Как отредактировать robots.txt с помощью плагина ALL One SEO Pack.
Создайте сайт с нами — легко и быстро!
С вопросами и за помощью обращайтесь в нашу службу поддержки 24/7
Нужен качественный хостинг для сайта на WordPress?
Рекомендую, проверенные годами, хостинг Timeweb:
а также, хостинг Beget:
Средняя оценка: 4.6 из 5
