robots.txt для WP
gradus
Здравствуйте решил я подправить свой сайт под мобильную версию ( почитал форумы всякие кой что сделал исправил принципе помогло частично )
но все же до конца сам не осилил остается еше 6 ошибок . scratch
Пишет вот такое вот
Как робот Googlebot видит страницу Некоторые ресурсы страницы (6) заблокированы в файле robots.txt.

Сделал я себе вот такой robots.txt User-agent: *
Allow: /wp-content/uploads
Allow: /*/*/*/*/*.css
Allow: /*/*/*.css
Allow: /*/*/*.js
Disallow: /wp-
Disallow: /webstat/
Disallow: /*feed
Disallow: /*trackback
Disallow: /*comments
Disallow: /*?
Disallow: /*page
Disallow: /xmlrpc.php
Host: htp://мой.сайт/
Sitemap: htp://мой.сайт/sitemap.xml

но вот такие ошибки остались
htp://мой.сайт/wp-content/themes/тема/images/Bottom_texture1.jpg
htp://мой.сайт/wp-content/themes/тема/images/header_alt.jpg
htp://мой.сайт/wp-content/themes/тема/images/menuseparator.png
htp://mc.yandex.ru/metrika/watch.js
htp://мой.сайт/wp-content/themes/тема/images/sam_r.gif
htp://мой.сайт/wp-content/plugins/lightbox-gallery/images/overlay.png

Подскажите пожалуйста что можно в robots.txt подправить чтобы оставшиеся 6 ошибок исчезли .

предполагаю что надо убрать Disallow: /wp- scratch
Редактировалось: 3 раза (Последний: 8 сентября 2015 в 18:35)
http://gipau.com
samson
gradus, v не понятно почему robots.txt ПОД МОБИЛЬНУЮ версию... robots.txt должен быть один на сайте.

gradus:
Allow: /wp-content/uploads
Allow: /*/*/*/*/*.css
Allow: /*/*/*.css
Allow: /*/*/*.js

По мне так это лишнее. Объясню свою позицию. Да, вроде бы Google писал, что будет индексировать css и js НО... это их видение сайта, Вам зачем что бы они были в поиске?
Если нужно пускай индексируют те боты которым это нужно, практической пользы для сайта от этого не вижу.

Allow: /wp-content/uploads тоже не вижу смысла, изображения индексируются со страниц с метаописаниями или отталкиваясь на содержание страницы, согласно этому позиционируются по определенным поисковым запросам.

gradus:
предполагаю что надо убрать Disallow: /wp-

Disallow: /wp- запрещает ссылки в которых есть /wp- ( вернее должно быть так /wp-*, но и /wp- может расцениваться как запрет содержащего данное).
Так что вполне может быть.
Редактировалось: 1 раз (Последний: 8 сентября 2015 в 19:25)
FDmitriy
gradus:
Сделал я себе вот такой robots.txt User-agent: *

Использую такой:

Код PHP:
  1.  
  2. Disallow: /cgi-bin
  3. Disallow: /wp-admin
  4. Disallow: /wp-includes
  5. Disallow: /wp-content/plugins
  6. Disallow: /wp-content/cache
  7. Disallow: /wp-content/themes
  8. Disallow: /trackback
  9. Disallow: */trackback
  10. Disallow: */*/trackback
  11. Disallow: */*/feed/*/
  12. Disallow: */feed
  13. Disallow: /*?*
  14. Disallow: /tag
  15.  
Ошибок в панели нет.
gradus
samson:
gradus, не понятно почему robots.txt ПОД МОБИЛЬНУЮ версию... robots.txt должен быть один на сайте.
Вы правы . Я не совсем корректно сформулировал вопрос .

samson:
о мне так это лишнее. Объясню свою позицию. Да, вроде бы Google писал, что будет индексировать css и js НО... это их видение сайта, Вам зачем что бы они были в поиске?
Если нужно пускай индексируют те боты которым это нужно, практической пользы для сайта от этого не вижу.
Дело в том что гугл угрожает занижением позиций если css и js не будет открыт для их ботов (типа там умельцы умудряются ссылки скрывать итп )
Поэтому гугл требуют открыть доступ ...


samson:
Disallow: /wp- запрещает ссылки в которых есть /wp- ( вернее должно быть так /wp-*, но и /wp- может расцениваться как запрет содержащего данное).
Так что вполне может быть
Спасибо за разъяснение попробую ...
FDmitriy, Спасибо за robots.txt smile сейчас буду все пробовать

P.S хотел пробовать с хостингом какие то траблы hoho залесть в панель не могу ....
Редактировалось: 1 раз (Последний: 9 сентября 2015 в 11:36)
http://gipau.com
Еремей
gradus:
Дело в том что гугл угрожает занижением позиций если css и js не будет открыт для их ботов (типа там умельцы умудряются ссылки скрывать итп )
Поэтому гугл требуют открыть доступ ...

Если нет указания Disallow: значит открыто для индексации.
gradus
Еремей:
Если нет указания Disallow: значит открыто для индексации.

Это я знаю joke там с этими /*/*/*.css и прочими символами не очень понятно crazy одна звездочка и все иначе становится
http://gipau.com
gradus
Добрался я до панели управления наконец то . Начал проверять ...
Попробовал поставить robots.txt тот что предложил FDmitriy

Если поставить код без вот этого User-agent: * то есть в чистом виде прям так как выше то выдает вот такое .

На странице есть ресурс, доступ к которому запрещен в файле robots.txt. Результаты и скриншот могут не соответствовать действительности. scratch (но при этом ошибок типа не находит )

Если тот же код но с User-agent: * то пишет 8 ошибок присутствует ..

scratch

Убрал Disallow: /wp- пишет вот такое . На странице есть ресурс, доступ к которому запрещен в файле robots.txt. Результаты и скриншот могут не соответствовать действительности. ( ошибок тоже не пишет )

Вот и сижу думаю это так и должно писать ? либо все же что то не правильно получается ?
Тестирую в поисках истины случайные сайты ..... но идеального пока не нашел везде чо то не так ....
Редактировалось: 7 раз (Последний: 10 сентября 2015 в 21:22)
http://gipau.com
Степаныч
gradus:
Убрал Disallow: /wp- пишет вот такое . На странице есть ресурс, доступ к которому запрещен в файле robots.txt. Результаты и скриншот могут не соответствовать действительности. ( ошибок тоже не пишет )

Попробуйте отправить файл sitemap повторно на индексацию и подождите когда проиндексирут Гугл, он через несколько дней переиндексирует. Тогда понятно будет будут ошибки или нет с этим robots.

Так у Вас robots получается для прежней индексации.

gradus:
Если поставить код без вот этого User-agent: *

User-agent: * должно быть.
FDmitriy
gradus:
Если тот же код но с User-agent: * то пишет 8 ошибок присутствует ..

Файл рабочий, на нескольких сайтах стоит.

В него нужно добавить в начало это:

gradus:
User-agent: *

и в конец это:

gradus:
Host: htp://мой.сайт/
Sitemap: htp://мой.сайт/sitemap.xml

Думал и так ясно.
Степаныч
gradus:
Вот и сижу думаю это так и должно писать ? либо все же что то не правильно получается ?
Тестирую в поисках истины случайные сайты ..... но идеального пока не нашел везде чо то не так ....

Еще пример robots для Wordpress:

Скрытый текст виден только зарегистрированным пользователям


ЗЫ: Вообщето этот файл делается индивидуально для каждого сайта. То что предлагается, это усредненный вариант, закрывающий известные дубли страниц.
gradus
Неделя выдалась напряженной только освободился , Вот зашел к вам в гости на форум . Спасибо за разъяснение и подсказки . smile
http://gipau.com
Перейти на форум:
Быстрый ответ
У вас нет прав, чтобы писать на форуме.