Войти

Авторизация

Логин:
Пароль:
Забыли пароль?
Регистрация
Сайт пользователей Artisteer и Themler. Официальный торговый представитель.

Robots и системные папки

закрытие от индексации
Посетитель
Диана
Сообщений: 15
983 дня назад
Привет всем. Вопрос по robots.txt . У меня на сайте Вордпресс будет нужная мне папка от скрипта не принадлежащая Вордпресс. Закрывать или нет её в роботсе?
Постоянный участник
Еремей
Медаль
Сообщений: 253
6 дней назад
Все что не нужно закрываю в robots.txt для этого и есть robots.txt
Посетитель
Диана
Сообщений: 15
983 дня назад
Еремей:
Все что не нужно закрываю в robots.txt для этого и есть robots.txt

Это понятно. smile Но и неохота показывать все кто заглянет в роботс папки которые у меня есть еще на сайте.
Редактировалось: 1 раз (Последний: 17 мая 2015 в 16:51)
Постоянный участник
Malover
Медаль
Сообщений: 638
11 дней назад
Диана:
Это понятно. smile Но и неохота показывать все кто заглянет в роботс папки которые у меня есть еще на сайте.

Лично я закрываю от индексации СТРАНИЦЫ сайта. Папки со скриптами и кодом думаю закрывать нет смысла. Роботы индексируют информацию для людей, а не изучают код. glasses
Посетитель
ForsaGG
Сообщений: 21
303 дня назад
Malover:
Лично я закрываю от индексации СТРАНИЦЫ сайта.

В Joomla robots.txt который идет по умолчанию в движке закрыты


User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Постоянный участник
artnikov
Медаль За активное участие в жизни сайта.
Сообщений: 479
481 день назад
Диана:
Закрывать или нет её в роботсе?
Добры день. Есть стандартные настройки, которые работают уже ни один год... Можете воспользоваться...Думаю пояснять нет смысла, так как из кода всё более менее понятно... Не забудьте изменить site.ru- подставив свой домен, вместо
Скрытый текст виден только зарегистрированным пользователям


User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=
Host: site.ru

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=

Sitemap:
Скрытый текст виден только зарегистрированным пользователям


Это с одной стороны... Рассматривая ДАННЫЙ вопрос, с учетом опыта, могу сказать, что данный файл НЕ рассматривается поисковыми ботами как ОБЯЗАТЕЛЬНЫЙ и ВСЕ что ВЫ напишите в файле robots.txt, НЕ обязательно будет учтено!!! Если хотите можете просто закрыть папки через .ntaccess - прописав Options -Indexes. От этого будет больше толку. По крайней мере папки без индексного файла будут прикрыты... А вообще скрипты сами по себе НЕ индексируются, только в связке со страницей...Так что прятать НЕТ смысла. v
Редактировалось: 1 раз (Последний: 18 мая 2015 в 10:17)
Посетитель
Диана
Сообщений: 15
983 дня назад
artnikov:
Это с одной стороны... Рассматривая ДАННЫЙ вопрос, с учетом опыта, могу сказать, что данный файл НЕ рассматривается поисковыми ботами как ОБЯЗАТЕЛЬНЫЙ и ВСЕ что ВЫ напишите в файле robots.txt, НЕ обязательно будет учтено!!! Если хотите можете просто закрыть папки через .ntaccess - прописав Options -Indexes. От этого будет больше толку. По крайней мере папки без индексного файла будут прикрыты... А вообще скрипты сами по себе НЕ индексируются, только в связке со страницей...Так что прятать НЕТ смысла.

Спасибо. Примерно так и думала.

Сбивают мнения что закрывать надо все не нужные папки в том числе и с кодом.
Редактировалось: 3 раза (Последний: 18 мая 2015 в 11:45)
Постоянный участник
gradus
Медаль За активность на форуме
Сообщений: 394
Днепр
796 дней назад
Здравствуйте после того как гугл изменил алгоритмы свои ,опять возникли проблемы с robots.txt

Ругается гугл на то что я блокирую ему доступ к папкам к таким вот
Заблокированный ресурс
мой сайт /wp-content/themes/proba2/style_1.css 13
2 /wp-content/themes/proba2/images/sam_r.gif 5
3 /wp-content/themes/proba2/images/header_alt.jpg 5
4 /wp-content/themes/proba2/images/menuseparator.png 4
5 /wp-content/plugins/lightbox-gallery/js/jquery.colorbox.js 3
6 /wp-content/themes/proba2/images/Bottom_texture1.jpg 3
7 wp-content/plugins/lightbox-gallery/js/jquery.tooltip.js 3
8 wp-content/plugins/lightbox-gallery/lightbox-gallery.css 3
9 wp-content/plugins/lightbox-gallery/lightbox-gallery.js 3


В частности в вебмастере напротив мой сайт /wp-content/themes стоит знак стоп no2
В данный момент у меня вот такой robots.txt
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Allow: /*/*/*/*.css*
Allow: /*/*/*/*/*.css*
Allow: /*/*/*.js*
Allow: /*/*/*/*.js*
Allow: /*/*/*/*/*.js*

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: htp://мой.сайт/
Sitemap: htp://мой.сайт/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Сижу вот мыслю как сделать правильно теперь дабы угодить гуглу (и яндексу по возможности )и не навредить сайту при этом ,
Подскажите пожалуйста scratch

P.S этот robots.txt нашел в инете установил себе .
Понимаю что
Disallow: /wp-content/themes
Этого делать не нужно

Но вот думаю как это правильней оформить и если Allow: /wp-content/themes поставить (вместо Disallow ) то как это скажется на защите ? scratch
Редактировалось: 3 раза (Последний: 7 сентября 2016 в 19:48)
http://gipau.com
Постоянный участник
Malover
Медаль
Сообщений: 638
11 дней назад
gradus, если быстро, это:

gradus:

Disallow: */*/trackback
Allow: /*/*/*/*.css*
Allow: /*/*/*/*/*.css*
Allow: /*/*/*.js*
Allow: /*/*/*/*.js*
Allow: /*/*/*/*/*.js*

Все синтаксически для роботса неправильно так /*/*/*/*/*.css ни о чем. вот так пишется */.css. Все знаки */ означают закрыть любые файлы css, с любыми адресами на сайте. Вот это /*/*/* бессмыслица, так думаю.

Мне как писал в соседней ветке некогда, подробнее отвечу завтра или может быть Степаныч он обычно ночью бывает напишет подробнее.
Редактировалось: 1 раз (Последний: 7 сентября 2016 в 21:36)
Постоянный участник
Степаныч
Медаль
Сообщений: 672
14 дней назад
Malover:
Все синтаксически для роботса неправильно так /*/*/*/*/*.css ни о чем. вот так пишется */.css. Все знаки */ означают закрыть любые файлы css, с любыми адресами на сайте. Вот это /*/*/* бессмыслица, так думаю.

Там еще и все Allow не нужны.

Вот простой и рабочий:



User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

Sitemap:
Скрытый текст виден только зарегистрированным пользователям

Host: site.ru

Выше artnikov, примерно то же дал.
Больше изобретать не надо. smile
Редактировалось: 1 раз (Последний: 8 сентября 2016 в 00:36)
Постоянный участник
Handy
Медаль
Сообщений: 772
162 дня назад
Я конечно не специалист по robots.txt, но вот такого вида формула

gradus:
Allow: /*/*/*/*.css*

если не ошибаюсь, если так */ тогда в адрес включается все что до / любого вида. Если же так /* тогда в адрес включается все что после / любого вида.

Тогда получается что /*/*/*/*.css* неправильна уже по тому что первый же /* в ней просто перечеркивает все что идет дальше после него и про css уже не действительно, фактически она означает Индексировать (Allow) все что после главной страницы.

Если бы стояло где то НЕ Индексировать то есть Disallow: /*/*/*/*.css*, тогда получалось бы что запрещен к индексации весь сайт /* кроме главной страницы.
music
Редактировалось: 1 раз (Последний: 8 сентября 2016 в 12:45)
качественное продвижение и раскрутка сайтов в сеопульте
Постоянный участник
Evgenert
Медаль
Сообщений: 354
6 дней назад
Handi:
Тогда получается что /*/*/*/*.css* неправильна уже по тому что первый же /* в ней просто перечеркивает все что идет дальше после него и про css уже не действительно, фактически она означает Индексировать (Allow) все что после главной страницы.

Что то в этом есть. scratch hoho
Постоянный участник
Malover
Медаль
Сообщений: 638
11 дней назад
Evgenert:
Что то в этом есть.

Есть и немного другое, зачем в этих случаях Allow, не говоря о правилах?

Я делаю так, если сайт прондексирован полностью, все страницы, но не проиндексировано то что мне хочется тогда пишется Allow и к нему правило.

Но здесь как будто пытаются указать индексирование css и js

Они первоначально не запрещены к индексации, значит ничего не надо, если каким то ботам надо доступ есть.

Только не пойму как это надо, судя по попыткам Google .

Они писали что их будут индексировать, но для этого не надо ничего писать, просто чтобы не было запрета.
Модератор Постоянный участник
samson
Медаль За активное участие в жизни сайта.
Сообщений: 992
10 дней назад
gradus, возьмите файл, что советует Степаныч, насколько знаю у Вас нет там ничего сложного и думаю он подойдет, НО ... риск принятия советов конечно на Вашей стороне))
Редактировалось: 1 раз (Последний: 9 сентября 2016 в 06:21)
Постоянный участник
gradus
Медаль За активность на форуме
Сообщений: 394
Днепр
796 дней назад
Спасибо за подсказки . Сейчас пробовать буду smile
http://gipau.com
|
Перейти на форум:
Быстрый ответ
У вас нет прав, чтобы писать на форуме.