страницы ???
непонятно откуда
gradus
здравствуйте возникла проблема в гугл вебмастер в отчет постоянно приходят собшения страница не найдена sad
то есть поисковик находит левые страницы какие то shock я их удаляю из поиска но они снова всплывают zlo
по идее можно как-то настроить чтобы их не было в файле htaccess либо в robots.txt но информация в WWW по этому вопросу очень противоречива hoho
подскажите пожалуйста кто знает как это сделать и где ? smile п.с сайтомап я вчера создал

вот пример непонятных страниц... которые вечно вылазят
htp://мой сайт .com/comments/feed/ 404

htp://мой сайт .com/wp-content/themes/progekt1/expressInstall.swf 404

htp://мой сайт .com/wp-content/plugins/rustolat/ 404

htp://мой сайт .com/wp-content/themes/progekt1/container.swf 404

htp://мой сайт .com/?m=201209 404

htp://мой сайт .com/?page_id=17 404
Редактировалось: 2 раза (Последний: 22 декабря 2012 в 00:13)
http://gipau.com
Goricin
Надо проверить сайт на битые ссылки в самом сайте. Сначало надо найти и удалить сами эти битые ссылки, а потом пропадут ошибки из панели. Битые ссылки могут быть и в статьях, и в меню, да и везде надо проверять короче crazy
artnikov
gradus:
то есть поисковик находит левые страницы какие то
доброго вам...
Вообще, то что у вас выходит как ошибки, эти файлы блокируются обычно robots.txt
User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: /cgi-bin

И не обязательно их удалять, эти ссылки ведут к ВАМ на сайт, правильно настройте страницу 404 и этот минус , пойдет как большой плюс...
gradus
всем спасибо за ответ v Goricin нету битых ссылок я уже проверял везде их искал hoho
artnikov ну их гугл помечает как 404
переходя по этой ссылке ( ..битой ..) у меня пишет мол извините страница не найдена воспользуйтесь поиском ( я так понимаю стандартная функция ..артистера .. по идее 404 работает нормально - настроено раз такое пишет . Либо я чото не понимаю sad

вот я думаю заблокировать их может как вы пишете в robots.txt scratch
в любом случае спасибо за ответ smile

ну вот к примеру живая ссылка с сайта та что непонятно откуда берется
htp://мой сайт/?m=201209

это правильно настроено 404 иле нет у меня ? stuk zst

вот я ту порылся по www и нашел статью там предлагают вставить это в robots.txt
Скрытый текст виден только зарегистрированным пользователям
там правильно все ? scratch ( ну кой чо заменить надо само сабой )у меня вобше походу robots.txt файла не было в корне сайта shock
Редактировалось: 3 раза (Последний: 20 декабря 2012 в 21:38)
http://gipau.com
samson
gradus,
gradus:
это правильно настроено 404 иле нет у меня
Что значит правильно настроено?
Сайт должен при прохождении по битой ссылке, хоть человеку, хоть боту отдавать 404 (страница не найдена) если по каким то причинам этого не происходит, то в этом случае надо создать саму 404 страницу и через htaccess указать её.

Относительно robots.txt Вы сами заметили:

gradus:
robots.txt но информация в WWW по этому вопросу очень противоречива

И не спроста, artnikov, предложил Вам ПРИМЕР файла. Но он его делал под СВОЙ сайт... Улавливаете? hoho
Файл делается под конкретный сайт поэтому советы здесь могут быть только как примеры. А иначе не зная конкретной ситуации можно много чего лишнего запретить.

По ссылкам если они у Вас одни и те же каждый раз, то можно прописать их на закрытие к индексации и в robots.txt
Но лучше все таки постараться разобраться откуда они берутся. Так будет правильнее.
artnikov
gradus:
вот я думаю заблокировать их может как вы пишете в robots.txt
Вот ДВА примера стандартных(для wordpress) файлов robots.txt:
Вариант 1
User-agent: *
Allow: */uploads
Disallow: /cgi-bin
Disallow: /wp-
Disallow: *?s=
Disallow: *?attachment_id=
Disallow: */feed
Disallow: /xmlrpc.php

Sitemap:
Скрытый текст виден только зарегистрированным пользователям

Sitemap:
Скрытый текст виден только зарегистрированным пользователям


Host:
Скрытый текст виден только зарегистрированным пользователям


Вариант 2

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=
Host: site.ru

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=

Sitemap:
Скрытый текст виден только зарегистрированным пользователям


По мне лучше второй вариант, хотя feed, я не стал бы блокировать, ведь по новостям хорошо индексирует и яндекс и google.
А вот файлы swf, и все такое, закрывайте, не задумывайтесь, для ботов- это мусор...
gradus
спасибо за ответы smile smile

только я так и не понял у меня правильно работает 404 или нет scratch ( ссылка вот на непонятную страницу )
Скрытый текст виден только зарегистрированным пользователям
smile оно так и должно быть( задумка ..артистера.. ) либо надо именно чтоб на всю страницу белый лист и надпись 404 scratch ?

п.с первую ссылку та что верху была я удалил чтоб не ругали smile
Редактировалось: 2 раза (Последний: 20 декабря 2012 в 21:38)
http://gipau.com
samson
gradus, да, согласен с artnikov, если есть проблемы с созданием файла самому, можно взять типовой , кстати такие, как правило есть практически ко всем CMS. Поставьте его и подождите когда пройдет бот. Возможно Ваши проблемы, частично пропадут, а то что останется тогда можно добавить отдельно.
gradus
спасибо я уже добавил robots.txt glasses smile как посоветовал artnikov вырезал .. feed .. и взял тот что побольше который я ..скидывал.. бо у меня та 20 страниц непонятных надеюсь исчезнут хоть 80% ( а если исчезнет нужное подкорректирую robots.txt ) ну а то что не исчезнет( ненужное ) буду в htaccess блокировать до выяснения как вы и говорите smile

Всем большое спасибо dance тему пока что не закрываю мож кто-то чото спросит либо предложит smile ....
Бо там есть интересная тема к примеру про безопасность но увы ее закрыли sad
Редактировалось: 1 раз (Последний: 20 декабря 2012 в 21:58)
http://gipau.com
samson
Сделайте "железный" вариант.
Создайте любую страницу какая Вам понравится, например со ссылкой на главную или что Вам там придумается crazy

Назовите её 404.html бросьте в корень сайта затем в htaccess пропишите:
Код PHP:
  1.  
  2. ErrorDocument 404 / 404.html
  3.  
После этого проверьте откройте любой не существующий адрес на сайте. Должна появиться эта страница. Если появиться то значит все нормально.
gradus
ок так и поступлю joke (проверю хорошая идея )спасибо smile
http://gipau.com
artnikov
gradus:
Бо там есть интересная тема к примеру про безопасность но увы ее закрыли
Доброго вам.
тема не закрыта, да вообще как можно такое животрепещущие закрыть...!
Просто тема плавно перетекла в блог.
Спасибо.
gradus
Здравствуйте С наступающим всех Новым Годом ! v проблема решилась на 90% dance но возникла другая ! решил я перенастроить страницу 404 как советовал artnikov чтобы несуществующею страницу сразу перенаправляло на главную страницу ! smoke ... но тут прикол ! для начала я удалил 404 а без нее все работает как и с ней по старому shock

вот пример 404 удалена !
Скрытый текст виден только зарегистрированным пользователям

и что теперь делать даже и не знаю shock
-----------------------------------------------------------------------------------------------------
п.с поизучав WWW я нашел нужный кусок кода .. цитата ..
404.php, если же он отсутствует, то создайте. И вставляем после закрывающего тега /header следующий код:
<meta http-equiv="Refresh" content="0; url=htp://адрес_главной">...

хотел его вставить . Он должен перенаправить ... но увы не знаю теперь куда его вставлять ... scratch
Редактировалось: 8 раз (Последний: 26 декабря 2012 в 17:56)
http://gipau.com
Goricin
gradus:
<meta http-equiv="Refresh" content="0; url=htp://адрес_главной">...

хотел его вставить . Он должен перенаправить ... но увы не знаю теперь куда его вставлять

Это <meta http-equiv="Refresh" content="0; url=htp://адрес_главной">
Вверху страницы между <head> и </head>
На нужной странице.
artnikov
gradus:
но возникла другая ! решил я перенастроить страницу 404
Доброго времени суток. А вопрос такой- вы на движке WP ? Дело в том. что в настройках темы там галочки надо было поставить на вывод ошибки 404, в других движках вроде так же.!???
Перейти на форум:
Страницы: 1 2 3 > >>
Быстрый ответ
У вас нет прав, чтобы писать на форуме.