Войти

Авторизация

Логин:
Пароль:
Забыли пароль?
Регистрация
Сайт пользователей Artisteer и Themler. Официальный торговый представитель.

страницы ???

непонятно откуда
Постоянный участник
gradus
Медаль За активность на форуме
Сообщений: 394
Днепр
346 дней назад
здравствуйте возникла проблема в гугл вебмастер в отчет постоянно приходят собшения страница не найдена sad
то есть поисковик находит левые страницы какие то shock я их удаляю из поиска но они снова всплывают zlo
по идее можно как-то настроить чтобы их не было в файле htaccess либо в robots.txt но информация в WWW по этому вопросу очень противоречива hoho
подскажите пожалуйста кто знает как это сделать и где ? smile п.с сайтомап я вчера создал

вот пример непонятных страниц... которые вечно вылазят
htp://мой сайт .com/comments/feed/ 404

htp://мой сайт .com/wp-content/themes/progekt1/expressInstall.swf 404

htp://мой сайт .com/wp-content/plugins/rustolat/ 404

htp://мой сайт .com/wp-content/themes/progekt1/container.swf 404

htp://мой сайт .com/?m=201209 404

htp://мой сайт .com/?page_id=17 404
Редактировалось: 2 раза (Последний: 22 декабря 2012 в 00:13)
http://gipau.com
Постоянный участник
Goricin
Медаль
Сообщений: 182
2 дня назад
Надо проверить сайт на битые ссылки в самом сайте. Сначало надо найти и удалить сами эти битые ссылки, а потом пропадут ошибки из панели. Битые ссылки могут быть и в статьях, и в меню, да и везде надо проверять короче crazy
Постоянный участник
artnikov
Медаль За активное участие в жизни сайта.
Сообщений: 479
31 день назад
gradus:
то есть поисковик находит левые страницы какие то
доброго вам...
Вообще, то что у вас выходит как ошибки, эти файлы блокируются обычно robots.txt
User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: /cgi-bin

И не обязательно их удалять, эти ссылки ведут к ВАМ на сайт, правильно настройте страницу 404 и этот минус , пойдет как большой плюс...
Постоянный участник
gradus
Медаль За активность на форуме
Сообщений: 394
Днепр
346 дней назад
всем спасибо за ответ v Goricin нету битых ссылок я уже проверял везде их искал hoho
artnikov ну их гугл помечает как 404
переходя по этой ссылке ( ..битой ..) у меня пишет мол извините страница не найдена воспользуйтесь поиском ( я так понимаю стандартная функция ..артистера .. по идее 404 работает нормально - настроено раз такое пишет . Либо я чото не понимаю sad

вот я думаю заблокировать их может как вы пишете в robots.txt scratch
в любом случае спасибо за ответ smile

ну вот к примеру живая ссылка с сайта та что непонятно откуда берется
htp://мой сайт/?m=201209

это правильно настроено 404 иле нет у меня ? stuk zst

вот я ту порылся по www и нашел статью там предлагают вставить это в robots.txt
Скрытый текст виден только зарегистрированным пользователям
там правильно все ? scratch ( ну кой чо заменить надо само сабой )у меня вобше походу robots.txt файла не было в корне сайта shock
Редактировалось: 3 раза (Последний: 20 декабря 2012 в 21:38)
http://gipau.com
Модератор Постоянный участник
samson
Медаль За активное участие в жизни сайта.
Сообщений: 924
3 дня назад
gradus,
gradus:
это правильно настроено 404 иле нет у меня
Что значит правильно настроено?
Сайт должен при прохождении по битой ссылке, хоть человеку, хоть боту отдавать 404 (страница не найдена) если по каким то причинам этого не происходит, то в этом случае надо создать саму 404 страницу и через htaccess указать её.

Относительно robots.txt Вы сами заметили:

gradus:
robots.txt но информация в WWW по этому вопросу очень противоречива

И не спроста, artnikov, предложил Вам ПРИМЕР файла. Но он его делал под СВОЙ сайт... Улавливаете? hoho
Файл делается под конкретный сайт поэтому советы здесь могут быть только как примеры. А иначе не зная конкретной ситуации можно много чего лишнего запретить.

По ссылкам если они у Вас одни и те же каждый раз, то можно прописать их на закрытие к индексации и в robots.txt
Но лучше все таки постараться разобраться откуда они берутся. Так будет правильнее.
Постоянный участник
artnikov
Медаль За активное участие в жизни сайта.
Сообщений: 479
31 день назад
gradus:
вот я думаю заблокировать их может как вы пишете в robots.txt
Вот ДВА примера стандартных(для wordpress) файлов robots.txt:
Вариант 1
User-agent: *
Allow: */uploads
Disallow: /cgi-bin
Disallow: /wp-
Disallow: *?s=
Disallow: *?attachment_id=
Disallow: */feed
Disallow: /xmlrpc.php

Sitemap:
Скрытый текст виден только зарегистрированным пользователям

Sitemap:
Скрытый текст виден только зарегистрированным пользователям


Host:
Скрытый текст виден только зарегистрированным пользователям


Вариант 2

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=
Host: site.ru

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=

Sitemap:
Скрытый текст виден только зарегистрированным пользователям


По мне лучше второй вариант, хотя feed, я не стал бы блокировать, ведь по новостям хорошо индексирует и яндекс и google.
А вот файлы swf, и все такое, закрывайте, не задумывайтесь, для ботов- это мусор...
Постоянный участник
gradus
Медаль За активность на форуме
Сообщений: 394
Днепр
346 дней назад
спасибо за ответы smile smile

только я так и не понял у меня правильно работает 404 или нет scratch ( ссылка вот на непонятную страницу )
Скрытый текст виден только зарегистрированным пользователям
smile оно так и должно быть( задумка ..артистера.. ) либо надо именно чтоб на всю страницу белый лист и надпись 404 scratch ?

п.с первую ссылку та что верху была я удалил чтоб не ругали smile
Редактировалось: 2 раза (Последний: 20 декабря 2012 в 21:38)
http://gipau.com
Модератор Постоянный участник
samson
Медаль За активное участие в жизни сайта.
Сообщений: 924
3 дня назад
gradus, да, согласен с artnikov, если есть проблемы с созданием файла самому, можно взять типовой , кстати такие, как правило есть практически ко всем CMS. Поставьте его и подождите когда пройдет бот. Возможно Ваши проблемы, частично пропадут, а то что останется тогда можно добавить отдельно.
Постоянный участник
gradus
Медаль За активность на форуме
Сообщений: 394
Днепр
346 дней назад
спасибо я уже добавил robots.txt glasses smile как посоветовал artnikov вырезал .. feed .. и взял тот что побольше который я ..скидывал.. бо у меня та 20 страниц непонятных надеюсь исчезнут хоть 80% ( а если исчезнет нужное подкорректирую robots.txt ) ну а то что не исчезнет( ненужное ) буду в htaccess блокировать до выяснения как вы и говорите smile

Всем большое спасибо dance тему пока что не закрываю мож кто-то чото спросит либо предложит smile ....
Бо там есть интересная тема к примеру про безопасность но увы ее закрыли sad
Редактировалось: 1 раз (Последний: 20 декабря 2012 в 21:58)
http://gipau.com
Модератор Постоянный участник
samson
Медаль За активное участие в жизни сайта.
Сообщений: 924
3 дня назад
Сделайте "железный" вариант.
Создайте любую страницу какая Вам понравится, например со ссылкой на главную или что Вам там придумается crazy

Назовите её 404.html бросьте в корень сайта затем в htaccess пропишите:
Код PHP:
  1.  
  2. ErrorDocument 404 / 404.html
  3.  
После этого проверьте откройте любой не существующий адрес на сайте. Должна появиться эта страница. Если появиться то значит все нормально.
Постоянный участник
gradus
Медаль За активность на форуме
Сообщений: 394
Днепр
346 дней назад
ок так и поступлю joke (проверю хорошая идея )спасибо smile
http://gipau.com
Постоянный участник
artnikov
Медаль За активное участие в жизни сайта.
Сообщений: 479
31 день назад
gradus:
Бо там есть интересная тема к примеру про безопасность но увы ее закрыли
Доброго вам.
тема не закрыта, да вообще как можно такое животрепещущие закрыть...!
Просто тема плавно перетекла в блог.
Спасибо.
Постоянный участник
gradus
Медаль За активность на форуме
Сообщений: 394
Днепр
346 дней назад
Здравствуйте С наступающим всех Новым Годом ! v проблема решилась на 90% dance но возникла другая ! решил я перенастроить страницу 404 как советовал artnikov чтобы несуществующею страницу сразу перенаправляло на главную страницу ! smoke ... но тут прикол ! для начала я удалил 404 а без нее все работает как и с ней по старому shock

вот пример 404 удалена !
Скрытый текст виден только зарегистрированным пользователям

и что теперь делать даже и не знаю shock
-----------------------------------------------------------------------------------------------------
п.с поизучав WWW я нашел нужный кусок кода .. цитата ..
404.php, если же он отсутствует, то создайте. И вставляем после закрывающего тега /header следующий код:
<meta http-equiv="Refresh" content="0; url=htp://адрес_главной">...

хотел его вставить . Он должен перенаправить ... но увы не знаю теперь куда его вставлять ... scratch
Редактировалось: 8 раз (Последний: 26 декабря 2012 в 17:56)
http://gipau.com
Постоянный участник
Goricin
Медаль
Сообщений: 182
2 дня назад
gradus:
<meta http-equiv="Refresh" content="0; url=htp://адрес_главной">...

хотел его вставить . Он должен перенаправить ... но увы не знаю теперь куда его вставлять

Это <meta http-equiv="Refresh" content="0; url=htp://адрес_главной">
Вверху страницы между <head> и </head>
На нужной странице.
Постоянный участник
artnikov
Медаль За активное участие в жизни сайта.
Сообщений: 479
31 день назад
gradus:
но возникла другая ! решил я перенастроить страницу 404
Доброго времени суток. А вопрос такой- вы на движке WP ? Дело в том. что в настройках темы там галочки надо было поставить на вывод ошибки 404, в других движках вроде так же.!???
|
Перейти на форум:
Быстрый ответ
У вас нет прав, чтобы писать на форуме.