Форум программистов, компьютерный форум, киберфорум
Интернет-маркетинг, SEO
Войти
Регистрация
Восстановить пароль
Карта форума Темы раздела Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.60/5: Рейтинг темы: голосов - 5, средняя оценка - 4.60
1 / 1 / 0
Регистрация: 14.07.2013
Сообщений: 33
1

Правильно составлен robots.txt ?

23.07.2013, 12:38. Показов 991. Ответов 3
Метки нет (Все метки)

Author24 — интернет-сервис помощи студентам
Правильно составлен robots.txt ?
Код
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=

User-agent: Google
Disallow: 

Sitemap: http://kino-lemon.at.ua/sitemap.xml
Sitemap: http://kino-lemon.at.ua/sitemap-forum.xml
Sitemap: http://kino-lemon.at.ua/sitemap-shop.xml

Host: kino-lemon.at.ua
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
23.07.2013, 12:38
Ответы с готовыми решениями:

Правильно ли составлен robots.txt?
Приветствую! Года 2 назад составлял robots.txt для своего сайта на wordpress. Вот он: Недавно...

Правильно ли составлен robots.txt
Добрый день! Прочитала все страницы в этой теме, но хочется перестраховаться, подскажите,...

Правильно ли создан robots.txt ?
Добрый день, у меня такой вопрос, мне нужно в robots.txt закрить папки blocks, admin и js. Я для...

Проверьте robots.txt - Правильно, нет?
Проверьте robots.txt: Цитата: User-agent: * Disallow: /install Disallow: /search Disallow:...

3
452 / 443 / 21
Регистрация: 11.04.2012
Сообщений: 2,076
23.07.2013, 13:35 2
Lyoshen, в целом да, можно правда по-корректнее директиву хост прописать для Яндекса. Ну как-то так:

Код
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=

User-agent: Yandex
Host: kino-lemon.at.ua

Sitemap: http://kino-lemon.at.ua/sitemap.xml
Sitemap: http://kino-lemon.at.ua/sitemap-forum.xml
Sitemap: http://kino-lemon.at.ua/sitemap-shop.xml
0
1 / 1 / 0
Регистрация: 14.07.2013
Сообщений: 33
23.07.2013, 14:03  [ТС] 3
Цитата Сообщение от Sergio Aguero Посмотреть сообщение
Lyoshen, в целом да, можно правда по-корректнее директиву хост прописать для Яндекса. Ну как-то так:

Код
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=

User-agent: Yandex
Host: kino-lemon.at.ua

Sitemap: http://kino-lemon.at.ua/sitemap.xml
Sitemap: http://kino-lemon.at.ua/sitemap-forum.xml
Sitemap: http://kino-lemon.at.ua/sitemap-shop.xml
спс большое вы мой спаситель

Добавлено через 19 минут
Цитата Сообщение от Sergio Aguero Посмотреть сообщение
Lyoshen, в целом да, можно правда по-корректнее директиву хост прописать для Яндекса. Ну как-то так:

Код
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=

User-agent: Yandex
Host: kino-lemon.at.ua

Sitemap: http://kino-lemon.at.ua/sitemap.xml
Sitemap: http://kino-lemon.at.ua/sitemap-forum.xml
Sitemap: http://kino-lemon.at.ua/sitemap-shop.xml

А вот один вопросик что это за код ?

Код
<meta name="robots" content="all" />
 <meta name="Robots" content="index,follow" />
 <meta name="Document-state" content="Dynamiс" />
 <meta name="revisit-after" content="1 days" />
<meta name="google-site-verification" content="vRIFhZNY7zmrQMqLXrh7S1CkS5ZqHz9JWvrEz9kKHVY" />
<meta name='yandex-verification' content='4824dff420a5413e' />
<meta name="msvalidate.01" content="0FBE8C46365F7AF0F69D285EF1DB1CCD" />
<meta name="verify-admitad" content="36e3302c98" />
[/QUOTE]

стоит его ставить на главной странице сайта после ?


<meta name="description"
<meta name="keywords"
1
452 / 443 / 21
Регистрация: 11.04.2012
Сообщений: 2,076
23.07.2013, 15:00 4
Цитата Сообщение от Lyoshen Посмотреть сообщение
А вот один вопросик что это за код ?
это метатэги

Добавлено через 1 минуту
Цитата Сообщение от Lyoshen Посмотреть сообщение
стоит его ставить на главной странице сайта после ?
там у тебя идет верификация - проверка прав пользователя для ПС. Стоит или нет - решать только тебе
0
23.07.2013, 15:00
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
23.07.2013, 15:00
Помогаю со студенческими работами здесь

Как правильно заполнять robots.txt?
а как правильно заполнять роботс.тхт???

Как правильно составить robots.txt
Здраствуйте. Нужна помощи в написании файла robots.txt. Все страницы сайта, за исключением...

Файл robots.txt — как правильно блокировать часть страницы?
Всем здравствуйте. До этого времени держал свой сайт без файла robots.txt, но вот сегодня об этом...

Правильно ли запрещать проход web.config и скрипты в robots.txt ?
Добрый день, интересует опыт работы с robots.txt Кто подскажет по интересующим вопросам в теме и в...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2024, CyberForum.ru