409 / 161 / 32
Регистрация: 26.11.2019
Сообщений: 434
1

Удалять ли Disallow страницы указанные в robots из sitemap?

21.04.2020, 13:54. Показов 356. Ответов 1
Метки нет (Все метки)

Если в robots.txt в Disallow записаны какие-то страницы, то их и из sitemap.xml можно удалить?
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
21.04.2020, 13:54
Ответы с готовыми решениями:

Allow, Disallow, robots.txt
Здравствуйте есть вопрос небольшой. Можно ли в robots.txt использовать подобную конструкцию: ...

Disallow: и Allow: в robots.txt
Немножко запутался читая FAQ яндекса по роботс и очень нужна ваша консультация: Хочу в блоге на...

Robots.txt Disallow со звездочкой
Романтичное название темы, не так ли? А теперь опишу ситуацию. Были страницы типа где id,...

disallow отдельной директории robots.txt
Есть директория http://www.agoi.ru/rielt/search.html?srhGo=y&id_type=1...

1
Модератор
Эксперт HTML/CSS
2051 / 1381 / 627
Регистрация: 13.03.2010
Сообщений: 4,762
21.04.2020, 14:21 2
Нужно.
1
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
21.04.2020, 14:21
Помогаю со студенческими работами здесь

Новые правила обработки директив Allow и Disallow в файлах robots.txt
Компания Яндекс: Новые правила обработки директив Allow и Disallow в файлах robots.txt ...

Можно ли в robots.txt использовать - "Disallow: /*?" правило?
Здравствуйте, Можно ли в robots.txt использовать - "Disallow: /*?" правило? Для того чтобы...

Странности с robots и sitemap
Здравствуйте! Возникли проблемы с robots и sitemap. 1) При введении прямой ссылки на...

Sitemap.xml и robots.txt
У нас сайт, который тянет товары от поставщика (с его разрешения) в раздел /x/. Так получилось, что...

Два sitemap в robots.txt
На сайте два движка, форум и блог. У каждого свои плагины формируют sitemap. Если в одном...

sitemap из robots.txt обрабатывается быстрее
Через webmaster.yandex.ru указывал карту сайта как sitemap.xml. При этом на сервере есть также...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2022, CyberForum.ru