0 / 0 / 0
Регистрация: 03.08.2020
Сообщений: 40
1

robots.txt 2020: для рукописного сайта Codeinteger

14.09.2020, 06:58. Показов 2127. Ответов 1

Всем привет.
Перелопатил кучу статей с комментами, кто-то пишет открывайте полностью:

Код
User-agent: *
Disallow: 

Host: [del]
Sitemap: [del]
, кто-то пишет скрывайте админ-зону и другие технические (ненужные) директории:

Код
User-agent: *
Disallow: /admin*
Disallow: /search
Disallow: /*/index
Disallow: /index
Disallow: /profile
Disallow: /user
Disallow: /cache
Disallow: /modules
Disallow: /archive
Disallow: /fonts
Disallow: /img
Disallow: /js/admin
Disallow: /ci
Disallow: /assets
Disallow: /uploads
Disallow: /vacancy
Disallow: /questions
Disallow: /soglashenie
Disallow: /donates
Disallow: /archive
Disallow: /app
Disallow: /[del]/categories/contest
Disallow: /[del]/categories/tovari
Disallow: /[del]/categories/culture
Disallow: /[del]/categories/citation
Disallow: /[del]/articles/84-the-places-we-visited
Disallow: /[del]/categories/service
Disallow: /[del]/categories/country/thailand/phuket
Disallow: /[del]/categories/motherhood/planning
Disallow: /[del]/categories/country/thailand/phuket/beaches
Disallow: /[del]/categories/motherhood
Disallow: /[del]/categories/service/excursions
Disallow: /[del]/categories/country/thailand/phuket/frukti
Disallow: /[del]/categories/spending
Disallow: /[del]/categories/culture/holidays
Disallow: /[del]/categories/country/russia/religion
Disallow: /[del]/categories/journal
Disallow: /[del]/categories/country/russia
Disallow: /[del]/categories/spending/price-for-childbirth-in-thailand
Disallow: /[del]/categories/spending/zatraty-za-vs-vremya
Disallow: /[del]/categories/country/thailand/tasks
Disallow: /[del]/categories/country/thailand/videoblog
Disallow: /[del]/categories/country/thailand/phuket/sights
Disallow: /[del]/categories/country/thailand/ways
Disallow: /[del]/agreement
Disallow: /[del]/categories/country/thailand/excursions-1
Disallow: /[del]/categories/country/thailand/dokumenti/vizi
Disallow: /[del]/categories/country/thailand/dokumenti
Disallow: /[del]/categories/country/thailand
Disallow: /[del]/categories/country/thailand/phuket/finance
Disallow: /[del]/categories/country
Disallow: /[del]/uploads/posts/125/d019e-new-years-eve-preview-new-0-190-110.jpeg
Disallow: /[del]/categories/tsitaty/authors
Disallow: /[del]/articles/157-igor-dvorovs-videoblog-meet
Disallow: /[del]/articles/170-igor-dvorovs-videoblog-how-to-prepare-for-pregnancy-mans-opinion
Disallow: /[del]/articles/158-igor-dvorovs-videoblog-beginning
В итоге есть какое-то однозначное, правильное решение? - подскажите, пожалуйста, кто в теме
__________________
Помощь в написании контрольных, курсовых и дипломных работ, диссертаций здесь
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
14.09.2020, 06:58
Ответы с готовыми решениями:

robots.txt для сайта и форума
Привет всем! Тут решил сделать robots.txt для сайта и форума (phpbb). Чтобы основным для яндекса...

Помогите составить Robots.txt для сайта
Доброе утро уважаемые SEO, помогите пожалуйста составить робота для сайта www.tkum.ru

Файл robots.txt для сайта блокирует доступ к некоторым URL
Здравствуйте,сегодня в google консоли обнаружил что что поисковик блокирует url , хотя до этого...

Среди страниц сайта в выдаче google присутствует robots.txt
Всем привет! Среди страниц сайта в выдаче google присутствует "www.###.ru/robots.txt" с тайтлом...

1
968 / 490 / 100
Регистрация: 20.02.2016
Сообщений: 2,799
14.09.2020, 23:29 2
Цитата Сообщение от mrdrive Посмотреть сообщение
В итоге есть какое-то однозначное, правильное решение?
Нуууу тут всё как с нижнем бельём, в приличном программирование не принято светить административной частью где попало, но если Ваши морально-профессиональные устои столь не так высоки, то можно и забить :D
Цитата Сообщение от mrdrive Посмотреть сообщение
кто-то пишет скрывайте админ-зону и другие технические (ненужные) директории:
По моему Вы тут вместе с админ частью половину сайта закрыли
0
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
14.09.2020, 23:29
Помогаю со студенческими работами здесь

robots.txt для сайта на WordPress
Подготовил файл robotx.txt для сайта на WordPress. Кто может подсказать, всё ли в нем валидно и...

Нужен ли при создание сайта файл robots.txt
Нужен ли при создание сайта файл robots.txt Зарание благодарю!

Как правильно скрыть в robots.txt страницу сайта?
Как правильно скрыть в robots.txt страницу сайта? Например, есть такая страница:...

robots.txt для ЯН
Как функционирует файл, robots? Неужели все описания его, не совсем верны? Или Ян как...

Robots.txt для CodeIgniter
Нужно ли закрывать папки Application, System в файле robots.txt ??

robots.txt для IPB
Добрый день, возник вопрос к знатокам. Пытался составить robots.txt для форума от IPB(Invision...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2022, CyberForum.ru