Анализ файла Robots и сравнение

@Relof · Регистрация: 18.10.2018

Студворк — интернет-сервис помощи студентам

Здравствуйте, нужно подсказать куда копать или что использовать.
Нужна программа в которой я загружаю список сайтов это будут профиля на форум пример site.ru/forum/user/1/ . Мне нужно что бы программа проверила в robots.txt на сайте site.ru/forum/user/1/ закрытый ли тег профиля Disallow: /user/1/ и вывела в отдельные файлы сайты с закрытым robots и с открытым.
Прошу помощи как можно это реализовать.

@AndreyVorobey · 08.04.2019, 14:14

тебе нужно по ссылкам, которые хранятся в файле скачивать html страницы, в которых есть элемент Disallow, распарсить их и определить, закрыт ли тег?

@Почтальон · 08.04.2019, 14:30

AndreyVorobey, нет, нужно скачать файл robots.txt с ресурса и проанализировать его на наличие строки Disallow: /user/1/

Новые блоги и статьи Все статьи Все блоги /
Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .	Горе от ума kumehtar 07.04.2026 Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .	Использование значений реквизитов справочника в документе, с определенными условиями и правами Maks 07.04.2026 1. Контроль срока действия договора Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если. . .	Доступность команды формы по условию Maks 07.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .
Уведомление о неверно выбранном значении справочника Maks 06.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "НарядПутевка", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если в документе выбран неверный склад. . .	Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt 8Observer8 05.04.2026 Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .	AkelPad-скрипты, структуры, и немного лирики.. testuser2 05.04.2026 Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .	Отображение реквизитов в документе по условию и контроль их заполнения Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2. Данный документ берёт данные из другого нетипового документа. . .

@Relof 0 / 0 / 0 Регистрация: 18.10.2018 Сообщений: 18

	Анализ файла Robots и сравнение 08.04.2019, 10:01. Показов 1735. Ответов 2 Метки robots.txt (Все метки) Здравствуйте, нужно подсказать куда копать или что использовать. Нужна программа в которой я загружаю список сайтов это будут профиля на форум пример site.ru/forum/user/1/ . Мне нужно что бы программа проверила в robots.txt на сайте site.ru/forum/user/1/ закрытый ли тег профиля Disallow: /user/1/ и вывела в отдельные файлы сайты с закрытым robots и с открытым. Прошу помощи как можно это реализовать. 0

@AndreyVorobey 2810 / 1679 / 885 Регистрация: 14.04.2015 Сообщений: 5,723
	08.04.2019, 14:14
	тебе нужно по ссылкам, которые хранятся в файле скачивать html страницы, в которых есть элемент Disallow, распарсить их и определить, закрыт ли тег? 0

@Почтальон управление сложностью 1693 / 1306 / 259 Регистрация: 22.03.2015 Сообщений: 7,545 Записей в блоге: 5
	08.04.2019, 14:30
	AndreyVorobey, нет, нужно скачать файл robots.txt с ресурса и проанализировать его на наличие строки Disallow: /user/1/ 0