Форум программистов, компьютерный форум, киберфорум
Python для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.89/9: Рейтинг темы: голосов - 9, средняя оценка - 4.89
0 / 0 / 0
Регистрация: 11.11.2015
Сообщений: 36

Парсер сайта и ссылок с сайта

15.10.2019, 11:30. Показов 1859. Ответов 2
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Добрый день. Подскажите, как реализовать парсер сайта, с которого парсятся все URL и в свою очередь, с них парсятся еще URL?(содержимое сайтов скачивается в папку). Может, есть готовое решение? И как это реализовать с помощью рекурсии? Также одно из условий - не использовать BeautifulSoup.
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
15.10.2019, 11:30
Ответы с готовыми решениями:

Парсер ссылок с сайта
Пишу программу чтобы с сайта брал ссылки и скачивал или же выводил в textBox Как это осуществить Вот что я сделал var request =...

Парсер всех ссылок сайта
Здравствуйте, нужен парсер всех существующих ссылок сайта(которые именно к нему относятся)(находил программы, но это шлак, если на сайте...

Парсер ссылок сайта - ошибка 404
{ WebClient client = new WebClient(); Stream stream = client.OpenRead(textBox1.Text); ...

2
5037 / 1064 / 149
Регистрация: 29.01.2013
Сообщений: 6,212
15.10.2019, 11:33
satar160, вы решаете какую-то очередную учебную задачу с каких-то очередных курсов?
0
Автоматизируй это!
Эксперт Python
 Аватар для Welemir1
7390 / 4817 / 1246
Регистрация: 30.03.2015
Сообщений: 13,667
Записей в блоге: 29
15.10.2019, 14:08
satar160, используй lxml, готовые должны быть, ищи на гитхабе, тот же скрапи наверное. Не надо с помощью рекурсии.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
15.10.2019, 14:08
Помогаю со студенческими работами здесь

Парсер внешних ссылок по страницам сайта на JAVA - как сделать правильно?
Здравствуйте уважаемые Java разработчики. Столкнулся со следующей задачей - Необходимо написать код сервиса. Сервис определяет...

Влияет ли количество ссылок с сайта А на сайт В на PR или тИЦ сайта В.
Если влияет, то каким образом. Или достаточно лишь одной ссылки? Влияет ли расположение этой ссылки на сайте А (главная или внутренние...

Есть ли такая биржа ссылок, где можно размещать место для ссылок вне видимости страницы сайта
Например сдвинуть абсолютом размещаемые на сайте ссылки, вверх, вниз, вправо или влево?

Парсер сайта
Пишу я вообщем что то вроде парсера сайта на jQuery. Суть в чем: контент скрипт передает сообщением html страницу, скрипту devtools он там...

Парсер сайта
Доброго времени суток. Подскажите пожалуйста, как лучше поступить. Необходимо написать парсер сайта, сайт представляет из себя магазин,...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
3
Ответ Создать тему
Новые блоги и статьи
моя боль
iceja 24.01.2026
Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .
Модель сукцессии микоризы
anaschu 24.01.2026
Решили писать научную статью с неким РОманом
http://iceja.net/ математические сервисы
iceja 20.01.2026
Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .
http://iceja.net/ сервер решения полиномов
iceja 18.01.2026
Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .
Расчёт переходных процессов в цепи постоянного тока
igorrr37 16.01.2026
/ * Дана цепь(не выше 3-го порядка) постоянного тока с элементами R, L, C, k(ключ), U, E, J. Программа находит переходные токи и напряжения на элементах схемы классическим методом(1 и 2 з-ны. . .
Восстановить юзерскрипты Greasemonkey из бэкапа браузера
damix 15.01.2026
Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .
Сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru