Аватар для supmener
87 / 95 / 15
Регистрация: 26.06.2013
Сообщений: 4,754

Функции для парсинга многостраничных сайтов

21.07.2022, 10:01. Показов 680. Ответов 1
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Прошу подсказать названия функций в библиотеках парсинга, которые предназначены для сбора информации не с одной страницы, а когда надо сохранить с разных ссылок, например сохраняя структуру сайта или записывая html на диск или если надо одновременно со страницами сохранять файлы или картинки для создания точной оффлайн версии. Или бывает что в онлайн документации сверху или снизу есть список страниц или хлебные крошки и надо чтобы анализировались страницы по этим ссылкам.
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
21.07.2022, 10:01
Ответы с готовыми решениями:

Подскажите набор инструментов для парсинга сайтов
Сайты разные бывают, говорят, защита с капчей, подгрузка элементов js, сайты с регистрацией, сайты, парсинг которых только через прокси...

ООП для парсинга сайтов
Код части обучающих уроков написан с ООП. Как Вы думаете, достаточно того, что знаю (судя по общению на форуме на эту тему) или если нет,...

Верстка многостраничных сайтов
Я изредка подрабатываю на биржах фриланса верстальщиком. Я самоучка и многих вещей не понимаю и не знаю где искать ответы. Поэтому решил...

1
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
21.07.2022, 16:24
первая найденная https://pypi.org/project/pywebcopy/
советовать не могу, не пробовал, но оно делает то, что ищется вроде бы
1
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
21.07.2022, 16:24
Помогаю со студенческими работами здесь

Обучающий архив по созданию многостраничных сайтов на WordPress
<div>Приветствую Вас, уважаемые читатели!</div> Предлагаю Вашему вниманию обучающее видео пособие по созданию многостраничных сайтов...

Принцип создания многостраничных и многоязычных сайтов на WordPress
Всем привет. Стоит задача переноса верстки на WordPress (будет многостраничный сайт), но я не совсем могу понять как правильно сделать...

Методики для парсинга сайтов
Есть сайт где ежеминутно ( а иногда и раньше ) обновляется некоторая инфа. API конечно же не предоставляет. Подскажите методики как...

QT - класс для парсинга сайтов
Здравствуйте! Я совсем недавно начал изучать QT. Раньше изучал только С++. Сейчас стоит задача написать приложение, которое будет парсить...

Компоненты для парсинга сайтов
Добрый день! Использую компоненты EmbeddedWB Version_14.70 для парсинга информации в сети, но данные компоненты уже давно не...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Опции темы

Новые блоги и статьи
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image
8Observer8 10.02.2026
Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .
Установка Qt-версии Lazarus IDE в Debian Trixie Xfce
volvo 10.02.2026
В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer
8Observer8 08.02.2026
Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .
SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств
8Observer8 07.02.2026
Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru