Реальная задача для реального проекта для желающих покодить

@Kastaneda · Регистрация: 12.12.2009

Студворк — интернет-сервис помощи студентам

Привет

Попросили сделать парсер сайта по-дружески, но у меня реально времени на него нет. Если кому-то интересно, могу двигать в нужном направлении и может, при желании, могу пинать за плохой код.
Что нужно сделать - парсер с HTTP клиентом. Пример клиента на boost::asio скину, покажу как парсить HTML регулярками (да, есть библиотеки, но думаю руками будет интересней). Могу архитектуру накидать еще.

Есть сайт, там есть форма, в форму вводятся данные, данные для следующих листбоксов тянутся аджаксом, после заполнения всех форм аджаксом тянутся другие данные. Нужно стянуть данные для всех возможных комбинаций всех листбоксов, при этом нужно сохранить сами листбоксы.

Тему не помещаю во фриланс, т.к. денег не предвидится, но вообще, могу уточнить, может там какая-то чисто символическая сумма будет.

Да, знаю С++ тут не лучший выбор, но тут большая активность желающих обучаться людей.

@Avazart · 26.07.2016, 23:02

Сообщение от Kastaneda

Как бы сетевого программирования тут не будет, задача сводится к другому.

Все зависит от того что считать сетевым программированием, знание HTTP все таки требуется.

@Kastaneda · 26.07.2016, 23:04 **[ТС]**

Сообщение от Avazart

Нет самый простой использовать либу для HTTP, а не уровень сокетов.

либу еще прикрутить надо, а буст уже прикручен, ctrl+C, ctrl+V явно быстрее

На самом деле не вижу предмета спора, будет класс, который будет использоваться так

C++
1
std::string html = http_client::get("doman.name.com");

начинку http_client можно будет заменить в любой момент, если когда-нибудь в этом будет необходимость, тогда уже можно и готовые либы использовать. Пока же никакой необходимости в этом нет. Зачем тянуть к проекту дополнительную библиотеку?

@Avazart · 26.07.2016, 23:15

Сообщение от Kastaneda

правильно это делать на питоне

Ну вы сами написали что на С++, я не стал советовать питон (хотя опять же спорный вопрос, иногда проще кинуть клиенту экзешник и забыть, нежели ставить ему питон, ставить либы для парсинга, ставить PyQt)

Сообщение от Kastaneda

либу еще прикрутить надо,

Вы пишите в С++Builder ? Если нет не вижу проблем с прикручиванием сторонних либ

Сообщение от Kastaneda

Зачем тянуть к проекту дополнительную библиотеку?

Зачем тянуть весь монстр-буст ?

Касательно кода, опять же куки, заголовки, исключения, таймауты, прокси и понеслась....
Я уже не говорю что из

Сообщение от Kastaneda

для следующих листбоксов тянутся аджаксом

может последовать то что потребуется браузерный движок.

Я к тому что следует посмотреть снифером запросы, а для этого некоторый опыт по анализу HTTP-запросов нужен.

@Kastaneda · 26.07.2016, 23:37 **[ТС]**

Сообщение от Avazart

может последовать то что потребуется браузерный движок.
Я к тому что следует посмотреть снифером запросы, а для этого некоторый опыт по анализу HTTP-запросов нужен.

Не, там все очень просто - в браузере отследил нужные запросы, в ответ приходит HTML с кодом 200. Никаких дополнительных приседаний не надо.

Я даже не вижу причин иметь дополнительную зависимость (в виде библиотеки) для такой простой задачи. Проект и так зависит от буста, заюзать boost::asio не проблема. Сейчас точно известно, что готовый клиент из бустовских примеров полностью покрывает все потребности.

@Avazart · 26.07.2016, 23:39

Kastaneda, Вам виднее.
(но я бы проверил есть ли в ответе на тот самый запрос все то что нужно спарсить)

Новые блоги и статьи Все статьи Все блоги /
Программное добавление префикса в нумерацию документов Maks 27.10.2026 Задача: Программно добавить префикс в нумерацию документов в самописной конфигурации на БСП (помощь начинающему коллеге). Решение: В модуле объекта документа размещен следующий код: Процедура. . .	После закрытия оутлука продолжает висеть процесс в диспетчере задач Maks 27.10.2026 С недавнего времени в продакшене возникла проблема: при закрытии оутлука в диспетчере задач продолжал висеть процесс outlook. exe. Проблема возникла после установки MS Office 2021 LTSC на машинах, под. . .	Baragoz - DPS/HPS бот для WoW 3.3.5a, многоязычный AmbA 26.10.2026 Хотите ещё ботов? У меня есть один! А я пока отдохну от него. https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=12062&stc=1&d=1793007952 Инструкция внутри. https:/ / youtu. be/ VpfFZSUDGnQ. . .	Особенности gif сгенерированных в Си russiannick 21.10.2026 Рассмотрим генерацию gif файлов, которые в Си имеют свои особенности. Gif представляет собой графический формат популярный в интернете. Посмотрим на палитру. Gif файл сгенерированный в си отличается. . .
FPS контроллер с анимированными Y-Bot и 3D-звуком miniaudio (Box3D, Recast, BehaviorTree.CPP, ozz-animation, ImGui, OpenGL и SDL3) 8Observer8 18.10.2026 Содержание блога \| English Version Полное мультиплатформенное руководство по стартовому проекту с FPS-контроллером игрока, анимированными роботами Y-Bot с 4-слойным блендингом, 3D-физикой Box3D,. . .	Локальный http сервер Argus19 17.10.2026 Локальный http сервер На работе, на двух локальных компьютерах круглосуточно работают программы опроса приборов с записью в книги Excel,которые раз в сутки записываются на сервер компании. Т. к. . . .	Копировать Windows на новый диск на UEFI damix 17.10.2026 https:/ / uriesk. wordpress. com/ 2016/ 11/ 01/ move-window-10-to-ssd-on-a-uefi-dualboot-system-with-basic-linux-tools/ TL DR Вставляем диск, а старый подключаем через переходник, грузимся с лайва. . .	ИИ не может найти нужный язык в списке Supersumestria 05.10.2026 Я ему даю вот такое изображение и прошу найти и подчеркнуть немецкий язык. Возвращает он вот это: https:/ / i. **********/ vqBWLe2. png Нужную строчку в 3й колонке просто выдумал. . Это. . .

@Kastaneda 5232 / 3206 / 362 Регистрация: 12.12.2009 Сообщений: 8,143 Записей в блоге: 2

	Реальная задача для реального проекта для желающих покодить 19.07.2016, 19:54. Показов 2850. Ответов 24 Метки нет (Все метки) Привет Попросили сделать парсер сайта по-дружески, но у меня реально времени на него нет. Если кому-то интересно, могу двигать в нужном направлении и может, при желании, могу пинать за плохой код. Что нужно сделать - парсер с HTTP клиентом. Пример клиента на boost::asio скину, покажу как парсить HTML регулярками (да, есть библиотеки, но думаю руками будет интересней). Могу архитектуру накидать еще. Есть сайт, там есть форма, в форму вводятся данные, данные для следующих листбоксов тянутся аджаксом, после заполнения всех форм аджаксом тянутся другие данные. Нужно стянуть данные для всех возможных комбинаций всех листбоксов, при этом нужно сохранить сами листбоксы. Тему не помещаю во фриланс, т.к. денег не предвидится, но вообще, могу уточнить, может там какая-то чисто символическая сумма будет. Да, знаю С++ тут не лучший выбор, но тут большая активность желающих обучаться людей. 3

@Avazart 8489 / 6156 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	26.07.2016, 23:39
	Kastaneda, Вам виднее. (но я бы проверил есть ли в ответе на тот самый запрос все то что нужно спарсить) 0