Принцип написания парсера веб-сайтов

@Johnny_D · Регистрация: 30.01.2010

Студворк — интернет-сервис помощи студентам

Подскажите плз принцип работы программы, допустим хочу написать парсер новостей с lenta.ru, и сохранять записи в базу, или бот для онлайн игры, в общем не важно. Главное принцип взаимодействия. Можно вкратце, по пунктам.
Спасибо

@vadim1111 · 09.12.2010, 19:29

Например парсер для варезника можно организовать так:
1). Скачать все страницы с сайта. Мой пример программы сбора ссылок Webbrowser error 404. Но после 700 запроса сервер выдает ошибку, если разберешся в чем проблема отпишись.
2). Загрузить html-код страниц
3). Распарсить каждую из них(регулярки или webbrowser), если код не валидный то webbrowser не поможет. Например если сайт на dle, то выбираем тег <div id='news-id-номер новости'>.
4). Добавляем в базу отформатированый код.

@Johnny_D · 09.12.2010, 21:29 **[ТС]**

vadim1111, спасибо.

А что, если у меня часть ссылок открывается в JS или Flash'е?

@vadim1111 · 09.12.2010, 23:29

Скиньте адрес страницы и скажите что нужно сделать(для JS). Если разберусь, то напишу.
А по поводу флеш, не знаю.

@Johnny_D · 10.12.2010, 00:16 **[ТС]**

vadim1111, да тут адрес не принципиален. Я хочу дампер написать, вроде целевого дампа только нужных ресурсов.

Новые блоги и статьи Все статьи Все блоги /
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .	Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .

@Johnny_D Padawan 473 / 323 / 30 Регистрация: 30.01.2010 Сообщений: 1,841

	Принцип написания парсера веб-сайтов 09.12.2010, 17:37. Показов 1874. Ответов 4 Метки web-scraping, website (Все метки) Подскажите плз принцип работы программы, допустим хочу написать парсер новостей с lenta.ru, и сохранять записи в базу, или бот для онлайн игры, в общем не важно. Главное принцип взаимодействия. Можно вкратце, по пунктам. Спасибо 0

@vadim1111 16 / 16 / 3 Регистрация: 19.11.2009 Сообщений: 112
	09.12.2010, 19:29
	Например парсер для варезника можно организовать так: 1). Скачать все страницы с сайта. Мой пример программы сбора ссылок Webbrowser error 404. Но после 700 запроса сервер выдает ошибку, если разберешся в чем проблема отпишись. 2). Загрузить html-код страниц 3). Распарсить каждую из них(регулярки или webbrowser), если код не валидный то webbrowser не поможет. Например если сайт на dle, то выбираем тег <div id='news-id-номер новости'>. 4). Добавляем в базу отформатированый код. 1

@Johnny_D Padawan 473 / 323 / 30 Регистрация: 30.01.2010 Сообщений: 1,841
	09.12.2010, 21:29 [ТС]
	vadim1111, спасибо. А что, если у меня часть ссылок открывается в JS или Flash'е? 0

@vadim1111 16 / 16 / 3 Регистрация: 19.11.2009 Сообщений: 112
	09.12.2010, 23:29
	Скиньте адрес страницы и скажите что нужно сделать(для JS). Если разберусь, то напишу. А по поводу флеш, не знаю. 0

@Johnny_D Padawan 473 / 323 / 30 Регистрация: 30.01.2010 Сообщений: 1,841
	10.12.2010, 00:16 [ТС]
	vadim1111, да тут адрес не принципиален. Я хочу дампер написать, вроде целевого дампа только нужных ресурсов. 0