Парсер

@Au6ojlut · Регистрация: 09.11.2013

Студворк — интернет-сервис помощи студентам

Доброго времени суток форумчане!
Хочу написать парсер (я великий велосипедист). Язык реализации С++ или Java. Парсер нужен для того чтобы заполнить базу данных. Есть задание создать базу данных из 40к+ (наименований) строк (со смыслом), а вручную 40к строк, уж извините слишком( Так вот, сайт думаю взять кинопоиск, например, и база данных будет по фильмам.
Я представляю себе парсер только в теории. Сколько не искал статей, везде написано, мол используйте уже готовое. В общем вопросы такие:
1. На каком языке писать (библиотеки скорее всего уже есть)?
2. Как систематизировать информацию (сразу в бд лить или сначала может быть в файлик)?
3. Как вообще пишется парсер HTML страниц? Как выбирать именно то что нужно и отсеивать ненужное?
Все желательно с примерами.
p.s. буду благодарен дельным советам и с радостью отблагодарю бонусами на пивасик/вкусняшки

@MastAKK · 25.10.2014, 01:49

1) На каком удобно - на таком и писать. Библиотеки для работы с сетью и бд есть практически на все современные широкоиспользуемые ЯПы.
2) Я бы в бд лил построчно, но тут надо спросить более опытных в этих делах людей.
3) У многих сайтов есть API, с которым можно вполне удобно работать без каких-либо велосипедов в виде парсинга HTML. Стоит поискать такие.

Новые блоги и статьи Все статьи Все блоги /
Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .	Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .	Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.
Фиксация колонок в отчете СКД Maks 14.04.2026 Фиксация колонок в СКД отчета типа Таблица. Задача: зафиксировать три левых колонки в отчете. Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка) / / . . .	Настройки VS Code Loafer 13.04.2026 { "cmake. configureOnOpen": false, "diffEditor. ignoreTrimWhitespace": true, "editor. guides. bracketPairs": "active", "extensions. ignoreRecommendations": true, . . .	Оптимизация кода на разграничение прав доступа к элементам формы Maks 13.04.2026 Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .	Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .

@Au6ojlut 0 / 0 / 0 Регистрация: 09.11.2013 Сообщений: 5

	Парсер 25.10.2014, 01:41. Показов 2068. Ответов 1 Метки нет (Все метки) Доброго времени суток форумчане! Хочу написать парсер (я великий велосипедист). Язык реализации С++ или Java. Парсер нужен для того чтобы заполнить базу данных. Есть задание создать базу данных из 40к+ (наименований) строк (со смыслом), а вручную 40к строк, уж извините слишком( Так вот, сайт думаю взять кинопоиск, например, и база данных будет по фильмам. Я представляю себе парсер только в теории. Сколько не искал статей, везде написано, мол используйте уже готовое. В общем вопросы такие: 1. На каком языке писать (библиотеки скорее всего уже есть)? 2. Как систематизировать информацию (сразу в бд лить или сначала может быть в файлик)? 3. Как вообще пишется парсер HTML страниц? Как выбирать именно то что нужно и отсеивать ненужное? Все желательно с примерами. p.s. буду благодарен дельным советам и с радостью отблагодарю бонусами на пивасик/вкусняшки 0

@MastAKK 148 / 139 / 18 Регистрация: 13.10.2012 Сообщений: 592
	25.10.2014, 01:49
	1) На каком удобно - на таком и писать. Библиотеки для работы с сетью и бд есть практически на все современные широкоиспользуемые ЯПы. 2) Я бы в бд лил построчно, но тут надо спросить более опытных в этих делах людей. 3) У многих сайтов есть API, с которым можно вполне удобно работать без каких-либо велосипедов в виде парсинга HTML. Стоит поискать такие. 1