как автоматизировать импорт данных в БД

@o_Oxik · Регистрация: 01.12.2012

Author24 — интернет-сервис помощи студентам

ситуация:
есть сайт на котором даются данные по объему рынка, цене и качеству товара по различным городам.
всего городов около 100, товаров более 300.
Данные выдаются путем выбора определенного товара и/или города в открывающихся списках.
Как сделать так, чтобы БД импортировала нужные мне данные по всем городам/товарам или по определенной его части ???
Нашел способ только как сделать это в Экселе, но по одному товару в одном городе, чтобы весь массив обработать займет около 100 лет, плюс/минус ))
Как это можно автоматизировать???
Или подскажите программу, которая более удобна для данного анализа.
Умы России, помогите, пожалуйста

@sekonya · 01.12.2012, 20:51

а с сайта вы вручную беете информацию?

@o_Oxik · 01.12.2012, 21:49 **[ТС]**

ранее приходилось, хочется сделать этот процесс попроще, данные время от времени обновляются на сайте (почти каждый день), "вручную" переносить постоянно весь массив данных(или то, что требуется), мягко говоря, проблематично.
в Экселе есть импорт данных с Web, но только с каждой страницы отдельно (можно обновлять в своей БД когда потребуется), но проработать все ссылки займёт неимоверно много времени, хотелось бы это как-то автоматизировать . . .

к примеру, есть номера каждого товара и города (id)
можно как-нибудь сделать разные комбинации, например:
http://site.ru/marketing/"id_товара"/"id_страны"/"id_региона"/"id_города"
на каждой странице надо извлечь несколько показателей и привести это в удобную форму, для анализа и последующей работы.

Возможно, для Вас это простая задача, но для меня тёмный лес

)

@ltv_1953 · 01.12.2012, 22:12

Вопросы, которые Вы задаете, не совсем по адресу - лучше спрашивать у специалистов по разработке сайтов в соответствующем разделе форума.

Почему бы просто не обратится к владельцам сайта с просьбой за оговоренную плату получать их данные в форме, пригодной для импорта в базу. На большинстве сайтов такого рода такая возможность существует (подписка на получение данных).

@o_Oxik · 01.12.2012, 22:20 **[ТС]**

Была такая идея, но они отказали и сказали, что: "данная услуга не будет предоставляться".

mobile · 02.12.2012, 05:01

o_Oxik, если у вас есть id_страны, id_региона, id_города, необходимые для чтения информации с сайта, то можно в цикле проходить все требуемые сочетания, считывать страницу, парсить ее и помещать данные в соответствующие таблицы. Для более детального ответа надо видеть сайт и организацию данных в нем.

Второй вариант это сделать аналогичный цикл в екселе, поскольку, как вы говорите там уже налажен импорт. Но при больших объемах информации ексель может просто захлебнуться.

@o_Oxik · 03.12.2012, 22:04 **[ТС]**

mobile, табличка в закрытом доступе, так что не получится на нее вам взглянуть, к сожалению

Пока минимум настроил через эксель, Вы правы, эксель "дымится" уже при считывании 12 страниц )) , что говорить уже о всех . . .
Подскажите, какую именно программу лучше использовать для "парсинга", которая поддерживает такие циклы.

@o_Oxik 0 / 0 / 0 Регистрация: 01.12.2012 Сообщений: 4
		1
	как автоматизировать импорт данных в БД 01.12.2012, 16:40. Показов 2431. Ответов 6 Метки нет (Все метки) ситуация: есть сайт на котором даются данные по объему рынка, цене и качеству товара по различным городам. всего городов около 100, товаров более 300. Данные выдаются путем выбора определенного товара и/или города в открывающихся списках. Как сделать так, чтобы БД импортировала нужные мне данные по всем городам/товарам или по определенной его части ??? Нашел способ только как сделать это в Экселе, но по одному товару в одном городе, чтобы весь массив обработать займет около 100 лет, плюс/минус )) Как это можно автоматизировать??? Или подскажите программу, которая более удобна для данного анализа. Умы России, помогите, пожалуйста Добавлено через 56 минут в итоге, хотелось бы получить таблицу вида: _______________________Автозапчасти (например)____________________ ____________\|______Конкуренты__________\|_______ООО "ХХХ"__________ Объем рынка \| цена \|качество\| доля \| цена \|качество \|бренд \|доля 0

@sekonya 608 / 387 / 8 Регистрация: 14.04.2011 Сообщений: 1,324
	01.12.2012, 20:51	2
	а с сайта вы вручную беете информацию? 0

@o_Oxik 0 / 0 / 0 Регистрация: 01.12.2012 Сообщений: 4
	01.12.2012, 21:49 [ТС]	3
	ранее приходилось, хочется сделать этот процесс попроще, данные время от времени обновляются на сайте (почти каждый день), "вручную" переносить постоянно весь массив данных(или то, что требуется), мягко говоря, проблематично. в Экселе есть импорт данных с Web, но только с каждой страницы отдельно (можно обновлять в своей БД когда потребуется), но проработать все ссылки займёт неимоверно много времени, хотелось бы это как-то автоматизировать . . . к примеру, есть номера каждого товара и города (id) можно как-нибудь сделать разные комбинации, например: http://site.ru/marketing/"id_товара"/"id_страны"/"id_региона"/"id_города" на каждой странице надо извлечь несколько показателей и привести это в удобную форму, для анализа и последующей работы. Возможно, для Вас это простая задача, но для меня тёмный лес ) 0

@ltv_1953 17486 / 7248 / 1651 Регистрация: 21.06.2012 Сообщений: 13,863
	01.12.2012, 22:12	4
	Вопросы, которые Вы задаете, не совсем по адресу - лучше спрашивать у специалистов по разработке сайтов в соответствующем разделе форума. Почему бы просто не обратится к владельцам сайта с просьбой за оговоренную плату получать их данные в форме, пригодной для импорта в базу. На большинстве сайтов такого рода такая возможность существует (подписка на получение данных). 1

@o_Oxik 0 / 0 / 0 Регистрация: 01.12.2012 Сообщений: 4
	01.12.2012, 22:20 [ТС]	5
	Была такая идея, но они отказали и сказали, что: "данная услуга не будет предоставляться". 0

mobile 26805 / 14484 / 3192 Регистрация: 28.04.2012 Сообщений: 15,782
	02.12.2012, 05:01	6
	o_Oxik, если у вас есть id_страны, id_региона, id_города, необходимые для чтения информации с сайта, то можно в цикле проходить все требуемые сочетания, считывать страницу, парсить ее и помещать данные в соответствующие таблицы. Для более детального ответа надо видеть сайт и организацию данных в нем. Второй вариант это сделать аналогичный цикл в екселе, поскольку, как вы говорите там уже налажен импорт. Но при больших объемах информации ексель может просто захлебнуться. 0

@o_Oxik 0 / 0 / 0 Регистрация: 01.12.2012 Сообщений: 4
	03.12.2012, 22:04 [ТС]	7
	mobile, табличка в закрытом доступе, так что не получится на нее вам взглянуть, к сожалению Пока минимум настроил через эксель, Вы правы, эксель "дымится" уже при считывании 12 страниц )) , что говорить уже о всех . . . Подскажите, какую именно программу лучше использовать для "парсинга", которая поддерживает такие циклы. 0

Опции темы