0 / 0 / 0
Регистрация: 01.12.2012
Сообщений: 4
|
|
1 | |
как автоматизировать импорт данных в БД01.12.2012, 16:40. Показов 2431. Ответов 6
Метки нет (Все метки)
ситуация:
есть сайт на котором даются данные по объему рынка, цене и качеству товара по различным городам. всего городов около 100, товаров более 300. Данные выдаются путем выбора определенного товара и/или города в открывающихся списках. Как сделать так, чтобы БД импортировала нужные мне данные по всем городам/товарам или по определенной его части ??? Нашел способ только как сделать это в Экселе, но по одному товару в одном городе, чтобы весь массив обработать займет около 100 лет, плюс/минус )) Как это можно автоматизировать??? Или подскажите программу, которая более удобна для данного анализа. Умы России, помогите, пожалуйста Добавлено через 56 минут в итоге, хотелось бы получить таблицу вида: _______________________Автозапчасти (например)____________________ ____________|______Конкуренты__________|_______ООО "ХХХ"__________ Объем рынка | цена |качество| доля | цена |качество |бренд |доля
0
|
01.12.2012, 16:40 | |
Ответы с готовыми решениями:
6
Автоматизировать импорт данных в Access из Excel Как автоматизировать импорт данных в базу mysql из xlsx файла? как автоматизировать ввод данных Как автоматизировать интерполяцию данных |
608 / 387 / 8
Регистрация: 14.04.2011
Сообщений: 1,324
|
|
01.12.2012, 20:51 | 2 |
а с сайта вы вручную беете информацию?
0
|
0 / 0 / 0
Регистрация: 01.12.2012
Сообщений: 4
|
|
01.12.2012, 21:49 [ТС] | 3 |
ранее приходилось, хочется сделать этот процесс попроще, данные время от времени обновляются на сайте (почти каждый день), "вручную" переносить постоянно весь массив данных(или то, что требуется), мягко говоря, проблематично.
в Экселе есть импорт данных с Web, но только с каждой страницы отдельно (можно обновлять в своей БД когда потребуется), но проработать все ссылки займёт неимоверно много времени, хотелось бы это как-то автоматизировать . . . к примеру, есть номера каждого товара и города (id) можно как-нибудь сделать разные комбинации, например: http://site.ru/marketing/"id_товара"/"id_страны"/"id_региона"/"id_города" на каждой странице надо извлечь несколько показателей и привести это в удобную форму, для анализа и последующей работы. Возможно, для Вас это простая задача, но для меня тёмный лес )
0
|
17486 / 7248 / 1651
Регистрация: 21.06.2012
Сообщений: 13,863
|
|
01.12.2012, 22:12 | 4 |
Вопросы, которые Вы задаете, не совсем по адресу - лучше спрашивать у специалистов по разработке сайтов в соответствующем разделе форума.
Почему бы просто не обратится к владельцам сайта с просьбой за оговоренную плату получать их данные в форме, пригодной для импорта в базу. На большинстве сайтов такого рода такая возможность существует (подписка на получение данных).
1
|
0 / 0 / 0
Регистрация: 01.12.2012
Сообщений: 4
|
|
01.12.2012, 22:20 [ТС] | 5 |
Была такая идея, но они отказали и сказали, что: "данная услуга не будет предоставляться".
0
|
26805 / 14484 / 3192
Регистрация: 28.04.2012
Сообщений: 15,782
|
|
02.12.2012, 05:01 | 6 |
o_Oxik, если у вас есть id_страны, id_региона, id_города, необходимые для чтения информации с сайта, то можно в цикле проходить все требуемые сочетания, считывать страницу, парсить ее и помещать данные в соответствующие таблицы. Для более детального ответа надо видеть сайт и организацию данных в нем.
Второй вариант это сделать аналогичный цикл в екселе, поскольку, как вы говорите там уже налажен импорт. Но при больших объемах информации ексель может просто захлебнуться.
0
|
0 / 0 / 0
Регистрация: 01.12.2012
Сообщений: 4
|
|
03.12.2012, 22:04 [ТС] | 7 |
mobile, табличка в закрытом доступе, так что не получится на нее вам взглянуть, к сожалению
Пока минимум настроил через эксель, Вы правы, эксель "дымится" уже при считывании 12 страниц )) , что говорить уже о всех . . . Подскажите, какую именно программу лучше использовать для "парсинга", которая поддерживает такие циклы.
0
|
03.12.2012, 22:04 | |
03.12.2012, 22:04 | |
Помогаю со студенческими работами здесь
7
Как автоматизировать перенос данных из несколько листов в одну итоговую Как можно автоматизировать процесс добавления данных и внести все записи сразу? Как реализовать импорт данных с файла в DataGridView? Как сделать импорт данных из Excel в datagridview? Автоматизировать способ сжатия бинарных данных Как помешать пользователю сделать импорт в базу данных? Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |