Автоматическое копирование числовых таблиц из веб-страницы в Excel

@Econo · Регистрация: 15.01.2014

Студворк — интернет-сервис помощи студентам

Добрый вечер, уважаемые коллеги по изучению и пользованию VBA.
Надеюсь на вашу ценную помощь и постараюсь сформулировать вопрос наиболее четко.

Моя задача заключается в том, что средствами VBA нужно создать программу, которая бы автоматически выполняла действие полностью аналогичное тому, что
1. пользователь открывает веб-страницу с известным адресом
2. выбирает интервал дат в соответствующих строках
3. выделяет находящуюся на ней таблицу и копирует ее в Excel
4. переходит на следующую подстраницу
5. выделяет находящуюся на ней таблицу и добавляет ее к той, что скопирована ранее
6. так далее по всем подстраницам, количество которых зависит от длины выбранного интервала времени

Можно скачать нормальный *.xls с данными за деньги , но вся соль задания как раз и состоит в том, чтобы вот так из***ться (извертеться) бесплатно)))

Что я имею в виду под «подстраницами» и вид самой веб-страницы представлены в приложенных картинках.
Адрес страницы, например, такой http://www.micex.ru/marketdata... group_id=7

Пробовал скачать просто весь текст страницы при помощи кода, представленного в моем приложенном файле DownloadText.xlsm. Результатом оказался как раз весь текст за исключением нужной таблицы.

Мой вопрос не новый – автоматически скачивать нужные цифрки из инета нужно многим, но вот уверенного решения этой задачки я пока не нашел.

P.S. Нет обязательного требования, чтобы код был на VBA, просто так немного привычнее.

@korvindeson · 17.01.2014, 02:06

Есть штука, называется selenium. Всё не возьмусь с ней как следует разобраться. Займусь этим вопросом, интересно. А пока ссылочки о чём речь

http://habrahabr.ru/post/152653/
http://docs.seleniumhq.org/
http://code.google.com/p/selenium-vba/

Добавлено через 2 часа 59 минут
Чутка поигрался. Можно вводить даты, искать что надо. Осталось понять как выдернуть именно табличку

Visual Basic
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
Sub mytest()
 
Dim driver As New WebDriver
    
    Set wsh = ThisWorkbook.Worksheets(1)
    Set Keys = CreateObject("SeleniumWrapper.Keys")
'запускаем огненного лиса, переходим на страницу
    driver.Start "firefox", "http://www.micex.ru/marketdata/quotes?secid=RU000A0JNGU3&boardid=EQNO&trade_engine=stock&market=bonds&data_type=history&board_group_id=7"
    driver.get ("http://www.micex.ru/marketdata/quotes?secid=RU000A0JNGU3&boardid=EQNO&trade_engine=stock&market=bonds&data_type=history&board_group_id=7")
   
    'ожиданем загрузку страницы
    Do While driver.isElementPresent("Начало:")
    Loop
    driver.Wait (3000)
    
    'ищем и заполняем даты
'c
    driver.findElementById("date_from-input").SendKeys Keys.End
    For i = 0 To 10
        driver.findElementById("date_from-input").SendKeys Keys.Backspace
    Next
    driver.findElementById("date_from-input").SendKeys ("01.01.2014")
    
'по
    driver.findElementById("date_till-input").SendKeys Keys.End
    For i = 0 To 10
        driver.findElementById("date_till-input").SendKeys Keys.Backspace
    Next
    driver.findElementById("date_till-input").SendKeys ("16.01.2014")
    
'щёлкаем по искать
    driver.findElementByXPath("/html/body/div[2]/div[6]/div[2]/div/div/div[2]/div/input").Click
    driver.Wait (3000)
 
'убиваем браузер
    driver.Close
End Sub

@Alex77755 · 17.01.2014, 08:55

Слепил утилитку.
Запускать так: Kotirovki.exe 01.01.2009 01.01.2012
первая дато от, вторая дата до
Если дата одна, то от даты до тукущей
Если дат нет, то от 01.01.2008 до текущей

@Econo · 17.01.2014, 23:35 **[ТС]**

Всем спасибо за ответы!!!

С Seleniumом действительно стоит разобраться - похоже, полезная вещь. Но на данный момент у меня почему-то компилятор ругается на строчку driver.findElementById("date_from-input").SendKeys Keys.Backspace. Сообщение длинное - лучше картинку приложу. Id элемента правильный.

Kotirovki.exe от Alexа работают прекрасно, но я не понял, как вводить даты и название инструмента. Кликаю на него - он сразу дает готовый результат. Конкретный инструмент задается в адресе страницы, в моем примере это был RU000A0JNGU3. Если можно, хотелось бы посмотреть код, так сказать, для развития.

@Econo · 17.01.2014, 23:37 **[ТС]**

Вот сообщение компилятора.

@Alex77755 · 18.01.2014, 00:06

как вводить даты

Запускать так: Kotirovki.exe 01.01.2009 01.01.2012

как вводить .... название инструмента

А разве в вопросе что-то было про название инструмента?
Я сделал именно для того адреса, что был указан
Пример реализации основной функцию можно найти в самых различных вариантах.
Здесь я применил подсмотренную (и выложенную в свободный доступ с примерами применения) на дружественном сайте (ссыль не даю - запрещено. Поищи Планетаексел):

Visual Basic
1
2
3
4
5
6
7
8
9
10
11
Function GetHTML(URL As String) 'Функция скачивает файл по ссылке URL
Dim oXMLHTTP
    On Error Resume Next
    Set oXMLHTTP = CreateObject("MSXML2.XMLHTTP")
    With oXMLHTTP
       .Open "GET", URL, False
       .send
         GetHTML = .responseText
    End With
    Set oXMLHTTP = Nothing
End Function

В основной процедуре формируется строка запроса.
Функция возвращает таблицу такого вида:

{"TRADEDATE": "2008-01-17", "SHORTNAME": "ВТБ - 6 об", "NUMTRADES": 0, "VALUE": 0.00, "LOW": "", "HIGH": "", "CLOSE": "", "WAPRICE": "", "ACCINT": 0.16, "MARKETPRICE3": "", "MARKETPRICE2": "", "SECID": "RU000A0JNGU3", "BOARDID": "EQNB", "DECIMALS": 2},
{"TRADEDATE": "2008-01-16", "SHORTNAME": "ВТБ - 6 об", "NUMTRADES": 0, "VALUE": 0.00, "LOW": "", "HIGH": "", "CLOSE": "", "WAPRICE": "", "ACCINT": 0.00, "MARKETPRICE3": "", "MARKETPRICE2": "", "SECID": "RU000A0JNGU3", "BOARDID": "EQNB", "DECIMALS": 2},
{"TRADEDATE": "2008-01-15", "SHORTNAME": "ВТБ - 6 об", "NUMTRADES": 0, "VALUE": 0.00, "LOW": "", "HIGH": "", "CLOSE": "", "WAPRICE": "", "ACCINT": 14.18, "MARKETPRICE3": "", "MARKETPRICE2": "", "SECID": "RU000A0JNGU3", "BOARDID": "EQNB", "DECIMALS": 2},
{"TRADEDATE": "2008-01-14", "SHORTNAME": "ВТБ - 6 об", "NUMTRADES": 0, "VALUE": 0.00, "LOW": "", "HIGH": "", "CLOSE": "", "WAPRICE": "", "ACCINT": 14.02, "MARKETPRICE3": "", "MARKETPRICE2": "", "SECID": "RU000A0JNGU3", "BOARDID": "EQNB", "DECIMALS": 2},
{"TRADEDATE": "2008-01-11", "SHORTNAME": "ВТБ - 6 об", "NUMTRADES": 0, "VALUE": 0.00, "LOW": "", "HIGH": "", "CLOSE": "", "WAPRICE": "", "ACCINT": 13.55, "MARKETPRICE3": "", "MARKETPRICE2": "", "SECID": "RU000A0JNGU3", "BOARDID": "EQNB", "DECIMALS": 2},
{"TRADEDATE": "2008-01-10", "SHORTNAME": "ВТБ - 6 об", "NUMTRADES": 0, "VALUE": 0.00, "LOW": "", "HIGH": "", "CLOSE": "", "WAPRICE": "", "ACCINT": 13.39, "MARKETPRICE3": "", "MARKETPRICE2": "", "SECID": "RU000A0JNGU3", "BOARDID": "EQNB", "DECIMALS": 2},
{"TRADEDATE": "2008-01-09", "SHORTNAME": "ВТБ - 6 об", "NUMTRADES": 0, "VALUE": 0.00, "LOW": "", "HIGH": "", "CLOSE": "", "WAPRICE": "", "ACCINT": 13.23, "MARKETPRICE3": "", "MARKETPRICE2": "", "SECID": "RU000A0JNGU3", "BOARDID": "EQNB", "DECIMALS": 2}]

Осталось только распарсить.

@korvindeson · 20.01.2014, 13:39

Решил таки довести до ума. Работает только для конкретного сайта и таблички. Если поменяется id таблицы на сайте, макрос уйдёт в бесконечный цикл. Чтобы вновь оживить, щёлкаем пкм по таблице, выбираем "Inspect Element", в появившемся списке копируем id таблицы (возле тега <table>), вставляем вместо instrument-to-fill везде. Хотя id обычно не меняют.
Если вываливаются непонятные ошибки, проверьте установлен ли firefox (нативный для селениума, соответственно наиболее стабилен), проверьте поставлена ли галка в Tools -> References... -> SeleniumWrapper Type Library.
Код закоментил, всё должно быть понятно. Шапку, нумерацию не копирую ибо зачем? Если же нужны не данные, а вся табличка, можно докрутить

Новые блоги и статьи Все статьи Все блоги /
Символьное дифференцирование igorrr37 13.02.2026 / * Логарифм записывается как: (x-2)log(x^2+2) - означает логарифм (x^2+2) по основанию (x-2). Унарный минус обозначается как ! */ #include <iostream> #include <stack> #include <cctype>. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .

@Econo 0 / 0 / 0 Регистрация: 15.01.2014 Сообщений: 12
	17.01.2014, 23:35 [ТС]
	Всем спасибо за ответы!!! С Seleniumом действительно стоит разобраться - похоже, полезная вещь. Но на данный момент у меня почему-то компилятор ругается на строчку driver.findElementById("date_from-input").SendKeys Keys.Backspace. Сообщение длинное - лучше картинку приложу. Id элемента правильный. Kotirovki.exe от Alexа работают прекрасно, но я не понял, как вводить даты и название инструмента. Кликаю на него - он сразу дает готовый результат. Конкретный инструмент задается в адресе страницы, в моем примере это был RU000A0JNGU3. Если можно, хотелось бы посмотреть код, так сказать, для развития. 0

@Econo 0 / 0 / 0 Регистрация: 15.01.2014 Сообщений: 12
	17.01.2014, 23:37 [ТС]
	Вот сообщение компилятора. Миниатюры 0