Парсинг html страниц и использование прокси

@alexandr.feller · Регистрация: 08.09.2010

Студворк — интернет-сервис помощи студентам

Здравствуйте!

интересуют технологии с помощью которых можно было бы программно
- парсить html страницы
- нажимать на них кнопки, ставить тумблеры в определенное положение, вводить текст в поля для редактирования
- использовать несколько прокси

Сейчас я использую mshtml и SHDocVw, но нет возможности использовать несколько прокси серверов

Спасибо!

@lex1990able · 15.09.2010, 21:27

мне тож интересно

@DC · 17.09.2010, 03:05

Сообщение от alexandr.feller

- нажимать на них кнопки, ставить тумблеры в определенное положение, вводить текст в поля для редактирования

C#
1
2
3
4
5
6
7
8
9
10
                        string elName;
                        if (webBrowser1.Document != null)
                        {
                            foreach (HtmlElement pageElement in webBrowser1.Document.All)
                            {
                                elName = pageElement.Name;
                                if (elName == "YOU_NAME")
                                    pageElement.SetAttribute("value", "Вася Пупкин");
                            }
                        }

я таким образом заполняю текстовые поля на загруженной страничке - РАБОТАЕТ!
думаю, что так же можно и ставить тумблеры в определенное положение,
а вот нажимать кнопки с ходу не подскажу

@alexandr.feller · 17.09.2010, 13:54 **[ТС]**

Добавлено через 6 минут

Сообщение от DC

я таким образом заполняю текстовые поля на загруженной страничке - РАБОТАЕТ!
думаю, что так же можно и ставить тумблеры в определенное положение,
а вот нажимать кнопки с ходу не подскажу

Спасибо!
Как я понял webBrowser - это интерфейс для работы с IE, а в IE в один момент времени возможно использование только одного прокси, т.е. нельзя запустить несколько экземпляров браузера с разными проксями. Хотелось бы разобраться - можно ли это обойти..

Например поднять свой прокси сервер со списком проксей, указать его адрес в настройках IE, а затем при запросах IE к прокси-серверу указывать какой IP из списка использовать. В идеале так - вопрос возможно ли?

Или любые другие пути обхода.. Или технологию которая бы не использовала IE, при этом был бы прокси и возможность работы со страницами по http.

@DC · 19.09.2010, 13:07

Можно попробовать коннектится через сокеты и загружать странички в память. В этом случае можно использовать разные прокси. Для одновременной работы можно распараллелить в отдельные потоки.

А когда веб-странички в памяти, можно отпарсить их и делать с ними что душа пожелает

Совет без примера кода конечно не очень, но я так когда то делал на CPP под юнихом. Исходников увы нет

@Lelysh · 19.09.2010, 18:53

используй WebRequest и WebResponse там есть прокси и все что нужно.
но если всеже используеш HtmlDocument то для нажатия по кнопке

C#
1
button.Invoke("Click");

где button это нужный тебе елемент

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@alexandr.feller 1 / 1 / 0 Регистрация: 08.09.2010 Сообщений: 6

	Парсинг html страниц и использование прокси 08.09.2010, 10:07. Показов 2958. Ответов 5 Метки нет (Все метки) Здравствуйте! интересуют технологии с помощью которых можно было бы программно - парсить html страницы - нажимать на них кнопки, ставить тумблеры в определенное положение, вводить текст в поля для редактирования - использовать несколько прокси Сейчас я использую mshtml и SHDocVw, но нет возможности использовать несколько прокси серверов Спасибо! 1

@lex1990able 2 / 2 / 1 Регистрация: 22.04.2010 Сообщений: 37
	15.09.2010, 21:27
	мне тож интересно 0

@DC 5 / 5 / 1 Регистрация: 04.09.2010 Сообщений: 17
	19.09.2010, 13:07
	Можно попробовать коннектится через сокеты и загружать странички в память. В этом случае можно использовать разные прокси. Для одновременной работы можно распараллелить в отдельные потоки. А когда веб-странички в памяти, можно отпарсить их и делать с ними что душа пожелает Совет без примера кода конечно не очень, но я так когда то делал на CPP под юнихом. Исходников увы нет 1