Аналоги Selenium

@WersaT · Регистрация: 23.10.2010

Студворк — интернет-сервис помощи студентам

Здравствуйте!
У меня такая задача, нужно с сайта получить код страницы в большинстве случаев помогает webclient, но если сайт сложный, то webclient не справляется (например https://app.libertex.org/products/currency/USDSEK/ тут webclien набрал только 29 страниц кода, а гугл хром 89)
Для этой задачи мне помог selenium и все работает, но довольно медленно (время на открытие браузера, время на загрузку страницы - все долго).

Скажите, можно ли использовать движок хрома не открывая браузер? Есть ли какие-нибудь аналоги у selenium?

@alexan0308 · 16.06.2019, 19:07

Получение HTML-код с веб-сайта. Вы можете использовать код, подобный этому.

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
string urlAddress = "http://google.com";
 
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(urlAddress);
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
 
if (response.StatusCode == HttpStatusCode.OK)
{
  Stream receiveStream = response.GetResponseStream();
  StreamReader readStream = null;
 
  if (response.CharacterSet == null)
  {
     readStream = new StreamReader(receiveStream);
  }
  else
  {
     readStream = new StreamReader(receiveStream, Encoding.GetEncoding(response.CharacterSet));
  }
 
  string data = readStream.ReadToEnd();
 
  response.Close();
  readStream.Close();
}

@WersaT · 16.06.2019, 19:16 **[ТС]**

Получение HTML-код с веб-сайта. Вы можете использовать код, подобный этому.

Это я пробовал, результат тот же, что и через webclient

@alexan0308 · 16.06.2019, 19:36

тут проблема не в классе HttpWebRequest. Данная страница асинхронно отправляет дополнительные запросы. Поэтому они не видны в HttpWebRequest. Селениум же их отлавливает. Если вы хотите работать без него, то вам придется посмотреть, куда идут запросы, и научиться обрабатывать их самому. Например, страница, которую вы привели в примере, отправляет запрос на сайт https://app.libertex.org/gate-... nterval=h1 и строит по полученным данным график. Вы тоже можете периодически отправлять запрос сразу туда. Проблема лишь - в обработке.
Для подобных задач используйте активно вкладку браузера - консоль разработчика - вкладка Network.

@WersaT · 16.06.2019, 23:40 **[ТС]**

alexan0308, это то что я искал!!!! Огромное Вам спасибо!!!

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .

@WersaT 6 / 4 / 3 Регистрация: 23.10.2010 Сообщений: 293

	Аналоги Selenium 16.06.2019, 19:00. Показов 4342. Ответов 4 Метки нет (Все метки) Здравствуйте! У меня такая задача, нужно с сайта получить код страницы в большинстве случаев помогает webclient, но если сайт сложный, то webclient не справляется (например https://app.libertex.org/products/currency/USDSEK/ тут webclien набрал только 29 страниц кода, а гугл хром 89) Для этой задачи мне помог selenium и все работает, но довольно медленно (время на открытие браузера, время на загрузку страницы - все долго). Скажите, можно ли использовать движок хрома не открывая браузер? Есть ли какие-нибудь аналоги у selenium? 0

@alexan0308 106 / 82 / 15 Регистрация: 07.06.2011 Сообщений: 588 Записей в блоге: 2
	16.06.2019, 19:36
	Сообщение было отмечено WersaT как решение Решение тут проблема не в классе HttpWebRequest. Данная страница асинхронно отправляет дополнительные запросы. Поэтому они не видны в HttpWebRequest. Селениум же их отлавливает. Если вы хотите работать без него, то вам придется посмотреть, куда идут запросы, и научиться обрабатывать их самому. Например, страница, которую вы привели в примере, отправляет запрос на сайт https://app.libertex.org/gate-... nterval=h1 и строит по полученным данным график. Вы тоже можете периодически отправлять запрос сразу туда. Проблема лишь - в обработке. Для подобных задач используйте активно вкладку браузера - консоль разработчика - вкладка Network. 1

@WersaT 6 / 4 / 3 Регистрация: 23.10.2010 Сообщений: 293
	16.06.2019, 23:40 [ТС]
	alexan0308, это то что я искал!!!! Огромное Вам спасибо!!! 0

Аналоги Selenium

Решение