Bazel для Selenium

@supmener · Регистрация: 26.06.2013

Студворк — интернет-сервис помощи студентам

Для чего в описании Selenium на Github указан в разделе установки этот инструмент и для чего в контексте парсинга он может быть нужен (в уроках про него редко упоминают)?

@supmener · 17.08.2022, 12:46 **[ТС]**

Сообщение от Kastaneda

Я сейчас возможно удивлю (обычно все удивляются), но и даже Selenium для парсинга не нужен. Все эти приблуды используют те, кто нормальный парсер написать не может.

Рендерить Javascript как будете?

Рыжий Лис · 17.08.2022, 12:50

Не по теме:

Сообщение от supmener

Рендерить Javascript как будете?

Какие умные слова мы знаем. Как в анекдоте: "Идея для телешоу - берётся десять разработчиков и среди них объявляется продавец, которого научили говорить умные слова. Нужно выяснить, кто самозванец, победители получат денежный приз. Теперь спойлер: среди них нет самозванца"

@iSmokeJC · 17.08.2022, 12:54

Не по теме:

Рыжий Лис, +100500

@supmener · 17.08.2022, 13:12 **[ТС]**

В одном из видео уроков было показано в начале, как писали раньше парсеры без библиотек и говорилось, что сейчас это не нужно.

@Kastaneda · 17.08.2022, 13:50

Сообщение от supmener

Рендерить Javascript как будете?

А зачем?

@supmener · 17.08.2022, 16:49 **[ТС]**

Например, чтобы отображался текст, ссылки, если они встроены через Javascript и выборочными данными надо наполнять например таблицу.

Jabbson · 17.08.2022, 17:07

Мне больше интересно, что значит "нормальный парсер". Такой "чотко-пацанский"?

@Usaga · 17.08.2022, 17:41

Сообщение от supmener

Например, чтобы отображался текст, ссылки, если они встроены через Javascript и выборочными данными надо наполнять например таблицу.

JavaScript этот текст и ссылки берёт с сервера, через AJAX. Есть какие-то сложности с тем, чтобы самому запросы такие посылать?

@supmener · 17.08.2022, 18:03 **[ТС]**

Встречал такой пример.

JavaScript
1
2
3
4
5
script = """
    () ==> {
    return 102
    }
"""

И другой пример тоже встечал, только сейчас не нашел.

Рыжий Лис · 17.08.2022, 18:14

Сообщение от supmener

==>

Твой код не парсится, увы.

@supmener · 17.08.2022, 18:25 **[ТС]**

Ага, заметили.

@supmener · 08.09.2022, 00:14 **[ТС]**

Сообщение от supmener

даже Selenium для парсинга не нужен. Все эти приблуды используют те, кто нормальный парсер написать не может

Pandas тоже не будете применять при работе с Javascript без библиотек эмуляции браузерного отображения?

@Usaga · 08.09.2022, 02:40

supmener, если применить Mozg, то можно обойтись и без Pandas, чтобы это ни было.

@Kastaneda · 08.09.2022, 07:46

Сообщение от supmener

Pandas тоже не будете применять при работе с Javascript без библиотек эмуляции браузерного отображения?

Я в своей жизни спарсил гигабайты данных с кучи сайтов. Парсеры писал на двух языках в зависимости от проекта, это были С++ и Java. Единственное, что мне для этого понадобилось это HTTP клиент и JSON парсер. Все остальное для парсеров (они правильно называются скраперы) не нужно.
Тут, как обычно, есть два пути:
1. Используем 100500 каких-то непонятных приблуд, получаем динозавра.
2. Используем мозг, получаем минималистичный аккуратный парсер, который делает ровно то, что нужно.

Сообщение от supmener

Встречал такой пример.

Code
1
2
3
4
5
script = """
    () ==> {
    return 102
    }
"""

я встречал даже варианты, где JS отдает захардкоженный HTML, но JS - это текст, который можно парсить (в этот момент в голове должно что-то щелкнуть, если этого не случилось, то уже ничего не поможет)

@supmener · 19.10.2022, 18:32 **[ТС]**

Как бы Вы парсили в варианте, описанном в теме Как парсить vkontakte с Selenium? ? Подумал, что надо в визуальном режиме, как это бы делал человек.

@Usaga · 23.10.2022, 06:15

Сообщение от supmener

Как бы Вы парсили в варианте, описанном в теме Как парсить vkontakte с Selenium? ?

Такой вариант не рассматривали?

Сообщение от Kastaneda

2. Используем мозг

???

@supmener · 24.10.2022, 12:53 **[ТС]**

А как Вы будете парсить товары из каталога без Селениума, если они подгружаются по мере скрола страницы вниз?

@Usaga · 25.10.2022, 14:36

supmener, да посмотрю на API сайта и буду напрямую запрашивать. Ну или будет лениво, то через тот же селениум. Сложности какие?

Новые блоги и статьи Все статьи Все блоги /
Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .	Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Jin X 06.09.2026 Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .	Программа опроса у.з. расходомера SLS-720F Argus19 02.09.2026 Программа опроса у. з. расходомера SLS-720F Программа опрашивает один раз в минуту три ультразвуковых расходомера SLS-720F через интерфейс RS-485 по протоколу Modbus RTU. Опрашиваются регистры. . .	Hyper-V: Компьютер должен поддерживать доверенный платформенный модуль 2.0. Maks 31.08.2026 При установке Windows 11 на виртуальную машину Hyper-V 2-го поколения вылезла такая ошибка: Решение: в параметрах виртуальной машины, в разделе "Безопасность" (Security) активировать флаг. . .
Архитектура биовида Стива в Майнкрафте: Зачем бонобо кубический каннибализм anaschu 30.08.2026 Кубический Вагинокапитализм в Minecraft: Математический инвариант ОДУ и рок Стивов-бонобо Главная задача разработанной «Модели Всего» — наглядно продемонстрировать наличие системной «судьбы». . .	Оттачиваю умение писать js программы. russiannick 30.08.2026 Проектом выходного дня стало написание Книги шифров Виженера. Итогом стала версия 200, синий туман. Синий туман назван так, потому что замораживает текст под собой. Нажатие синих кнопок управляют. . .	мат медиц модель 30. презентация проекта anaschu 27.08.2026 хоп хоп хоп хидахоп, а я кладую))	Как у меня протекала болезнь zorxor 27.08.2026 Здравствуйте, друзья! Эта запись блога предназначена именно для вас - для моих дорогих друзей, которые знали меня лично. Чтобы ответить на вопрос - а что же со мной произошло на самом деле? Я учился. . .

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755

	Bazel для Selenium 13.08.2022, 06:35. Показов 2899. Ответов 37 Метки нет (Все метки) Для чего в описании Selenium на Github указан в разделе установки этот инструмент и для чего в контексте парсинга он может быть нужен (в уроках про него редко упоминают)? 0

@iSmokeJC 19530 / 11067 / 2931 Регистрация: 21.10.2017 Сообщений: 23,294
	17.08.2022, 12:54
	Не по теме: Рыжий Лис, +100500 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	17.08.2022, 13:12 [ТС]
	В одном из видео уроков было показано в начале, как писали раньше парсеры без библиотек и говорилось, что сейчас это не нужно. 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	17.08.2022, 16:49 [ТС]
	Например, чтобы отображался текст, ссылки, если они встроены через Javascript и выборочными данными надо наполнять например таблицу. 0

Jabbson 5907 / 3359 / 1036 Регистрация: 03.11.2009 Сообщений: 10,008
	17.08.2022, 17:07
	Мне больше интересно, что значит "нормальный парсер". Такой "чотко-пацанский"? 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	17.08.2022, 18:25 [ТС]
	Ага, заметили. 0

@Usaga 14758 / 9532 / 1365 Регистрация: 21.01.2016 Сообщений: 35,958
	08.09.2022, 02:40
	supmener, если применить Mozg, то можно обойтись и без Pandas, чтобы это ни было. 1

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	19.10.2022, 18:32 [ТС]
	Как бы Вы парсили в варианте, описанном в теме Как парсить vkontakte с Selenium? ? Подумал, что надо в визуальном режиме, как это бы делал человек. 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	24.10.2022, 12:53 [ТС]
	А как Вы будете парсить товары из каталога без Селениума, если они подгружаются по мере скрола страницы вниз? 0

@Usaga 14758 / 9532 / 1365 Регистрация: 21.01.2016 Сообщений: 35,958
	25.10.2022, 14:36
	supmener, да посмотрю на API сайта и буду напрямую запрашивать. Ну или будет лениво, то через тот же селениум. Сложности какие? 0