Код между тегами <div> при парсинге

@grafnk · Регистрация: 23.11.2016

Студворк — интернет-сервис помощи студентам

Добрый день.
Впервые работаю с сайтами и использую код на котлине. В коде html есть такая строчка:

HTML5
1
<div id="lineS" data-react-component="line/Container"></div>

При разборе сайта вручную можно раскрыть эту строчку и получить кучу строчек кода между тегами <div>:

HTML5
1
2
3
4
5
6
7
<div id="lineS" data-react-component="line/Container">
    <div data-reactid=".8">
        <div class="line-st" data-reactid=".8.8">
            ...
        </div>
    </div>
</div>

Но код на котлине выдает только первый вариант и остального не видит. Использую get из библиотеки Jsoup:

Java
1
val document : Document = Jsoup.connect(url).get()

Где искать проблему?

@diadiavova · 12.08.2018, 23:43

Сообщение от grafnk

Где искать проблему?

Проблема, вероятно, в том, что второй вариант генерируется скриптом и если запрашивать страницу напрямую с сервера, то скрипты не выполняются, поэтому второго варианта и нет.

@grafnk · 13.08.2018, 09:18 **[ТС]**

Сообщение от diadiavova

второй вариант генерируется скриптом

Возможно так оно и есть, но как тогда быть?

@diadiavova · 13.08.2018, 12:06

Сообщение от grafnk

но как тогда быть?

Ну тут есть два подхода.

Самое простое - использовать веб-движок. Сложно сказать, что тут есть для явы, тут надо спрашивать в соответствующем разделе, но вот для CEF, например вот пара ссылок
chromiumembedded / java-cef — Bitbucket
Google Code Archive - Long-term storage for Google Code Project Hosting.
У этого подхода есть существенные недостатки. Во-первых, придется таскать рантайм-библиотеки внушительных размеров, тот же CEF занимает, ЕМНИП, порядка 160 МБ, хотя есть проекты и полегче (как дела обстоят конкретно с явой - я не в курсе), но у них библиотеки тоже весят не меньше 40 МБ. Во-вторых, этот способ - довольно медленный, поскольку пока загрузится страничка, пока распарсится, прорисуется, подгруизит все остальные файлы, выполнит скрипты и т. д. проходит достаточно много времени (как в браузере, где происходит тот же процесс). В-третьих, каждый экземпляр браузера "кушает" много памяти, так что если ты захочешь ускорить процесс, путем использования нескольких потоков, то надо иметь в виду, что каждый будет занимать немало места. В-четвертых, веб-движки, обычно могут хоршо работать в гуй-приложениях, возможно в консольных, но если это серверное приложение или служба(демон), то есть вероятность, что там их использовать не получится.

Другой подход, лишенный всех вышеописанных недостатков - это подробный анализ страницы, выяснение того, что откуда приходит и т. д. Его главный недостаток в том, что тут нет универсальных рецептов по поводу того, как это реализовать и здесь наибольшую сложность представляет именно анализ. Можно использовать инструменты веб-разработчика, встроенные в браузер, но это только инструмент, а не решение проблемы.

Новые блоги и статьи Все статьи Все блоги /
Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .	Вывод данных в справочнике через динамический список Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .	Функция заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .
Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем	10 пpимет, которые всегда сбываются Maks 31.03.2026 1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию. 2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .	Перемещение выделенных строк ТЧ из одного документа в другой Maks 31.03.2026 Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .