Код между тегами <div> при парсинге

Добрый день.
Впервые работаю с сайтами и использую код на котлине. В коде html есть такая строчка:

При разборе сайта вручную можно раскрыть эту строчку и получить кучу строчек кода между тегами <div>:

Но код на котлине выдает только первый вариант и остального не видит. Использую get из библиотеки Jsoup:

Где искать проблему?

0

Сообщение от grafnk Где искать проблему?

Проблема, вероятно, в том, что второй вариант генерируется скриптом и если запрашивать страницу напрямую с сервера, то скрипты не выполняются, поэтому второго варианта и нет.

1

Сообщение от diadiavova второй вариант генерируется скриптом

Возможно так оно и есть, но как тогда быть?

0

Сообщение от grafnk но как тогда быть?

Ну тут есть два подхода.

Самое простое - использовать веб-движок. Сложно сказать, что тут есть для явы, тут надо спрашивать в соответствующем разделе, но вот для CEF, например вот пара ссылок
chromiumembedded / java-cef — Bitbucket
Google Code Archive - Long-term storage for Google Code Project Hosting.
У этого подхода есть существенные недостатки. Во-первых, придется таскать рантайм-библиотеки внушительных размеров, тот же CEF занимает, ЕМНИП, порядка 160 МБ, хотя есть проекты и полегче (как дела обстоят конкретно с явой - я не в курсе), но у них библиотеки тоже весят не меньше 40 МБ. Во-вторых, этот способ - довольно медленный, поскольку пока загрузится страничка, пока распарсится, прорисуется, подгруизит все остальные файлы, выполнит скрипты и т. д. проходит достаточно много времени (как в браузере, где происходит тот же процесс). В-третьих, каждый экземпляр браузера "кушает" много памяти, так что если ты захочешь ускорить процесс, путем использования нескольких потоков, то надо иметь в виду, что каждый будет занимать немало места. В-четвертых, веб-движки, обычно могут хоршо работать в гуй-приложениях, возможно в консольных, но если это серверное приложение или служба(демон), то есть вероятность, что там их использовать не получится.

Другой подход, лишенный всех вышеописанных недостатков - это подробный анализ страницы, выяснение того, что откуда приходит и т. д. Его главный недостаток в том, что тут нет универсальных рецептов по поводу того, как это реализовать и здесь наибольшую сложность представляет именно анализ. Можно использовать инструменты веб-разработчика, встроенные в браузер, но это только инструмент, а не решение проблемы.

1