Скрапинг всех страниц с Jsoup

@Hollywood33 · Регистрация: 14.03.2018

Студворк — интернет-сервис помощи студентам

Добрый день!
Данный пример скачивает цену и адрес только с видимой страницы.
Как будет выглядеть код, если нужно получить данные со всех страниц?
Их там 20 штук.

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
public class ParseZillow {
    public static void main(String args[]){
        print("running...");
        Document document;
        try {
            document = Jsoup.connect("http://www.zillow.com/miami-fl/").get();
 
            String title = document.title(); 
            print("  Title: " + title); //Print title.
 
            Elements price = document.select(".zsg-photo-card-price:contains($)"); 
            Elements address = document.select("span[itemprop]:contains(miami-fl)"); 
             
            FileOutputStream fout=new FileOutputStream("*.csv");  
            PrintStream csv=new PrintStream(fout);  
            csv.println("name   price   number sold");
            for (int i=0; i < price.size()-2; i++) {
                csv.println(address.get(i).text() + "   " + price.get(i).text());
            }
            fout.close();
 
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
 
 
    public static void print(String string) {
        System.out.println(string);
    }
 
}

@Welemir1 · 20.09.2018, 18:33

в цикле перебираем урлы всех этих 20 страниц и выдергиваем инфу нужную.

@Hollywood33 · 20.09.2018, 19:17 **[ТС]**

Пожалуйста покажите как должно быть, у меня в этом мало опыта. Нужно чтобы ссылки перебирались рекурсивно, что бы не вписывать каждый url отдельно.

@Welemir1 · 20.09.2018, 19:32

Hollywood33, а как я должен узнать какие конкретно страницы тебе нужны?
почитай про циклы.
заходишь на стартовую страницу, берешь оттуда все нужные ссылки в коллекцию, циклом проходишь по коллекции и выдергиваешь со страниц нужные данные.

Новые блоги и статьи Все статьи Все блоги /
Отчёт о затраченных материалах за определенный период с макетом печатной формы Maks 21.04.2026 Отчёт из решения ниже размещён в конфигурации КА2. Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В. . .	Отчёт о спецтехнике находящейся в ремонте Maks 20.04.2026 Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .	Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)" Hrethgir 19.04.2026 Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .	Запрет удаления строк ТЧ документа при определённом условии Maks 19.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .
Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .	Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .	Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,695 Записей в блоге: 29
	20.09.2018, 18:33
	в цикле перебираем урлы всех этих 20 страниц и выдергиваем инфу нужную. 0

@Hollywood33 0 / 0 / 0 Регистрация: 14.03.2018 Сообщений: 19
	20.09.2018, 19:17 [ТС]
	Пожалуйста покажите как должно быть, у меня в этом мало опыта. Нужно чтобы ссылки перебирались рекурсивно, что бы не вписывать каждый url отдельно. 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,695 Записей в блоге: 29
	20.09.2018, 19:32
	Hollywood33, а как я должен узнать какие конкретно страницы тебе нужны? почитай про циклы. заходишь на стартовую страницу, берешь оттуда все нужные ссылки в коллекцию, циклом проходишь по коллекции и выдергиваешь со страниц нужные данные. 1

Опции темы