Форум программистов, компьютерный форум, киберфорум
Java: Сети
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
8 / 6 / 3
Регистрация: 24.05.2013
Сообщений: 43

Подскажите насчёт парсера сайта

10.01.2019, 00:29. Показов 1439. Ответов 0
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Пишу парсер Avito, вроде бы всё работает, но не "выдёргивает" цену товара, в чём ошибка не пойму, подскажите, что исправить в коде. Ну и приму советы как лучше портировать накопленные данные в таблицу эксель.

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
package Example1;
 
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;
 
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
 
public class Avito {
    public static void main(String[] args) throws IOException {
        List<Article> articleList = new ArrayList<>();
 
        Document doc = Jsoup.connect("https://www.avito.ru/permskiy_kray/remont_i_stroitelstvo/stroymaterialy?s_trg=3&bt=1&q=рубероид").get();
 
        Elements h3Elements = doc.getElementsByAttributeValue("class", "item_table-header");
 
        h3Elements.stream().map(h3Element -> h3Element.child(0)).forEach(aElement -> {
            String url = aElement.child(0).attr("href");
            String title = aElement.child(0).text();
            String price = aElement.child(0).attr("content");
            articleList.add(new Article(url, title, price));
        });
 
 
        articleList.forEach(System.out::println);
    }
}
 
class Article {
    private String url;
    private String name;
    private String price;
 
    public Article(String url, String name, String price) {
        this.url = url;
        this.name = name;
        this.price = price;
    }
 
    public String getUrl() {
        return url;
    }
 
    public void setUrl(String url) {
        this.url = url;
    }
 
    public String getName() {
        return name;
    }
 
    public void setName(String name) {
        this.name = name;
    }
 
    public String getPrice() {
        return price;
    }
 
    public void setPrice(String price) {
        this.price = price;
    }
 
    @Override
    public String toString() {
        return "Article{" +
                "url='" + url + '\'' +
                ", name='" + name + '\'' +
                ", price='" + price + '\'' +
                '}';
    }
}
Добавлено через 46 минут
Сам нашёл ошибку, вдруг кому пригодится, будет так
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
package Example1;
 
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
 
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
 
public class Avito {
    public static void main(String[] args) throws IOException {
        List<Article> articleList = new ArrayList<>();
 
        Document doc = Jsoup.connect("https://www.avito.ru/permskiy_kray/remont_i_stroitelstvo/stroymaterialy?s_trg=3&bt=1&q=рубероид").get();
 
        Elements h3Elements = doc.getElementsByAttributeValue("class", "item_table-header");
 
        h3Elements.forEach(h3Element -> {
            Element aElement = h3Element.child(0);
            String url = aElement.child(0).attr("href");
            String title = aElement.child(0).text();
            Element span = h3Element.child(1);
            String price = span.child(1).text();
            articleList.add(new Article(url, title, price));
        });
 
 
        articleList.forEach(System.out::println);
    }
}
 
class Article {
    private String url;
    private String name;
    private String price;
 
    public Article(String url, String name, String price) {
        this.url = url;
        this.name = name;
        this.price = price;
    }
 
    public String getUrl() {
        return url;
    }
 
    public void setUrl(String url) {
        this.url = url;
    }
 
    public String getName() {
        return name;
    }
 
    public void setName(String name) {
        this.name = name;
    }
 
    public String getPrice() {
        return price;
    }
 
    public void setPrice(String price) {
        this.price = price;
    }
 
    @Override
    public String toString() {
        return "Article{" +
                "url='" + url + '\'' +
                ", name='" + name + '\'' +
                ", price='" + price + '\'' +
                '}';
    }
}
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
10.01.2019, 00:29
Ответы с готовыми решениями:

Подскажите насчёт random()
Люди добрые, подскажите, как можно сделать так, чтобы случайно выбиралось одно из заданных четырёх чисел? Если использовать random(num), то...

Подскажите насчёт апгрейта
http://www.citilink.ru/catalog/parts/cpu/654422/ http://www.citilink.ru/catalog/parts/memory/679133/ х2 ...

Подскажите насчёт кодировки!
Здравствуйте! Сегодня заметил неприятную проблему с кодировкой когда из базы данных выводил данные. На сервере mysql установлена...

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
10.01.2019, 00:29
Помогаю со студенческими работами здесь

Подскажите насчёт компа
Здравствуйте.У меня вот такая проблема с компом,- комп начал иногда моргать экраном,похоже на момент,когда меняешь разрешение на рабочем...

Подскажите/объясните насчёт подключения wi-fi
Здравствуйте, один из компов-клиентов в учреждении имеет две сетевухи, в одну идёт сеть &quot;A&quot; с наличием интернета по шлюзу, во...

Подскажите в реализации парсера Вконтакте
Добрый день! Подскажите, решил сделать парсер информации вконтакте, который будет брать информацию с сайта: http://vk.com/foaf.php?id=...

Как избежать блокирование парсера сайта?
Пишу довольно простой парсер. Основная проблема - сайт довольно быстро его распознает и блокирует где-то на час по ip. Пробовал...

Получить данные с сайта для простого парсера
Всем доброго времени суток. Мне нужно получить курс доллара с сайта (https://finance.rambler.ru/). Взял чисто для примера -...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
1
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий
8Observer8 02.03.2026
Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11680&amp;d=1772460536 Одним из. . .
Реалии
Hrethgir 01.03.2026
Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .
Ритм жизни
kumehtar 27.02.2026
Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .
SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten
8Observer8 27.02.2026
Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru