Форум программистов, компьютерный форум, киберфорум
Java: Сети
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.89/9: Рейтинг темы: голосов - 9, средняя оценка - 4.89
1 / 1 / 0
Регистрация: 22.10.2017
Сообщений: 52

Получение url при парсинге сайта

11.09.2018, 20:25. Показов 1887. Ответов 5

Студворк — интернет-сервис помощи студентам
Не могу получить URL заголовков.
Как решить эту проблему?


Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
public class Main {
    public static void main(String[] args) throws IOException {
 
        List<Article> articleList = new ArrayList<>();
 
        Document document = null;
        try {
            document = Jsoup.connect("http://4pda.ru").get();
        } catch (IOException e) {
            e.printStackTrace();
        }
        System.out.println(document.title() + " " + document.location());
 
        Elements htmlElements = document.getElementsByAttributeValue("class", "list-post-title");
 
        if (htmlElements.isEmpty()) System.out.println("Empty element");
 
        htmlElements.forEach(htmlElement ->{
            Element aElement = htmlElement.child(0);
            String url = aElement.attr("href"); // Должен получить URL, но возвращает только null
            String tittle = aElement.child(0).text();
 
            articleList.add(new Article(url, tittle));
        });
 
        articleList.forEach(System.out::println);
    }
}
 
 
class Article{
    private String name;
    private String url;
 
    public Article(String url, String name){ this.url = url; this.url = name;}
 
    //  public Article(String url){ this.url = url; }
 
    public String getUrl() {
        return url;
    }
 
    public void setUrl(String url) {
        this.url = url;
    }
 
    public String getName() {
        return name;
    }
 
    public void setName(String name) {
        this.name = name;
    }
 
    @Override
    public String toString() {
        return "URL ==>  " + url + " Name ==> " + name;
    }
}
0
Лучшие ответы (1)
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
11.09.2018, 20:25
Ответы с готовыми решениями:

Проблема получения атрибутов при парсинге xml
Здравствуйте. Подскажите как разобраться xml документом. У меня есть xsd-схема: &lt;?xml version = '1.0' encoding = 'utf-8'?&gt; ...

При вводе локального URL выполняется редирект на URL боевого сайта (при разворачивании копии сайта на локалке)
Всем привет. Есть необходимость сделать интернет-магазин, но так-как нет должных знаний, как и лишних денег, а имеется лишь небольшой опыт...

При парсинге сайта содержание в строке выводится не на языке сайта
Здравствуйте. Помогите решить проблему. Сайт в браузере на русском. Когда я его парсю все содержание в строке выводится на украинском?

5
Эксперт Java
3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220
11.09.2018, 21:09
https://jsoup.org/cookbook/ext... -with-urls
0
 Аватар для snajper_ro
116 / 101 / 52
Регистрация: 14.09.2011
Сообщений: 696
Записей в блоге: 1
12.09.2018, 08:23
у вас ошибка , выводите все в консоль, шаг за шагом,
то есть надо делать хороший вывод(дэбаг) и понять в чем ошибка(в каком узле)
так же делать проверку на null
0
Автоматизируй это!
Эксперт Python
 Аватар для Welemir1
7390 / 4817 / 1246
Регистрация: 30.03.2015
Сообщений: 13,675
Записей в блоге: 29
13.09.2018, 18:46
Лучший ответ Сообщение было отмечено Sanedi как решение

Решение

Sanedi, жсоуп работает с ЦСС селекторами, вместо поиска по классу и отсчета первого потомка пиши сразу ".list-post-title>a" - это будет сразу твоя ссылка, смело дергай атрибуты
1
1 / 1 / 0
Регистрация: 22.10.2017
Сообщений: 52
13.09.2018, 19:25  [ТС]
А можно показать ,как это должно выглядеть?
0
Автоматизируй это!
Эксперт Python
 Аватар для Welemir1
7390 / 4817 / 1246
Регистрация: 30.03.2015
Сообщений: 13,675
Записей в блоге: 29
13.09.2018, 19:46
Sanedi, ну тебе же выше дали ссылку! вот например
https://jsoup.org/cookbook/ext... tor-syntax
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
13.09.2018, 19:46
Помогаю со студенческими работами здесь

Получение URL сайта по IP
Доброго времени суток! Недавно возникла задача написать программу, позволяющую из ip-адреса получить url сайта. Пробовал использовать...

Получение URL-сайта
Работаю с CURL. Как можно с помощью CURL (или чего-либо другого) записать URL-сайта в string? P.S. Вопрос немного странный :) Ситуация...

Некорректная авторизация при парсинге сайта
Доброго времени суток, господа-форумчане. Проблема следующего характера: Пишу парсинг сайта средствами CURL (первый опыт в написании...

Ошибка при парсинге страницы сайта
В методе онклик пишу: public void onClick(View v) { Document doc = null; try { doc =...

Не создается файл с данными при парсинге сайта
#!/usr/bin/env python3.6 # _*_ coding:utf-8 _*_ import requests from bs4 import BeautifulSoup import csv def get_html(url): ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
6
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image
8Observer8 10.02.2026
Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .
Установка Qt-версии Lazarus IDE в Debian Trixie Xfce
volvo 10.02.2026
В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer
8Observer8 08.02.2026
Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .
SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств
8Observer8 07.02.2026
Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru