Как в jsoup получить абсолютный URL?

@disx · Регистрация: 26.02.2014

Author24 — интернет-сервис помощи студентам

Приветствую всех!

прошу помощи в получении ссылки,

на некоторой странице с адресом напр.: "http://almazy.com/catalog/almazy/almazy-granenye/1/" есть такой код:

HTML5

<div class="catalog">
                   <div itemscope itemtype="http://schema.org/Product" class="product-cont">
                <a href="/catalog/almazy/almazy-granenye/almaz-granenyi-100karat.html"><p itemprop="name" class="product-name">Almaz granenyi 100karat</p></a>
                <div class="left">
                    <a href="/catalog/almazy/almazy-granenye/almaz-granenyi-100karat.html"><img itemprop="image" src="/files/contents/188/icon_180x99.jpg" width="180" height="99" alt="Almaz granenyi 100karat" /></a>
                  <span class="price">100000000 руб</span>
                </div>
                <div class="right">
                  <noindex><p class="product-desc" itemprop="description">самые крутые в мире алмазы по бросовым ценам, нажми чтобы узнать подробнее...</p></noindex>
                    <a href="/catalog/almazy/almazy-granenye/almaz-granenyi-100karat.html" class="read-more cat-more">Подробнее</a>
                    <span data-id="188" class="buy to-basket"><i class="fa fa-cart-arrow-down" aria-hidden="true"></i> В корзину</a>
                </div>
            </div>

и проблема заключается в том что не могу получить в String вот это - /catalog/almazy/almazy-granenye/almaz-granenyi-100karat.html

т.е. не понимаю как задать фильтр :

Java

Document doc;
Elements link;
doc = Jsoup.connect("http://almazy.com/catalog/almazy/almazy-granenye/1/").get();
link = doc.select("НЕ ЗНАЮ [как.фильтрануть] нужный тег.со ссылкой");

Помогите кто делал, пожалуйста?

@Alexvp · 23.06.2016, 15:36

Копайте в сторону недопустимых символов xml

@disx · 23.06.2016, 20:05 **[ТС]**

Alexvp,

в сторону недопустимых символов xml

можно чуть подробнее, не хватает образования понять...

нашел пример на java, но что-то он не работает(не разобрался)

JsoupExtractLinks.java

Кликните здесь для просмотра всего текста

Java

package com.journaldev.jsoup;
 
import java.io.IOException;
 
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
 
public class JsoupExtractLinks {
 
    public static void main(String[] args) throws IOException {
 
        Document doc = Jsoup.connect(&amp;quot;[url]http://www.journaldev.com&amp;quot;).get();[/url]
        Element content = doc.getElementById(&amp;quot;content&amp;quot;);
        Elements links = content.getElementsByTag(&amp;quot;a&amp;quot;);
        for (Element link : links) {
          String linkHref = link.attr(&amp;quot;href&amp;quot;);
          String linkText = link.text();
          System.out.println(&amp;quot;Text::&amp;quot;+linkText+&amp;quot;, URL::&amp;quot;+linkHref);
        }
    }
 
}

логика немного понятна, может у кого-то что-то похожее под андроид есть?

@Alexvp · 23.06.2016, 22:26

К сожалению, нет времени искать, но скорее всего проблема в двойных кавычках. Не помню на какой символ надо менять их для xml. Попробуйте поиском найти "недопустимые символы xml" Там должна быть таблица замены этих символов.

@disx · 24.06.2016, 11:37 **[ТС]**

Alexvp, нашёл

Пробел =>
" => "
© => ©
® => ®
™ => ™
? => €
Ј => £
„ => &bdquo;
“ => “
« => «
» => »
> => >
< => <
≥ => ≥
≤ => ≤
≈ => ≈
≠ => ≠
≡ => &equiv;
§ => §
& => &
∞ => ∞

, но где использовать эти символы, что они мне дают?

@fraley · 24.06.2016, 14:07

Сообщение от disx

т.е. не понимаю как задать фильтр

Если вы точно знаете что URL находиться первым в документе, то можно так:

Java

1	String firstURL=doc.select("a").first().attr("href");

Если же надо получить все линки на странице:

Java

Elements elements = document.select("a");
for(Element element:elements){
                arrayList.add(element.attr("href"));
            }

а потом уже естествено примянять свою логику для нахождения нужного URL.

@amasaemi · 24.06.2016, 15:08

doc.select("a").first().attr("abs:href")
Видимо так. abs - добавит адрес самого сайта.

@disx · 11.01.2017, 22:28 **[ТС]**

amasaemi, так выдает только адрес сайта (типа http://almaz.ru/)

fraley,

Java

1	String firstURL=doc.select("a").first().attr("href");

так только один символ всплывает - '/', а надо из <a href забрать это -

HTML5

1	String firstURL=doc.select("a").first().attr("href");

Добавлено через 1 час 22 минуты
fraley, т.е. это

HTML5

1	/catalog/almazy/almazy-granenye/almaz-granenyi-100karat.html

@fraley · 12.01.2017, 00:44

disx, из примера ТС именно это и получается.

@disx · 12.01.2017, 14:34 **[ТС]**

fraley, получилось как-то так:

Java

 review = doc.select(".product-desc");
                review = doc.select("[class=right]");
                review = doc.getElementsByClass("right");
                getReview = review.select("a");

, в цикле получаю урл каждой позиции так:

JSON

1	String opis = getReview.get(i).attr("abs:href");

@Alexvp 100 / 79 / 9 Регистрация: 03.08.2014 Сообщений: 447
	23.06.2016, 15:36	2
	Копайте в сторону недопустимых символов xml 0

@Alexvp 100 / 79 / 9 Регистрация: 03.08.2014 Сообщений: 447
	23.06.2016, 22:26	4
	К сожалению, нет времени искать, но скорее всего проблема в двойных кавычках. Не помню на какой символ надо менять их для xml. Попробуйте поиском найти "недопустимые символы xml" Там должна быть таблица замены этих символов. 1

@disx 23 / 23 / 0 Регистрация: 26.02.2014 Сообщений: 684
	24.06.2016, 11:37 [ТС]	5
	Alexvp, нашёл Пробел => " => " © => © ® => ® ™ => ™ ? => € Ј => £ „ => &bdquo; “ => “ « => « » => » > => > < => < ≥ => ≥ ≤ => ≤ ≈ => ≈ ≠ => ≠ ≡ => &equiv; § => § & => & ∞ => ∞ , но где использовать эти символы, что они мне дают? 0

@amasaemi 9 / 9 / 5 Регистрация: 22.08.2015 Сообщений: 108
	24.06.2016, 15:08	7
	doc.select("a").first().attr("abs:href") Видимо так. abs - добавит адрес самого сайта. 0

@fraley 111 / 111 / 43 Регистрация: 24.05.2015 Сообщений: 329
	12.01.2017, 00:44	9
	disx, из примера ТС именно это и получается. 0

	12.01.2017, 14:34