Парсинг для чайника

@DuftPunk · Регистрация: 18.08.2012

Author24 — интернет-сервис помощи студентам

Программа парсинг.
есть сайт.
Задача - вытащить всю инфу о кафе ,барах и ресторанах.(адрес,мыло,время работы,название,все что будет)
1 Перебирать все странички(по ссылкам или другим способом) с кафе барами и ресторанами
2 Заходить по ссылкам в описание кафе бара ресторана
3 Вытаскивать всю нужную инфу из описания.
4 Сохранять полученные данные в файл csv
5 При запуске программы показывать лог выполнения(что сейчас происходить)

Изучением Java занялся месяц назад. Прошу помочь с реализацией.
Что нужно для реализации?
Что почитать?
Примеры с описанием(буду безмерно благодарен)
Спасибо.

@mutagen · 19.08.2012, 03:34

html это своего рода xml, поэтому вполне можно воспользоваться парсерами xml и технологиями xquery и xpath

@Forzametal · 19.08.2012, 14:31

Актуально Ап

@DuftPunk · 19.08.2012, 14:59 **[ТС]**

Нашел несколько краулеров примеров http://www.ulimatbach.de/java/Crawler.html
Подскажите какой из них подходит в моей ситуации,или от какого отталкиваться.

@DuftPunk · 20.08.2012, 20:33 **[ТС]**

Дело по маленьку пошло))
И так , научился доставать нужную информацию(нужный текст) и ссылки.
Теперь вопрос такой
Имею код

Java

public class Parser {
    public static void main(String[] args) throws IOException {
 
            String url = "http://kharkov.nezabarom.ua/Kafe-Bar-Restoran?pg="; // урл странички
            Document doc = Jsoup.connect(url).timeout(5000).get(); // получаем страницу
            Elements links = doc.select("div.ns_object_title a"); // получаем ссылки на кафешки
            //String Links = links.html();
            Elements links2 =doc.select("div.rulerblock a");//получаем ссылки на другие страницы
            //String Links2=links2.html();
            System.out.print("Ссылки в описание" +links );//Ссылки в описани
            System.out.print("Ссылки на другие страницы"+  links2);//Ссылки на другие страницы
    }
}

В результате получаю

Lisp

Ссылки в описание
<a href="http://kharkov.nezabarom.ua/Kafe-Bar-Restoran/itgril/">Итальянский гриль</a>
<a href="http://kharkov.nezabarom.ua/Kafe-Bar-Restoran/jaske/">Яскэ</a>
<a href="http://kharkov.nezabarom.ua/Kafe-Bar-Restoran/yaske/">Яскэ</a>
<a href="http://kharkov.nezabarom.ua/Kafe-Bar-Restoran/buhara/">Бухара</a>
<a href="http://kharkov.nezabarom.ua/Bouling/maximum/">Боулинг-Центр Максимум</a>
<a href="http://kharkov.nezabarom.ua/Kafe-Bar-Restoran/gold_ducat/">Золотой Дукат</a>
<a href="http://kharkov.nezabarom.ua/Razvlekatelnye-kompleksy/compas/">Компас</a>
<a href="http://kharkov.nezabarom.ua/Klub/it_cafe/">IT САFE_</a>
<a href="http://kharkov.nezabarom.ua/Kafe-Bar-Restoran/kokawa/">Книжная кофейня K˚KAWA</a>
<a href="http://kharkov.nezabarom.ua/Kafe-Bar-Restoran/caffissimo/">Caffissimo</a>
Ссылки на другие страницы
<a class="numb_a" href="/Kafe-Bar-Restoran?pg=&amp;pg=0">1</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=1">2</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=2">3</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=3">4</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=4">5</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=5">6</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=6">7</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=7">8</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=8">9</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=9">10</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=1">→</a>
<a class="numb_a" href="/Kafe-Bar-Restoran?pg=&amp;pg=0">1</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=1">2</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=2">3</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=3">4</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=4">5</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=5">6</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=6">7</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=7">8</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=8">9</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=9">10</a>
<a class="numb" href="/Kafe-Bar-Restoran?pg=&amp;pg=1">→</a>

Ув Форумчане,помогите.Подскажите,каким образом мне переходить по этим ссылкам - По страничкам и в каждой из этих страничек заходит в описание где я и буду вытаскивать нужные мне данные.Как это реализовать?Спасибо.

@DuftPunk 0 / 0 / 0 Регистрация: 18.08.2012 Сообщений: 8
		1
	Парсинг для чайника 19.08.2012, 00:08. Показов 16866. Ответов 4 Метки нет (Все метки) Программа парсинг. есть сайт. Задача - вытащить всю инфу о кафе ,барах и ресторанах.(адрес,мыло,время работы,название,все что будет) 1 Перебирать все странички(по ссылкам или другим способом) с кафе барами и ресторанами 2 Заходить по ссылкам в описание кафе бара ресторана 3 Вытаскивать всю нужную инфу из описания. 4 Сохранять полученные данные в файл csv 5 При запуске программы показывать лог выполнения(что сейчас происходить) Изучением Java занялся месяц назад. Прошу помочь с реализацией. Что нужно для реализации? Что почитать? Примеры с описанием(буду безмерно благодарен) Спасибо. 0

@mutagen 2586 / 2259 / 257 Регистрация: 14.09.2011 Сообщений: 5,185 Записей в блоге: 18
	19.08.2012, 03:34	2
	html это своего рода xml, поэтому вполне можно воспользоваться парсерами xml и технологиями xquery и xpath 0

@Forzametal 2 / 2 / 0 Регистрация: 02.06.2012 Сообщений: 34
	19.08.2012, 14:31	3
	Актуально Ап 0

@DuftPunk 0 / 0 / 0 Регистрация: 18.08.2012 Сообщений: 8
	19.08.2012, 14:59 [ТС]	4
	Нашел несколько краулеров примеров http://www.ulimatbach.de/java/Crawler.html Подскажите какой из них подходит в моей ситуации,или от какого отталкиваться. 0

	20.08.2012, 20:33