Парсить все ссылки по маске с определенного блока страницы

@Veb_valenok · Регистрация: 05.10.2015

Author24 — интернет-сервис помощи студентам

Задача спарсить все ссылки с одного блока по селектору id. После перебрать с помощью регулярных выражений. Если кто-то подкинет примеры кода, чтобы стал понятен принцип (желательно с комментариями), буду очень признателен. Еще просьба: посоветуйте учебник vb .Net. Чтобы по делу и без воды в формате " Это Х используется для У > Синтаксис > Примеры"

@OwenGlendower · 27.03.2018, 16:28

Veb_valenok, будет проще если ты покажешь html который нужно распарсить и какой результат нужно получить.

@Veb_valenok · 30.03.2018, 21:44 **[ТС]**

Думаю писать весь html код нет смысла. Имеется блок <div id="searchResults" class="gs_left_column">...</div>. Нужно спарсить все ссылки из этого блока подходящие по шаблону в текстовый файл. Вот как я вижу алгоритм решения задачи — парсим страницу целиком > выделяем содержимое блока > проводим сравнение по шаблону с помощью регулярных выражений > совпадения записываем в массив и далее текстовый файл.

@OwenGlendower · 30.03.2018, 21:52

Veb_valenok, а я вижу решение без регулярных выражений, но чтобы его привести нужно видеть хотя бы часть html и понимать что шаблон у ссылок.

@Veb_valenok · 01.04.2018, 20:02 **[ТС]**

Вот пример ссылки:

HTML5

1	<a href="https://ok.ru/profile/548742431231" class="gs_result_i_t_name o" hrefattrs="st.cmd=friendMain&st.friendId=548742431231&st._aid=LS_User_name">XXX</a>

. Спасибо, что взялись мне помогать)

@OwenGlendower · 01.04.2018, 20:20

Veb_valenok, в чем именно заключается "шаблон ссылки"? То что она ведет на ok.ru? Или что она ведет на профиль ok.ru?

Сообщение от Veb_valenok

Спасибо, что взялись мне помогать)

Я пока ни за что не взялся. Прежде чем я напишу какой-либо код тебе необходимо пояснить суть задачи которую ты решаешь.

@Veb_valenok · 11.04.2018, 10:02 **[ТС]**

Задача спарсить все ссылки с одного блока по селектору id. После записать их в массив.

@Дядя Корней · 11.04.2018, 16:29

Veb_valenok, вообще изи!
К проекту нужно будет подключить библиотеку http://html-agility-pack.net/

VB.NET

        Dim doc As New HtmlDocument
        doc.LoadHtml(htmlPageSource)
        Dim links = doc.DocumentNode.SelectNodes("//div[@class='gs_left_column']//a[@class='gs_result_i_t_name o']")
 
        For Each a As HtmlNode In links
            '---
        Next

Это пример получения ссылок по классу.
По id сделаешь по аналогии, ибо в вышеприведенном тобой примере в атрибутах нет id, а я не телепат и понятия не имею что там у тебя за id.

Вот так (если добавить этот код в цикл), можно записать ссылки в файл

VB.NET

            Try
                IO.File.WriteAllText("result.txt", a.Attributes("href").Value)
            Catch ex As Exception
                MsgBox(ex.Message)
            End Try

Опять же, по аналогии можно порыться в атрибутах а и сохранять только то, что нужно.
Если что-то не ясно, спрашивай, дополню, если сам знаю)) Я вообще не программист, так, балуюсь периодически.

@Veb_valenok · 13.04.2018, 15:29 **[ТС]**

Ссылки без id, а вот блок в котором они находятся имеет селектор об этом я ранее писал. <div id="searchResults" class="gs_left_column">...</div>

@Veb_valenok 0 / 0 / 0 Регистрация: 05.10.2015 Сообщений: 15
		1
	Парсить все ссылки по маске с определенного блока страницы 27.03.2018, 00:06. Показов 1918. Ответов 8 Метки нет (Все метки) Задача спарсить все ссылки с одного блока по селектору id. После перебрать с помощью регулярных выражений. Если кто-то подкинет примеры кода, чтобы стал понятен принцип (желательно с комментариями), буду очень признателен. Еще просьба: посоветуйте учебник vb .Net. Чтобы по делу и без воды в формате " Это Х используется для У > Синтаксис > Примеры" 0

@OwenGlendower Администратор 16988 / 13348 / 5208 Регистрация: 17.03.2014 Сообщений: 27,295 Записей в блоге: 1
	27.03.2018, 16:28	2
	Veb_valenok, будет проще если ты покажешь html который нужно распарсить и какой результат нужно получить. 0

@Veb_valenok 0 / 0 / 0 Регистрация: 05.10.2015 Сообщений: 15
	30.03.2018, 21:44 [ТС]	3
	Думаю писать весь html код нет смысла. Имеется блок <div id="searchResults" class="gs_left_column">...</div>. Нужно спарсить все ссылки из этого блока подходящие по шаблону в текстовый файл. Вот как я вижу алгоритм решения задачи — парсим страницу целиком > выделяем содержимое блока > проводим сравнение по шаблону с помощью регулярных выражений > совпадения записываем в массив и далее текстовый файл. 0

@OwenGlendower Администратор 16988 / 13348 / 5208 Регистрация: 17.03.2014 Сообщений: 27,295 Записей в блоге: 1
	30.03.2018, 21:52	4
	Veb_valenok, а я вижу решение без регулярных выражений, но чтобы его привести нужно видеть хотя бы часть html и понимать что шаблон у ссылок. 0

@OwenGlendower Администратор 16988 / 13348 / 5208 Регистрация: 17.03.2014 Сообщений: 27,295 Записей в блоге: 1
	01.04.2018, 20:20	6
	Veb_valenok, в чем именно заключается "шаблон ссылки"? То что она ведет на ok.ru? Или что она ведет на профиль ok.ru? Сообщение от Veb_valenok Спасибо, что взялись мне помогать) Я пока ни за что не взялся. Прежде чем я напишу какой-либо код тебе необходимо пояснить суть задачи которую ты решаешь. 1

@Veb_valenok 0 / 0 / 0 Регистрация: 05.10.2015 Сообщений: 15
	11.04.2018, 10:02 [ТС]	7
	Задача спарсить все ссылки с одного блока по селектору id. После записать их в массив. 0

@Veb_valenok 0 / 0 / 0 Регистрация: 05.10.2015 Сообщений: 15
	13.04.2018, 15:29 [ТС]	9
	Ссылки без id, а вот блок в котором они находятся имеет селектор об этом я ранее писал. <div id="searchResults" class="gs_left_column">...</div> 0

Опции темы