0 / 0 / 0
Регистрация: 12.03.2012
Сообщений: 40

Получить все элементы одного класса при парсинге сайта

21.05.2015, 06:26. Показов 6055. Ответов 3
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Доброго времени суток.
Проблема заключается в том что при парсинге сайта я получаю только последний элемент, хотя они мне нужны все.
вот код:
Python
1
2
3
4
5
 
page = html.parse(main_domain_stat);
e = page.getroot().\
      find_class('storywrap').\
      pop();
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
21.05.2015, 06:26
Ответы с готовыми решениями:

Не могу получить новые данные при парсинге сайта после обновления страницы
Делаю парсер для фриланс биржи, чтобы получать уведомления о новых заказах. Логика такая: - парсер проходит первый раз, получает все...

При парсинге слов с сайта в массив, все слова записываются в первый индекс
var elements:Elements=document.getElementsByClass("nbl-slimPosterBlock__title") elements.forEach { var...

При парсинге сайта содержание в строке выводится не на языке сайта
Здравствуйте. Помогите решить проблему. Сайт в браузере на русском. Когда я его парсю все содержание в строке выводится на украинском?

3
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
21.05.2015, 10:21
Python
1
2
3
4
page = html.parse(main_domain_stat);
e = page.getroot().find_class('storywrap')
for el in e:
    print el.text_content()
Добавлено через 52 секунды
если покажите сайт и что нужно выковырять - посмотрим вместе.
0
0 / 0 / 0
Регистрация: 12.03.2012
Сообщений: 40
27.05.2015, 10:41  [ТС]
Цитата Сообщение от Jabbson Посмотреть сообщение
если покажите сайт и что нужно выковырять - посмотрим вместе.
сайт http://www.gorno-altaisk.info/
нужна лента новостей, то есть заголовок, текст статьи и ссылка на статью.
И не большой вопрос, как вытащить ссылку, то есть сам тег <a></a> со всем его содержимым? что бы в будущем эту ссылку можно было использовать.
0
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
27.05.2015, 12:43
STAVR,
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
import lxml.html
import requests
 
 
def get_data(post):
    print(post.cssselect('h4.storytitle')[0].text_content())
    print(post.cssselect('div.storycontent p')[0].text_content())
    print(post.cssselect('div.storycontent p a')[0].get('href'), '\n\n')
 
page = requests.get('http://www.gorno-altaisk.info/').text
parser = lxml.html.fromstring(page)
 
for i in parser.cssselect('div.storywrap'):
    get_data(i)
В этом примере я просто извлек данные. В своей программе тебе надо будет просто обрабатывать их по другому (складывать в список или ещё как-то).
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
27.05.2015, 12:43
Помогаю со студенческими работами здесь

Как получить разные элементы одного массива для разных объетов класса?
Приветствую. Есть массив String в котором 32 элемента(карты). Есть класс Players. Необходимо написать такой метод getCards, чтобы при...

Ошибка при парсинге сайта
Пытаюсь вынуть с погодного сайта строчку вида дата - температура public List&lt;String&gt; weekParsing() { WebClient client =...

Ошибка при парсинге сайта
Написал код using System.Collections; using System.Collections.Generic; using UnityEngine; using UnityEngine.Networking; using...

Неправильная кодировка при парсинге сайта
Когда делаю парс текста с сайта http://code-vk.ru/random/ У меня в memo1 выдает плохую кодировку,что делать? На сайте стоит кодировка...

Ошибка при парсинге страницы сайта
В методе онклик пишу: public void onClick(View v) { Document doc = null; try { doc =...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Опции темы

Новые блоги и статьи
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
Символьное дифференцирование
igorrr37 13.02.2026
/ * Программа принимает математическое выражение в виде строки и выдаёт его производную в виде строки и вычисляет значение производной при заданном х Логарифм записывается как: (x-2)log(x^2+2) -. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru