Парсинг форума через BeautifulSoup - Python

@lijavefe · Регистрация: 25.11.2016

Студворк — интернет-сервис помощи студентам

Самостоятельно занимаюсь изучением языка Python.
Решил написать примитивный парсер сайта, используя библиотеку BeautifulSoup это код из видеоурока, чуть чуть подправил его под другой сайт.

Хочу получить название игр с 4pda.ru/forum/index.php?showforum=519

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
import urllib.request
from bs4 import BeautifulSoup
 
def get_html(url):
    responce = urllib.request.urlopen(url)
    return responce.read()
 
def parse(html):
    soup = BeautifulSoup(html, 'html.parser')
    table = soup.find('table', cellspacing="1", class_='ipbtable')
 
    for row in table.find_all('tr')[6:]:
        cols = row.find_all('td')[2:]
        print(cols)
 
def main():
    parse(get_html('http://4pda.ru/forum/index.php?showforum=519'))
 
if __name__ == '__main__':
    main()

По итогу получаю:
~30 строк, в которых есть название игр.

HTML5
1
 [<td class="row2" onmousemove="info_mm(this);" onmouseout="info_mo(this);" valign="middle"><div style="float:right"></div><div><a href="//4pda.ru/forum/index.php?showtopic=507234&amp;view=getnewpost"><img alt="&gt;N" border="0" hspace="2" src="//s.4pda.to/gGBEYtjeU3NJBDvFsPce8tenuGB4DxNVAWqb6fSJ2Y.gif" title="Перейти к первому непрочитанному"/></a> <a href="#" onclick="PopUp('//4pda.ru/forum/index.php?act=attach&amp;code=showtopic&amp;tid=507234', 'Attach507234', 500,400); return false;" title="Прикрепленные файлы: 1529"><img alt="@" border="0" src="//s.4pda.to/gGBEupz15BoJekVtl0u8qSuLsRvJRP35z27AiLxRUabz2Rz2i9.gif"/></a><span id="tid-span-507234"><a href="//4pda.ru/forum/index.php?showtopic=507234" id="tid-link-507234" title="Тема создана 10.10.13, 21:25">Shadow Fight 2</a></span> *<a href="javascript:multi_page_jump('//4pda.ru/forum/index.php?showtopic=507234', 13974, 20 );" title="Переход по страницам"><img alt="*" border="0" src="//s.4pda.to/gGBEupz15Bke70wP9iUtKCGHSwADedWpe3WD6r0aD23z0WSH.gif"/></a> <span class="minipagelink"><a href="//4pda.ru/forum/index.php?showtopic=507234&amp;st=0">1</a></span><span class="minipagelink"><a href="//4pda.ru/forum/index.php?showtopic=507234&amp;st=20">2</a></span><span class="minipagelink"><a href="//4pda.ru/forum/index.php?showtopic=507234&amp;st=40">3</a></span><span class="minipagelinklast"><a href="//4pda.ru/forum/index.php?showtopic=507234&amp;st=13960">» 699</a></span><div class="desc"><span id="tid-desc-507234" onclick="return span_desc_to_input('507234');">[Экшн] файтинг от Nekki</span><span class="forumdesc"><i><br/>Куратор темы: <a href="//4pda.ru/forum/index.php?showuser=5767489">IlyaZelek</a></i></span></div></div></td>, <td align="center" class="row1"><a href="javascript:who_posted(507234);">13973</a></td>, <td align="center" class="row1"><a href="//4pda.ru/forum/index.php?showuser=669942">Alien Shooter</a></td>, <td align="center" class="row1">3975197</td>, <td class="row1"><span class="lastaction">Вчера, 19:26<br/><a href="//4pda.ru/forum/index.php?showtopic=507234&amp;view=getlastpost">Послед.:</a> <b><a href="///4pda.ru/forum/index.php?showuser=5328379">CJ888</a></b></span></td>]

Как мне очистить остальное? у меня постоянно выскакивает ошибка : Traceback (most recent call last):

@Wohilas · 23.03.2017, 20:33

Python
1
2
3
4
5
6
cols = row.find_all('td', class_='row2')
for col in cols:
    spans = col.find_all('span')
    for span in spans:
        if span.has_attr('id'):
            print(span.text)

проще использовать pandas

Python
1
df = pandas.read_html('http://4pda.ru/forum/index.php?showforum=519')

Jabbson · 23.03.2017, 22:56

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
import urllib.request
from bs4 import BeautifulSoup
 
 
def get_html(url):
    response = urllib.request.urlopen(url)
    return response.read()
 
 
def parse(html):
    soup = BeautifulSoup(html, 'lxml')
    for name in soup.findAll('a', {"id": lambda x: x and x.startswith('tid-link-')}):
        print(name.text)
 
def main():
    parse(get_html('http://4pda.ru/forum/index.php?showforum=519'))
 
 
if __name__ == '__main__':
    main()

@lijavefe · 23.03.2017, 23:20 **[ТС]**

Спасибо, добавил еще срез на span и теперь выводит практически то, что надо.

Grand Theft Auto: San Andreas [3D]
N.O.V.A. Legacy (Наследие)[3D, Online]

как можно избавиться от [3D], [3D, Online] в конце каждого названия?

Jabbson · 24.03.2017, 01:37

Сообщение от lijavefe

как можно избавиться от [3D], [3D, Online] в конце каждого названия?

Python
1
print(name.text.split('[')[0])

@lijavefe · 24.03.2017, 10:57 **[ТС]**

Сообщение от Jabbson

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
import urllib.request
from bs4 import BeautifulSoup
 
 
def get_html(url):
    response = urllib.request.urlopen(url)
    return response.read()
 
 
def parse(html):
    soup = BeautifulSoup(html, 'lxml')
    for name in soup.findAll('a', {"id": lambda x: x and x.startswith('tid-link-')}):
        print(name.text)
 
def main():
    parse(get_html('http://4pda.ru/forum/index.php?showforum=519'))
 
 
if __name__ == '__main__':
    main()

Почему-то твой код не запустился ((

Traceback (most recent call last):
File "C:/Users/Admin/PycharmProjects/untitled/test", line 21, in <module>
main()

Но фильтр по квадратным скобкам работает, спасибо. Я совместил твой код и код wohilas. Все отлично работает.

Теперь буду "реализовывать" переход по страницам

Новые блоги и статьи Все статьи Все блоги /
Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»	SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .	SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer 8Observer8 08.02.2026 Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .

@lijavefe 0 / 0 / 0 Регистрация: 25.11.2016 Сообщений: 9
	23.03.2017, 23:20 [ТС]
	Спасибо, добавил еще срез на span и теперь выводит практически то, что надо. Grand Theft Auto: San Andreas [3D] N.O.V.A. Legacy (Наследие)[3D, Online] как можно избавиться от [3D], [3D, Online] в конце каждого названия? 0

Парсинг форума через BeautifulSoup - Python

Решение