Форум программистов, компьютерный форум, киберфорум
Python
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.84/25: Рейтинг темы: голосов - 25, средняя оценка - 4.84
15 / 9 / 7
Регистрация: 29.12.2015
Сообщений: 45

Beautifulsoup и pagination!

24.09.2017, 10:33. Показов 5258. Ответов 2
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Есть код который скачивает музыку с сайта. Скрипт качает музыку только с одной страницы, но хотелось бы скачать сразу всю Mantra'y с сайта. Как делать переход на следующую страницу ? Как я понимаю там нужно подставлять числа к юрлам или каким-нибудь range() функцией. Вот мой код.
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
#!/usr/bin/python3.5
#-*- coding: utf-8 -*-
 
from bs4 import BeautifulSoup
import requests
import os
from datetime import datetime
 
def main():
 
    start = datetime.now()    
 
    url = 'https://muzofond.org/search/e%20mantra'
    html = requests.get(url).text
 
    soup = BeautifulSoup(html, 'lxml')
    
    os.system('clear')
    print('-----' * 10)
 
    name = []
    href = []
    for x in soup.find_all('a', 'dl'):
        #print(x.get('download'))
        #print(x.get('download'), x.get('href'))
        name.append(x.get('download'))
        href.append(x.get('href'))
 
    name.pop(0)
    href.pop(0)
    new_name = name[0:2]
    new_href = href[0:2]
    
    dirname = '/home/mikefromru/music/E-mantra/'
 
    print('Download...')
    numberSong = len(name)
 
    i = 0
    while i != len(name):
        e_url = requests.get(href[-1], stream=True)
        f = open(dirname + name[-1], 'wb')
        f.write(e_url.content)
        f.close()
        print(numberSong, '-', name[-1])
        href.pop()
        name.pop()
        numberSong -=1
 
    end = datetime.now()
    total = end - start
    print('The program was warking for {} min'.format(str(total)))
    print('done')
 
if __name__ == '__main__':
    main()
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
24.09.2017, 10:33
Ответы с готовыми решениями:

Pagination
Добрый день, я застрял в создание страниц и переходов по ним! На PHP после каждого щелчка перезагружается страница и кидает на самый...

pagination
<?php class Pager { // Link templates protected $link_tag = '<a href=":link">:name</a>'; protected $current_tag =...

pagination
Как сделать pagination на jquery, если для отображения используется тег <s:iterator > на jsp (пишу на java)?

2
Эксперт Python
5438 / 3859 / 1215
Регистрация: 28.10.2013
Сообщений: 9,552
Записей в блоге: 1
24.09.2017, 13:41
На вашей странице есть div c классом pagination - а в нем все ссылки на доступные страницы. Просто распарсите его.
1
15 / 9 / 7
Регистрация: 29.12.2015
Сообщений: 45
24.09.2017, 13:53  [ТС]
Понятно, спасибо!
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
24.09.2017, 13:53
Помогаю со студенческими работами здесь

pagination
помогите поставить pagination http://www.pagination.ru/ кто уже делал что-то подобное помогите росписать что куда ставить своими...

Pagination
Используется данный плагин (тыц!) в теме anew в рубриках всё путём а вот на главной странице куда выводятся 2 рубрики, он не работает, с...

Kohana Pagination
Всем Доброго времени суток! Сделал себе эту нумерацию страниц. Всё сделал, всё работает, но, на локальном сервере, когда всё скидываю...

Pagination в kohana 3.3
Не работает пагинация в кохана 3.3 Такая версия работает: ?page=2 а чпу-шная нет: site.ru/news/page2 Использую модуль отсюда...

Pagination + массив
Добрый день ув.пользователи! Скажите пожалуйста, можно использовать массив данных вместо бд для пагинации ? Что бы при переходе по стр. не...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
3
Ответ Создать тему
Новые блоги и статьи
Уведомление о неверно выбранном значении справочника
Maks 06.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "НарядПутевка", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если в документе выбран неверный склад. . .
Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt
8Observer8 05.04.2026
Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .
AkelPad-скрипты, структуры, и немного лирики..
testuser2 05.04.2026
Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .
Отображение реквизитов в документе по условию и контроль их заполнения
Maks 04.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2. Данный документ берёт данные из другого нетипового документа. . .
Фото всей Земли с борта корабля Orion миссии Artemis II
kumehtar 04.04.2026
Это первое подобное фото сделанное человеком за 50 лет. Снимок называют новым вариантом легендарной фотографии «The Blue Marble» 1972 года, сделанной с борта корабля «Аполлон-17». Новое фото. . .
Вывод диалогового окна перед закрытием, если документ не проведён
Maks 04.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать программный контроль на предмет проведения документа. . .
Программный контроль заполнения реквизитов табличной части документа
Maks 02.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: 1. Реализовать контроль заполнения реквизита. . .
wmic не является внутренней или внешней командой
Maks 02.04.2026
Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru