Парсинг сайта с последующим выводом определенных значений. Оптимизация кода

@Bunnyone · Регистрация: 13.08.2016

Студворк — интернет-сервис помощи студентам

Здравствуйте всем.
Кусок кода, который парсит по ключевым словам номера заказов, затем сохраняет список в текстовый файл и считывает для возврата функции.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
 #Исходный код страницы
    requiredHtml = browser.page_source #Исходный код страницы
 # Парсим теги
    soup = BeautifulSoup(requiredHtml, 'html5lib')
    main_title = soup.find_all('span', {"class": "btn-title"})  # Ищем определенный класс
 # Сохраняем номера заказов в txt
    with open("test.txt","w",encoding="utf-8") as f:
        for title in main_title:
            orders = title.text.strip()
            print (orders)
            f.write(str(orders) + '\n')
 # Открываем наш txt и считываем наш список и возращаем функцию
    with open ('test.txt', 'r',encoding="utf-8") as f:
        txt_orders = f.read()
        return txt_orders #Возращаем заказы
 
"""
В итоге получем результат из файла:
№31233
№432444
№234236
№23445
№532432
"""

Теперь такой вопрос, как упрастить всё это извращение) без записи в файлов. И также творой вопрос, как объеденить списки точно такой же функции с другими ключивыми словами - "статус заказа", либо засунуть её в этот код. К примеру, такой текст, чтоб потом его можно было возвратить в функцию:

Code
1
2
3
№12345: Готово
№31234: Тестируется
№31244: На диагностике

@unfindable_404 · 06.04.2020, 14:08

Python
1
2
3
4
5
6
7
    #Исходный код страницы
    requiredHtml = browser.page_source #Исходный код страницы
    # Парсим теги
    soup = BeautifulSoup(requiredHtml, 'html5lib')
    main_title = soup.find_all('span', {"class": "btn-title"})  # Ищем определенный класс
    # Возвращаем заказы
    return '\n'.join(title.text.strip() for title in main_title)

Будет делать то же самое но без записи в файл.

Второй вопрос не понял.

@Bunnyone · 06.04.2020, 14:18 **[ТС]**

Спасибо, всё работает. По поводу второго вопроса:
Есть две функции:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
    #Исходный код страницы
    requiredHtml = browser.page_source #Исходный код страницы
    # Парсим теги
    soup = BeautifulSoup(requiredHtml, 'html5lib')
    main_title = soup.find_all('span', {"class": "btn-title"})  # Ищем определенный класс
    # Возвращаем заказы
    return '\n'.join(title.text.strip() for title in main_title)
"""
На выводе получается такой список:
Готово
Тестируется
На диагностике
"""

Разница в поиске: main_title = soup.find_all('a', {"class": "js-order-link"}) #

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
    #Исходный код страницы
    requiredHtml = browser.page_source #Исходный код страницы
    # Парсим теги
    soup = BeautifulSoup(requiredHtml, 'html5lib')
    main_title = soup.find_all('a', {"class": "js-order-link"}) # Ищем определенный класс
    # Возвращаем заказы
    return '\n'.join(title.text.strip() for title in main_title)
 
 
"""
На выводе получается такой список:
№12345
№31234
№31244
"""

Как можно объеденить эти списки с разделителем ":". Или можно как то это засунуть в одну функцию
№12345: Готово
№31234: Тестируется
№31244: На диагностике

@unfindable_404 · 06.04.2020, 14:32

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
    #Исходный код страницы
    requiredHtml = browser.page_source #Исходный код страницы
    # Парсим теги
    soup = BeautifulSoup(requiredHtml, 'html5lib')
 
    # Ищем определенный класс c номерами заказов
    main_title1 = soup.find_all('span', {"class": "btn-title"})
    # Ищем определенный класс cо статусами заказов
    main_title2 = soup.find_all('a', {"class": "js-order-link"})
 
    # Возвращаем заказы
    return '\n'.join(': '.join(item[0].text.strip(), item[1].text.strip())
                     for item in zip(main_title1, main_title2))

Так?

@Bunnyone · 06.04.2020, 14:57 **[ТС]**

Выдает такую вот ошибку

Code
1
TypeError occurred, args=('join() takes exactly one argument (2 given)

@unfindable_404 · 06.04.2020, 15:01

Python
1
2
return '\n'.join(': '.join([item[0].text.strip(), item[1].text.strip()])
                     for item in zip(main_title1, main_title2))

Скобочки не поставил

Новые блоги и статьи Все статьи Все блоги /
Отчёт о затраченных материалах за определенный период с макетом печатной формы Maks 21.04.2026 Отчёт из решения ниже размещён в конфигурации КА2. Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В. . .	Отчёт о спецтехнике находящейся в ремонте Maks 20.04.2026 Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .	Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)" Hrethgir 19.04.2026 Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .	Запрет удаления строк ТЧ документа при определённом условии Maks 19.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .
Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .	Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .	Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.

Парсинг сайта с последующим выводом определенных значений. Оптимизация кода

Решение

Решение

Опции темы