Парсинг сайта с последующим выводом определенных значений. Оптимизация кода

@Bunnyone · Регистрация: 13.08.2016

Студворк — интернет-сервис помощи студентам

Здравствуйте всем.
Кусок кода, который парсит по ключевым словам номера заказов, затем сохраняет список в текстовый файл и считывает для возврата функции.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
 #Исходный код страницы
    requiredHtml = browser.page_source #Исходный код страницы
 # Парсим теги
    soup = BeautifulSoup(requiredHtml, 'html5lib')
    main_title = soup.find_all('span', {"class": "btn-title"})  # Ищем определенный класс
 # Сохраняем номера заказов в txt
    with open("test.txt","w",encoding="utf-8") as f:
        for title in main_title:
            orders = title.text.strip()
            print (orders)
            f.write(str(orders) + '\n')
 # Открываем наш txt и считываем наш список и возращаем функцию
    with open ('test.txt', 'r',encoding="utf-8") as f:
        txt_orders = f.read()
        return txt_orders #Возращаем заказы
 
"""
В итоге получем результат из файла:
№31233
№432444
№234236
№23445
№532432
"""

Теперь такой вопрос, как упрастить всё это извращение) без записи в файлов. И также творой вопрос, как объеденить списки точно такой же функции с другими ключивыми словами - "статус заказа", либо засунуть её в этот код. К примеру, такой текст, чтоб потом его можно было возвратить в функцию:

Code
1
2
3
№12345: Готово
№31234: Тестируется
№31244: На диагностике

@unfindable_404 · 06.04.2020, 14:08

Python
1
2
3
4
5
6
7
    #Исходный код страницы
    requiredHtml = browser.page_source #Исходный код страницы
    # Парсим теги
    soup = BeautifulSoup(requiredHtml, 'html5lib')
    main_title = soup.find_all('span', {"class": "btn-title"})  # Ищем определенный класс
    # Возвращаем заказы
    return '\n'.join(title.text.strip() for title in main_title)

Будет делать то же самое но без записи в файл.

Второй вопрос не понял.

@Bunnyone · 06.04.2020, 14:18 **[ТС]**

Спасибо, всё работает. По поводу второго вопроса:
Есть две функции:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
    #Исходный код страницы
    requiredHtml = browser.page_source #Исходный код страницы
    # Парсим теги
    soup = BeautifulSoup(requiredHtml, 'html5lib')
    main_title = soup.find_all('span', {"class": "btn-title"})  # Ищем определенный класс
    # Возвращаем заказы
    return '\n'.join(title.text.strip() for title in main_title)
"""
На выводе получается такой список:
Готово
Тестируется
На диагностике
"""

Разница в поиске: main_title = soup.find_all('a', {"class": "js-order-link"}) #

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
    #Исходный код страницы
    requiredHtml = browser.page_source #Исходный код страницы
    # Парсим теги
    soup = BeautifulSoup(requiredHtml, 'html5lib')
    main_title = soup.find_all('a', {"class": "js-order-link"}) # Ищем определенный класс
    # Возвращаем заказы
    return '\n'.join(title.text.strip() for title in main_title)
 
 
"""
На выводе получается такой список:
№12345
№31234
№31244
"""

Как можно объеденить эти списки с разделителем ":". Или можно как то это засунуть в одну функцию
№12345: Готово
№31234: Тестируется
№31244: На диагностике

@unfindable_404 · 06.04.2020, 14:32

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
    #Исходный код страницы
    requiredHtml = browser.page_source #Исходный код страницы
    # Парсим теги
    soup = BeautifulSoup(requiredHtml, 'html5lib')
 
    # Ищем определенный класс c номерами заказов
    main_title1 = soup.find_all('span', {"class": "btn-title"})
    # Ищем определенный класс cо статусами заказов
    main_title2 = soup.find_all('a', {"class": "js-order-link"})
 
    # Возвращаем заказы
    return '\n'.join(': '.join(item[0].text.strip(), item[1].text.strip())
                     for item in zip(main_title1, main_title2))

Так?

@Bunnyone · 06.04.2020, 14:57 **[ТС]**

Выдает такую вот ошибку

Code
1
TypeError occurred, args=('join() takes exactly one argument (2 given)

@unfindable_404 · 06.04.2020, 15:01

Python
1
2
return '\n'.join(': '.join([item[0].text.strip(), item[1].text.strip()])
                     for item in zip(main_title1, main_title2))

Скобочки не поставил

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .	Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»	SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .

Парсинг сайта с последующим выводом определенных значений. Оптимизация кода

Решение

Решение