Запись результатов парсинга в CSV файл

@STARSsoft · Регистрация: 24.07.2016

Студворк — интернет-сервис помощи студентам

Начал изучать парсинг сайтов на Python. Могу спарсить данные и вывести их на экран. В окне терминала все выглядит идеально. Но если допустим эти данные отправлять клиенту, то ему эти данные скорее всего нужны будут в виде файла. Пытаюсь записать результаты в CSV файл, но не получается. То либо только последняя строка записывается в файл в единственной строке, то либо в нужном количестве строк, но на все строки опять же дублируется последняя запись. Чую, что где то близко, но в голову ничего пока не лезет.

Нужно записать результат парсинга в CSV файл. Первый столбец это номер по порядку, второй - наименование товара, третий - цена в тенге.

В примере с кодом есть мусорные вещи, но это либо остатки поиска вариантов либо остатки от кода с пагинацией. Чистить буду потом, когда все заработает как надо. Да, знаю, что код можно улучшить и упростить, но я подбираюсь поэтапно к цели. Застрял на записи данных в файл.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
import requests
from bs4 import BeautifulSoup
import csv
from csv import writer
 
 
 
headers = {
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.102 Safari/537.36 OPR/90.0.4480.84 (Edition Yx 08)'
   
}  
 
params = {'page': 1}
# задаем число больше номера первой страницы, для старта цикла
pages = 20  # количество страниц
page = 1    # номер начальной страницы
n = 1       # Начало нумерации
 
 
url = 'https://www.sulpak.kz/f/smartfoniy?page=1'    # делаем запрос на страницу
response = requests.get(url)                        # обработка запроса метотдом get
soup = BeautifulSoup(response.text, 'lxml')         # создаем суп
items = soup.find_all('li', class_='tile-container')# разбираем ячейки товара
 
    
if page <= pages: # Если текущая страница меньше или равно количеству страниц всего
    for n, i in enumerate(items, start=n):      # задаем нумерацию для всех ячеек
        itemName = i.find('h3', class_='title').text.replace("Смартфон", "").strip() # делаем выборку из супа. Тут в теге ищем клас с названием класса
        itemPrice = i.find('div', class_='price')  # Ищем второе значение
        if itemPrice is None:                   # Обработчик, если вдруг нет искомого класса или тега во втором значении
            itemPrice = 'No Price'         # 
        else:
            itemPrice = itemPrice.text.replace("Цена:", "").replace("₸", "").strip() # Удаляем лишний текст и переносы 
      
        Index = n
        GoodName = itemName
        Price = itemPrice
 
        print(Index, GoodName, Price)   # Выводим на экран список товаров
        
       
 
        with open("Goods_Sulpak.csv", mode="w", newline = '', encoding='cp1251') as w_file:
            file_writer = csv.writer(w_file, delimiter = ";", lineterminator="\r")
            file_writer.writerow(["Index", "Good Name", "Price"])
            for Index, GoodName, Price in items:
                file_writer.writerow([n, itemName, itemPrice])

Результат работы парсера в окне терминала.

Результат сохранения в CSV файл

@Alexarh · 11.09.2022, 13:38

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
import requests
from bs4 import BeautifulSoup
import csv
from csv import writer
 
headers = {
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.102 Safari/537.36 OPR/90.0.4480.84 (Edition Yx 08)'
 
}
 
params = {'page': 1}
# задаем число больше номера первой страницы, для старта цикла
pages = 20  # количество страниц
page = 1  # номер начальной страницы
n = 1  # Начало нумерации
 
url = 'https://www.sulpak.kz/f/smartfoniy?page=1'  # делаем запрос на страницу
response = requests.get(url)  # обработка запроса метотдом get
soup = BeautifulSoup(response.text, 'lxml')  # создаем суп
items = soup.find_all('li', class_='tile-container')  # разбираем ячейки товара
 
result = []
if page <= pages:  # Если текущая страница меньше или равно количеству страниц всего
    for n, i in enumerate(items, start=n):  # задаем нумерацию для всех ячеек
        itemName = i.find('h3', class_='title').text.replace("Смартфон",
                                                             "").strip()  # делаем выборку из супа. Тут в теге ищем клас с названием класса
        itemPrice = i.find('div', class_='price')  # Ищем второе значение
        if itemPrice is None:  # Обработчик, если вдруг нет искомого класса или тега во втором значении
            itemPrice = 'No Price'  #
        else:
            itemPrice = itemPrice.text.replace("Цена:", "").replace("₸", "").strip()  # Удаляем лишний текст и переносы
 
        Index = n
        GoodName = itemName
        Price = itemPrice
 
        print(Index, GoodName, Price)  # Выводим на экран список товаров
 
        result.append((Index, GoodName, Price))
 
with open("Goods_Sulpak.csv", mode="w", newline='', encoding='cp1251') as w_file:
    file_writer = csv.writer(w_file, delimiter=";", lineterminator="\r")
    file_writer.writerows(result)

Новые блоги и статьи Все статьи Все блоги /
Символические и жёсткие ссылки в Linux. algri14 15.03.2026 Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это дополнительная запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая. . .	[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ФедосеевПавел 14.03.2026 Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .	делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:
Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .

Запись результатов парсинга в CSV файл

Решение