Не создается файл с данными при парсинге сайта

@onhor · Регистрация: 24.03.2017

Студворк — интернет-сервис помощи студентам

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
#!/usr/bin/env python3.6
# _*_ coding:utf-8 _*_
import requests
from bs4 import BeautifulSoup
import csv
 
def get_html(url):
    r = requests.get(url)
    return r.text
 
def get_total_pages(html):
    soup = BeautifulSoup(html, 'lxml')
 
    pages = soup.find('div', class_='pagination-pages').find_all('a', class_='pagination-page')[-1].get('href')
    total_pages = pages.split('=')[1].split('&')[0]
 
    return int(total_pages)
 
 
def write_csv(data):
    with open('avito.csv', 'a') as f:
        writer = csv.writer(f)
 
        writer.writerow((data['title'],
                         data['price'],
                         data['address'],
                         data['time'],
                         data['url']))
 
def get_page_data(html):
    soup = BeautifulSoup(html, 'lxml')
 
    ads = soup.find('div', class_='catalog-list').find_all('div', class_='item_table')
 
    for ad in ads:
        #title, price, address, time, url
        try:
            title = ad.find('div', class_='description').find('h3').text.strip()
        except:
            title = ''
 
        try:
            url = 'https://www.avito.ru' + ad.find('div', class_='description').find('h3').find('a').get('href')
        except:
            url = ''
 
        try:
            price = ad.find('div', class_='about').text.strip()
        except:
            price = ''
 
        # try:
        #     metro =
 
        try:
            address = ad.find('p', class_='address').text.strip()
        except:
            address = ''
 
        try:
            time = ad.find('div', class_='data').find('div', class_='date').text.strip()
        except:
            time = ''
 
            data = {'title': title,
                    'price': price,
                    'address': address,
                    'time': time,
                    'url': url}
 
            write_csv(data)
 
 
def main():
    url = 'https://www.avito.ru/novosibirsk/kvartiry/sdam/na_dlitelnyy_srok/1-komnatnye?p=1&i=1&pmax=14000&user=1'
    base_url = 'https://www.avito.ru/novosibirsk/kvartiry/sdam/na_dlitelnyy_srok/1-komnatnye?'
    page_part = 'p='
    query_part = '&i=1&pmax=14000&user=1'
 
    total_pages = get_total_pages(get_html(url))
 
    for i in range(1, total_pages+1):
        url_gen = base_url + page_part + str(i) + query_part
        #print(url_gan)
        html = get_html(url_gen)
        get_page_data(html)
 
 
if __name__ == '__main__':
    main()

Сделал по уроку на ютюбе, ошибку не выдает, но файл с данными не создает. Помогите люди добрые, получить результаты. Да и понять в чем ошибка хочется.

@Wohilas · 25.03.2017, 13:06

Python
1
2
3
4
5
6
7
8
9
10
11
12
        try:
            time = ad.find('div', class_='data').find('div', class_='date').text.strip()
        except:
            time = ''
 
            data = {'title': title,
                    'price': price,
                    'address': address,
                    'time': time,
                    'url': url}
 
            write_csv(data)

У вас вызов функции write_csv находится в блоке с исключением. Соответственно он будет срабатывать только когда словит здесь любое исключение (не ловите все исключения):

Python
1
time = ad.find('div', class_='data').find('div', class_='date').text.strip()

@onhor · 26.03.2017, 14:45 **[ТС]**

Не думаю что дело в исключениях, скорее всего у меня проблема с кодировкой, потому что если в место .text.strip() cnfdk. encode('utf-8').strip() то все начинает работать и файл создается, таблица формируется. выглядит так:

Jabbson · 26.03.2017, 18:44

Сообщение от onhor

Не думаю что дело в исключениях

не думаете, а зря.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
...
        try:
            time = ad.find('div', class_='data').find('div', class_='date').text.strip()
        except:
            time = ''
 
            data = {'title': title,
                    'price': price,
                    'address': address,
                    'time': time,
                    'url': url}
 
            write_csv(data)
...

это означает - если произошло исключение при поиске даты, сохранить пустое время и записать в csv.

Добавлено через 55 секунд
PS имена модулей для переменных - не славная идея

@onhor · 26.03.2017, 19:30 **[ТС]**

Я не до конца понимаю как мне написать, без исключения что ли?

Python
1
2
3
4
5
6
7
8
9
10
        try:
            time = ad.find('div', class_='data').find('div', class_='date').text.strip()
 
        data = {'title': title,
                'price': price,
                'address': address,
                'time': time,
                'url': url}
 
        write_csv(data)

Так? Я сразу попробовал, не работает, неверный синтаксис.

@onhor · 26.03.2017, 19:36 **[ТС]**

А как есть выдает ошибку с кодировкой.

Jabbson · 26.03.2017, 20:20

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
import requests
from bs4 import BeautifulSoup as bs
import csv
import re
 
 
def get_html(url):
    r = requests.get(url)
    return r.content
 
 
def get_total_pages(html):
    soup = bs(html, 'lxml')
    last_nav_link = soup.select('div.pagination-pages a')[-1]
    total_pages = re.search(r'\?p=(\d+)&', str(last_nav_link)).group(1)
    return int(total_pages)
 
 
def get_page_data(html):
    soup = bs(html, 'lxml')
    ads = soup.select('div.description')
    page_ads = []
 
    for ad in ads:
 
        title_tag = ad.find('a', class_='item-description-title-link')
 
        title = title_tag.text.strip()
        url = 'https://www.avito.ru' + title_tag.get('href')
        price = ad.find('div', class_='about').find(text=True, recursive=False).strip()
        address = ad.find('p', class_='address').text.strip()
        date = ad.find('div', class_='date').text.strip()
        page_ads.append({'title': title, 'price': price, 'address': address, 'time': date, 'url': url})
 
    return page_ads
 
 
def main():
    url_template = 'https://www.avito.ru/novosibirsk/kvartiry/sdam/na_dlitelnyy_srok/1-komnatnye?p={}&i=1&pmax=14000&user=1'
 
    total_pages = get_total_pages(get_html(url_template.format(1)))
 
    with open('avito.csv', 'w', encoding='utf-8') as f:
        writer = csv.DictWriter(f, fieldnames=['title', 'price', 'address', 'time', 'url'])
        writer.writeheader()
 
        for i in range(1, total_pages + 1):
            page_url = url_template.format(i)
            print(page_url)
            page_html = get_html(page_url)
            page_ads = get_page_data(page_html)
 
            writer.writerows(page_ads)
 
if __name__ == '__main__':
    main()

Не создается файл с данными при парсинге сайта

@onhor · 26.03.2017, 22:21 **[ТС]**

Большое спасибо! Буду разбираться. В IDLE и Саблайме запустилось нормально, а в атоме выдает ошибку на подключение модуля:

@onhor · 27.03.2017, 08:28 **[ТС]**

Про ошибку с исключением, я добавил кодировку при создании файла как в примере выше и мой вариант тоже корректно заработал. Спасибо еще раз за подсказку.

Python
1
with open('avito.csv', 'a', encoding='utf-8') as f:

Проблема запуском в Atom решилась дописыванием:

#!/usr/bin/env python3.6
# _*_ coding:utf-8 _*_

Новые блоги и статьи Все статьи Все блоги /
1С: Контроль уникальности заводского номера Maks 23.03.2026 Алгоритм контроля уникальности заводского (или серийного) номера на примере документа выдачи шин для спецтехники с табличной частью. Данные берутся из регистра сведений, по которому настроено. . .	Хочу заставить корпорации вкладываться в здоровье сотрудников: делаю мат модель здравосохранения anaschu 22.03.2026 e7EYtONaj8Y Z4Tv2zpXVVo https:/ / github. com/ shumilovas/ med2. git	1С: Программный отбор элементов справочника по группе Maks 22.03.2026 Установка программного отбора элементов справочника "Номенклатура" из модуля формы документа. В качестве фильтра для отбора справочника служит группа номенклатуры. Отбор по наименованию группы. . .	Как я обхитрил таблицу Word Alexander-7 21.03.2026 Когда мигает курсор у внешнего края таблицы, и нам надо перейти на новую строку, а при нажатии Enter создается новый ряд таблицы с ячейками, то мы вместо нервных нажатий Энтеров мы пишем любые буквы. . .
Krabik - рыболовный бот для WoW 3.3.5a AmbA 21.03.2026 без регистрации и смс. Это не торговля, приложение не содержит рекламы. Выполняет свою непосредственную задачу - автоматизацию рыбалки в WoW - и ничего более. Однако если админы будут против -. . .	1С: Программный отбор элементов справочника по значению перечисления Maks 21.03.2026 Установка программного отбора элементов справочника "Сотрудники" из модуля формы документа. В качестве фильтра для отбора служит значение перечислений. / / Событие "НачалоВыбора" реквизита на форме. . .	Переходник USB-CAN-GPIO Eddy_Em 20.03.2026 Достаточно давно на работе возникла необходимость в переходнике CAN-USB с гальваноразвязкой, оный и был разработан. Однако, все меня терзала совесть, что аж 48-ногий МК используется так тупо: просто. . .	Оттенки серого Argus19 18.03.2026 Оттенки серого Нашёл в интернете 3 прекрасных модуля: Модуль класса открытия диалога открытия/ сохранения файла на Win32 API; Модуль класса быстрого перекодирования цветного изображения в оттенки. . .

@onhor 0 / 0 / 0 Регистрация: 24.03.2017 Сообщений: 6
	26.03.2017, 14:45 [ТС]
	Не думаю что дело в исключениях, скорее всего у меня проблема с кодировкой, потому что если в место .text.strip() cnfdk. encode('utf-8').strip() то все начинает работать и файл создается, таблица формируется. выглядит так: Миниатюры 0

@onhor 0 / 0 / 0 Регистрация: 24.03.2017 Сообщений: 6
	26.03.2017, 19:36 [ТС]
	А как есть выдает ошибку с кодировкой. Миниатюры 0

@onhor 0 / 0 / 0 Регистрация: 24.03.2017 Сообщений: 6
	26.03.2017, 22:21 [ТС]
	Большое спасибо! Буду разбираться. В IDLE и Саблайме запустилось нормально, а в атоме выдает ошибку на подключение модуля: Миниатюры 0

Опции темы