Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.73/15: Рейтинг темы: голосов - 15, средняя оценка - 4.73
0 / 0 / 3
Регистрация: 01.11.2016
Сообщений: 47

Парсер не сохраняет результат в CSV

02.02.2017, 10:42. Показов 3199. Ответов 4
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Написал простенький парсер для сайта invest***.com, для экономического календаря.
Проблема в том, что в файл сохраняется только 35 строка, а 36-ая уже игнорируется, не могу понять почему.
Я что-то не так делаю?

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
# -*- coding: utf-8 -*-
 
import csv
import urllib.request
from bs4 import BeautifulSoup 
 
BASE_URL = 'https://ru.investing.com/economic-calendar/'
REQ = urllib.request.Request(BASE_URL, headers={'User-Agent':"Magic Browser"}) 
 
def get_html(url):
    response = urllib.request.urlopen(REQ)
    return response.read()
 
def parse(html):
    soup = BeautifulSoup(html)
    table = soup.find('table', class_='genTbl closedTbl ecoCalTbl persistArea')
    rows = table.find_all('tr')[1:]
 
    projects = []
    for row in rows:
        cols = row.find_all('td')
        
        projects.append({
            'time': [time.text for time in row.find_all('td')[:-7]],
            'valute': [valute.text.strip() for valute in row.find_all('td')[1:-6]],
            'volatile': [volatile['title'] for volatile in row.find_all(title=True)[2:-3]],
            'title': [title.text.strip() for title in row.find_all('td')[3:-4]]
        })
 
    return projects
 
def save(projects, path):
    with open(path, 'w') as csvfile:
        writer = csv.writer(csvfile)
        writer.writerow(('Time', 'Valute', 'Volatile', 'Title'))
        writer.writerows((project['time'], ', '.join(project['valute']), project['volatile'], project['title']) for project in projects)
 
def main():
    projects = []
 
    parse(get_html(REQ))
 
    save(projects, 'projects.csv')
 
if __name__ == '__main__':
    main()
0
Лучшие ответы (1)
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
02.02.2017, 10:42
Ответы с готовыми решениями:

Не сохраняет изменения в формате csv
Добрый день! я столкнулась с проблемой: не сохраняются изменения, сделанные в csv формате. я пыталась переконвертировать формат экселя в...

Неправильно сохраняет в формате csv
Неправильно сохраняет в формате csv файл, полученный в результате выполнения другого макроса. Run ('Make_Prices.xls!Write_Online') ...

Парсер CSV
Здравствуйте, как из csv файла мне получить двумерный массив? Делаю так: $file = file_get_contents("parser/file.csv"); ...

4
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
02.02.2017, 19:26
Лучший ответ Сообщение было отмечено Scady как решение

Решение

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
# -*- coding: utf-8 -*-
 
import csv
import urllib.request
from bs4 import BeautifulSoup
 
BASE_URL = 'https://ru.investing.com/economic-calendar/'
REQ = urllib.request.Request(BASE_URL, headers={'User-Agent': "Magic Browser"})
 
 
def get_html():
    response = urllib.request.urlopen(REQ)
    return response.read()
 
 
def parse(html):
    soup = BeautifulSoup(html, "html.parser")
    table = soup.find('table', class_='genTbl closedTbl ecoCalTbl persistArea')
    rows = table.findAll('tr', id=lambda i: i and i.startswith('eventRowId_'))
 
    projects = []
    for row in rows:
        projects.append({
            'Time': row.find('td', class_='first').text,
            'Valute': row.find('td', class_='flagCur').text.strip(),
            'Volatile': row.find('td', class_='sentiment').get('title') or row.find('td', class_='sentiment').text,
            'Title': row.find('td', class_='event').text.strip()
        })
    return projects
 
 
def save(projects, path):
    with open(path, 'w') as csvfile:
        writer = csv.DictWriter(csvfile, fieldnames=['Time', 'Valute', 'Volatile', 'Title'])
        writer.writeheader()
        writer.writerows(projects)
 
 
def main():
    projects = parse(get_html())
    save(projects, 'projects.csv')
 
 
if __name__ == '__main__':
    main()
1
0 / 0 / 3
Регистрация: 01.11.2016
Сообщений: 47
03.02.2017, 13:05  [ТС]
Цитата Сообщение от Jabbson Посмотреть сообщение
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
# -*- coding: utf-8 -*-
 
import csv
import urllib.request
from bs4 import BeautifulSoup
 
BASE_URL = 'https://ru.investing.com/economic-calendar/'
REQ = urllib.request.Request(BASE_URL, headers={'User-Agent': "Magic Browser"})
 
 
def get_html():
    response = urllib.request.urlopen(REQ)
    return response.read()
 
 
def parse(html):
    soup = BeautifulSoup(html, "html.parser")
    table = soup.find('table', class_='genTbl closedTbl ecoCalTbl persistArea')
    rows = table.findAll('tr', id=lambda i: i and i.startswith('eventRowId_'))
 
    projects = []
    for row in rows:
        projects.append({
            'Time': row.find('td', class_='first').text,
            'Valute': row.find('td', class_='flagCur').text.strip(),
            'Volatile': row.find('td', class_='sentiment').get('title') or row.find('td', class_='sentiment').text,
            'Title': row.find('td', class_='event').text.strip()
        })
    return projects
 
 
def save(projects, path):
    with open(path, 'w') as csvfile:
        writer = csv.DictWriter(csvfile, fieldnames=['Time', 'Valute', 'Volatile', 'Title'])
        writer.writeheader()
        writer.writerows(projects)
 
 
def main():
    projects = parse(get_html())
    save(projects, 'projects.csv')
 
 
if __name__ == '__main__':
    main()
Спасибо большое, а можно поподробнее, что делает 19-ая строка? Буду очень благодарен.
0
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
03.02.2017, 17:21
Ищем все tr у которых есть id и он начинается с eventRowId_
1
0 / 0 / 3
Регистрация: 01.11.2016
Сообщений: 47
03.02.2017, 21:58  [ТС]
Цитата Сообщение от Jabbson Посмотреть сообщение
Ищем все tr у которых есть id и он начинается с eventRowId_
Спасибо. Теперь всё стало предельно ясно. + в карму
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
03.02.2017, 21:58
Помогаю со студенческими работами здесь

Парсер csv.
Добрый день! Недавно на следующую задачу и что то не смог придумать как ее сделать. Подскажите кто знает основную мысль с чего начинать? ...

CSV парсер
Привет, дали мне вот такую тестовую задачу: В приложении к письму есть файл. Нужно разработать консольную программу которая на вход...

Многопоточный .csv парсер
Доброго времени суток) Суть вопроса думаю понятна из заголовка. файл .csv содержит строки типа ...

Парсер CSV 2 Excel
Добрый день, уважаемые коллеги! :senor: Прошу помощи в доведении до ума парсера для CSV файлов в Excel VBA. Получаю экспортные данные...

Парсер строк CSV
Здравствуйте. Помогите решить задачу Есть файл CSV нужно распарсить так, что бы на выходе мы получили словарь...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
5
Ответ Создать тему
Новые блоги и статьи
Жизнь в неопределённости
kumehtar 23.03.2026
Жизнь — это постоянное существование в неопределённости. Например, даже если у тебя есть список дел, невозможно дойти до точки, где всё окончательно завершено и больше ничего не осталось. В принципе,. . .
Модель здравоСохранения: работники работают быстрее после её введения.
anaschu 23.03.2026
geJalZw1fLo Корпорация до введения программа здравоохранения имела много невыполненных работниками заданий, после введения программы количество заданий выросло. Но на выплатах по больничным это. . .
1С: Контроль уникальности заводского номера
Maks 23.03.2026
Алгоритм контроля уникальности заводского (или серийного) номера на примере документа выдачи шин для спецтехники с табличной частью. Данные берутся из регистра сведений, по которому настроено. . .
Хочу заставить корпорации вкладываться в здоровье сотрудников: делаю мат модель здравосохранения
anaschu 22.03.2026
e7EYtONaj8Y Z4Tv2zpXVVo https:/ / github. com/ shumilovas/ med2. git
1С: Программный отбор элементов справочника по группе
Maks 22.03.2026
Установка программного отбора элементов справочника "Номенклатура" из модуля формы документа. В качестве фильтра для отбора справочника служит группа номенклатуры. Отбор по наименованию группы. . .
Как я обхитрил таблицу Word
Alexander-7 21.03.2026
Когда мигает курсор у внешнего края таблицы, и нам надо перейти на новую строку, а при нажатии Enter создается новый ряд таблицы с ячейками, то мы вместо нервных нажатий Энтеров мы пишем любые буквы. . .
Krabik - рыболовный бот для WoW 3.3.5a
AmbA 21.03.2026
без регистрации и смс. Это не торговля, приложение не содержит рекламы. Выполняет свою непосредственную задачу - автоматизацию рыбалки в WoW - и ничего более. Однако если админы будут против -. . .
1С: Программный отбор элементов справочника по значению перечисления
Maks 21.03.2026
Установка программного отбора элементов справочника "Сотрудники" из модуля формы документа. В качестве фильтра для отбора служит значение перечислений. / / Событие "НачалоВыбора" реквизита на форме. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru