Преобразование dictionary в pd.DataFrame

@SantaFox · Регистрация: 07.12.2017

Студворк — интернет-сервис помощи студентам

Добрый день.
Написал парсер, который сохраняет данные в словарь.
Сейчас хочу доработать код и выводить данные в виде dataframe.
Сейчас код вывод мне только 9 строк.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
import requests
from bs4 import BeautifulSoup
import csv
import pandas as pd
 
 
def get_html(url):
    r = requests.get(url)
    return r.text
 
def get_all_links(html):
    soup = BeautifulSoup(html,'lxml')
    tds = soup.find('table', class_='regions_list').find_all('a')
    links = []
    for i in tds:
        a = i.get('href') + '/streets'
        links.append(a)
    return links
 
def main():
    url = 'http://mosopen.ru/regions'
    all_links = get_all_links( get_html(url) )
    for url in all_links:
        html = get_html(url)
        data = get_page_data(html)         
        return data
 
def get_page_data(html):
    soup = BeautifulSoup(html, 'lxml')
    try:
        name = soup.find('div', id='content').find('h1').text.strip()
    except:
        name = ''
    try:
        street = soup.find('div',class_='double_part').text.strip().split('\n')
    except:
        street = soup.find('div',id = 'content').find('ul',class_ = None).text.strip().split('\n')
    data = {'name': name,
           'street': street}
    return data
 
df = pd.DataFrame(main())

Что можно сделать, что бы словарь нормально превращался в DF?

@Garry Galler · 02.12.2019, 18:44

А зачем у вас return после каждой итерации (внутри цикла!) main?
Функция main у вас вызывается ровно один раз. И на первой же итерации она заканчивает свою работу.
Гениально.

P.S. Судя по коду (get_html и т.д.) - очередная копипаста с видеуроков. Не пишите так. Это неправильный код, потому что он предназначен только для иллюстрации, но не для реальной работы.

Новые блоги и статьи Все статьи Все блоги /
Отображение реквизитов в документе по условию и контроль их заполнения Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2. Данный документ берёт данные из другого нетипового документа. . .	Фото всей Земли с борта корабля Orion миссии Artemis II kumehtar 04.04.2026 Это первое подобное фото сделанное человеком за 50 лет. Снимок называют новым вариантом легендарной фотографии «The Blue Marble» 1972 года, сделанной с борта корабля «Аполлон-17». Новое фото. . .	Вывод диалогового окна перед закрытием, если документ не проведён Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать программный контроль на предмет проведения документа. . .	Программный контроль заполнения реквизита табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать контроль заполнения реквизита "ПричинаСписания". . .
wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/	Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .	Вывод данных в справочнике через динамический список Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .	Программное заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .

@Garry Galler 5438 / 3859 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	02.12.2019, 18:44
	А зачем у вас return после каждой итерации (внутри цикла!) main? Функция main у вас вызывается ровно один раз. И на первой же итерации она заканчивает свою работу. Гениально. P.S. Судя по коду (get_html и т.д.) - очередная копипаста с видеуроков. Не пишите так. Это неправильный код, потому что он предназначен только для иллюстрации, но не для реальной работы. 0

Опции темы