Форум программистов, компьютерный форум, киберфорум
Python для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
0 / 0 / 0
Регистрация: 29.08.2017
Сообщений: 24

Список List добавить в pd.DataFrame для сохранения в таблицу excel

27.11.2020, 17:20. Показов 2301. Ответов 0
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Парсил ресурс - буржуйский инет - каталог. Получение данных - все прошло. Но появился вопрос. Как добавить список(cards) в моем случае в базу данных, для сохранения в excel. Сразу скажу, что другие способы записать полученные. спарсенные данные не канают у меня. pd.DataFrame - прокатил. Код рабочий. Но вот мой список cards приходиться копировать из консоли и потом ручками добавлять в pd.DataFrame. Прописывать, etc. Не true. А желательно чтобы мой cards лист появлялся в pd.DataFrame(cards).transpose(). Pycharm пишет, имя cards не определено. И вообще, как оптимизировать код? Какой-нибудь True кодер бы огорчился, наверняка лист, на пол страницы IDE -копировать из консоли и ручками вставлять в pd.DataFrame. И потом total резалт в excel не так настроен - вместо столбцов - строки.

Собственно, код:
_____________________
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
import requests
from bs4 import BeautifulSoup
import os
import xlsxwriter
import pandas as pd
 
URL = 'https://mastermoz.com/entertainment/movies/{}/'
# HOST = 'https://wordpress.org'
HEADERS = {
    'accept': '/////',
    'user-agent': '......'
}
 
 
def get_html(url, params=''):
    r = requests.get(url, headers=HEADERS, params=params)
    return r.text
 
 
def get_content(html):      #get_page_data
    soup = BeautifulSoup(html, 'lxml')
    items = soup.find_all('div', class_='card-img-overlay-bottom z-index-20')
        # plugins = popular.find_all('article')
 
    cards = []
 
    for item in items:
        cards.append({
            'name': item.find('h4', class_='text-white text-shadow').text,
            'url': item.find('a', class_='title-link').get('href')
        })
    # print(cards)
# html = get_html(URL)
# print(get_content(html. text)) #почему это не проходит, стринг без метода текст просит, странно
cards = [.....здесь отображается длинный список полученных данных в формате списка, получен в print(cards)]
df = pd.DataFrame(cards).transpose()
writer = pd.ExcelWriter('Wordpress.xlsx', engine='xlsxwriter')
df.to_excel(writer, sheet_name='Sheet1')
workbook = writer.book
worksheet = writer.sheets['Sheet1']
format1 = workbook.add_format({'num_format': '#,##0.00'})
format2 = workbook.add_format({'num_format': '0%'})
worksheet.set_column('B:B', 80, format1)
worksheet.set_column('C:C', 35, format1)
worksheet.conditional_format('B2:B8', {'type': '3_color_scale'})
writer.save()
 
def main():
    pattern = 'https://mastermoz.com/entertainment/movies/{}/'
 
 
    for i in range(1, 3):
        url = pattern.format(str(i))
        # print(url)
        get_content(get_html(url))
 
 
 
if __name__ == '__main__':
    main()
Добавлено через 2 часа 20 минут
Как то все срослось: спарсенные данные записываются в таблицу. Данные cards.append добавляются в итоговую таблицу excel. Но криво: вместо столбцов - строки. Как поменять? В excel самом - элементарно. Как в python данный код настроить, в excel таблица была правильная, а не поменяные столбцы на строки.

Добавлено через 1 час 40 минут
О черт, я сам намудрил, не разобравшись в документации pandas/ Строка df = pd.DataFrame(cards).transpose() сама же и меняет местами строки и столбцы. Убрать ее, нафиг. Все срастается. Закрывайте тему Вопрос решен.
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
27.11.2020, 17:20
Ответы с готовыми решениями:

Как добавить запись в таблицу без сохранения
Есть DBGrid с таблицей из БД. В нем можно редактировать записи и добавлять новые. Я пытаюсь сделать добавление записи в новой форме и...

Добавить функцию автоматического сохранения в Excel
Привет Не могу добавить функцию автоматического сохранения. Кстати это API. Данные находятся в файлу Excel. Там 1600-1800 строк. Все эти...

Создать список типа List, хранящий символы.  Добавить к нему в тот же список, символы, стоящие на четных местах. Вывест
Создать список типа List, хранящий символы.  Добавить к нему в тот же список, символы, стоящие на четных местах. Вывести результат на...

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
27.11.2020, 17:20
Помогаю со студенческими работами здесь

Добавить в список List экземпляр класса
Здравствуйте. Помогите справиться с тупой проблемой, пожалуйста. Есть классы public class Men:World public class World:Form1 ...

Добавить Excel таблицу в 1C
Помогите пожалуйста! Надо добавить Excel таблицу в 1C с помощью программы C#. Уже месяц пытаюсь, никак не могу сделать! Подскажите...

Добавить данные в Excel таблицу
У меня есть кнопка, которая открывает фаил и часть кода, который находит последнюю пустую строку и заполняем ее, но я не могу реализовать...

Добавить данные из Excel документа в таблицу
Здравствуйте всем! Сделал БД и в нее надо добавить данные из Excel в таблицу БД Документов (названия полей в таблице совпадает с названием...

ProgressBar для сохранения данных в Excel
Здравствуй, нужна ваша помощь. Нужен progressbar, который будет заполнятся по мере записи данных в exel gridDetail.SaveToXLS. Как можно...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
1
Ответ Создать тему
Новые блоги и статьи
Контроль заполнения и очистка дат в зависимости от значения перечислений
Maks 12.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .
Архитектура слоя интернета для сервера-слоя.
Hrethgir 11.04.2026
В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .
Подстановка значения реквизита справочника в табличную часть документа
Maks 10.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .
Очистка реквизитов документа при копировании
Maks 09.04.2026
Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий
anaschu 08.04.2026
https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI
Блокировка документа от изменений, если он открыт у другого пользователя
Maks 08.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .
Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка.
Hrethgir 08.04.2026
Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов.
anaschu 08.04.2026
работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru